残差補間を用いた超解像処理方法及び装置
【課題】画像列の解像度及び質を向上し、グリッドアーチファクトを低減した超解像処理の方法及び装置を提供する。
【解決手段】補間を行って最初の高解像度推定画像を生成し、位置合わせを行って位置合わせ画像を生成し、高解像度推定画像を不鮮明化し、不鮮明化画像と位置合わせ画像とを減算して残差画像を生成し、欠損していない周辺画素の残差値を用いて欠損残差を補間し、点拡がり逆関数を用いて残差画像から逆投影画像を生成し、平滑化画像と逆投影画像とを組み合わせて強調係数を生成し、強調係数を高解像度推定画像に更新して新たな高解像度推定画像を生成することにより、欠損画素の残差値を欠損していない周辺画素の残差値から補間する。
【解決手段】補間を行って最初の高解像度推定画像を生成し、位置合わせを行って位置合わせ画像を生成し、高解像度推定画像を不鮮明化し、不鮮明化画像と位置合わせ画像とを減算して残差画像を生成し、欠損していない周辺画素の残差値を用いて欠損残差を補間し、点拡がり逆関数を用いて残差画像から逆投影画像を生成し、平滑化画像と逆投影画像とを組み合わせて強調係数を生成し、強調係数を高解像度推定画像に更新して新たな高解像度推定画像を生成することにより、欠損画素の残差値を欠損していない周辺画素の残差値から補間する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あらゆる画像・映像処理、特に画像・映像超解像処理に利用可能である。
【背景技術】
【０００２】
超解像処理は、複数の低解像度画像から高解像画像を生成する技術である。この技術をプラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）などの表示装置に用いて、表示対象の入力画像列の解像度及び質を向上させることができる。超解像処理をハードディスクレコーダやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）レコーダなどの記録装置において用いた場合、トランスコーディングや格納の対象となる画像の解像度及び質を向上することができる。また、超解像度は印刷目的でも利用可能である。この場合、カメラレコーダやデジタルカメラからの画像列を処理して一枚の高解像度・高画質画像を生成できる。同様に、監視に応用した場合、顔や車両のナンバープレートの解像度及び画質を向上できる。
【０００３】
超解像処理方法には画像の位置合わせを伴う方法がある。同方法では、観測された低解像度画像を動き補償し、位置合わせ画像と呼ばれる共通の高解像度グリッドに変換する。高解像度フレームの最初の推定フレームは、バイキュービック補間などの空間補間方法を用いて得られる。この推定フレームは、不鮮明化、フレーム差分、点広がり逆関数、正則化、及び細密化の処理を繰り返すことで改善される。残差画像はフレーム差分を求める動作中に生成される。これによって、位置合わせ画像は、不鮮明化された高解像度推定フレームから減算される。超解像処理の詳細に関しては、例えば米国特許出願番号２００４／０１５６５６１ Ａ１及び米国特許出願番号２００５／００１９０００ Ａ１などを参照されたい。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
良質な超解像画像を得るためには、位置合わせ画像が良質であることが重要である。正確な位置合わせを行うためには、正確な動き補償、及び対象画像と周辺画像との間のサブピクセルシフトを行う必要がある。サブピクセルシフトを行わなければ、位置合わせ画像に欠損画素が生じる。結果として、残差画像にも同様の欠損画素が生じる。高解像度推定画像における対応の欠損画素は、欠損画素のないものに比べて細密化される度合いが低くなる。問題となるのは、これらの欠損画素は周期的に発生し、結果としてグリッドアーチファクトが発生してしまうことである。このため、エッジがぎざぎざ又は鋸歯状に見えてしまう。例えば、２倍解像度アップサンプリングの場合、画素毎に輝度が高かったり、低かったり、また高かったりと、交互のパターンなる。
【課題を解決するための手段】
【０００５】
本発明では、上記グリッドアーチファクトの問題を解決するために残差補間を用いる。残差補間において、欠損画素の残差値を、欠損していない周辺画素の残差値から補間する。
【発明の効果】
【０００６】
本発明は、グリッドアーチファクトを防ぐために残差補間を用いている点で新しい。高解像度推定画像に対し平滑化の拘束条件を加えることで、正則化によってもグリッドアーチファクトを防ぐことができる。しかしながら、平滑化の拘束条件は画像全体に適用されるため、平滑化の強度を制御する必要がある。平滑化を必要としない領域では不鮮明化が発生し、強度が適切に設定されなかった場合は、不鮮明化が過度になったり不十分になったりする。
【０００７】
残差補間は欠損画素に対して行われるため、画素が欠損していない領域は不鮮明化されない。また、残差補間の強度は、必然的に残差そのものの値に応じて設定される。残差値が大きければ補間された値も大きくなり、逆もまた同様である。
【０００８】
結果として、正則化を用いた場合と比較して、より鮮明な画像を生成できるより優れた超解像のアルゴリズムが得られる。
【０００９】
残差補間は正則化と併用可能である。この併用により、正則化の強度を抑えて不鮮明化が過度に行われることを防ぐことができる。
【発明を実施するための最良の形態】
【００１０】
後処理又は前処理装置
図２は後処理又は前処理装置における超解像処理装置の使用を示すブロック図である。入力Ｄ２５２は、映像及び／又は音声ソースなどで構成される。必要であれば、逆多重化器２０２を用いて映像ソースを他のソースから分離する。また必要であれば、他のソース又は他のビットストリームＤ２５６を他の処理装置で処理する。また、映像ソースを圧縮してもよい。この場合、符号化された映像ビットストリームＤ２５８を映像デコーダ２０４で復号し、復号化画像列Ｄ２６２を生成する。また映像ソースは圧縮されなくてもよい。この場合、非圧縮画像列Ｄ２５４を用いる。オプションで前処理装置２０６を用いて画像列Ｄ２６２及びＤ２５４を処理し、処理画像列Ｄ２６４を生成してもよい。超解像処理装置２０８は画像列を処理して超解像度化画像列Ｄ２６６を生成する。超解像処理装置２０８は残差補間も行う。映像ソースを圧縮した場合、超解像処理装置は、符号化映像ビットストリームからの補助データＤ２６０をオプションで用いることができる。補助データの例として、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などがある。超解像度化画像列は、さらに後処理装置２１０で処理されてもよい。処理済み超解像度化画像列Ｄ２６８は、表示装置２１４を用いて表示できる。オプションとして、記憶装置２１２を用いて格納されてもよい。また記憶装置２１２において、格納のために圧縮を用いてもよい。
【００１１】
符号化装置及び復号装置
図３ａ及び図３ｂは、符号化装置（エンコーダ）及び復号装置（デコーダ）における超解像処理装置の使用をそれぞれ示す２枚のブロック図である。エンコーダにおいて、画像列はイントラ符号化又はインター符号化される。イントラ予測処理装置３０６は、対象フレームの情報を用いて予測を行う。動き検出処理装置３０２は、他のフレームを参照して動き補償予測を行う。その結果として処理装置３０２及び３０６から得られる画像は、次に変換処理装置３０４、量子化処理装置３０８、次いでエントロピ処理装置３１０で処理され、符号化映像ビットストリームが生成される。対象フレームは、逆量子化処理装置３１２、逆変換処理装置３１４、動き補償処理装置３１８、及び逆イントラ予測処理装置３１６を備えるローカルデコーダを用いて再構成され、動き検出処理装置３０２が用いる参照フレームとして格納される。本発明では、動き検出処理装置３０２及び動き補償装置３１８が用いる参照フレームの質及び解像度を向上させるために、超解像処理装置３２０を用いる。超解像処理装置３２０は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置３２０において用いることができる。
【００１２】
デコーダにおいて、エントロピ復号処理装置３４０、逆量子化処理装置３４２、逆変換処理装置３４４、逆イントラ予測処理装置３４６、及び動き検出処理装置３５０を用いて、符号化映像ビットストリームから画像列を再構成する。エンコーダと同様に、超解像処理装置３４８を用いて参照フレームの質と解像度を向上させる。超解像処理装置３４８は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置３４８において用いることができる。超解像処理装置３４８は、さらに、表示された画像も改善させる。
【００１３】
説明したエンコーダ及びデコーダは簡略化されたものである。現在、デブロッキングフィルタなど、画質をさらに向上させるための高度なツールを使用するエンコーダやデコーダがある。本発明では、図３ａ及び図３ｂに示されるとおりに符号化と復号が行われる必要はない。ここでは、動き検出、動き補償予測、及び表示に用いる参照フレームを改善することで符号化効率又はピクチャの質を向上させるためにエンコーダ及びデコーダにおいて超解像処理を用いることができることの一例を示しているに過ぎない。
【００１４】
レイヤ間予測符号化装置及び復号装置
図４ａ及び図４ｂは、符号化装置（エンコーダ）及び復号装置（デコーダ）におけるレイヤ間イントラ予測のための超解像処理装置の使用をそれぞれ示す２枚のブロック図である。符号化効率を向上させるために、階層符号化にレイヤ間予測を用いる。レイヤ間予測を用いる階層符号化の一例として、ＩＳＯ／ＩＥＣ１４９６―１０にスケーラブル拡張を適用するというワーキングドラフトがあり、スケーラブル映像符号化としても知られている。基本レイヤ符号化処理装置４０２を用いて基本レイヤ画像列を符号化する。拡張レイヤ符号化処理装置４１２を用いて拡張レイヤ画像列を符号化する。拡張レイヤ符号化処理装置４１２は、レイヤ間予測を用いて拡張レイヤと基本レイヤとの間の冗長性を削減することで、拡張レイヤだけを符号化する場合と比較して符号化効率を向上させる。レイヤ間残差予測処理装置４０４を用いて拡張レイヤ残差と基本レイヤ残差との間の冗長性を削減する。レイヤ間動きデータ予測処理装置４０６を用いて拡張レイヤと基本レイヤとにおける動きデータ間の冗長性を削減する。動きデータの例として、マクロブロック毎に用いられるパーティションサイズ及びタイプ、並びに予測方向、動きベクトルなどがある。レイヤ間イントラ予測処理装置４０８は、拡張レイヤの画像を符号化するための追加の参照画像として、基本レイヤのイントラ画像又は基本レイヤの再構成画像を利用する。これらの追加の参照画像を改善するために、超解像処理装置４１０を用いる。超解像処理装置４１０は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置４１０において用いることができる。
【００１５】
デコーダにおいて、基本レイヤ復号処理装置４２２を用いて基本レイヤビットストリームを復号する。拡張レイヤ復号処理装置４３２は、レイヤ間残差予測処理装置４２４、レイヤ間動きデータ予測処理装置４２６、及びレイヤ間イントラ予測処理装置４２８を用いて拡張レイヤビットストリームを復号する。エンコーダと同様に、レイヤ間イントラ予測処理装置４２８からの参照ピクチャを改善するために超解像処理装置４３０を用いる。超解像処理装置４３０は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置４３０において用いることができる。
【００１６】
超解像処理装置
図１ａは超解像処理装置内の処理装置（機能ブロック）を示すブロック図である。補間処理装置１１０は、超解像度化の対象となるフレームを補間する。補間方法には、公知であるバイリニア補間、バイキュービック補間、Ｌａｎｃｚｏｓ補間などがある。補間された画像は高解像度バッファ１１２に格納される。これが最初の高解像度推定画像となる。１２２における処理装置によって、画像列の位置合わせが行われる。１２２は、参照フレームと対象フレームとの間のワーピングベクトルを算出する動き検出処理装置１０２を備える。位置合わせ処理装置１０４はワーピングベクトルに基づいて位置合わせを行う。点拡がり関数処理装置１１４は、高解像度バッファ１１２における高解像度推定画像を不鮮明化する。フレーム差分処理装置１０６は位置合わせ画像と不鮮明化された高解像度推定画像との間の差分（残差）を算出する。残差補間処理装置１２４は、欠損画素の残差値を、欠損していない周辺画素の残差値から補間する。点拡がり逆関数処理装置１０８は差分（残差）を高解像度グリッドに逆投影する。高解像度推定処理装置１１６は逆投影された差分と平滑化の拘束条件とを組み合わせて強調係数を生成する。次にこの強調係数を用いて高解像度推定画像を更新する。これにより、向上処理の繰り返しが１サイクル完了する。この処理を、処理装置１１４、１０６、１２４、１０８、１１６、及び１１８を用いて繰り返す。この処理は所定のサイクル数になるまで繰り返してもよいし、強調係数の値が一定のしきい値以下になるまで繰り返してもよい。また、適応向上処理を画素単位で行って、特定の画素のみを選択し、さらなる向上処理を行ってもよい。
【００１７】
図１ｂは、図１ａと同様の超解像処理装置内の処理装置（機能ブロック）を示すブロック図である。図１ｂは、照度マスキング及び／又は照度補償処理装置１２０と正則化処理装置１１８とが追加されている点で異なる。これら２つの処理装置はオプションである。処理装置１２０は、位置合わせ処理装置１０４が用いる照度補償値と照度マスクとを算出する。処理装置１１８は、処理装置１１６が用いる平滑化の拘束条件を算出するために用いられる。
【００１８】
残差補間（一般的ケース）
図５は一般的なケースを対象とした残差補間を示すフロー図である。残差画像における全ての画素が走査される。走査順序はラスタ走査順又は逆ラスタ走査順である。ラスタ走査では、最初の行を左から右へ走査し、次に２番目の行を左から右へ走査するといった具合に最後の行まで走査する。逆ラスタ走査では、最初の列を上から下に走査し、次に２番目の列を上から下へ走査するといった具合に最後の列まで走査する。他の走査順序を用いてもよい。ステップＳ５０２では、対象画素が残差を持つか否かを確認する。すなわち、対象画素が欠損画素であるか否かを確認する。残差を持たない場合、ステップＳ５０４において、補間に十分な残差が周辺画素にあるか否かを確認する。例えば、２タップフィルタを用いる場合、該当する場所に２つの残差値があるはずである。又は、残差画像の局所特性に合うように補間フィルタを変化させてもよい。例えば、通常、６つの値が存在する場合は６タップＡＶＣフィルタを用い、エッジにおいて２つの値しか存在しない場合は２タップバイリニアフィルタを用いることができる。十分な残差がある場合、ステップＳ５０６において、対象画素の残差値を周辺画素から補間する。ステップＳ５１０は、ステップＳ５０２において対象画素が残差を持つと確認された場合、又はステップＳ５０４において補間に十分な周辺残差がない場合、又はステップＳ５０６の後に実行される。ステップＳ５１０において、他にも画素が存在するか否かを確認する。存在しない場合、処理を終了する。存在する場合、ステップＳ５０８において、走査順で次の画素を対象画素として設定し、ステップＳ５０２の処理を繰り返す。
【００１９】
処理を繰り返し、次の処理において他の欠損画素を補間するために、現在の処理における補間残差が用いられている。また、最初の残差補間処理をラスタ走査及び水平補間フィルタを用いて行い、２番目の残差補間処理を逆ラスタ走査及び垂直補間フィルタを用いて行うことも可能である。これは２次元分離型補間フィルタを用いる場合に有用である。
【００２０】
残差補間（具体例）
図６ｂは２倍スケール比及び２タップバイリニアフィルタという具体的なケースを対象とする残差補間を示すフロー図である。図６ａは、本具体例における残差６０２及び補間残差６０４の位置の一例を示す。スケール比が２倍であるため、欠損画素は交互に位置する。２パス処理を行い、１番目のパスではラスタ走査を用いた水平補間を行い、２番目のパスでは逆ラスタ走査を用いた垂直補間を行う。それぞれのパスにおいて次に挙げるステップが実行される。すなわち、ステップＳ６０６において、対象画素が残差を持つか否かを確認する。持たない場合、ステップＳ６０８において、走査順において直前の画素と次の画素とが残差を持つか否かを確認する。これは２タップバイリニア補間フィルタを用いているためである。もし可能であれば、ステップＳ６１０において、対象画素の残差値は、直前の画素の残差値と次の画素の残差値との平均値となる。ステップＳ６１４において、他にも画素が存在するか否かを確認する。存在しない場合、処理を終了する。存在する場合、ステップＳ６１２において、走査順で次の画素を対象画素として設定し、ステップＳ６０６の処理を繰り返す。
【００２１】
システムＬＳＩ
残差補間を用いた超解像処理装置の各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ）回路として実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００２２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００２３】
さらには、製造技術の進歩によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【図面の簡単な説明】
【００２４】
【図１ａ】超解像処理装置内の処理装置を示すブロック図である。
【図１ｂ】正則化処理装置と照度マスキング及び／又は照度補償処理装置とが追加されている点を除いて図１ａと同様の超解像処理装置内の処理装置を示すブロック図である。
【図２】後処理又は前処理を目的とする超解像処理装置の使用を示すブロック図である。
【図３ａ】エンコーダにおける超解像処理装置の使用を示すブロック図である。
【図３ｂ】デコーダにおける超解像処理装置の使用を示すブロック図である。
【図４ａ】レイヤ間予測を用いるエンコーダにおける超解像処理装置の使用を示すブロック図である。
【図４ｂ】レイヤ間予測を用いるデコーダにおける超解像処理装置の使用を示すブロック図である。
【図５】一般的なケースを対象とした残差補間を示すフロー図である。
【図６ａ】２倍スケール比及び２タップバイリニア補間フィルタという具体的なケースを対象とする残差及び補間残差の位置を示す図である。
【図６ｂ】２倍スケール比及び２タップバイリニア補間フィルタという具体的なケースを対象とする残差補間を示すフロー図である。
【技術分野】
【０００１】
本発明は、あらゆる画像・映像処理、特に画像・映像超解像処理に利用可能である。
【背景技術】
【０００２】
超解像処理は、複数の低解像度画像から高解像画像を生成する技術である。この技術をプラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）などの表示装置に用いて、表示対象の入力画像列の解像度及び質を向上させることができる。超解像処理をハードディスクレコーダやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）レコーダなどの記録装置において用いた場合、トランスコーディングや格納の対象となる画像の解像度及び質を向上することができる。また、超解像度は印刷目的でも利用可能である。この場合、カメラレコーダやデジタルカメラからの画像列を処理して一枚の高解像度・高画質画像を生成できる。同様に、監視に応用した場合、顔や車両のナンバープレートの解像度及び画質を向上できる。
【０００３】
超解像処理方法には画像の位置合わせを伴う方法がある。同方法では、観測された低解像度画像を動き補償し、位置合わせ画像と呼ばれる共通の高解像度グリッドに変換する。高解像度フレームの最初の推定フレームは、バイキュービック補間などの空間補間方法を用いて得られる。この推定フレームは、不鮮明化、フレーム差分、点広がり逆関数、正則化、及び細密化の処理を繰り返すことで改善される。残差画像はフレーム差分を求める動作中に生成される。これによって、位置合わせ画像は、不鮮明化された高解像度推定フレームから減算される。超解像処理の詳細に関しては、例えば米国特許出願番号２００４／０１５６５６１ Ａ１及び米国特許出願番号２００５／００１９０００ Ａ１などを参照されたい。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
良質な超解像画像を得るためには、位置合わせ画像が良質であることが重要である。正確な位置合わせを行うためには、正確な動き補償、及び対象画像と周辺画像との間のサブピクセルシフトを行う必要がある。サブピクセルシフトを行わなければ、位置合わせ画像に欠損画素が生じる。結果として、残差画像にも同様の欠損画素が生じる。高解像度推定画像における対応の欠損画素は、欠損画素のないものに比べて細密化される度合いが低くなる。問題となるのは、これらの欠損画素は周期的に発生し、結果としてグリッドアーチファクトが発生してしまうことである。このため、エッジがぎざぎざ又は鋸歯状に見えてしまう。例えば、２倍解像度アップサンプリングの場合、画素毎に輝度が高かったり、低かったり、また高かったりと、交互のパターンなる。
【課題を解決するための手段】
【０００５】
本発明では、上記グリッドアーチファクトの問題を解決するために残差補間を用いる。残差補間において、欠損画素の残差値を、欠損していない周辺画素の残差値から補間する。
【発明の効果】
【０００６】
本発明は、グリッドアーチファクトを防ぐために残差補間を用いている点で新しい。高解像度推定画像に対し平滑化の拘束条件を加えることで、正則化によってもグリッドアーチファクトを防ぐことができる。しかしながら、平滑化の拘束条件は画像全体に適用されるため、平滑化の強度を制御する必要がある。平滑化を必要としない領域では不鮮明化が発生し、強度が適切に設定されなかった場合は、不鮮明化が過度になったり不十分になったりする。
【０００７】
残差補間は欠損画素に対して行われるため、画素が欠損していない領域は不鮮明化されない。また、残差補間の強度は、必然的に残差そのものの値に応じて設定される。残差値が大きければ補間された値も大きくなり、逆もまた同様である。
【０００８】
結果として、正則化を用いた場合と比較して、より鮮明な画像を生成できるより優れた超解像のアルゴリズムが得られる。
【０００９】
残差補間は正則化と併用可能である。この併用により、正則化の強度を抑えて不鮮明化が過度に行われることを防ぐことができる。
【発明を実施するための最良の形態】
【００１０】
後処理又は前処理装置
図２は後処理又は前処理装置における超解像処理装置の使用を示すブロック図である。入力Ｄ２５２は、映像及び／又は音声ソースなどで構成される。必要であれば、逆多重化器２０２を用いて映像ソースを他のソースから分離する。また必要であれば、他のソース又は他のビットストリームＤ２５６を他の処理装置で処理する。また、映像ソースを圧縮してもよい。この場合、符号化された映像ビットストリームＤ２５８を映像デコーダ２０４で復号し、復号化画像列Ｄ２６２を生成する。また映像ソースは圧縮されなくてもよい。この場合、非圧縮画像列Ｄ２５４を用いる。オプションで前処理装置２０６を用いて画像列Ｄ２６２及びＤ２５４を処理し、処理画像列Ｄ２６４を生成してもよい。超解像処理装置２０８は画像列を処理して超解像度化画像列Ｄ２６６を生成する。超解像処理装置２０８は残差補間も行う。映像ソースを圧縮した場合、超解像処理装置は、符号化映像ビットストリームからの補助データＤ２６０をオプションで用いることができる。補助データの例として、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などがある。超解像度化画像列は、さらに後処理装置２１０で処理されてもよい。処理済み超解像度化画像列Ｄ２６８は、表示装置２１４を用いて表示できる。オプションとして、記憶装置２１２を用いて格納されてもよい。また記憶装置２１２において、格納のために圧縮を用いてもよい。
【００１１】
符号化装置及び復号装置
図３ａ及び図３ｂは、符号化装置（エンコーダ）及び復号装置（デコーダ）における超解像処理装置の使用をそれぞれ示す２枚のブロック図である。エンコーダにおいて、画像列はイントラ符号化又はインター符号化される。イントラ予測処理装置３０６は、対象フレームの情報を用いて予測を行う。動き検出処理装置３０２は、他のフレームを参照して動き補償予測を行う。その結果として処理装置３０２及び３０６から得られる画像は、次に変換処理装置３０４、量子化処理装置３０８、次いでエントロピ処理装置３１０で処理され、符号化映像ビットストリームが生成される。対象フレームは、逆量子化処理装置３１２、逆変換処理装置３１４、動き補償処理装置３１８、及び逆イントラ予測処理装置３１６を備えるローカルデコーダを用いて再構成され、動き検出処理装置３０２が用いる参照フレームとして格納される。本発明では、動き検出処理装置３０２及び動き補償装置３１８が用いる参照フレームの質及び解像度を向上させるために、超解像処理装置３２０を用いる。超解像処理装置３２０は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置３２０において用いることができる。
【００１２】
デコーダにおいて、エントロピ復号処理装置３４０、逆量子化処理装置３４２、逆変換処理装置３４４、逆イントラ予測処理装置３４６、及び動き検出処理装置３５０を用いて、符号化映像ビットストリームから画像列を再構成する。エンコーダと同様に、超解像処理装置３４８を用いて参照フレームの質と解像度を向上させる。超解像処理装置３４８は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置３４８において用いることができる。超解像処理装置３４８は、さらに、表示された画像も改善させる。
【００１３】
説明したエンコーダ及びデコーダは簡略化されたものである。現在、デブロッキングフィルタなど、画質をさらに向上させるための高度なツールを使用するエンコーダやデコーダがある。本発明では、図３ａ及び図３ｂに示されるとおりに符号化と復号が行われる必要はない。ここでは、動き検出、動き補償予測、及び表示に用いる参照フレームを改善することで符号化効率又はピクチャの質を向上させるためにエンコーダ及びデコーダにおいて超解像処理を用いることができることの一例を示しているに過ぎない。
【００１４】
レイヤ間予測符号化装置及び復号装置
図４ａ及び図４ｂは、符号化装置（エンコーダ）及び復号装置（デコーダ）におけるレイヤ間イントラ予測のための超解像処理装置の使用をそれぞれ示す２枚のブロック図である。符号化効率を向上させるために、階層符号化にレイヤ間予測を用いる。レイヤ間予測を用いる階層符号化の一例として、ＩＳＯ／ＩＥＣ１４９６―１０にスケーラブル拡張を適用するというワーキングドラフトがあり、スケーラブル映像符号化としても知られている。基本レイヤ符号化処理装置４０２を用いて基本レイヤ画像列を符号化する。拡張レイヤ符号化処理装置４１２を用いて拡張レイヤ画像列を符号化する。拡張レイヤ符号化処理装置４１２は、レイヤ間予測を用いて拡張レイヤと基本レイヤとの間の冗長性を削減することで、拡張レイヤだけを符号化する場合と比較して符号化効率を向上させる。レイヤ間残差予測処理装置４０４を用いて拡張レイヤ残差と基本レイヤ残差との間の冗長性を削減する。レイヤ間動きデータ予測処理装置４０６を用いて拡張レイヤと基本レイヤとにおける動きデータ間の冗長性を削減する。動きデータの例として、マクロブロック毎に用いられるパーティションサイズ及びタイプ、並びに予測方向、動きベクトルなどがある。レイヤ間イントラ予測処理装置４０８は、拡張レイヤの画像を符号化するための追加の参照画像として、基本レイヤのイントラ画像又は基本レイヤの再構成画像を利用する。これらの追加の参照画像を改善するために、超解像処理装置４１０を用いる。超解像処理装置４１０は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置４１０において用いることができる。
【００１５】
デコーダにおいて、基本レイヤ復号処理装置４２２を用いて基本レイヤビットストリームを復号する。拡張レイヤ復号処理装置４３２は、レイヤ間残差予測処理装置４２４、レイヤ間動きデータ予測処理装置４２６、及びレイヤ間イントラ予測処理装置４２８を用いて拡張レイヤビットストリームを復号する。エンコーダと同様に、レイヤ間イントラ予測処理装置４２８からの参照ピクチャを改善するために超解像処理装置４３０を用いる。超解像処理装置４３０は残差補間も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置４３０において用いることができる。
【００１６】
超解像処理装置
図１ａは超解像処理装置内の処理装置（機能ブロック）を示すブロック図である。補間処理装置１１０は、超解像度化の対象となるフレームを補間する。補間方法には、公知であるバイリニア補間、バイキュービック補間、Ｌａｎｃｚｏｓ補間などがある。補間された画像は高解像度バッファ１１２に格納される。これが最初の高解像度推定画像となる。１２２における処理装置によって、画像列の位置合わせが行われる。１２２は、参照フレームと対象フレームとの間のワーピングベクトルを算出する動き検出処理装置１０２を備える。位置合わせ処理装置１０４はワーピングベクトルに基づいて位置合わせを行う。点拡がり関数処理装置１１４は、高解像度バッファ１１２における高解像度推定画像を不鮮明化する。フレーム差分処理装置１０６は位置合わせ画像と不鮮明化された高解像度推定画像との間の差分（残差）を算出する。残差補間処理装置１２４は、欠損画素の残差値を、欠損していない周辺画素の残差値から補間する。点拡がり逆関数処理装置１０８は差分（残差）を高解像度グリッドに逆投影する。高解像度推定処理装置１１６は逆投影された差分と平滑化の拘束条件とを組み合わせて強調係数を生成する。次にこの強調係数を用いて高解像度推定画像を更新する。これにより、向上処理の繰り返しが１サイクル完了する。この処理を、処理装置１１４、１０６、１２４、１０８、１１６、及び１１８を用いて繰り返す。この処理は所定のサイクル数になるまで繰り返してもよいし、強調係数の値が一定のしきい値以下になるまで繰り返してもよい。また、適応向上処理を画素単位で行って、特定の画素のみを選択し、さらなる向上処理を行ってもよい。
【００１７】
図１ｂは、図１ａと同様の超解像処理装置内の処理装置（機能ブロック）を示すブロック図である。図１ｂは、照度マスキング及び／又は照度補償処理装置１２０と正則化処理装置１１８とが追加されている点で異なる。これら２つの処理装置はオプションである。処理装置１２０は、位置合わせ処理装置１０４が用いる照度補償値と照度マスクとを算出する。処理装置１１８は、処理装置１１６が用いる平滑化の拘束条件を算出するために用いられる。
【００１８】
残差補間（一般的ケース）
図５は一般的なケースを対象とした残差補間を示すフロー図である。残差画像における全ての画素が走査される。走査順序はラスタ走査順又は逆ラスタ走査順である。ラスタ走査では、最初の行を左から右へ走査し、次に２番目の行を左から右へ走査するといった具合に最後の行まで走査する。逆ラスタ走査では、最初の列を上から下に走査し、次に２番目の列を上から下へ走査するといった具合に最後の列まで走査する。他の走査順序を用いてもよい。ステップＳ５０２では、対象画素が残差を持つか否かを確認する。すなわち、対象画素が欠損画素であるか否かを確認する。残差を持たない場合、ステップＳ５０４において、補間に十分な残差が周辺画素にあるか否かを確認する。例えば、２タップフィルタを用いる場合、該当する場所に２つの残差値があるはずである。又は、残差画像の局所特性に合うように補間フィルタを変化させてもよい。例えば、通常、６つの値が存在する場合は６タップＡＶＣフィルタを用い、エッジにおいて２つの値しか存在しない場合は２タップバイリニアフィルタを用いることができる。十分な残差がある場合、ステップＳ５０６において、対象画素の残差値を周辺画素から補間する。ステップＳ５１０は、ステップＳ５０２において対象画素が残差を持つと確認された場合、又はステップＳ５０４において補間に十分な周辺残差がない場合、又はステップＳ５０６の後に実行される。ステップＳ５１０において、他にも画素が存在するか否かを確認する。存在しない場合、処理を終了する。存在する場合、ステップＳ５０８において、走査順で次の画素を対象画素として設定し、ステップＳ５０２の処理を繰り返す。
【００１９】
処理を繰り返し、次の処理において他の欠損画素を補間するために、現在の処理における補間残差が用いられている。また、最初の残差補間処理をラスタ走査及び水平補間フィルタを用いて行い、２番目の残差補間処理を逆ラスタ走査及び垂直補間フィルタを用いて行うことも可能である。これは２次元分離型補間フィルタを用いる場合に有用である。
【００２０】
残差補間（具体例）
図６ｂは２倍スケール比及び２タップバイリニアフィルタという具体的なケースを対象とする残差補間を示すフロー図である。図６ａは、本具体例における残差６０２及び補間残差６０４の位置の一例を示す。スケール比が２倍であるため、欠損画素は交互に位置する。２パス処理を行い、１番目のパスではラスタ走査を用いた水平補間を行い、２番目のパスでは逆ラスタ走査を用いた垂直補間を行う。それぞれのパスにおいて次に挙げるステップが実行される。すなわち、ステップＳ６０６において、対象画素が残差を持つか否かを確認する。持たない場合、ステップＳ６０８において、走査順において直前の画素と次の画素とが残差を持つか否かを確認する。これは２タップバイリニア補間フィルタを用いているためである。もし可能であれば、ステップＳ６１０において、対象画素の残差値は、直前の画素の残差値と次の画素の残差値との平均値となる。ステップＳ６１４において、他にも画素が存在するか否かを確認する。存在しない場合、処理を終了する。存在する場合、ステップＳ６１２において、走査順で次の画素を対象画素として設定し、ステップＳ６０６の処理を繰り返す。
【００２１】
システムＬＳＩ
残差補間を用いた超解像処理装置の各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ）回路として実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００２２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００２３】
さらには、製造技術の進歩によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【図面の簡単な説明】
【００２４】
【図１ａ】超解像処理装置内の処理装置を示すブロック図である。
【図１ｂ】正則化処理装置と照度マスキング及び／又は照度補償処理装置とが追加されている点を除いて図１ａと同様の超解像処理装置内の処理装置を示すブロック図である。
【図２】後処理又は前処理を目的とする超解像処理装置の使用を示すブロック図である。
【図３ａ】エンコーダにおける超解像処理装置の使用を示すブロック図である。
【図３ｂ】デコーダにおける超解像処理装置の使用を示すブロック図である。
【図４ａ】レイヤ間予測を用いるエンコーダにおける超解像処理装置の使用を示すブロック図である。
【図４ｂ】レイヤ間予測を用いるデコーダにおける超解像処理装置の使用を示すブロック図である。
【図５】一般的なケースを対象とした残差補間を示すフロー図である。
【図６ａ】２倍スケール比及び２タップバイリニア補間フィルタという具体的なケースを対象とする残差及び補間残差の位置を示す図である。
【図６ｂ】２倍スケール比及び２タップバイリニア補間フィルタという具体的なケースを対象とする残差補間を示すフロー図である。
【特許請求の範囲】
【請求項１】
画像列に対して残差補間を用いた超解像処理を行うための方法であって、
補間を行って最初の高解像度推定画像を生成するステップ（１１０）と、
位置合わせを行って位置合わせ画像を生成するステップ（１２２）と、
以下のステップを繰り返すステップとを備えることを特徴とする方法。
点拡がり関数を用いて前記高解像度推定画像を不鮮明化し、不鮮明化画像を生成するステップ（１１４）
前記不鮮明化画像と前記位置合わせ画像とを減算し、残差画像を生成するステップ（１０６）
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間するステップ（１２４）
点拡がり逆関数を用いて前記残差画像を逆投影し、逆投影画像を生成するステップ（１０８）
平滑化画像と前記逆投影画像とを組み合わせ、強調係数を生成するステップ（１１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成するステップ（１１２）
【請求項２】
位置合わせを行って位置合わせ画像を生成する請求項１記載の方法であって、
動き補償を行ってワーピングベクトルを生成するステップ（１０２）と、
前記ワーピングベクトルに基づいて位置合わせを行い、位置合わせ画像を生成するステップ（１０４）と
を備えることを特徴とする方法。
【請求項３】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１に記載の方法であって、
対象画素が残差値を持つか否かを確認するステップ（Ｓ５０２）と、
前記対象画素が残差値を持たない場合に、補間を行うのに十分な残差を周辺画素が持つか否かを確認するステップ（Ｓ５０４）と、
前記対象画素が残差値を持たない場合、かつ補間を行うのに十分な残差を周辺画素が持たない場合に、前記対象画素の残差値を前記周辺画素の残差値から補間するステップ（Ｓ５０６）と、
他の画素が存在するか否かを確認するステップ（Ｓ５１０）と、
他の画素が存在しない場合に、前記対象画素を走査順における次の画素として設定するステップ（Ｓ５０８）と、
他の画素が存在しない場合に、前記対象画素が残差値を持つか否かを確認するステップから処理を繰り返すステップと、
他の画素が存在しないと確認された場合に、処理を終了するステップと
を備えることを特徴とする方法。
【請求項４】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項３記載の方法であって、
前記走査順は、ラスタ走査、逆ラスタ走査、及び任意の走査順序のいずれかである
ことを特徴とする方法。
【請求項５】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１記載の方法であって、さらに、
補間された残差値を用いてさらに新たな補間残差値を生成できるように請求項３記載の方法を繰り返すステップ
を備えることを特徴とする方法。
【請求項６】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１記載の方法であって、さらに、
残差補間のパス毎に異なる走査順を用いるステップ
を備えることを特徴とする方法。
【請求項７】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１に記載の方法であって、
対象画素が残差値を持つか否かを確認するステップ（Ｓ６０６）と、
前記対象画素が残差値を持たない場合に、前の画素と次の画素とが残差を持つか否かを確認するステップ（Ｓ６０８）と、
前記対象画素が残差値を持たない場合、かつ前記前の画素と次の画素とが残差値を持つ場合に、前記対象画素の残差値を前記前の画素と次の画素との残差値から補間するステップ（Ｓ６１０）と、
他の画素が存在するか否かを確認するステップ（Ｓ６１４）と、
他の画素が存在しない場合に、前記対象画素を走査順における次の画素として設定するステップ（Ｓ６１２）と、
他の画素が存在しない場合に、前記対象画素が残差値を持つか否かを確認するステップから処理を繰り返すステップと、
他の画素が存在しないと確認された場合に、処理を終了するステップと
を備えることを特徴とする方法。
【請求項８】
画像列に対して残差補間を用いた超解像処理を行うための装置であって、
補間を行って最初の高解像度推定画像を生成する手段（１１０）と、
位置合わせを行って位置合わせ画像を生成する手段（１２２）と、
以下のステップを繰り返す手段とを備えることを特徴とする装置。
点拡がり関数を用いて前記高解像度推定画像を不鮮明化し、不鮮明化画像を生成する手段（１１４）
前記不鮮明化画像と前記位置合わせ画像とを減算し、残差画像を生成する手段（１０６）
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する手段（１２４）
点拡がり逆関数を用いて前記残差画像を逆投影し、逆投影画像を生成する手段（１０８）
平滑化画像と前記逆投影画像とを組み合わせ、強調係数を生成する手段（１１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成する手段（１１２）
【請求項９】
画像列に対して残差補間を用いた超解像処理を行うためのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ）回路であって、
補間を行って最初の高解像度推定画像を生成するユニット（１１０）と、
位置合わせを行って位置合わせ画像を生成するユニット（１２２）と、
以下のステップを繰り返すユニットとを備えることを特徴とするＬＩＳ回路。
点拡がり関数を用いて前記高解像度推定画像を不鮮明化し、不鮮明化画像を生成するユニット（１１４）
前記不鮮明化画像と前記位置合わせ画像とを減算し、残差画像を生成するユニット（１０６）
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間するユニット（１２４）
点拡がり逆関数を用いて前記残差画像を逆投影し、逆投影画像を生成するユニット（１０８）
平滑化画像と前記逆投影画像とを組み合わせ、強調係数を生成するユニット（１１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成するユニット（１１２）
【請求項１０】
前処理装置又は後処理装置において、残差補間を用いて超解像処理を行う装置であって、
入力源を必要に応じて逆多重化し、非圧縮画像列又は符号化映像ビットストリームと他のビットストリームとを生成する手段（２０２）と、
前記符号化映像ビットストリームを必要に応じて復号し、復号化画像列と、オプションで補助データとを生成する手段（２０４）と、
オプションで、前記復号化画像列又は前記非圧縮画像列に対して前処理を行い、処理画像列を生成する手段（２０６）と、
前記処理画像列に対して、請求項１〜９記載の残差補間を用いた超解像処理を行い、超解像度化画像列を生成する手段（２０８）と、
オプションで、前記超解像度化画像列に対して後処理を行い、処理済み超解像度化画像列を生成する手段（２１０）と、
オプションで圧縮を行って、オプションで前記処理済み超解像度化画像列を格納する手段（２１２）と、
オプションで前記処理済み超解像度化画像列を表示する手段（２１４）と
を備えることを特徴とする装置。
【請求項１１】
エンコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
イントラ予測を行う手段（３０６）と、
動き検出を行う手段（３０２）と、
変換を行う手段（３０４）と、
量子化を行う手段（３０８）と、
エントロピ符号化を行う手段（３１０）と、
逆量子化を行う手段（３１２）と、
逆変換を行う手段（３１４）と、
逆イントラ予測を行う手段（３１６）と、
動き補償を行う手段（３１８）と、
前記動き検出及び動き補償に用いる参照画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（３２０）と
を備えることを特徴とする装置。
【請求項１２】
デコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
エントロピ復号を行う手段（３４０）と、
逆量子化を行う手段（３４２）と、
逆変換を行う手段（３４４）と、
逆イントラ予測を行う手段（３４６）と、
動き補償を行う手段（３５０）と、
前記動き補償に用いる参照画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（３４８）と
を備えることを特徴とする装置。
【請求項１３】
レイヤ間予測を用いるエンコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
基本レイヤを符号化する手段（４０２）と、
レイヤ間予測を用いて拡張レイヤを符号化する手段（４１２）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間残差予測を行う手段（４０４）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間動きデータ予測を行う手段（４０６）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間イントラ予測を行う手段（４０８）と、
前記拡張レイヤを符号化するための追加的な参照として用いられる前記基本レイヤのイントラ画像又は復号化画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（４１０）と
を備えることを特徴とする装置。
【請求項１４】
レイヤ間予測を用いるデコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
基本レイヤを復号する手段（４２２）と、
レイヤ間予測を用いて拡張レイヤを復号する手段（４３２）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間残差予測を行う手段（４２４）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間動きデータ予測を行う手段（４２６）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間イントラ予測を行う手段（４２８）と、
前記拡張レイヤを復号するための追加的な参照として用いられる前記基本レイヤのイントラ画像又は復号化画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（４３０）と
を備えることを特徴とする装置。
【請求項１】
画像列に対して残差補間を用いた超解像処理を行うための方法であって、
補間を行って最初の高解像度推定画像を生成するステップ（１１０）と、
位置合わせを行って位置合わせ画像を生成するステップ（１２２）と、
以下のステップを繰り返すステップとを備えることを特徴とする方法。
点拡がり関数を用いて前記高解像度推定画像を不鮮明化し、不鮮明化画像を生成するステップ（１１４）
前記不鮮明化画像と前記位置合わせ画像とを減算し、残差画像を生成するステップ（１０６）
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間するステップ（１２４）
点拡がり逆関数を用いて前記残差画像を逆投影し、逆投影画像を生成するステップ（１０８）
平滑化画像と前記逆投影画像とを組み合わせ、強調係数を生成するステップ（１１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成するステップ（１１２）
【請求項２】
位置合わせを行って位置合わせ画像を生成する請求項１記載の方法であって、
動き補償を行ってワーピングベクトルを生成するステップ（１０２）と、
前記ワーピングベクトルに基づいて位置合わせを行い、位置合わせ画像を生成するステップ（１０４）と
を備えることを特徴とする方法。
【請求項３】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１に記載の方法であって、
対象画素が残差値を持つか否かを確認するステップ（Ｓ５０２）と、
前記対象画素が残差値を持たない場合に、補間を行うのに十分な残差を周辺画素が持つか否かを確認するステップ（Ｓ５０４）と、
前記対象画素が残差値を持たない場合、かつ補間を行うのに十分な残差を周辺画素が持たない場合に、前記対象画素の残差値を前記周辺画素の残差値から補間するステップ（Ｓ５０６）と、
他の画素が存在するか否かを確認するステップ（Ｓ５１０）と、
他の画素が存在しない場合に、前記対象画素を走査順における次の画素として設定するステップ（Ｓ５０８）と、
他の画素が存在しない場合に、前記対象画素が残差値を持つか否かを確認するステップから処理を繰り返すステップと、
他の画素が存在しないと確認された場合に、処理を終了するステップと
を備えることを特徴とする方法。
【請求項４】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項３記載の方法であって、
前記走査順は、ラスタ走査、逆ラスタ走査、及び任意の走査順序のいずれかである
ことを特徴とする方法。
【請求項５】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１記載の方法であって、さらに、
補間された残差値を用いてさらに新たな補間残差値を生成できるように請求項３記載の方法を繰り返すステップ
を備えることを特徴とする方法。
【請求項６】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１記載の方法であって、さらに、
残差補間のパス毎に異なる走査順を用いるステップ
を備えることを特徴とする方法。
【請求項７】
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する請求項１に記載の方法であって、
対象画素が残差値を持つか否かを確認するステップ（Ｓ６０６）と、
前記対象画素が残差値を持たない場合に、前の画素と次の画素とが残差を持つか否かを確認するステップ（Ｓ６０８）と、
前記対象画素が残差値を持たない場合、かつ前記前の画素と次の画素とが残差値を持つ場合に、前記対象画素の残差値を前記前の画素と次の画素との残差値から補間するステップ（Ｓ６１０）と、
他の画素が存在するか否かを確認するステップ（Ｓ６１４）と、
他の画素が存在しない場合に、前記対象画素を走査順における次の画素として設定するステップ（Ｓ６１２）と、
他の画素が存在しない場合に、前記対象画素が残差値を持つか否かを確認するステップから処理を繰り返すステップと、
他の画素が存在しないと確認された場合に、処理を終了するステップと
を備えることを特徴とする方法。
【請求項８】
画像列に対して残差補間を用いた超解像処理を行うための装置であって、
補間を行って最初の高解像度推定画像を生成する手段（１１０）と、
位置合わせを行って位置合わせ画像を生成する手段（１２２）と、
以下のステップを繰り返す手段とを備えることを特徴とする装置。
点拡がり関数を用いて前記高解像度推定画像を不鮮明化し、不鮮明化画像を生成する手段（１１４）
前記不鮮明化画像と前記位置合わせ画像とを減算し、残差画像を生成する手段（１０６）
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間する手段（１２４）
点拡がり逆関数を用いて前記残差画像を逆投影し、逆投影画像を生成する手段（１０８）
平滑化画像と前記逆投影画像とを組み合わせ、強調係数を生成する手段（１１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成する手段（１１２）
【請求項９】
画像列に対して残差補間を用いた超解像処理を行うためのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ）回路であって、
補間を行って最初の高解像度推定画像を生成するユニット（１１０）と、
位置合わせを行って位置合わせ画像を生成するユニット（１２２）と、
以下のステップを繰り返すユニットとを備えることを特徴とするＬＩＳ回路。
点拡がり関数を用いて前記高解像度推定画像を不鮮明化し、不鮮明化画像を生成するユニット（１１４）
前記不鮮明化画像と前記位置合わせ画像とを減算し、残差画像を生成するユニット（１０６）
欠損していない周辺画素の残差値を用いて、前記残差画像から欠損残差を補間するユニット（１２４）
点拡がり逆関数を用いて前記残差画像を逆投影し、逆投影画像を生成するユニット（１０８）
平滑化画像と前記逆投影画像とを組み合わせ、強調係数を生成するユニット（１１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成するユニット（１１２）
【請求項１０】
前処理装置又は後処理装置において、残差補間を用いて超解像処理を行う装置であって、
入力源を必要に応じて逆多重化し、非圧縮画像列又は符号化映像ビットストリームと他のビットストリームとを生成する手段（２０２）と、
前記符号化映像ビットストリームを必要に応じて復号し、復号化画像列と、オプションで補助データとを生成する手段（２０４）と、
オプションで、前記復号化画像列又は前記非圧縮画像列に対して前処理を行い、処理画像列を生成する手段（２０６）と、
前記処理画像列に対して、請求項１〜９記載の残差補間を用いた超解像処理を行い、超解像度化画像列を生成する手段（２０８）と、
オプションで、前記超解像度化画像列に対して後処理を行い、処理済み超解像度化画像列を生成する手段（２１０）と、
オプションで圧縮を行って、オプションで前記処理済み超解像度化画像列を格納する手段（２１２）と、
オプションで前記処理済み超解像度化画像列を表示する手段（２１４）と
を備えることを特徴とする装置。
【請求項１１】
エンコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
イントラ予測を行う手段（３０６）と、
動き検出を行う手段（３０２）と、
変換を行う手段（３０４）と、
量子化を行う手段（３０８）と、
エントロピ符号化を行う手段（３１０）と、
逆量子化を行う手段（３１２）と、
逆変換を行う手段（３１４）と、
逆イントラ予測を行う手段（３１６）と、
動き補償を行う手段（３１８）と、
前記動き検出及び動き補償に用いる参照画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（３２０）と
を備えることを特徴とする装置。
【請求項１２】
デコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
エントロピ復号を行う手段（３４０）と、
逆量子化を行う手段（３４２）と、
逆変換を行う手段（３４４）と、
逆イントラ予測を行う手段（３４６）と、
動き補償を行う手段（３５０）と、
前記動き補償に用いる参照画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（３４８）と
を備えることを特徴とする装置。
【請求項１３】
レイヤ間予測を用いるエンコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
基本レイヤを符号化する手段（４０２）と、
レイヤ間予測を用いて拡張レイヤを符号化する手段（４１２）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間残差予測を行う手段（４０４）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間動きデータ予測を行う手段（４０６）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間イントラ予測を行う手段（４０８）と、
前記拡張レイヤを符号化するための追加的な参照として用いられる前記基本レイヤのイントラ画像又は復号化画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（４１０）と
を備えることを特徴とする装置。
【請求項１４】
レイヤ間予測を用いるデコーダにおいて、残差補間を用いて超解像処理を行う装置であって、
基本レイヤを復号する手段（４２２）と、
レイヤ間予測を用いて拡張レイヤを復号する手段（４３２）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間残差予測を行う手段（４２４）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間動きデータ予測を行う手段（４２６）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間イントラ予測を行う手段（４２８）と、
前記拡張レイヤを復号するための追加的な参照として用いられる前記基本レイヤのイントラ画像又は復号化画像に対して、請求項１〜９記載の残差補間を用いた超解像処理を行う手段（４３０）と
を備えることを特徴とする装置。
【図１ａ】
【図１ｂ】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図５】
【図６ａ】
【図６ｂ】
【図１ｂ】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図５】
【図６ａ】
【図６ｂ】
【公開番号】特開２００７−３１６１６１（Ｐ２００７−３１６１６１Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−１４３２７６（Ｐ２００６−１４３２７６）
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４３２７６（Ｐ２００６−１４３２７６）
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]