画像処理装置、それを搭載した撮像装置、および画像再生装置
【課題】原フレーム画像より高精細な全体画像または部分画像を再生可能な符号化画像データを、少ないデータ量の追加で生成したい。
【解決手段】部分画像抽出部２２は、対象フレーム画像内、およびその時間方向に隣接する参照フレーム画像内から、指定された領域の部分画像を抽出する。超解像拡大部２３は、上記対象フレーム画像の対象部分画像と、上記参照フレーム画像の参照部分画像を用いて超解像処理し、上記対象部分画像を所定の拡大率で拡大する。空間補間拡大部２４は、上記対象部分画像に画素データを空間的に補間して、上記対象部分画像を拡大率で拡大する。冗長データ生成部２５は、上記対象部分画像の超解像拡大画像と、上記対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する。符号化部２１は、対象フレーム画像および冗長データを符号化して、冗長データ付き符号化画像データを生成する。
【解決手段】部分画像抽出部２２は、対象フレーム画像内、およびその時間方向に隣接する参照フレーム画像内から、指定された領域の部分画像を抽出する。超解像拡大部２３は、上記対象フレーム画像の対象部分画像と、上記参照フレーム画像の参照部分画像を用いて超解像処理し、上記対象部分画像を所定の拡大率で拡大する。空間補間拡大部２４は、上記対象部分画像に画素データを空間的に補間して、上記対象部分画像を拡大率で拡大する。冗長データ生成部２５は、上記対象部分画像の超解像拡大画像と、上記対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する。符号化部２１は、対象フレーム画像および冗長データを符号化して、冗長データ付き符号化画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理機能を備える画像処理装置、それを搭載した撮像装置、および画像再生装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラおよびデジタルムービーカメラが普及してきており、静止画および動画に対する高画質化の要求も年々高まっている。当然のことながら、高画質な画像を得るにはカメラに高スペックな、撮像素子および画像処理エンジンを搭載する必要がある。とくに高画質な動画を得るためには、非常に高スペックな画像処理エンジンを搭載する必要があり、一般的なデジタルムービーカメラで撮像される動画の解像度は、一般的なデジタルスチルカメラで撮像される静止画の解像度より低く設定されている。
【０００３】
このような状況下、フレーム画像の解像度を事後的に向上させる手法が提案されている。その中でも、高周波成分自体を復元することができる超解像処理が注目されている。超解像処理は、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成する技術である。
【０００４】
特許文献１は、空間解像度が互いに異なる複数の符号化レイヤにより画像信号を符号化する階層符号化装置を開示する。
【特許文献１】特開２００７−１７４６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、フレーム画像の全体領域または部分領域を超解像処理して得られる全体画像または部分画像は、高解像度化されているためデータ量が大きくなる。たとえば、フレーム画像の符号化データに、そのフレーム画像の部分領域を超解像処理して得られる部分画像の符号化データを冗長データとして付加した場合、符号化ストリーム全体のデータ量が非常に増大してしまう。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、原フレーム画像より高精細な全体画像または部分画像を再生可能な符号化画像データを、少ないデータ量の追加で生成することができる画像処理装置、それを搭載した撮像装置、および画像再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の画像処理装置は、対象フレーム画像内、およびその対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像内から、指定された領域の部分画像を抽出する部分画像抽出部と、部分画像抽出部により抽出された、対象フレーム画像の対象部分画像と、参照フレーム画像の参照部分画像を用いて超解像処理し、対象部分画像を所定の拡大率で拡大する超解像拡大部と、部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、対象部分画像を上記拡大率で拡大する空間補間拡大部と、超解像拡大部により拡大された、対象部分画像の超解像拡大画像と、空間補間拡大部により拡大された、対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する冗長データ生成部と、対象フレーム画像および冗長データを符号化して、冗長データ付き符号化画像データを生成する符号化部と、を備える。
【０００８】
本発明の別の態様もまた、画像処理装置である。この装置は、対象フレーム画像を、その対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像を用いて超解像処理し、対象フレーム画像を所定の拡大率で拡大する超解像拡大部と、対象フレーム画像に画素データを空間的に補間して、対象フレーム画像を上記拡大率で拡大する空間補間拡大部と、超解像拡大部により拡大された、対象フレーム画像の超解像拡大画像と、空間補間拡大部により拡大された、対象フレーム画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する冗長データ生成部と、対象フレーム画像、および冗長データ生成部により生成された冗長データを符号化して、冗長データ付き符号化画像データを生成する符号化部と、を備える。
【０００９】
本発明のさらに別の態様は、画像再生装置である。この装置は、上述した画像処理装置により生成された冗長データ付き符号化画像データを再生する画像再生装置であって、冗長データ付き符号化画像データを復号する復号部と、復号部により復号された対象フレーム画像内から、対象部分画像を抽出する部分画像抽出部と、部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、対象部分画像を上記拡大率で拡大する空間補間拡大部と、空間補間拡大部により拡大された対象部分画像の空間補間拡大画像と、復号部により復号された冗長データとの間に、所定の演算を施し、対象部分画像の超解像拡大画像を復元する超解像拡大画像復元部と、を備える。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、原フレーム画像より高精細な全体画像または部分画像を再生可能な符号化画像データを、少ないデータ量の追加で生成することができる。
【発明を実施するための最良の形態】
【００１２】
図１は、実施の形態１に係る画像処理装置２０を搭載した撮像装置１００の構成を示す図である。撮像装置１００は、撮像部１０、画像処理装置２０および記録部３０を備える。画像処理装置２０は、符号化部２１、部分画像抽出部２２、超解像拡大部２３、空間補間拡大部２４、冗長データ生成部２５および復号部２６を有する。
【００１３】
画像処理装置２０の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１４】
撮像部１０は、画像を取得して画像処理装置２０に供給する。撮像部１０は、図示しない撮像素子および信号処理部を含む。当該撮像素子としてＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを採用することができる。当該信号処理部は、当該撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１５】
画像処理装置２０は、撮像部１０から入力されるフレーム画像を圧縮符号化する。本実施の形態では対象フレーム画像を超解像処理する際、その対象フレーム画像と時間方向に隣接する参照フレーム画像を用いる。したがって、本実施の形態はフレーム画像が連続的に撮像される動画撮影への適用を主に想定しているが、静止画撮影への適用も可能である。静止画撮影に適用する場合、連射機能を発動して対象フレーム画像と時間方向に隣接する参照フレーム画像を取得すればよい。
【００１６】
符号化部２１は、対象フレーム画像およびその冗長データを符号化して、冗長データ付き符号化画像データを生成する。冗長データについては後述する。動画撮影では、符号化部２１はたとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい、連続的に入力されるフレーム画像を圧縮符号化する。静止画撮影では、符号化部２１はたとえば、ＪＰＥＧなどの規格にしたがい、フレーム画像を圧縮符号化する。符号化部２１により圧縮符号化された冗長データ付き符号化画像データは、記録部３０に記録されるか、図示しないネットワークを介して外部装置に送信される。
【００１７】
部分画像抽出部２２は、対象フレーム画像内、およびその対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像内から、指定された領域の部分画像を抽出する。ここで、対象フレーム画像および参照フレーム画像は、撮像部１０から直接入力されたフレーム画像であってもよいし、符号化部２１により符号化され、かつ復号部２６により復号されたフレーム画像であってもよい。前者の場合、実施の形態１では復号部２６は必須要素ではない。参照フレーム画像は、対象フレーム画像より過去方向に隣接する一枚以上のフレーム画像、未来方向に隣接する一枚以上のフレーム画像、またはそれらの両方であってもよい。
【００１８】
上記領域はあらかじめ設定された固定の領域であってもよいし、動的に変更される領域であってもよい。前者の例として、フレーム画像内の中央部分にその固定の領域が設定されてもよい。後者の例として、本撮像装置１００に顔などのオブジェクト検出機能が搭載される場合、その検出機能により検出された、オブジェクトを含む窓領域が、上記抽出されるべき領域としてフレーム画像ごとに適応的に設定されてもよい。また、静止画撮影の場合、ユーザにより指定された領域が上記抽出されるべき領域として設定されてもよい。
【００１９】
部分画像抽出部２２は、抽出した対象フレーム画像の対象部分画像を超解像拡大部２３および空間補間拡大部２４に供給し、抽出した参照フレーム画像の参照部分画像を超解像拡大部２３に供給する。なお、部分画像抽出部２２により抽出されるべき領域の位置情報は、符号化部２１により上記冗長データ付き符号化画像データのヘッダなどに記述される。
【００２０】
超解像拡大部２３は、部分画像抽出部２２により抽出された、対象部分画像と参照部分画像を用いて超解像処理し、当該対象部分画像を所定の拡大率で拡大する。この拡大率は設計者によって予め設定される。なお、事後的にユーザが変更できてもよい。超解像拡大部２３の詳細な構成は後述する。
【００２１】
空間補間拡大部２４は、部分画像抽出部２２により抽出された対象部分画像に画素データを空間的に補間して、当該対象部分画像を上記拡大率で拡大する。この拡大率は、超解像拡大部２３により拡大された画像と空間補間拡大部２４により拡大された画像の解像度を合わせるため、超解像拡大部２３に設定された拡大率と同じ値に設定される。
【００２２】
空間補間拡大部２４は、補間すべき画素データを、上記対象部分画像内における、隣接する複数の画素データから予測する。以下、上記対象部分画像を２倍に拡大する例について説明する。原画素データ列（ａ０、ａ１、ａ２、ａ３）を２倍の画素データ列（ａ０、ｂ０、ａ１、ｂ１、ａ２、ｂ２、ａ３、ｂ３）に拡大する場合について考える。
【００２３】
まず、最も単純な線形補間処理では、画素データｂ０、ｂ１、ｂ２、ｂ３を下記式１〜４で算出する。すなわち、補間すべき画素データｂ０、ｂ１、ｂ２をその両側に隣接する、２点の画素データの平均値を算出して求める。なお、一番端の画素データｂ３については画素データａ３をそのままコピーしている。
ｂ０＝（ａ０＋ａ１）／２ ・・・（式１）
ｂ１＝（ａ１＋ａ２）／２ ・・・（式２）
ｂ２＝（ａ２＋ａ３）／２ ・・・（式３）
ｂ３＝ａ３ ・・・（式４）
【００２４】
また、画素データｂ１を下記式５に示すように４点の平均値を算出して求めることもできる。
ｂ１＝（ａ０＋ａ１＋ａ２＋ａ３）／４ ・・・（式５）
また、画素データｂ１を下記式６に示すように、重み付けされた４点の平均値を算出して求めることもできる。
ｂ１＝（ａ０＋２・ａ１＋２・ａ２＋ａ３）／６ ・・・（式６）
【００２５】
その他、複数の点を通る曲線を近似し、その曲線上の、２点（ａ０とａ１）の中間座標（ｂ１）を予測画素データとして求めてもよいし、Ｈ．２６４／ＡＶＣで標準的に用いられる６タップＦＩＲフィルタにより予測画素データを求めてもよい。ここでは、２倍に拡大する手法について説明したが、２倍未満（１倍を超える）の拡大も、２倍を超える拡大も、既知のアルゴリズムにより可能である。
【００２６】
冗長データ生成部２５は、超解像拡大部２３により拡大された対象部分画像の超解像拡大画像と、空間補間拡大部２４により拡大された対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する。たとえば、冗長データ生成部２５は、当該超解像拡大画像と当該空間補間拡大画像との間の、差分または排他的論理和を求めて冗長データを生成する。当該超解像拡大画像と当該空間補間拡大画像は相関性が非常に強いため、両者の差分または排他的論理和を求めて生成した冗長データのデータ量は、当該超解像拡大画像自体のデータ量と比較し、大幅に削減される。
【００２７】
記録部３０はメモリカード、ハードディスク、光ディスクなどの、記録媒体を備える。本実施の形態では画像処理装置２０により生成された、冗長データ付き符号化画像データを記録する。
【００２８】
図２は、実施の形態１に係る超解像拡大部２３の詳細な構成を示す図である。超解像拡大部２３は、拡大部２３１、位置合わせ部２３２および合成部２３３を含む。なお、図２では複数の画像を拡大した後に、それぞれの画像の位置合わせを行う例を示しているが、複数の画像の位置合わせを終えた後に、それぞれの画像を拡大してもよい。
【００２９】
拡大部２３１は、一枚の対象部分画像と、少なくとも一枚の参照部分画像をそれぞれ上記拡大率で拡大する。上記対象部分画像と上記参照部分画像との位置ずれが微少な範囲にとどまる限り、参照部分画像の枚数が多いほど高精細な画像を復元することができるが、演算量が増大し、ノイズが混入するリスクが増大する。当該位置ずれが大きい参照部分画像が超解像処理に使用されると、その参照部分画像の成分はノイズとなる。設計者はこのようなトレードオフ関係を考慮して、参照部分画像の枚数を設定することができる。
【００３０】
拡大部２３１は、それぞれの部分画像に画素データを空間的に補間する。すなわち、空間補間拡大部２４と同様の処理をそれぞれの部分画像に施す。この場合、空間補間拡大部２４および拡大部２３１は、ハードウェア資源またはソフトウェア資源を時分割に共用することができる。
【００３１】
位置合わせ部２３２は、上記対象部分画像と上記参照部分画像との位置ずれ量を推定し、その位置ずれ量を補正する。当該位置ずれ量は、たとえば、２枚の部分画像の差分絶対値和（SAD: Sum of Absolute Difference）を求めることにより推定することができる。すなわち、２枚の部分画像の各画素データの差分を求め、その総和を求める。より具体的には、どちらかの部分画像を縦方向または横方向に１画素ずつ移動させるごとに上記差分絶対値和を求めるという処理を繰り返し、上記差分絶対値和が最も小さい位置を特定する。そして、その位置を２枚の部分画像の重ね合わせ位置に設定する。参照部分画像が複数枚ある場合、それぞれの参照部分画像と、対象部分画像との間で上述した位置合わせ処理を実行する。
【００３２】
合成部２３３は、位置合わせされた複数の部分画像を重み付け加算する。通常、位置ずれ量が小さい部分画像の重みを大きく、位置ずれ量が大きい部分画像の重みを小さくする。
【００３３】
なお、上述した超解像処理のアルゴリズムは一例であり、その他のアルゴリズムを用いてもよい。たとえば、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）に開示されたアルゴリズムを用いてもよい。
【００３４】
図３は、実施の形態１に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩのデータ構造を示す図である。冗長データ付き符号化画像データＣＩは、基本データＦと冗長データＲを含む。基本データＦは、原フレーム画像を再生するためのデータである。冗長データＲは、その原フレーム画像の部分領域が超解像処理により高解像度化された部分画像を再生するためのデータである。後述するように、この冗長データ付き符号化画像データを復号することにより、超解像処理機能を搭載しない画像再生装置でも高精細に高解像度化された部分画像を再生することができる。このように、この冗長データ付き符号化画像データは汎用性が高いデータフォーマットであるといえる。
【００３５】
以上説明したように実施の形態１によれば、超解像処理により拡大された部分画像と、空間的補間により拡大された部分画像との間に所定の演算を施して生成した冗長データの符号化データを、原フレーム画像の符号化データに付加することにより、つぎの効果を奏する。すなわち、原フレーム画像より高精細な部分画像を再生可能な符号化画像データを、少ないデータ量の追加で生成することができる。すなわち、再生側は超解像処理機能を搭載していなくても超解像処理された部分画像を再生することができる。超解像処理された部分画像は、解像度が同じ、空間的に補間された部分画像と比較し、高精細な画像となる。
【００３６】
超解像処理により拡大された部分画像と空間的補間により拡大された部分画像との画素数を合わせることにより、それらの部分画像間の演算処理を単純化することができる。とくに、それらの部分画像間の差分または排他的論理和を求めると、冗長データとして付加すべきデータ量を大幅に削減することができる。
【００３７】
図４は、実施の形態２に係る画像再生装置２００の構成を示す図である。画像再生装置２００は、撮像装置１００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置２００は、実施の形態１に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩを再生する。画像再生装置２００は、画像再生部４０および表示部５０を備える。画像再生部４０は、復号部４１、部分画像抽出部４２、空間補間拡大部４３および超解像拡大画像復元部４４を有する。
【００３８】
復号部４１は、実施の形態１に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩを復号する。復号部４１は、復号した対象フレーム画像を部分画像抽出部４２に供給し、復号した冗長データを超解像拡大画像復元部４４に供給する。
【００３９】
部分画像抽出部４２は、復号部４１により復号された対象フレーム画像内から、冗長データを持つ領域である、上記対象部分画像を抽出する。この領域の位置情報は、冗長データ付き符号化画像データＣＩのヘッダなどに記述されており、部分画像抽出部４２は、その情報を参照することにより、上記領域を特定することができる。
【００４０】
空間補間拡大部４３は、上記対象部分画像に画素データを空間的に補間して、上記対象部分画像を上記拡大率で拡大する。この拡大率は、符号化側の画像処理装置２０に含まれる空間補間拡大部２４および超解像拡大部２３に設定された拡大率と同じ値に設定される。符号化側の拡大率を再生側が未知の場合や符号化側の拡大率が可変する場合、冗長データ付き符号化画像データＣＩのヘッダなどに符号化側の拡大率が記述されるように設計すれば、符号化側からその拡大率が再生側に伝達される。再生側の画像再生部４０に含まれる空間補間拡大部４３は、符号化側の画像処理装置２０に含まれる空間補間拡大部２４と同様の構成とすることができる。
【００４１】
超解像拡大画像復元部４４は、空間補間拡大部４３により拡大された対象部分画像の空間補間拡大画像と、復号部４１により復号された冗長データとの間に、所定の演算を施し、上記対象部分画像の超解像拡大画像を復元する。符号化側において、冗長データ生成部２５が、超解像拡大部２３により拡大された対象部分画像の超解像拡大画像と、空間補間拡大部２４により拡大された対象部分画像の空間補間拡大画像との間の、差分または排他的論理和を求めて冗長データを生成した場合、超解像拡大画像復元部４４はつぎのように演算して上記超解像拡大画像を復元する。すなわち、超解像拡大画像復元部４４は、空間補間拡大部４３により拡大された空間補間拡大画像と、復号部４１により復号された冗長データとの間の、差分または排他的論理和を求めて上記超解像拡大画像を復元する。
【００４２】
表示部５０は、復号部４１により復号された対象フレーム画像を表示する。または超解像拡大画像復元部４４により復元された超解像拡大画像を表示する。
【００４３】
以上説明したように実施の形態２によれば、上記冗長データ付き符号化画像データＣＩを復号して再生することにより、超解像処理機能を搭載しなくても、原フレーム画像より高解像度で高精細な部分画像を再生することができる。
【００４４】
図５は、実施の形態３に係る画像処理装置２０を搭載した撮像装置１００の構成を示す図である。実施の形態３に係る画像処理装置２０は、図１に示した実施の形態１に係る画像処理装置２０に拡大率指定部２７が追加された構成である。実施の形態３では、階層化された冗長データを持つ冗長データ付き符号化画像データを生成する。階層化されたｎ（ｎは自然数）個の冗長データを持つことにより、それぞれ解像度の異なるｎ種類の対象部分画像が再生可能となる。第０階層の対象部分画像が、拡大されていない対象部分画像となり、以下、階層が進むにつれて高解像度の対象部分画像となる。以下、実施の形態１と同じ処理については適宜説明を省略する。
【００４５】
拡大率指定部２７は、それぞれ異なる解像度を持つ対象部分画像を再生するための階層化された冗長データを生成すべく、上記階層ごとに設定された拡大率を、超解像拡大部２３および空間補間拡大部２４に指定する。当該階層が進むにしたがい当該拡大率を上げていってもよいし、すべての階層で当該拡大率を固定にしてもよい。当該拡大率は、設計者が任意に設定可能である。この拡大率の具体例については後述する。
【００４６】
超解像拡大部２３は、ｎ＝１の場合、部分画像抽出部２２により抽出された対象部分画像と、上記参照部分画像を用いて超解像処理し、上記対象部分画像を拡大率指定部２７により指定された拡大率で拡大し、第１階層の超解像拡大画像を生成する。超解像拡大部２３は、ｎ＞１の場合、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像と、上記参照部分画像の第（ｎ−１）階層の超解像拡大画像を用いて超解像処理し、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像を拡大率指定部２７により指定された拡大率で拡大し、第ｎ階層の超解像拡大画像を生成する。なお、上記参照部分画像の第（ｎ−１）階層の超解像拡大画像は、上記参照フレーム画像の冗長データ付き符号化画像データを生成する際に得られるものを転用することができる。
【００４７】
上記対象部分画像の第（ｎ−１）階層の超解像拡大画像は、第ｎ階層の超解像拡大画像が生成されるまで、図示しないフレームバッファに一時保持されてもよい。また、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像は、符号化された、第１階層から第（ｎ−１）階層までの冗長データが復号部２６により復号されることにより、復元されてもよい。
【００４８】
空間補間拡大部２４は、ｎ＝１の場合、部分画像抽出部２２により抽出された対象部分画像に画素データを空間的に補間して、当該対象部分画像を拡大率指定部２７により指定された拡大率で拡大し、第１階層の空間補間拡大画像を生成する。空間補間拡大部２４は、ｎ＞１の場合、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を拡大率指定部２７により指定された拡大率で拡大し、第ｎ階層の空間補間拡大画像を生成する。
【００４９】
冗長データ生成部２５は、超解像拡大部２３により拡大されたｎ階層の超解像拡大画像と、空間補間拡大部２４により拡大されたｎ階層の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、第ｎ階層の冗長データを生成する。符号化部２１は、第ｎ階層の冗長データを符号化して、冗長データ付き符号化画像データに付加する。
【００５０】
図６は、実施の形態３に係る、拡大率指定部２７による拡大率制御の一例を説明するための図である。拡大率指定部２７は、図６に示すテーブル２７ａを用いて超解像拡大部２３および空間補間拡大部２４に拡大率を設定する。ここでは、第１階層の部分画像が原部分画像の２倍の部分画像に設定され、第２階層の部分画像が原部分画像の４倍の部分画像に設定され、第３階層の部分画像が原部分画像の８倍の部分画像に設定される例を示している。この場合、超解像拡大部２３および空間補間拡大部２４に設定する拡大率は常に２倍となる。第（ｎ−１）階層の、上記空間補間拡大画像および上記超解像拡大画像を２倍に拡大すれば、第ｎ階層の、上記空間補間拡大画像および上記超解像拡大画像を得ることができる。
【００５１】
図６の例では、拡大率指定部２７は、上記階層に応じて超解像処理に用いるべき参照部分画像の枚数を変化させている。具体的には、上記階層が進むにつれて超解像処理に用いるべき参照部分画像の枚数を増やしている。拡大率が大きくなると超解像処理による拡大であっても、使用する画像の枚数が少ない場合、拡大後の画像がぼけてしまう。十分に高周波成分を復元することができないためである。この趣旨から、ここでは拡大率が大きくなるにつれて超解像処理に用いるべき参照部分画像の枚数を増やしている。もちろん、超解像処理に用いるべき参照部分画像の枚数は固定であってもよい。この場合、構成を簡素化することができる。
【００５２】
図７は、実施の形態３に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩのデータ構造を示す図である。冗長データ付き符号化画像データＣＩは、基本データＦ、第１冗長データＲ１、第２冗長データＲ２および第３冗長データＲ３を含む。基本データＦは、原フレーム画像を再生するためのデータである。第１冗長データＲ１は、その原フレーム画像の部分領域が超解像処理により高解像度化された第１階層の部分画像を再生するためのデータである。第２冗長データＲ２は、第２階層の部分画像を再生するためのデータである。第３冗長データＲ３は、第３階層の部分画像を再生するためのデータである。
【００５３】
図６に示した拡大率が設定された場合、基本データＦおよび第１冗長データＲ１を用いることにより、超解像処理により２倍に拡大された部分画像を再生することができる。基本データＦ、第１冗長データＲ１および第２冗長データＲ２を用いることにより、超解像処理により４倍に拡大された部分画像を再生することができる。基本データＦ、第１冗長データＲ１、第２冗長データＲ２および第３冗長データＲ３を用いることにより、超解像処理により８倍に拡大された部分画像を再生することができる。
【００５４】
図８は、実施の形態３に係る画像処理装置２０による、冗長データ付き符号化画像データの生成処理を示すフローチャートである。まず、各階層を表すパラメータｎに初期値として１が代入される（Ｓ１０）。部分画像抽出部２２は、対象フレーム画像から対象部分画像を抽出し、参照フレーム画像から参照部分画像を抽出する（Ｓ１２）。空間補間拡大部２４は、対象部分画像をｎ階層で指定される拡大率で拡大する（Ｓ１４）。超解像拡大部２３は、参照部分画像を用いて対象部分画像をｎ階層で指定される拡大率で拡大する（Ｓ１６）。
【００５５】
冗長データ生成部２５は、空間補間拡大部２４により拡大されたｎ階層の空間補間拡大画像と、超解像拡大部２３により拡大されたｎ階層の超解像拡大画像との差分を算出し、ｎ階層の差分データを生成する（Ｓ１８）。符号化部２１は、ｎ階層の差分データを符号化して、冗長データ付き符号化画像データに付加する（Ｓ２０）。ここで、パラメータｎがインクリメントされる（Ｓ２２）。パラメータｎが最終階層を超えると（Ｓ２４のＹ）、当該生成処理が終了する。パラメータｎが最終階層を超えないとき（Ｓ２４のＮ）、ステップＳ２６に遷移する。
【００５６】
空間補間拡大部２４は、第（ｎ−１）階層の超解像拡大画像をｎ階層で指定される拡大率で拡大する（Ｓ２６）。超解像拡大部２３は、第（ｎ−１）階層の参照部分画像の超解像拡大画像を用いて、第（ｎ−１）階層の対象部分画像の超解像拡大画像をｎ階層で指定される拡大率で拡大する（Ｓ２８）。以下、ステップＳ１８に遷移する。
【００５７】
以上説明したように実施の形態３によれば、実施の形態１と同様の効果を奏する。それに加えて、生成された冗長データ付き符号化画像データが階層化された冗長データを持つことにより、再生側機器のスペックやユーザの意図に応じて、再生側で好適な拡大率が選択されて、上記対象部分画像が再生されることが可能である。
【００５８】
図９は、実施の形態４に係る画像再生装置２００の構成を示す図である。画像再生装置２００は、撮像装置１００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置２００は、実施の形態３に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩを再生する。実施の形態４に係る画像再生部４０は、図４に示した実施の形態２に係る画像再生部４０に拡大率指定部４５が追加された構成である。以下、実施の形態２と異なる処理について説明する。
【００５９】
復号部４１は、実施の形態３に係る画像処理装置２０により生成された冗長データ付き符号化画像データを復号する。復号部４１は、復号したフレーム画像を部分画像抽出部４２に供給し、復号した冗長データを超解像拡大画像復元部４４に供給する。復号部４１は、復号した第１階層の冗長データから順番に超解像拡大画像復元部４４に供給する。
【００６０】
拡大率指定部４５は、階層ごとに設定された拡大率を空間補間拡大部４３に指定する。この拡大率は、符号化側の画像処理装置２０に含まれる拡大率指定部２７に設定された拡大率と同じ値に設定される。符号化側の拡大率指定部２７に設定された拡大率を再生側が未知の場合、冗長データ付き符号化画像データＣＩのヘッダなどにその拡大率が記述されるように設計すれば、符号化側からその拡大率が再生側に伝達される。
【００６１】
空間補間拡大部４３は、ｎ＝１の場合、部分画像抽出部４２により抽出された対象部分画像に画素データを空間的に補間して、上記対象部分画像を拡大率指定部４５により指定された拡大率で拡大して、第１階層の空間補間拡大画像を生成する。空間補間拡大部４３は、ｎ＞１の場合、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を拡大率指定部４５により指定された拡大率で拡大して、第ｎ階層の空間補間拡大画像を生成する。
【００６２】
超解像拡大画像復元部４４は、空間補間拡大部４３により拡大されたｎ階層の空間補間拡大画像と、復号部４１により復号されたｎ階層の冗長データとの間に、所定の演算を施し、ｎ階層の超解像拡大画像を復元する。符号化側の冗長データ生成部２５が、超解像拡大部２３により拡大されたｎ階層の超解像拡大画像と、空間補間拡大部２４により拡大されたｎ階層の空間補間拡大画像との間の、差分または排他的論理和を求めてｎ階層の冗長データを生成した場合、超解像拡大画像復元部４４はつぎのように演算してｎ階層の超解像拡大画像を復元する。すなわち、超解像拡大画像復元部４４は、空間補間拡大部４３により拡大されたｎ階層の空間補間拡大画像と、復号部２６により復号されたｎ階層の冗長データとの間の、差分または排他的論理和を求めてｎ階層の超解像拡大画像を復元する。
【００６３】
以上説明したように実施の形態４によれば、上記冗長データ付き符号化画像データを復号して再生することにより、超解像処理機能を搭載しなくても、原フレーム画像より高解像度で高精細な部分画像を再生することができる。また、上記冗長データ付き符号化画像データに階層化された冗長データが付加されているため、任意の階層の冗長データまで使用することにより、好適な拡大率で対象部分画像を再生することができる。
【００６４】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
図１０は、変形例１に係る画像処理装置２０を搭載した撮像装置１００の構成を示す図である。変形例１に係る画像処理装置２０は、図１に示した実施の形態１に係る画像処理装置２０の構成から部分画像抽出部２２が除去された構成である。実施の形態１では対象部分画像を高精細に高解像度化するための冗長データを生成したが、変形例１では対象部分画像ではなく対象フレーム画像を高精細に高解像度化するための冗長データを生成する。実施の形態２〜４でも同様である。実施の形態１〜４における、対象部分画像を対象フレーム画像に、参照部分画像を参照フレーム画像に読み替えればよい。変形例１によれば、データ量の増大を抑制しながら、対象フレーム画像を通常の解像度で再生するだけでなく、高精細に高解像度化することもできる符号化画像データを生成することができる。
【００６６】
図１１は、変形例２に係る画像処理装置２０を搭載した画像編集装置３００を示す図である。変形例２に係る画像処理装置２０を搭載した画像編集装置３００は、図１に示した実施の形態１に係る画像処理装置２０を搭載した撮像装置１００のように、撮像部１０を有しない。変形例２では、部分画像抽出部２２に供給される対象フレーム画像および参照フレーム画像は、撮像部１０により撮像されたフレーム画像ではなく、記録部３０に記録されていた符号化画像データが復号部２６により復号されたフレーム画像である。変形例２によれば、撮影時ではない任意の時期に冗長データ付き符号化画像データを生成することができる。したがって、抽出すべき領域をユーザ操作により任意に設定することも容易である。
【図面の簡単な説明】
【００６７】
【図１】実施の形態１に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】実施の形態１に係る超解像拡大部の詳細な構成を示す図である。
【図３】実施の形態１に係る画像処理部により生成された冗長データ付き符号化画像データのデータ構造を示す図である。
【図４】実施の形態２に係る画像再生装置の構成を示す図である。
【図５】実施の形態３に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図６】実施の形態３に係る拡大率指定部による拡大率制御の一例を説明するための図である。
【図７】実施の形態３に係る画像処理装置により生成された冗長データ付き符号化画像データのデータ構造を示す図である。
【図８】実施の形態３に係る画像処理装置による、冗長データ付き符号化画像データの生成処理を示すフローチャートである。
【図９】実施の形態４に係る画像再生装置の構成を示す図である。
【図１０】変形例１に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図１１】変形例２に係る画像処理装置を搭載した画像編集装置を示す図である。
【符号の説明】
【００６８】
１０ 撮像部、 ２０ 画像処理装置、 ２１ 符号化部、 ２２ 部分画像抽出部、 ２３ 超解像拡大部、 ２４ 空間補間拡大部、 ２５ 冗長データ生成部、 ２６ 復号部、 ２７ 拡大率指定部、 ３０ 記録部、 ４０ 画像再生部、 ４１ 復号部、 ４２ 部分画像抽出部、 ４３ 空間補間拡大部、 ４４ 超解像拡大画像復元部、 ４５ 拡大率指定部、 ５０ 表示部、 １００ 撮像装置、 ２００ 画像再生装置、 ２３１ 拡大部、 ２３２ 位置合わせ部、 ２３３ 合成部、 ３００ 画像編集装置。
【技術分野】
【０００１】
本発明は、超解像処理機能を備える画像処理装置、それを搭載した撮像装置、および画像再生装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラおよびデジタルムービーカメラが普及してきており、静止画および動画に対する高画質化の要求も年々高まっている。当然のことながら、高画質な画像を得るにはカメラに高スペックな、撮像素子および画像処理エンジンを搭載する必要がある。とくに高画質な動画を得るためには、非常に高スペックな画像処理エンジンを搭載する必要があり、一般的なデジタルムービーカメラで撮像される動画の解像度は、一般的なデジタルスチルカメラで撮像される静止画の解像度より低く設定されている。
【０００３】
このような状況下、フレーム画像の解像度を事後的に向上させる手法が提案されている。その中でも、高周波成分自体を復元することができる超解像処理が注目されている。超解像処理は、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成する技術である。
【０００４】
特許文献１は、空間解像度が互いに異なる複数の符号化レイヤにより画像信号を符号化する階層符号化装置を開示する。
【特許文献１】特開２００７−１７４６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、フレーム画像の全体領域または部分領域を超解像処理して得られる全体画像または部分画像は、高解像度化されているためデータ量が大きくなる。たとえば、フレーム画像の符号化データに、そのフレーム画像の部分領域を超解像処理して得られる部分画像の符号化データを冗長データとして付加した場合、符号化ストリーム全体のデータ量が非常に増大してしまう。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、原フレーム画像より高精細な全体画像または部分画像を再生可能な符号化画像データを、少ないデータ量の追加で生成することができる画像処理装置、それを搭載した撮像装置、および画像再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の画像処理装置は、対象フレーム画像内、およびその対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像内から、指定された領域の部分画像を抽出する部分画像抽出部と、部分画像抽出部により抽出された、対象フレーム画像の対象部分画像と、参照フレーム画像の参照部分画像を用いて超解像処理し、対象部分画像を所定の拡大率で拡大する超解像拡大部と、部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、対象部分画像を上記拡大率で拡大する空間補間拡大部と、超解像拡大部により拡大された、対象部分画像の超解像拡大画像と、空間補間拡大部により拡大された、対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する冗長データ生成部と、対象フレーム画像および冗長データを符号化して、冗長データ付き符号化画像データを生成する符号化部と、を備える。
【０００８】
本発明の別の態様もまた、画像処理装置である。この装置は、対象フレーム画像を、その対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像を用いて超解像処理し、対象フレーム画像を所定の拡大率で拡大する超解像拡大部と、対象フレーム画像に画素データを空間的に補間して、対象フレーム画像を上記拡大率で拡大する空間補間拡大部と、超解像拡大部により拡大された、対象フレーム画像の超解像拡大画像と、空間補間拡大部により拡大された、対象フレーム画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する冗長データ生成部と、対象フレーム画像、および冗長データ生成部により生成された冗長データを符号化して、冗長データ付き符号化画像データを生成する符号化部と、を備える。
【０００９】
本発明のさらに別の態様は、画像再生装置である。この装置は、上述した画像処理装置により生成された冗長データ付き符号化画像データを再生する画像再生装置であって、冗長データ付き符号化画像データを復号する復号部と、復号部により復号された対象フレーム画像内から、対象部分画像を抽出する部分画像抽出部と、部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、対象部分画像を上記拡大率で拡大する空間補間拡大部と、空間補間拡大部により拡大された対象部分画像の空間補間拡大画像と、復号部により復号された冗長データとの間に、所定の演算を施し、対象部分画像の超解像拡大画像を復元する超解像拡大画像復元部と、を備える。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、原フレーム画像より高精細な全体画像または部分画像を再生可能な符号化画像データを、少ないデータ量の追加で生成することができる。
【発明を実施するための最良の形態】
【００１２】
図１は、実施の形態１に係る画像処理装置２０を搭載した撮像装置１００の構成を示す図である。撮像装置１００は、撮像部１０、画像処理装置２０および記録部３０を備える。画像処理装置２０は、符号化部２１、部分画像抽出部２２、超解像拡大部２３、空間補間拡大部２４、冗長データ生成部２５および復号部２６を有する。
【００１３】
画像処理装置２０の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１４】
撮像部１０は、画像を取得して画像処理装置２０に供給する。撮像部１０は、図示しない撮像素子および信号処理部を含む。当該撮像素子としてＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを採用することができる。当該信号処理部は、当該撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１５】
画像処理装置２０は、撮像部１０から入力されるフレーム画像を圧縮符号化する。本実施の形態では対象フレーム画像を超解像処理する際、その対象フレーム画像と時間方向に隣接する参照フレーム画像を用いる。したがって、本実施の形態はフレーム画像が連続的に撮像される動画撮影への適用を主に想定しているが、静止画撮影への適用も可能である。静止画撮影に適用する場合、連射機能を発動して対象フレーム画像と時間方向に隣接する参照フレーム画像を取得すればよい。
【００１６】
符号化部２１は、対象フレーム画像およびその冗長データを符号化して、冗長データ付き符号化画像データを生成する。冗長データについては後述する。動画撮影では、符号化部２１はたとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい、連続的に入力されるフレーム画像を圧縮符号化する。静止画撮影では、符号化部２１はたとえば、ＪＰＥＧなどの規格にしたがい、フレーム画像を圧縮符号化する。符号化部２１により圧縮符号化された冗長データ付き符号化画像データは、記録部３０に記録されるか、図示しないネットワークを介して外部装置に送信される。
【００１７】
部分画像抽出部２２は、対象フレーム画像内、およびその対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像内から、指定された領域の部分画像を抽出する。ここで、対象フレーム画像および参照フレーム画像は、撮像部１０から直接入力されたフレーム画像であってもよいし、符号化部２１により符号化され、かつ復号部２６により復号されたフレーム画像であってもよい。前者の場合、実施の形態１では復号部２６は必須要素ではない。参照フレーム画像は、対象フレーム画像より過去方向に隣接する一枚以上のフレーム画像、未来方向に隣接する一枚以上のフレーム画像、またはそれらの両方であってもよい。
【００１８】
上記領域はあらかじめ設定された固定の領域であってもよいし、動的に変更される領域であってもよい。前者の例として、フレーム画像内の中央部分にその固定の領域が設定されてもよい。後者の例として、本撮像装置１００に顔などのオブジェクト検出機能が搭載される場合、その検出機能により検出された、オブジェクトを含む窓領域が、上記抽出されるべき領域としてフレーム画像ごとに適応的に設定されてもよい。また、静止画撮影の場合、ユーザにより指定された領域が上記抽出されるべき領域として設定されてもよい。
【００１９】
部分画像抽出部２２は、抽出した対象フレーム画像の対象部分画像を超解像拡大部２３および空間補間拡大部２４に供給し、抽出した参照フレーム画像の参照部分画像を超解像拡大部２３に供給する。なお、部分画像抽出部２２により抽出されるべき領域の位置情報は、符号化部２１により上記冗長データ付き符号化画像データのヘッダなどに記述される。
【００２０】
超解像拡大部２３は、部分画像抽出部２２により抽出された、対象部分画像と参照部分画像を用いて超解像処理し、当該対象部分画像を所定の拡大率で拡大する。この拡大率は設計者によって予め設定される。なお、事後的にユーザが変更できてもよい。超解像拡大部２３の詳細な構成は後述する。
【００２１】
空間補間拡大部２４は、部分画像抽出部２２により抽出された対象部分画像に画素データを空間的に補間して、当該対象部分画像を上記拡大率で拡大する。この拡大率は、超解像拡大部２３により拡大された画像と空間補間拡大部２４により拡大された画像の解像度を合わせるため、超解像拡大部２３に設定された拡大率と同じ値に設定される。
【００２２】
空間補間拡大部２４は、補間すべき画素データを、上記対象部分画像内における、隣接する複数の画素データから予測する。以下、上記対象部分画像を２倍に拡大する例について説明する。原画素データ列（ａ０、ａ１、ａ２、ａ３）を２倍の画素データ列（ａ０、ｂ０、ａ１、ｂ１、ａ２、ｂ２、ａ３、ｂ３）に拡大する場合について考える。
【００２３】
まず、最も単純な線形補間処理では、画素データｂ０、ｂ１、ｂ２、ｂ３を下記式１〜４で算出する。すなわち、補間すべき画素データｂ０、ｂ１、ｂ２をその両側に隣接する、２点の画素データの平均値を算出して求める。なお、一番端の画素データｂ３については画素データａ３をそのままコピーしている。
ｂ０＝（ａ０＋ａ１）／２ ・・・（式１）
ｂ１＝（ａ１＋ａ２）／２ ・・・（式２）
ｂ２＝（ａ２＋ａ３）／２ ・・・（式３）
ｂ３＝ａ３ ・・・（式４）
【００２４】
また、画素データｂ１を下記式５に示すように４点の平均値を算出して求めることもできる。
ｂ１＝（ａ０＋ａ１＋ａ２＋ａ３）／４ ・・・（式５）
また、画素データｂ１を下記式６に示すように、重み付けされた４点の平均値を算出して求めることもできる。
ｂ１＝（ａ０＋２・ａ１＋２・ａ２＋ａ３）／６ ・・・（式６）
【００２５】
その他、複数の点を通る曲線を近似し、その曲線上の、２点（ａ０とａ１）の中間座標（ｂ１）を予測画素データとして求めてもよいし、Ｈ．２６４／ＡＶＣで標準的に用いられる６タップＦＩＲフィルタにより予測画素データを求めてもよい。ここでは、２倍に拡大する手法について説明したが、２倍未満（１倍を超える）の拡大も、２倍を超える拡大も、既知のアルゴリズムにより可能である。
【００２６】
冗長データ生成部２５は、超解像拡大部２３により拡大された対象部分画像の超解像拡大画像と、空間補間拡大部２４により拡大された対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する。たとえば、冗長データ生成部２５は、当該超解像拡大画像と当該空間補間拡大画像との間の、差分または排他的論理和を求めて冗長データを生成する。当該超解像拡大画像と当該空間補間拡大画像は相関性が非常に強いため、両者の差分または排他的論理和を求めて生成した冗長データのデータ量は、当該超解像拡大画像自体のデータ量と比較し、大幅に削減される。
【００２７】
記録部３０はメモリカード、ハードディスク、光ディスクなどの、記録媒体を備える。本実施の形態では画像処理装置２０により生成された、冗長データ付き符号化画像データを記録する。
【００２８】
図２は、実施の形態１に係る超解像拡大部２３の詳細な構成を示す図である。超解像拡大部２３は、拡大部２３１、位置合わせ部２３２および合成部２３３を含む。なお、図２では複数の画像を拡大した後に、それぞれの画像の位置合わせを行う例を示しているが、複数の画像の位置合わせを終えた後に、それぞれの画像を拡大してもよい。
【００２９】
拡大部２３１は、一枚の対象部分画像と、少なくとも一枚の参照部分画像をそれぞれ上記拡大率で拡大する。上記対象部分画像と上記参照部分画像との位置ずれが微少な範囲にとどまる限り、参照部分画像の枚数が多いほど高精細な画像を復元することができるが、演算量が増大し、ノイズが混入するリスクが増大する。当該位置ずれが大きい参照部分画像が超解像処理に使用されると、その参照部分画像の成分はノイズとなる。設計者はこのようなトレードオフ関係を考慮して、参照部分画像の枚数を設定することができる。
【００３０】
拡大部２３１は、それぞれの部分画像に画素データを空間的に補間する。すなわち、空間補間拡大部２４と同様の処理をそれぞれの部分画像に施す。この場合、空間補間拡大部２４および拡大部２３１は、ハードウェア資源またはソフトウェア資源を時分割に共用することができる。
【００３１】
位置合わせ部２３２は、上記対象部分画像と上記参照部分画像との位置ずれ量を推定し、その位置ずれ量を補正する。当該位置ずれ量は、たとえば、２枚の部分画像の差分絶対値和（SAD: Sum of Absolute Difference）を求めることにより推定することができる。すなわち、２枚の部分画像の各画素データの差分を求め、その総和を求める。より具体的には、どちらかの部分画像を縦方向または横方向に１画素ずつ移動させるごとに上記差分絶対値和を求めるという処理を繰り返し、上記差分絶対値和が最も小さい位置を特定する。そして、その位置を２枚の部分画像の重ね合わせ位置に設定する。参照部分画像が複数枚ある場合、それぞれの参照部分画像と、対象部分画像との間で上述した位置合わせ処理を実行する。
【００３２】
合成部２３３は、位置合わせされた複数の部分画像を重み付け加算する。通常、位置ずれ量が小さい部分画像の重みを大きく、位置ずれ量が大きい部分画像の重みを小さくする。
【００３３】
なお、上述した超解像処理のアルゴリズムは一例であり、その他のアルゴリズムを用いてもよい。たとえば、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）に開示されたアルゴリズムを用いてもよい。
【００３４】
図３は、実施の形態１に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩのデータ構造を示す図である。冗長データ付き符号化画像データＣＩは、基本データＦと冗長データＲを含む。基本データＦは、原フレーム画像を再生するためのデータである。冗長データＲは、その原フレーム画像の部分領域が超解像処理により高解像度化された部分画像を再生するためのデータである。後述するように、この冗長データ付き符号化画像データを復号することにより、超解像処理機能を搭載しない画像再生装置でも高精細に高解像度化された部分画像を再生することができる。このように、この冗長データ付き符号化画像データは汎用性が高いデータフォーマットであるといえる。
【００３５】
以上説明したように実施の形態１によれば、超解像処理により拡大された部分画像と、空間的補間により拡大された部分画像との間に所定の演算を施して生成した冗長データの符号化データを、原フレーム画像の符号化データに付加することにより、つぎの効果を奏する。すなわち、原フレーム画像より高精細な部分画像を再生可能な符号化画像データを、少ないデータ量の追加で生成することができる。すなわち、再生側は超解像処理機能を搭載していなくても超解像処理された部分画像を再生することができる。超解像処理された部分画像は、解像度が同じ、空間的に補間された部分画像と比較し、高精細な画像となる。
【００３６】
超解像処理により拡大された部分画像と空間的補間により拡大された部分画像との画素数を合わせることにより、それらの部分画像間の演算処理を単純化することができる。とくに、それらの部分画像間の差分または排他的論理和を求めると、冗長データとして付加すべきデータ量を大幅に削減することができる。
【００３７】
図４は、実施の形態２に係る画像再生装置２００の構成を示す図である。画像再生装置２００は、撮像装置１００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置２００は、実施の形態１に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩを再生する。画像再生装置２００は、画像再生部４０および表示部５０を備える。画像再生部４０は、復号部４１、部分画像抽出部４２、空間補間拡大部４３および超解像拡大画像復元部４４を有する。
【００３８】
復号部４１は、実施の形態１に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩを復号する。復号部４１は、復号した対象フレーム画像を部分画像抽出部４２に供給し、復号した冗長データを超解像拡大画像復元部４４に供給する。
【００３９】
部分画像抽出部４２は、復号部４１により復号された対象フレーム画像内から、冗長データを持つ領域である、上記対象部分画像を抽出する。この領域の位置情報は、冗長データ付き符号化画像データＣＩのヘッダなどに記述されており、部分画像抽出部４２は、その情報を参照することにより、上記領域を特定することができる。
【００４０】
空間補間拡大部４３は、上記対象部分画像に画素データを空間的に補間して、上記対象部分画像を上記拡大率で拡大する。この拡大率は、符号化側の画像処理装置２０に含まれる空間補間拡大部２４および超解像拡大部２３に設定された拡大率と同じ値に設定される。符号化側の拡大率を再生側が未知の場合や符号化側の拡大率が可変する場合、冗長データ付き符号化画像データＣＩのヘッダなどに符号化側の拡大率が記述されるように設計すれば、符号化側からその拡大率が再生側に伝達される。再生側の画像再生部４０に含まれる空間補間拡大部４３は、符号化側の画像処理装置２０に含まれる空間補間拡大部２４と同様の構成とすることができる。
【００４１】
超解像拡大画像復元部４４は、空間補間拡大部４３により拡大された対象部分画像の空間補間拡大画像と、復号部４１により復号された冗長データとの間に、所定の演算を施し、上記対象部分画像の超解像拡大画像を復元する。符号化側において、冗長データ生成部２５が、超解像拡大部２３により拡大された対象部分画像の超解像拡大画像と、空間補間拡大部２４により拡大された対象部分画像の空間補間拡大画像との間の、差分または排他的論理和を求めて冗長データを生成した場合、超解像拡大画像復元部４４はつぎのように演算して上記超解像拡大画像を復元する。すなわち、超解像拡大画像復元部４４は、空間補間拡大部４３により拡大された空間補間拡大画像と、復号部４１により復号された冗長データとの間の、差分または排他的論理和を求めて上記超解像拡大画像を復元する。
【００４２】
表示部５０は、復号部４１により復号された対象フレーム画像を表示する。または超解像拡大画像復元部４４により復元された超解像拡大画像を表示する。
【００４３】
以上説明したように実施の形態２によれば、上記冗長データ付き符号化画像データＣＩを復号して再生することにより、超解像処理機能を搭載しなくても、原フレーム画像より高解像度で高精細な部分画像を再生することができる。
【００４４】
図５は、実施の形態３に係る画像処理装置２０を搭載した撮像装置１００の構成を示す図である。実施の形態３に係る画像処理装置２０は、図１に示した実施の形態１に係る画像処理装置２０に拡大率指定部２７が追加された構成である。実施の形態３では、階層化された冗長データを持つ冗長データ付き符号化画像データを生成する。階層化されたｎ（ｎは自然数）個の冗長データを持つことにより、それぞれ解像度の異なるｎ種類の対象部分画像が再生可能となる。第０階層の対象部分画像が、拡大されていない対象部分画像となり、以下、階層が進むにつれて高解像度の対象部分画像となる。以下、実施の形態１と同じ処理については適宜説明を省略する。
【００４５】
拡大率指定部２７は、それぞれ異なる解像度を持つ対象部分画像を再生するための階層化された冗長データを生成すべく、上記階層ごとに設定された拡大率を、超解像拡大部２３および空間補間拡大部２４に指定する。当該階層が進むにしたがい当該拡大率を上げていってもよいし、すべての階層で当該拡大率を固定にしてもよい。当該拡大率は、設計者が任意に設定可能である。この拡大率の具体例については後述する。
【００４６】
超解像拡大部２３は、ｎ＝１の場合、部分画像抽出部２２により抽出された対象部分画像と、上記参照部分画像を用いて超解像処理し、上記対象部分画像を拡大率指定部２７により指定された拡大率で拡大し、第１階層の超解像拡大画像を生成する。超解像拡大部２３は、ｎ＞１の場合、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像と、上記参照部分画像の第（ｎ−１）階層の超解像拡大画像を用いて超解像処理し、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像を拡大率指定部２７により指定された拡大率で拡大し、第ｎ階層の超解像拡大画像を生成する。なお、上記参照部分画像の第（ｎ−１）階層の超解像拡大画像は、上記参照フレーム画像の冗長データ付き符号化画像データを生成する際に得られるものを転用することができる。
【００４７】
上記対象部分画像の第（ｎ−１）階層の超解像拡大画像は、第ｎ階層の超解像拡大画像が生成されるまで、図示しないフレームバッファに一時保持されてもよい。また、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像は、符号化された、第１階層から第（ｎ−１）階層までの冗長データが復号部２６により復号されることにより、復元されてもよい。
【００４８】
空間補間拡大部２４は、ｎ＝１の場合、部分画像抽出部２２により抽出された対象部分画像に画素データを空間的に補間して、当該対象部分画像を拡大率指定部２７により指定された拡大率で拡大し、第１階層の空間補間拡大画像を生成する。空間補間拡大部２４は、ｎ＞１の場合、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を拡大率指定部２７により指定された拡大率で拡大し、第ｎ階層の空間補間拡大画像を生成する。
【００４９】
冗長データ生成部２５は、超解像拡大部２３により拡大されたｎ階層の超解像拡大画像と、空間補間拡大部２４により拡大されたｎ階層の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、第ｎ階層の冗長データを生成する。符号化部２１は、第ｎ階層の冗長データを符号化して、冗長データ付き符号化画像データに付加する。
【００５０】
図６は、実施の形態３に係る、拡大率指定部２７による拡大率制御の一例を説明するための図である。拡大率指定部２７は、図６に示すテーブル２７ａを用いて超解像拡大部２３および空間補間拡大部２４に拡大率を設定する。ここでは、第１階層の部分画像が原部分画像の２倍の部分画像に設定され、第２階層の部分画像が原部分画像の４倍の部分画像に設定され、第３階層の部分画像が原部分画像の８倍の部分画像に設定される例を示している。この場合、超解像拡大部２３および空間補間拡大部２４に設定する拡大率は常に２倍となる。第（ｎ−１）階層の、上記空間補間拡大画像および上記超解像拡大画像を２倍に拡大すれば、第ｎ階層の、上記空間補間拡大画像および上記超解像拡大画像を得ることができる。
【００５１】
図６の例では、拡大率指定部２７は、上記階層に応じて超解像処理に用いるべき参照部分画像の枚数を変化させている。具体的には、上記階層が進むにつれて超解像処理に用いるべき参照部分画像の枚数を増やしている。拡大率が大きくなると超解像処理による拡大であっても、使用する画像の枚数が少ない場合、拡大後の画像がぼけてしまう。十分に高周波成分を復元することができないためである。この趣旨から、ここでは拡大率が大きくなるにつれて超解像処理に用いるべき参照部分画像の枚数を増やしている。もちろん、超解像処理に用いるべき参照部分画像の枚数は固定であってもよい。この場合、構成を簡素化することができる。
【００５２】
図７は、実施の形態３に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩのデータ構造を示す図である。冗長データ付き符号化画像データＣＩは、基本データＦ、第１冗長データＲ１、第２冗長データＲ２および第３冗長データＲ３を含む。基本データＦは、原フレーム画像を再生するためのデータである。第１冗長データＲ１は、その原フレーム画像の部分領域が超解像処理により高解像度化された第１階層の部分画像を再生するためのデータである。第２冗長データＲ２は、第２階層の部分画像を再生するためのデータである。第３冗長データＲ３は、第３階層の部分画像を再生するためのデータである。
【００５３】
図６に示した拡大率が設定された場合、基本データＦおよび第１冗長データＲ１を用いることにより、超解像処理により２倍に拡大された部分画像を再生することができる。基本データＦ、第１冗長データＲ１および第２冗長データＲ２を用いることにより、超解像処理により４倍に拡大された部分画像を再生することができる。基本データＦ、第１冗長データＲ１、第２冗長データＲ２および第３冗長データＲ３を用いることにより、超解像処理により８倍に拡大された部分画像を再生することができる。
【００５４】
図８は、実施の形態３に係る画像処理装置２０による、冗長データ付き符号化画像データの生成処理を示すフローチャートである。まず、各階層を表すパラメータｎに初期値として１が代入される（Ｓ１０）。部分画像抽出部２２は、対象フレーム画像から対象部分画像を抽出し、参照フレーム画像から参照部分画像を抽出する（Ｓ１２）。空間補間拡大部２４は、対象部分画像をｎ階層で指定される拡大率で拡大する（Ｓ１４）。超解像拡大部２３は、参照部分画像を用いて対象部分画像をｎ階層で指定される拡大率で拡大する（Ｓ１６）。
【００５５】
冗長データ生成部２５は、空間補間拡大部２４により拡大されたｎ階層の空間補間拡大画像と、超解像拡大部２３により拡大されたｎ階層の超解像拡大画像との差分を算出し、ｎ階層の差分データを生成する（Ｓ１８）。符号化部２１は、ｎ階層の差分データを符号化して、冗長データ付き符号化画像データに付加する（Ｓ２０）。ここで、パラメータｎがインクリメントされる（Ｓ２２）。パラメータｎが最終階層を超えると（Ｓ２４のＹ）、当該生成処理が終了する。パラメータｎが最終階層を超えないとき（Ｓ２４のＮ）、ステップＳ２６に遷移する。
【００５６】
空間補間拡大部２４は、第（ｎ−１）階層の超解像拡大画像をｎ階層で指定される拡大率で拡大する（Ｓ２６）。超解像拡大部２３は、第（ｎ−１）階層の参照部分画像の超解像拡大画像を用いて、第（ｎ−１）階層の対象部分画像の超解像拡大画像をｎ階層で指定される拡大率で拡大する（Ｓ２８）。以下、ステップＳ１８に遷移する。
【００５７】
以上説明したように実施の形態３によれば、実施の形態１と同様の効果を奏する。それに加えて、生成された冗長データ付き符号化画像データが階層化された冗長データを持つことにより、再生側機器のスペックやユーザの意図に応じて、再生側で好適な拡大率が選択されて、上記対象部分画像が再生されることが可能である。
【００５８】
図９は、実施の形態４に係る画像再生装置２００の構成を示す図である。画像再生装置２００は、撮像装置１００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置２００は、実施の形態３に係る画像処理装置２０により生成された冗長データ付き符号化画像データＣＩを再生する。実施の形態４に係る画像再生部４０は、図４に示した実施の形態２に係る画像再生部４０に拡大率指定部４５が追加された構成である。以下、実施の形態２と異なる処理について説明する。
【００５９】
復号部４１は、実施の形態３に係る画像処理装置２０により生成された冗長データ付き符号化画像データを復号する。復号部４１は、復号したフレーム画像を部分画像抽出部４２に供給し、復号した冗長データを超解像拡大画像復元部４４に供給する。復号部４１は、復号した第１階層の冗長データから順番に超解像拡大画像復元部４４に供給する。
【００６０】
拡大率指定部４５は、階層ごとに設定された拡大率を空間補間拡大部４３に指定する。この拡大率は、符号化側の画像処理装置２０に含まれる拡大率指定部２７に設定された拡大率と同じ値に設定される。符号化側の拡大率指定部２７に設定された拡大率を再生側が未知の場合、冗長データ付き符号化画像データＣＩのヘッダなどにその拡大率が記述されるように設計すれば、符号化側からその拡大率が再生側に伝達される。
【００６１】
空間補間拡大部４３は、ｎ＝１の場合、部分画像抽出部４２により抽出された対象部分画像に画素データを空間的に補間して、上記対象部分画像を拡大率指定部４５により指定された拡大率で拡大して、第１階層の空間補間拡大画像を生成する。空間補間拡大部４３は、ｎ＞１の場合、上記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を拡大率指定部４５により指定された拡大率で拡大して、第ｎ階層の空間補間拡大画像を生成する。
【００６２】
超解像拡大画像復元部４４は、空間補間拡大部４３により拡大されたｎ階層の空間補間拡大画像と、復号部４１により復号されたｎ階層の冗長データとの間に、所定の演算を施し、ｎ階層の超解像拡大画像を復元する。符号化側の冗長データ生成部２５が、超解像拡大部２３により拡大されたｎ階層の超解像拡大画像と、空間補間拡大部２４により拡大されたｎ階層の空間補間拡大画像との間の、差分または排他的論理和を求めてｎ階層の冗長データを生成した場合、超解像拡大画像復元部４４はつぎのように演算してｎ階層の超解像拡大画像を復元する。すなわち、超解像拡大画像復元部４４は、空間補間拡大部４３により拡大されたｎ階層の空間補間拡大画像と、復号部２６により復号されたｎ階層の冗長データとの間の、差分または排他的論理和を求めてｎ階層の超解像拡大画像を復元する。
【００６３】
以上説明したように実施の形態４によれば、上記冗長データ付き符号化画像データを復号して再生することにより、超解像処理機能を搭載しなくても、原フレーム画像より高解像度で高精細な部分画像を再生することができる。また、上記冗長データ付き符号化画像データに階層化された冗長データが付加されているため、任意の階層の冗長データまで使用することにより、好適な拡大率で対象部分画像を再生することができる。
【００６４】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
図１０は、変形例１に係る画像処理装置２０を搭載した撮像装置１００の構成を示す図である。変形例１に係る画像処理装置２０は、図１に示した実施の形態１に係る画像処理装置２０の構成から部分画像抽出部２２が除去された構成である。実施の形態１では対象部分画像を高精細に高解像度化するための冗長データを生成したが、変形例１では対象部分画像ではなく対象フレーム画像を高精細に高解像度化するための冗長データを生成する。実施の形態２〜４でも同様である。実施の形態１〜４における、対象部分画像を対象フレーム画像に、参照部分画像を参照フレーム画像に読み替えればよい。変形例１によれば、データ量の増大を抑制しながら、対象フレーム画像を通常の解像度で再生するだけでなく、高精細に高解像度化することもできる符号化画像データを生成することができる。
【００６６】
図１１は、変形例２に係る画像処理装置２０を搭載した画像編集装置３００を示す図である。変形例２に係る画像処理装置２０を搭載した画像編集装置３００は、図１に示した実施の形態１に係る画像処理装置２０を搭載した撮像装置１００のように、撮像部１０を有しない。変形例２では、部分画像抽出部２２に供給される対象フレーム画像および参照フレーム画像は、撮像部１０により撮像されたフレーム画像ではなく、記録部３０に記録されていた符号化画像データが復号部２６により復号されたフレーム画像である。変形例２によれば、撮影時ではない任意の時期に冗長データ付き符号化画像データを生成することができる。したがって、抽出すべき領域をユーザ操作により任意に設定することも容易である。
【図面の簡単な説明】
【００６７】
【図１】実施の形態１に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図２】実施の形態１に係る超解像拡大部の詳細な構成を示す図である。
【図３】実施の形態１に係る画像処理部により生成された冗長データ付き符号化画像データのデータ構造を示す図である。
【図４】実施の形態２に係る画像再生装置の構成を示す図である。
【図５】実施の形態３に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図６】実施の形態３に係る拡大率指定部による拡大率制御の一例を説明するための図である。
【図７】実施の形態３に係る画像処理装置により生成された冗長データ付き符号化画像データのデータ構造を示す図である。
【図８】実施の形態３に係る画像処理装置による、冗長データ付き符号化画像データの生成処理を示すフローチャートである。
【図９】実施の形態４に係る画像再生装置の構成を示す図である。
【図１０】変形例１に係る画像処理装置を搭載した撮像装置の構成を示す図である。
【図１１】変形例２に係る画像処理装置を搭載した画像編集装置を示す図である。
【符号の説明】
【００６８】
１０ 撮像部、 ２０ 画像処理装置、 ２１ 符号化部、 ２２ 部分画像抽出部、 ２３ 超解像拡大部、 ２４ 空間補間拡大部、 ２５ 冗長データ生成部、 ２６ 復号部、 ２７ 拡大率指定部、 ３０ 記録部、 ４０ 画像再生部、 ４１ 復号部、 ４２ 部分画像抽出部、 ４３ 空間補間拡大部、 ４４ 超解像拡大画像復元部、 ４５ 拡大率指定部、 ５０ 表示部、 １００ 撮像装置、 ２００ 画像再生装置、 ２３１ 拡大部、 ２３２ 位置合わせ部、 ２３３ 合成部、 ３００ 画像編集装置。
【特許請求の範囲】
【請求項１】
対象フレーム画像内、およびその対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像内から、指定された領域の部分画像を抽出する部分画像抽出部と、
前記部分画像抽出部により抽出された、前記対象フレーム画像の対象部分画像と、前記参照フレーム画像の参照部分画像を用いて超解像処理し、前記対象部分画像を所定の拡大率で拡大する超解像拡大部と、
前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率で拡大する空間補間拡大部と、
前記超解像拡大部により拡大された、前記対象部分画像の超解像拡大画像と、前記空間補間拡大部により拡大された、前記対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する冗長データ生成部と、
前記対象フレーム画像および前記冗長データを符号化して、冗長データ付き符号化画像データを生成する符号化部と、
を備えることを特徴とする画像処理装置。
【請求項２】
それぞれ異なる解像度を持つ対象部分画像を再生するための階層化された冗長データを生成すべく、階層ごとに設定された拡大率を、前記超解像拡大部および前記空間補間拡大部に指定する拡大率指定部をさらに備え、
前記超解像拡大部は、ｎ（ｎは各階層を表すパラメータであり、自然数）＝１の場合、前記部分画像抽出部により抽出された、前記対象部分画像と前記参照部分画像を用いて超解像処理し、前記対象部分画像を前記拡大率指定部により指定された拡大率で拡大して、第１階層の超解像拡大画像を生成し、ｎ＞１の場合、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像と、前記参照部分画像の第（ｎ−１）階層の超解像拡大画像を用いて超解像処理し、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像を前記拡大率指定部により指定された拡大率で拡大して、第ｎ階層の超解像拡大画像を生成し、
前記空間補間拡大部は、ｎ＝１の場合、前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率指定部により指定された拡大率で拡大して、第１階層の空間補間拡大画像を生成し、ｎ＞１の場合、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を前記拡大率指定部により指定された拡大率で拡大して、第ｎ階層の空間補間拡大画像を生成し、
前記冗長データ生成部は、前記超解像拡大部により拡大された第ｎ階層の超解像拡大画像と、前記空間補間拡大部により拡大された第ｎ階層の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、第ｎ階層の冗長データを生成し、
前記符号化部は、第ｎ階層の冗長データを符号化して、前記冗長データ付き符号化画像データに付加することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を取得する撮像部と、
前記撮像部から前記フレーム画像を受ける請求項１または２に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項１に記載の画像処理装置により生成された冗長データ付き符号化画像データを再生する画像再生装置であって、
前記冗長データ付き符号化画像データを復号する復号部と、
前記復号部により復号された対象フレーム画像内から、前記対象部分画像を抽出する部分画像抽出部と、
前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率で拡大する空間補間拡大部と、
前記空間補間拡大部により拡大された対象部分画像の空間補間拡大画像と、前記復号部により復号された冗長データとの間に、所定の演算を施し、前記対象部分画像の超解像拡大画像を復元する超解像拡大画像復元部と、
を備えることを特徴とする画像再生装置。
【請求項５】
請求項２に記載の画像処理装置により生成された冗長データ付き符号化画像データを再生する画像再生装置であって、
前記冗長データ付き符号化画像データを復号する復号部と、
前記復号部により復号された対象フレーム画像内から、前記対象部分画像を抽出する部分画像抽出部と、
前記階層ごとに設定された拡大率を前記空間補間拡大部に指定する拡大率指定部と、
ｎ（ｎは各階層を表すパラメータであり、自然数）＝１の場合、前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率指定部により指定された拡大率で拡大して、第１階層の空間補間拡大画像を生成し、ｎ＞１の場合、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を前記拡大率指定部により指定された拡大率で拡大して、第ｎ階層の空間補間拡大画像を生成する空間補間拡大部と、
前記空間補間拡大部により拡大されたｎ階層の空間補間拡大画像と、前記復号部により復号されたｎ階層の冗長データとの間に、所定の演算を施し、ｎ階層の超解像拡大画像を復元する超解像拡大画像復元部と、
を備えることを特徴とする画像再生装置。
【請求項１】
対象フレーム画像内、およびその対象フレーム画像と時間方向に隣接する少なくとも一枚の参照フレーム画像内から、指定された領域の部分画像を抽出する部分画像抽出部と、
前記部分画像抽出部により抽出された、前記対象フレーム画像の対象部分画像と、前記参照フレーム画像の参照部分画像を用いて超解像処理し、前記対象部分画像を所定の拡大率で拡大する超解像拡大部と、
前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率で拡大する空間補間拡大部と、
前記超解像拡大部により拡大された、前記対象部分画像の超解像拡大画像と、前記空間補間拡大部により拡大された、前記対象部分画像の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、冗長データを生成する冗長データ生成部と、
前記対象フレーム画像および前記冗長データを符号化して、冗長データ付き符号化画像データを生成する符号化部と、
を備えることを特徴とする画像処理装置。
【請求項２】
それぞれ異なる解像度を持つ対象部分画像を再生するための階層化された冗長データを生成すべく、階層ごとに設定された拡大率を、前記超解像拡大部および前記空間補間拡大部に指定する拡大率指定部をさらに備え、
前記超解像拡大部は、ｎ（ｎは各階層を表すパラメータであり、自然数）＝１の場合、前記部分画像抽出部により抽出された、前記対象部分画像と前記参照部分画像を用いて超解像処理し、前記対象部分画像を前記拡大率指定部により指定された拡大率で拡大して、第１階層の超解像拡大画像を生成し、ｎ＞１の場合、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像と、前記参照部分画像の第（ｎ−１）階層の超解像拡大画像を用いて超解像処理し、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像を前記拡大率指定部により指定された拡大率で拡大して、第ｎ階層の超解像拡大画像を生成し、
前記空間補間拡大部は、ｎ＝１の場合、前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率指定部により指定された拡大率で拡大して、第１階層の空間補間拡大画像を生成し、ｎ＞１の場合、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を前記拡大率指定部により指定された拡大率で拡大して、第ｎ階層の空間補間拡大画像を生成し、
前記冗長データ生成部は、前記超解像拡大部により拡大された第ｎ階層の超解像拡大画像と、前記空間補間拡大部により拡大された第ｎ階層の空間補間拡大画像との間に、データ量を削減するための所定の演算を施し、第ｎ階層の冗長データを生成し、
前記符号化部は、第ｎ階層の冗長データを符号化して、前記冗長データ付き符号化画像データに付加することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を取得する撮像部と、
前記撮像部から前記フレーム画像を受ける請求項１または２に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項１に記載の画像処理装置により生成された冗長データ付き符号化画像データを再生する画像再生装置であって、
前記冗長データ付き符号化画像データを復号する復号部と、
前記復号部により復号された対象フレーム画像内から、前記対象部分画像を抽出する部分画像抽出部と、
前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率で拡大する空間補間拡大部と、
前記空間補間拡大部により拡大された対象部分画像の空間補間拡大画像と、前記復号部により復号された冗長データとの間に、所定の演算を施し、前記対象部分画像の超解像拡大画像を復元する超解像拡大画像復元部と、
を備えることを特徴とする画像再生装置。
【請求項５】
請求項２に記載の画像処理装置により生成された冗長データ付き符号化画像データを再生する画像再生装置であって、
前記冗長データ付き符号化画像データを復号する復号部と、
前記復号部により復号された対象フレーム画像内から、前記対象部分画像を抽出する部分画像抽出部と、
前記階層ごとに設定された拡大率を前記空間補間拡大部に指定する拡大率指定部と、
ｎ（ｎは各階層を表すパラメータであり、自然数）＝１の場合、前記部分画像抽出部により抽出された対象部分画像に画素データを空間的に補間して、前記対象部分画像を前記拡大率指定部により指定された拡大率で拡大して、第１階層の空間補間拡大画像を生成し、ｎ＞１の場合、前記対象部分画像の第（ｎ−１）階層の超解像拡大画像に画素データを空間的に補間して、第（ｎ−１）階層の超解像拡大画像を前記拡大率指定部により指定された拡大率で拡大して、第ｎ階層の空間補間拡大画像を生成する空間補間拡大部と、
前記空間補間拡大部により拡大されたｎ階層の空間補間拡大画像と、前記復号部により復号されたｎ階層の冗長データとの間に、所定の演算を施し、ｎ階層の超解像拡大画像を復元する超解像拡大画像復元部と、
を備えることを特徴とする画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−２９０７９３（Ｐ２００９−２９０７９３Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１４３７７６（Ｐ２００８−１４３７７６）
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]