画像復元装置および画像復元方法
【課題】より正確な復元画像を生成することができる画像復元装置を提供する。
【解決手段】ＲＡＷデータの２種類のＧプレーンが結合されたＧプレーンを生成するＧプレーン結合処理部２０２と、Ｇプレーンを４５＋９０×n度回転した回転Ｇプレーンを生成するＧプレーン回転処理部２０３と、各プレーンを周波数空間へ変換するフーリエ変換処理部１０５と、復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理部１０７と、復元用ＰＳＦデータを用いてプレーン毎に画像復元を行う画像復元処理部１０８と、各プレーンを逆フーリエ変換する逆フーリエ変換処理部１０９と、回転Ｇプレーンを逆方向に４５＋９０×n度回転させて逆回転Ｇプレーンを生成するＧプレーン逆回転処理部２０５と、逆回転Ｇプレーンを画像復元後の２つのＧプレーンに分離するＧプレーン分離処理部２０６と、各プレーンを結合するベイヤーＲＡＷ結合処理部２０７とを備える。
【解決手段】ＲＡＷデータの２種類のＧプレーンが結合されたＧプレーンを生成するＧプレーン結合処理部２０２と、Ｇプレーンを４５＋９０×n度回転した回転Ｇプレーンを生成するＧプレーン回転処理部２０３と、各プレーンを周波数空間へ変換するフーリエ変換処理部１０５と、復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理部１０７と、復元用ＰＳＦデータを用いてプレーン毎に画像復元を行う画像復元処理部１０８と、各プレーンを逆フーリエ変換する逆フーリエ変換処理部１０９と、回転Ｇプレーンを逆方向に４５＋９０×n度回転させて逆回転Ｇプレーンを生成するＧプレーン逆回転処理部２０５と、逆回転Ｇプレーンを画像復元後の２つのＧプレーンに分離するＧプレーン分離処理部２０６と、各プレーンを結合するベイヤーＲＡＷ結合処理部２０７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ（以下ＤＳＣ）等で撮影した画像の電子データに対して信号処理を行い、画質の改善を行う技術に関するものである。特に本発明は、焦点のボケた画像に対して復元処理を行い、ボケの無い画像へ変換する画像復元装置および画像復元方法に関する。
【背景技術】
【０００２】
従来の画像復元技術としては、位相板を含む光学系を用いて被写体距離によらず均一なボケを持った画像を撮像し、信号処理によりボケた画像から復元画像処理を行う画像復元装置が提案されている（例えば、特許文献１参照）。図５は、従来の画像復元装置１００の構成を示す図である。
【０００３】
同図において、撮像素子１０１は光学系を通して得た光信号を電子データへ変換し、ベイヤーＲＡＷデータ１０２を生成していた。次に現像処理部１０３にて、ベイヤーＲＡＷデータ１０２に対してデモザイク処理および色空間変換処理を行い、ビットマップデータへと変換していた。次にビットマップ分離処理部１０４にてビットマップデータのＲＧＢデータを各色プレーンへと変換し、色プレーン毎にフーリエ変換処理部１０５にてフーリエ変換処理を行って周波数空間へと変換したうえで、画像復元処理部１０８にて画像復元処理を行っていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３６１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の画像復元装置は、撮像素子で受光した画像データに対してデモザイク処理等の現像処理を行い、ビットマップ形式の画像データへ変換処理を行った後の画像データに対して画像復元処理を行う。このため、従来の画像復元装置では、元々の光線のボケ形状が現像処理によって変形してしまうために、正確に復元処理が行えないという課題を有していた。
【０００６】
ここで一般的な現像処理について図６を用いて説明する。同図は、画像データの画素配列を示す図である。
【０００７】
撮像素子の各セルは、赤・青・緑等のカラーフィルタによって単一色に減光された光線を輝度値に変換し、ＲＡＷ画像データ３０１として記録する。すなわちＲＡＷ画像データ３０１では、各画素の輝度情報は赤・青・緑のいずれか一色のみである。
【０００８】
ＲＡＷ画像データ３０１の画素配列の並びは実装により異なるが、代表的な画素配列であるベイヤー配列では、同図の（ａ）に示すように、赤・青・緑の比がそれぞれ１：１：２の割合で配置する。緑の画素比が多いのは、人間の視覚特性が緑色の波長に対して敏感であるためである。
【０００９】
そして、同図の（ｂ）に示すように、ＲＡＷ画像データ３０１から人間の知覚できるビットマップ画像データ３０２へ変換する処理が必要であり、一般的にこれを現像処理と呼ぶ。ビットマップ画像データ３０２は各画素に対してＲＧＢの３種類の色情報を持つため、現像処理ではある色情報が存在しない画素に対しては、周辺画素の色情報から補間して作成した色を埋める。
【００１０】
このときの補間アルゴリズムは実装によって異なるが、カラーフィルタで失われた情報を完全に復元することは困難であり、誤差を含んだ色情報となる。このように現像処理によって誤差を含む画像データに対して復元処理を実行したとしても、現画像に正確に復元することはできない。
【００１１】
本発明は、前記従来の課題を解決するもので、より正確な復元画像を生成することができる画像復元装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記従来の課題を解決するために、本発明の一態様に係る画像復元装置は、ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理部と、生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理部と、前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理部と、復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理部と、変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理部と、前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理部と、前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理部による回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理部と、生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理部と、分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理部とを備える。
【００１３】
これによれば、Ｇプレーンを結合して回転Ｇプレーンを生成し、各色成分のプレーンを周波数空間へ変換して、当該プレーン毎に画像復元を行う。本構成によって、周波数空間上での復元処理を行うことにより、現像処理によってボケ形状が変形することなく復元処理を行うことができるため、より正確な復元画像を生成することができる。
【００１４】
また、好ましくは、さらに、ベイヤー配列の撮像素子から取得したＲＡＷデータをＲＧＢの色成分毎のプレーンに分離するベイヤーＲＡＷ分離処理部を備え、前記Ｇプレーン結合処理部は、前記ベイヤーＲＡＷ分離処理部が分離したプレーンから前記Ｇ１プレーン及び前記Ｇ２プレーンを取得することで、前記Ｇプレーンを生成する。
【００１５】
これによれば、撮像素子から取得したＲＡＷデータをＲＧＢの色成分毎のプレーンに分離することで、Ｇ１プレーン及びＧ２プレーンを取得し、Ｇプレーンを生成する。つまり、１つの撮像素子から取得したＲＡＷデータを分離することで、Ｇプレーンを生成することができる。このため、複数の撮像素子を用いることなく、正確な復元画像を生成することができる。
【００１６】
また、前記Ｇプレーン結合処理部は、前記Ｇ１プレーンを取得するための撮像素子と、前記Ｇ２プレーンを取得するための撮像素子とから、前記Ｇ１プレーン及び前記Ｇ２プレーンをそれぞれ取得することで、前記Ｇプレーンを生成することにしてもよい。
【００１７】
これによれば、２つの撮像素子からＧ１プレーン及びＧ２プレーンを取得し、Ｇプレーンを生成する。つまり、ＲＡＷデータをＲＧＢの色成分毎のプレーンに分離することなく、撮像素子から直接Ｇ１プレーン及びＧ２プレーンを取得することができる。このため、ＲＡＷデータを色成分毎のプレーンに分離する処理を行うことなく、正確な復元画像を生成することができる。
【００１８】
また、好ましくは、さらに、ＧプレーンについてのＰＳＦデータを、（４５＋９０×n）度回転するとともに、前記回転Ｇプレーンと同じスケールに変換するＰＳＦ拡大・縮小・回転処理部を備え、前記ＰＳＦデータフーリエ変換処理部は、前記ＰＳＦ拡大・縮小・回転処理部によって変換されたＰＳＦデータである前記復元用ＰＳＦデータを周波数空間へ変換する。
【００１９】
これによれば、Ｇプレーンについての復元用ＰＳＦデータを生成して、当該復元用ＰＳＦデータを周波数空間へ変換する。これにより、Ｇプレーンについての画像復元を正確に行うことができる。
【００２０】
また、さらに、ＧプレーンについてのＰＳＦデータが、（４５＋９０×n）度回転されるとともに、前記回転Ｇプレーンと同じスケールに変換された前記復元用ＰＳＦデータを保持しているＰＳＦデータメモリを備えることにしてもよい。
【００２１】
これによれば、Ｇプレーンについての復元用ＰＳＦデータをメモリに保持する。これにより、Ｇプレーンについての復元用ＰＳＦデータを生成することなく、Ｇプレーンについての画像復元を正確に行うことができる。
【００２２】
また、本発明は、このような画像復元装置として実現できるだけでなく、当該画像復元装置を構成する各処理部を備え当該画像復元装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００２３】
本発明に係る画像復元装置によれば、より正確な復元画像を生成することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１における画像復元装置の全体構成図
【図２】本発明の実施の形態１におけるＧプレーン結合処理部およびＧプレーン回転処理部の動作を説明する図
【図３】本発明の実施の形態１におけるＧプレーンのセルピッチ幅の変化を示す図
【図４】本発明の実施の形態２におけるＧプレーンのデータ処理部分の構成図
【図５】従来の画像復元装置の全体構成図
【図６】画像データの画素配列を示す図
【発明を実施するための形態】
【００２５】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１における画像復元装置２００の全体構成図である。なお、同図において、図５と同じ構成要素については同じ符号を用いている。
【００２７】
同図に示すように、画像復元装置２００は、撮像素子１０１、ベイヤーＲＡＷ分離処理部２０１、Ｇプレーン結合処理部２０２、Ｇプレーン回転処理部２０３、フーリエ変換処理部１０５、ＰＳＦデータメモリ１０６、ＰＳＦデータ拡大・縮小・回転処理部２０４、ＰＳＦデータフーリエ変換処理部１０７、画像復元処理部１０８、逆フーリエ変換処理部１０９、Ｇプレーン逆回転処理部２０５、Ｇプレーン分離処理部２０６、ベイヤーＲＡＷ結合処理部２０７、現像処理部１０３、及び画像データメモリ１１１を備えている。
【００２８】
撮像素子１０１は、光学系を通して得た光信号を電子データへ変換し、ベイヤーＲＡＷデータ１０２を生成するベイヤー配列の撮像素子である。
【００２９】
ベイヤーＲＡＷ分離処理部２０１は、撮像素子１０１から取得したベイヤーＲＡＷデータ１０２のＲＧＢプレーンを色別に分離したプレーンへと分割する。つまり、ベイヤーＲＡＷ分離処理部２０１は、ベイヤーＲＡＷデータ１０２のＲＧＢプレーンを、Ｒプレーン、Ｇプレーン及びＢプレーンに分割する。
【００３０】
Ｇプレーン結合処理部２０２は、ベイヤーＲＡＷ分離処理部２０１が分割したプレーンのうち二種類のＧプレーンを一枚のプレーンへ結合する。
【００３１】
Ｇプレーン回転処理部２０３は、Ｇプレーン結合処理部２０２が結合したプレーンを回転させる。
【００３２】
図２は、本発明の実施の形態１におけるＧプレーン結合処理部２０２およびＧプレーン回転処理部２０３の処理を示した図である。
【００３３】
同図に示すように、Ｇプレーン結合処理部２０２は、二種類のＧプレーンであるＧ１プレーン４０１とＧ２プレーン４０２とが交互に混合されるように結合された一枚のＧプレーン４０３を生成する。ここで、Ｇ１プレーン４０１とＧ２プレーン４０２とが結合したＧプレーン４０３は、一画素ごとに空白を持ち、Ｇ１プレーン４０１とＧ２プレーン４０２の要素が交互に並べられる。
【００３４】
そして、Ｇプレーン回転処理部２０３は、結合されたＧプレーン４０３を（４５＋９０×n）（nは整数）度回転させる。ここでは、一例として、Ｇプレーン回転処理部２０３は、結合されたＧプレーン４０３を４５度回転させることとする。また、回転させる方向はどちらでも良い。回転後のＧプレーンである回転Ｇプレーン４０４はＧ１プレーン４０１とＧ２プレーン４０２の間の空白の無い配置となる。
【００３５】
ここで、Ｇ１プレーン４０１およびＧ２プレーン４０２から、回転Ｇプレーン４０４への各画素間の関係は、以下の式１により表される。式１において、ｘ，ｙは回転Ｇプレーン４０４上の二次元座標であり、ｈは、Ｇ１プレーン４０１およびＧ２プレーン４０２の高さである。また、ｘｙ座標は１から始まるものとする。
【００３６】
【数１】
【００３７】
図３は、本発明の実施の形態１におけるＧプレーンのセルピッチ幅の変化について示した図である。Ｇ１プレーン４０１およびＧ２プレーン４０２のセルピッチ幅を２とおいた時、Ｇプレーン回転処理部２０３による上記変換処理により生成された回転Ｇプレーン４０４のセルピッチ幅は、√２となる。
【００３８】
図１に戻り、フーリエ変換処理部１０５は、フーリエ変換処理を行って、Ｇプレーン、ＲプレーンおよびＢプレーンをそれぞれ周波数空間へ変換する。
【００３９】
ＰＳＦデータメモリ１０６は、点拡散関数（以下、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）という）データを格納している。
【００４０】
ＰＳＦデータ拡大・縮小・回転処理部２０４は、Ｇプレーンについて、ＰＳＦデータメモリ１０６に格納されているＰＳＦデータの変換を行い、復元用のＰＳＦデータである復元用ＰＳＦデータを生成する。
【００４１】
具体的には、ＰＳＦデータ拡大・縮小・回転処理部２０４は、ＰＳＦデータのセルピッチ幅がＧプレーン回転処理部２０３の処理後のＧプレーンのセルピッチ幅と異なる場合は、当該セルピッチ幅が同一となるよう、ＰＳＦデータの拡大または縮小処理を行う。
【００４２】
また、ＰＳＦデータ拡大・縮小・回転処理部２０４は、Ｇプレーン回転処理部２０３で回転させる方向と同じ方向に、ＰＳＦデータを（４５＋９０×n）度回転させる。ここでは、Ｇプレーン回転処理部２０３がＧプレーン４０３を４５度回転させているため、ＰＳＦデータ拡大・縮小・回転処理部２０４も、ＰＳＦデータを４５度回転させる。上記処理により、ＰＳＦデータは、回転したＧプレーンと対応する復元用ＰＳＦデータに変換される。
【００４３】
ＰＳＦデータフーリエ変換処理部１０７は、フーリエ変換処理を行って、復元用ＰＳＦデータを周波数空間へ変換する。なお、Ｒプレーン及びＢプレーンについては、ＰＳＦデータ拡大・縮小・回転処理部２０４による変換処理は行われないため、ＰＳＦデータフーリエ変換処理部１０７は、ＰＳＦデータメモリ１０６に格納されているＰＳＦデータを復元用ＰＳＦデータとして、そのまま周波数空間へ変換する。
【００４４】
画像復元処理部１０８は、周波数空間上で、各色成分のプレーンを当該各プレーンに対応する復元用ＰＳＦデータで除算することで、画像復元を行う。
【００４５】
逆フーリエ変換処理部１０９は、逆フーリエ変換により復元後のデータを画像空間へ変換する。
【００４６】
Ｇプレーン逆回転処理部２０５は、逆フーリエ変換処理部１０９が変換した復元後のデータのうちＧプレーンについて、Ｇプレーン回転処理部２０３で回転された方向と逆方向に（４５＋９０×n）度回転させることで、画像復元後の回転Ｇプレーン４０４を元の画像方向と等しくなるように変換することで、逆回転Ｇプレーンを生成する。ここでは、Ｇプレーン回転処理部２０３がＧプレーン４０３を４５度回転させているため、Ｇプレーン逆回転処理部２０５は、Ｇプレーン回転処理部２０３で回転された方向と逆方向に４５度回転させる。
【００４７】
Ｇプレーン分離処理部２０６は、二つのＧプレーンが混合された状態を、二種類の別のプレーンへと変換する。つまり、Ｇプレーン分離処理部２０６は、逆回転Ｇプレーンを、Ｇ１プレーン４０１およびＧ２プレーン４０２に対応する画像復元後の２つのＧプレーンに分離する。
【００４８】
画像復元後の回転Ｇプレーン４０４から、画像復元後のＧ１プレーン４０１およびＧ２プレーン４０２への各画素間の関係は、以下の式２及び式３により表される。なお、式２及び式３において、ｘ，ｙはＧ１プレーン４０１またはＧ２プレーン４０２上の二次元座標であり、ｈは、Ｇ１プレーン４０１およびＧ２プレーン４０２の高さである。また、ｘｙ座標は１から始まるものとする。
【００４９】
Ｇ１(ｘ，ｙ)＝Ｇ（ｈ＋ｘ−ｙ，ｘ＋ｙ−１） （式２）
Ｇ２(ｘ，ｙ)＝Ｇ（ｈ＋ｘ−ｙ＋１，ｘ＋ｙ−１） （式３）
【００５０】
ベイヤーＲＡＷ結合処理部２０７は、Ｒプレーン及びＢプレーンと、二種類のＧプレーンとを結合し、一枚のベイヤーＲＡＷデータ１０２ａへと変換する。
【００５１】
現像処理部１０３は、ベイヤーＲＡＷデータ１０２ａにデモザイク処理やホワイトバランス補正等を施し、ビットマップデータへと変換したものを画像データメモリ１１１へ記録する。
【００５２】
かかる構成によれば、Ｇプレーンを結合して回転Ｇプレーン４０４を生成し、各プレーンを周波数空間へ変換して、プレーン毎に画像復元を行う。つまり、Ｇプレーンを回転させるＧプレーン回転処理部２０３を設けることにより、より高い周波を含む周波数空間上での復元処理が可能となる。このため、現像処理によってボケ形状が変形することなく復元処理を行うことができるため、正確で高精彩な復元画像を得ることができる。
【００５３】
また、撮像素子１０１から取得したベイヤーＲＡＷデータ１０２をＲＧＢの色成分毎のプレーンに分離することで、Ｇ１プレーン４０１及びＧ２プレーン４０２を取得し、Ｇプレーン４０３を生成する。つまり、１つの撮像素子１０１から取得したベイヤーＲＡＷデータ１０２を分離することで、Ｇプレーン４０３を生成することができる。このため、複数の撮像素子を用いることなく、正確な復元画像を生成することができる。
【００５４】
また、Ｇプレーンについての復元用ＰＳＦデータを生成して、当該復元用ＰＳＦデータを周波数空間へ変換する。これにより、Ｇプレーンについての画像復元を正確に行うことができる。
【００５５】
なお、本実施の形態において、画像復元装置２００は、ＧプレーンのＰＳＦデータを変形させるためにＰＳＦデータ拡大・縮小・回転処理部２０４を備えることとした。しかし、画像復元装置２００は、ＰＳＦデータ拡大・縮小・回転処理部２０４を備えておらず、あらかじめ変形させた復元用ＰＳＦデータをＰＳＦデータメモリ１０６に格納しておくことにしても良い。
【００５６】
これにより、Ｇプレーンについての復元用ＰＳＦデータを生成することなく、Ｇプレーンについての画像復元を正確に行うことができる。
【００５７】
（実施の形態２）
図４は、本発明の実施の形態２における画像復元装置３００のＧプレーンのデータ処理部分の構成図である。なお、同図において、図１と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【００５８】
具体的には、同図は、図１に示された実施の形態１における画像復元装置２００の撮像素子１０１、ベイヤーＲＡＷ分離処理部２０１、Ｇプレーン結合処理部２０２、Ｇプレーン回転処理部２０３、フーリエ変換処理部１０５及び画像復元処理部１０８の部分の構成図である。なお、上記部分以外の構成要素については、本実施の形態２における画像復元装置３００は、実施の形態１における画像復元装置２００と同じ構成要素を備えている。
【００５９】
図４において、Ｇ１撮像素子６０１ａ，Ｇ２撮像素子６０１ｂ，ＲＢ撮像素子６０１ｃはそれぞれ、Ｇ１プレーン４０１、Ｇ２プレーン４０２、ＲＢプレーン６０２ｃに対応した撮像素子である。なお、ＲＢプレーン６０２ｃは、ＲとＢが交互に混合された一枚のプレーンである。
【００６０】
つまり、本実施の形態２においては、複数の撮像素子を用いることにより、Ｇプレーン結合処理部２０２は、実施の形態１のベイヤーＲＡＷ分離処理部２０１によって生成したＧ１プレーン４０１およびＧ２プレーン４０２を、Ｇ１撮像素子６０１ａ及びＧ２撮像素子６０１ｂより直接取得する。
【００６１】
そして、Ｇプレーン結合処理部２０２は、Ｇ１プレーン４０１とＧ２プレーン４０２とを一枚のプレーンへ結合する。
【００６２】
ＲＢプレーン分離処理部６０３は、ＲＢプレーン６０２ｃについて、ＲとＢが交互に混合された一枚のプレーンを、ＲプレーンとＢプレーンへと分離する。
【００６３】
また、以降の処理については、実施の形態１と同様であるため、説明を省略する。
【００６４】
上記構成により、ＲＡＷデータをＲＧＢの色成分毎のプレーンに分離することなく、撮像素子から直接Ｇ１プレーン４０１及びＧ２プレーン４０２を取得することができる。このため、ＲＡＷデータを色成分毎のプレーンに分離する処理を行うことなく、複数の撮像素子からなる画像復元装置３００においても、実施の形態１と同様に復元処理画像の精度向上が可能となる。
【００６５】
以上、本発明に係る画像復元装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。
【００６６】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００６７】
本発明にかかる画像復元装置は、デジタルスチルカメラやデジタルムービー等として有用である。またパーソナルコンピュータ用ソフトウェア等の用途にも応用できる。
【符号の説明】
【００６８】
１００、２００、３００ 画像復元装置
１０１ 撮像素子
１０２、１０２ａ ベイヤーＲＡＷデータ
１０３ 現像処理部
１０４ ビットマップ分離処理部
１０５ フーリエ変換処理部
１０６ ＰＳＦデータメモリ
１０７ ＰＳＦデータフーリエ変換処理部
１０８ 画像復元処理部
１０９ 逆フーリエ変換処理部
１１０ ビットマップ結合処理部
１１１ 画像データメモリ
２０１ ベイヤーＲＡＷ分離処理部
２０２ Ｇプレーン結合処理部
２０３ Ｇプレーン回転処理部
２０４ ＰＳＦデータ拡大・縮小・回転処理部
２０５ Ｇプレーン逆回転処理部
２０６ Ｇプレーン分離処理部
２０７ ベイヤーＲＡＷ結合処理部
３０１ ＲＡＷ画像データ
３０２ ビットマップ画像データ
４０１ Ｇ１プレーン
４０２ Ｇ２プレーン
４０３ Ｇプレーン
４０４ 回転Ｇプレーン
６０１ａ Ｇ１撮像素子
６０１ｂ Ｇ２撮像素子
６０１ｃ ＲＢ撮像素子
６０２ｃ ＲＢプレーン
６０３ ＲＢプレーン分離処理部
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ（以下ＤＳＣ）等で撮影した画像の電子データに対して信号処理を行い、画質の改善を行う技術に関するものである。特に本発明は、焦点のボケた画像に対して復元処理を行い、ボケの無い画像へ変換する画像復元装置および画像復元方法に関する。
【背景技術】
【０００２】
従来の画像復元技術としては、位相板を含む光学系を用いて被写体距離によらず均一なボケを持った画像を撮像し、信号処理によりボケた画像から復元画像処理を行う画像復元装置が提案されている（例えば、特許文献１参照）。図５は、従来の画像復元装置１００の構成を示す図である。
【０００３】
同図において、撮像素子１０１は光学系を通して得た光信号を電子データへ変換し、ベイヤーＲＡＷデータ１０２を生成していた。次に現像処理部１０３にて、ベイヤーＲＡＷデータ１０２に対してデモザイク処理および色空間変換処理を行い、ビットマップデータへと変換していた。次にビットマップ分離処理部１０４にてビットマップデータのＲＧＢデータを各色プレーンへと変換し、色プレーン毎にフーリエ変換処理部１０５にてフーリエ変換処理を行って周波数空間へと変換したうえで、画像復元処理部１０８にて画像復元処理を行っていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３６１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の画像復元装置は、撮像素子で受光した画像データに対してデモザイク処理等の現像処理を行い、ビットマップ形式の画像データへ変換処理を行った後の画像データに対して画像復元処理を行う。このため、従来の画像復元装置では、元々の光線のボケ形状が現像処理によって変形してしまうために、正確に復元処理が行えないという課題を有していた。
【０００６】
ここで一般的な現像処理について図６を用いて説明する。同図は、画像データの画素配列を示す図である。
【０００７】
撮像素子の各セルは、赤・青・緑等のカラーフィルタによって単一色に減光された光線を輝度値に変換し、ＲＡＷ画像データ３０１として記録する。すなわちＲＡＷ画像データ３０１では、各画素の輝度情報は赤・青・緑のいずれか一色のみである。
【０００８】
ＲＡＷ画像データ３０１の画素配列の並びは実装により異なるが、代表的な画素配列であるベイヤー配列では、同図の（ａ）に示すように、赤・青・緑の比がそれぞれ１：１：２の割合で配置する。緑の画素比が多いのは、人間の視覚特性が緑色の波長に対して敏感であるためである。
【０００９】
そして、同図の（ｂ）に示すように、ＲＡＷ画像データ３０１から人間の知覚できるビットマップ画像データ３０２へ変換する処理が必要であり、一般的にこれを現像処理と呼ぶ。ビットマップ画像データ３０２は各画素に対してＲＧＢの３種類の色情報を持つため、現像処理ではある色情報が存在しない画素に対しては、周辺画素の色情報から補間して作成した色を埋める。
【００１０】
このときの補間アルゴリズムは実装によって異なるが、カラーフィルタで失われた情報を完全に復元することは困難であり、誤差を含んだ色情報となる。このように現像処理によって誤差を含む画像データに対して復元処理を実行したとしても、現画像に正確に復元することはできない。
【００１１】
本発明は、前記従来の課題を解決するもので、より正確な復元画像を生成することができる画像復元装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記従来の課題を解決するために、本発明の一態様に係る画像復元装置は、ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理部と、生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理部と、前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理部と、復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理部と、変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理部と、前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理部と、前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理部による回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理部と、生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理部と、分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理部とを備える。
【００１３】
これによれば、Ｇプレーンを結合して回転Ｇプレーンを生成し、各色成分のプレーンを周波数空間へ変換して、当該プレーン毎に画像復元を行う。本構成によって、周波数空間上での復元処理を行うことにより、現像処理によってボケ形状が変形することなく復元処理を行うことができるため、より正確な復元画像を生成することができる。
【００１４】
また、好ましくは、さらに、ベイヤー配列の撮像素子から取得したＲＡＷデータをＲＧＢの色成分毎のプレーンに分離するベイヤーＲＡＷ分離処理部を備え、前記Ｇプレーン結合処理部は、前記ベイヤーＲＡＷ分離処理部が分離したプレーンから前記Ｇ１プレーン及び前記Ｇ２プレーンを取得することで、前記Ｇプレーンを生成する。
【００１５】
これによれば、撮像素子から取得したＲＡＷデータをＲＧＢの色成分毎のプレーンに分離することで、Ｇ１プレーン及びＧ２プレーンを取得し、Ｇプレーンを生成する。つまり、１つの撮像素子から取得したＲＡＷデータを分離することで、Ｇプレーンを生成することができる。このため、複数の撮像素子を用いることなく、正確な復元画像を生成することができる。
【００１６】
また、前記Ｇプレーン結合処理部は、前記Ｇ１プレーンを取得するための撮像素子と、前記Ｇ２プレーンを取得するための撮像素子とから、前記Ｇ１プレーン及び前記Ｇ２プレーンをそれぞれ取得することで、前記Ｇプレーンを生成することにしてもよい。
【００１７】
これによれば、２つの撮像素子からＧ１プレーン及びＧ２プレーンを取得し、Ｇプレーンを生成する。つまり、ＲＡＷデータをＲＧＢの色成分毎のプレーンに分離することなく、撮像素子から直接Ｇ１プレーン及びＧ２プレーンを取得することができる。このため、ＲＡＷデータを色成分毎のプレーンに分離する処理を行うことなく、正確な復元画像を生成することができる。
【００１８】
また、好ましくは、さらに、ＧプレーンについてのＰＳＦデータを、（４５＋９０×n）度回転するとともに、前記回転Ｇプレーンと同じスケールに変換するＰＳＦ拡大・縮小・回転処理部を備え、前記ＰＳＦデータフーリエ変換処理部は、前記ＰＳＦ拡大・縮小・回転処理部によって変換されたＰＳＦデータである前記復元用ＰＳＦデータを周波数空間へ変換する。
【００１９】
これによれば、Ｇプレーンについての復元用ＰＳＦデータを生成して、当該復元用ＰＳＦデータを周波数空間へ変換する。これにより、Ｇプレーンについての画像復元を正確に行うことができる。
【００２０】
また、さらに、ＧプレーンについてのＰＳＦデータが、（４５＋９０×n）度回転されるとともに、前記回転Ｇプレーンと同じスケールに変換された前記復元用ＰＳＦデータを保持しているＰＳＦデータメモリを備えることにしてもよい。
【００２１】
これによれば、Ｇプレーンについての復元用ＰＳＦデータをメモリに保持する。これにより、Ｇプレーンについての復元用ＰＳＦデータを生成することなく、Ｇプレーンについての画像復元を正確に行うことができる。
【００２２】
また、本発明は、このような画像復元装置として実現できるだけでなく、当該画像復元装置を構成する各処理部を備え当該画像復元装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００２３】
本発明に係る画像復元装置によれば、より正確な復元画像を生成することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１における画像復元装置の全体構成図
【図２】本発明の実施の形態１におけるＧプレーン結合処理部およびＧプレーン回転処理部の動作を説明する図
【図３】本発明の実施の形態１におけるＧプレーンのセルピッチ幅の変化を示す図
【図４】本発明の実施の形態２におけるＧプレーンのデータ処理部分の構成図
【図５】従来の画像復元装置の全体構成図
【図６】画像データの画素配列を示す図
【発明を実施するための形態】
【００２５】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１における画像復元装置２００の全体構成図である。なお、同図において、図５と同じ構成要素については同じ符号を用いている。
【００２７】
同図に示すように、画像復元装置２００は、撮像素子１０１、ベイヤーＲＡＷ分離処理部２０１、Ｇプレーン結合処理部２０２、Ｇプレーン回転処理部２０３、フーリエ変換処理部１０５、ＰＳＦデータメモリ１０６、ＰＳＦデータ拡大・縮小・回転処理部２０４、ＰＳＦデータフーリエ変換処理部１０７、画像復元処理部１０８、逆フーリエ変換処理部１０９、Ｇプレーン逆回転処理部２０５、Ｇプレーン分離処理部２０６、ベイヤーＲＡＷ結合処理部２０７、現像処理部１０３、及び画像データメモリ１１１を備えている。
【００２８】
撮像素子１０１は、光学系を通して得た光信号を電子データへ変換し、ベイヤーＲＡＷデータ１０２を生成するベイヤー配列の撮像素子である。
【００２９】
ベイヤーＲＡＷ分離処理部２０１は、撮像素子１０１から取得したベイヤーＲＡＷデータ１０２のＲＧＢプレーンを色別に分離したプレーンへと分割する。つまり、ベイヤーＲＡＷ分離処理部２０１は、ベイヤーＲＡＷデータ１０２のＲＧＢプレーンを、Ｒプレーン、Ｇプレーン及びＢプレーンに分割する。
【００３０】
Ｇプレーン結合処理部２０２は、ベイヤーＲＡＷ分離処理部２０１が分割したプレーンのうち二種類のＧプレーンを一枚のプレーンへ結合する。
【００３１】
Ｇプレーン回転処理部２０３は、Ｇプレーン結合処理部２０２が結合したプレーンを回転させる。
【００３２】
図２は、本発明の実施の形態１におけるＧプレーン結合処理部２０２およびＧプレーン回転処理部２０３の処理を示した図である。
【００３３】
同図に示すように、Ｇプレーン結合処理部２０２は、二種類のＧプレーンであるＧ１プレーン４０１とＧ２プレーン４０２とが交互に混合されるように結合された一枚のＧプレーン４０３を生成する。ここで、Ｇ１プレーン４０１とＧ２プレーン４０２とが結合したＧプレーン４０３は、一画素ごとに空白を持ち、Ｇ１プレーン４０１とＧ２プレーン４０２の要素が交互に並べられる。
【００３４】
そして、Ｇプレーン回転処理部２０３は、結合されたＧプレーン４０３を（４５＋９０×n）（nは整数）度回転させる。ここでは、一例として、Ｇプレーン回転処理部２０３は、結合されたＧプレーン４０３を４５度回転させることとする。また、回転させる方向はどちらでも良い。回転後のＧプレーンである回転Ｇプレーン４０４はＧ１プレーン４０１とＧ２プレーン４０２の間の空白の無い配置となる。
【００３５】
ここで、Ｇ１プレーン４０１およびＧ２プレーン４０２から、回転Ｇプレーン４０４への各画素間の関係は、以下の式１により表される。式１において、ｘ，ｙは回転Ｇプレーン４０４上の二次元座標であり、ｈは、Ｇ１プレーン４０１およびＧ２プレーン４０２の高さである。また、ｘｙ座標は１から始まるものとする。
【００３６】
【数１】
【００３７】
図３は、本発明の実施の形態１におけるＧプレーンのセルピッチ幅の変化について示した図である。Ｇ１プレーン４０１およびＧ２プレーン４０２のセルピッチ幅を２とおいた時、Ｇプレーン回転処理部２０３による上記変換処理により生成された回転Ｇプレーン４０４のセルピッチ幅は、√２となる。
【００３８】
図１に戻り、フーリエ変換処理部１０５は、フーリエ変換処理を行って、Ｇプレーン、ＲプレーンおよびＢプレーンをそれぞれ周波数空間へ変換する。
【００３９】
ＰＳＦデータメモリ１０６は、点拡散関数（以下、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）という）データを格納している。
【００４０】
ＰＳＦデータ拡大・縮小・回転処理部２０４は、Ｇプレーンについて、ＰＳＦデータメモリ１０６に格納されているＰＳＦデータの変換を行い、復元用のＰＳＦデータである復元用ＰＳＦデータを生成する。
【００４１】
具体的には、ＰＳＦデータ拡大・縮小・回転処理部２０４は、ＰＳＦデータのセルピッチ幅がＧプレーン回転処理部２０３の処理後のＧプレーンのセルピッチ幅と異なる場合は、当該セルピッチ幅が同一となるよう、ＰＳＦデータの拡大または縮小処理を行う。
【００４２】
また、ＰＳＦデータ拡大・縮小・回転処理部２０４は、Ｇプレーン回転処理部２０３で回転させる方向と同じ方向に、ＰＳＦデータを（４５＋９０×n）度回転させる。ここでは、Ｇプレーン回転処理部２０３がＧプレーン４０３を４５度回転させているため、ＰＳＦデータ拡大・縮小・回転処理部２０４も、ＰＳＦデータを４５度回転させる。上記処理により、ＰＳＦデータは、回転したＧプレーンと対応する復元用ＰＳＦデータに変換される。
【００４３】
ＰＳＦデータフーリエ変換処理部１０７は、フーリエ変換処理を行って、復元用ＰＳＦデータを周波数空間へ変換する。なお、Ｒプレーン及びＢプレーンについては、ＰＳＦデータ拡大・縮小・回転処理部２０４による変換処理は行われないため、ＰＳＦデータフーリエ変換処理部１０７は、ＰＳＦデータメモリ１０６に格納されているＰＳＦデータを復元用ＰＳＦデータとして、そのまま周波数空間へ変換する。
【００４４】
画像復元処理部１０８は、周波数空間上で、各色成分のプレーンを当該各プレーンに対応する復元用ＰＳＦデータで除算することで、画像復元を行う。
【００４５】
逆フーリエ変換処理部１０９は、逆フーリエ変換により復元後のデータを画像空間へ変換する。
【００４６】
Ｇプレーン逆回転処理部２０５は、逆フーリエ変換処理部１０９が変換した復元後のデータのうちＧプレーンについて、Ｇプレーン回転処理部２０３で回転された方向と逆方向に（４５＋９０×n）度回転させることで、画像復元後の回転Ｇプレーン４０４を元の画像方向と等しくなるように変換することで、逆回転Ｇプレーンを生成する。ここでは、Ｇプレーン回転処理部２０３がＧプレーン４０３を４５度回転させているため、Ｇプレーン逆回転処理部２０５は、Ｇプレーン回転処理部２０３で回転された方向と逆方向に４５度回転させる。
【００４７】
Ｇプレーン分離処理部２０６は、二つのＧプレーンが混合された状態を、二種類の別のプレーンへと変換する。つまり、Ｇプレーン分離処理部２０６は、逆回転Ｇプレーンを、Ｇ１プレーン４０１およびＧ２プレーン４０２に対応する画像復元後の２つのＧプレーンに分離する。
【００４８】
画像復元後の回転Ｇプレーン４０４から、画像復元後のＧ１プレーン４０１およびＧ２プレーン４０２への各画素間の関係は、以下の式２及び式３により表される。なお、式２及び式３において、ｘ，ｙはＧ１プレーン４０１またはＧ２プレーン４０２上の二次元座標であり、ｈは、Ｇ１プレーン４０１およびＧ２プレーン４０２の高さである。また、ｘｙ座標は１から始まるものとする。
【００４９】
Ｇ１(ｘ，ｙ)＝Ｇ（ｈ＋ｘ−ｙ，ｘ＋ｙ−１） （式２）
Ｇ２(ｘ，ｙ)＝Ｇ（ｈ＋ｘ−ｙ＋１，ｘ＋ｙ−１） （式３）
【００５０】
ベイヤーＲＡＷ結合処理部２０７は、Ｒプレーン及びＢプレーンと、二種類のＧプレーンとを結合し、一枚のベイヤーＲＡＷデータ１０２ａへと変換する。
【００５１】
現像処理部１０３は、ベイヤーＲＡＷデータ１０２ａにデモザイク処理やホワイトバランス補正等を施し、ビットマップデータへと変換したものを画像データメモリ１１１へ記録する。
【００５２】
かかる構成によれば、Ｇプレーンを結合して回転Ｇプレーン４０４を生成し、各プレーンを周波数空間へ変換して、プレーン毎に画像復元を行う。つまり、Ｇプレーンを回転させるＧプレーン回転処理部２０３を設けることにより、より高い周波を含む周波数空間上での復元処理が可能となる。このため、現像処理によってボケ形状が変形することなく復元処理を行うことができるため、正確で高精彩な復元画像を得ることができる。
【００５３】
また、撮像素子１０１から取得したベイヤーＲＡＷデータ１０２をＲＧＢの色成分毎のプレーンに分離することで、Ｇ１プレーン４０１及びＧ２プレーン４０２を取得し、Ｇプレーン４０３を生成する。つまり、１つの撮像素子１０１から取得したベイヤーＲＡＷデータ１０２を分離することで、Ｇプレーン４０３を生成することができる。このため、複数の撮像素子を用いることなく、正確な復元画像を生成することができる。
【００５４】
また、Ｇプレーンについての復元用ＰＳＦデータを生成して、当該復元用ＰＳＦデータを周波数空間へ変換する。これにより、Ｇプレーンについての画像復元を正確に行うことができる。
【００５５】
なお、本実施の形態において、画像復元装置２００は、ＧプレーンのＰＳＦデータを変形させるためにＰＳＦデータ拡大・縮小・回転処理部２０４を備えることとした。しかし、画像復元装置２００は、ＰＳＦデータ拡大・縮小・回転処理部２０４を備えておらず、あらかじめ変形させた復元用ＰＳＦデータをＰＳＦデータメモリ１０６に格納しておくことにしても良い。
【００５６】
これにより、Ｇプレーンについての復元用ＰＳＦデータを生成することなく、Ｇプレーンについての画像復元を正確に行うことができる。
【００５７】
（実施の形態２）
図４は、本発明の実施の形態２における画像復元装置３００のＧプレーンのデータ処理部分の構成図である。なお、同図において、図１と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【００５８】
具体的には、同図は、図１に示された実施の形態１における画像復元装置２００の撮像素子１０１、ベイヤーＲＡＷ分離処理部２０１、Ｇプレーン結合処理部２０２、Ｇプレーン回転処理部２０３、フーリエ変換処理部１０５及び画像復元処理部１０８の部分の構成図である。なお、上記部分以外の構成要素については、本実施の形態２における画像復元装置３００は、実施の形態１における画像復元装置２００と同じ構成要素を備えている。
【００５９】
図４において、Ｇ１撮像素子６０１ａ，Ｇ２撮像素子６０１ｂ，ＲＢ撮像素子６０１ｃはそれぞれ、Ｇ１プレーン４０１、Ｇ２プレーン４０２、ＲＢプレーン６０２ｃに対応した撮像素子である。なお、ＲＢプレーン６０２ｃは、ＲとＢが交互に混合された一枚のプレーンである。
【００６０】
つまり、本実施の形態２においては、複数の撮像素子を用いることにより、Ｇプレーン結合処理部２０２は、実施の形態１のベイヤーＲＡＷ分離処理部２０１によって生成したＧ１プレーン４０１およびＧ２プレーン４０２を、Ｇ１撮像素子６０１ａ及びＧ２撮像素子６０１ｂより直接取得する。
【００６１】
そして、Ｇプレーン結合処理部２０２は、Ｇ１プレーン４０１とＧ２プレーン４０２とを一枚のプレーンへ結合する。
【００６２】
ＲＢプレーン分離処理部６０３は、ＲＢプレーン６０２ｃについて、ＲとＢが交互に混合された一枚のプレーンを、ＲプレーンとＢプレーンへと分離する。
【００６３】
また、以降の処理については、実施の形態１と同様であるため、説明を省略する。
【００６４】
上記構成により、ＲＡＷデータをＲＧＢの色成分毎のプレーンに分離することなく、撮像素子から直接Ｇ１プレーン４０１及びＧ２プレーン４０２を取得することができる。このため、ＲＡＷデータを色成分毎のプレーンに分離する処理を行うことなく、複数の撮像素子からなる画像復元装置３００においても、実施の形態１と同様に復元処理画像の精度向上が可能となる。
【００６５】
以上、本発明に係る画像復元装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。
【００６６】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００６７】
本発明にかかる画像復元装置は、デジタルスチルカメラやデジタルムービー等として有用である。またパーソナルコンピュータ用ソフトウェア等の用途にも応用できる。
【符号の説明】
【００６８】
１００、２００、３００ 画像復元装置
１０１ 撮像素子
１０２、１０２ａ ベイヤーＲＡＷデータ
１０３ 現像処理部
１０４ ビットマップ分離処理部
１０５ フーリエ変換処理部
１０６ ＰＳＦデータメモリ
１０７ ＰＳＦデータフーリエ変換処理部
１０８ 画像復元処理部
１０９ 逆フーリエ変換処理部
１１０ ビットマップ結合処理部
１１１ 画像データメモリ
２０１ ベイヤーＲＡＷ分離処理部
２０２ Ｇプレーン結合処理部
２０３ Ｇプレーン回転処理部
２０４ ＰＳＦデータ拡大・縮小・回転処理部
２０５ Ｇプレーン逆回転処理部
２０６ Ｇプレーン分離処理部
２０７ ベイヤーＲＡＷ結合処理部
３０１ ＲＡＷ画像データ
３０２ ビットマップ画像データ
４０１ Ｇ１プレーン
４０２ Ｇ２プレーン
４０３ Ｇプレーン
４０４ 回転Ｇプレーン
６０１ａ Ｇ１撮像素子
６０１ｂ Ｇ２撮像素子
６０１ｃ ＲＢ撮像素子
６０２ｃ ＲＢプレーン
６０３ ＲＢプレーン分離処理部
【特許請求の範囲】
【請求項１】
ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理部と、
生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理部と、
前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理部と、
復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理部と、
変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理部と、
前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理部と、
前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理部による回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理部と、
生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理部と、
分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理部と
を備える画像復元装置。
【請求項２】
さらに、
ベイヤー配列の撮像素子から取得したＲＡＷデータをＲＧＢの色成分毎のプレーンに分離するベイヤーＲＡＷ分離処理部を備え、
前記Ｇプレーン結合処理部は、前記ベイヤーＲＡＷ分離処理部が分離したプレーンから前記Ｇ１プレーン及び前記Ｇ２プレーンを取得することで、前記Ｇプレーンを生成する
請求項１に記載の画像復元装置。
【請求項３】
前記Ｇプレーン結合処理部は、前記Ｇ１プレーンを取得するための撮像素子と、前記Ｇ２プレーンを取得するための撮像素子とから、前記Ｇ１プレーン及び前記Ｇ２プレーンをそれぞれ取得することで、前記Ｇプレーンを生成する
請求項１に記載の画像復元装置。
【請求項４】
さらに、
ＧプレーンについてのＰＳＦデータを、（４５＋９０×n）度回転するとともに、前記回転Ｇプレーンと同じスケールに変換するＰＳＦ拡大・縮小・回転処理部を備え、
前記ＰＳＦデータフーリエ変換処理部は、前記ＰＳＦ拡大・縮小・回転処理部によって変換されたＰＳＦデータである前記復元用ＰＳＦデータを周波数空間へ変換する
請求項１〜３のいずれか１項に記載の画像復元装置。
【請求項５】
さらに、
ＧプレーンについてのＰＳＦデータが、（４５＋９０×n）度回転されるとともに、前記回転Ｇプレーンと同じスケールに変換された前記復元用ＰＳＦデータを保持しているＰＳＦデータメモリを備える
請求項１〜３のいずれか１項に記載の画像復元装置。
【請求項６】
ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理ステップと、
生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理ステップと、
前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理ステップと、
復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理ステップと、
変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理ステップと、
前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理ステップと、
前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理ステップでの回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理ステップと、
生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理ステップと、
分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理ステップと
を含む画像復元方法。
【請求項７】
ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理ステップと、
生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理ステップと、
前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理ステップと、
復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理ステップと、
変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理ステップと、
前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理ステップと、
前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理ステップでの回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理ステップと、
生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理ステップと、
分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理ステップと
をコンピュータに実行させる画像復元プログラム。
【請求項１】
ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理部と、
生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理部と、
前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理部と、
復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理部と、
変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理部と、
前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理部と、
前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理部による回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理部と、
生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理部と、
分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理部と
を備える画像復元装置。
【請求項２】
さらに、
ベイヤー配列の撮像素子から取得したＲＡＷデータをＲＧＢの色成分毎のプレーンに分離するベイヤーＲＡＷ分離処理部を備え、
前記Ｇプレーン結合処理部は、前記ベイヤーＲＡＷ分離処理部が分離したプレーンから前記Ｇ１プレーン及び前記Ｇ２プレーンを取得することで、前記Ｇプレーンを生成する
請求項１に記載の画像復元装置。
【請求項３】
前記Ｇプレーン結合処理部は、前記Ｇ１プレーンを取得するための撮像素子と、前記Ｇ２プレーンを取得するための撮像素子とから、前記Ｇ１プレーン及び前記Ｇ２プレーンをそれぞれ取得することで、前記Ｇプレーンを生成する
請求項１に記載の画像復元装置。
【請求項４】
さらに、
ＧプレーンについてのＰＳＦデータを、（４５＋９０×n）度回転するとともに、前記回転Ｇプレーンと同じスケールに変換するＰＳＦ拡大・縮小・回転処理部を備え、
前記ＰＳＦデータフーリエ変換処理部は、前記ＰＳＦ拡大・縮小・回転処理部によって変換されたＰＳＦデータである前記復元用ＰＳＦデータを周波数空間へ変換する
請求項１〜３のいずれか１項に記載の画像復元装置。
【請求項５】
さらに、
ＧプレーンについてのＰＳＦデータが、（４５＋９０×n）度回転されるとともに、前記回転Ｇプレーンと同じスケールに変換された前記復元用ＰＳＦデータを保持しているＰＳＦデータメモリを備える
請求項１〜３のいずれか１項に記載の画像復元装置。
【請求項６】
ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理ステップと、
生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理ステップと、
前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理ステップと、
復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理ステップと、
変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理ステップと、
前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理ステップと、
前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理ステップでの回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理ステップと、
生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理ステップと、
分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理ステップと
を含む画像復元方法。
【請求項７】
ベイヤー配列の撮像素子から取得されたＲＡＷデータから分離されたＲＧＢの色成分毎のプレーンのうち２種類のＧ成分のプレーンであるＧ１プレーンとＧ２プレーンとが交互に混合されるように結合されたＧプレーンを生成するＧプレーン結合処理ステップと、
生成された前記Ｇプレーンを（４５＋９０×n）（nは整数）度回転した回転Ｇプレーンを生成するＧプレーン回転処理ステップと、
前記回転Ｇプレーンを含む各色成分のプレーンを周波数空間へ変換するフーリエ変換処理ステップと、
復元用の点拡散関数（ＰＳＦ）データである復元用ＰＳＦデータを周波数空間へ変換するＰＳＦデータフーリエ変換処理ステップと、
変換された前記復元用ＰＳＦデータを用いて、前記回転Ｇプレーンを含む各色成分のプレーン毎に画像復元を行う画像復元処理ステップと、
前記画像復元が行われた各プレーンを逆フーリエ変換により変換する逆フーリエ変換処理ステップと、
前記逆フーリエ変換により変換された前記回転Ｇプレーンを、前記Ｇプレーン回転処理ステップでの回転方向と逆方向に（４５＋９０×n）度回転させて、逆回転Ｇプレーンを生成するＧプレーン逆回転処理ステップと、
生成された前記逆回転Ｇプレーンを、前記Ｇ１プレーン及び前記Ｇ２プレーンに対応する画像復元後の２つのＧプレーンに分離するＧプレーン分離処理ステップと、
分離された２つのＧプレーンを含む各色成分のプレーンを結合してベイヤー配列のＲＡＷデータを生成するベイヤーＲＡＷ結合処理ステップと
をコンピュータに実行させる画像復元プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−４８２０（Ｐ２０１２−４８２０Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３７５２４（Ｐ２０１０−１３７５２４）
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]