画像処理装置、画像処理方法及びプログラム
【課題】処理パフォーマンスの低下やコストの増加を招くことなく、倍率色収差補正及びノイズ低減を行う。
【解決手段】フォーマット変換回路２０９〜２１１は、Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換し、画像バッファ領域２２０に記憶する。倍率色収差補正回路２１６〜２１８は、画像バッファ領域２２０に記憶される第２の画像データを読み出し、倍率色収差補正を行う。
【解決手段】フォーマット変換回路２０９〜２１１は、Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換し、画像バッファ領域２２０に記憶する。倍率色収差補正回路２１６〜２１８は、画像バッファ領域２２０に記憶される第２の画像データを読み出し、倍率色収差補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの倍率色収差補正を行う技術に関するものである。
【背景技術】
【０００２】
従来、結像光学系に起因する倍率色収差を補正する技術が知られている（例えば、特許文献１参照）。特許文献１に開示される技術は、倍率色収差を補正するために、先ずベイヤー配列のカラーフィルタを持つ撮像素子で撮像された映像信号を、Ｒ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分に色分離する。そして、Ｒ成分が存在しない画素は隣接するＲ成分の画素から画素値を補間することで補間Ｒ成分が生成され、Ｂ成分が存在しない画素は隣接するＢ成分の画素から画素値を補間することで補間Ｂ成分が生成される。その後、倍率色収差補正回路は、補間Ｒ成分の各画素値をそれぞれがＧ成分を基準としたときに本来あるべき位置の画素値と置き換えることで倍率色収差を補正する。また、本来あるべき位置の画素値を置き換える先の画素の画素位置が１画素未満のずれを持っている場合は、周辺のＲ成分の画素値から１画素未満のずれを補間することで置き換える画素値が計算される。補間Ｂ成分についても同様の置き換えを行い、Ｇ成分に対して補間Ｒ成分と補間Ｂ成分との画素位置を補正することにより、倍率色収差が補正される。
【０００３】
倍率色収差が補正されたＲ成分、Ｂ成分、Ｇ成分はその後、ガンマ補正やアパーチャ補正等の画質調整処理が行われた後、輝度成分と色差成分とに変換される。色差成分が生成される際は、ナイキスト周波数付近のエイリアシングが偽色信号として画像に表れないように偽色抑圧処理が施される。
【０００４】
また従来から、画像信号を複数の周波数帯域に分割して、周波数帯域毎に処理された画像信号を再び周波数合成することでノイズを低減する技術が知られている（例えば、特許文献２参照）。特許文献２に開示される技術は、ステップ１〜ステップｎのｎ個の周波数帯域毎にエッジ成分を保存しながらノイズ成分を低減することにより、広帯域なエッジ成分を保存しつつノイズ成分だけを低減している。
【０００５】
以上の第１、第２の特許文献に開示される技術を適用し、倍率色収差補正を行ってガンマ補正やアパーチャ補正等の画質調整処理を行った後、偽色抑圧処理を行いつつノイズ低減処理を行って輝度成分と色差成分とを出力することが考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０１５９４６号公報
【特許文献２】特開２００８−０１５７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のように想定した技術では、ＤＲＡＭ等で構成されるメモリに帯域制限された画像信号を多数のプレーンで記憶する必要があり、さらに各プレーンの画像信号を周波数成分毎に記憶する必要がある。そのため、連写撮影等、高速性が求められる処理の場合には単位時間当たりのメモリアクセス量が増大し、メモリアクセス帯域の上限に達すると処理パフォーマンスの低下を招く。また、必要なメモリ容量が増加することで、画像処理装置のコストを増大させることにもなる。
【０００８】
そこで、本発明の目的は、処理パフォーマンスの低下やコストの増加を招くことなく、倍率色収差補正及びノイズ低減を行うことにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する第１の変換手段と、前記第２の画像データを記憶媒体に記憶する第１の記憶手段と、前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、処理パフォーマンスの低下やコストの増加を招くことなく、倍率色収差補正及びノイズ低減を行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置の構成を示す図である。
【図２】ベイヤー配列のカラーフィルタの構成を示す図である。
【図３】第１の実施形態における信号処理回路の構成を詳細に示す図である。
【図４】Ｒ間引き回路の構成を詳細に示す図である。
【図５】ＲＢ間引き回路における間引き方法の選択処理を示すフローチャートである。
【図６】第２の実施形態における信号処理回路の構成を詳細に示す図である。
【図７】比較例における信号処理回路の構成を詳細に示す図である。
【図８】第３の実施形態におけるシステム制御回路の処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す図である。図１において、１０１は、レンズや絞り等からなる結像光学系であり、フォーカス調節や露出調節を行う。１０２は、光学像を電気信号に変換するＣＣＤ等の撮像素子である。１０３は、撮像素子１０２からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換回路である。１０４は、Ａ／Ｄ変換回路１０３から出力された画像データ（デジタル画像信号）に対して結像光学系の収差補正やノイズ低減等の処理を施す信号処理回路である。１０５は、メモリ（ＤＲＡＭ）１０６との間で画像データの書き込み／読み出しを行うメモリ制御回路である。１０７は、画像処理装置全体の動作を制御するシステム制御回路である。
【００１４】
撮像素子１０２の結像面には、画素毎に図２に示すようなベイヤー配列のカラーフィルタが配置され、各画素はカラーフィルタの色に応じた画素値を出力する。なお、この図２では、Ｒフィルタの水平方向であってＢフィルタの垂直方向に位置するＧフィルタをＧ１フィルタ、Ｒフィルタの垂直方向であってＢフィルタの水平方向に位置するＧフィルタをＧ２フィルタとする。
【００１５】
図３は、第１の実施形態における信号処理回路１０４の構成を詳細に示す図である。図３において、２０１は、Ａ／Ｄ変換された画像データ（第１の画像データ）を入力とする周波数分解回路である。２０２は、周波数合成回路であり、ここから出力された画像データはメモリ１０６に記憶される。２２０は、信号処理回路１０４が使用する画像バッファ領域であり、図１のメモリ１０６内で確保される領域である。２０３〜２０５は、ローパスフィルタ回路（ＬＦＰ）である。２０６〜２０８は、ダウンサンプリング回路である。２０９〜２１１は、Ｒ／Ｇ１／Ｇ２／Ｂ（Ｒ成分、Ｇ１成分、Ｇ２成分、Ｂ成分）の画像データをＹ／Ｒ／Ｂ（Ｙ成分、Ｒ成分、Ｂ成分）の画像データ（第２の画像データ）に変換するフォーマット変換回路である。さらにフォーマット変換回路２０９〜２１１は偽色抑圧処理を行う。なお、画像バッファ領域２２０は記憶媒体の適用例となる構成であり、フォーマット変換回路２０９〜２１１は第１の変換手段の適用例となる構成である。
【００１６】
偽色抑圧処理は、例えば次のような方法で実現される。即ち、撮像素子１０２に結像された光学像の空間方向の相関により、画素毎に（Ｒ−Ｇ１）成分もしくは（Ｒ−Ｇ２）成分のうち、相関が高いほうが選択されて（Ｒ−Ｇａ１）成分とされる。またＧ１成分とＧ２成分を同じＧ成分とし、画素毎にこのＧ成分から補間されたＧｂ成分が生成され、（Ｒ−Ｇｂ）成分が生成される。さらに彩度によって、画素毎に（Ｒ−Ｇａ１）成分もしくは（Ｒ−Ｇｂ）成分が選択されてＣｒ成分とされる。Ｃｂ成分も同様にして生成される。これにより、画素毎に偽色が抑圧された色差信号であるＣｒ成分、Ｃｂ成分が生成される。なお、Ｃｒ成分およびＣｂ成分は、（Ｒ−Ｇａ１）成分と（Ｒ−Ｇｂ）成分を重み付け加算した値としても良いし、（Ｒ−Ｇａ１）成分の値をそのまま用いても良い。また、輝度信号であるＹ成分は、撮像素子１０２に結像された光学像の空間方向の相関に応じて補間されたＲ成分、Ｇ成分、Ｂ成分を用いて、例えば次の演算により生成される。
Ｙ＝３３Ｒ＋０．５９Ｇ＋０．１１Ｂ
【００１７】
フォーマット変換回路２０９〜２１１は、輝度信号であるＹ成分、色差信号であるＣｒ成分、Ｃｂ成分を基に、Ｙ成分としてＹ、Ｒ成分として（Ｃｒ＋Ｙ）、Ｂ成分として（Ｃｂ＋Ｙ）を生成し、Ｙ／Ｒ／Ｂの画像データを出力する。
【００１８】
２１２〜２１４は、ＲＢの解像度を落とすＲＢ間引き回路(Ｒ間引き回路＋Ｂ間引き回路)である。図４は、Ｒ間引き回路の構成を詳細に示す図である。図４において、４０１は水平方向のローパスフィルタ回路である。ここでローパスフィルタ回路４０１は、例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ-1）で実現することが可能である。４０２はローパスフィルタ回路４０１の有無を選択するセレクタ回路である。４０３は水平方向間引き回路である。後述するようにシステム制御回路１０７は間引きの位相として偶数位相か奇数位相かを選択し、水平方向間引き回路４０３は、選択された間引きの位相でＲ成分の画像データに対する間引き処理を行う。Ｂ間引き回路もＲ間引き回路と同様の構成である。また、後述するようにシステム制御回路１０７は、周波数帯域毎にローパスフィルタ回路４０１の使用の有無を選択する。なお、ＲＢ間引き回路２１２〜２１４は間引き手段の適用例となる構成である。
【００１９】
結果として、周波数分解回路２０１は、周波数帯域毎に帯域制限されたＹ成分とＲＢ成分との２プレーン（２面）から成るＹ／ＲＢの画像データを画像バッファ領域２２０に出力する（Ｙ／ＲＢ−２〜Ｙ／ＲＢ−４）。また、帯域制限されない画像データはベイヤー配列の画像データのまま出力される（Ｂａｙｅｒ−１）。
【００２０】
周波数合成回路２０２は、周波数帯域毎に倍率色収差補正回路２１５〜２１８により倍率色収差補正を行う。Ｂａｙｅｒ−１に対しては、倍率色収差補正回路２１５は、Ｒ補間やＢ補間を行った後に倍率色収差補正を行う。Ｙ／ＲＢ２〜４に対しては、倍率色収差補正回路２１６〜２１８は、図４に示すように、ＲＢ間引き回路２１２〜２１４で選択された間引きの位相に応じて、補間の位相を選択する。即ち、間引きの位相が偶数位相である場合、補間の位相も偶数位相が選択され、間引きの位相が奇数位相である場合、補間の位相も奇数位相が選択される。また、Ｙ／ＲＢ２〜４に対しては、倍率色収差補正回路２１６〜２１８は、Ｇ成分の代わりにＹ成分を基準にしてＲ成分、Ｂ成分の倍率色収差補正を行う。
【００２１】
Ｒ補間及びＢ補間において、本実施形態では、Ｒ成分及びＢ成分を補間する画素値を周辺画素の平均値で生成しているが、その他の従来から知られている技術を用いてもよい。例えば、Ｇ成分の高周波成分を用いて、Ｒ成分及びＢ成分の解像度を向上させるという技術が知られている。Ｇ成分をＹ成分に置き換えて当該技術を適用すれば、ＲＢ間引きでＲ成分及びＢ成分の水平解像度が落ちても、倍率色収差の補正時に解像度劣化を回復させることができる。さらにＢａｙｅｒ−１に対しても当該技術でＲ補間及びＢ補間を適用してもよい。
【００２２】
なお、倍率色収差補正は公知の方法を適用すればよい。例えば、不図示の補正データ記憶用メモリに、結像光学系１０１の状態（ズーム位置、フォーカス位置、絞り値等）および像高別に、Ｙ成分（あるいはＧ成分）の結像位置に対するＲ成分の結像位置のズレを記憶しておく。倍率色収差補正回路２１５〜２１８は、撮像素子１０２が映像信号を生成したときの結像光学系１０１の状態、および、補正対象とする着目画素の像高に対応する、着目画素におけるＲ成分の結像位置のズレ量を読み出す。そして、倍率色収差補正回路２１５〜２１８は、そのズレ量に対応する位置におけるＲ成分の値を、その位置の周辺画素におけるＲ成分の値から補間して求め、着目画素におけるＲ成分の値とする。これをＢ成分においても同様に行う。
【００２３】
ノイズ低減回路２１９は、Ｃｒ成分をフォーマット変換回路２０９〜２１１の逆変換により（Ｒ−Ｙ）で生成する。またノイズ低減回路２１９は、同様にＣｂ成分を（Ｂ−Ｙ）で生成する。ノイズ低減の処理自体は、輝度成分と色差成分とで別々に施される。そして、画素ごと、およびＹ／Ｃｒ／Ｃｂ成分ごとに、ノイズ低減が施された各周波数帯域のＹ／Ｃｒ／Ｃｂ成分のうち、被写体のエッジ情報などに応じていずれかの周波数帯域のＹ／Ｃｒ／Ｃｂ成分が選択され、出力画像として生成される。
【００２４】
図５は、ＲＢ間引き回路２１２〜２１４における間引き方法の選択処理を示すフローチャートである。ステップＳ１０１において、システム制御回路１０７は、ＲＢ間引き回路２１２〜２１４におけるローパスフィルタ回路４０１の使用の有無を選択する。ステップＳ１０２において、システム制御回路１０７は、ＲＢ間引き回路２１２〜２１４における間引き位相を選択する。ステップＳ１０３において、システム制御回路１０７は、ステップＳ１０２で選択した間引き位相に応じて、倍率色収差補正回路２１６〜２１８におけるＲ補間、Ｂ補間の位相を選択する。
【００２５】
以上説明したように、倍率色収差補正を行うためには、Ｒ成分およびＢ成分が必要であり、偽色抑圧処理を行うためには、Ｇ１成分およびＧ２成分を区別して用いる必要がある。そこで、本実施形態における画像処理装置は、Ｇ１成分およびＧ２成分を区別して用いる必要がある偽色抑圧処理をはじめに行いつつ、Ｒ／Ｇ１／Ｇ２／Ｂの画像データをＹ／Ｒ／Ｂの画像データへ変換し、画像バッファ領域２２０に記憶させる。これにより、複数の周波数帯域に分解した画像データを、Ｒ／Ｇ１／Ｇ２／Ｂの画像データとした場合に比較して、画像バッファ領域２２０のメモリ容量を削減することができる。ここで、画像バッファ領域２２０に記憶させる画像データを、Ｙ／Ｃｒ／Ｃｂの画像データとせずにＹ／Ｒ／Ｂの画像データとしたのは、後段でＲ成分およびＢ成分を用いて倍率色収差補正を行うためである。さらに、本実施形態では、ＲＢ間引き回路２１２〜２１４を用いることにより、画像バッファ領域２２０に必要とされるメモリ容量の更なる削減を実現している。
【００２６】
次に、本発明の第２の実施形態について説明する。本実施形態に係る画像処理装置の構成は、図１に示した構成と同様であるが、信号処理回路１０４の詳細な構成が第１の実施形態と異なる。
【００２７】
図６は、第２の実施形態における信号処理回路１０４の構成を詳細に示す図である。図６において、周波数合成回路３０２は、図３の周波数合成回路２０２と同様の構成である。また、図６の画像バッファ領域３１８は、図３の画像バッファ領域２２０と同様の構成である。３０１は周波数分解回路である。３０３はローパスフィルタ回路であり、３０６はダウンサンプリング回路であり、それぞれは、図３のローパスフィルタ回路２０３〜２０５、ダウンサンプリング回路２０６〜２０８と同様の構成である。また、３０９はフォーマット変換回路であり、図３のフォーマット変換回路２０９〜２１１と同様の回路である。但し、図３に示すように、第１の実施形態では３つの回路が必要であったものが、第２の実施形態では図６に示すように１つの回路でまかなえ、回路規模が小さい。
【００２８】
ローパスフィルタ回路３０４、３０５はローパスフィルタ回路３０３と同様の回路である。但し、ローパスフィルタ回路３０３は扱う画像データのフォーマットがＲ／Ｇ１／Ｇ２／Ｂの４プレーンに対し、ローパスフィルタ回路３０４、３０５は扱う画像データのフォーマットがＹ／Ｒ／Ｂの３プレーンであり、回路規模が小さい。また同様に、ダウンサンプリング回路３０７、３０８は、ダウンサンプリング回路３０６と同様の回路であるが、扱うプレーン数が４プレーンと３プレーンとで異なるので、回路規模が小さい。３１０〜３１２はＲＢ間引き回路であり、図３のＲＢ間引き回路２１２〜２１４と同様の回路である。本実施形態においては、周波数帯域毎にＲＢ間引き回路３１０〜２１３が存在するので、図３と同様に、周波数帯域毎にＲ成分及びＢ成分のフィルタリングや間引き位相を選択することができる。
【００２９】
ここで、本発明の第１、第２の実施形態との比較例について説明する。本比較例に係る画像処理装置の構成は、図１に示した構成と同様であるが、信号処理回路１０４の詳細な構成が第１の実施形態と異なる。
【００３０】
図７は、本比較例に係る画像処理装置における信号処理回路１０４の構成を詳細に示す図である。２００１は周波数分解回路である。２００３〜２００５は水平方向と垂直方向とのローパスフィルタ回路である。ここでローパスフィルタ回路２００３〜２００５は水平方向及び垂直方向のいずれも、例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ-1）で実現することが可能である。２００６〜２００８は、水平方向と垂直方向とのダウンサンプリング回路である。ダウンサンプリングされる位相は、水平方向は左右２画素のうちの左側の画素、垂直方向は上下２画素のうちの上側の画素とする。２０１４は画像バッファ領域であり、ＤＲＡＭ等で構成される。周波数分解回路２００１は、ベイヤー配列の画像データを入力とし、帯域制限されていない画像データ（Ｂａｙｅｒ−１）と、第３の画像データとしての、帯域制限されている赤成分、緑成分、青成分の画像データ（Ｒ／Ｇ１／Ｇ２／Ｂ−２〜Ｒ／Ｇ１／Ｇ２／Ｂ−４）とを画像バッファ領域２０１４に出力する。なお、周波数分解回路２００１は第２の変換手段の適用例となる構成である。
【００３１】
Ｒ／Ｇ１／Ｇ２／Ｂ−２の画像データは、ローパスフィルタ回路２００３により水平方向及び垂直方向に１／２に帯域制限され、画素数もダウンサンプリング回路２００６により水平方向及び垂直方向に１／２に間引かれている。入力される画像データはベイヤー配列であり、Ｒ、Ｇ１、Ｇ２、Ｂの各色フィルタ成分が水平方向及び垂直方向に元々１／２の解像度なので、ダウンサンプリング後の画像データはＲ成分、Ｇ１成分、Ｇ２成分、Ｂ成分の１プレーン毎に記憶される。
【００３２】
Ｒ／Ｇ１／Ｇ２／Ｂ−３の画像データは、さらにローパスフィルタ回路２００４により水平方向及び垂直方向に１／２に帯域制限され、画素数もダウンサンプリング回路２００７により水平方向及び垂直方向に１／２に間引かれている。
【００３３】
Ｒ／Ｇ１／Ｇ２／Ｂ−４の画像データは、さらにローパスフィルタ回路２００５により水平方向及び垂直方向に１／２に帯域制限され、画素数もダウンサンプリング回路２００８により水平方向及び垂直方向に１／２に間引かれている。
【００３４】
２００２は周波数合成回路である。２００９〜２０１２は倍率色収差補正回路である。２０１３は偽色抑圧及びノイズ低減回路である。周波数合成回路２００２は、周波数帯域毎に倍率色収差補正回路２００９〜２０１２により倍率色収差補正を行う。Ｂａｙｅｒ−１に対しては、倍率色収差補正回路２００９は、Ｒ補間やＢ補間を行った後に倍率色収差補正を行う。Ｒ／Ｇ１／Ｇ２／Ｂ２〜４に対しては、Ｒ成分とＢ成分との同時化がすでに終了しているので、Ｒ補間及びＢ補間の処理はスキップされる。この後の偽色抑圧処理でＧ１とＧ２との差分情報が必要なので、Ｇ成分はＧ１成分とＧ２成分とで偽色抑圧及びノイズ低減回路２０１３に出力される。
【００３５】
偽色抑圧及びノイズ低減回路２０１３は、色差成分の偽色抑圧処理を行う。ここでは、周波数成分毎に色成分が生成されるが、この段階で、周波数成分毎にエッジ成分が検出され、ノイズ低減処理が行われる。生成された各色成分はその後合成され、Ｃｒ成分、Ｃｂ成分の色差信号として出力される。Ｃｒ成分、Ｃｂ成分の色差信号についてはそれぞれ、水平方向の解像度が１／２に落とされて１プレーンの色差信号ＣｒＣｂとして出力される。また、輝度成分については特許文献３に開示される方法でノイズ低減処理が行われることにより、１プレーンの輝度信号Ｙとして出力される。
【００３６】
本比較例に係る画像処理装置においては、ＤＲＡＭ等で構成される画像バッファ領域２０１４に帯域制限された画像データをＲ／Ｇ１／Ｇ２／Ｂの４プレーンで記憶する必要があり、さらに、それら４プレーンの画像データを周波数帯域毎に記憶する必要がある。そのため、連写撮影等、要求される処理速度に高速性が求められる場合には単位時間当たりのメモリアクセス量が増大し、メモリアクセス帯域の上限に達すると処理パフォーマンスの低下を招く。また必要なメモリ容量が増加し、画像処理装置のコストを増大させる。
【００３７】
これに対し、第１、第２の実施形態においては、周波数帯域毎に帯域制限された、Ｙ成分とＲＢ成分との２プレーンから成るＹ／ＲＢの画像データが画像バッファ領域に出力される。従って、必要なメモリ容量を小さくすることができ、コストダウンを図ることが可能である。また、単位時間当たりのメモリアクセス量を減らすこともできるので、処理パフォーマンスの低下を防ぐことができる。
【００３８】
以上のように、第１、第２の実施形態によれば、処理パフォーマンスの低下やコスト増を招くことなく倍率色収差補正処理及びノイズ低減処理を行うことが可能となる。特に、第２の実施形態によれば、小さい回路規模で実現することができる。
【００３９】
次に、本発明の第３の実施形態について説明する。本実施形態に係る画像処理装置の構成は、図１に示した構成と同様であるが、信号処理回路１０４の詳細な構成が第１の実施形態と異なる。
【００４０】
本実施形態における信号処理回路１０４は、第１又は第２の実施形態における信号処理回路１０４の動作モードと、上記比較例における信号処理回路１０４の動作モードとを有している。そして、システム制御回路１０７は必要なメモリ帯域を判断して２つの動作モードを切り替える。
【００４１】
上述したとおり、第１又は第２の実施形態によれば、処理パフォーマンスの低下やコスト増を招くことなく倍率色収差補正処理及びノイズ低減処理を行うことができる（ハイパフォーマンスモード（第１のモード））。また、比較例によれば、画像バッファ領域で色成分解像度を落とさないのでより高画質な画像データを生成することができる（高画質モード（第２のモード））。
【００４２】
以下では、メモリ帯域の制限でパフォーマンスが低下してしまうような場合を、例えば１０００万画素程度の静止画を秒間１０コマに至るような高速連写で撮影するような場合を例に挙げて説明するが、本発明はそのような場合に限定されるものではない。例えば、ハイビジョン動画記録時やその他の処理が並列している場合等、その他の原因で使用できるメモリ帯域が限定される場合でも適応可能である。
【００４３】
図８は、第３の実施形態におけるシステム制御回路１０７の処理を示すフローチャートである。ステップＳ２０１において、システム制御回路１０７は、高速連写モードであるか否かを判断する。高速連写モードであれば、システム制御回路１０７はハイパフォーマンスモードを選択して、秒間１０コマ等、必要なパフォーマンスが確保できるようにする。一方、高速連写モードでなければ、ステップＳ２０３において、システム制御回路１０７は高画質モードを選択する。
【００４４】
本実施形態によれば、倍率色収差補正処理及びノイズ低減処理を行う際に、画質及びパフォーマンスが最適になるように動作モードを選択することができる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４６】
１０４：信号処理回路、１０７：システム制御回路、２０１、３０１：周波数分解回路、２０２、３０２：周波数合成回路、２２０、３１８：画像バッファ領域、２０３〜２０５、３０３〜３０５：ローパスフィルタ回路、２０６〜２０８、３０６〜３０８：ダウンサンプリング回路、２０９〜２１１、３０９：フォーマット変換回路、２１２〜２１４、３１０〜３１２：ＲＢ間引き回路、２１５〜２１８、３１３〜３１６：倍率色収差補正回路、２１９、３１７：ノイズ低減回路
【技術分野】
【０００１】
本発明は、画像データの倍率色収差補正を行う技術に関するものである。
【背景技術】
【０００２】
従来、結像光学系に起因する倍率色収差を補正する技術が知られている（例えば、特許文献１参照）。特許文献１に開示される技術は、倍率色収差を補正するために、先ずベイヤー配列のカラーフィルタを持つ撮像素子で撮像された映像信号を、Ｒ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分に色分離する。そして、Ｒ成分が存在しない画素は隣接するＲ成分の画素から画素値を補間することで補間Ｒ成分が生成され、Ｂ成分が存在しない画素は隣接するＢ成分の画素から画素値を補間することで補間Ｂ成分が生成される。その後、倍率色収差補正回路は、補間Ｒ成分の各画素値をそれぞれがＧ成分を基準としたときに本来あるべき位置の画素値と置き換えることで倍率色収差を補正する。また、本来あるべき位置の画素値を置き換える先の画素の画素位置が１画素未満のずれを持っている場合は、周辺のＲ成分の画素値から１画素未満のずれを補間することで置き換える画素値が計算される。補間Ｂ成分についても同様の置き換えを行い、Ｇ成分に対して補間Ｒ成分と補間Ｂ成分との画素位置を補正することにより、倍率色収差が補正される。
【０００３】
倍率色収差が補正されたＲ成分、Ｂ成分、Ｇ成分はその後、ガンマ補正やアパーチャ補正等の画質調整処理が行われた後、輝度成分と色差成分とに変換される。色差成分が生成される際は、ナイキスト周波数付近のエイリアシングが偽色信号として画像に表れないように偽色抑圧処理が施される。
【０００４】
また従来から、画像信号を複数の周波数帯域に分割して、周波数帯域毎に処理された画像信号を再び周波数合成することでノイズを低減する技術が知られている（例えば、特許文献２参照）。特許文献２に開示される技術は、ステップ１〜ステップｎのｎ個の周波数帯域毎にエッジ成分を保存しながらノイズ成分を低減することにより、広帯域なエッジ成分を保存しつつノイズ成分だけを低減している。
【０００５】
以上の第１、第２の特許文献に開示される技術を適用し、倍率色収差補正を行ってガンマ補正やアパーチャ補正等の画質調整処理を行った後、偽色抑圧処理を行いつつノイズ低減処理を行って輝度成分と色差成分とを出力することが考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０１５９４６号公報
【特許文献２】特開２００８−０１５７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のように想定した技術では、ＤＲＡＭ等で構成されるメモリに帯域制限された画像信号を多数のプレーンで記憶する必要があり、さらに各プレーンの画像信号を周波数成分毎に記憶する必要がある。そのため、連写撮影等、高速性が求められる処理の場合には単位時間当たりのメモリアクセス量が増大し、メモリアクセス帯域の上限に達すると処理パフォーマンスの低下を招く。また、必要なメモリ容量が増加することで、画像処理装置のコストを増大させることにもなる。
【０００８】
そこで、本発明の目的は、処理パフォーマンスの低下やコストの増加を招くことなく、倍率色収差補正及びノイズ低減を行うことにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する第１の変換手段と、前記第２の画像データを記憶媒体に記憶する第１の記憶手段と、前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、処理パフォーマンスの低下やコストの増加を招くことなく、倍率色収差補正及びノイズ低減を行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置の構成を示す図である。
【図２】ベイヤー配列のカラーフィルタの構成を示す図である。
【図３】第１の実施形態における信号処理回路の構成を詳細に示す図である。
【図４】Ｒ間引き回路の構成を詳細に示す図である。
【図５】ＲＢ間引き回路における間引き方法の選択処理を示すフローチャートである。
【図６】第２の実施形態における信号処理回路の構成を詳細に示す図である。
【図７】比較例における信号処理回路の構成を詳細に示す図である。
【図８】第３の実施形態におけるシステム制御回路の処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す図である。図１において、１０１は、レンズや絞り等からなる結像光学系であり、フォーカス調節や露出調節を行う。１０２は、光学像を電気信号に変換するＣＣＤ等の撮像素子である。１０３は、撮像素子１０２からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換回路である。１０４は、Ａ／Ｄ変換回路１０３から出力された画像データ（デジタル画像信号）に対して結像光学系の収差補正やノイズ低減等の処理を施す信号処理回路である。１０５は、メモリ（ＤＲＡＭ）１０６との間で画像データの書き込み／読み出しを行うメモリ制御回路である。１０７は、画像処理装置全体の動作を制御するシステム制御回路である。
【００１４】
撮像素子１０２の結像面には、画素毎に図２に示すようなベイヤー配列のカラーフィルタが配置され、各画素はカラーフィルタの色に応じた画素値を出力する。なお、この図２では、Ｒフィルタの水平方向であってＢフィルタの垂直方向に位置するＧフィルタをＧ１フィルタ、Ｒフィルタの垂直方向であってＢフィルタの水平方向に位置するＧフィルタをＧ２フィルタとする。
【００１５】
図３は、第１の実施形態における信号処理回路１０４の構成を詳細に示す図である。図３において、２０１は、Ａ／Ｄ変換された画像データ（第１の画像データ）を入力とする周波数分解回路である。２０２は、周波数合成回路であり、ここから出力された画像データはメモリ１０６に記憶される。２２０は、信号処理回路１０４が使用する画像バッファ領域であり、図１のメモリ１０６内で確保される領域である。２０３〜２０５は、ローパスフィルタ回路（ＬＦＰ）である。２０６〜２０８は、ダウンサンプリング回路である。２０９〜２１１は、Ｒ／Ｇ１／Ｇ２／Ｂ（Ｒ成分、Ｇ１成分、Ｇ２成分、Ｂ成分）の画像データをＹ／Ｒ／Ｂ（Ｙ成分、Ｒ成分、Ｂ成分）の画像データ（第２の画像データ）に変換するフォーマット変換回路である。さらにフォーマット変換回路２０９〜２１１は偽色抑圧処理を行う。なお、画像バッファ領域２２０は記憶媒体の適用例となる構成であり、フォーマット変換回路２０９〜２１１は第１の変換手段の適用例となる構成である。
【００１６】
偽色抑圧処理は、例えば次のような方法で実現される。即ち、撮像素子１０２に結像された光学像の空間方向の相関により、画素毎に（Ｒ−Ｇ１）成分もしくは（Ｒ−Ｇ２）成分のうち、相関が高いほうが選択されて（Ｒ−Ｇａ１）成分とされる。またＧ１成分とＧ２成分を同じＧ成分とし、画素毎にこのＧ成分から補間されたＧｂ成分が生成され、（Ｒ−Ｇｂ）成分が生成される。さらに彩度によって、画素毎に（Ｒ−Ｇａ１）成分もしくは（Ｒ−Ｇｂ）成分が選択されてＣｒ成分とされる。Ｃｂ成分も同様にして生成される。これにより、画素毎に偽色が抑圧された色差信号であるＣｒ成分、Ｃｂ成分が生成される。なお、Ｃｒ成分およびＣｂ成分は、（Ｒ−Ｇａ１）成分と（Ｒ−Ｇｂ）成分を重み付け加算した値としても良いし、（Ｒ−Ｇａ１）成分の値をそのまま用いても良い。また、輝度信号であるＹ成分は、撮像素子１０２に結像された光学像の空間方向の相関に応じて補間されたＲ成分、Ｇ成分、Ｂ成分を用いて、例えば次の演算により生成される。
Ｙ＝３３Ｒ＋０．５９Ｇ＋０．１１Ｂ
【００１７】
フォーマット変換回路２０９〜２１１は、輝度信号であるＹ成分、色差信号であるＣｒ成分、Ｃｂ成分を基に、Ｙ成分としてＹ、Ｒ成分として（Ｃｒ＋Ｙ）、Ｂ成分として（Ｃｂ＋Ｙ）を生成し、Ｙ／Ｒ／Ｂの画像データを出力する。
【００１８】
２１２〜２１４は、ＲＢの解像度を落とすＲＢ間引き回路(Ｒ間引き回路＋Ｂ間引き回路)である。図４は、Ｒ間引き回路の構成を詳細に示す図である。図４において、４０１は水平方向のローパスフィルタ回路である。ここでローパスフィルタ回路４０１は、例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ-1）で実現することが可能である。４０２はローパスフィルタ回路４０１の有無を選択するセレクタ回路である。４０３は水平方向間引き回路である。後述するようにシステム制御回路１０７は間引きの位相として偶数位相か奇数位相かを選択し、水平方向間引き回路４０３は、選択された間引きの位相でＲ成分の画像データに対する間引き処理を行う。Ｂ間引き回路もＲ間引き回路と同様の構成である。また、後述するようにシステム制御回路１０７は、周波数帯域毎にローパスフィルタ回路４０１の使用の有無を選択する。なお、ＲＢ間引き回路２１２〜２１４は間引き手段の適用例となる構成である。
【００１９】
結果として、周波数分解回路２０１は、周波数帯域毎に帯域制限されたＹ成分とＲＢ成分との２プレーン（２面）から成るＹ／ＲＢの画像データを画像バッファ領域２２０に出力する（Ｙ／ＲＢ−２〜Ｙ／ＲＢ−４）。また、帯域制限されない画像データはベイヤー配列の画像データのまま出力される（Ｂａｙｅｒ−１）。
【００２０】
周波数合成回路２０２は、周波数帯域毎に倍率色収差補正回路２１５〜２１８により倍率色収差補正を行う。Ｂａｙｅｒ−１に対しては、倍率色収差補正回路２１５は、Ｒ補間やＢ補間を行った後に倍率色収差補正を行う。Ｙ／ＲＢ２〜４に対しては、倍率色収差補正回路２１６〜２１８は、図４に示すように、ＲＢ間引き回路２１２〜２１４で選択された間引きの位相に応じて、補間の位相を選択する。即ち、間引きの位相が偶数位相である場合、補間の位相も偶数位相が選択され、間引きの位相が奇数位相である場合、補間の位相も奇数位相が選択される。また、Ｙ／ＲＢ２〜４に対しては、倍率色収差補正回路２１６〜２１８は、Ｇ成分の代わりにＹ成分を基準にしてＲ成分、Ｂ成分の倍率色収差補正を行う。
【００２１】
Ｒ補間及びＢ補間において、本実施形態では、Ｒ成分及びＢ成分を補間する画素値を周辺画素の平均値で生成しているが、その他の従来から知られている技術を用いてもよい。例えば、Ｇ成分の高周波成分を用いて、Ｒ成分及びＢ成分の解像度を向上させるという技術が知られている。Ｇ成分をＹ成分に置き換えて当該技術を適用すれば、ＲＢ間引きでＲ成分及びＢ成分の水平解像度が落ちても、倍率色収差の補正時に解像度劣化を回復させることができる。さらにＢａｙｅｒ−１に対しても当該技術でＲ補間及びＢ補間を適用してもよい。
【００２２】
なお、倍率色収差補正は公知の方法を適用すればよい。例えば、不図示の補正データ記憶用メモリに、結像光学系１０１の状態（ズーム位置、フォーカス位置、絞り値等）および像高別に、Ｙ成分（あるいはＧ成分）の結像位置に対するＲ成分の結像位置のズレを記憶しておく。倍率色収差補正回路２１５〜２１８は、撮像素子１０２が映像信号を生成したときの結像光学系１０１の状態、および、補正対象とする着目画素の像高に対応する、着目画素におけるＲ成分の結像位置のズレ量を読み出す。そして、倍率色収差補正回路２１５〜２１８は、そのズレ量に対応する位置におけるＲ成分の値を、その位置の周辺画素におけるＲ成分の値から補間して求め、着目画素におけるＲ成分の値とする。これをＢ成分においても同様に行う。
【００２３】
ノイズ低減回路２１９は、Ｃｒ成分をフォーマット変換回路２０９〜２１１の逆変換により（Ｒ−Ｙ）で生成する。またノイズ低減回路２１９は、同様にＣｂ成分を（Ｂ−Ｙ）で生成する。ノイズ低減の処理自体は、輝度成分と色差成分とで別々に施される。そして、画素ごと、およびＹ／Ｃｒ／Ｃｂ成分ごとに、ノイズ低減が施された各周波数帯域のＹ／Ｃｒ／Ｃｂ成分のうち、被写体のエッジ情報などに応じていずれかの周波数帯域のＹ／Ｃｒ／Ｃｂ成分が選択され、出力画像として生成される。
【００２４】
図５は、ＲＢ間引き回路２１２〜２１４における間引き方法の選択処理を示すフローチャートである。ステップＳ１０１において、システム制御回路１０７は、ＲＢ間引き回路２１２〜２１４におけるローパスフィルタ回路４０１の使用の有無を選択する。ステップＳ１０２において、システム制御回路１０７は、ＲＢ間引き回路２１２〜２１４における間引き位相を選択する。ステップＳ１０３において、システム制御回路１０７は、ステップＳ１０２で選択した間引き位相に応じて、倍率色収差補正回路２１６〜２１８におけるＲ補間、Ｂ補間の位相を選択する。
【００２５】
以上説明したように、倍率色収差補正を行うためには、Ｒ成分およびＢ成分が必要であり、偽色抑圧処理を行うためには、Ｇ１成分およびＧ２成分を区別して用いる必要がある。そこで、本実施形態における画像処理装置は、Ｇ１成分およびＧ２成分を区別して用いる必要がある偽色抑圧処理をはじめに行いつつ、Ｒ／Ｇ１／Ｇ２／Ｂの画像データをＹ／Ｒ／Ｂの画像データへ変換し、画像バッファ領域２２０に記憶させる。これにより、複数の周波数帯域に分解した画像データを、Ｒ／Ｇ１／Ｇ２／Ｂの画像データとした場合に比較して、画像バッファ領域２２０のメモリ容量を削減することができる。ここで、画像バッファ領域２２０に記憶させる画像データを、Ｙ／Ｃｒ／Ｃｂの画像データとせずにＹ／Ｒ／Ｂの画像データとしたのは、後段でＲ成分およびＢ成分を用いて倍率色収差補正を行うためである。さらに、本実施形態では、ＲＢ間引き回路２１２〜２１４を用いることにより、画像バッファ領域２２０に必要とされるメモリ容量の更なる削減を実現している。
【００２６】
次に、本発明の第２の実施形態について説明する。本実施形態に係る画像処理装置の構成は、図１に示した構成と同様であるが、信号処理回路１０４の詳細な構成が第１の実施形態と異なる。
【００２７】
図６は、第２の実施形態における信号処理回路１０４の構成を詳細に示す図である。図６において、周波数合成回路３０２は、図３の周波数合成回路２０２と同様の構成である。また、図６の画像バッファ領域３１８は、図３の画像バッファ領域２２０と同様の構成である。３０１は周波数分解回路である。３０３はローパスフィルタ回路であり、３０６はダウンサンプリング回路であり、それぞれは、図３のローパスフィルタ回路２０３〜２０５、ダウンサンプリング回路２０６〜２０８と同様の構成である。また、３０９はフォーマット変換回路であり、図３のフォーマット変換回路２０９〜２１１と同様の回路である。但し、図３に示すように、第１の実施形態では３つの回路が必要であったものが、第２の実施形態では図６に示すように１つの回路でまかなえ、回路規模が小さい。
【００２８】
ローパスフィルタ回路３０４、３０５はローパスフィルタ回路３０３と同様の回路である。但し、ローパスフィルタ回路３０３は扱う画像データのフォーマットがＲ／Ｇ１／Ｇ２／Ｂの４プレーンに対し、ローパスフィルタ回路３０４、３０５は扱う画像データのフォーマットがＹ／Ｒ／Ｂの３プレーンであり、回路規模が小さい。また同様に、ダウンサンプリング回路３０７、３０８は、ダウンサンプリング回路３０６と同様の回路であるが、扱うプレーン数が４プレーンと３プレーンとで異なるので、回路規模が小さい。３１０〜３１２はＲＢ間引き回路であり、図３のＲＢ間引き回路２１２〜２１４と同様の回路である。本実施形態においては、周波数帯域毎にＲＢ間引き回路３１０〜２１３が存在するので、図３と同様に、周波数帯域毎にＲ成分及びＢ成分のフィルタリングや間引き位相を選択することができる。
【００２９】
ここで、本発明の第１、第２の実施形態との比較例について説明する。本比較例に係る画像処理装置の構成は、図１に示した構成と同様であるが、信号処理回路１０４の詳細な構成が第１の実施形態と異なる。
【００３０】
図７は、本比較例に係る画像処理装置における信号処理回路１０４の構成を詳細に示す図である。２００１は周波数分解回路である。２００３〜２００５は水平方向と垂直方向とのローパスフィルタ回路である。ここでローパスフィルタ回路２００３〜２００５は水平方向及び垂直方向のいずれも、例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ-1）で実現することが可能である。２００６〜２００８は、水平方向と垂直方向とのダウンサンプリング回路である。ダウンサンプリングされる位相は、水平方向は左右２画素のうちの左側の画素、垂直方向は上下２画素のうちの上側の画素とする。２０１４は画像バッファ領域であり、ＤＲＡＭ等で構成される。周波数分解回路２００１は、ベイヤー配列の画像データを入力とし、帯域制限されていない画像データ（Ｂａｙｅｒ−１）と、第３の画像データとしての、帯域制限されている赤成分、緑成分、青成分の画像データ（Ｒ／Ｇ１／Ｇ２／Ｂ−２〜Ｒ／Ｇ１／Ｇ２／Ｂ−４）とを画像バッファ領域２０１４に出力する。なお、周波数分解回路２００１は第２の変換手段の適用例となる構成である。
【００３１】
Ｒ／Ｇ１／Ｇ２／Ｂ−２の画像データは、ローパスフィルタ回路２００３により水平方向及び垂直方向に１／２に帯域制限され、画素数もダウンサンプリング回路２００６により水平方向及び垂直方向に１／２に間引かれている。入力される画像データはベイヤー配列であり、Ｒ、Ｇ１、Ｇ２、Ｂの各色フィルタ成分が水平方向及び垂直方向に元々１／２の解像度なので、ダウンサンプリング後の画像データはＲ成分、Ｇ１成分、Ｇ２成分、Ｂ成分の１プレーン毎に記憶される。
【００３２】
Ｒ／Ｇ１／Ｇ２／Ｂ−３の画像データは、さらにローパスフィルタ回路２００４により水平方向及び垂直方向に１／２に帯域制限され、画素数もダウンサンプリング回路２００７により水平方向及び垂直方向に１／２に間引かれている。
【００３３】
Ｒ／Ｇ１／Ｇ２／Ｂ−４の画像データは、さらにローパスフィルタ回路２００５により水平方向及び垂直方向に１／２に帯域制限され、画素数もダウンサンプリング回路２００８により水平方向及び垂直方向に１／２に間引かれている。
【００３４】
２００２は周波数合成回路である。２００９〜２０１２は倍率色収差補正回路である。２０１３は偽色抑圧及びノイズ低減回路である。周波数合成回路２００２は、周波数帯域毎に倍率色収差補正回路２００９〜２０１２により倍率色収差補正を行う。Ｂａｙｅｒ−１に対しては、倍率色収差補正回路２００９は、Ｒ補間やＢ補間を行った後に倍率色収差補正を行う。Ｒ／Ｇ１／Ｇ２／Ｂ２〜４に対しては、Ｒ成分とＢ成分との同時化がすでに終了しているので、Ｒ補間及びＢ補間の処理はスキップされる。この後の偽色抑圧処理でＧ１とＧ２との差分情報が必要なので、Ｇ成分はＧ１成分とＧ２成分とで偽色抑圧及びノイズ低減回路２０１３に出力される。
【００３５】
偽色抑圧及びノイズ低減回路２０１３は、色差成分の偽色抑圧処理を行う。ここでは、周波数成分毎に色成分が生成されるが、この段階で、周波数成分毎にエッジ成分が検出され、ノイズ低減処理が行われる。生成された各色成分はその後合成され、Ｃｒ成分、Ｃｂ成分の色差信号として出力される。Ｃｒ成分、Ｃｂ成分の色差信号についてはそれぞれ、水平方向の解像度が１／２に落とされて１プレーンの色差信号ＣｒＣｂとして出力される。また、輝度成分については特許文献３に開示される方法でノイズ低減処理が行われることにより、１プレーンの輝度信号Ｙとして出力される。
【００３６】
本比較例に係る画像処理装置においては、ＤＲＡＭ等で構成される画像バッファ領域２０１４に帯域制限された画像データをＲ／Ｇ１／Ｇ２／Ｂの４プレーンで記憶する必要があり、さらに、それら４プレーンの画像データを周波数帯域毎に記憶する必要がある。そのため、連写撮影等、要求される処理速度に高速性が求められる場合には単位時間当たりのメモリアクセス量が増大し、メモリアクセス帯域の上限に達すると処理パフォーマンスの低下を招く。また必要なメモリ容量が増加し、画像処理装置のコストを増大させる。
【００３７】
これに対し、第１、第２の実施形態においては、周波数帯域毎に帯域制限された、Ｙ成分とＲＢ成分との２プレーンから成るＹ／ＲＢの画像データが画像バッファ領域に出力される。従って、必要なメモリ容量を小さくすることができ、コストダウンを図ることが可能である。また、単位時間当たりのメモリアクセス量を減らすこともできるので、処理パフォーマンスの低下を防ぐことができる。
【００３８】
以上のように、第１、第２の実施形態によれば、処理パフォーマンスの低下やコスト増を招くことなく倍率色収差補正処理及びノイズ低減処理を行うことが可能となる。特に、第２の実施形態によれば、小さい回路規模で実現することができる。
【００３９】
次に、本発明の第３の実施形態について説明する。本実施形態に係る画像処理装置の構成は、図１に示した構成と同様であるが、信号処理回路１０４の詳細な構成が第１の実施形態と異なる。
【００４０】
本実施形態における信号処理回路１０４は、第１又は第２の実施形態における信号処理回路１０４の動作モードと、上記比較例における信号処理回路１０４の動作モードとを有している。そして、システム制御回路１０７は必要なメモリ帯域を判断して２つの動作モードを切り替える。
【００４１】
上述したとおり、第１又は第２の実施形態によれば、処理パフォーマンスの低下やコスト増を招くことなく倍率色収差補正処理及びノイズ低減処理を行うことができる（ハイパフォーマンスモード（第１のモード））。また、比較例によれば、画像バッファ領域で色成分解像度を落とさないのでより高画質な画像データを生成することができる（高画質モード（第２のモード））。
【００４２】
以下では、メモリ帯域の制限でパフォーマンスが低下してしまうような場合を、例えば１０００万画素程度の静止画を秒間１０コマに至るような高速連写で撮影するような場合を例に挙げて説明するが、本発明はそのような場合に限定されるものではない。例えば、ハイビジョン動画記録時やその他の処理が並列している場合等、その他の原因で使用できるメモリ帯域が限定される場合でも適応可能である。
【００４３】
図８は、第３の実施形態におけるシステム制御回路１０７の処理を示すフローチャートである。ステップＳ２０１において、システム制御回路１０７は、高速連写モードであるか否かを判断する。高速連写モードであれば、システム制御回路１０７はハイパフォーマンスモードを選択して、秒間１０コマ等、必要なパフォーマンスが確保できるようにする。一方、高速連写モードでなければ、ステップＳ２０３において、システム制御回路１０７は高画質モードを選択する。
【００４４】
本実施形態によれば、倍率色収差補正処理及びノイズ低減処理を行う際に、画質及びパフォーマンスが最適になるように動作モードを選択することができる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４６】
１０４：信号処理回路、１０７：システム制御回路、２０１、３０１：周波数分解回路、２０２、３０２：周波数合成回路、２２０、３１８：画像バッファ領域、２０３〜２０５、３０３〜３０５：ローパスフィルタ回路、２０６〜２０８、３０６〜３０８：ダウンサンプリング回路、２０９〜２１１、３０９：フォーマット変換回路、２１２〜２１４、３１０〜３１２：ＲＢ間引き回路、２１５〜２１８、３１３〜３１６：倍率色収差補正回路、２１９、３１７：ノイズ低減回路
【特許請求の範囲】
【請求項１】
Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する第１の変換手段と、
前記第２の画像データを記憶媒体に記憶する第１の記憶手段と、
前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第２の画像データのＲおよびＢの色成分を間引いて、前記第２の画像データのＲおよびＢの色成分を輝度成分より低い解像度とする間引き手段を更に有し、
前記第１の記憶手段は、前記間引き手段によりＲおよびＢの色成分が間引かれた前記第２の画像データを前記記憶媒体に記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記間引き手段は、前記第２の画像データのＲおよびＢの色成分を水平方向に１／２に間引くことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記第２の画像データのＲおよびＢの色成分の解像度を輝度成分と同じ解像度にした後、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行うことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記第１の変換手段は、複数の周波数帯域毎に前記第２の画像データを出力し、前記補正手段は、前記複数の周波数帯域毎の前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行うことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の画像データをＲ、Ｇ１、Ｇ２、およびＢの色成分から成る第３の画像データに変換する第２の変換手段と、
前記第３の画像データを前記記憶媒体に記憶する第２の記憶手段とを更に有し、
前記補正手段は、前記記憶媒体から前記第２の画像データを読み出して倍率色収差補正を行う第１のモードと、前記記憶媒体から前記第３の画像データを読み出して倍率色収差補正を行う第２のモードとを切り替えて実行することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記補正手段は、要求される処理速度に応じて、前記第１のモードと前記第２のモードとを切り替えて実行することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する変換ステップと、
前記第２の画像データを記憶媒体に記憶する記憶ステップと、
前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正ステップとを有することを特徴とする画像処理方法。
【請求項９】
Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する変換ステップと、
前記第２の画像データを記憶媒体に記憶する記憶ステップと、
前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する第１の変換手段と、
前記第２の画像データを記憶媒体に記憶する第１の記憶手段と、
前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第２の画像データのＲおよびＢの色成分を間引いて、前記第２の画像データのＲおよびＢの色成分を輝度成分より低い解像度とする間引き手段を更に有し、
前記第１の記憶手段は、前記間引き手段によりＲおよびＢの色成分が間引かれた前記第２の画像データを前記記憶媒体に記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記間引き手段は、前記第２の画像データのＲおよびＢの色成分を水平方向に１／２に間引くことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記第２の画像データのＲおよびＢの色成分の解像度を輝度成分と同じ解像度にした後、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行うことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記第１の変換手段は、複数の周波数帯域毎に前記第２の画像データを出力し、前記補正手段は、前記複数の周波数帯域毎の前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行うことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の画像データをＲ、Ｇ１、Ｇ２、およびＢの色成分から成る第３の画像データに変換する第２の変換手段と、
前記第３の画像データを前記記憶媒体に記憶する第２の記憶手段とを更に有し、
前記補正手段は、前記記憶媒体から前記第２の画像データを読み出して倍率色収差補正を行う第１のモードと、前記記憶媒体から前記第３の画像データを読み出して倍率色収差補正を行う第２のモードとを切り替えて実行することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記補正手段は、要求される処理速度に応じて、前記第１のモードと前記第２のモードとを切り替えて実行することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する変換ステップと、
前記第２の画像データを記憶媒体に記憶する記憶ステップと、
前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正ステップとを有することを特徴とする画像処理方法。
【請求項９】
Ｒ、Ｇ１、Ｇ２、およびＢの色成分のベイヤー配列から成る第１の画像データに対して、Ｇ１およびＧ２の色成分を区別して用いて偽色抑圧処理を施して、前記第１の画像データをＲおよびＢの色成分と輝度成分とから成る第２の画像データに変換する変換ステップと、
前記第２の画像データを記憶媒体に記憶する記憶ステップと、
前記記憶媒体に記憶される前記第２の画像データを読み出し、前記第２の画像データのＲおよびＢの色成分に対して倍率色収差補正を行う補正ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１２９８０１（Ｐ２０１２−１２９８０１Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９５４３（Ｐ２０１０−２７９５４３）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]