画像処理装置、撮像装置、画像処理方法及びプログラム
【課題】 倍率色収差が発生した画像において、基本色以外の色、例えばＧ以外のＲやＢの画像のエッジを適切に補正する。
【解決手段】 まず画像データに含まれる画素信号の輝度値に基づいて、画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する。そして、他の色成分信号と基準色の色成分信号から色差信号を生成し、収差量に基づいて、色差信号を用いて基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する。
【解決手段】 まず画像データに含まれる画素信号の輝度値に基づいて、画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する。そして、他の色成分信号と基準色の色成分信号から色差信号を生成し、収差量に基づいて、色差信号を用いて基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、撮像装置、画像処理方法及びプログラムに関し、特に単板式カラーセンサカメラにおける倍率色収差を補正する技術に係る。
【背景技術】
【０００２】
スチルカメラやビデオカメラ等の撮像装置において、レンズを透過した光は、色別の点像強度分布関数（ＰＳＦ：point spread function）の影響で、点像に広がりが生じ、倍率色収差が発生することが知られている。倍率色収差は、可視光の波長に応じてレンズの屈折率が異なり、焦点距離が異なるため、像の大きさに差が生じることによって発生する。
【０００３】
倍率色収差が発生するレンズで白色点光源を撮影すると、画面の周辺部が虹色に色づき、放射方向に伸びるように光源が撮影される。また、通常の被写体でも、特に画像のエッジ部分で色ずれが顕著に見られる。
【０００４】
従来、色倍率収差を補正する方法として、ＲＧＢ（赤、緑、青）毎に水平方向及び垂直方向のズレ量（収差量）を求め補正を行うことが行われていた（例えば、特許文献１及び２参照）。倍率色収差の補正は、通常、色分離（単板用色補間：ｄｅ−ｂａｙｅｒ）の前に行われる。ＲＡＷデータから倍率色収差を検出する方法としてはさまざま検討されているが、倍率色収差の補正についてはＲ（赤色）やＢ（青色）などの単色の情報のみによる色ずらしが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２１９６８３号公報
【特許文献２】特開２０００−２９９８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、単板式カラーイメージセンサに用いられる色フィルタは、撮像デバイスの上にアレイ状に形成される。アレイ状に形成された色フィルタ（色フィルタアレイ）の配列は、輝度信号に寄与する割合の大きいＧ（緑色）を市松状に配置し、残りの部分にＲ及びＢをさらに市松状に配列したベイヤ方式が代表的である。図１に、ベイヤ配列で配置されたＲＧＢ各色の画素を示す。ベイヤ配列の場合、Ｇの色フィルタによって得られる画素がＲ，Ｂの色フィルタによって得られる画素の２倍あり、ＲやＢの色フィルタによって得られる画素が少ない。
【０００７】
以下に、図２Ａ〜図２Ｃを参照して、従来の倍率色収差補正の手法を説明する。
例としてＲＧＢから構成されるベイヤ配列（図２Ａ）のＲとＧに注目する。Ｌは画像中心（光軸に対応）を表す。倍率色収差が発生するレンズによってＲは収差量の分だけＧと離れた位置に結像する（図２Ｂ）。Ｒの倍率色収差を補正する際、単色（Ｒ）のみの情報を用いて画像のアップサンプリング（拡大処理）を行い（図２Ｃ）、小数精度の画素ずらしを行ってＲを正しい位置に戻す処理をしていた。アップサンプリングは、図３に示すように、入力信号（例えばＲ信号、Ｇ信号、Ｂ信号）に対しフィルタ演算を行って所望の位置の画素の信号を導出する処理である。
【０００８】
しかし、単板式カラーイメージセンサによって得られるＲやＢの画素数は少なく、サンプリング定理より明らかなようにアップサンプリングによって推定できる周波数が制限されてしまう。通常、単板式カラーイメージセンサを搭載したカメラの周波数特性は、Ｇの画素数に基づく限界解像度で決められることが多い。そのため、ＲやＢを単色の情報のみでアップサンプリングした場合、Ｇの限界解像度付近の高い周波数を再現することができず、ＲやＢのエッジがぼけたり、エッジ付近の偽色となって現れたりすることがあった。すなわち、ＲやＢの倍率色収差を補正する際に、ＲやＢによってずらす先の画素を補間した場合、高い周波数を再現できず、ＲやＢのエッジを適切に補正することができなかった。
【０００９】
本開示は、上記の状況を考慮してなされたものであり、倍率色収差が発生した画像において、基本色以外の色、例えばＧ以外のＲやＢの画像のエッジを適切に補正するものである。
【課題を解決するための手段】
【００１０】
本開示の一側面は、まず画像データに含まれる画素信号の輝度値に基づいて、画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する。そして、他の色成分信号と基準色の色成分信号から色差信号を生成し、収差量に基づいて、色差信号を用いて基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する。
【００１１】
本開示の一側面によれば、単板式イメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して、他の色（例えばＲ、Ｂ）と基準色（例えばＧ）の差分から色差を生成し、収差量に基づいて該色差を用いて他の色の色収差を補正する。ここで、他の色より基準色の画素数が多く、他の色より周波数の低い色差で色収差を補正しているので、補正の精度が高く、基準色以外の画素がぼやけない。
【発明の効果】
【００１２】
本開示によれば、倍率色収差が発生した画像において、基準色以外の色、例えばＧ以外のＲやＢの色収差を補正し、ＲやＢの画像のエッジを適切に補正することができる。
【図面の簡単な説明】
【００１３】
【図１】ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。
【図２】Ａ〜Ｃは従来技術を示す説明図である。
【図３】アップサンプリングについての説明図である。
【図４】第１の実施形態に係る撮像装置を示すブロック図である。
【図５】図４に示した前処理部の内部構成を示すブロック図である。
【図６】第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。
【図７】Ａ〜Ｃは、第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理の説明図である。
【図８】倍率色収差が発生した画像の例である。
【図９】図８に示した画像（ＲＡＷデータ）に対し、従来の手法を用いて倍率色収差補正を行った場合の画像の例である。
【図１０】図８に示した画像（ＲＡＷデータ）に対し、色分離した後に従来の手法を用いて倍率色収差補正を行った場合の画像の例である。
【図１１】図８に示した画像（ＲＡＷデータ）に対し、第１の実施形態の第１例に係る倍率色収差補正方法を適用した場合の画像の例である。
【図１２】倍密ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。
【図１３】第１の実施形態の第２例に係る、倍密ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。
【図１４】クリアビッド配列で配置されたＲＧＢ各色の画素（入力画素）を示す説明図である。
【図１５】クリアビッド配列で配置されたＲＧＢ各色の画素による出力画素のイメージを示す説明図である。
【図１６】第１の実施形態の第３例に係る、クリアビッド配列に対する倍率色収差補正処理を示すフローチャートである。
【図１７】第２の実施形態に係る前処理部の内部構成を示すブロック図である。
【図１８】第２の実施形態の第１例に係る、ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【図１９】第２の実施形態の第２例に係る、倍密ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【図２０】第２の実施形態の第３例に係る、クリアビッド配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示を実施するための形態の例について説明する。なお、本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（補正部：Ｇ色差を用いて倍率色収差を補正した例）
１．１．ベイヤ配列に適用した場合（第１例）
１．２．倍密ベイヤ配列に適用した場合（第２例）
１．３．クリアビッド配列に適用した場合（第３例）
２．第２の実施形態（補正部：Ｇ色差を用いて倍率色収差補正を行うとともに色分離を行う例）
２．１．ベイヤ配列に適用した場合（第１例）
２．２．倍密ベイヤ配列に適用した場合（第２例）
２．３．クリアビッド配列に適用した場合（第３例）
【００１６】
＜１．第１の実施形態＞
［本開示の概要］
自然画においては、一般的にＲ信号やＢ信号の周波数よりも色差信号の周波数が高くないことが知られている（この考え方は色分離や圧縮でも応用されており、これを基本としたアルゴリズムが数多く開発されている。）。
【００１７】
例えば、局所的な色成分信号の相関を用いた信号処理方法を記載した文献として、以下のようなものがある。
『D.R.Cok: “Signal processing method and apparatus for producing interpolated chrominance valuesinasampled color image signal,” U.S.PatentNO. 4642678(1987):(CHBI)』
【００１８】
ゆえに、Ｒ信号やＢ信号単色での補間に比べ、Ｇ色差信号で補間を行う方が、推定する信号の周波数帯域が低くなるため、高い補間精度を得ることができると考えられる。本開示では、この考えを倍率色収差補正に応用し、ＲＧＢの画素配列を有するイメージセンサより得られる画像に対してＧ色差信号を用いて倍率色収差補正を行う。
【００１９】
つまり、本開示では、ＲやＢの倍率色収差を補正する際に、ＲやＢによってずらす先の画素を補間するのではなく、一端、ずれた位置のＲやＢの位置に、意図的にずらしたＧを暫定的に生成する。Ｒ及びＢのずれた先の位置に、意図的にずらしたＧを補間すると、Ｒ及びＢと同数のＧ色差が得られる。このＧ色差を用いてずらす先（目的の画素）のＧ色差信号を補間し、ずれた位置のＲやＢを補間する。
ずらす先を単板式カラーイメージセンサ配列の位置とすると収差量が補正されたＲＡＷデータの画像を取得でき、出力画素の位置とすると色分離処理のＧ色差信号の補間を兼ねることができる。
【００２０】
なお、以下の説明においては、Ｒ画素を“Ｒ”、Ｇ画素を“Ｇ”、Ｂ画素を“Ｂ”と称したり、Ｒ信号を“Ｒ”、Ｇ信号を“Ｇ”、Ｂ信号を“Ｂ”、Ｒ−Ｇ色差信号又はＢ−Ｇ色差信号を“Ｇ色差”と称したりする。
【００２１】
［撮像装置の構成例］
本開示が適用される撮像装置の構成例を説明する。
本開示の撮像装置は、例えば、レンズが交換可能、又は交換不可能双方におけるディジタルスチルカメラに限られず、カムコーダ、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置を適用することができる。
【００２２】
また、後述する撮像装置の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。
【００２３】
まず、本開示の第１の実施形態に係る画像処理装置を備える撮像装置の構成を説明する。図４は、本実施形態に係る撮像装置１００を示すブロック図である。
【００２４】
図４に示す撮像装置１００は、記憶媒体に映像データを記録可能なビデオカメラである。撮像装置１００は、例えば、イメージセンサ１０１と、前処理部１０２と、カメラ信号処理部１０３と、変換処理部１０４と、圧縮・伸張部（ＪＰＥＧ）１０５と、メモリ制御部１０６と、メモリ１０７と、表示処理部１０８と、圧縮・伸張部（ＭＰＥＧ）１０９と、記録デバイス制御部１１０と、記録デバイス１１１と、表示部１１２と、制御部１１３と、撮像レンズ１１４などを備えている。
【００２５】
撮像レンズ１１４は、被写体からの入射光を集光させ、後述のイメージセンサ１０１に被写体像を結像させるレンズ群である。倍率色収差は、被写体からの光が撮像レンズ１１４を通過する際、可視光の波長の長さでその屈折率が異なるために各色で焦点距離が異なり、結像位置がずれてしまうことにより発生する。また、倍率色収差は、撮像レンズ１１４の点像強度分布関数（ＰＳＦ：point spread function）により結像位置において、各色が点像強度分布による分散を持つために、各色間の分散の幅の差が偽色となって発生する。
【００２６】
イメージセンサ１０１は、光学系（例えば、撮像レンズ１１４、赤外線除去フィルタ、光学的ローパスフィルタ、色フィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。イメージセンサ１０１は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の単板式撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、イメージセンサ１０１として、ＣＣＤ(Charge Coupled Device)を使用してもよい。
【００２７】
また、イメージセンサ１０１は、例えば、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）及びＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。
【００２８】
前処理部１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。前処理部１０２は、画像処理装置の一例であり、後述する倍率色収差の検出や補正を行う。
【００２９】
カメラ信号処理部１０３は、前処理部１０２からの撮像データに対して、色分離処理（同時化処理）、ホワイトバランス補正、アパーチャ補正、ガンマ補正、ＹＣ生成等のカメラ信号処理を施す。
【００３０】
変換処理部１０４は、カメラ信号処理部１０３から受け取った画像信号を表示部１１２の表示に適合したフレームレート及び画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理部１０８に出力するとき行う。
【００３１】
圧縮・伸張部（ＪＰＥＧ）１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御部１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御部１０６は、メモリ１０７に対する画像データの書き込み及び読み込みを制御する。メモリ１０７は、メモリ制御部１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。
【００３２】
表示処理部１０８は、変換処理部１０４又は圧縮・伸張部（ＭＰＥＧ）１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、画像信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータの画像などを表示する。
【００３３】
圧縮・伸張部（ＭＰＥＧ）１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理部１０８に出力する。表示部１１２は、表示処理部１０８から受け取った動画を表示する。
【００３４】
制御部１１３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を統括的に制御する。
【００３５】
［前処理部の構成例］
次に、本実施形態に係る前処理部１０２について説明する。
図５は、前処理部の内部構成を示すブロック図である。ＲＧＢ画素のＲについて倍率色収差補正処理を行う場合を想定したブロック構成の記載になっているが、Ｂについて倍率色収差補正処理を行う場合にも勿論適用可能である。
【００３６】
前処理部１０２は、補正部１２０と、収差量生成部１２６を有する。
収差量生成部１２６は、例えばエッジ検出部と、色ずれ量検出部と、倍率算出部などを有する。エッジ検出部は、画像データに含まれる画素信号の輝度値に基づいて、画像データに基づく画像内のエッジ部分（高周波成分）と、エッジ部分の輝度値の変化方向を検出する。色ずれ量検出部は、エッジ部分において、画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出する。倍率算出部は、色ずれ量と画像中心（光軸に対応）からの距離に基づいて１つの色成分信号を基準とした他の色成分信号の拡大縮小倍率（収差量）を算出する。
【００３７】
このように、収差量生成部１２６は、現在の処理画素が画像中心を基準としてどれだけ離れているか（像高）を基に、例えばＲ，Ｂごとに収差モデル（多項式）に当てはめ、拡大縮小倍率（収差量）を生成する。
【００３８】
図５の例では、収差量生成部１２６として、Ｒ用収差量生成部１２６Ｒ及びＢ用収差量生成部１２６Ｂを有する。Ｒ用収差量生成部１２６Ｒは、Ｇ信号を基準としたＲ信号の拡大縮小倍率（収差量）を算出する。また、Ｂ用収差量生成部１２６Ｂは、Ｇ信号を基準としたＢ信号の拡大縮小倍率を算出する。
【００３９】
なお、収差量生成部１２６では、倍率色収差補正の前提として、予め収差量を求めておく必要があることから、特許文献１，２などで採用しているように画像からその収差量（拡大縮小倍率）を推定している。しかし、この例に限らず、レンズの特性をあらかじめ測定しておき、収差量を決定してもよい。
【００４０】
補正部１２０は、収差量生成部１２６により算出された、１つの色成分信号（本例ではＧ信号）を基準とした他の色成分信号（本例ではＲ信号又はＢ信号）の拡大縮小倍率（収差量）に基づく補正倍率を用いて、色収差の補正をする。このとき、補正部１２０は、輝度値の変化方向に対応させてエッジ部分の色収差の補正をしてもよい。
【００４１】
補正部１２０は、主にメモリ部１２１と、相関方向判別／Ｇ補間処理部１２２と、メモリ部１２３と、Ｒ用Ｂ用データ切り替え部１２４と、Ｒ用Ｇアップサンプリング処理部１２５と、メモリ部１２７と、減算器１２８を有する。さらに、メモリ部１２９と、Ｒ用Ｂ用データ切り替え部１３０と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１と、加算器１３２を有する。
【００４２】
相関方向判別／Ｇ補間処理部１２２は、メモリ部１２１から受け取ったＧ信号を利用して、Ｒ又はＢ信号の位相にＧ信号を補間する処理を行う。すなわち、Ｒ又はＢ画素のそれぞれの位置にその近傍のＧ画素の画素値から重みづけ平均値を計算するなどして補間Ｇ信号（以下、「補間Ｇ」という）を生成する。また、後述する適応的な補間処理において利用する相関方向を検出する。
【００４３】
メモリ部１２３は、相関方向判別／Ｇ補間処理部１２２から受け取った補間されていないＧ信号又は補間されたＧ信号（ｇ）を記憶する。
【００４４】
Ｒ用Ｂ用データ切り替え部１２４−１は、Ｒ用収差量生成部１２６Ｒで生成されたＲ用収差量に基づき、ずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をメモリ部１２３より選択し、後段のＲ用Ｇアップサンプリング処理部１２５に供給する。Ｂについて倍率色収差補正処理を行う場合には、Ｂ用収差量生成部１２６Ｂで生成されたＢ用収差量に基づき、同様の処理を行う。
また、Ｒ用Ｂ用データ切り替え部１２４−２は、Ｒ用収差量生成部１２６Ｒで生成されたＲ用収差量に基づき、ずれた位置にあるＲ´の画素値（Ｒ´信号）をメモリ部１２７より選択し、後段の減算器１２８に供給する。Ｂについて倍率色収差補正処理を行う場合には、Ｂ用収差量生成部１２６Ｂで生成されたＢ用収差量に基づき、同様の処理を行う。
【００４５】
Ｒ用Ｇアップサンプリング処理部１２５は、Ｒ用Ｂ用データ切り替え部１２４−１で選択されたずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、収差量分離れた位置にあるＲ´信号と同位相のｇ´信号を導出する。なお、Ｒ用Ｇアップサンプリング処理部１２５は、Ｂ用収差量データに切り替えられた場合、Ｂ用Ｇアップサンプリング処理部として機能する。
【００４６】
アップサンプリングの手法としては、既存の静的フィルタを作用させる方法があり、bilinear, bicubic, b-spline, lanczos等のフィルタを適用して演算を行う。ソフトウェア若しくはハードウェアの制約（負荷）と画質の兼ね合いを判断して、最適なフィルタを選択すればよい。
【００４７】
ここで、Ｒ用Ｇアップサンプリング処理部１２５において、アップサンプリングの性能を向上させるため、アップサンプリング前にＲ又はＢの位置にあらかじめ相関方向検出を応用して適応的にフィルタを切り替えフィルタ演算を行い、補間を行う。それにより、画像のより高画質化が図られる。例えば適応的補間としては、ｄｅ−ｂａｙｅｒ処理でよく使われるＺｉｇｚａｇ補間などがある。
【００４８】
また、エッジの方向性を判断して補間するエッジ方向補間方法などを用いてもよい。例えばＢの位置にＧ信号を補間する場合に、Ｂの周囲の画素を見て、好ましい補間方向を判断する。具体的には、下記の式（１）及び式（２）を用いて水平（Ｈi,j）と垂直（Ｖi,j）のＧの勾配ΔＨi,j,ΔＶi,jを計算する。そして、式（３）及び式（４）に示すように、ΔＨi,jとΔＶi,jとを比較してどちらかが一定の閾値以下であれば、小さい方の隣接画素の平均を用いる。さらに、式（５）に示すように、両方向の勾配が同じであれば両方向の平均を用いる。
【００４９】
【数１】
【数２】
【数３】
【数４】
【数５】
【００５０】
メモリ部１２７は、Ｒ用Ｂ用データ切り替え部１２４によるＲ用収差量データとＢ用収差量データの切り替えに合わせて、Ｒ又はＢ信号（すなわち収差量分離れた位置にあるＲ´又はＢ´信号）を出力する。
【００５１】
減算器１２８は、Ｒ用Ｂ用データ切り替え部１２４においてＲ用収差量データに切り替えられた場合に、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する。なお、Ｂ用収差量データに切り替えられた場合、Ｇ色差（ｃ´＝Ｂ´−ｇ´）を生成する。
【００５２】
メモリ部１２９は、減算器１２８から受け取ったＧ色差（ｃ´＝Ｒ´−ｇ´）を記憶する。
【００５３】
Ｒ用Ｂ用データ切り替え部１３０は、Ｒ用Ｂ用データ切り替え部１２４と同様に、Ｒ用収差量データとＢ用収差量データを切り替えて、次段のＧ色差（Ｒ−Ｇ）アップサンプリング処理部１３１に供給する。
【００５４】
Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１は、Ｒ用Ｂ用データ切り替え部１３０においてＲ用収差量データに切り替えられた場合に、Ｇ色差（ｃ´）をアップサンプリングし、補正量（収差量に相当）分離れた本来のＲの位置にＧ色差（ｃ）を導出する。なお、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１は、Ｂ用収差量データに切り替えられた場合、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部として機能する。
【００５５】
ここで、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１においても、Ｒ用Ｇアップサンプリング処理部１２５と同様に、アップサンプリングの性能を向上させるため、アップサンプリング前に色差信号の相関方向検出に基づく適応的なフィルタ演算を行ってもよい。
【００５６】
加算器１３２は、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、倍率色収差補正を施したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る。また、補正部１２０は、メモリ部１２３に記憶されている補間されていないＧ信号を得る。なお、Ｂ用収差量データに切り替えられた場合、Ｂ信号（Ｂｎｅｗ＝ｃ＋ｇ）を得る。
【００５７】
所定のフレームレートに基づいて画像を左上からラスタースキャンで読み出し処理をするような場合、単板式イメージセンサで生成される画像には１画素当たりＲ又はＢもしくはＧのいずれかが入力されることになる。これらを図５中の各メモリ部に蓄え各ブロックの処理を行う。これらのブロックをハードウェアで実現する場合、データが滞ることなく処理するには各ブロックが１画素に対して必要な処理を行っていけばよいため、相関方向判別／Ｇ補間処理、Ｇアップサンプリング処理、Ｇ色差アップサンプリング処理も１画素ずつ行ってゆけばよい。
【００５８】
また、各メモリ部の容量は、収差量（補正量）の最大値を考慮して設定しておく必要がある。このメモリ容量は多ければ多いほど、大きな倍率色収差のずれを補正することができる。
【００５９】
（１．１．ベイヤ配列に適用した場合（第１例））
［倍率色収差の補正方法］
次に、第１の実施形態の第１例に係る、倍率色収差の補正方法について説明する。
図６は、第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。図７Ａ〜Ｃは、第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理の説明図である。
【００６０】
本実施形態では、イメージセンサ１０１から出力されるＲＡＷデータにおいて倍率色収差の検出と補正を行うとする。ベイヤ配列では、Ｇの画素がＲ，Ｂ画素の２倍あり、しかも市松状に配列されている。これに対して、Ｒ，Ｂ画素は格子状配列である（図１参照）。本開示は、ベイヤ配列に限られるものではないが、簡単のためベイヤ配列を例に説明する。その他の単板式イメージセンサにおいても、単板式イメージセンサ上の最も多い画素をＧ、その他の画素をＲ，Ｂとすると同様の処理を行うことができる。
【００６１】
以下、ベイヤ配列のＲについて倍率色収差補正処理を行う場合を説明する。
図６における倍率色収差補正処理の前提として、前処理部１０２のＲ用収差量生成部１２６Ｒにより、色ずれ量と画像中心（光軸に対応）からの距離に基づいてＧ信号を基準としたＲ信号の拡大縮小倍率（収差量）が算出されている。
【００６２】
まず相関方向判別／Ｇ補間処理部１２２により、ベイヤ配列の補正対象のＲの画素の位置（図２Ａ，図７Ａ参照）にその近傍のＧから補間Ｇ信号（ｇ）を生成する（ステップＳ１）。このとき、相関方向に基づく適応的補間を行ってもよい。
【００６３】
続いて、Ｒ用Ｇアップサンプリング処理部１２５により、Ｒ用Ｂ用データ切り替え部１２４から供給されるずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、収差量分離れた位置にあるＲ´と同位相のｇ´信号を導出する（ステップＳ２）。
【００６４】
次に、減算器１２８により、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する（ステップＳ３）。
【００６５】
そして、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用Ｂ用データ切り替え部１３０から供給されるＲ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量（収差量に相当）分離れた位置にある本来のＲの位置にＧ色差（ｃ）を導出する（ステップＳ４）。
【００６６】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る（ステップＳ５）。
【００６７】
ベイヤ配列上のすべてのＲについて上記画素ずらしを行って倍率色収差を補正する。Ｂについても同様に画素ずらしを行い、倍率色収差補正を施したＢ信号（Ｂｎｅｗ）を得る。
【００６８】
本実施形態の第１例によれば、単板式のイメージセンサ（ベイヤ配列）より得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【００６９】
［従来手法と本開示の倍率色収差補正の比較］
図８は、倍率色収差が発生した画像の例である。図９は、図８に示した画像（ＲＡＷデータ）に対し、従来の手法（図２参照）を用いて色分離する前に倍率色収差補正を行った場合の画像の例（従来手法１）である。図１０は、図８に示した画像（ＲＡＷデータ）に対し、色分離した後に従来の手法（図２参照）を用いて倍率色収差補正を行った場合の画像の例（従来手法２）である。
【００７０】
図８の画像では、倍率色収差が発生しなければ本来ＲＧＢのエッジ１Ｒ，１Ｇ，１Ｂが重なり、各色が合成されて白色になるはずだが、倍率色収差が発生しているために、Ｇのエッジ１Ｇを基準にしたときに、Ｒのエッジ１ＲとＢのエッジ１Ｂが大きくずれている。Ｌは画像中心（光軸に対応）を表す。
図９の画像では、Ｇのエッジ２ＧとＲ，Ｂのエッジ２Ｒ，２Ｂが倍率色収差によりわずかにずれてにじんでおり、色がついている。
図１０の画像では、色分離後に収差補正を行ったが、Ｇのエッジ２Ｇに対するＲ，Ｂのエッジ２Ｒ，２Ｂの倍率色収差が改善されていない。
【００７１】
図１１は、図８に示した画像（ＲＡＷデータ）に対し、第１の実施形態の第１例に係る倍率色収差補正方法を適用した場合の画像の例である。
図１１の画像では、ＲＧＢのエッジ１Ｒ，１Ｇ，１Ｂが精度よく重なっているので、各エッジの色が合成されて白色になっている。すなわち、ＲやＢ（エッジ）がぼやけず、高い精度の倍率色収差補正が施されていると言える。
【００７２】
（１．２．倍密ベイヤ配列に適用した場合（第２例））
次に、第１の実施形態の第２例に係る、倍密ベイヤ配列に対する倍率色収差の補正方法について説明する。倍密ベイヤ配列は、ベイヤ配列のままで画素配列だけ４５度傾けたものである。
【００７３】
図１２は、倍密ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。出力画素の数は入力画素（ＲＡＷデータ）の数の半分となる。
【００７４】
図１３は、第１の実施形態の第２例に係る、倍密ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。以下、倍密ベイヤ配列のＲについて倍率色収差補正処理を行う場合を説明する。
図１３における倍率色収差補正処理の前提として、前処理部１０２のＲ用収差量生成部１２６Ｒにより、色ずれ量と画像中心（光軸に対応）からの距離に基づいてＧ信号を基準としたＲ信号の拡大縮小倍率（収差量）が算出されている。
【００７５】
まずＲ用Ｇアップサンプリング処理部１２５により、Ｒ用Ｂ用データ切り替え部１２４から供給されるずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、Ｒから収差量分離れた位置にあるＲ´と同位相のｇ´信号を導出する（ステップＳ１１）。
【００７６】
続いて、減算器１２８により、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する（ステップＳ１２）。
【００７７】
次に、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用Ｂ用データ切り替え部１３０から供給されるＲ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にある本来のＲの位置にＧ色差（ｃ）を導出する（ステップＳ１３）。
【００７８】
そして、相関方向判別／Ｇ補間処理部１２２により、倍密ベイヤ配列（図１２参照）の補正対象のＲの画素の位置にその近傍のＧから補間Ｇ信号（ｇ）を生成する（ステップＳ１４）。このとき、相関方向に基づく適応的補間を行ってもよい。
【００７９】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る（ステップＳ１５）。
【００８０】
倍密ベイヤ配列上のすべてのＲについて上記画素ずらしを行って倍率色収差を補正する。Ｂについても同様に画素ずらしを行い、倍率色収差補正を施したＢ信号（Ｂｎｅｗ）を得る。
【００８１】
本実施形態の第２例によれば、倍密ベイヤ配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【００８２】
（１．３．クリアビッド配列に適用した場合（第３例））
次に、第１の実施形態の第３例に係る、クリアビッド配列（ClearVid:登録商標）に対する倍率色収差の補正方法について説明する。
【００８３】
図１４は、クリアビッド配列で配置されたＲＧＢ各色の画素（入力画素）を示す説明図である。Ｇの画素をＲ，Ｂの画素より６倍多くし、Ｒ，Ｂの画素の周囲を取り囲むように配置した（水平及び垂直の方向において、Ｇを２ｄの間隔で配置し、Ｒ画素及びＢ画素を各々４ｄの間隔で配置した）配列である。
【００８４】
図１５は、クリアビッド配列で配置されたＲＧＢ各色の画素による出力画素のイメージを示す説明図である。出力画素の数は入力画素（ＲＡＷデータ）の２倍となる。
【００８５】
図１６は、第１の実施形態の第３例に係る、クリアビッド配列に対する倍率色収差補正処理を示すフローチャートである。ここでは、図１５に示したクリアビッド配列（出力画素）のＲについて倍率色収差補正処理を行う場合を説明する。
図１６における倍率色収差補正処理の前提として、前処理部１０２のＲ用収差量生成部１２６Ｒにより、色ずれ量と画像中心（光軸に対応）からの距離に基づいてＧ信号を基準としたＲ信号の拡大縮小倍率（収差量）が算出されている。
【００８６】
まず相関方向判別／Ｇ補間処理部１２２により、クリアビッド配列の補正対象のＲの画素（図１５参照）と空白の画素の各々に、その近傍のＧから補間Ｇ信号（ｇ）を生成する（ステップＳ２１）。このとき、相関方向に基づく適応的補間を行ってもよい。
【００８７】
続いて、Ｒ用Ｇアップサンプリング１２５により、Ｒ用Ｂ用データ切り替え部１２４から供給されるずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、収差量分離れた位置にあるＲ´と同位相のｇ´信号を導出する（ステップＳ２２）。
【００８８】
次に、減算器１２８により、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する（ステップＳ２３）。
【００８９】
そして、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用Ｂ用データ切り替え部１３０から供給されるＲ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にある本来のＲの位置にＧ色差（ｃ）を導出する（ステップＳ２４）。
【００９０】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る（ステップＳ２５）。
【００９１】
クリアビッド配列上のすべてのＲについて上記画素ずらしを行って倍率色収差を補正する。Ｂについても同様に画素ずらしを行い、倍率色収差補正を施したＢ信号（Ｂｎｅｗ）を得る。
【００９２】
本実施形態の第３例によれば、クリアビッド配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【００９３】
＜２．第２の実施形態＞
倍率色収差補正の際に色分離も同時に行う場合には、同時にＲＧＢの色成分信号を出力することになるので、Ｇ色差をアップサンプリング処理するブロックをＲ用とＢ用で別に持つ必要がある。そこで、第２の実施形態は、第１の実施形態における前処理部１０２（図５参照）に対して、色分離機能を持つブロックを設けている。
【００９４】
［前処理部の構成例］
図１７は、第２の実施形態に係る前処理部の内部構成を示すブロック図である。
前処理部１０２Ａは、第１の実施形態に係る前処理部１０２に対して、Ｒ用Ｂ用データ切り替え部１３０を削除し、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１と加算器１４２が追加された補正部１２０Ａを備える点が異なる。以下、この相違点を中心に説明する。
【００９５】
Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１は、Ｒ用収差量生成部１２６Ｒから供給されるＲ用収差量データに基づいて、メモリ部１２９から読み出したＧ色差（ｃ´）をアップサンプリングし、補正量分離れた本来のＲの位置にＧ色差（ｃ）を導出する。
【００９６】
Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１は、Ｂ用収差量生成部１２６Ｂから供給されるＢ用収差量データに基づいて、メモリ部１２９から読み出したＧ色差（ｃ´）をアップサンプリングし、補正量分離れた本来のＢの位置にＧ色差（ｃ）を導出する。
【００９７】
加算器１４２は、相関方向判別／Ｇ補間処理部１２２で生成したｇと、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＢ信号（Ｂｎｅｗ＝ｃ＋ｇ）を得る。
【００９８】
（２．１．ベイヤ配列に適用した場合（第１例））
次に、第２の実施形態の第１例に係る、色分離を伴う倍率色収差の補正方法について説明する。
図１８は、第２の実施形態の第１例に係る、ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【００９９】
以下、ベイヤ配列のＲについて色分離を伴う倍率色収差補正処理を行う場合を説明する。
図１８のステップＳ３１〜ステップＳ３３の処理は、図６のステップＳ１〜ステップＳ３の処理と同じであるので、説明を割愛する。
【０１００】
ステップＳ３３の処理が終了後、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にあるベイヤ配列上の全ての位置にＧ色差（ｃ）を導出する（ステップＳ３４）。
【０１０１】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号若しくはベイヤ配列上に元々存在するＧのＧ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算する。そして、画素ずらしによる倍率色収差補正と色分離を行ったＲ信号（Ｒｎｅｗ＝ｃ＋ｇ又はｃ＋Ｇ）を得る（ステップＳ３５）。
【０１０２】
ベイヤ配列上のすべてのＲに加え出力する全ての位置について上記画素ずらしによる倍率色収差補正と色分離を行う。Ｂについても同様に、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１，加算器１４２を用い、画素ずらしによる倍率色収差補正と色分離を行ったＢ信号（Ｂｎｅｗ）を得る。
【０１０３】
このように、ベイヤ配列上のＲ（Ｂ）の位置だけでなく、出力する全ての位置のＧ色差を求め、それらの位置にＧを補間し、補間Ｇと加算することによって、補正したベイヤ配列を経由することなく色分離まで行うことができる。
【０１０４】
本実施形態の第１例によれば、ベイヤ配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正と色分離を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【０１０５】
（２．２．倍密ベイヤ配列に適用した場合（第２例））
次に、第２の実施形態の第２例に係る、色分離を伴う倍率色収差の補正方法について説明する。
図１９は、第２の実施形態の第２例に係る、倍密ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【０１０６】
以下、倍密ベイヤ配列のＲについて色分離を伴う倍率色収差補正処理を行う場合を説明する。
図１９のステップＳ４１〜ステップＳ４２の処理は、図１３のステップＳ１１〜ステップＳ１２の処理と同じであるので、説明を割愛する。
【０１０７】
ステップＳ４２の処理が終了後、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にある倍密ベイヤ配列上のＧの位置にＧ色差（ｃ）を導出する（ステップＳ４３）。Ｇ画素はＲＡＷデータの画素のうちの半分あり、そのままのＧを使えばＧを補間する必要がない。
【０１０８】
最後に、加算器１３２により、倍密ベイヤ配列上に元々存在するＧのＧ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算する。そして、画素ずらしによる倍率色収差補正と色分離を行ったＲ信号（Ｒｎｅｗ＝ｃ＋Ｇ）を得る（ステップＳ４４）。
【０１０９】
倍密ベイヤ配列上のすべてのＲに加え出力する全ての位置について上記画素ずらしによる倍率色収差補正と色分離を行う。Ｂについても同様に、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１，加算器１４２を用い、画素ずらしによる倍率色収差補正と色分離を行ったＢ信号（Ｂｎｅｗ）を得る。
【０１１０】
本実施形態の第２例によれば、倍密ベイヤ配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正と色分離を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【０１１１】
（２．３．クリアビッド配列に適用した場合（第３例））
次に、第２の実施形態の第３例に係る、色分離を伴う倍率色収差の補正方法について説明する。
図２０は、第２の実施形態の第３例に係る、クリアビッド配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【０１１２】
以下、クリアビッド配列のＲについて色分離を伴う倍率色収差補正処理を行う場合を説明する。
図２０のステップＳ５１〜ステップＳ５３の処理は、図１６のステップＳ２１〜ステップＳ２３の処理と同じであるので、説明を割愛する。
【０１１３】
ステップＳ５３の処理が終了後、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にあるクリアビッド配列上の全ての位置にＧ色差（ｃ）を導出する（ステップＳ５４）。
【０１１４】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号若しくはクリアビッド配列上に元々存在するＧのＧ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算する。そして、画素ずらしによる倍率色収差補正と色分離を行ったＲ信号（Ｒｎｅｗ＝ｃ＋ｇ又はｃ＋Ｇ）を得る（ステップＳ５５）。
【０１１５】
本実施形態の第３例によれば、クリアビッド配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正と色分離を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【０１１６】
なお、上述した第１及び第２の実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。
【０１１７】
また、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（例えば図４のメモリ１０７や記録デバイス１１１）を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【０１１８】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１１９】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【０１２０】
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【０１２１】
なお、本開示は以下のような構成も取ることができる。
（１）
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
画像処理装置。
（２）
前記補正部は、
前記基準色の画素の間にある前記他の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量を基に、前記基準色の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
前記他の色成分信号と前記アップサンプリング後の前記基準色の補間色成分信号の差分をとって色差信号を生成する色差生成部と、
前記収差量を基に、前記色差信号をアップサンプリングする色差アップサンプリング処理部と、
前記基準色の補間色成分信号と前記アップサンプリング後の色差信号を加算し、前記他の色の画素における補正後の色成分信号を生成する補正色成分信号生成部と、を更に備える
前記（１）に記載の画像処理装置。
（３）
前記画像データは、単板式イメージセンサより得られるカラー画像データである
前記（２）に記載の画像処理装置。
（４）
前記基準色の色成分信号が緑色信号であり、前記他の色成分信号は赤色信号又は青色信号である
前記（３）に記載の画像処理装置。
（５）
前記補正部は、
前記基準色の画素の間にある第１又は第２の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量生成部が算出する第１又は第２の色成分信号の収差量を基に、前記基準色の第１又は第２の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
第１又は第２の色成分信号と前記アップサンプリング後の前記基準色の第１又は第２の補間色成分信号の差分をとって第１又は第２の色差信号を生成する色差生成部と、
第１の色成分信号の収差量を基に、第１の色差信号をアップサンプリングする第１の色差アップサンプリング処理部と、
第２の色成分信号の収差量を基に、第２の色差信号をアップサンプリングする第２の色差アップサンプリング処理部と、
前記基準色の第１の補間色成分信号と前記アップサンプリング後の第１の色差信号を加算し、第１の色の画素における補正後の色成分信号を生成する第１の補正色成分信号生成部と、
前記基準色の第２の補間色成分信号と前記アップサンプリング後の第２の色差信号を加算し、第２の色の画素における補正後の色成分信号を生成する第２の補正色成分信号生成部と、を更に備える
前記（１）に記載の画像処理装置。
（６）
基準色の画素数が他の色より多い単板式イメージセンサと、
前記イメージセンサより得られる画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
撮像装置。
（７）
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出し、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する
画像処理方法
（８）
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する処理と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成する処理と、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する処理を、
コンピュータに実行させるためのプログラム。
【０１２２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２３】
例えば、本実施形態の画像処理は、ベイヤ配列、倍密ベイヤ配列あるいはクリアビッド配列によるＲＡＷデータを用いるとしたが、それらの配列以外の画素配列である場合も適用できる。具体的には、色ずれ検出時に、Ｇ信号を補間する際に使用するＧ信号の参照位置がそれらの配列以外の画素配列依存となり、補間時に、Ｒ信号又はＢ信号を補間する際に使用するＲ信号又はＢ信号の参照位置がそれらの配列以外の画素配列依存となる。
【０１２４】
また、本実施形態の画像処理は、撮像装置１００において行われる場合について説明したが、本開示はこの例に限定されない。例えば、撮像装置による撮影で取得されたＲＡＷデータを外部に出力して、例えばテレビジョン受像機やパーソナルコンピュータなどで上述した本実施形態の画像処理を適用することができる。
【符号の説明】
【０１２５】
１００…撮像装置、１０１…イメージセンサ、１０２…前処理部、１２０…補正部、１２１，１２３，１２７，１２９…メモリ部，１２２…相関方向判別／Ｇ補間処理部、１２４−１，１２４−２…Ｒ用Ｂ用データ切り替え部、１２５…Ｒ用Ｇアップサンプリング処理部、１２６…収差量生成部、１２６Ｒ…Ｒ用収差量生成部、１２６Ｂ…Ｒ用収差量生成部、１２８…減算器、１３０…Ｒ用Ｂ用データ切り替え部、１３１…Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部、１３２…加算器、１４１…Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部、１４２…加算器
【技術分野】
【０００１】
本開示は、画像処理装置、撮像装置、画像処理方法及びプログラムに関し、特に単板式カラーセンサカメラにおける倍率色収差を補正する技術に係る。
【背景技術】
【０００２】
スチルカメラやビデオカメラ等の撮像装置において、レンズを透過した光は、色別の点像強度分布関数（ＰＳＦ：point spread function）の影響で、点像に広がりが生じ、倍率色収差が発生することが知られている。倍率色収差は、可視光の波長に応じてレンズの屈折率が異なり、焦点距離が異なるため、像の大きさに差が生じることによって発生する。
【０００３】
倍率色収差が発生するレンズで白色点光源を撮影すると、画面の周辺部が虹色に色づき、放射方向に伸びるように光源が撮影される。また、通常の被写体でも、特に画像のエッジ部分で色ずれが顕著に見られる。
【０００４】
従来、色倍率収差を補正する方法として、ＲＧＢ（赤、緑、青）毎に水平方向及び垂直方向のズレ量（収差量）を求め補正を行うことが行われていた（例えば、特許文献１及び２参照）。倍率色収差の補正は、通常、色分離（単板用色補間：ｄｅ−ｂａｙｅｒ）の前に行われる。ＲＡＷデータから倍率色収差を検出する方法としてはさまざま検討されているが、倍率色収差の補正についてはＲ（赤色）やＢ（青色）などの単色の情報のみによる色ずらしが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２１９６８３号公報
【特許文献２】特開２０００−２９９８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、単板式カラーイメージセンサに用いられる色フィルタは、撮像デバイスの上にアレイ状に形成される。アレイ状に形成された色フィルタ（色フィルタアレイ）の配列は、輝度信号に寄与する割合の大きいＧ（緑色）を市松状に配置し、残りの部分にＲ及びＢをさらに市松状に配列したベイヤ方式が代表的である。図１に、ベイヤ配列で配置されたＲＧＢ各色の画素を示す。ベイヤ配列の場合、Ｇの色フィルタによって得られる画素がＲ，Ｂの色フィルタによって得られる画素の２倍あり、ＲやＢの色フィルタによって得られる画素が少ない。
【０００７】
以下に、図２Ａ〜図２Ｃを参照して、従来の倍率色収差補正の手法を説明する。
例としてＲＧＢから構成されるベイヤ配列（図２Ａ）のＲとＧに注目する。Ｌは画像中心（光軸に対応）を表す。倍率色収差が発生するレンズによってＲは収差量の分だけＧと離れた位置に結像する（図２Ｂ）。Ｒの倍率色収差を補正する際、単色（Ｒ）のみの情報を用いて画像のアップサンプリング（拡大処理）を行い（図２Ｃ）、小数精度の画素ずらしを行ってＲを正しい位置に戻す処理をしていた。アップサンプリングは、図３に示すように、入力信号（例えばＲ信号、Ｇ信号、Ｂ信号）に対しフィルタ演算を行って所望の位置の画素の信号を導出する処理である。
【０００８】
しかし、単板式カラーイメージセンサによって得られるＲやＢの画素数は少なく、サンプリング定理より明らかなようにアップサンプリングによって推定できる周波数が制限されてしまう。通常、単板式カラーイメージセンサを搭載したカメラの周波数特性は、Ｇの画素数に基づく限界解像度で決められることが多い。そのため、ＲやＢを単色の情報のみでアップサンプリングした場合、Ｇの限界解像度付近の高い周波数を再現することができず、ＲやＢのエッジがぼけたり、エッジ付近の偽色となって現れたりすることがあった。すなわち、ＲやＢの倍率色収差を補正する際に、ＲやＢによってずらす先の画素を補間した場合、高い周波数を再現できず、ＲやＢのエッジを適切に補正することができなかった。
【０００９】
本開示は、上記の状況を考慮してなされたものであり、倍率色収差が発生した画像において、基本色以外の色、例えばＧ以外のＲやＢの画像のエッジを適切に補正するものである。
【課題を解決するための手段】
【００１０】
本開示の一側面は、まず画像データに含まれる画素信号の輝度値に基づいて、画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する。そして、他の色成分信号と基準色の色成分信号から色差信号を生成し、収差量に基づいて、色差信号を用いて基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する。
【００１１】
本開示の一側面によれば、単板式イメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して、他の色（例えばＲ、Ｂ）と基準色（例えばＧ）の差分から色差を生成し、収差量に基づいて該色差を用いて他の色の色収差を補正する。ここで、他の色より基準色の画素数が多く、他の色より周波数の低い色差で色収差を補正しているので、補正の精度が高く、基準色以外の画素がぼやけない。
【発明の効果】
【００１２】
本開示によれば、倍率色収差が発生した画像において、基準色以外の色、例えばＧ以外のＲやＢの色収差を補正し、ＲやＢの画像のエッジを適切に補正することができる。
【図面の簡単な説明】
【００１３】
【図１】ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。
【図２】Ａ〜Ｃは従来技術を示す説明図である。
【図３】アップサンプリングについての説明図である。
【図４】第１の実施形態に係る撮像装置を示すブロック図である。
【図５】図４に示した前処理部の内部構成を示すブロック図である。
【図６】第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。
【図７】Ａ〜Ｃは、第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理の説明図である。
【図８】倍率色収差が発生した画像の例である。
【図９】図８に示した画像（ＲＡＷデータ）に対し、従来の手法を用いて倍率色収差補正を行った場合の画像の例である。
【図１０】図８に示した画像（ＲＡＷデータ）に対し、色分離した後に従来の手法を用いて倍率色収差補正を行った場合の画像の例である。
【図１１】図８に示した画像（ＲＡＷデータ）に対し、第１の実施形態の第１例に係る倍率色収差補正方法を適用した場合の画像の例である。
【図１２】倍密ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。
【図１３】第１の実施形態の第２例に係る、倍密ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。
【図１４】クリアビッド配列で配置されたＲＧＢ各色の画素（入力画素）を示す説明図である。
【図１５】クリアビッド配列で配置されたＲＧＢ各色の画素による出力画素のイメージを示す説明図である。
【図１６】第１の実施形態の第３例に係る、クリアビッド配列に対する倍率色収差補正処理を示すフローチャートである。
【図１７】第２の実施形態に係る前処理部の内部構成を示すブロック図である。
【図１８】第２の実施形態の第１例に係る、ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【図１９】第２の実施形態の第２例に係る、倍密ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【図２０】第２の実施形態の第３例に係る、クリアビッド配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示を実施するための形態の例について説明する。なお、本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（補正部：Ｇ色差を用いて倍率色収差を補正した例）
１．１．ベイヤ配列に適用した場合（第１例）
１．２．倍密ベイヤ配列に適用した場合（第２例）
１．３．クリアビッド配列に適用した場合（第３例）
２．第２の実施形態（補正部：Ｇ色差を用いて倍率色収差補正を行うとともに色分離を行う例）
２．１．ベイヤ配列に適用した場合（第１例）
２．２．倍密ベイヤ配列に適用した場合（第２例）
２．３．クリアビッド配列に適用した場合（第３例）
【００１６】
＜１．第１の実施形態＞
［本開示の概要］
自然画においては、一般的にＲ信号やＢ信号の周波数よりも色差信号の周波数が高くないことが知られている（この考え方は色分離や圧縮でも応用されており、これを基本としたアルゴリズムが数多く開発されている。）。
【００１７】
例えば、局所的な色成分信号の相関を用いた信号処理方法を記載した文献として、以下のようなものがある。
『D.R.Cok: “Signal processing method and apparatus for producing interpolated chrominance valuesinasampled color image signal,” U.S.PatentNO. 4642678(1987):(CHBI)』
【００１８】
ゆえに、Ｒ信号やＢ信号単色での補間に比べ、Ｇ色差信号で補間を行う方が、推定する信号の周波数帯域が低くなるため、高い補間精度を得ることができると考えられる。本開示では、この考えを倍率色収差補正に応用し、ＲＧＢの画素配列を有するイメージセンサより得られる画像に対してＧ色差信号を用いて倍率色収差補正を行う。
【００１９】
つまり、本開示では、ＲやＢの倍率色収差を補正する際に、ＲやＢによってずらす先の画素を補間するのではなく、一端、ずれた位置のＲやＢの位置に、意図的にずらしたＧを暫定的に生成する。Ｒ及びＢのずれた先の位置に、意図的にずらしたＧを補間すると、Ｒ及びＢと同数のＧ色差が得られる。このＧ色差を用いてずらす先（目的の画素）のＧ色差信号を補間し、ずれた位置のＲやＢを補間する。
ずらす先を単板式カラーイメージセンサ配列の位置とすると収差量が補正されたＲＡＷデータの画像を取得でき、出力画素の位置とすると色分離処理のＧ色差信号の補間を兼ねることができる。
【００２０】
なお、以下の説明においては、Ｒ画素を“Ｒ”、Ｇ画素を“Ｇ”、Ｂ画素を“Ｂ”と称したり、Ｒ信号を“Ｒ”、Ｇ信号を“Ｇ”、Ｂ信号を“Ｂ”、Ｒ−Ｇ色差信号又はＢ−Ｇ色差信号を“Ｇ色差”と称したりする。
【００２１】
［撮像装置の構成例］
本開示が適用される撮像装置の構成例を説明する。
本開示の撮像装置は、例えば、レンズが交換可能、又は交換不可能双方におけるディジタルスチルカメラに限られず、カムコーダ、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置を適用することができる。
【００２２】
また、後述する撮像装置の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。
【００２３】
まず、本開示の第１の実施形態に係る画像処理装置を備える撮像装置の構成を説明する。図４は、本実施形態に係る撮像装置１００を示すブロック図である。
【００２４】
図４に示す撮像装置１００は、記憶媒体に映像データを記録可能なビデオカメラである。撮像装置１００は、例えば、イメージセンサ１０１と、前処理部１０２と、カメラ信号処理部１０３と、変換処理部１０４と、圧縮・伸張部（ＪＰＥＧ）１０５と、メモリ制御部１０６と、メモリ１０７と、表示処理部１０８と、圧縮・伸張部（ＭＰＥＧ）１０９と、記録デバイス制御部１１０と、記録デバイス１１１と、表示部１１２と、制御部１１３と、撮像レンズ１１４などを備えている。
【００２５】
撮像レンズ１１４は、被写体からの入射光を集光させ、後述のイメージセンサ１０１に被写体像を結像させるレンズ群である。倍率色収差は、被写体からの光が撮像レンズ１１４を通過する際、可視光の波長の長さでその屈折率が異なるために各色で焦点距離が異なり、結像位置がずれてしまうことにより発生する。また、倍率色収差は、撮像レンズ１１４の点像強度分布関数（ＰＳＦ：point spread function）により結像位置において、各色が点像強度分布による分散を持つために、各色間の分散の幅の差が偽色となって発生する。
【００２６】
イメージセンサ１０１は、光学系（例えば、撮像レンズ１１４、赤外線除去フィルタ、光学的ローパスフィルタ、色フィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。イメージセンサ１０１は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の単板式撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、イメージセンサ１０１として、ＣＣＤ(Charge Coupled Device)を使用してもよい。
【００２７】
また、イメージセンサ１０１は、例えば、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）及びＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。
【００２８】
前処理部１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。前処理部１０２は、画像処理装置の一例であり、後述する倍率色収差の検出や補正を行う。
【００２９】
カメラ信号処理部１０３は、前処理部１０２からの撮像データに対して、色分離処理（同時化処理）、ホワイトバランス補正、アパーチャ補正、ガンマ補正、ＹＣ生成等のカメラ信号処理を施す。
【００３０】
変換処理部１０４は、カメラ信号処理部１０３から受け取った画像信号を表示部１１２の表示に適合したフレームレート及び画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理部１０８に出力するとき行う。
【００３１】
圧縮・伸張部（ＪＰＥＧ）１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御部１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御部１０６は、メモリ１０７に対する画像データの書き込み及び読み込みを制御する。メモリ１０７は、メモリ制御部１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。
【００３２】
表示処理部１０８は、変換処理部１０４又は圧縮・伸張部（ＭＰＥＧ）１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、画像信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータの画像などを表示する。
【００３３】
圧縮・伸張部（ＭＰＥＧ）１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理部１０８に出力する。表示部１１２は、表示処理部１０８から受け取った動画を表示する。
【００３４】
制御部１１３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を統括的に制御する。
【００３５】
［前処理部の構成例］
次に、本実施形態に係る前処理部１０２について説明する。
図５は、前処理部の内部構成を示すブロック図である。ＲＧＢ画素のＲについて倍率色収差補正処理を行う場合を想定したブロック構成の記載になっているが、Ｂについて倍率色収差補正処理を行う場合にも勿論適用可能である。
【００３６】
前処理部１０２は、補正部１２０と、収差量生成部１２６を有する。
収差量生成部１２６は、例えばエッジ検出部と、色ずれ量検出部と、倍率算出部などを有する。エッジ検出部は、画像データに含まれる画素信号の輝度値に基づいて、画像データに基づく画像内のエッジ部分（高周波成分）と、エッジ部分の輝度値の変化方向を検出する。色ずれ量検出部は、エッジ部分において、画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出する。倍率算出部は、色ずれ量と画像中心（光軸に対応）からの距離に基づいて１つの色成分信号を基準とした他の色成分信号の拡大縮小倍率（収差量）を算出する。
【００３７】
このように、収差量生成部１２６は、現在の処理画素が画像中心を基準としてどれだけ離れているか（像高）を基に、例えばＲ，Ｂごとに収差モデル（多項式）に当てはめ、拡大縮小倍率（収差量）を生成する。
【００３８】
図５の例では、収差量生成部１２６として、Ｒ用収差量生成部１２６Ｒ及びＢ用収差量生成部１２６Ｂを有する。Ｒ用収差量生成部１２６Ｒは、Ｇ信号を基準としたＲ信号の拡大縮小倍率（収差量）を算出する。また、Ｂ用収差量生成部１２６Ｂは、Ｇ信号を基準としたＢ信号の拡大縮小倍率を算出する。
【００３９】
なお、収差量生成部１２６では、倍率色収差補正の前提として、予め収差量を求めておく必要があることから、特許文献１，２などで採用しているように画像からその収差量（拡大縮小倍率）を推定している。しかし、この例に限らず、レンズの特性をあらかじめ測定しておき、収差量を決定してもよい。
【００４０】
補正部１２０は、収差量生成部１２６により算出された、１つの色成分信号（本例ではＧ信号）を基準とした他の色成分信号（本例ではＲ信号又はＢ信号）の拡大縮小倍率（収差量）に基づく補正倍率を用いて、色収差の補正をする。このとき、補正部１２０は、輝度値の変化方向に対応させてエッジ部分の色収差の補正をしてもよい。
【００４１】
補正部１２０は、主にメモリ部１２１と、相関方向判別／Ｇ補間処理部１２２と、メモリ部１２３と、Ｒ用Ｂ用データ切り替え部１２４と、Ｒ用Ｇアップサンプリング処理部１２５と、メモリ部１２７と、減算器１２８を有する。さらに、メモリ部１２９と、Ｒ用Ｂ用データ切り替え部１３０と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１と、加算器１３２を有する。
【００４２】
相関方向判別／Ｇ補間処理部１２２は、メモリ部１２１から受け取ったＧ信号を利用して、Ｒ又はＢ信号の位相にＧ信号を補間する処理を行う。すなわち、Ｒ又はＢ画素のそれぞれの位置にその近傍のＧ画素の画素値から重みづけ平均値を計算するなどして補間Ｇ信号（以下、「補間Ｇ」という）を生成する。また、後述する適応的な補間処理において利用する相関方向を検出する。
【００４３】
メモリ部１２３は、相関方向判別／Ｇ補間処理部１２２から受け取った補間されていないＧ信号又は補間されたＧ信号（ｇ）を記憶する。
【００４４】
Ｒ用Ｂ用データ切り替え部１２４−１は、Ｒ用収差量生成部１２６Ｒで生成されたＲ用収差量に基づき、ずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をメモリ部１２３より選択し、後段のＲ用Ｇアップサンプリング処理部１２５に供給する。Ｂについて倍率色収差補正処理を行う場合には、Ｂ用収差量生成部１２６Ｂで生成されたＢ用収差量に基づき、同様の処理を行う。
また、Ｒ用Ｂ用データ切り替え部１２４−２は、Ｒ用収差量生成部１２６Ｒで生成されたＲ用収差量に基づき、ずれた位置にあるＲ´の画素値（Ｒ´信号）をメモリ部１２７より選択し、後段の減算器１２８に供給する。Ｂについて倍率色収差補正処理を行う場合には、Ｂ用収差量生成部１２６Ｂで生成されたＢ用収差量に基づき、同様の処理を行う。
【００４５】
Ｒ用Ｇアップサンプリング処理部１２５は、Ｒ用Ｂ用データ切り替え部１２４−１で選択されたずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、収差量分離れた位置にあるＲ´信号と同位相のｇ´信号を導出する。なお、Ｒ用Ｇアップサンプリング処理部１２５は、Ｂ用収差量データに切り替えられた場合、Ｂ用Ｇアップサンプリング処理部として機能する。
【００４６】
アップサンプリングの手法としては、既存の静的フィルタを作用させる方法があり、bilinear, bicubic, b-spline, lanczos等のフィルタを適用して演算を行う。ソフトウェア若しくはハードウェアの制約（負荷）と画質の兼ね合いを判断して、最適なフィルタを選択すればよい。
【００４７】
ここで、Ｒ用Ｇアップサンプリング処理部１２５において、アップサンプリングの性能を向上させるため、アップサンプリング前にＲ又はＢの位置にあらかじめ相関方向検出を応用して適応的にフィルタを切り替えフィルタ演算を行い、補間を行う。それにより、画像のより高画質化が図られる。例えば適応的補間としては、ｄｅ−ｂａｙｅｒ処理でよく使われるＺｉｇｚａｇ補間などがある。
【００４８】
また、エッジの方向性を判断して補間するエッジ方向補間方法などを用いてもよい。例えばＢの位置にＧ信号を補間する場合に、Ｂの周囲の画素を見て、好ましい補間方向を判断する。具体的には、下記の式（１）及び式（２）を用いて水平（Ｈi,j）と垂直（Ｖi,j）のＧの勾配ΔＨi,j,ΔＶi,jを計算する。そして、式（３）及び式（４）に示すように、ΔＨi,jとΔＶi,jとを比較してどちらかが一定の閾値以下であれば、小さい方の隣接画素の平均を用いる。さらに、式（５）に示すように、両方向の勾配が同じであれば両方向の平均を用いる。
【００４９】
【数１】
【数２】
【数３】
【数４】
【数５】
【００５０】
メモリ部１２７は、Ｒ用Ｂ用データ切り替え部１２４によるＲ用収差量データとＢ用収差量データの切り替えに合わせて、Ｒ又はＢ信号（すなわち収差量分離れた位置にあるＲ´又はＢ´信号）を出力する。
【００５１】
減算器１２８は、Ｒ用Ｂ用データ切り替え部１２４においてＲ用収差量データに切り替えられた場合に、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する。なお、Ｂ用収差量データに切り替えられた場合、Ｇ色差（ｃ´＝Ｂ´−ｇ´）を生成する。
【００５２】
メモリ部１２９は、減算器１２８から受け取ったＧ色差（ｃ´＝Ｒ´−ｇ´）を記憶する。
【００５３】
Ｒ用Ｂ用データ切り替え部１３０は、Ｒ用Ｂ用データ切り替え部１２４と同様に、Ｒ用収差量データとＢ用収差量データを切り替えて、次段のＧ色差（Ｒ−Ｇ）アップサンプリング処理部１３１に供給する。
【００５４】
Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１は、Ｒ用Ｂ用データ切り替え部１３０においてＲ用収差量データに切り替えられた場合に、Ｇ色差（ｃ´）をアップサンプリングし、補正量（収差量に相当）分離れた本来のＲの位置にＧ色差（ｃ）を導出する。なお、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１は、Ｂ用収差量データに切り替えられた場合、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部として機能する。
【００５５】
ここで、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１においても、Ｒ用Ｇアップサンプリング処理部１２５と同様に、アップサンプリングの性能を向上させるため、アップサンプリング前に色差信号の相関方向検出に基づく適応的なフィルタ演算を行ってもよい。
【００５６】
加算器１３２は、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、倍率色収差補正を施したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る。また、補正部１２０は、メモリ部１２３に記憶されている補間されていないＧ信号を得る。なお、Ｂ用収差量データに切り替えられた場合、Ｂ信号（Ｂｎｅｗ＝ｃ＋ｇ）を得る。
【００５７】
所定のフレームレートに基づいて画像を左上からラスタースキャンで読み出し処理をするような場合、単板式イメージセンサで生成される画像には１画素当たりＲ又はＢもしくはＧのいずれかが入力されることになる。これらを図５中の各メモリ部に蓄え各ブロックの処理を行う。これらのブロックをハードウェアで実現する場合、データが滞ることなく処理するには各ブロックが１画素に対して必要な処理を行っていけばよいため、相関方向判別／Ｇ補間処理、Ｇアップサンプリング処理、Ｇ色差アップサンプリング処理も１画素ずつ行ってゆけばよい。
【００５８】
また、各メモリ部の容量は、収差量（補正量）の最大値を考慮して設定しておく必要がある。このメモリ容量は多ければ多いほど、大きな倍率色収差のずれを補正することができる。
【００５９】
（１．１．ベイヤ配列に適用した場合（第１例））
［倍率色収差の補正方法］
次に、第１の実施形態の第１例に係る、倍率色収差の補正方法について説明する。
図６は、第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。図７Ａ〜Ｃは、第１の実施形態の第１例に係る、ベイヤ配列に対する倍率色収差補正処理の説明図である。
【００６０】
本実施形態では、イメージセンサ１０１から出力されるＲＡＷデータにおいて倍率色収差の検出と補正を行うとする。ベイヤ配列では、Ｇの画素がＲ，Ｂ画素の２倍あり、しかも市松状に配列されている。これに対して、Ｒ，Ｂ画素は格子状配列である（図１参照）。本開示は、ベイヤ配列に限られるものではないが、簡単のためベイヤ配列を例に説明する。その他の単板式イメージセンサにおいても、単板式イメージセンサ上の最も多い画素をＧ、その他の画素をＲ，Ｂとすると同様の処理を行うことができる。
【００６１】
以下、ベイヤ配列のＲについて倍率色収差補正処理を行う場合を説明する。
図６における倍率色収差補正処理の前提として、前処理部１０２のＲ用収差量生成部１２６Ｒにより、色ずれ量と画像中心（光軸に対応）からの距離に基づいてＧ信号を基準としたＲ信号の拡大縮小倍率（収差量）が算出されている。
【００６２】
まず相関方向判別／Ｇ補間処理部１２２により、ベイヤ配列の補正対象のＲの画素の位置（図２Ａ，図７Ａ参照）にその近傍のＧから補間Ｇ信号（ｇ）を生成する（ステップＳ１）。このとき、相関方向に基づく適応的補間を行ってもよい。
【００６３】
続いて、Ｒ用Ｇアップサンプリング処理部１２５により、Ｒ用Ｂ用データ切り替え部１２４から供給されるずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、収差量分離れた位置にあるＲ´と同位相のｇ´信号を導出する（ステップＳ２）。
【００６４】
次に、減算器１２８により、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する（ステップＳ３）。
【００６５】
そして、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用Ｂ用データ切り替え部１３０から供給されるＲ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量（収差量に相当）分離れた位置にある本来のＲの位置にＧ色差（ｃ）を導出する（ステップＳ４）。
【００６６】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る（ステップＳ５）。
【００６７】
ベイヤ配列上のすべてのＲについて上記画素ずらしを行って倍率色収差を補正する。Ｂについても同様に画素ずらしを行い、倍率色収差補正を施したＢ信号（Ｂｎｅｗ）を得る。
【００６８】
本実施形態の第１例によれば、単板式のイメージセンサ（ベイヤ配列）より得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【００６９】
［従来手法と本開示の倍率色収差補正の比較］
図８は、倍率色収差が発生した画像の例である。図９は、図８に示した画像（ＲＡＷデータ）に対し、従来の手法（図２参照）を用いて色分離する前に倍率色収差補正を行った場合の画像の例（従来手法１）である。図１０は、図８に示した画像（ＲＡＷデータ）に対し、色分離した後に従来の手法（図２参照）を用いて倍率色収差補正を行った場合の画像の例（従来手法２）である。
【００７０】
図８の画像では、倍率色収差が発生しなければ本来ＲＧＢのエッジ１Ｒ，１Ｇ，１Ｂが重なり、各色が合成されて白色になるはずだが、倍率色収差が発生しているために、Ｇのエッジ１Ｇを基準にしたときに、Ｒのエッジ１ＲとＢのエッジ１Ｂが大きくずれている。Ｌは画像中心（光軸に対応）を表す。
図９の画像では、Ｇのエッジ２ＧとＲ，Ｂのエッジ２Ｒ，２Ｂが倍率色収差によりわずかにずれてにじんでおり、色がついている。
図１０の画像では、色分離後に収差補正を行ったが、Ｇのエッジ２Ｇに対するＲ，Ｂのエッジ２Ｒ，２Ｂの倍率色収差が改善されていない。
【００７１】
図１１は、図８に示した画像（ＲＡＷデータ）に対し、第１の実施形態の第１例に係る倍率色収差補正方法を適用した場合の画像の例である。
図１１の画像では、ＲＧＢのエッジ１Ｒ，１Ｇ，１Ｂが精度よく重なっているので、各エッジの色が合成されて白色になっている。すなわち、ＲやＢ（エッジ）がぼやけず、高い精度の倍率色収差補正が施されていると言える。
【００７２】
（１．２．倍密ベイヤ配列に適用した場合（第２例））
次に、第１の実施形態の第２例に係る、倍密ベイヤ配列に対する倍率色収差の補正方法について説明する。倍密ベイヤ配列は、ベイヤ配列のままで画素配列だけ４５度傾けたものである。
【００７３】
図１２は、倍密ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。出力画素の数は入力画素（ＲＡＷデータ）の数の半分となる。
【００７４】
図１３は、第１の実施形態の第２例に係る、倍密ベイヤ配列に対する倍率色収差補正処理を示すフローチャートである。以下、倍密ベイヤ配列のＲについて倍率色収差補正処理を行う場合を説明する。
図１３における倍率色収差補正処理の前提として、前処理部１０２のＲ用収差量生成部１２６Ｒにより、色ずれ量と画像中心（光軸に対応）からの距離に基づいてＧ信号を基準としたＲ信号の拡大縮小倍率（収差量）が算出されている。
【００７５】
まずＲ用Ｇアップサンプリング処理部１２５により、Ｒ用Ｂ用データ切り替え部１２４から供給されるずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、Ｒから収差量分離れた位置にあるＲ´と同位相のｇ´信号を導出する（ステップＳ１１）。
【００７６】
続いて、減算器１２８により、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する（ステップＳ１２）。
【００７７】
次に、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用Ｂ用データ切り替え部１３０から供給されるＲ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にある本来のＲの位置にＧ色差（ｃ）を導出する（ステップＳ１３）。
【００７８】
そして、相関方向判別／Ｇ補間処理部１２２により、倍密ベイヤ配列（図１２参照）の補正対象のＲの画素の位置にその近傍のＧから補間Ｇ信号（ｇ）を生成する（ステップＳ１４）。このとき、相関方向に基づく適応的補間を行ってもよい。
【００７９】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る（ステップＳ１５）。
【００８０】
倍密ベイヤ配列上のすべてのＲについて上記画素ずらしを行って倍率色収差を補正する。Ｂについても同様に画素ずらしを行い、倍率色収差補正を施したＢ信号（Ｂｎｅｗ）を得る。
【００８１】
本実施形態の第２例によれば、倍密ベイヤ配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【００８２】
（１．３．クリアビッド配列に適用した場合（第３例））
次に、第１の実施形態の第３例に係る、クリアビッド配列（ClearVid:登録商標）に対する倍率色収差の補正方法について説明する。
【００８３】
図１４は、クリアビッド配列で配置されたＲＧＢ各色の画素（入力画素）を示す説明図である。Ｇの画素をＲ，Ｂの画素より６倍多くし、Ｒ，Ｂの画素の周囲を取り囲むように配置した（水平及び垂直の方向において、Ｇを２ｄの間隔で配置し、Ｒ画素及びＢ画素を各々４ｄの間隔で配置した）配列である。
【００８４】
図１５は、クリアビッド配列で配置されたＲＧＢ各色の画素による出力画素のイメージを示す説明図である。出力画素の数は入力画素（ＲＡＷデータ）の２倍となる。
【００８５】
図１６は、第１の実施形態の第３例に係る、クリアビッド配列に対する倍率色収差補正処理を示すフローチャートである。ここでは、図１５に示したクリアビッド配列（出力画素）のＲについて倍率色収差補正処理を行う場合を説明する。
図１６における倍率色収差補正処理の前提として、前処理部１０２のＲ用収差量生成部１２６Ｒにより、色ずれ量と画像中心（光軸に対応）からの距離に基づいてＧ信号を基準としたＲ信号の拡大縮小倍率（収差量）が算出されている。
【００８６】
まず相関方向判別／Ｇ補間処理部１２２により、クリアビッド配列の補正対象のＲの画素（図１５参照）と空白の画素の各々に、その近傍のＧから補間Ｇ信号（ｇ）を生成する（ステップＳ２１）。このとき、相関方向に基づく適応的補間を行ってもよい。
【００８７】
続いて、Ｒ用Ｇアップサンプリング１２５により、Ｒ用Ｂ用データ切り替え部１２４から供給されるずれた位置にあるＲ´周辺のＧ画素の画素値（Ｇ´信号）をアップサンプリングし、収差量分離れた位置にあるＲ´と同位相のｇ´信号を導出する（ステップＳ２２）。
【００８８】
次に、減算器１２８により、Ｒ用Ｇアップサンプリング処理部１２５から受け取ったｇ´信号と、メモリ部１２７から受け取ったＲ´信号の差分をとり、Ｇ色差（ｃ´＝Ｒ´−ｇ´）を生成する（ステップＳ２３）。
【００８９】
そして、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用Ｂ用データ切り替え部１３０から供給されるＲ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にある本来のＲの位置にＧ色差（ｃ）を導出する（ステップＳ２４）。
【００９０】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＲ信号（Ｒｎｅｗ＝ｃ＋ｇ）を得る（ステップＳ２５）。
【００９１】
クリアビッド配列上のすべてのＲについて上記画素ずらしを行って倍率色収差を補正する。Ｂについても同様に画素ずらしを行い、倍率色収差補正を施したＢ信号（Ｂｎｅｗ）を得る。
【００９２】
本実施形態の第３例によれば、クリアビッド配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【００９３】
＜２．第２の実施形態＞
倍率色収差補正の際に色分離も同時に行う場合には、同時にＲＧＢの色成分信号を出力することになるので、Ｇ色差をアップサンプリング処理するブロックをＲ用とＢ用で別に持つ必要がある。そこで、第２の実施形態は、第１の実施形態における前処理部１０２（図５参照）に対して、色分離機能を持つブロックを設けている。
【００９４】
［前処理部の構成例］
図１７は、第２の実施形態に係る前処理部の内部構成を示すブロック図である。
前処理部１０２Ａは、第１の実施形態に係る前処理部１０２に対して、Ｒ用Ｂ用データ切り替え部１３０を削除し、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１と加算器１４２が追加された補正部１２０Ａを備える点が異なる。以下、この相違点を中心に説明する。
【００９５】
Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１は、Ｒ用収差量生成部１２６Ｒから供給されるＲ用収差量データに基づいて、メモリ部１２９から読み出したＧ色差（ｃ´）をアップサンプリングし、補正量分離れた本来のＲの位置にＧ色差（ｃ）を導出する。
【００９６】
Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１は、Ｂ用収差量生成部１２６Ｂから供給されるＢ用収差量データに基づいて、メモリ部１２９から読み出したＧ色差（ｃ´）をアップサンプリングし、補正量分離れた本来のＢの位置にＧ色差（ｃ）を導出する。
【００９７】
加算器１４２は、相関方向判別／Ｇ補間処理部１２２で生成したｇと、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１で生成したＧ色差（ｃ）を加算し、画素ずらしを行って倍率色収差補正したＢ信号（Ｂｎｅｗ＝ｃ＋ｇ）を得る。
【００９８】
（２．１．ベイヤ配列に適用した場合（第１例））
次に、第２の実施形態の第１例に係る、色分離を伴う倍率色収差の補正方法について説明する。
図１８は、第２の実施形態の第１例に係る、ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【００９９】
以下、ベイヤ配列のＲについて色分離を伴う倍率色収差補正処理を行う場合を説明する。
図１８のステップＳ３１〜ステップＳ３３の処理は、図６のステップＳ１〜ステップＳ３の処理と同じであるので、説明を割愛する。
【０１００】
ステップＳ３３の処理が終了後、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にあるベイヤ配列上の全ての位置にＧ色差（ｃ）を導出する（ステップＳ３４）。
【０１０１】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号若しくはベイヤ配列上に元々存在するＧのＧ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算する。そして、画素ずらしによる倍率色収差補正と色分離を行ったＲ信号（Ｒｎｅｗ＝ｃ＋ｇ又はｃ＋Ｇ）を得る（ステップＳ３５）。
【０１０２】
ベイヤ配列上のすべてのＲに加え出力する全ての位置について上記画素ずらしによる倍率色収差補正と色分離を行う。Ｂについても同様に、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１，加算器１４２を用い、画素ずらしによる倍率色収差補正と色分離を行ったＢ信号（Ｂｎｅｗ）を得る。
【０１０３】
このように、ベイヤ配列上のＲ（Ｂ）の位置だけでなく、出力する全ての位置のＧ色差を求め、それらの位置にＧを補間し、補間Ｇと加算することによって、補正したベイヤ配列を経由することなく色分離まで行うことができる。
【０１０４】
本実施形態の第１例によれば、ベイヤ配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正と色分離を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【０１０５】
（２．２．倍密ベイヤ配列に適用した場合（第２例））
次に、第２の実施形態の第２例に係る、色分離を伴う倍率色収差の補正方法について説明する。
図１９は、第２の実施形態の第２例に係る、倍密ベイヤ配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【０１０６】
以下、倍密ベイヤ配列のＲについて色分離を伴う倍率色収差補正処理を行う場合を説明する。
図１９のステップＳ４１〜ステップＳ４２の処理は、図１３のステップＳ１１〜ステップＳ１２の処理と同じであるので、説明を割愛する。
【０１０７】
ステップＳ４２の処理が終了後、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にある倍密ベイヤ配列上のＧの位置にＧ色差（ｃ）を導出する（ステップＳ４３）。Ｇ画素はＲＡＷデータの画素のうちの半分あり、そのままのＧを使えばＧを補間する必要がない。
【０１０８】
最後に、加算器１３２により、倍密ベイヤ配列上に元々存在するＧのＧ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算する。そして、画素ずらしによる倍率色収差補正と色分離を行ったＲ信号（Ｒｎｅｗ＝ｃ＋Ｇ）を得る（ステップＳ４４）。
【０１０９】
倍密ベイヤ配列上のすべてのＲに加え出力する全ての位置について上記画素ずらしによる倍率色収差補正と色分離を行う。Ｂについても同様に、Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部１４１，加算器１４２を用い、画素ずらしによる倍率色収差補正と色分離を行ったＢ信号（Ｂｎｅｗ）を得る。
【０１１０】
本実施形態の第２例によれば、倍密ベイヤ配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正と色分離を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【０１１１】
（２．３．クリアビッド配列に適用した場合（第３例））
次に、第２の実施形態の第３例に係る、色分離を伴う倍率色収差の補正方法について説明する。
図２０は、第２の実施形態の第３例に係る、クリアビッド配列に対する色分離を伴う倍率色収差補正処理を示すフローチャートである。
【０１１２】
以下、クリアビッド配列のＲについて色分離を伴う倍率色収差補正処理を行う場合を説明する。
図２０のステップＳ５１〜ステップＳ５３の処理は、図１６のステップＳ２１〜ステップＳ２３の処理と同じであるので、説明を割愛する。
【０１１３】
ステップＳ５３の処理が終了後、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１により、Ｒ用収差量データを基に、Ｇ色差（ｃ´）をアップサンプリングし、補正量分離れた位置にあるクリアビッド配列上の全ての位置にＧ色差（ｃ）を導出する（ステップＳ５４）。
【０１１４】
最後に、加算器１３２により、相関方向判別／Ｇ補間処理部１２２で生成したｇ信号若しくはクリアビッド配列上に元々存在するＧのＧ信号と、Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部１３１で生成したＧ色差（ｃ）を加算する。そして、画素ずらしによる倍率色収差補正と色分離を行ったＲ信号（Ｒｎｅｗ＝ｃ＋ｇ又はｃ＋Ｇ）を得る（ステップＳ５５）。
【０１１５】
本実施形態の第３例によれば、クリアビッド配列のイメージセンサより得られる高周波成分（エッジ）を含む画像（ＲＡＷデータ）に対して倍率色収差補正と色分離を行う場合にも、Ｇ以外の画素（例えばＲやＢ）がぼやけず、高い精度の倍率色収差補正を実現できる。
【０１１６】
なお、上述した第１及び第２の実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。
【０１１７】
また、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（例えば図４のメモリ１０７や記録デバイス１１１）を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【０１１８】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１１９】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【０１２０】
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【０１２１】
なお、本開示は以下のような構成も取ることができる。
（１）
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
画像処理装置。
（２）
前記補正部は、
前記基準色の画素の間にある前記他の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量を基に、前記基準色の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
前記他の色成分信号と前記アップサンプリング後の前記基準色の補間色成分信号の差分をとって色差信号を生成する色差生成部と、
前記収差量を基に、前記色差信号をアップサンプリングする色差アップサンプリング処理部と、
前記基準色の補間色成分信号と前記アップサンプリング後の色差信号を加算し、前記他の色の画素における補正後の色成分信号を生成する補正色成分信号生成部と、を更に備える
前記（１）に記載の画像処理装置。
（３）
前記画像データは、単板式イメージセンサより得られるカラー画像データである
前記（２）に記載の画像処理装置。
（４）
前記基準色の色成分信号が緑色信号であり、前記他の色成分信号は赤色信号又は青色信号である
前記（３）に記載の画像処理装置。
（５）
前記補正部は、
前記基準色の画素の間にある第１又は第２の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量生成部が算出する第１又は第２の色成分信号の収差量を基に、前記基準色の第１又は第２の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
第１又は第２の色成分信号と前記アップサンプリング後の前記基準色の第１又は第２の補間色成分信号の差分をとって第１又は第２の色差信号を生成する色差生成部と、
第１の色成分信号の収差量を基に、第１の色差信号をアップサンプリングする第１の色差アップサンプリング処理部と、
第２の色成分信号の収差量を基に、第２の色差信号をアップサンプリングする第２の色差アップサンプリング処理部と、
前記基準色の第１の補間色成分信号と前記アップサンプリング後の第１の色差信号を加算し、第１の色の画素における補正後の色成分信号を生成する第１の補正色成分信号生成部と、
前記基準色の第２の補間色成分信号と前記アップサンプリング後の第２の色差信号を加算し、第２の色の画素における補正後の色成分信号を生成する第２の補正色成分信号生成部と、を更に備える
前記（１）に記載の画像処理装置。
（６）
基準色の画素数が他の色より多い単板式イメージセンサと、
前記イメージセンサより得られる画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
撮像装置。
（７）
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出し、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する
画像処理方法
（８）
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する処理と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成する処理と、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する処理を、
コンピュータに実行させるためのプログラム。
【０１２２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２３】
例えば、本実施形態の画像処理は、ベイヤ配列、倍密ベイヤ配列あるいはクリアビッド配列によるＲＡＷデータを用いるとしたが、それらの配列以外の画素配列である場合も適用できる。具体的には、色ずれ検出時に、Ｇ信号を補間する際に使用するＧ信号の参照位置がそれらの配列以外の画素配列依存となり、補間時に、Ｒ信号又はＢ信号を補間する際に使用するＲ信号又はＢ信号の参照位置がそれらの配列以外の画素配列依存となる。
【０１２４】
また、本実施形態の画像処理は、撮像装置１００において行われる場合について説明したが、本開示はこの例に限定されない。例えば、撮像装置による撮影で取得されたＲＡＷデータを外部に出力して、例えばテレビジョン受像機やパーソナルコンピュータなどで上述した本実施形態の画像処理を適用することができる。
【符号の説明】
【０１２５】
１００…撮像装置、１０１…イメージセンサ、１０２…前処理部、１２０…補正部、１２１，１２３，１２７，１２９…メモリ部，１２２…相関方向判別／Ｇ補間処理部、１２４−１，１２４−２…Ｒ用Ｂ用データ切り替え部、１２５…Ｒ用Ｇアップサンプリング処理部、１２６…収差量生成部、１２６Ｒ…Ｒ用収差量生成部、１２６Ｂ…Ｒ用収差量生成部、１２８…減算器、１３０…Ｒ用Ｂ用データ切り替え部、１３１…Ｇ色差（Ｒ−Ｇ）アップサンプリング処理部、１３２…加算器、１４１…Ｇ色差（Ｂ−Ｇ）アップサンプリング処理部、１４２…加算器
【特許請求の範囲】
【請求項１】
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
画像処理装置。
【請求項２】
前記補正部は、
前記基準色の画素の間にある前記他の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量を基に、前記基準色の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
前記他の色成分信号と前記アップサンプリング後の前記基準色の補間色成分信号の差分をとって色差信号を生成する色差生成部と、
前記収差量を基に、前記色差信号をアップサンプリングする色差アップサンプリング処理部と、
前記基準色の補間色成分信号と前記アップサンプリング後の色差信号を加算し、前記他の色の画素における補正後の色成分信号を生成する補正色成分信号生成部と、を更に備える
請求項１に記載の画像処理装置。
【請求項３】
前記画像データは、単板式イメージセンサより得られるカラー画像データである
請求項２に記載の画像処理装置。
【請求項４】
前記基準色の色成分信号が緑色信号であり、前記他の色成分信号は赤色信号又は青色信号である
請求項３に記載の画像処理装置。
【請求項５】
前記補正部は、
前記基準色の画素の間にある第１又は第２の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量生成部が算出する第１又は第２の色成分信号の収差量を基に、前記基準色の第１又は第２の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
第１又は第２の色成分信号と前記アップサンプリング後の前記基準色の第１又は第２の補間色成分信号の差分をとって第１又は第２の色差信号を生成する色差生成部と、
第１の色成分信号の収差量を基に、第１の色差信号をアップサンプリングする第１の色差アップサンプリング処理部と、
第２の色成分信号の収差量を基に、第２の色差信号をアップサンプリングする第２の色差アップサンプリング処理部と、
前記基準色の第１の補間色成分信号と前記アップサンプリング後の第１の色差信号を加算し、第１の色の画素における補正後の色成分信号を生成する第１の補正色成分信号生成部と、
前記基準色の第２の補間色成分信号と前記アップサンプリング後の第２の色差信号を加算し、第２の色の画素における補正後の色成分信号を生成する第２の補正色成分信号生成部と、を更に備える
請求項１に記載の画像処理装置。
【請求項６】
基準色の画素数が他の色より多い単板式イメージセンサと、
前記イメージセンサより得られる画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
撮像装置。
【請求項７】
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出し、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する
画像処理方法。
【請求項８】
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する処理と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成する処理と、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する処理を、
コンピュータに実行させるためのプログラム。
【請求項１】
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
画像処理装置。
【請求項２】
前記補正部は、
前記基準色の画素の間にある前記他の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量を基に、前記基準色の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
前記他の色成分信号と前記アップサンプリング後の前記基準色の補間色成分信号の差分をとって色差信号を生成する色差生成部と、
前記収差量を基に、前記色差信号をアップサンプリングする色差アップサンプリング処理部と、
前記基準色の補間色成分信号と前記アップサンプリング後の色差信号を加算し、前記他の色の画素における補正後の色成分信号を生成する補正色成分信号生成部と、を更に備える
請求項１に記載の画像処理装置。
【請求項３】
前記画像データは、単板式イメージセンサより得られるカラー画像データである
請求項２に記載の画像処理装置。
【請求項４】
前記基準色の色成分信号が緑色信号であり、前記他の色成分信号は赤色信号又は青色信号である
請求項３に記載の画像処理装置。
【請求項５】
前記補正部は、
前記基準色の画素の間にある第１又は第２の色の画素の位置に前記基準色の色成分信号を補間する基準色補間処理部と、
前記収差量生成部が算出する第１又は第２の色成分信号の収差量を基に、前記基準色の第１又は第２の補間色成分信号をアップサンプリングする基準色アップサンプリング処理部と、
第１又は第２の色成分信号と前記アップサンプリング後の前記基準色の第１又は第２の補間色成分信号の差分をとって第１又は第２の色差信号を生成する色差生成部と、
第１の色成分信号の収差量を基に、第１の色差信号をアップサンプリングする第１の色差アップサンプリング処理部と、
第２の色成分信号の収差量を基に、第２の色差信号をアップサンプリングする第２の色差アップサンプリング処理部と、
前記基準色の第１の補間色成分信号と前記アップサンプリング後の第１の色差信号を加算し、第１の色の画素における補正後の色成分信号を生成する第１の補正色成分信号生成部と、
前記基準色の第２の補間色成分信号と前記アップサンプリング後の第２の色差信号を加算し、第２の色の画素における補正後の色成分信号を生成する第２の補正色成分信号生成部と、を更に備える
請求項１に記載の画像処理装置。
【請求項６】
基準色の画素数が他の色より多い単板式イメージセンサと、
前記イメージセンサより得られる画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する収差量生成部と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する補正部と、を備える
撮像装置。
【請求項７】
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出し、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成し、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する
画像処理方法。
【請求項８】
画像データに含まれる画素信号の輝度値に基づいて、前記画像データに含まれる他の色より画素数の多い基準色の色成分信号の位置を基準とした他の色成分信号の収差量を算出する処理と、
前記他の色成分信号と前記基準色の色成分信号から色差信号を生成する処理と、
前記収差量に基づいて、前記色差信号を用いて前記基準色の画素の間にある他の色の画素の色成分信号の色収差を補正する処理を、
コンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−１７１４２（Ｐ２０１３−１７１４２Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１５０４０１（Ｐ２０１１−１５０４０１）
【出願日】平成２３年７月６日（２０１１．７．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月６日（２０１１．７．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]