色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
【課題】少ない計算回数で、迅速かつ正確に、画像を構成する画素毎の色収差量を算出して適切に色収差補正を行うことができるようにする。
【解決手段】処理対象の画像（１フレームの画像）を構成する各画素について、白とびマップメモリ６５４ＷＭの白とびマップに基づいて、演算部６５４Ｃが白とびの画素か否かを判別し、白とびの画素であると判別した画素については、その画素を注目画素とした場合の色収差分布情報を、演算部６５４Ｃが色収差マップメモリ６５４ＣＭから読み出し、これを色収差色収差量格納メモリの対応する記憶領域に加算する。
【解決手段】処理対象の画像（１フレームの画像）を構成する各画素について、白とびマップメモリ６５４ＷＭの白とびマップに基づいて、演算部６５４Ｃが白とびの画素か否かを判別し、白とびの画素であると判別した画素については、その画素を注目画素とした場合の色収差分布情報を、演算部６５４Ｃが色収差マップメモリ６５４ＣＭから読み出し、これを色収差色収差量格納メモリの対応する記憶領域に加算する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの画像を処理する装置、当該装置において用いられ、画像に含まれる色収差の補正処理に用いて好適な装置、方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ、あるいは、携帯電話端末などに搭載されるカメラモジュールなど、種々の電子カメラが広く利用されるようになってきている。そして、近年においては、電子カメラは小型化、高倍率化、多画素化を実現すると共に、撮影した画像がより高画質であることが要求されている。
【０００３】
しかしながら、小型化、高倍率化、かつ多画素化に対応した高いＭＴＦ（Modulation Transfer Function）特性をもつレンズを製造することが非常に困難になってきている。例えば、レンズを小型にすることで、画面の位置や波長によって合焦位置がズレる「収差」の問題が発生する。また、画面の端に行くにつれて入射光量が減衰する「シェーディング」の問題や、画面の位置によって歪みが生じる「ディストーション」の問題など様々な問題が発生する。
【０００４】
その中でレンズ特有の問題の１つに挙げられる収差、特に色収差に関して、信号処理で補正を行う技術が、後に記す特許文献１において提案されている。この特許文献１に記載された技術は、輝度信号の信号レベルに基づいて、白とび画素か否かを、画像を構成する画素毎に判定し、その判定結果を白とび情報として保持し、当該白とび情報に基づいて、注目画素に対する周囲の白とび画素の分布を示す白とびマップを作成して保持する。そして、当該技術は、上述したように保持される白とびマップと、予め生成される色収差量の分布を示す色収差マップとを用いて周囲の白とび画素による注目画素の色収差量の積分値を算出し、これを用いて色収差を適切に補正するものである。
【０００５】
なお、上述した特許文献１は以下に示す通りである。
【特許文献１】特開２００７−１３３５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した特許文献１では、注目画素の色収差量を以下のようにして求めている。上述したように生成して保持される白とびマップと、予め用意される注目画素周辺の色収差の補正量（色収差量）に関する情報である色収差マップとから、注目画素周囲の探索範囲内に白とび画素がある場合には、その白とび画素の色収差補正値を色収差マップから取り出し、このようにして取り出す白とび画素の色収差補正値を積分して注目画素の色収差量を算出している。
【０００７】
しかしながら、色収差量を求めるための演算量は非常に大きい。例えば、２００×１５０画素の画像の色収差量を求める場合を考える。ここで、注目画素周囲の白とび探索範囲を９×９画素、白とび含有率（全画素中、白とびと判定された画素の割合）を１０％とする。
【０００８】
この場合、注目画素１画素の色収差量を演算するためには、注目画素を基準にして決まる白とび探索範囲（９×９画素）の全ての画素が白とびか否かを判定しなければならない。このため、１つの注目画素についての色収差量を算出するためには、８１回の白とび判定処理が必要になる。また、９×９画素の内の１０％（８．１画素）が白とびであるとすると、１つの注目画素についての色収差量を算出するためには、８．１個の白とび画素の色収差補正値を積分（加算）する必要がある。すなわち、各画素の色収差量を求めるための色収差補正値の加算回数は、８．１回ということになる。
【０００９】
これを画像を構成する全画素（２００×１５０画素）に対して行うことになるので、全画素では８１×２００×１５０＝２、４３０、０００回の白とび判定処理（比較処理）と、８．１×２００×１５０＝２４３、０００回の色収差補正値（色収差量）の加算処理が必要となる。このような計算を、１画面を形成する画像毎に行うのは、大変な計算量になってしまう。
【００１０】
なお、隣接する画素同士では探索範囲が９×８画素重なるため、１画素について色収差量の演算を行えば、その隣の画素については新たに探索する範囲は９画素で済むと考えられる。この場合、１画素の色収差量を演算するのに、９回の比較、及び０．９回の加算となり、全画素（２００×１５０画素）では９×２００×１５０＝２７０，０００回の比較、０．９×２００×１５０＝２７，０００回の加算となる。
【００１１】
しかし、「倍率色収差（色によって像の倍率が変わり、異なる場所に結像してしまう現象）」を考慮して、画面内の位置により色収差マップ等を補正するようにした場合、上述した隣接する画素どうしの収差演算結果の共有方法は使えない。つまり、倍率色収差を適切に補正しようとすれば、画像を構成する画素毎に異なる色収差マップが存在することになり、既に行われた計算結果をそのまま用いることができずに、最初から演算する必要が生じる。
【００１２】
このため、倍率色収差についても適切に補正することができるようにするために、隣接する画素どうしの収差演算結果の共有を行うことができなくても、できるだけ少ない計算で、画素毎の色収差量を迅速かつ正確に求めるようにしたいとする要求がある。
【００１３】
以上のことに鑑み、この発明は、少ない計算回数で、迅速かつ正確に、画像を構成する画素毎の色収差量を算出して適切に色収差補正を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、請求項１に記載の発明の色収差補正装置は、
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正装置であって、
特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段を備え、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別部と、
前記判別部により白とび画素であると判別された画素について、当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し部と、
前記読み出し部により読み出された前記色収差分布情報を、前記色収差格納部の対応する記憶領域に加算処理する加算部と
を備えることを特徴とする。
【００１５】
この請求項１に記載の色収差補正装置によれば、処理対象の画像（１フレームの画像）を構成する各画素について、白とび分布情報記憶部の白とび分布情報に基づいて、判別部により白とびの画素か否かが判別され、白とびの画素であると判別された画素については、その画素を注目画素とした場合の色収差分布情報が、読み出し部により色収差分布情報記憶部から読み出され、この読み出された色収差分布情報が加算部により、色収差量格納部の対応する記憶領域に加算するようにされる。
【００１６】
これにより、画像を構成する各画素の色収差量を算出するために、画像を構成する画素毎に白とび画素か否かを判断すればよいので、色収差量を算出するための従来の方法、すなわち、画像を構成する画素毎に探索範囲（例えば９×９画素の範囲）の各画素が白とびか否かを判別する場合に比べて、格段に計算量を減らすことができるようにされる。
【００１７】
また、請求項２に記載の発明の色収差補正装置は、請求項１に記載の色収差補正装置であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする。
【００１８】
この請求項２に記載の発明の色収差補正装置によれば、倍率色収差の補正が可能なように、画像を構成する画素毎に、色収差の補正を行う注目画素の画面内の位置に応じて設定された色収差分布情報が用いられる。
【００１９】
これにより、倍率色収差の補正も適正に補正することができるようにされる。また、画像を構成する画素毎に異なる色収差分布情報を用いるようにしても、色収差量の算出方式には何ら変更無く、少ない計算量で迅速かつ正確に画像を構成する各画素の色収差量を算出することができるようにされる。
【発明の効果】
【００２０】
この発明によれば、少ない計算回数で、迅速かつ正確に、画像を構成する画素毎の色収差量を算出して適切に色収差補正を行うようにすることができる。
【発明を実施するための最良の形態】
【００２１】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。なお、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュールなどの種々の撮像装置に適用可能なものである。
【００２２】
しかし、以下に説明する実施の形態においては説明を簡単にするため、動画像データの撮影が可能なデジタルビデオカメラ（撮像装置）に適用した場合を例にして説明する。また、以下に説明する撮像装置は、動画像と共に、音声についても取り込んで記録するなどすることができるものであるが、以下の実施の形態においては、説明を簡単にするため、音声信号の処理系についての説明は省略する。
【００２３】
［撮像装置の構成例について］
図１は、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置１００を説明するためのブロック図である。図１に示すように、この実施の形態の撮像装置は、画像信号の処理系として、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部（図１においてはアナログゲインと記載。）１０３、Ａ／Ｄ（Analog/Digital）変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８を備えると共に、制御部１１０、キー操作部１２１、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１２２、外部入出力端子１２３、記録再生処理部１２４、記録媒体１２５を備えたものである。
【００２４】
制御部１１０は、この実施の形態の撮像装置１００の各部を制御するものであり、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１１４が、ＣＰＵバス１１５を通じて接続されて構成されたマイクロコンピュータである。
【００２５】
ここで、ＣＰＵ１１１は、後述もするＲＯＭ１１２に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ＲＯＭ１１２は、上述もしたように、ＣＰＵ１１１によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。
【００２６】
ＲＡＭ１１３は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。ＥＥＰＲＯＭ１１４は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの実施の形態の撮像装置１００の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。
【００２７】
また、キー操作部１２１は、例えば、録画スタンバイキー、録画開始キー、録画停止キー、望遠機能の調整キー、その他の各種の調整キーやファンクションキーなどを備え、ユーザーからの操作入力を受け付けて、当該操作入力を電気信号に変換し、これを制御部１１０に供給することができるものである。これにより、制御部１１０は、キー操作部１２１を通じて供給を受けたユーザーからの指示入力に応じて、この撮像装置１００の各部を制御し、ユーザーの意図する処理を行うことができるようにされる。
【００２８】
外部Ｉ／Ｆ１２２及び入出力端子１２３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers,Inc）１３９４規格やＵＳＢ（Universal Serial Bus）規格等に合致したものである。これら外部Ｉ／Ｆ１２２及び入出力端子１２３に対しては、同じ規格のインターフェースを備える例えばパーソナルコンピュータやＰＶＲ（Personal Video Recorder）等の外部機器を接続することができるようにされる。
【００２９】
記録再生処理部１２４は、制御部１１０の制御に応じて、これに供給された画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録されている画像データを読み出して、制御部１１０を通じて表示処理部１０７に供給して再生するようにしたりするなどのことができるものである。
【００３０】
また、記録媒体１２５は、この実施の形態の撮像装置１００においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、内蔵された小型のハードディスク、着脱可能とされた光ディスクなどのディスク記録媒体、着脱可能とされた磁気テープなどである。この実施の形態の撮像装置１００において、記録媒体１２５は、例えば、内蔵された小型のハードディスクである。
【００３１】
なお、記録媒体１２５に記録される画像データは、所定のデータ圧縮方式により圧縮処理されて記録され、また、記録媒体１２５から読み出された画像データは、当該所定のデータ圧縮方式に従って伸張処理されるが、データの圧縮処理や伸張処理は、図示しない圧縮／伸張処理部において行うようにされる。また、このような、画像データの圧縮／伸張機能を、記録再生処理部１２４に設けるようにすることも可能である。
【００３２】
そして、この実施の形態の撮像装置１００においては、画像信号の処理系を通じて、撮影することにより取り込んだ被写体の画像を表示部１０８の表示素子の表示画面に表示して確認しながら撮影を行い、撮影することにより得た画像信号（動画像信号）を記録媒体１２５に記録する記録機能と、記録媒体１２５に記録されている画像信号を読み出して、これを表示部１０８の表示素子の表示画面に表示するようにしたり、あるいは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて外部機器に供給したりする再生機能とを有するものである。
【００３３】
［記録機能（撮影機能）および再生機能について］
まず、この実施の形態の撮像装置１００の記録機能について説明する。図１に示すように、画像信号の処理系を構成する、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部１０３、Ａ／Ｄ変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８のそれぞれは、共通のＣＰＵバス１１５を通じて接続されている。
【００３４】
そして、画像信号の処理系を構成する各処理部間のデータのやり取りは、基本的には、共通のＣＰＵバス１１５を通じて行われる。ただし、ＣＰＵバス１１５を経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でＣＰＵバス１１５を経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。
【００３５】
そして、キー操作部１２１を通じて、動画像の撮影を行うことが指示されると、制御部１１０が各部を制御して動画像の撮影処理を開始する。この場合、レンズ部１０１を通じて撮像素子部１０２の固体撮像素子の結像面に結像された被写体の画像は、順次に当該固体撮像素子により電気信号（アナログ動画像信号）に変換されて、アナログゲイン調整部１０３に供給される。ここで撮像素子部１０２に設けられている固体撮像素子は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。
【００３６】
アナログゲイン調整部１０３供給されたアナログ動画像信号は、ここで当該アナログ動画像信号のゲイン（利得）が所定のレベルとなるようにゲイン調整された後に、Ａ／Ｄ変換記１０４に供給される。そして、Ａ／Ｄ変換器１０４に供給されたアナログ動画像信号は、ここでデジタル動画像信号（デジタルＲａｗ動画像データ）に変換され、検波処理部１０５に供給される。なお、デジタルＲａｗ動画像データは、現像処理されていないままのデジタル動画像データを意味し、撮像素子部２からのアナログ動画像信号がデジタル信号に変換された状態の画像信号である。
【００３７】
検波処理部１０５は、これに供給されたＲａｗ動画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり（現像パラメータ群）を生成し、この生成した現像パラメータ群を、制御部１１０を通じてカメラ信号処理部１０６に供給すると共に、Ｒａｗ動画像データも、カメラ信号処理部１０６に供給する。
【００３８】
カメラ信号処理部１０６では、詳しくは後述するが、黒レベル合わせ処理、ホワイトバランス調整処理、画素毎にＲＧＢデータ（３原色データ）を生成するデモザイク処理（同時化処理）、アパーチャ補正処理、ガンマ（γ）補正処理、輝度信号（Ｙ）と色信号（Ｃｂ、Ｃｒ）への変換処理（Ｙ／Ｃ変換処理）、色収差補正処理、解像度変換処理などを行って、輝度信号Ｙおよび色信号Ｃｂ、Ｃｒを形成する。
【００３９】
カメラ信号処理部１０６で形成された輝度信号Ｙ、色信号Ｃｂ、Ｃｒは、表示処理部１０７に供給され、ここで表示部１０８に供給する形式の動画像信号に変換されて表示部１０８に供給される。これにより表示部１０８の表示素子の表示画面には、撮影するようにされた被写体の動画像が表示するようにされる。
【００４０】
同時に、カメラ信号処理部１０６で形成された輝度信号Ｙ、色信号Ｃｂ、Ｃｒは、例えば図示しない圧縮／伸張処理部において、圧縮処理された後、記録再生処理部１２４に供給される。記録再生処理部１２４は、これに供給された画像データを、自機に搭載されている記録媒体１２５に読み出し可能なように記録する。
【００４１】
なお、表示部１０８は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electroluminescence Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子を備え、上述したように、表示処理部からの動画像信号の供給を受けて、これに応じた動画像を自己の表示素子の表示画面に表示することができるものである。
【００４２】
このように、この実施の形態の撮像装置１００は、表示部１０８に搭載されている表示素子の表示画面に表示される被写体の動画像を確認しながら撮影を行い、撮影することにより得た動画像データを記録媒体１２５に記録することができるものである。なお、撮影することにより得た動画像データを記録媒体１２５に記録する場合には、上述もしたように、当該動画像データは、例えば図示しない圧縮／伸張処理部においてデータ圧縮された後に、記録再生処理部１２４を通じて記録媒体１２５に記録される。
【００４３】
次に、この実施の形態の撮像装置１００の再生機能について説明する。キー操作部１２１を通じて、記録媒体１２５に記録された動画像データを再生することの指示入力を受け付けると、制御部１１０は、記録再生処理部１２４を制御し、再生するように指示された動画像データ（輝度信号Ｙ、色信号Ｃｂ、Ｃｒ）を読み出し、例えば図示しない圧縮／伸張処理部に供給する。そして、当該圧縮／伸張処理部において伸張処理することにより、データ圧縮前の元の動画像データを復元し、これを制御部１１０を通じて表示処理部１０７に供給する。
【００４４】
そして、表示処理部１０７においては、伸張処理されて復元された動画像データを、表示部１０８に供給する形式の動画像信号に変換して表示部１０８に供給する。これにより表示部１０８の表示素子の表示画面には、記録媒体１２５から読み出された動画像データに応じた動画像が表示するようにされる。
【００４５】
また、同時に、圧縮されたままの動画像データは、あるいは、図示しない圧縮／伸張処理部において伸張処理されて、データ圧縮前の元の動画像データに復元された動画像データは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて、これに接続された外部機器に供給し、当該外部機器において利用するようにすることもできるようにされる。
【００４６】
このように、この実施の形態の撮像装置１００は、撮影することにより得た動画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録した動画像データを再生して利用したりすることができるものである。そして、この実施の形態の撮像装置１００は、画像を構成する画素毎に算出する色収差量を少ない演算量により効率よく正確に算出し、色収差補正を迅速かつ適切に行うことができるようにしている。
【００４７】
［カメラ信号処理部１０６について］
次に、図１に示したこの実施の形態の撮像装置１００のカメラ信号処理部１０６の構成例について説明する。図２は、この実施の形態の撮像装置１００に搭載されたカメラ信号処理部１０６の構成例を説明するためのブロック図である。
【００４８】
図２に示すように、この実施の形態のカメラ信号処理部１０６は、信号調整部１０６１、デモザイク処理部１０６２、信号補正部１０６３、Ｙ／Ｃ変換部１０６４、色収差補正部１０６５、解像度変換部１０６６を備えたものである。
【００４９】
そして、検波処理部１０５からのＲａｗ動画像データは、カメラ信号処理部１０６の信号調整部１０６１に供給される。信号調整部１０６１は、これに供給されたＲａｗ動画像データに対して、黒レベル合わせやホワイトバランス調整などの種々の調整処理を施すものである。
【００５０】
ここで、撮像装置における黒レベルは、撮像素子の撮像面を完全に遮光した場合の当該撮像素子からの画像出力を意味する。しかし、例えば、撮像素子より後段の回路の影響等により、オフセット成分が混入するなどして、黒レベルが正確に表現できなくなり、画像が適切に形成できなくなる場合がある。このような場合を防止するために、信号調整部１０６１においては、検波処理部１０５からのパラメータに基づいて、これに供給されるＲａｗ動画像データの黒レベルの調整処理を行う。
【００５１】
また、撮像装置を用いて被写体を撮影する場合、撮影時における光の種類（例えば、太陽光や蛍光灯など）により同じ被写体であってもその色合いは異なったものとなる。しかし、人間の目には白いものを常に白として認識しようとする習性が有る。そこで、信号調整部１０６１は、検波処理部１０５からのパラメータに基づいて、画像全体の色のバランス（具体的には、Ｒ（赤）とＢ（青）のバランス）を調整し、白いものは常に白いものとして表現できるようにしている。
【００５２】
なお、信号調整部１０６１においては、黒レベル調整やホワイトバランス調整などのほか、その他の各種の補正処理やノイズリダクション処理などを行うようにする場合もある。そして、信号調整部１０６１において種々の信号調整処理がなされたＲａｗ動画像データは、デモザイク処理部１０６２に供給される。
【００５３】
デモザイク処理部１０６２は、撮像素子で用いられている色フィルタに応じて、画素毎に異なる色信号が用いられて形成されたＲａｗ動画像データから、画像を構成する画素毎に必要となる色信号の全部、この実施の形態の撮像装置の場合には、Ｒ、Ｇ、Ｂの３原色信号を形成する処理を行うものである。デモザイク処理部１０６２において形成されたＲ、Ｇ、Ｂの３原色信号（３原色データ）は、信号補正部１０６３に供給される。
【００５４】
信号補正部１０６３は、これに供給された画像データ（３原色データ）に対して、アパーチャ補正やガンマ補正などの補正処理を施す。ここでアパーチャ補正は、供給される３原色データに対して、輪郭強調処理を施すことにより、画像をはっきりとシャープなものとなるようにする処理である。この実施の形態の撮像装置の場合には、例えば操作部１２１を通じて受け付けるユーザーからの指示入力に応じた制御部１１０からの制御信号により、輪郭強調の度合い（レベル）を調整することができ、画像をシャープなイメージに形成することも、また、ソフトなイメージに形成することもできるようにしている。
【００５５】
また、ガンマ補正は、供給された動画像データ（３原色データ）と、これが実際に出力される際の信号の相対関係を調節して、より自然に近い色合いの画像を得るようにする処理である。すなわち、ガンマ（γ）値は、画像の明るさの変化に対する電圧換算値の変化の比を意味し、これが値「１」に近づくのが理想であるが、用いられる素子の特性等により変化してしまう場合がある。このため、信号補正部１０６３においては、これに供給される動画像データ（３原色データ）のガンマ値の誤差を補正し、当該ガンマ値が値「１」に近くなるように補正する処理を行う。そして、信号補正部１０６３において補正処理された動画像データ（３原色データ）は、Ｙ／Ｃ変換部１０６６に供給される。
【００５６】
Ｙ／Ｃ変換部１０６４は、これに供給された動画像データ（３原色データ）を、所定の計算式に従って、輝度信号（Ｙ）と色信号（Ｃｂ、Ｃｒ）に変換し、変換後の輝度信号（Ｙ）と色信号（Ｃｂ、Ｃｒ）とを色収差補正部１０６５に供給する。なお、Ｙ／Ｃ変換部１０６４においては、所定の計算式にしたがって、３原色データ（Ｒ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号）から、輝度信号Ｙ、色信号Ｃｂ、Ｃｒを生成する。
【００５７】
この実施の形態の撮像装置１００のＹ／Ｃ変換部１０６４においては、輝度信号Ｙは、次の（１）式に基づいて算出（生成）し、色信号Ｃｒは、次の（２）式に基づいて算出（生成）し、また、色信号Ｃｂは、次の（３）式に基づいて算出（生成）するようにしている。
Ｙ ＝ ０．３Ｒ ＋ ０．６Ｇ ＋ ０．１Ｂ …（１）
Ｃｒ＝ ０．７Ｒ − ０．６Ｇ − ０．１Ｂ …（２）
Ｃｂ＝−０．３Ｒ − ０．６Ｇ ＋ ０．９Ｂ …（３）
そして、上記の計算式に基づいてＹ／Ｃ変換部１０６４において生成された輝度信号Ｙ、色信号Ｃｂ、Ｃｒは、色収差補正部１０６５に供給される。
【００５８】
色収差補正部１０６５は、レンズを通じて取り込まれた画像が所定の結像面に結像する場合に、光の波長によって、像にずれが生じる場合があるが、このような色収差現象を補正するものである。そして、色収差補正部１０６５は、詳しくは後述するが、輝度信号Ｙに基づいて画像を構成する画素毎に白とび画素か否かを求め、また、色信号Ｃｂ、Ｃｒから画像を構成する画素毎に紫度（どれだけ紫に近いかを示す値）を求め、これらから色収差の補正信号を形成して、色信号Ｃｂ、Ｃｒについて色収差補正を行うものである。そして、色収差補正部１０６５からは、輝度信号Ｙと、色収差補正された色信号Ｃｂ、Ｃｒが出力され、これらが解像度変換部１０６６に供給される。
【００５９】
解像度変換部１０６６は、これに供給された輝度信号Ｙ、色信号Ｃｂ、Ｃｒに対して画像のスケーリングを行う。すなわち、解像度変換部１０６５は、これに供給された輝度信号Ｙ、色信号Ｃｂ、Ｃｒについて間引き処理や補間処理を施すことにより、所定の解像度の輝度信号Ｙ、色信号Ｃｂ、Ｃｒを形成し、これを出力する。この解像度変換部１０６５から出力された輝度信号Ｙ、色信号Ｃｂ、Ｃｒに応じた画像が、図１に示した表示処理部１０７を通じて表示部１０８に表示され、また、データ圧縮処理された後に、記録再生処理部１２４を通じて記録媒体１２５に記録されることになる。
【００６０】
このように、カメラ信号処理部１０６においては、撮像素子部１０２を通じて撮影するようにした被写体のＲａｗ動画像データに対して、上述したように種々の信号処理を施し、最終的に、表示や記録の対象となる目的とする解像度のＹＣデータを形成して出力することができるようにしている。そして、この実施の形態のカメラ信号処理部１０６の色収差補正部１０６５においては、以下に詳述するように、従来よりも格段に少ない演算量の処理により、画像を構成する各画素の色収差量を求め、迅速かつ適切に色収差補正を行うことができるようにしている。
【００６１】
［色収差補正部１０６５について］
次に、この実施の形態の撮像装置１００のカメラ信号処理部１０６に設けられる色収差補正部１０６５の詳細について説明する。図３は、この実施の形態の色収差補正部１０６５を説明するための図である。
【００６２】
この実施の形態の色収差補正部１０６５は、上述もしたように、輝度信号Ｙによって求められる、画像を構成する各画素が白とび画素か否かの情報と、色信号Ｃｂ、Ｃｒから求められる、画像を構成する各画素の紫度とに基づいて、色信号Ｃｂ、Ｃｒについて色収差補正を行うものである。
【００６３】
このようにするのは、白とびが無いところでは色収差が発生しても目立たず、その補正の効果も小さい。これに対して、一般的に、緑（Ｇ）値が小さい紫色は輝度値（Ｙ）も小さくなるので、紫色の画像付近において白とびが発生する可能性は非常に低い。すなわち、白とびの周辺において、もともと紫色の画像（色収差によるものでない紫色）が存在する可能性は、非常に低い。したがって、色収差補正部１０６５においては、白とびの画素の周辺（近傍）に発生する紫色の画素を、色収差によるものとみなして補正する。
【００６４】
このように、白とびの発生した画素を考慮して色収差の補正を行うようにすることによって、色収差補正部１０６５においては、不要な補正を低減し、より適切に色収差の補正を行うことができるようにしている。
【００６５】
なお、色収差の影響により、紫色、緑色などの色が見えることがあるが、一般に、輝度値（Ｙ）が大きい場合、緑（Ｇ）値も大きくなるため、白とび周辺にもともと緑色（色収差によるものでない緑色）が存在する可能性が高い。このため、不用意に緑色を補正するようにすると、例えば、木の木漏れ日を撮影したときに木の葉の色を消してしまう恐れがある。したがって、色収差補正部１０６５は、緑色に関して補正を行わないようにしている。
【００６６】
以下、この実施の形態の色収差補正部１０６５について詳細に説明する。図３に示すように、この実施の形態の色収差補正部１０６５は、紫領域算出部６５１と、白とび判定部６５２と、白とび情報保持部６５３と、色収差算定部６５４と、補正信号生成部６５５と、補正リミッタ６５６と、ぼかし部６５７と、混合処理部６５８、遅延部６５９とを備えたものである。
【００６７】
そして、図３に示すように、Ｙ／Ｃ変換部１０６４からの色信号Ｃｂ、Ｃｒは、色収差補正部１０６５の紫領域算出部６５１、補正信号生成部６５５、混合処理部６５８に供給される。また、Ｙ／Ｃ変換部１０６４からの輝度信号Ｙは、白とび判定部６５２に供給されると共に、遅延部６５９において、色信号についての色収差補正処理にかかる時間分遅延するようにされた後に、後段の回路に供給するようにされている。
【００６８】
そして、紫領域算出部６５１は、入力された色信号Ｃｒ、Ｃｂから、各画素の紫度（どれだけ紫色に近いかを示す度合い）を算出し、その算出結果を補正信号生成部６５５に供給する。つまり、紫領域算出部６５１は、画面内の紫色の部分（紫領域）を特定する。
【００６９】
一方、白とび判定部６５２は、入力された輝度信号Ｙの信号レベルが所定の閾値以上である（輝度値が飽和した）か否かを画素毎に判定し、その判定結果（例えば１ビットの情報）を白とび情報保持部６５３に供給する。例えば、白とび判定部６５２は、白とびが発生した画素（白とび画素）に対して、値「１」を判定結果として白とび情報保持部６５３に供給し、白とびが発生しなかった画素に対して、値「０」を判定結果として白とび情報保持部６５３に供給する。
【００７０】
白とび情報保持部６５３は、ＲＡＭ（Random Access Memory）等のメモリ（記憶媒体）を内蔵するものである。そして、白とび情報保持部６５３は、白とび判定部６５２から供給される各画素の判定結果（各画素が白とび画素であるか否かを示す情報）を、自己のメモリに一時記憶する。白とび情報保持部６５３は、その一時記憶した情報に基づいて、次の色収差量算出部６５４における注目画素に対する周囲の白とび画素の分布を示す白とびマップ（白とび分布情報）を作成し、それを色収差量算出部６５４に供給する。
【００７１】
色収差量算出部６５４は、ＲＡＭやＲＯＭ（Read Only Memory）等のメモリ（記憶媒体）を内蔵し、その記憶領域に、注目画素周辺の色収差の補正量（色収差量）に関する情報である色収差モデルを予め記憶している。色収差量算出部６５４は、その色収差モデルより、色収差量の分布を示す色収差マップ（色収差分布情報）を生成する。色収差量算出部６５４は、その色収差マップと、白とび情報保持部６５３より供給される白とびマップとを保持し、これらを用いて、周囲の白とび画素による注目画素の色収差量の積分値を算出し、その算出した色収差量を補正信号生成部６５５に供給する。
【００７２】
補正信号生成部６５５は、色収差量算出部６５４より供給された色収差量、および紫領域算出部６５１より供給された紫度に基づいて、白とびに応じた色収差量（白とび画素近傍の紫色の画素に対する色収差の補正量）を算出し、その値を用いて、補正前の色信号の色収差補正を行い、補正信号を生成する。補正信号生成部６５５は、生成した補正信号を補正リミッタ６５６に供給する。また、補正信号生成部６５５は、白とびに応じた色収差量を混合処理部６５８に供給する。
【００７３】
補正リミッタ６５６は、補正信号生成部６５５より供給された補正信号について、彩度の低下量の補正を実行する。すなわち、補正リミッタ６５６は、補正信号生成部６５５における補正処理により彩度を低下させすぎた部分などを検出し、周辺の画素の彩度を参考にした彩度補正処理を行う。補正リミッタ６５６は、彩度補正を行った補正済み信号をぼかし部６５７に供給する。
【００７４】
ぼかし部６５７は、補正リミッタ６５６より供給された信号に対して、ＬＰＦ（Low Pass Filter）を用いて、ぼかし処理を施し、補正ムラの修正を行う。ぼかし部６５７は、修正した補正信号を混合処理部６５８に供給する。
【００７５】
このように、補正リミッタ６５６及びぼかし部６５７によって補正信号をさらに処理することにより、画像として不自然で目立つ補正を低減させることができるので、より自然な色収差補正結果を得ることができる。
【００７６】
混合処理部６５８は、入力される補正前色信号と、ぼかし部６５７より供給される補正信号とを、補正信号生成部６５５より供給される白とびに応じた色収差量に基づいて混合し、補正後色信号を生成し、それを出力する。つまり、混合処理部６５８は、色収差量に基づいて２信号（補正信号および無補正信号）の混合比を決定することにより、色収差補正を行った画素に対しては補正信号を強調するように、色収差補正を行っていない画素に対しては無補正信号を強調するように、２信号を混合する。このように２信号の混合を行うことにより、混合処理部６５８は、色収差補正された信号に、補正前の信号を反映させることができ、より自然な補正後信号を得ることができる。
【００７７】
［色収差算出部６５４における処理の詳細］
そして、この実施の形態の色収差補正部１０６５の色収差算出部６５４においては、白とび判定比較の回数、及び収差量加算の回数を減らすことで、色収差算出部６５４における演算量を大幅に削減することができるようにしている。
【００７８】
まず、この発明に係るこの実施の形態の色収差算出部６５４において行われる処理の詳細を説明する前に、この発明の説明を簡単にすると共に、この発明の効果を明確に示すために、注目画素毎に算出すべき色収差量と、当該色収差量を算出するための従来の方法について説明する。
【００７９】
［算出すべき色収差量について］
色収差算出部６５４においては、従来、注目画素の色収差量を次のようにして求めている。すなわち、白とび情報保持部６５３から供給される白とびマップ情報と、色収差算出部６５４が備える注目画素周辺の色収差の補正量（色収差量）に関する情報である色収差マップから、注目画素周囲の探索範囲内に白とび画素がある場合には、その白とび画素の色収差補正値を色収差マップから取り出し、それらを積分して注目画素の色収差量としている。
【００８０】
したがって、色収差量Ｓは、図４に示す（１）式によって求めることができる。図４は、色収差Ｓの算出式を示す図である。ここで、図４に示したように、Ｓは求めるべき注目画素の色収差量であり、ｘ、ｙは、注目画素周辺の探索範囲をｍ×ｎ画素とした場合の座標を表すものである。この場合、注目画素はｍ×ｎ画素の中心となる。したがって、探索範囲を例えば９×９画素の範囲とし、縦、横とも、０〜８の値で画素位置を示すものとすれば、左上端部の画素位置［ｘ，ｙ］＝［０，０］となり、注目画素の画素位置［ｘ，ｙ］＝［４，４］となる。
【００８１】
また、Ｍｘｙは、色収差算出部６５４に用意されている色収差マップ上の座標［ｘ，ｙ］の色収差補正値である。また、Ｗｘｙは、白とび情報保持部６５３に保持されている白とびマップ上の座標［ｘ，ｙ］の白とび有無情報である。そして、この例の場合、Ｗｘｙには、白とびマップ上の座標［ｘ，ｙ］の画素が、白とび画素であれば値「１」が入り、また、白とびマップ上の座標［ｘ，ｙ］の画素が、白とび画素で無ければ値「０」が入る。
【００８２】
図４に示した（１）式にしたがえば、色収差量Ｓは、注目画素に応じて決まる白とびマップ上の探索範囲において白とびとなっている全ての画素を特定し、この特定した白とびマップ上の全ての白とび画素と、色収差マップ上において同位置となる全ての画素の色収差補正値を全て加算したもの（積分したもの）が、注目画素の色収差量Ｓとなる。
【００８３】
［色収差量を求めるための従来の色収差算出部の構成と処理内容について］
次に、図３に示したように構成される色収差補正部１０６５の色収差算出部６５４の従来の構成例について説明する。図１０は、色収差算出部６５４の従来の構成例について説明するための図である。図１０に示すように、従来の色収差算出部６５４は、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍ、注目画素色収差量レジスタ６５４Ｒ、演算部６５４Ｃを備えたものである。
【００８４】
ここで、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍのそれぞれは、異なるＲＡＭに形成したり、同一のＲＡＭに領域を変えて形成したりすることができる。また、注目画素色収差量レジスタ６５４Ｒは、専用のレジスタとして備えるようにしてもよいし、搭載されたメモリの一部を用いて構成するようにしてもよい。また、演算部６５４Ｃは、例えば、専用のＣＰＵを用いて構成したり、あるいは、撮像装置１００の制御部１１０のＣＰＵ１１１がその機能を担うようにしたりすることもできる。
【００８５】
そして、白とびマップ６５４メモリＷＭは、白とび情報保持部６５３において生成された例えば１フレーム分の画像の白とびマップを保持するものである。色収差マップメモリ６５４ＣＭは、色収差算出部６５４が予め記憶保持するようにしている色収差モデルにしたがって生成される、１フレーム分の画像を構成する画素毎に色収差の探索範囲（例えば９×９画素の範囲）に対応した大きさの色収差マップを保持するものである。
【００８６】
また、注目画素色収差量レジスタ６５４Ｒは、注目画素の色収差量を算出するために用いられる加算領域である。また、色収差量格納メモリ６６５４Ｍは、１フレームの画像を構成する画素毎に算出された色収差量を保持するものである。そして、演算部６５４Ｃは、注目画素毎に、白とびマップメモリ６５４の白とびマップに基づいて、その注目画素を中心とする探索範囲の白とびマップ上の白とび画素を特定し、その特定した白とび画素の色収差量（色収差補正値）を色収差マップメモリ６５４ＣＭの当該注目画素についての色収差マップの対応する画素位置から取得し、これを注目画素色収差量レジスタ６５４Ｒに加算してく。
【００８７】
この処理を、注目画素を中心とする探索範囲の全ての画素について行うことにより、注目画素色収差量レジスタ６５４Ｒに、当該注目画素についての色収差量が算出される。このようにして、注目画素色収差量レジスタ６５４Ｒに求められた注目画素についての色収差量は、演算部６５４Ｃを通じて色収差格納メモリ６５４Ｍの該当領域（該当画素領域）に格納され、最終的に１フレームの画像を構成する各画素についての色収差量が色収差格納メモリ６５４Ｍの該当領域に格納される。
【００８８】
次に、図１０に示したように構成される従来の色収差算出部６５４において、画像を構成する全ての画素について色収差量を求める従来の処理について説明する。図１１は、画像を構成する全ての画素について色収差量を求める従来の処理について説明するためのフローチャートである。この図１１に示す処理は、従来の色収差算出部６５４において、１枚の画像を構成するフレーム単位に実行される処理である。
【００８９】
すなわち、従来の色収差算出部６５４においては、フレーム単位に図１１に示す処理を実行する。まず、色収差算出部６５４の演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とマップ上の注目画素を更新する（ステップＳ１）。ステップＳ１の処理は、一般的には画像の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって注目画素を更新（特定）する。しかし、１フレームを構成する全画素を注目画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。
【００９０】
次に、色収差算出部６５４の演算部６５４Ｃは、注目画素色収差量レジスタ６５４Ｒの注目画素の色収差量を「０（ゼロ）」に初期化する（ステップＳ２）。そして、演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とびマップ上の注目画素によって決まる探索範囲の探索画素を更新する（ステップＳ３）。ステップＳ３の処理は、一般的には注目画素周辺の探索範囲（白とび探索範囲）の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって探索画素を更新（特定）する。しかし、所定の探索範囲内の全画素を探索画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。また、探索範囲のサイズ（大きさ）は、色収差マップにより決まるサイズである。
【００９１】
次に、色収差算出部６５４の演算部６５４Ｃは、ステップＳ３において更新（特定）した探索画素が、白とびの画素であるか否かを判断する（ステップＳ４）。このステップＳ４において、色収差算出部６５４の演算部６５４Ｃは、白とび情報保持部６５３から入力される白とびマップをもとに、探索画素が白とびであるか判定する。
【００９２】
そして、色収差算出部６５４の演算部６５４Ｃは、ステップＳ４において、探索画素が白とび画素であると判断したときには、色収差マップメモリ６５４ＣＭの当該注目画素に対する色収差マップの探索画素位置に対応した色収差量を注目画素の色収差量として注目画素色収差量レジスタ６５４Ｒの値に加算する色収差量加算処理を行う（ステップＳ５）。また、ステップＳ４において、探索画素が白とび画素ではないと判断したときには、ステップＳ５の色収差加算処理は行わずにステップＳ６の処理に進む。
【００９３】
ステップＳ５の色収差量加算処理の後、または、ステップＳ４で探索画素が白とび画素ではないと判断したときには、色収差算出部６５４の演算部６５４Ｃは、探索範囲内の全ての画素を探索し、色収差量を加算したか否かを判断する（ステップＳ６）。ステップＳ６の判断処理において、探索範囲内の全ての画素を探索していない（探索をし終えていない）と判断したときには、ステップＳ３からの処理を繰り返し、探索範囲内の次の画素を白とびの判断の対象する。すなわち、探索範囲をすべて探索するまで、ステップＳ３、ステップＳ４、ステップＳ５の処理を繰り返すことになる。
【００９４】
ステップＳ６の判断処理において、探索範囲内の全ての画素を探索した（探索し終えた）と判断したときには、処理対象の画像（１フレーム分の画像）の全ての画素について、色収差量を算出したか否かを判断する（ステップＳ７）。ステップＳ７の判断処理において、処理対象の画像の全ての画素について、色収差量を算出し終えていないと判断したときには、ステップＳ１からの処理を繰り返し、次の注目画素についての色収差量を算出する処理を行う。すなわち、全ての画素の色収差量演算が完了するまでステップＳ１〜ステップＳ６の処理を繰り返すことになる。また、ステップＳ７において、処理対象の画像の全ての画素について、色収差量を算出し終えたと判断したときには、この図１１に示す処理を終了する。
【００９５】
図１２は、図１１のフローチャートを用いて説明した従来の色収差量を求めるための処理について具体例を示して説明するための概念図である。図１２では注目画素周囲の白とび画素のお探索範囲（白とび画素探索範囲）を９×９画素とした場合の例である。
【００９６】
そして、図１２（Ａ）は、注目画素を中心としてその周囲９×９画素分の白とびマップを切り出したものである。図１２（Ａ）においては、塗り潰しの無い画素が白とび無しの画素、塗り潰しの有る画素が白とび有りの画素として示している。また、図１２（Ｂ）は、注目画素に対応した色収差マップである。図１２（Ｂ）内のＡ４、Ａ３、Ａ２…等のアルファベットの大文字と数字とで示したものが、対応する画素の色収差量（色収差補正値）である。また、図１２（Ｄ）は、注目画素を中心としてその周囲９×９画素分の色収差量格納領域を切り出したものである。
【００９７】
そして、色収差算出部６５４においては、図１１を用いて説明したように、注目画素周囲の９×９画素について、白とびマップ（図１２（Ａ））から白とびであるか判定を行い、白とびの場合は色収差モデルを格納した色収差マップ（図１２（Ｂ））の該当位置の色収差量を注目画素の色収差量として積分（加算）し、結果を色収差量格納領域（図１２（Ｄ））に保存する。
【００９８】
したがって、図１１の例での注目画素（座標［４，４］）の色収差量Ｓは図１２（Ｃ）より、次の（４）式に示すようになる。すなわち、
色収差量Ｓ＝Ａ２＋Ｂ３＋Ｃ４＋Ｃ２＋Ｄ１＋Ｄ０＋Ｅ０＋Ｅ１
＋Ｄ２＋Ｃ０＋Ｃ１＋Ｂ２＋Ｂ１＋Ｂ０＋Ａ３ …（４）
となる。この演算結果が、図１０に示した注目画素色収差量レジスタ６５４Ｒに求められ、これが図１２（Ｄ）に示すように、色収差格納メモリ６５４Ｍの色収差格納領域の対応する画素位置の記憶領域に格納される。
【００９９】
そして、図１０、図１１、図１２を用いて説明した従来の色収差量を算出する方法の場合には、上述もしたように、演算量が非常に大きくなる。すなわち、上述もしたように、例えば、画素数２００×１５０、注目画素周囲の白とび探索範囲を９×９画素、白とび含有率（全画素中、白とびと判定された画素の割合）が１０％である場合について考える。
【０１００】
この場合、図１１に示したステップＳ４〜ステップＳ６からなるループは、白とび探索範囲の画素数分、すなわち９×９＝８１回、繰り返し行われる処理となる。また、当該ループの中で行われるステップＳ５の加算処理は、白とび含有率が１０％であるので、８１回×０．１＝８．１回行われることになる。そして、１画面の画素数が、ここでは２００×１５０であるので、１画面における図１１に示したステップＳ４〜ステップＳ６からなるループは、８１×２００×１５０＝２，４３０，０００回繰り返され、その中で、８．１×２００×１５０＝２４３，０００回の色収差量の加算が行われることになる。
【０１０１】
そして、ここで説明した従来の方法の場合、倍率色収差をも適正に補正するために、注目画素毎に異なる色収差マップを用いるようにした場合には、隣接する画素どうしては探索範囲が重なることを利用した計算量の削減は行えない。探索範囲が重なっていても、色収差マップが異なっているのでは、前の画素の演算結果を用いることができないためである。
【０１０２】
そこで、この実施の形態の色収差補正部１０６５の色収差算出部６５４においては、注目画素毎に異なる色収差マップを使用する場合であっても、図１０、図１１、図１２を用いて説明した従来の色収差量Ｓを算出する処理に比べて、大幅に演算量を低減するようにしている。
【０１０３】
［色収差量を求めるためのこの発明に係る処理について］
この発明は、図３に示した色収差補正部１０６５の二重線で示した色収差算出部６５４に適用されるものである。そして、この発明の主な特徴は、色収差算出部６５４の白とび判定比較の回数、及び収差量の加算回数を減らすことで、従来の色収差算出部で行われていた処理の演算量に比べて、大幅に演算量を抑えた色収差算出処理を行えるようにしている。
【０１０４】
図５は、この実施の形態の撮像装置１００の色収差補正部１０６５の色収差算出部６５４の構成例を説明するためのブロック図である。図５に示すように、この実施の形態の色収差算出部６５４は、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍ、演算部６５４Ｃを備えたものである。このように、この実施の形態の色収差補正部６５４は、図１０に示した従来の色収差補正部とは異なり、注目画素色収差量レジスタ６５４Ｒを備えないものである。
【０１０５】
なお、この実施の形態の色収差算出部６５４においても、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍのそれぞれは、異なるＲＡＭに形成したり、同一のＲＡＭに領域を変えて形成したりすることができる。また、演算部６５４Ｃは、例えば、専用のＣＰＵを用いて構成したり、あるいは、撮像装置１００の制御部１１０のＣＰＵ１１１がその機能を担うようにしたりすることもできる。
【０１０６】
そして、図５に示すこの実施の形態の色収差補正部６５４においては、演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とびマップに基づいて、注目画素が白とび画素か否かを判断し、白とび画素と判断したときには、その注目画素についての色収差マップを色収差マップメモリ６５４ＣＭから読み出し、これをそのまま、色収差格納メモリ６５４Ｍの対応する領域の各画素に、スタンプを押すようなイメージでそのまま足し込むようにする。
【０１０７】
このように、１フレームを構成する各画素について、白とびか否かを判断し、白とびの画素である場合には、対応する色収差マップの全体を、色収差格納メモリ６５４Ｍの対応する領域に足し込むようにすることにより、最終的には、上述した従来の方法によって求められた１フレームを構成する画素毎の色収差量を算出することができるようにしている。そして、この実施の形態の色収差算出部６５４の場合には、注目画素色収差量レジスタ６５４Ｒを備えていないので、注目画素毎に色収差量を算出するのではなく、１フレームの画像全体を白とびの探索範囲とすると共に、従来の処理においては白とびの探索範囲となっていた範囲を加算処理の処理単位となるようにしている。
【０１０８】
次に、この実施の形態の色収差補正部１０６５の色収差算出部６５４において行われる処理について詳細に説明する。図６は、この実施の形態の色収差算出部６５４において行われる処理について説明するためのフローチャートである。この図６に示す処理は、色収差算出部６５４において、１枚の画像を構成するフレーム単位に実行される処理である。
【０１０９】
すなわち、この実施の形態の撮像装置１００に搭載された色収差算出部６５４においては、フレーム単位に図６に示す処理を実行する。まず、色収差算出部６５４の演算部６５４Ｃは、色収差格納メモリ６５４Ｍの色収差格納領域の全体を値「０」で初期化する（ステップＳ１０１）。すなわち、ステップＳ１０１の処理は、１画面分の色収差格納領域の全体を初期化する処理である。
【０１１０】
そして、色収差算出部６５４の演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とびマップ上の注目画素を更新する（ステップＳ１０２）。ステップＳ１０２の処理は、一般的には画像の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって注目画素を更新（特定）する。しかし、１フレームを構成する全画素を注目画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。
【０１１１】
次に、色収差算出部６５４の演算部６５４Ｃは、ステップＳ１０２において更新（特定）した注目画素が、白とびの画素であるか否かを判断する（ステップＳ１０３）。このステップＳ１０３において、色収差算出部６５４の演算部６５４Ｃは、白とび情報保持部６５３から入力され、白とびマップメモリ６５４ＷＭの白とびマップをもとに、注目画素が白とびであるか判定する。
【０１１２】
ステップＳ１０３において、注目画素が白とびの画素であると判断したときには、演算部６５４Ｃは、当該注目画素に対応する色収差マップを色収差マップメモリ６５４ＣＭから読み出し、当該色収差マップの探索画素を更新する（ステップＳ１０４）。ここで、色収差マップは、従来の処理でも用いた探索範囲と同じ大きさの領域であるので、ここでも探索範囲、探索画素という文言を用いる。しかし、従来の処理では、白とびマップ上の探索範囲であったの対して、この実施の形態の探索範囲は、上述の通り、色収差マップ上の探索範囲である。
【０１１３】
なお、ステップＳ１０４の処理は、一般的には注目画素周辺の探索範囲の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって探索画素を更新（特定）する。しかし、所定の探索範囲内の全画素を探索画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。
【０１１４】
そして、色収差算出部６５４の演算部６５４Ｃは、色収差格納領域の探索画素に対応する画素に対して、当該探索画素に対応する色収差量（色収差補正値）を色収差マップから取得して加算する（ステップＳ１０５）。このステップＳ１０５の加算処理は、探索画素に応じて決まる色収差マップの対応する画素の色収差量を色収差格納領域の該当箇所（該当画素位置の格納領域）に加算する処理である。
【０１１５】
そして、色収差算出部６５４の演算部６５４Ｃは、探索範囲内の全ての画素を探索し、その色収差量を加算するようにしたか否かを判断する（ステップＳ１０６）。ステップＳ１０６の判断処理において、探索範囲内の全ての画素を探索し、その色収差量を加算していないと判断したときには、ステップＳ１０４からの処理を繰り返し、探索範囲内の各画素に対応する色収差量を色収差格納メモリの対応する色収差格納領域に加算する処理を行う。このように、このステップＳ１０４〜ステップＳ１０６までのループは、探索範囲に対応する範囲の色収差マップの各画素の色収差量を、そっくりそのままスタンプを押すようなイメージで、対応する範囲の色収差格納領域の各画素領域に加算する処理である。
【０１１６】
ステップＳ１０６の判断処理において、探索範囲内の全ての画素を探索した（探索を終えた）と判断した場合、また、ステップＳ１０３の判断処理において、注目画素は白とびの画素ではないと判断した場合には、ステップＳ１０７の処理に進み、演算部６５４Ｃは、処理対象の画像（１フレーム分の画像）の全ての画素について、色収差量を算出したか否かを判断する（ステップＳ１０７）。
【０１１７】
ステップＳ１０７の判断処理において、処理対象の画像の全ての画素について、色収差量を算出し終えていないと判断したときには、ステップＳ１０２からの処理を繰り返し、次の注目画素についての色収差量を算出する処理を行う。すなわち、全ての画素の色収差量演算が完了するまでステップＳ１０２〜ステップＳ１０６の処理を繰り返すことになる。また、ステップＳ１０７において、処理対象の画像の全ての画素について、色収差量を算出し終えたと判断したときには、この図６に示す処理を終了する。
【０１１８】
図７、図８は、図６のフローチャートを用いて説明した、この実施の形態の撮像装置１００で用いられる色収差算出部６５４で実行される色収差量を求めるための処理について具体例を示して説明するための概念図である。図７、図８では注目画素周囲の探索範囲を９×９画素とした場合の例である。
【０１１９】
そして、図７（Ａ）、図８（Ａ）のそれぞれは、注目画素を中心としてその周囲９×９画素分の白とびマップを切り出したものである。図７（Ａ）、図８（Ａ）においては、塗り潰しの無い画素が白とび無しの画素、塗り潰しの有る画素が白とび有りの画素として示している。また、図７（Ｂ）、図８（Ｂ）のそれぞれは、注目画素に対応した色収差マップである。図７（Ｂ）、図８（Ｂ）において、Ａ４、Ａ３、Ａ２…等のアルファベットの大文字と数字とで示したものが、対応する画素の色収差量である。また、図７（Ｃ）、図８（Ｃ）は、注目画素を中心としてその周囲９×９画素分の色収差量格納領域を示すものである。
【０１２０】
そして、図６に示したフローチャートのステップＳ１０３においては、例えば、図７（Ａ）に示した白とびマップに基づいて、注目画素が白とびであるかの判定を行う。図７（Ａ）に示した例の場合、座標［４，４］の位置にある注目画素は、白とびの画素である。このため、図６に示したフローチャートのステップＳ１０４、ステップＳ１０５の処理により、色収差モデルを格納した図７（Ｂ）に示した色収差マップの各画素の色収差量が、図７（Ｃ）に示した色収差量格納領域の該当位置（該当する画素の格納領域）に加算するようにされる。
【０１２１】
すなわち、図７に示した例の場合、注目画素［４，４］は、白とび画素であるので、図７（Ｂ）に示した色収差マップの色収差量が、そのままスタンプを押すようなイメージで、図７（Ｃ）に示すように、色収差格納領域の対応する画素格納領域に加算される。したがって、図７に示した例の場合、注目画素（座標［４，４］）の色収差量Ｓは、次の（５）式に示すように、
Ｓ ＝ Ｅ０ …（５）
となっている。
【０１２２】
図７に示した状態の次には、図６に示したフローチャートにおいては、ステップＳ１０２の処理により、注目画素が更新される。図８は、図７の状態から注目画素が更新され、図８（Ａ）に示したように、注目画素が座標［５，４］になった場合について示している。
【０１２３】
図８に示した例の場合にも、図８（Ａ）の白とびマップから、注目画素（座標［５，４］）は、白とびの画素であるため、図７に示した場合と同様に、図６に示したフローチャートにおけるステップＳ１０４〜ステップＳ１０６の処理により、図８（Ｂ）に示す色収差マップの色収差量が、図８（Ｃ）に示すように、色収差量格納領域の対応する領域に加算される。したがって、図８（Ｃ）に示したように、最初の注目画素である座標［４，４］の画素に着目すれば、当該座標［４，４］の色収差量格納領域の対応する画素の格納領域には、図７の処理により色収差量Ｅ０が加算され、次の図８の処理により色収差量Ｅ１が加算される。
【０１２４】
このようにして、図７、図８の処理を連続して行った場合、色収差量格納領域の座標［４，４］の画素の色収差量Ｓは、次の（６）式に示すように、
Ｓ ＝ Ｅ０ ＋ Ｅ１ …（６）
となる。
【０１２５】
同様にして、注目画素を左上（座標［０，０］）から右下（座標［８，８］）にひとつずつずらして、注目画素が白とびの場合には色収差マップの色収差量を色収差格納領域に順次加算していくと、最終的に色収差量格納領域の座標［４，４］の色収差値Ｓは、以下の（７）式に示すようになる。すなわち、
座標［４，４］の色収差量Ｓ
＝Ａ２＋Ｂ３＋Ｃ４＋Ｃ２＋Ｄ０＋Ｄ２＋Ｅ０＋Ｅ１
＋Ｄ２＋Ｃ０＋Ｃ１＋Ｂ２＋Ｂ１＋Ｂ０＋Ａ３ …（７）
となる。すなわち、図１０、図１１、図１２を用いて上述した従来の色収差算出方法を用いた場合の座標［４，４］の色収差量Ｓと同じ結果になる。
【０１２６】
［従来の処理のこの発明の処理の比較］
色収差算出部６５４において行われる処理であって、図１１に示した従来の色収差算出処理と、図６に示したこの実施の形態の色収差算出処理とを比較すると、図１１に示した従来の処理の場合、ステップＳ３〜ステップＳ６において探索範囲内の画素が白とびの場合にその色収差マップ値を積分して注目画素１個の色収差量を求め色収差格納領域に保存している。
【０１２７】
これに対して、図６に示したこの実施の形態の処理（この発明）の場合、ステップＳ１０３〜ステップＳ１０６において注目画素が白とびの場合にのみ探索範囲内の色収差マップ値を該当する色収差格納領域の画素の個々に加算して保存するようにしている。
【０１２８】
したがって、図６に示したこの実施の形態の処理の場合には、図６のステップＳ１０３〜ステップＳ１０６の処理１回では注目画素の色収差量は求められない。しかし、探索範囲内の全画素についてステップＳ１０３〜ステップＳ１０６の処理を行うことにより、注目画素の色収差量に探索範囲内の全ての色収差量が積分され、結果として図１１に示した従来の処理のステップＳ３〜ステップＳ６を行うことによって得られる結果と同等の結果が得られる。
【０１２９】
そして、図６に示したフローチャートの処理を実行するこの実施の形態の撮像装置１００の色収差演算部６５４における演算回数は、例えば、１フレームの画像の画素数２００×１５０画素、注目画素周囲の白とび探索範囲を９×９画素、白とび含有率（全画素中、白とびと判定された画素の割合）を１０％とした場合、白とび判定のための条件判定は、１フレームの画像を構成する画素毎に行えばよいので、１フレームの画像における白とび判定のための条件判定回数は、１×２００×１５０＝３０，０００回となる。
【０１３０】
また、同条件において、１フレームの画像における色収差量算出のための加算回数は、図６に示したフローチャートを用いて説明したように、白とびの注目画素毎に、探索範囲を構成する各画素に対応する色収差量（色収差マップの対応する画素の色収差量）を加算
すればよい。したがって、この場合、１フレームの画像における色収差量算出のための加算回数は、９×９×２００×１５０×０．１＝２４３，０００回となる。ここで、「９×９」は探索範囲の画素数、「２００×１５０」は１フレーム分の画像の画素数、「０．１」は白とび含有率である。
【０１３１】
同条件における図１１に示した従来の処理の場合の１フレームの画像における演算回数と図６に示したこの発明に係る処理の場合の１フレームの画像における演算回数とを比較する。
【０１３２】
図６に示したこの発明に係る処理の場合には、
白とび判定のための条件判定回数：３０，０００（１×２００×１５０）
色収差量算出のための加算回数 ：２４３，０００（９×９×２００×１５０×０．１）となり、
また、図１１に示した従来の処理の場合には、
白とび判定のための条件判定回数：２，４３０，０００回（９×９×２００×１５０）
色収差量算出のための加算回数 ：２４３，０００回（９×９×２００×１５０×０．１）となる。したがって、色収差算出のための加算回数は同じであるが、白とび判定のための条件判定回数は１／８１（８１分の１）に削減されることが分かる。
【０１３３】
上述の条件のうち白とび含有率を０〜１００％と変化させた場合の、図１１に示した従来の処理による演算回数と、図６に示したこの実施の形態の処理による演算回数とをプロットしたグラフを図９に示す。図９において、横軸は白とび含有率を、縦軸は演算回数（白とび判定のための条件判定回数と色収差量算出のための加算回数との合計）を示している。
【０１３４】
そして、図９のグラフから分かるように、白とび含有率に関係なく、常に図６を用いて説明したこの実施の形態の処理（この発明に係る処理）の方が、演算回数は大幅に少ないことが分かる。この結果より、図１１に示した従来の処理よりも、図６に示したこの発明に係る処理の方が、白とび含有率に関係なく演算回数の削減効果が得られることが分る。
【０１３５】
なお、上述した処理条件においては、探索範囲を９×９画素としたが、範囲を１１×１１や１３×１３などより大きくした場合には、削減効果はさらに高まる。
【０１３６】
この条件判定回数の削減により、回路もしくはプログラムの処理量削減、または回路規模の削減が可能となる。
【０１３７】
［その他］
なお、上述した実施の形態の色収差算出部１０６５においては、図５を用いて説明したように、白とびマップメモリ６５４ＷＭが、白とびマップ（白とび分布情報）を記憶保持する白とび分布情報記憶部を構成し、色収差マップメモリ６５４ＣＭが、色収差マップ（色収差分布情報）を記憶保持する色収差分布情報記憶部を構成し、また、色収差量格納メモリ６５４Ｍが、各画素毎の色収差量を記憶保持する色収差量格納部を構成している。
【０１３８】
また、上述した実施の形態の色収差算出部１０６５においては、判別部、読み出し部、加算部の格納機能を、図５に示した演算部６５４Ｃが実現している。なお、演算部６５４は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたマイクロコンピュータであり、色収差補正部１０６５に設けられるほか、色収差補正部１０６５の機能を実現するために設けられるものの場合もあるし、また、図１に示した撮像装置１００の制御部１１０が、その機能を実現するようにすることもできる。すなわち、制御部１１０が、カメラ信号処理部１０６の機能、あるいは、色収差補正部１０６５の機能、あるいは、色収差算出部６５４の機能を実現するようにすることもできる。
【０１３９】
また、図６を用いて上述したように、色収差算出部６５４の演算部６５４Ｃが、判別手段として機能して、白とびマップメモリ６５４ＷＭの白とびマップに基づいて画像を構成する画素毎に白とび画素か否かを判別し、白とび画素であると判別された画素については、演算部６５４Ｃが読み出し手段として機能して、色差マップメモリ６５４ＣＭから、白とび画素であると判別された画素を注目画素とする所定大きさの探索範囲の色収差マップを読み出し、これを演算部６５４Ｃが加算部として機能して、色収差量格納メモリ６５４Ｍの対応する領域に加算することにより、この発明の色収差量算出方法を実現することができる。
【０１４０】
同様に、色収差算出部６５４の演算部６５４Ｃの機能を実現するマイクロコンピュータにおいて、図６を用いて上述したように、当該コンピュータが、白とびマップメモリ６５４ＷＭの白とびマップに基づいて画像を構成する画素毎に白とび画素か否かを判別し、白とび画素であると判別された画素については、当該コンピュータが、色差マップメモリ６５４ＣＭから、白とび画素であると判別された画素を注目画素とする所定大きさの探索範囲の色収差マップを読み出し、これを当該コンピュータが、色収差量格納メモリ６５４Ｍの対応する領域に加算することにより、この発明の色収差量算出プログラムを実現することができる。すなわち、この場合には、コンピュータ自身が、判別部、読み出し部、加算部として機能するようにしている。
【０１４１】
なお、図３に示した色収差補正部１０６５について、画像データの色信号に基づいて、各画素について前記色の度合いを示す色度を算出する色度算出部をさらに備え、当該色度算出部により算出された色度を、色収差量算出部１０６５により算出された色収差量に乗算し、その乗算結果を用いて画像データの色収差補正を行うように構成してもよい。このように、色度をも考慮することにより、より正確な色収差補正を行うことができる。
【０１４２】
また、上述した実施の形態の色収差マップメモリ６５４ＣＭに予め記憶保持される色収差マップは、上述もしたように、倍率色収差をも補正するため、注目画素となる画素の位置に応じて、異なる色収差マップを用いるようにすることができる。また、いくつかの色収差マップを用意しておき、これらを使い分けるようにすることもできる。また、上述もしたように、色収差算出部６５４が備える色収差モデルと、注目画素の画素位置とから、必要に応じて適切な色収差マップを生成して利用するようにすることもできる。
【０１４３】
また、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、この発明に係る色収差補正部１０６５をＩＣ化して実現し、これを種々の撮像装置に搭載することもできる。
【０１４４】
また、図６を用いて説明したように処理を実行するプログラムを形成して、種々の撮像装置に搭載することにより、種々の撮像装置にこの発明を適用することができる。
【０１４５】
また、上述した実施の形態においては、撮像装置１００はデジタルビデオカメラであり、動画像データを処理するものであり、１フレームの画像単位に上述したように、色収差補正を行うものとして説明した。しかしこれに限るものではない。この発明は、デジタルスチルカメラにも適用可能なものであり、静止画像データについても、１枚の静止画像単位に上述したように色収差補正処理を行うようにすることができる。
【０１４６】
また、画像の画素数等に特に左右されることなく、種々の画素数（画サイズ）の画像を処理する場合に、この発明を適用することができる。
【図面の簡単な説明】
【０１４７】
【図１】この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置１００を説明するためのブロック図である。
【図２】図１に示した撮像装置１００に搭載されたカメラ信号処理部１０６の構成例を説明するためのブロック図である。
【図３】図２に示した色収差補正部１０６５を説明するための図である。
【図４】色収差Ｓの算出式を示す図である。
【図５】色収差補正部１０６５の色収差算出部６５４の構成例を説明するためのブロック図である。
【図６】色収差算出部６５４において行われる処理について説明するためのフローチャートである。
【図７】色収差算出部６５４で実行される色収差量を求めるための処理について具体例を示して説明するための概念図である。
【図８】色収差算出部６５４で実行される色収差量を求めるための処理について具体例を示して説明するための概念図である。
【図９】白とび含有率を０〜１００％と変化させた場合の演算回数の変化のグラフを示す図である。
【図１０】色収差算出部６５４の従来の構成例について説明するための図である。
【図１１】画像を構成する全ての画素について色収差量を求める従来の処理について説明するためのフローチャートである。
【図１２】従来の色収差量を求めるための処理について具体例を示して説明するための概念図である。
【符号の説明】
【０１４８】
１００…撮像装置、１０１…レンズ部、１０２…撮像素子部、１０３…アナログゲイン調整部、１０４…Ａ／Ｄ変換器、１０５…検波処理部、１０６…カメラ信号処理部、１０７…表示処理部、１０８…表示部、１１０…制御部、１２１…キー操作部、１２２…外部Ｉ／Ｆ、１２３…外部入出力端子、１２４…記録再生処理部、１２５…記録媒体、１０６１…信号調整部、１０６２…デモザイク処理部、１０６３…信号補正部、１０６４…Ｙ／Ｃ変換部、１０６５…色収差補正部、１０６６…解像度変換部、６５１…紫領域算出部、６５２…白とび判定部、６５３…白とび情報保持部、６５４…色収差算定部、６５５…補正信号生成部、６５６…補正リミッタ、６５７…ぼかし部、６５８…混合処理部、６５９…遅延部、６５４ＷＭ…白とびマップメモリ、６５４ＣＭ…色収差マップメモリ、６５４Ｍ…色収差格納メモリ、６５４Ｃ…演算部
【技術分野】
【０００１】
この発明は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの画像を処理する装置、当該装置において用いられ、画像に含まれる色収差の補正処理に用いて好適な装置、方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ、あるいは、携帯電話端末などに搭載されるカメラモジュールなど、種々の電子カメラが広く利用されるようになってきている。そして、近年においては、電子カメラは小型化、高倍率化、多画素化を実現すると共に、撮影した画像がより高画質であることが要求されている。
【０００３】
しかしながら、小型化、高倍率化、かつ多画素化に対応した高いＭＴＦ（Modulation Transfer Function）特性をもつレンズを製造することが非常に困難になってきている。例えば、レンズを小型にすることで、画面の位置や波長によって合焦位置がズレる「収差」の問題が発生する。また、画面の端に行くにつれて入射光量が減衰する「シェーディング」の問題や、画面の位置によって歪みが生じる「ディストーション」の問題など様々な問題が発生する。
【０００４】
その中でレンズ特有の問題の１つに挙げられる収差、特に色収差に関して、信号処理で補正を行う技術が、後に記す特許文献１において提案されている。この特許文献１に記載された技術は、輝度信号の信号レベルに基づいて、白とび画素か否かを、画像を構成する画素毎に判定し、その判定結果を白とび情報として保持し、当該白とび情報に基づいて、注目画素に対する周囲の白とび画素の分布を示す白とびマップを作成して保持する。そして、当該技術は、上述したように保持される白とびマップと、予め生成される色収差量の分布を示す色収差マップとを用いて周囲の白とび画素による注目画素の色収差量の積分値を算出し、これを用いて色収差を適切に補正するものである。
【０００５】
なお、上述した特許文献１は以下に示す通りである。
【特許文献１】特開２００７−１３３５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した特許文献１では、注目画素の色収差量を以下のようにして求めている。上述したように生成して保持される白とびマップと、予め用意される注目画素周辺の色収差の補正量（色収差量）に関する情報である色収差マップとから、注目画素周囲の探索範囲内に白とび画素がある場合には、その白とび画素の色収差補正値を色収差マップから取り出し、このようにして取り出す白とび画素の色収差補正値を積分して注目画素の色収差量を算出している。
【０００７】
しかしながら、色収差量を求めるための演算量は非常に大きい。例えば、２００×１５０画素の画像の色収差量を求める場合を考える。ここで、注目画素周囲の白とび探索範囲を９×９画素、白とび含有率（全画素中、白とびと判定された画素の割合）を１０％とする。
【０００８】
この場合、注目画素１画素の色収差量を演算するためには、注目画素を基準にして決まる白とび探索範囲（９×９画素）の全ての画素が白とびか否かを判定しなければならない。このため、１つの注目画素についての色収差量を算出するためには、８１回の白とび判定処理が必要になる。また、９×９画素の内の１０％（８．１画素）が白とびであるとすると、１つの注目画素についての色収差量を算出するためには、８．１個の白とび画素の色収差補正値を積分（加算）する必要がある。すなわち、各画素の色収差量を求めるための色収差補正値の加算回数は、８．１回ということになる。
【０００９】
これを画像を構成する全画素（２００×１５０画素）に対して行うことになるので、全画素では８１×２００×１５０＝２、４３０、０００回の白とび判定処理（比較処理）と、８．１×２００×１５０＝２４３、０００回の色収差補正値（色収差量）の加算処理が必要となる。このような計算を、１画面を形成する画像毎に行うのは、大変な計算量になってしまう。
【００１０】
なお、隣接する画素同士では探索範囲が９×８画素重なるため、１画素について色収差量の演算を行えば、その隣の画素については新たに探索する範囲は９画素で済むと考えられる。この場合、１画素の色収差量を演算するのに、９回の比較、及び０．９回の加算となり、全画素（２００×１５０画素）では９×２００×１５０＝２７０，０００回の比較、０．９×２００×１５０＝２７，０００回の加算となる。
【００１１】
しかし、「倍率色収差（色によって像の倍率が変わり、異なる場所に結像してしまう現象）」を考慮して、画面内の位置により色収差マップ等を補正するようにした場合、上述した隣接する画素どうしの収差演算結果の共有方法は使えない。つまり、倍率色収差を適切に補正しようとすれば、画像を構成する画素毎に異なる色収差マップが存在することになり、既に行われた計算結果をそのまま用いることができずに、最初から演算する必要が生じる。
【００１２】
このため、倍率色収差についても適切に補正することができるようにするために、隣接する画素どうしの収差演算結果の共有を行うことができなくても、できるだけ少ない計算で、画素毎の色収差量を迅速かつ正確に求めるようにしたいとする要求がある。
【００１３】
以上のことに鑑み、この発明は、少ない計算回数で、迅速かつ正確に、画像を構成する画素毎の色収差量を算出して適切に色収差補正を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、請求項１に記載の発明の色収差補正装置は、
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正装置であって、
特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段を備え、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別部と、
前記判別部により白とび画素であると判別された画素について、当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し部と、
前記読み出し部により読み出された前記色収差分布情報を、前記色収差格納部の対応する記憶領域に加算処理する加算部と
を備えることを特徴とする。
【００１５】
この請求項１に記載の色収差補正装置によれば、処理対象の画像（１フレームの画像）を構成する各画素について、白とび分布情報記憶部の白とび分布情報に基づいて、判別部により白とびの画素か否かが判別され、白とびの画素であると判別された画素については、その画素を注目画素とした場合の色収差分布情報が、読み出し部により色収差分布情報記憶部から読み出され、この読み出された色収差分布情報が加算部により、色収差量格納部の対応する記憶領域に加算するようにされる。
【００１６】
これにより、画像を構成する各画素の色収差量を算出するために、画像を構成する画素毎に白とび画素か否かを判断すればよいので、色収差量を算出するための従来の方法、すなわち、画像を構成する画素毎に探索範囲（例えば９×９画素の範囲）の各画素が白とびか否かを判別する場合に比べて、格段に計算量を減らすことができるようにされる。
【００１７】
また、請求項２に記載の発明の色収差補正装置は、請求項１に記載の色収差補正装置であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする。
【００１８】
この請求項２に記載の発明の色収差補正装置によれば、倍率色収差の補正が可能なように、画像を構成する画素毎に、色収差の補正を行う注目画素の画面内の位置に応じて設定された色収差分布情報が用いられる。
【００１９】
これにより、倍率色収差の補正も適正に補正することができるようにされる。また、画像を構成する画素毎に異なる色収差分布情報を用いるようにしても、色収差量の算出方式には何ら変更無く、少ない計算量で迅速かつ正確に画像を構成する各画素の色収差量を算出することができるようにされる。
【発明の効果】
【００２０】
この発明によれば、少ない計算回数で、迅速かつ正確に、画像を構成する画素毎の色収差量を算出して適切に色収差補正を行うようにすることができる。
【発明を実施するための最良の形態】
【００２１】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。なお、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュールなどの種々の撮像装置に適用可能なものである。
【００２２】
しかし、以下に説明する実施の形態においては説明を簡単にするため、動画像データの撮影が可能なデジタルビデオカメラ（撮像装置）に適用した場合を例にして説明する。また、以下に説明する撮像装置は、動画像と共に、音声についても取り込んで記録するなどすることができるものであるが、以下の実施の形態においては、説明を簡単にするため、音声信号の処理系についての説明は省略する。
【００２３】
［撮像装置の構成例について］
図１は、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置１００を説明するためのブロック図である。図１に示すように、この実施の形態の撮像装置は、画像信号の処理系として、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部（図１においてはアナログゲインと記載。）１０３、Ａ／Ｄ（Analog/Digital）変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８を備えると共に、制御部１１０、キー操作部１２１、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１２２、外部入出力端子１２３、記録再生処理部１２４、記録媒体１２５を備えたものである。
【００２４】
制御部１１０は、この実施の形態の撮像装置１００の各部を制御するものであり、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１１４が、ＣＰＵバス１１５を通じて接続されて構成されたマイクロコンピュータである。
【００２５】
ここで、ＣＰＵ１１１は、後述もするＲＯＭ１１２に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ＲＯＭ１１２は、上述もしたように、ＣＰＵ１１１によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。
【００２６】
ＲＡＭ１１３は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。ＥＥＰＲＯＭ１１４は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの実施の形態の撮像装置１００の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。
【００２７】
また、キー操作部１２１は、例えば、録画スタンバイキー、録画開始キー、録画停止キー、望遠機能の調整キー、その他の各種の調整キーやファンクションキーなどを備え、ユーザーからの操作入力を受け付けて、当該操作入力を電気信号に変換し、これを制御部１１０に供給することができるものである。これにより、制御部１１０は、キー操作部１２１を通じて供給を受けたユーザーからの指示入力に応じて、この撮像装置１００の各部を制御し、ユーザーの意図する処理を行うことができるようにされる。
【００２８】
外部Ｉ／Ｆ１２２及び入出力端子１２３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers,Inc）１３９４規格やＵＳＢ（Universal Serial Bus）規格等に合致したものである。これら外部Ｉ／Ｆ１２２及び入出力端子１２３に対しては、同じ規格のインターフェースを備える例えばパーソナルコンピュータやＰＶＲ（Personal Video Recorder）等の外部機器を接続することができるようにされる。
【００２９】
記録再生処理部１２４は、制御部１１０の制御に応じて、これに供給された画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録されている画像データを読み出して、制御部１１０を通じて表示処理部１０７に供給して再生するようにしたりするなどのことができるものである。
【００３０】
また、記録媒体１２５は、この実施の形態の撮像装置１００においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、内蔵された小型のハードディスク、着脱可能とされた光ディスクなどのディスク記録媒体、着脱可能とされた磁気テープなどである。この実施の形態の撮像装置１００において、記録媒体１２５は、例えば、内蔵された小型のハードディスクである。
【００３１】
なお、記録媒体１２５に記録される画像データは、所定のデータ圧縮方式により圧縮処理されて記録され、また、記録媒体１２５から読み出された画像データは、当該所定のデータ圧縮方式に従って伸張処理されるが、データの圧縮処理や伸張処理は、図示しない圧縮／伸張処理部において行うようにされる。また、このような、画像データの圧縮／伸張機能を、記録再生処理部１２４に設けるようにすることも可能である。
【００３２】
そして、この実施の形態の撮像装置１００においては、画像信号の処理系を通じて、撮影することにより取り込んだ被写体の画像を表示部１０８の表示素子の表示画面に表示して確認しながら撮影を行い、撮影することにより得た画像信号（動画像信号）を記録媒体１２５に記録する記録機能と、記録媒体１２５に記録されている画像信号を読み出して、これを表示部１０８の表示素子の表示画面に表示するようにしたり、あるいは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて外部機器に供給したりする再生機能とを有するものである。
【００３３】
［記録機能（撮影機能）および再生機能について］
まず、この実施の形態の撮像装置１００の記録機能について説明する。図１に示すように、画像信号の処理系を構成する、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部１０３、Ａ／Ｄ変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８のそれぞれは、共通のＣＰＵバス１１５を通じて接続されている。
【００３４】
そして、画像信号の処理系を構成する各処理部間のデータのやり取りは、基本的には、共通のＣＰＵバス１１５を通じて行われる。ただし、ＣＰＵバス１１５を経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でＣＰＵバス１１５を経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。
【００３５】
そして、キー操作部１２１を通じて、動画像の撮影を行うことが指示されると、制御部１１０が各部を制御して動画像の撮影処理を開始する。この場合、レンズ部１０１を通じて撮像素子部１０２の固体撮像素子の結像面に結像された被写体の画像は、順次に当該固体撮像素子により電気信号（アナログ動画像信号）に変換されて、アナログゲイン調整部１０３に供給される。ここで撮像素子部１０２に設けられている固体撮像素子は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。
【００３６】
アナログゲイン調整部１０３供給されたアナログ動画像信号は、ここで当該アナログ動画像信号のゲイン（利得）が所定のレベルとなるようにゲイン調整された後に、Ａ／Ｄ変換記１０４に供給される。そして、Ａ／Ｄ変換器１０４に供給されたアナログ動画像信号は、ここでデジタル動画像信号（デジタルＲａｗ動画像データ）に変換され、検波処理部１０５に供給される。なお、デジタルＲａｗ動画像データは、現像処理されていないままのデジタル動画像データを意味し、撮像素子部２からのアナログ動画像信号がデジタル信号に変換された状態の画像信号である。
【００３７】
検波処理部１０５は、これに供給されたＲａｗ動画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり（現像パラメータ群）を生成し、この生成した現像パラメータ群を、制御部１１０を通じてカメラ信号処理部１０６に供給すると共に、Ｒａｗ動画像データも、カメラ信号処理部１０６に供給する。
【００３８】
カメラ信号処理部１０６では、詳しくは後述するが、黒レベル合わせ処理、ホワイトバランス調整処理、画素毎にＲＧＢデータ（３原色データ）を生成するデモザイク処理（同時化処理）、アパーチャ補正処理、ガンマ（γ）補正処理、輝度信号（Ｙ）と色信号（Ｃｂ、Ｃｒ）への変換処理（Ｙ／Ｃ変換処理）、色収差補正処理、解像度変換処理などを行って、輝度信号Ｙおよび色信号Ｃｂ、Ｃｒを形成する。
【００３９】
カメラ信号処理部１０６で形成された輝度信号Ｙ、色信号Ｃｂ、Ｃｒは、表示処理部１０７に供給され、ここで表示部１０８に供給する形式の動画像信号に変換されて表示部１０８に供給される。これにより表示部１０８の表示素子の表示画面には、撮影するようにされた被写体の動画像が表示するようにされる。
【００４０】
同時に、カメラ信号処理部１０６で形成された輝度信号Ｙ、色信号Ｃｂ、Ｃｒは、例えば図示しない圧縮／伸張処理部において、圧縮処理された後、記録再生処理部１２４に供給される。記録再生処理部１２４は、これに供給された画像データを、自機に搭載されている記録媒体１２５に読み出し可能なように記録する。
【００４１】
なお、表示部１０８は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electroluminescence Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子を備え、上述したように、表示処理部からの動画像信号の供給を受けて、これに応じた動画像を自己の表示素子の表示画面に表示することができるものである。
【００４２】
このように、この実施の形態の撮像装置１００は、表示部１０８に搭載されている表示素子の表示画面に表示される被写体の動画像を確認しながら撮影を行い、撮影することにより得た動画像データを記録媒体１２５に記録することができるものである。なお、撮影することにより得た動画像データを記録媒体１２５に記録する場合には、上述もしたように、当該動画像データは、例えば図示しない圧縮／伸張処理部においてデータ圧縮された後に、記録再生処理部１２４を通じて記録媒体１２５に記録される。
【００４３】
次に、この実施の形態の撮像装置１００の再生機能について説明する。キー操作部１２１を通じて、記録媒体１２５に記録された動画像データを再生することの指示入力を受け付けると、制御部１１０は、記録再生処理部１２４を制御し、再生するように指示された動画像データ（輝度信号Ｙ、色信号Ｃｂ、Ｃｒ）を読み出し、例えば図示しない圧縮／伸張処理部に供給する。そして、当該圧縮／伸張処理部において伸張処理することにより、データ圧縮前の元の動画像データを復元し、これを制御部１１０を通じて表示処理部１０７に供給する。
【００４４】
そして、表示処理部１０７においては、伸張処理されて復元された動画像データを、表示部１０８に供給する形式の動画像信号に変換して表示部１０８に供給する。これにより表示部１０８の表示素子の表示画面には、記録媒体１２５から読み出された動画像データに応じた動画像が表示するようにされる。
【００４５】
また、同時に、圧縮されたままの動画像データは、あるいは、図示しない圧縮／伸張処理部において伸張処理されて、データ圧縮前の元の動画像データに復元された動画像データは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて、これに接続された外部機器に供給し、当該外部機器において利用するようにすることもできるようにされる。
【００４６】
このように、この実施の形態の撮像装置１００は、撮影することにより得た動画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録した動画像データを再生して利用したりすることができるものである。そして、この実施の形態の撮像装置１００は、画像を構成する画素毎に算出する色収差量を少ない演算量により効率よく正確に算出し、色収差補正を迅速かつ適切に行うことができるようにしている。
【００４７】
［カメラ信号処理部１０６について］
次に、図１に示したこの実施の形態の撮像装置１００のカメラ信号処理部１０６の構成例について説明する。図２は、この実施の形態の撮像装置１００に搭載されたカメラ信号処理部１０６の構成例を説明するためのブロック図である。
【００４８】
図２に示すように、この実施の形態のカメラ信号処理部１０６は、信号調整部１０６１、デモザイク処理部１０６２、信号補正部１０６３、Ｙ／Ｃ変換部１０６４、色収差補正部１０６５、解像度変換部１０６６を備えたものである。
【００４９】
そして、検波処理部１０５からのＲａｗ動画像データは、カメラ信号処理部１０６の信号調整部１０６１に供給される。信号調整部１０６１は、これに供給されたＲａｗ動画像データに対して、黒レベル合わせやホワイトバランス調整などの種々の調整処理を施すものである。
【００５０】
ここで、撮像装置における黒レベルは、撮像素子の撮像面を完全に遮光した場合の当該撮像素子からの画像出力を意味する。しかし、例えば、撮像素子より後段の回路の影響等により、オフセット成分が混入するなどして、黒レベルが正確に表現できなくなり、画像が適切に形成できなくなる場合がある。このような場合を防止するために、信号調整部１０６１においては、検波処理部１０５からのパラメータに基づいて、これに供給されるＲａｗ動画像データの黒レベルの調整処理を行う。
【００５１】
また、撮像装置を用いて被写体を撮影する場合、撮影時における光の種類（例えば、太陽光や蛍光灯など）により同じ被写体であってもその色合いは異なったものとなる。しかし、人間の目には白いものを常に白として認識しようとする習性が有る。そこで、信号調整部１０６１は、検波処理部１０５からのパラメータに基づいて、画像全体の色のバランス（具体的には、Ｒ（赤）とＢ（青）のバランス）を調整し、白いものは常に白いものとして表現できるようにしている。
【００５２】
なお、信号調整部１０６１においては、黒レベル調整やホワイトバランス調整などのほか、その他の各種の補正処理やノイズリダクション処理などを行うようにする場合もある。そして、信号調整部１０６１において種々の信号調整処理がなされたＲａｗ動画像データは、デモザイク処理部１０６２に供給される。
【００５３】
デモザイク処理部１０６２は、撮像素子で用いられている色フィルタに応じて、画素毎に異なる色信号が用いられて形成されたＲａｗ動画像データから、画像を構成する画素毎に必要となる色信号の全部、この実施の形態の撮像装置の場合には、Ｒ、Ｇ、Ｂの３原色信号を形成する処理を行うものである。デモザイク処理部１０６２において形成されたＲ、Ｇ、Ｂの３原色信号（３原色データ）は、信号補正部１０６３に供給される。
【００５４】
信号補正部１０６３は、これに供給された画像データ（３原色データ）に対して、アパーチャ補正やガンマ補正などの補正処理を施す。ここでアパーチャ補正は、供給される３原色データに対して、輪郭強調処理を施すことにより、画像をはっきりとシャープなものとなるようにする処理である。この実施の形態の撮像装置の場合には、例えば操作部１２１を通じて受け付けるユーザーからの指示入力に応じた制御部１１０からの制御信号により、輪郭強調の度合い（レベル）を調整することができ、画像をシャープなイメージに形成することも、また、ソフトなイメージに形成することもできるようにしている。
【００５５】
また、ガンマ補正は、供給された動画像データ（３原色データ）と、これが実際に出力される際の信号の相対関係を調節して、より自然に近い色合いの画像を得るようにする処理である。すなわち、ガンマ（γ）値は、画像の明るさの変化に対する電圧換算値の変化の比を意味し、これが値「１」に近づくのが理想であるが、用いられる素子の特性等により変化してしまう場合がある。このため、信号補正部１０６３においては、これに供給される動画像データ（３原色データ）のガンマ値の誤差を補正し、当該ガンマ値が値「１」に近くなるように補正する処理を行う。そして、信号補正部１０６３において補正処理された動画像データ（３原色データ）は、Ｙ／Ｃ変換部１０６６に供給される。
【００５６】
Ｙ／Ｃ変換部１０６４は、これに供給された動画像データ（３原色データ）を、所定の計算式に従って、輝度信号（Ｙ）と色信号（Ｃｂ、Ｃｒ）に変換し、変換後の輝度信号（Ｙ）と色信号（Ｃｂ、Ｃｒ）とを色収差補正部１０６５に供給する。なお、Ｙ／Ｃ変換部１０６４においては、所定の計算式にしたがって、３原色データ（Ｒ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号）から、輝度信号Ｙ、色信号Ｃｂ、Ｃｒを生成する。
【００５７】
この実施の形態の撮像装置１００のＹ／Ｃ変換部１０６４においては、輝度信号Ｙは、次の（１）式に基づいて算出（生成）し、色信号Ｃｒは、次の（２）式に基づいて算出（生成）し、また、色信号Ｃｂは、次の（３）式に基づいて算出（生成）するようにしている。
Ｙ ＝ ０．３Ｒ ＋ ０．６Ｇ ＋ ０．１Ｂ …（１）
Ｃｒ＝ ０．７Ｒ − ０．６Ｇ − ０．１Ｂ …（２）
Ｃｂ＝−０．３Ｒ − ０．６Ｇ ＋ ０．９Ｂ …（３）
そして、上記の計算式に基づいてＹ／Ｃ変換部１０６４において生成された輝度信号Ｙ、色信号Ｃｂ、Ｃｒは、色収差補正部１０６５に供給される。
【００５８】
色収差補正部１０６５は、レンズを通じて取り込まれた画像が所定の結像面に結像する場合に、光の波長によって、像にずれが生じる場合があるが、このような色収差現象を補正するものである。そして、色収差補正部１０６５は、詳しくは後述するが、輝度信号Ｙに基づいて画像を構成する画素毎に白とび画素か否かを求め、また、色信号Ｃｂ、Ｃｒから画像を構成する画素毎に紫度（どれだけ紫に近いかを示す値）を求め、これらから色収差の補正信号を形成して、色信号Ｃｂ、Ｃｒについて色収差補正を行うものである。そして、色収差補正部１０６５からは、輝度信号Ｙと、色収差補正された色信号Ｃｂ、Ｃｒが出力され、これらが解像度変換部１０６６に供給される。
【００５９】
解像度変換部１０６６は、これに供給された輝度信号Ｙ、色信号Ｃｂ、Ｃｒに対して画像のスケーリングを行う。すなわち、解像度変換部１０６５は、これに供給された輝度信号Ｙ、色信号Ｃｂ、Ｃｒについて間引き処理や補間処理を施すことにより、所定の解像度の輝度信号Ｙ、色信号Ｃｂ、Ｃｒを形成し、これを出力する。この解像度変換部１０６５から出力された輝度信号Ｙ、色信号Ｃｂ、Ｃｒに応じた画像が、図１に示した表示処理部１０７を通じて表示部１０８に表示され、また、データ圧縮処理された後に、記録再生処理部１２４を通じて記録媒体１２５に記録されることになる。
【００６０】
このように、カメラ信号処理部１０６においては、撮像素子部１０２を通じて撮影するようにした被写体のＲａｗ動画像データに対して、上述したように種々の信号処理を施し、最終的に、表示や記録の対象となる目的とする解像度のＹＣデータを形成して出力することができるようにしている。そして、この実施の形態のカメラ信号処理部１０６の色収差補正部１０６５においては、以下に詳述するように、従来よりも格段に少ない演算量の処理により、画像を構成する各画素の色収差量を求め、迅速かつ適切に色収差補正を行うことができるようにしている。
【００６１】
［色収差補正部１０６５について］
次に、この実施の形態の撮像装置１００のカメラ信号処理部１０６に設けられる色収差補正部１０６５の詳細について説明する。図３は、この実施の形態の色収差補正部１０６５を説明するための図である。
【００６２】
この実施の形態の色収差補正部１０６５は、上述もしたように、輝度信号Ｙによって求められる、画像を構成する各画素が白とび画素か否かの情報と、色信号Ｃｂ、Ｃｒから求められる、画像を構成する各画素の紫度とに基づいて、色信号Ｃｂ、Ｃｒについて色収差補正を行うものである。
【００６３】
このようにするのは、白とびが無いところでは色収差が発生しても目立たず、その補正の効果も小さい。これに対して、一般的に、緑（Ｇ）値が小さい紫色は輝度値（Ｙ）も小さくなるので、紫色の画像付近において白とびが発生する可能性は非常に低い。すなわち、白とびの周辺において、もともと紫色の画像（色収差によるものでない紫色）が存在する可能性は、非常に低い。したがって、色収差補正部１０６５においては、白とびの画素の周辺（近傍）に発生する紫色の画素を、色収差によるものとみなして補正する。
【００６４】
このように、白とびの発生した画素を考慮して色収差の補正を行うようにすることによって、色収差補正部１０６５においては、不要な補正を低減し、より適切に色収差の補正を行うことができるようにしている。
【００６５】
なお、色収差の影響により、紫色、緑色などの色が見えることがあるが、一般に、輝度値（Ｙ）が大きい場合、緑（Ｇ）値も大きくなるため、白とび周辺にもともと緑色（色収差によるものでない緑色）が存在する可能性が高い。このため、不用意に緑色を補正するようにすると、例えば、木の木漏れ日を撮影したときに木の葉の色を消してしまう恐れがある。したがって、色収差補正部１０６５は、緑色に関して補正を行わないようにしている。
【００６６】
以下、この実施の形態の色収差補正部１０６５について詳細に説明する。図３に示すように、この実施の形態の色収差補正部１０６５は、紫領域算出部６５１と、白とび判定部６５２と、白とび情報保持部６５３と、色収差算定部６５４と、補正信号生成部６５５と、補正リミッタ６５６と、ぼかし部６５７と、混合処理部６５８、遅延部６５９とを備えたものである。
【００６７】
そして、図３に示すように、Ｙ／Ｃ変換部１０６４からの色信号Ｃｂ、Ｃｒは、色収差補正部１０６５の紫領域算出部６５１、補正信号生成部６５５、混合処理部６５８に供給される。また、Ｙ／Ｃ変換部１０６４からの輝度信号Ｙは、白とび判定部６５２に供給されると共に、遅延部６５９において、色信号についての色収差補正処理にかかる時間分遅延するようにされた後に、後段の回路に供給するようにされている。
【００６８】
そして、紫領域算出部６５１は、入力された色信号Ｃｒ、Ｃｂから、各画素の紫度（どれだけ紫色に近いかを示す度合い）を算出し、その算出結果を補正信号生成部６５５に供給する。つまり、紫領域算出部６５１は、画面内の紫色の部分（紫領域）を特定する。
【００６９】
一方、白とび判定部６５２は、入力された輝度信号Ｙの信号レベルが所定の閾値以上である（輝度値が飽和した）か否かを画素毎に判定し、その判定結果（例えば１ビットの情報）を白とび情報保持部６５３に供給する。例えば、白とび判定部６５２は、白とびが発生した画素（白とび画素）に対して、値「１」を判定結果として白とび情報保持部６５３に供給し、白とびが発生しなかった画素に対して、値「０」を判定結果として白とび情報保持部６５３に供給する。
【００７０】
白とび情報保持部６５３は、ＲＡＭ（Random Access Memory）等のメモリ（記憶媒体）を内蔵するものである。そして、白とび情報保持部６５３は、白とび判定部６５２から供給される各画素の判定結果（各画素が白とび画素であるか否かを示す情報）を、自己のメモリに一時記憶する。白とび情報保持部６５３は、その一時記憶した情報に基づいて、次の色収差量算出部６５４における注目画素に対する周囲の白とび画素の分布を示す白とびマップ（白とび分布情報）を作成し、それを色収差量算出部６５４に供給する。
【００７１】
色収差量算出部６５４は、ＲＡＭやＲＯＭ（Read Only Memory）等のメモリ（記憶媒体）を内蔵し、その記憶領域に、注目画素周辺の色収差の補正量（色収差量）に関する情報である色収差モデルを予め記憶している。色収差量算出部６５４は、その色収差モデルより、色収差量の分布を示す色収差マップ（色収差分布情報）を生成する。色収差量算出部６５４は、その色収差マップと、白とび情報保持部６５３より供給される白とびマップとを保持し、これらを用いて、周囲の白とび画素による注目画素の色収差量の積分値を算出し、その算出した色収差量を補正信号生成部６５５に供給する。
【００７２】
補正信号生成部６５５は、色収差量算出部６５４より供給された色収差量、および紫領域算出部６５１より供給された紫度に基づいて、白とびに応じた色収差量（白とび画素近傍の紫色の画素に対する色収差の補正量）を算出し、その値を用いて、補正前の色信号の色収差補正を行い、補正信号を生成する。補正信号生成部６５５は、生成した補正信号を補正リミッタ６５６に供給する。また、補正信号生成部６５５は、白とびに応じた色収差量を混合処理部６５８に供給する。
【００７３】
補正リミッタ６５６は、補正信号生成部６５５より供給された補正信号について、彩度の低下量の補正を実行する。すなわち、補正リミッタ６５６は、補正信号生成部６５５における補正処理により彩度を低下させすぎた部分などを検出し、周辺の画素の彩度を参考にした彩度補正処理を行う。補正リミッタ６５６は、彩度補正を行った補正済み信号をぼかし部６５７に供給する。
【００７４】
ぼかし部６５７は、補正リミッタ６５６より供給された信号に対して、ＬＰＦ（Low Pass Filter）を用いて、ぼかし処理を施し、補正ムラの修正を行う。ぼかし部６５７は、修正した補正信号を混合処理部６５８に供給する。
【００７５】
このように、補正リミッタ６５６及びぼかし部６５７によって補正信号をさらに処理することにより、画像として不自然で目立つ補正を低減させることができるので、より自然な色収差補正結果を得ることができる。
【００７６】
混合処理部６５８は、入力される補正前色信号と、ぼかし部６５７より供給される補正信号とを、補正信号生成部６５５より供給される白とびに応じた色収差量に基づいて混合し、補正後色信号を生成し、それを出力する。つまり、混合処理部６５８は、色収差量に基づいて２信号（補正信号および無補正信号）の混合比を決定することにより、色収差補正を行った画素に対しては補正信号を強調するように、色収差補正を行っていない画素に対しては無補正信号を強調するように、２信号を混合する。このように２信号の混合を行うことにより、混合処理部６５８は、色収差補正された信号に、補正前の信号を反映させることができ、より自然な補正後信号を得ることができる。
【００７７】
［色収差算出部６５４における処理の詳細］
そして、この実施の形態の色収差補正部１０６５の色収差算出部６５４においては、白とび判定比較の回数、及び収差量加算の回数を減らすことで、色収差算出部６５４における演算量を大幅に削減することができるようにしている。
【００７８】
まず、この発明に係るこの実施の形態の色収差算出部６５４において行われる処理の詳細を説明する前に、この発明の説明を簡単にすると共に、この発明の効果を明確に示すために、注目画素毎に算出すべき色収差量と、当該色収差量を算出するための従来の方法について説明する。
【００７９】
［算出すべき色収差量について］
色収差算出部６５４においては、従来、注目画素の色収差量を次のようにして求めている。すなわち、白とび情報保持部６５３から供給される白とびマップ情報と、色収差算出部６５４が備える注目画素周辺の色収差の補正量（色収差量）に関する情報である色収差マップから、注目画素周囲の探索範囲内に白とび画素がある場合には、その白とび画素の色収差補正値を色収差マップから取り出し、それらを積分して注目画素の色収差量としている。
【００８０】
したがって、色収差量Ｓは、図４に示す（１）式によって求めることができる。図４は、色収差Ｓの算出式を示す図である。ここで、図４に示したように、Ｓは求めるべき注目画素の色収差量であり、ｘ、ｙは、注目画素周辺の探索範囲をｍ×ｎ画素とした場合の座標を表すものである。この場合、注目画素はｍ×ｎ画素の中心となる。したがって、探索範囲を例えば９×９画素の範囲とし、縦、横とも、０〜８の値で画素位置を示すものとすれば、左上端部の画素位置［ｘ，ｙ］＝［０，０］となり、注目画素の画素位置［ｘ，ｙ］＝［４，４］となる。
【００８１】
また、Ｍｘｙは、色収差算出部６５４に用意されている色収差マップ上の座標［ｘ，ｙ］の色収差補正値である。また、Ｗｘｙは、白とび情報保持部６５３に保持されている白とびマップ上の座標［ｘ，ｙ］の白とび有無情報である。そして、この例の場合、Ｗｘｙには、白とびマップ上の座標［ｘ，ｙ］の画素が、白とび画素であれば値「１」が入り、また、白とびマップ上の座標［ｘ，ｙ］の画素が、白とび画素で無ければ値「０」が入る。
【００８２】
図４に示した（１）式にしたがえば、色収差量Ｓは、注目画素に応じて決まる白とびマップ上の探索範囲において白とびとなっている全ての画素を特定し、この特定した白とびマップ上の全ての白とび画素と、色収差マップ上において同位置となる全ての画素の色収差補正値を全て加算したもの（積分したもの）が、注目画素の色収差量Ｓとなる。
【００８３】
［色収差量を求めるための従来の色収差算出部の構成と処理内容について］
次に、図３に示したように構成される色収差補正部１０６５の色収差算出部６５４の従来の構成例について説明する。図１０は、色収差算出部６５４の従来の構成例について説明するための図である。図１０に示すように、従来の色収差算出部６５４は、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍ、注目画素色収差量レジスタ６５４Ｒ、演算部６５４Ｃを備えたものである。
【００８４】
ここで、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍのそれぞれは、異なるＲＡＭに形成したり、同一のＲＡＭに領域を変えて形成したりすることができる。また、注目画素色収差量レジスタ６５４Ｒは、専用のレジスタとして備えるようにしてもよいし、搭載されたメモリの一部を用いて構成するようにしてもよい。また、演算部６５４Ｃは、例えば、専用のＣＰＵを用いて構成したり、あるいは、撮像装置１００の制御部１１０のＣＰＵ１１１がその機能を担うようにしたりすることもできる。
【００８５】
そして、白とびマップ６５４メモリＷＭは、白とび情報保持部６５３において生成された例えば１フレーム分の画像の白とびマップを保持するものである。色収差マップメモリ６５４ＣＭは、色収差算出部６５４が予め記憶保持するようにしている色収差モデルにしたがって生成される、１フレーム分の画像を構成する画素毎に色収差の探索範囲（例えば９×９画素の範囲）に対応した大きさの色収差マップを保持するものである。
【００８６】
また、注目画素色収差量レジスタ６５４Ｒは、注目画素の色収差量を算出するために用いられる加算領域である。また、色収差量格納メモリ６６５４Ｍは、１フレームの画像を構成する画素毎に算出された色収差量を保持するものである。そして、演算部６５４Ｃは、注目画素毎に、白とびマップメモリ６５４の白とびマップに基づいて、その注目画素を中心とする探索範囲の白とびマップ上の白とび画素を特定し、その特定した白とび画素の色収差量（色収差補正値）を色収差マップメモリ６５４ＣＭの当該注目画素についての色収差マップの対応する画素位置から取得し、これを注目画素色収差量レジスタ６５４Ｒに加算してく。
【００８７】
この処理を、注目画素を中心とする探索範囲の全ての画素について行うことにより、注目画素色収差量レジスタ６５４Ｒに、当該注目画素についての色収差量が算出される。このようにして、注目画素色収差量レジスタ６５４Ｒに求められた注目画素についての色収差量は、演算部６５４Ｃを通じて色収差格納メモリ６５４Ｍの該当領域（該当画素領域）に格納され、最終的に１フレームの画像を構成する各画素についての色収差量が色収差格納メモリ６５４Ｍの該当領域に格納される。
【００８８】
次に、図１０に示したように構成される従来の色収差算出部６５４において、画像を構成する全ての画素について色収差量を求める従来の処理について説明する。図１１は、画像を構成する全ての画素について色収差量を求める従来の処理について説明するためのフローチャートである。この図１１に示す処理は、従来の色収差算出部６５４において、１枚の画像を構成するフレーム単位に実行される処理である。
【００８９】
すなわち、従来の色収差算出部６５４においては、フレーム単位に図１１に示す処理を実行する。まず、色収差算出部６５４の演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とマップ上の注目画素を更新する（ステップＳ１）。ステップＳ１の処理は、一般的には画像の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって注目画素を更新（特定）する。しかし、１フレームを構成する全画素を注目画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。
【００９０】
次に、色収差算出部６５４の演算部６５４Ｃは、注目画素色収差量レジスタ６５４Ｒの注目画素の色収差量を「０（ゼロ）」に初期化する（ステップＳ２）。そして、演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とびマップ上の注目画素によって決まる探索範囲の探索画素を更新する（ステップＳ３）。ステップＳ３の処理は、一般的には注目画素周辺の探索範囲（白とび探索範囲）の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって探索画素を更新（特定）する。しかし、所定の探索範囲内の全画素を探索画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。また、探索範囲のサイズ（大きさ）は、色収差マップにより決まるサイズである。
【００９１】
次に、色収差算出部６５４の演算部６５４Ｃは、ステップＳ３において更新（特定）した探索画素が、白とびの画素であるか否かを判断する（ステップＳ４）。このステップＳ４において、色収差算出部６５４の演算部６５４Ｃは、白とび情報保持部６５３から入力される白とびマップをもとに、探索画素が白とびであるか判定する。
【００９２】
そして、色収差算出部６５４の演算部６５４Ｃは、ステップＳ４において、探索画素が白とび画素であると判断したときには、色収差マップメモリ６５４ＣＭの当該注目画素に対する色収差マップの探索画素位置に対応した色収差量を注目画素の色収差量として注目画素色収差量レジスタ６５４Ｒの値に加算する色収差量加算処理を行う（ステップＳ５）。また、ステップＳ４において、探索画素が白とび画素ではないと判断したときには、ステップＳ５の色収差加算処理は行わずにステップＳ６の処理に進む。
【００９３】
ステップＳ５の色収差量加算処理の後、または、ステップＳ４で探索画素が白とび画素ではないと判断したときには、色収差算出部６５４の演算部６５４Ｃは、探索範囲内の全ての画素を探索し、色収差量を加算したか否かを判断する（ステップＳ６）。ステップＳ６の判断処理において、探索範囲内の全ての画素を探索していない（探索をし終えていない）と判断したときには、ステップＳ３からの処理を繰り返し、探索範囲内の次の画素を白とびの判断の対象する。すなわち、探索範囲をすべて探索するまで、ステップＳ３、ステップＳ４、ステップＳ５の処理を繰り返すことになる。
【００９４】
ステップＳ６の判断処理において、探索範囲内の全ての画素を探索した（探索し終えた）と判断したときには、処理対象の画像（１フレーム分の画像）の全ての画素について、色収差量を算出したか否かを判断する（ステップＳ７）。ステップＳ７の判断処理において、処理対象の画像の全ての画素について、色収差量を算出し終えていないと判断したときには、ステップＳ１からの処理を繰り返し、次の注目画素についての色収差量を算出する処理を行う。すなわち、全ての画素の色収差量演算が完了するまでステップＳ１〜ステップＳ６の処理を繰り返すことになる。また、ステップＳ７において、処理対象の画像の全ての画素について、色収差量を算出し終えたと判断したときには、この図１１に示す処理を終了する。
【００９５】
図１２は、図１１のフローチャートを用いて説明した従来の色収差量を求めるための処理について具体例を示して説明するための概念図である。図１２では注目画素周囲の白とび画素のお探索範囲（白とび画素探索範囲）を９×９画素とした場合の例である。
【００９６】
そして、図１２（Ａ）は、注目画素を中心としてその周囲９×９画素分の白とびマップを切り出したものである。図１２（Ａ）においては、塗り潰しの無い画素が白とび無しの画素、塗り潰しの有る画素が白とび有りの画素として示している。また、図１２（Ｂ）は、注目画素に対応した色収差マップである。図１２（Ｂ）内のＡ４、Ａ３、Ａ２…等のアルファベットの大文字と数字とで示したものが、対応する画素の色収差量（色収差補正値）である。また、図１２（Ｄ）は、注目画素を中心としてその周囲９×９画素分の色収差量格納領域を切り出したものである。
【００９７】
そして、色収差算出部６５４においては、図１１を用いて説明したように、注目画素周囲の９×９画素について、白とびマップ（図１２（Ａ））から白とびであるか判定を行い、白とびの場合は色収差モデルを格納した色収差マップ（図１２（Ｂ））の該当位置の色収差量を注目画素の色収差量として積分（加算）し、結果を色収差量格納領域（図１２（Ｄ））に保存する。
【００９８】
したがって、図１１の例での注目画素（座標［４，４］）の色収差量Ｓは図１２（Ｃ）より、次の（４）式に示すようになる。すなわち、
色収差量Ｓ＝Ａ２＋Ｂ３＋Ｃ４＋Ｃ２＋Ｄ１＋Ｄ０＋Ｅ０＋Ｅ１
＋Ｄ２＋Ｃ０＋Ｃ１＋Ｂ２＋Ｂ１＋Ｂ０＋Ａ３ …（４）
となる。この演算結果が、図１０に示した注目画素色収差量レジスタ６５４Ｒに求められ、これが図１２（Ｄ）に示すように、色収差格納メモリ６５４Ｍの色収差格納領域の対応する画素位置の記憶領域に格納される。
【００９９】
そして、図１０、図１１、図１２を用いて説明した従来の色収差量を算出する方法の場合には、上述もしたように、演算量が非常に大きくなる。すなわち、上述もしたように、例えば、画素数２００×１５０、注目画素周囲の白とび探索範囲を９×９画素、白とび含有率（全画素中、白とびと判定された画素の割合）が１０％である場合について考える。
【０１００】
この場合、図１１に示したステップＳ４〜ステップＳ６からなるループは、白とび探索範囲の画素数分、すなわち９×９＝８１回、繰り返し行われる処理となる。また、当該ループの中で行われるステップＳ５の加算処理は、白とび含有率が１０％であるので、８１回×０．１＝８．１回行われることになる。そして、１画面の画素数が、ここでは２００×１５０であるので、１画面における図１１に示したステップＳ４〜ステップＳ６からなるループは、８１×２００×１５０＝２，４３０，０００回繰り返され、その中で、８．１×２００×１５０＝２４３，０００回の色収差量の加算が行われることになる。
【０１０１】
そして、ここで説明した従来の方法の場合、倍率色収差をも適正に補正するために、注目画素毎に異なる色収差マップを用いるようにした場合には、隣接する画素どうしては探索範囲が重なることを利用した計算量の削減は行えない。探索範囲が重なっていても、色収差マップが異なっているのでは、前の画素の演算結果を用いることができないためである。
【０１０２】
そこで、この実施の形態の色収差補正部１０６５の色収差算出部６５４においては、注目画素毎に異なる色収差マップを使用する場合であっても、図１０、図１１、図１２を用いて説明した従来の色収差量Ｓを算出する処理に比べて、大幅に演算量を低減するようにしている。
【０１０３】
［色収差量を求めるためのこの発明に係る処理について］
この発明は、図３に示した色収差補正部１０６５の二重線で示した色収差算出部６５４に適用されるものである。そして、この発明の主な特徴は、色収差算出部６５４の白とび判定比較の回数、及び収差量の加算回数を減らすことで、従来の色収差算出部で行われていた処理の演算量に比べて、大幅に演算量を抑えた色収差算出処理を行えるようにしている。
【０１０４】
図５は、この実施の形態の撮像装置１００の色収差補正部１０６５の色収差算出部６５４の構成例を説明するためのブロック図である。図５に示すように、この実施の形態の色収差算出部６５４は、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍ、演算部６５４Ｃを備えたものである。このように、この実施の形態の色収差補正部６５４は、図１０に示した従来の色収差補正部とは異なり、注目画素色収差量レジスタ６５４Ｒを備えないものである。
【０１０５】
なお、この実施の形態の色収差算出部６５４においても、白とびマップメモリ６５４ＷＭ、色収差マップメモリ６５４ＣＭ、色収差格納メモリ６５４Ｍのそれぞれは、異なるＲＡＭに形成したり、同一のＲＡＭに領域を変えて形成したりすることができる。また、演算部６５４Ｃは、例えば、専用のＣＰＵを用いて構成したり、あるいは、撮像装置１００の制御部１１０のＣＰＵ１１１がその機能を担うようにしたりすることもできる。
【０１０６】
そして、図５に示すこの実施の形態の色収差補正部６５４においては、演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とびマップに基づいて、注目画素が白とび画素か否かを判断し、白とび画素と判断したときには、その注目画素についての色収差マップを色収差マップメモリ６５４ＣＭから読み出し、これをそのまま、色収差格納メモリ６５４Ｍの対応する領域の各画素に、スタンプを押すようなイメージでそのまま足し込むようにする。
【０１０７】
このように、１フレームを構成する各画素について、白とびか否かを判断し、白とびの画素である場合には、対応する色収差マップの全体を、色収差格納メモリ６５４Ｍの対応する領域に足し込むようにすることにより、最終的には、上述した従来の方法によって求められた１フレームを構成する画素毎の色収差量を算出することができるようにしている。そして、この実施の形態の色収差算出部６５４の場合には、注目画素色収差量レジスタ６５４Ｒを備えていないので、注目画素毎に色収差量を算出するのではなく、１フレームの画像全体を白とびの探索範囲とすると共に、従来の処理においては白とびの探索範囲となっていた範囲を加算処理の処理単位となるようにしている。
【０１０８】
次に、この実施の形態の色収差補正部１０６５の色収差算出部６５４において行われる処理について詳細に説明する。図６は、この実施の形態の色収差算出部６５４において行われる処理について説明するためのフローチャートである。この図６に示す処理は、色収差算出部６５４において、１枚の画像を構成するフレーム単位に実行される処理である。
【０１０９】
すなわち、この実施の形態の撮像装置１００に搭載された色収差算出部６５４においては、フレーム単位に図６に示す処理を実行する。まず、色収差算出部６５４の演算部６５４Ｃは、色収差格納メモリ６５４Ｍの色収差格納領域の全体を値「０」で初期化する（ステップＳ１０１）。すなわち、ステップＳ１０１の処理は、１画面分の色収差格納領域の全体を初期化する処理である。
【０１１０】
そして、色収差算出部６５４の演算部６５４Ｃは、白とびマップメモリ６５４ＷＭの白とびマップ上の注目画素を更新する（ステップＳ１０２）。ステップＳ１０２の処理は、一般的には画像の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって注目画素を更新（特定）する。しかし、１フレームを構成する全画素を注目画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。
【０１１１】
次に、色収差算出部６５４の演算部６５４Ｃは、ステップＳ１０２において更新（特定）した注目画素が、白とびの画素であるか否かを判断する（ステップＳ１０３）。このステップＳ１０３において、色収差算出部６５４の演算部６５４Ｃは、白とび情報保持部６５３から入力され、白とびマップメモリ６５４ＷＭの白とびマップをもとに、注目画素が白とびであるか判定する。
【０１１２】
ステップＳ１０３において、注目画素が白とびの画素であると判断したときには、演算部６５４Ｃは、当該注目画素に対応する色収差マップを色収差マップメモリ６５４ＣＭから読み出し、当該色収差マップの探索画素を更新する（ステップＳ１０４）。ここで、色収差マップは、従来の処理でも用いた探索範囲と同じ大きさの領域であるので、ここでも探索範囲、探索画素という文言を用いる。しかし、従来の処理では、白とびマップ上の探索範囲であったの対して、この実施の形態の探索範囲は、上述の通り、色収差マップ上の探索範囲である。
【０１１３】
なお、ステップＳ１０４の処理は、一般的には注目画素周辺の探索範囲の左上から１画素ずつ右にずらし、右端に達した場合は次の行の左端に移るというように、予め決められた順番にしたがって探索画素を更新（特定）する。しかし、所定の探索範囲内の全画素を探索画素としてスキャニングすることができれば、どの画素から始め、どのようにスキャニングするかについては、特に限定するものではない。
【０１１４】
そして、色収差算出部６５４の演算部６５４Ｃは、色収差格納領域の探索画素に対応する画素に対して、当該探索画素に対応する色収差量（色収差補正値）を色収差マップから取得して加算する（ステップＳ１０５）。このステップＳ１０５の加算処理は、探索画素に応じて決まる色収差マップの対応する画素の色収差量を色収差格納領域の該当箇所（該当画素位置の格納領域）に加算する処理である。
【０１１５】
そして、色収差算出部６５４の演算部６５４Ｃは、探索範囲内の全ての画素を探索し、その色収差量を加算するようにしたか否かを判断する（ステップＳ１０６）。ステップＳ１０６の判断処理において、探索範囲内の全ての画素を探索し、その色収差量を加算していないと判断したときには、ステップＳ１０４からの処理を繰り返し、探索範囲内の各画素に対応する色収差量を色収差格納メモリの対応する色収差格納領域に加算する処理を行う。このように、このステップＳ１０４〜ステップＳ１０６までのループは、探索範囲に対応する範囲の色収差マップの各画素の色収差量を、そっくりそのままスタンプを押すようなイメージで、対応する範囲の色収差格納領域の各画素領域に加算する処理である。
【０１１６】
ステップＳ１０６の判断処理において、探索範囲内の全ての画素を探索した（探索を終えた）と判断した場合、また、ステップＳ１０３の判断処理において、注目画素は白とびの画素ではないと判断した場合には、ステップＳ１０７の処理に進み、演算部６５４Ｃは、処理対象の画像（１フレーム分の画像）の全ての画素について、色収差量を算出したか否かを判断する（ステップＳ１０７）。
【０１１７】
ステップＳ１０７の判断処理において、処理対象の画像の全ての画素について、色収差量を算出し終えていないと判断したときには、ステップＳ１０２からの処理を繰り返し、次の注目画素についての色収差量を算出する処理を行う。すなわち、全ての画素の色収差量演算が完了するまでステップＳ１０２〜ステップＳ１０６の処理を繰り返すことになる。また、ステップＳ１０７において、処理対象の画像の全ての画素について、色収差量を算出し終えたと判断したときには、この図６に示す処理を終了する。
【０１１８】
図７、図８は、図６のフローチャートを用いて説明した、この実施の形態の撮像装置１００で用いられる色収差算出部６５４で実行される色収差量を求めるための処理について具体例を示して説明するための概念図である。図７、図８では注目画素周囲の探索範囲を９×９画素とした場合の例である。
【０１１９】
そして、図７（Ａ）、図８（Ａ）のそれぞれは、注目画素を中心としてその周囲９×９画素分の白とびマップを切り出したものである。図７（Ａ）、図８（Ａ）においては、塗り潰しの無い画素が白とび無しの画素、塗り潰しの有る画素が白とび有りの画素として示している。また、図７（Ｂ）、図８（Ｂ）のそれぞれは、注目画素に対応した色収差マップである。図７（Ｂ）、図８（Ｂ）において、Ａ４、Ａ３、Ａ２…等のアルファベットの大文字と数字とで示したものが、対応する画素の色収差量である。また、図７（Ｃ）、図８（Ｃ）は、注目画素を中心としてその周囲９×９画素分の色収差量格納領域を示すものである。
【０１２０】
そして、図６に示したフローチャートのステップＳ１０３においては、例えば、図７（Ａ）に示した白とびマップに基づいて、注目画素が白とびであるかの判定を行う。図７（Ａ）に示した例の場合、座標［４，４］の位置にある注目画素は、白とびの画素である。このため、図６に示したフローチャートのステップＳ１０４、ステップＳ１０５の処理により、色収差モデルを格納した図７（Ｂ）に示した色収差マップの各画素の色収差量が、図７（Ｃ）に示した色収差量格納領域の該当位置（該当する画素の格納領域）に加算するようにされる。
【０１２１】
すなわち、図７に示した例の場合、注目画素［４，４］は、白とび画素であるので、図７（Ｂ）に示した色収差マップの色収差量が、そのままスタンプを押すようなイメージで、図７（Ｃ）に示すように、色収差格納領域の対応する画素格納領域に加算される。したがって、図７に示した例の場合、注目画素（座標［４，４］）の色収差量Ｓは、次の（５）式に示すように、
Ｓ ＝ Ｅ０ …（５）
となっている。
【０１２２】
図７に示した状態の次には、図６に示したフローチャートにおいては、ステップＳ１０２の処理により、注目画素が更新される。図８は、図７の状態から注目画素が更新され、図８（Ａ）に示したように、注目画素が座標［５，４］になった場合について示している。
【０１２３】
図８に示した例の場合にも、図８（Ａ）の白とびマップから、注目画素（座標［５，４］）は、白とびの画素であるため、図７に示した場合と同様に、図６に示したフローチャートにおけるステップＳ１０４〜ステップＳ１０６の処理により、図８（Ｂ）に示す色収差マップの色収差量が、図８（Ｃ）に示すように、色収差量格納領域の対応する領域に加算される。したがって、図８（Ｃ）に示したように、最初の注目画素である座標［４，４］の画素に着目すれば、当該座標［４，４］の色収差量格納領域の対応する画素の格納領域には、図７の処理により色収差量Ｅ０が加算され、次の図８の処理により色収差量Ｅ１が加算される。
【０１２４】
このようにして、図７、図８の処理を連続して行った場合、色収差量格納領域の座標［４，４］の画素の色収差量Ｓは、次の（６）式に示すように、
Ｓ ＝ Ｅ０ ＋ Ｅ１ …（６）
となる。
【０１２５】
同様にして、注目画素を左上（座標［０，０］）から右下（座標［８，８］）にひとつずつずらして、注目画素が白とびの場合には色収差マップの色収差量を色収差格納領域に順次加算していくと、最終的に色収差量格納領域の座標［４，４］の色収差値Ｓは、以下の（７）式に示すようになる。すなわち、
座標［４，４］の色収差量Ｓ
＝Ａ２＋Ｂ３＋Ｃ４＋Ｃ２＋Ｄ０＋Ｄ２＋Ｅ０＋Ｅ１
＋Ｄ２＋Ｃ０＋Ｃ１＋Ｂ２＋Ｂ１＋Ｂ０＋Ａ３ …（７）
となる。すなわち、図１０、図１１、図１２を用いて上述した従来の色収差算出方法を用いた場合の座標［４，４］の色収差量Ｓと同じ結果になる。
【０１２６】
［従来の処理のこの発明の処理の比較］
色収差算出部６５４において行われる処理であって、図１１に示した従来の色収差算出処理と、図６に示したこの実施の形態の色収差算出処理とを比較すると、図１１に示した従来の処理の場合、ステップＳ３〜ステップＳ６において探索範囲内の画素が白とびの場合にその色収差マップ値を積分して注目画素１個の色収差量を求め色収差格納領域に保存している。
【０１２７】
これに対して、図６に示したこの実施の形態の処理（この発明）の場合、ステップＳ１０３〜ステップＳ１０６において注目画素が白とびの場合にのみ探索範囲内の色収差マップ値を該当する色収差格納領域の画素の個々に加算して保存するようにしている。
【０１２８】
したがって、図６に示したこの実施の形態の処理の場合には、図６のステップＳ１０３〜ステップＳ１０６の処理１回では注目画素の色収差量は求められない。しかし、探索範囲内の全画素についてステップＳ１０３〜ステップＳ１０６の処理を行うことにより、注目画素の色収差量に探索範囲内の全ての色収差量が積分され、結果として図１１に示した従来の処理のステップＳ３〜ステップＳ６を行うことによって得られる結果と同等の結果が得られる。
【０１２９】
そして、図６に示したフローチャートの処理を実行するこの実施の形態の撮像装置１００の色収差演算部６５４における演算回数は、例えば、１フレームの画像の画素数２００×１５０画素、注目画素周囲の白とび探索範囲を９×９画素、白とび含有率（全画素中、白とびと判定された画素の割合）を１０％とした場合、白とび判定のための条件判定は、１フレームの画像を構成する画素毎に行えばよいので、１フレームの画像における白とび判定のための条件判定回数は、１×２００×１５０＝３０，０００回となる。
【０１３０】
また、同条件において、１フレームの画像における色収差量算出のための加算回数は、図６に示したフローチャートを用いて説明したように、白とびの注目画素毎に、探索範囲を構成する各画素に対応する色収差量（色収差マップの対応する画素の色収差量）を加算
すればよい。したがって、この場合、１フレームの画像における色収差量算出のための加算回数は、９×９×２００×１５０×０．１＝２４３，０００回となる。ここで、「９×９」は探索範囲の画素数、「２００×１５０」は１フレーム分の画像の画素数、「０．１」は白とび含有率である。
【０１３１】
同条件における図１１に示した従来の処理の場合の１フレームの画像における演算回数と図６に示したこの発明に係る処理の場合の１フレームの画像における演算回数とを比較する。
【０１３２】
図６に示したこの発明に係る処理の場合には、
白とび判定のための条件判定回数：３０，０００（１×２００×１５０）
色収差量算出のための加算回数 ：２４３，０００（９×９×２００×１５０×０．１）となり、
また、図１１に示した従来の処理の場合には、
白とび判定のための条件判定回数：２，４３０，０００回（９×９×２００×１５０）
色収差量算出のための加算回数 ：２４３，０００回（９×９×２００×１５０×０．１）となる。したがって、色収差算出のための加算回数は同じであるが、白とび判定のための条件判定回数は１／８１（８１分の１）に削減されることが分かる。
【０１３３】
上述の条件のうち白とび含有率を０〜１００％と変化させた場合の、図１１に示した従来の処理による演算回数と、図６に示したこの実施の形態の処理による演算回数とをプロットしたグラフを図９に示す。図９において、横軸は白とび含有率を、縦軸は演算回数（白とび判定のための条件判定回数と色収差量算出のための加算回数との合計）を示している。
【０１３４】
そして、図９のグラフから分かるように、白とび含有率に関係なく、常に図６を用いて説明したこの実施の形態の処理（この発明に係る処理）の方が、演算回数は大幅に少ないことが分かる。この結果より、図１１に示した従来の処理よりも、図６に示したこの発明に係る処理の方が、白とび含有率に関係なく演算回数の削減効果が得られることが分る。
【０１３５】
なお、上述した処理条件においては、探索範囲を９×９画素としたが、範囲を１１×１１や１３×１３などより大きくした場合には、削減効果はさらに高まる。
【０１３６】
この条件判定回数の削減により、回路もしくはプログラムの処理量削減、または回路規模の削減が可能となる。
【０１３７】
［その他］
なお、上述した実施の形態の色収差算出部１０６５においては、図５を用いて説明したように、白とびマップメモリ６５４ＷＭが、白とびマップ（白とび分布情報）を記憶保持する白とび分布情報記憶部を構成し、色収差マップメモリ６５４ＣＭが、色収差マップ（色収差分布情報）を記憶保持する色収差分布情報記憶部を構成し、また、色収差量格納メモリ６５４Ｍが、各画素毎の色収差量を記憶保持する色収差量格納部を構成している。
【０１３８】
また、上述した実施の形態の色収差算出部１０６５においては、判別部、読み出し部、加算部の格納機能を、図５に示した演算部６５４Ｃが実現している。なお、演算部６５４は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたマイクロコンピュータであり、色収差補正部１０６５に設けられるほか、色収差補正部１０６５の機能を実現するために設けられるものの場合もあるし、また、図１に示した撮像装置１００の制御部１１０が、その機能を実現するようにすることもできる。すなわち、制御部１１０が、カメラ信号処理部１０６の機能、あるいは、色収差補正部１０６５の機能、あるいは、色収差算出部６５４の機能を実現するようにすることもできる。
【０１３９】
また、図６を用いて上述したように、色収差算出部６５４の演算部６５４Ｃが、判別手段として機能して、白とびマップメモリ６５４ＷＭの白とびマップに基づいて画像を構成する画素毎に白とび画素か否かを判別し、白とび画素であると判別された画素については、演算部６５４Ｃが読み出し手段として機能して、色差マップメモリ６５４ＣＭから、白とび画素であると判別された画素を注目画素とする所定大きさの探索範囲の色収差マップを読み出し、これを演算部６５４Ｃが加算部として機能して、色収差量格納メモリ６５４Ｍの対応する領域に加算することにより、この発明の色収差量算出方法を実現することができる。
【０１４０】
同様に、色収差算出部６５４の演算部６５４Ｃの機能を実現するマイクロコンピュータにおいて、図６を用いて上述したように、当該コンピュータが、白とびマップメモリ６５４ＷＭの白とびマップに基づいて画像を構成する画素毎に白とび画素か否かを判別し、白とび画素であると判別された画素については、当該コンピュータが、色差マップメモリ６５４ＣＭから、白とび画素であると判別された画素を注目画素とする所定大きさの探索範囲の色収差マップを読み出し、これを当該コンピュータが、色収差量格納メモリ６５４Ｍの対応する領域に加算することにより、この発明の色収差量算出プログラムを実現することができる。すなわち、この場合には、コンピュータ自身が、判別部、読み出し部、加算部として機能するようにしている。
【０１４１】
なお、図３に示した色収差補正部１０６５について、画像データの色信号に基づいて、各画素について前記色の度合いを示す色度を算出する色度算出部をさらに備え、当該色度算出部により算出された色度を、色収差量算出部１０６５により算出された色収差量に乗算し、その乗算結果を用いて画像データの色収差補正を行うように構成してもよい。このように、色度をも考慮することにより、より正確な色収差補正を行うことができる。
【０１４２】
また、上述した実施の形態の色収差マップメモリ６５４ＣＭに予め記憶保持される色収差マップは、上述もしたように、倍率色収差をも補正するため、注目画素となる画素の位置に応じて、異なる色収差マップを用いるようにすることができる。また、いくつかの色収差マップを用意しておき、これらを使い分けるようにすることもできる。また、上述もしたように、色収差算出部６５４が備える色収差モデルと、注目画素の画素位置とから、必要に応じて適切な色収差マップを生成して利用するようにすることもできる。
【０１４３】
また、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、この発明に係る色収差補正部１０６５をＩＣ化して実現し、これを種々の撮像装置に搭載することもできる。
【０１４４】
また、図６を用いて説明したように処理を実行するプログラムを形成して、種々の撮像装置に搭載することにより、種々の撮像装置にこの発明を適用することができる。
【０１４５】
また、上述した実施の形態においては、撮像装置１００はデジタルビデオカメラであり、動画像データを処理するものであり、１フレームの画像単位に上述したように、色収差補正を行うものとして説明した。しかしこれに限るものではない。この発明は、デジタルスチルカメラにも適用可能なものであり、静止画像データについても、１枚の静止画像単位に上述したように色収差補正処理を行うようにすることができる。
【０１４６】
また、画像の画素数等に特に左右されることなく、種々の画素数（画サイズ）の画像を処理する場合に、この発明を適用することができる。
【図面の簡単な説明】
【０１４７】
【図１】この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置１００を説明するためのブロック図である。
【図２】図１に示した撮像装置１００に搭載されたカメラ信号処理部１０６の構成例を説明するためのブロック図である。
【図３】図２に示した色収差補正部１０６５を説明するための図である。
【図４】色収差Ｓの算出式を示す図である。
【図５】色収差補正部１０６５の色収差算出部６５４の構成例を説明するためのブロック図である。
【図６】色収差算出部６５４において行われる処理について説明するためのフローチャートである。
【図７】色収差算出部６５４で実行される色収差量を求めるための処理について具体例を示して説明するための概念図である。
【図８】色収差算出部６５４で実行される色収差量を求めるための処理について具体例を示して説明するための概念図である。
【図９】白とび含有率を０〜１００％と変化させた場合の演算回数の変化のグラフを示す図である。
【図１０】色収差算出部６５４の従来の構成例について説明するための図である。
【図１１】画像を構成する全ての画素について色収差量を求める従来の処理について説明するためのフローチャートである。
【図１２】従来の色収差量を求めるための処理について具体例を示して説明するための概念図である。
【符号の説明】
【０１４８】
１００…撮像装置、１０１…レンズ部、１０２…撮像素子部、１０３…アナログゲイン調整部、１０４…Ａ／Ｄ変換器、１０５…検波処理部、１０６…カメラ信号処理部、１０７…表示処理部、１０８…表示部、１１０…制御部、１２１…キー操作部、１２２…外部Ｉ／Ｆ、１２３…外部入出力端子、１２４…記録再生処理部、１２５…記録媒体、１０６１…信号調整部、１０６２…デモザイク処理部、１０６３…信号補正部、１０６４…Ｙ／Ｃ変換部、１０６５…色収差補正部、１０６６…解像度変換部、６５１…紫領域算出部、６５２…白とび判定部、６５３…白とび情報保持部、６５４…色収差算定部、６５５…補正信号生成部、６５６…補正リミッタ、６５７…ぼかし部、６５８…混合処理部、６５９…遅延部、６５４ＷＭ…白とびマップメモリ、６５４ＣＭ…色収差マップメモリ、６５４Ｍ…色収差格納メモリ、６５４Ｃ…演算部
【特許請求の範囲】
【請求項１】
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正装置であって、
特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段を備え、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別部と、
前記判別部により白とび画素であると判別された画素について、当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し部と、
前記読み出し部により読み出された前記色収差分布情報を、前記色収差格納部の対応する記憶領域に加算処理する加算部と
を備えることを特徴とする色収差補正装置。
【請求項２】
請求項１に記載の色収差補正装置であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする色収差補正装置。
【請求項３】
撮像素子と、
被写体の画像を前記撮像素子の結像面に結像させるようにするためのレンズと、
前記撮像素子を通じて取り込まれる画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正手段とを備える撮像装置であって、
前記色収差補正手段は、画像の特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段を備えるものであり、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別部と、
前記判別部により白とび画素であると判別された画素について、当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し部と、
前記読み出し部により読み出された前記色収差分布情報を、前記色収差格納部の対応する記憶領域に加算処理する加算部と
を備えることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする撮像装置。
【請求項５】
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正装置に設けられ、
画像の特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段において行われる色収差算出方法であって、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
画像を構成する各画素が白とび画素か否かを判別する判別手段と、
前記色収差分布情報記憶部から目的とする色収差分布情報を読み出す読み出し手段と、
色収差分布情報を色収差量格納部に加算処理する加算手段と
を備えるものであり、
前記判別手段が、前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別工程と、
前記判別工程において白とび画素であると判別した画素について、前記読み出し手段が、前記当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し工程と、
前記読み出し工程において読み出した前記色収差分布情報を、前記加算手段が、前記色収差格納部の対応する記憶領域に加算処理する加算工程と
を有することを特徴とする色収差算出方法。
【請求項６】
請求項５に記載の色収差算出方法であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする色収差算出方法。
【請求項７】
撮像装置に搭載されたコンピュータが、
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する場合において、
画像の特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する場合に実行する色収差算出プログラムであって、
前記撮像装置は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
画像を構成する各画素が白とび画素か否かを判別する判別手段と、
前記色収差分布情報記憶部から目的とする色収差分布情報を読み出す読み出し手段と、
色収差分布情報を色収差量格納部に加算処理する加算手段と
を備えるものであり、
前記判別手段が、前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別ステップと、
前記判別ステップにおいて白とび画素であると判別した画素について、前記読み出し手段が、前記当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記色収差分布情報を、前記加算手段が、前記色収差格納部の対応する記憶領域に加算処理する加算ステップと
を前記撮像装置に搭載された前記コンピュータが実行することを特徴とする色収差算出プログラム。
【請求項８】
請求項７に記載の色収差算出プログラムであって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする色収差算出プログラム。
【請求項１】
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正装置であって、
特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段を備え、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別部と、
前記判別部により白とび画素であると判別された画素について、当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し部と、
前記読み出し部により読み出された前記色収差分布情報を、前記色収差格納部の対応する記憶領域に加算処理する加算部と
を備えることを特徴とする色収差補正装置。
【請求項２】
請求項１に記載の色収差補正装置であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする色収差補正装置。
【請求項３】
撮像素子と、
被写体の画像を前記撮像素子の結像面に結像させるようにするためのレンズと、
前記撮像素子を通じて取り込まれる画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正手段とを備える撮像装置であって、
前記色収差補正手段は、画像の特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段を備えるものであり、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別部と、
前記判別部により白とび画素であると判別された画素について、当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し部と、
前記読み出し部により読み出された前記色収差分布情報を、前記色収差格納部の対応する記憶領域に加算処理する加算部と
を備えることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする撮像装置。
【請求項５】
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する色収差補正装置に設けられ、
画像の特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する色収差量算出手段において行われる色収差算出方法であって、
前記色収差量算出手段は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
画像を構成する各画素が白とび画素か否かを判別する判別手段と、
前記色収差分布情報記憶部から目的とする色収差分布情報を読み出す読み出し手段と、
色収差分布情報を色収差量格納部に加算処理する加算手段と
を備えるものであり、
前記判別手段が、前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別工程と、
前記判別工程において白とび画素であると判別した画素について、前記読み出し手段が、前記当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出し工程と、
前記読み出し工程において読み出した前記色収差分布情報を、前記加算手段が、前記色収差格納部の対応する記憶領域に加算処理する加算工程と
を有することを特徴とする色収差算出方法。
【請求項６】
請求項５に記載の色収差算出方法であって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする色収差算出方法。
【請求項７】
撮像装置に搭載されたコンピュータが、
画像データの色信号に基づいて画像の紫色の部分を特定すると共に、前記画像データの輝度信号に基づいて輝度値が飽和した白とび画素を特定し、白とびの画素の周辺に発生する紫色の部分を色収差とみなして、当該色収差を補正する場合において、
画像の特定された前記白とび画素の分布情報と、画像を構成する画素毎に予め設定され、各画素を注目画素とした場合における所定範囲の各画素が白とび画素である場合の当該各画素の色収差に関する補正量である色収差量の分布を示す色収差分布情報とを用いて、画像を構成する各画素の色収差量を算出する場合に実行する色収差算出プログラムであって、
前記撮像装置は、
前記白とび画素の分布情報を記憶保持する白とび分布情報記憶部と、
画像を構成する画素毎に設定され、画像を構成する各画素を注目画素とした場合における前記所定範囲の前記色収差分布情報を記憶保持する色収差分布情報記憶部と、
画像を構成する画素毎の色収差量を記憶保持する色収差量格納部と、
画像を構成する各画素が白とび画素か否かを判別する判別手段と、
前記色収差分布情報記憶部から目的とする色収差分布情報を読み出す読み出し手段と、
色収差分布情報を色収差量格納部に加算処理する加算手段と
を備えるものであり、
前記判別手段が、前記白とび分布情報記憶部に記憶保持されている前記白とび画素の分布情報に基づいて、画像を構成する画素毎に白とび画素か否かを判別する判別ステップと、
前記判別ステップにおいて白とび画素であると判別した画素について、前記読み出し手段が、前記当該画素を注目画素とした場合の所定範囲の前記色収差分布情報を前記色収差分布情報記憶部から読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記色収差分布情報を、前記加算手段が、前記色収差格納部の対応する記憶領域に加算処理する加算ステップと
を前記撮像装置に搭載された前記コンピュータが実行することを特徴とする色収差算出プログラム。
【請求項８】
請求項７に記載の色収差算出プログラムであって、
前記色収差分布情報記憶部に記憶保持される前記色収差分布情報は、色収差の補正を行う注目画素の画面内の位置に応じて、倍率色収差の補正が可能なように設定されたものであることを特徴とする色収差算出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１４７７７０（Ｐ２００９−１４７７７０Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００７−３２４２３６（Ｐ２００７−３２４２３６）
【出願日】平成１９年１２月１７日（２００７．１２．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成１９年１２月１７日（２００７．１２．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]