画像処理装置

【課題】撮像装置で撮像した画像データの色収差量を検出してその補正を行うことができる画像処理装置を提供する。
【解決手段】本発明は、原画映像メモリ１と、原画映像読み出し部２と、原画像データの二次元座標の座標変換を行う座標変換部３と、色収差補正後の画像データを格納する結果映像メモリ４と、結果映像メモリ４に画像データを格納する制御を行う映像書き込み部５と、結果映像読み出し部６と、原画映像メモリ１内の画像データと結果映像メモリ４内の画像データとを比較して両データの差分を検出する比較部７と、差分を累積加算する積分カウンタ８と、コントローラ９とを備えている。撮像装置で撮像された画像データを構成する複数の色成分間のピクセル値の差分を検出し、差分の累積加算値が最小になるように一部の色成分の座標変換を行うため、撮影済みの画像データの色収差を精度よく補正することができる。

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ＣＣＤ(Charge Coupled Device)などの撮像装置で撮像された画像データの色収差量を検出してその補正を行う画像処理装置に関する。
【０００２】
【従来の技術】最近、２００万画素を越える高画素数のＣＣＤやＭＯＳセンサが低価格になり、また写真画質のプリンタが安価に購入できるようになってきたこともあり、デジタルカメラが急速に普及している。デジタルカメラは、フィルムや現像処理が不要で、高価な機材を必要とせずに手軽にプリントできるという特徴を有する。
【０００３】また、撮影した画像データに対して種々の画像処理を施すフォトレタッチソフトも数多く販売されており、年賀状やポスターなどに写真を合成する作業も個人が手軽に行えるようになってきた。
【０００４】
【発明が解決しようとする課題】デジタルカメラの利用者が急増してきたことに伴って、デジタルカメラの撮影画質の向上を求める声も高くなってきた。デジタルカメラは、光学レンズで集光した光を撮像装置の撮像面に結像するが、レンズの構成、焦点調節状態、レンズの絞り量、および撮像装置の特性などにより、色収差が現れる。
【０００５】最近のデジタルカメラは、ズームレンズを搭載したものが多いが、ズーム位置を変化させると、ズームレンズ内のレンズの構成が変化するため、色収差の現れ方も変化してしまう。
【０００６】色収差は、光の屈折率が波長により異なるために現れるものであり、例えば緑成分が撮像面で結像するように焦点調節を行っても、色収差があると、赤成分と青成分は撮像面でぼけてしまう。
【０００７】色収差をなくす手法として、レンズの構成や撮像装置の特性を考慮に入れて、光学的な補正処理やソフトウェアによる補正処理を行う手法が考えられる。しかしながら、これらの手法を採用すると、レンズの構成を変えたり、撮像装置の種類を変えるたびに、補正処理を最初からやり直さなければならず、補正処理に手間がかかるという問題がある。
【０００８】本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮像装置で撮像した画像データの色収差量を検出してその補正を行うことができる画像処理装置を提供することにある。
【０００９】
【課題を解決するための手段】上述した課題を解決するために、本発明は、撮像装置から出力された、複数の色成分からなる画像データの加工処理を行う画像処理装置において、前記撮像装置から出力された画像データに基づいて、複数の色成分間の色収差量を検出する色収差検出手段と、検出された色収差量に基づいて色収差の補正を行った後の画像データを格納する補正後記憶手段と、を備える。
【００１０】本発明では、撮影済みの画像データに基づいて色収差量の検出とその補正を行うため、レンズの構成や撮像装置の特性を考慮に入れることなく、比較的簡易な処理で色収差の補正を行える。
【００１１】
【発明の実施の形態】以下、本発明に係る画像処理装置について、図面を参照しながら具体的に説明する。
【００１２】図１は本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図である。図１の画像処理装置は、ＣＣＤやＭＯＳセンサ等の撮像装置で撮像された原画像データを格納する原画映像メモリ１と、原画映像メモリ１から原画像データを読み出す制御を行う原画映像読み出し部２と、原画像データの二次元座標の座標変換を行う座標変換部（座標変換手段）３と、色収差補正後の画像データを格納する結果映像メモリ（補正後記憶手段）４と、結果映像メモリ４に画像データを格納する制御を行う映像書き込み部（書き込み制御手段）５と、結果映像メモリ４から画像データを読み出す制御を行う結果映像読み出し部６と、原画映像メモリ１に格納されている画像データと結果映像メモリ４に格納されている画像データとを比較して両データの差分を検出する比較部（差分計算手段）７と、比較部７で検出された差分を累積する積分カウンタ（累積加算手段）８と、全体を制御するコントローラ（色収差検出手段）９とを備えている。
【００１３】図１の画像処理装置は、ハードウェアで構成しても、ソフトウェアで構成してもよい。また、図１は画像処理装置は、デジタルカメラに内蔵されてもよいし、コンピュータ上で実行可能なソフトウェアの形態で提供されてもよいし、あるいはコンピュータの周辺機器として提供されてもよい。
【００１４】図２は図１の画像処理装置の処理動作を示すフローチャートである。以下、このフローチャートに基づいて図１の画像処理装置の処理動作を説明する。このフローチャートを開始するにあたって、図１の原画映像メモリ１には、撮像装置で撮像された画像データが格納される。以下では、Ｒ（赤）成分、Ｇ（緑）成分およびＢ（青）成分の画像データが原画映像メモリ１に格納されている場合を例に取って説明するが、他の色成分、例えばＣＭＹ（シアン、マゼンダ、イエロー）成分の画像データが原画映像メモリ１に格納されている場合も同様の手順で処理を行うことができる。
【００１５】まず、原画映像メモリ１内のＧ成分の画像データを結果映像メモリ４にコピーする（ステップＳ１）。このステップＳ１の処理は、より詳細には図３のフローチャートに従って行われる。
【００１６】まず、原画読み出しチャネルをＧ成分に、結果書き込みチャネルをＧ成分に、結果読み出しチャネルをNONE（なし）に、座標変換パラメータを無変換に、それぞれ設定する（ステップＳ11）。
【００１７】次に、まだコピーしていないピクセル座標を変数座標（Ｘ，Ｙ）に代入する（ステップＳ12）。次に、変数座標（Ｘ，Ｙ）のピクセル値を原画映像メモリ１から読み出して結果映像メモリ４にコピーする（ステップＳ13）。ここで、ピクセル値とは、対象となる色成分の階調を表す値である。
【００１８】次に、全座標のピクセル値を原画映像メモリ１から結果映像メモリ４にコピーしたか否かを判定し（ステップＳ14）、まだコピーしていないものがあればステップＳ12以降の処理を繰り返し、全座標のピクセル値を結果映像メモリ４にコピーした場合には、図２のステップＳ２の処理を行う。
【００１９】ステップＳ２では、図４のフローチャートに従ってＲ成分の色収差量を検出する。まず、原画読み出しチャネルをＲ成分に、結果書き込みチャネルをNONE（なし）に、結果読み出しチャネルをＧ成分に、それぞれ設定する（ステップＳ21）。次に、Ｒ成分とＧ成分のピクセル値の累積差分最小値の初期値を無限大に設定する（ステップＳ22）。
【００２０】次に、座標変換パラメータａに所定のパラメータ候補を代入する（ステップＳ23、パラメータ変更手段）。次に、積分カウンタ８の計測値をリセットする（ステップＳ24）。次に、色収差量を検出する対象である調査領域内のまだ調査していないピクセル座標を変数座標（Ｘ，Ｙ）に代入する（ステップＳ25）。
【００２１】ここで、調査領域は、図５の斜線部１１で示すように、撮像装置の光軸中心から外れた領域に一つまたは複数設定される。本実施形態は、処理を簡略化するために、調査領域内で検出された色収差量に基づいて、その調査領域を一部に含む画像データの色収差量を決定する。なお、画像データのサイズが小さい場合や、高速の演算機能を持つＣＰＵで処理を行う場合などは、調査領域を設定せずに、画像データ全体について色収差量を検出してもよい。
【００２２】また、異なる画像データについては、各画像データごとに個別に調査領域を設定して色収差量を決定する。
【００２３】次に、座標変換パラメータａを利用してＲ成分の座標変換を行う（ステップＳ26、新規座標計算手段）。ここで、変換前の座標を（Ｘ，Ｙ）、変換後の座標を（Ｘ’，Ｙ’）＝ｆ（Ｘ，Ｙ）とする。ｆ()は、座標変換パラメータを含む変換関数であり、より具体的には、例えば以下の（１）式および（２）式で表される。なお、式中で（Ｘ0，Ｙ0）は光軸中心（画像データの中心）を表している。
【００２４】
【数１】

【数２】

ステップＳ26では、例えば（１）式および（２）式に基づいてＲ成分の座標変換を行う。次に、座標変換後の座標（Ｘ’，Ｙ’）のピクセル値を計算する（ステップＳ27、ピクセル値計算手段）。ここでは、補間処理を行うことにより、変換座標（Ｘ’，Ｙ’）の周辺のピクセル値に基づいて、変換座標（Ｘ’，Ｙ’）のピクセル値を決定する。
【００２５】補間処理の具体的手法として、例えば線形補間法（バイリニア法）を採用する。線形補間法では、ピクセル値を求めたい図７に示す座標（Ｘ，Ｙ）の周囲の４座標（[X]，[Y]）、（[X]+1，[Y]）、（[X]，[Y]+1）、（[X]+1，[Y]+1）の各ピクセル値Ｐ00，Ｐ10，Ｐ01，Ｐ11に基づいて、以下の（３）式に基づいて、座標（Ｘ，Ｙ）のピクセル値を求める。
【００２６】
座標（Ｘ，Ｙ）のピクセル値＝（X-[X]）・（Y-[Y]）・Ｐ11 ＋（[X]+1-X）・（Y-[Y]）・Ｐ01 ＋（X-[X]）・（[Y]+1-Y）・Ｐ10 ＋（[X]+1-X）・（[Y]+1-Y）・Ｐ00 （３）
（３）式は、図６のピクセル値Ｐ11を領域■の面積で、ピクセル値Ｐ01を領域■の面積で、ピクセル値Ｐ00を領域■の面積で、ピクセル値Ｐ10を領域■の面積で、それぞれ多重平均を取って補間するものである。
【００２７】このような補間により、任意の座標位置について、ピクセル値を求めることができる。なお、線形補間法は補間処理の一例であり、補間処理の具体的手法については特に問わない。
【００２８】座標変換後の座標位置でのピクセル値が求まると、次に、Ｇ成分とＲ成分の両ピクセル値を比較して差分を検出する（ステップＳ28）。次に、ステップＳ28で検出した差分を積分カウンタ８で累積加算する（ステップＳ29）。
【００２９】次に、調査領域内の全ピクセルについて差分検出を行ったか否かを判定し（ステップＳ30）、まだ差分検出を行っていないピクセルがあれば、ステップＳ25以降の処理を繰り返す。
【００３０】全ピクセルについての差分検出処理が終了すると、次に、積分カウンタ８の計測値が累積差分最小値より小さいか否かを判定する（ステップＳ31）。小さい場合には、現時点における積分カウンタ８の計測値を累積差分最小値に設定するとともに、現時点における座標変換パラメータをＲ成分用の座標変換パラメータに設定する（ステップＳ32）。
【００３１】ステップＳ31で小さくないと判定された場合、あるいはステップＳ32の処理が終了した場合には、すべてのパラメータ候補についてステップＳ23以降の処理を行ったか否かを判定し（ステップＳ33）、まだ処理を行っていないパラメータ候補があれば、この候補を座標変換パラメータに設定してステップＳ23以降の処理を繰り返す。すべてのパラメータ候補についての処理が終了すれば、その時点でステップＳ32に設定されている座標変換パラメータを最終的なＲ成分の座標変換パラメータとし、図２のステップＳ３の処理を行う。
【００３２】ステップＳ３では、図７のフローチャートに従ってＢ成分の色収差量を検出する。図７のフローチャートの処理手順は図４のフローチャートと同様なため、詳細な説明は省略する。ステップＳ３の処理を実行することで、Ｂ成分用の座標変換パラメータａが求められる。
【００３３】次に、ステップＳ２で求めた座標変換パラメータａを利用して、原画映像メモリ１に格納されているＲ成分のピクセル値を結果映像メモリ４に転送する（図２のステップＳ４）。図８はステップＳ４の詳細な処理手順を示すフローチャートである。まず、原画読み出しチャネルをＲ成分に、結果書き込みチャネルをＲ成分に、結果読み出しチャネルをNONE（なし）に設定する（ステップS61）。
【００３４】次に、まだ転送していないピクセル座標を変数座標（Ｘ，Ｙ）に代入する（ステップS62）。次に、ステップＳ２で求めた座標変換パラメータａを利用して、変数座標（Ｘ，Ｙ）に対応する変換座標（Ｘ’，Ｙ’）＝ｆ（Ｘ，Ｙ）を計算する（ステップS63）。ここで、ｆ()は、座標変換パラメータを含む変換関数であり、例えば、上述した（１）式および（２）式で表される。
【００３５】次に、補間処理を行うことにより、変換座標（Ｘ’，Ｙ’）のピクセル値を計算する（ステップＳ64）。ここで、ステップS63で計算された変換座標（Ｘ’，Ｙ’）は必ずしも整数座標ではなく、この座標に対応するピクセル値は原画映像メモリ１に格納されていない可能性が高い。このため、上述した線形補間法などの補間処理を行うことにより、変換座標（Ｘ’，Ｙ’）の周辺のピクセル値に基づいて、変換座標（Ｘ’，Ｙ’）のピクセル値を決定する。
【００３６】次に、計算した変換座標（Ｘ’，Ｙ’）のピクセル値を、結果映像メモリ４の座標（Ｘ，Ｙ）に転送する（ステップS65）。ステップS65の処理が終了すると、原画映像メモリ１に格納されたＲ成分の全ピクセル値を結果映像メモリ４に転送したか否かを判定し（ステップＳ66）、まだ転送していないピクセル値があれば、ステップS62以降の処理を繰り返す。
【００３７】Ｒ成分の全ピクセル値の転送が終了すると、次に、ステップＳ３で求めた座標変換パラメータａを利用して、原画映像メモリ１に格納されているＢ成分のピクセル値を結果映像メモリ４に転送する（図２のステップＳ５）。
【００３８】図９はステップＳ５の詳細な処理手順を示すフローチャートである。図９のフローチャートの処理手順は図８と同様であり、座標変換された座標に基づいて、原画映像メモリ１に格納されているピクセル値を読み出して結果映像メモリ４に転送する。
【００３９】このように、本実施形態では、ＣＣＤ等の撮像装置で撮像された画像データを構成する複数の色成分間のピクセル値の差分を検出し、差分の累積加算値が最小になるように一部の色成分の座標変換を行うため、撮影済みの画像データの色収差を精度よく補正することができる。
【００４０】通常の色収差の補正は、レンズの構成、絞り、焦点調節情報および撮像装置の特性などを考慮に入れて行うため、補正処理にかなり手間がかかってしまう。これに対して、本実施形態では、撮像済みの画像データさえあれば、比較的簡易な処理で色収差の補正を行えるため、レンズや撮像装置の種類に関係なく手軽に色収差の補正を行えるという利点がある。したがって、どのデジタルカメラで撮影された画像データであっても、家庭用のコンピュータで精度よく色収差の補正を行うことができる。
【００４１】上述した実施形態では、Ｇ（緑）成分を基準としてＲ成分とＢ成分の座標変換を行う例を説明したが、基準とする色成分はＧ成分以外であってもよい。また、色成分がＲＢＧ成分以外の成分、例えばＣＭＹ成分で構成される場合には、いずれかの色成分を基準として、図２と同様の処理を行えばよい。
【００４２】
【発明の効果】以上詳細に説明したように、本発明によれば、撮影済みの画像データに基づいて色収差量の検出とその補正を行うため、レンズの構成や撮像装置の特性に影響されることなく色収差の補正を行うことができる。したがって、どのデジタルカメラで撮影した画像データであっても、色収差の影響を受けない高品質の撮影画像が得られる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図。
【図２】図１の画像処理装置の処理動作を示すフローチャート。
【図３】図２のステップＳ１の詳細フローチャート。
【図４】図２のステップＳ２の詳細フローチャート。
【図５】調査領域を説明する図。
【図６】線形補間法を説明する図。
【図７】図２のステップＳ３の詳細フローチャート。
【図８】図２のステップＳ４の詳細フローチャート。
【図９】図２のステップＳ５の詳細フローチャート。
【符号の説明】
１原画映像メモリ
２原画映像読み出し部
３座標変換部
４結果映像メモリ
５映像書き込み部
６結果映像読み出し部
７比較部
８積分カウンタ
９コントローラ

【特許請求の範囲】
【請求項１】撮像装置から出力された、複数の色成分からなる画像データの加工処理を行う画像処理装置において、前記撮像装置から出力された画像データに基づいて、複数の色成分間の色収差量を検出する色収差検出手段と、検出された色収差量に基づいて色収差の補正を行った後の画像データを格納する補正後記憶手段と、を備えることを特徴とする画像処理装置。
【請求項２】前記色収差検出手段は、前記撮像装置から出力された画像データに含まれる特定の基準色成分のピクセル値と、前記基準色以外の色成分のピクセル値と、の差分が最小になるように、前記基準色以外の色成分のピクセル座標の座標変換を行う座標変換手段と、前記特定の基準色成分については座標変換を行わずに各基準座標のピクセル値を前記補正後記憶手段に格納し、前記基準色以外の色成分については前記座標変換手段で座標変換された座標のピクセル値を前記補正後記憶手段に格納する書き込み制御手段と、を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記座標変換手段は、前記撮像装置から出力された画像データのうち、前記撮像装置の光軸中心位置から外れた一部の領域を対象として、前記差分が最小になるように座標変換を行う請求項２に記載の画像処理装置。
【請求項４】前記座標変換手段は、値を可変可能な座標変換パラメータに基づいて、前記基準色以外の色成分のピクセル座標の座標変換を行う新規座標計算手段と、前記基準色以外の色成分のそれぞれごとに、前記新規座標計算手段で計算されたピクセル座標のピクセル値を計算するピクセル値計算手段と、基準座標のそれぞれについて、前記基準色成分のピクセル値と前記基準色成分以外の前記ピクセル値計算手段で計算されたピクセル値との差分を計算する差分計算手段と、基準座標のそれぞれについて前記差分計算手段で計算された差分を、前記基準色以外の色成分のそれぞれごとに累積加算する累積加算手段と、前記累積加算手段で累積加算された累積加算値が最小になるように、前記基準色以外の色成分のそれぞれごとに前記座標変換パラメータを変更するパラメータ変更手段と、を有することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】前記書き込み制御手段は、前記基準色以外の色成分のそれぞれごとに、前記座標変換手段で座標変換された座標のピクセル値を座標変換前の座標に対応づけて前記補正後記憶手段に格納することを特徴とする請求項２〜４のいずれかに記載の画像処理装置。

【図２】