画像処理装置、及び画像処理方法
【課題】 フィルタを用いた画像補正において、フィルタにかかるデータ量、及びフィルタ生成の計算負荷を低減する。
【解決手段】 画像中の注目画素の画素位置に基づいて複数の代表フィルタを選択し、注目画素の画素値に対して選択された代表フィルタそれぞれを適用し、適用結果と注目画素の画素位置とに基づいて注目画素の画素値を補正する。
【解決手段】 画像中の注目画素の画素位置に基づいて複数の代表フィルタを選択し、注目画素の画素値に対して選択された代表フィルタそれぞれを適用し、適用結果と注目画素の画素位置とに基づいて注目画素の画素値を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置において、被写体を撮影した場合、レンズなどの光学系に起因する収差の影響によって画質劣化（暈け）が生じることが知られている。従来、この画質劣化を画像処理によって回復する技術として、光学系のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いる処理が知られている（特許文献１及び特許文献２）。
【０００３】
さて、レンズなどの光学系の収差特性は、画像中における画素位置によって変化する。そのため、回復処理についても画像中における画素位置によって変化させる必要がある。特許文献１には、画像中の全ての画素位置に対してフィルタを作成して画像を回復させる手法が記載されている。また、特許文献２では、レンズなどの光学系の収差特性が光軸中心に対して点対称であることに注目し、同心円上に領域を分割し、領域それぞれに対してフィルタを用いて回復処理を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９７３５４号
【特許文献２】特許０３５３２３６８号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、画像中の全ての画素位置について好適なフィルタが作成される一方、フィルタ作成の際に画像中の全ての画素位置についてフーリエ変換等の計算が必要となるため計算負荷が膨大なものとなってしまう。また、作成されたフィルタを保持するため大規模なメモリが必要となる。
【０００６】
また、特許文献２では、各領域内において共通のフィルタを用いて画像回復処理を行うため、特許文献１のようなフィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化は抑えることができる。しかしながら、特許文献２では、領域内の全ての画像位置に対して最適なフィルタによる画像回復処理を行うことはできない。加えて、領域と領域との境界ではフィルタの切り替えによる疑似輪郭が発生してしまう。
【０００７】
そこで、本発明は、フィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化を抑えると同時に、各画素位置に対して好適なフィルタを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために本願発明の画像処理装置は、撮像装置の光学系に起因する暈けを補正する画像処理装置であって、画像中の注目画素の画素位置に基づいて、複数の代表フィルタを選択する選択手段と、前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタそれぞれを適用するフィルタ処理手段と、前記フィルタ処理手段の処理結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正する補正手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理において、フィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化を抑えると同時に、各画素位置に対して好適なフィルタを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の画像入力装置の構成を示すブロック図である。
【図２】実施例１の全体処理を示すフローチャートである。
【図３】実施例１の現像処理を示すフローチャートである。
【図４】実施例１の回復処理を示すフローチャートである。
【図５】回復フィルタＤＢを説明するための図である。
【図６】回復フィルタＤＢの保持方法を説明するための図である。
【図７】代表フィルタの選択方法を説明するための図である。
【図８】画素飽和がある場合の回復方法を説明するための図である。
【図９】飽和領域率と飽和重み係数との対応を示すグラフである。
【図１０】実施例２の画像入力装置の構成を示すブロック図である。
【図１１】実施例３の画像処理アプリケーションの構成を示すブロック図である。
【図１２】実施例３の全体処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［実施例１］
まず、本実施例の概要について説明する。
【００１２】
図１は、本実施例の画像入力装置のブロック図である。本実施例の画像入力装置は、レンズ交換可能なデジタルカメラである。レンズ部１０１は、主に、レンズ１０２、絞り１０３、レンズ制御部１０４、レンズＲＯＭ１０５、及び通信部１０６から構成される。レンズ制御部１０４は、レンズ１０２と絞り１０３を制御する。レンズＲＯＭ１０５は、画像回復処理するための補正フィルタ（以下、回復フィルタと称する）などを保持する。通信部１０６は、レンズ１０２や絞り１０３の制御量や回復フィルタにかかるデータを通信する。
【００１３】
カメラ部１０７は、光学ファインダ１０８、ハーフミラー１０９、シャッター１１０、ＣＣＤやＣＭＯＳ等の撮像素子１１１、Ａ／Ｄ変換部１１２、焦点検知センサ１１３などからなる。更にカメラ部１０７は、撮像制御部１１４、ＡＦ部１１５、操作部１１６、カメラメモリ１１７、通信部１１８、ＣＰＵ１１９、撮影条件設定部１２０、現像処理部１２１、外部メモリ１２２からなる。
【００１４】
ハーフミラー１０９は、カメラ部１０７に入力した被写体像を光学ファインダ１０８に反射する。撮像制御部１１４は、シャッター１１０、撮像素子１１１、レンズ部１０１などを制御する。ＡＦ部１１５は、焦点検知センサ１１３の検知結果に基づき、フォーカス量を算出する。操作部１１６は、ユーザからの操作指示を入力する。カメラメモリ１１７は、Ａ／Ｄ変換部１１２により変換された画像データや、カメラ制御に用いるプログラム、各種パラメータ、回復フィルタなどを記憶する。通信部１１８は、レンズ部１０１とデータ通信をする。ＣＰＵ１１９は、カメラ部１０７及びレンズ部１０１内の各処理を実行する。撮影条件設定部１２０は、各種撮影条件を設定する。現像処理部１２１は、カメラメモリ１１７に記憶している画像データに対して、デモザイキング処理、ホワイトバランス処理、回復処理、シャープネス処理、色変換処理、ノイズリダクション処理などの各種現像処理を実行する。外部メモリ１２２の例として、コンパクトフラッシュ（登録商標）メモリやＳＤメモリカードなどがある。
【００１５】
図２は、本実施例の画像処理のフローチャートである。まず、ステップＳ２０１では、撮影条件設定部１２０が、画像を撮影する際の撮影条件を設定する。撮影条件には、絞り値、焦点距離、被写体距離、シャッタースピード、絞り、ＩＳＯ感度などがある。設定される撮影条件は、操作部１１６から与えられてもよいし、画像入力装置に設置されているセンサ（不図示）で測定される各種データに基づいて与えられてもよい。次に、ステップＳ２０２では、焦点検知センサ１１３の検知結果に基づき、ＡＦ部１１５がフォーカス量を決定する。更に、ステップＳ２０３にて、ステップＳ２０１において設定した撮影条件に基づき、ＣＰＵ１１０がレンズ制御部１０４、及び、撮像制御部１１４を動作させて撮影を行う。撮像素子１１１にて取得された電気信号はＡ／Ｄ変換部１１２にてデジタル信号に変換され、カメラメモリ１１７にＲＡＷ画像データとして記憶される。このＲＡＷ画像データに対して、レンズ種類情報、カメラ種類情報、撮影条件、フォーカス量などを含むタグ情報が関連付けられる。次にステップＳ２０４では、ステップＳ２０３にて記憶されたＲＡＷ画像データに対して、現像処理部１２１が現像処理を行う（詳細は後述する）。最後にステップＳ２０５では、ステップＳ２０４にて、現像処理された画像データをタグ情報と共に、カメラメモリ１１７、又は外部メモリ１２２に保存する。現像処理された画像データは、メモリに保存せずにネットワーク等を介して外部に送信してもよい。
【００１６】
＜現像処理＞
図２のステップＳ２０４の現像処理について、図３のフローチャートを用いて詳細に説明する。まず、ステップＳ３０１では、カメラメモリ１１７に記憶されているＲＡＷ画像に対して、ホワイトバランス処理を行う。次に、ステップＳ３０２では、ステップＳ３０１にて、ホワイトバランス処理された画像に対して、デモザイキング処理を行う。さらに、ステップＳ３０３では、レンズ収差による劣化を回復するための回復処理を行う（詳細は後述する）。ステップＳ３０４では、シャープネス処理を行う。ステップＳ３０５では、ノイズリダクション処理を行う。さらにステップＳ３０６では、色変換処理を行う。最後に、ステップＳ３０７では、ガンマ処理を行う。
【００１７】
なお、ステップＳ３０１からステップＳ３０７までの処理は、上述の順序でなくとも構わない。例えば、ステップＳ３０２のデモザイキング処理を、ステップＳ３０３の回復処理後に行ってもよい。
【００１８】
＜回復処理＞
図３のステップＳ３０３の回復処理について、図４のフローチャートを用いて詳細に説明する。本実施例の回復処理は、回復フィルタを注目画素及び周辺画素に対して畳み込み積分することにより実現される。本実施例では、デモザイキング処理後の各色成分（例えば、ＲＧＢの各成分）に対して回復処理を行うとするが、これに限らないことは言うまでもない。まず、ステップＳ４０１では、撮影画像のタグ情報から、レンズ種類、カメラ種類、及び、撮影条件（絞り・焦点距離・被写体距離など）を取得する。ステップＳ４０２では、ステップＳ４０１にて取得したレンズ種類、カメラ種類、及び、撮影条件の組み合わせに対応する回復フィルタデータベース（以下、回復フィルタＤＢとする）を設定（選択）する。 図６（ａ）は、回復フィルタＤＢを設定するためのテーブルを示している。このテーブルは、（１）レンズ種類、（２）カメラ機種、（３）絞り、（４）焦点距離、（５）被写体距離の組合せに対応した回復フィルタＤＢアドレスを保持している。このテーブルを用いて、レンズ種類、カメラ種類、及び撮影条件に対応する回復フィルタＤＢアドレスを取得することができる。図６（ａ）の例では、撮影条件として絞り値、焦点距離、被写体距離としたがこれらに限らないことは言うまでもない。回復フィルタＤＢは、レンズ種類やカメラ種類、撮影条件の組み合わせの数に対応する数が存在し、レンズＲＯＭ１０５やカメラメモリ１１７に保持されている。メモリ削減のため、複数の組み合わせに対して一つの回復フィルタＤＢを対応付けてもよい。
【００１９】
図６（ｂ）は、設定された回復フィルタＤＢの一例を示している。回復フィルタＤＢには、複数の代表フィルタがフィルタ位置ＩＤと対応付けられて保持されている。代表フィルタは画素位置によって異なるフィルタであり、フィルタ位置ＩＤにより特定することができる。
【００２０】
図５は、ある撮影条件に対応する代表フィルタについて模式的に示した図である。図中、画像領域５０１内の各格子は画素を示している。そして、回復フィルタＤＢに保持されている代表フィルタは、画像領域５０１内の黒丸印で示されている位置（以下、代表フィルタ位置と称する）のそれぞれに対応付けられている。図５の例では、等間隔に代表フィルタ位置が設定されている。代表フィルタ位置は、図６（ｂ）のテーブルのフィルタ位置ＩＤにより特定することが可能である。
【００２１】
回復処理は畳み込み積分を行うため、計算負荷の面からフィルタのタップ数は小さければ小さいほどよい。一般的に像高が高くなるにつれて、光学系に起因する暈けの範囲は広がっていく。よって、低像高位置での代表フィルタのタップ数を、高像高位置での代表フィルタのタップ数よりも小さくすることにより、畳み込み積分に必要な計算数を削減することが可能となる。また代表フィルタは、水平・垂直タップ数が同一のフィルタに限らず、収差の特性などを考慮して水平・垂直タップ数が異なるフィルタを設定することも可能である。
【００２２】
画像領域５０１内の全画素位置に対して、回復フィルタを持つ場合には膨大なデータ量となる（例えば、２０００万画素のデジタルカメラの場合には、２０００万画素分の回復フィルタを保持する必要がある）。そこで、本実施例では、全画素位置に対して回復フィルタを持つのではなく、代表的な画像位置に対してのみ代表フィルタを保持する。図５の例では、等間隔に代表フィルタ位置を設定するとしたが、非均等間隔で代表フィルタ位置を設定してもよい。
【００２３】
次に、ステップＳ４０３では、回復処理を行う注目画素の画素位置の初期化を行う。本実施例の画素位置の初期化は、画像の左上位置に注目画素を設定することをいう。ステップＳ４０４では、注目画素の位置と前記代表フィルタ位置との位置関係に基づいて３つの代表フィルタを回復フィルタＤＢから選択する。
【００２４】
図７（ａ）を用いて、ステップＳ４０４の選択処理について詳細に説明する。図７（ａ）は、画像領域５０１の一部分を示している。図７に示すように、注目画素位置（ｘｉ，ｙｊ）に対して、その近傍の回復フィルタとしては４点（Ｒ１，Ｒ２、Ｒ３，Ｒ４）がある。レンズの収差は、光軸中心に対して点対称の特性を持つことが知られている。そこで、点対称の特性を考慮して、画像の光軸中心方向のＲ１と同心円方向のＲ２，Ｒ３を選択する。一般化した代表フィルタの選択方法は以下の通りである。
（Ａ）注目画素を囲む４つの代表フィルタ位置を候補位置として選択
（Ｂ）以下のルールに従い注目画素が属する象限に応じて二つの候補位置を（Ａ）で選択された候補位置から選択
・第一象限の場合、左上と右下の候補位置
・第二象限の場合、右上と左下の候補位置
・第三象限の場合、左上と右下の候補位置
・第四象限の場合、右上と左下の候補位置
（Ｃ）（Ｂ）で選択された候補位置を結ぶ線よりも注目画素が光軸中心に近い場合は、（Ａ）で選択された候補位置の中で最も光軸に近い候補位置を選択。そうでない場合は、（Ｂ）で選択された候補位置の中で最も光軸に遠い候補位置を選択。
（Ｄ）（Ｂ）で選択された２つの候補位置と（Ｃ）で選択された１つの候補位置とに対応する代表フィルタを選択。
【００２５】
以上のように、代表フィルタを選択することにより、レンズ収差の特性を考慮した代表フィルタの設定が可能となる。なお、上記（Ａ）における候補位置の選択は、注目画素の画素位置を示すデータの上位ビットに基づいて決定する。
【００２６】
図７（ｂ）は、選択された代表フィルタ（Ｒ１，Ｒ２，Ｒ３）と、設定された回復フィルタＤＢ中のフィルタ位置ＩＤとの対応関係を示す概念図である。前述の通り、設定された回復フィルタＤＢ中の代表フィルタは、フィルタ位置ＩＤによって特定することができる。図７（ｂ）の例では、フィルタ位置ＩＤが２５、３５、及び３６のフィルタが代表フィルタ（Ｒ１、Ｒ２、Ｒ３）として特定される。
【００２７】
次に、ステップＳ４０５では、注目画素（ｘｉ，ｙｊ）の画素値と該注目画素の周辺画素の画素値に対して、ステップＳ４０４にて選択した３つの代表フィルタを用いて暈け補正処理を行う。図７（ｃ）は、この暈け補正処理の概念図である。かかる暈け補正処理により注目画素における各代表フィルタに対応する代表画素値Ｏ１，Ｏ２，Ｏ３を算出する。具体的には、以下の式（１）（２）（３）を用いて、画素値と代表フィルタの係数との畳み込み積分を行うことにより代表画素値Ｏ１，Ｏ２，Ｏ３を取得することができる。
Ｏ１＝ｐ（ｘｉ，ｙｊ）＊Ｒ１（ｘｉ，ｙｊ） （１）
Ｏ２＝ｐ（ｘｉ，ｙｊ）＊Ｒ２（ｘｉ，ｙｊ） （２）
Ｏ３＝ｐ（ｘｉ，ｙｊ）＊Ｒ３（ｘｉ，ｙｊ） （３）
ｐ（ｘｉ，ｙｊ）は、注目画素の画素値とその周辺画素の画素値を示している。Ｒ１（ｘｉ，ｙｊ），Ｒ２（ｘｉ，ｙｊ），Ｒ３（ｘｉ，ｙｊ）は、ステップＳ４０４にて選択された代表フィルタ、＊は畳み込み積分を示す。
【００２８】
ステップＳ４０６では、３つの代表フィルタ位置と注目画素の画素位置との位置関係に基づいて、以下の式（４）にように、フィルタ処理結果である代表画素値を重み付き加算処理（補間処理）することによって注目画素の補正された画素値Ｏ’を求める。
Ｏ’（ｘ、ｙ）＝（１−ｔ−ｓ）×Ｏ１＋ｔ×Ｏ２＋ｓ×Ｏ３ （４）
図７（ａ）示すように、ｓは注目画素位置（ｘｉ，ｙｊ）のＲ１―Ｒ２間の内分比率、及びｔは注目画素位置（ｘｉ，ｙｊ）のＲ１―Ｒ３間の内分比率を示している。内分比率ｓ、ｔは、注目画素の画素位置を示すデータの下位ビットに基づいて設定する。
【００２９】
以上の通り、注目画素を囲む代表フィルタ位置に対応する代表フィルタを選択し、選択された代表フィルタに基づいて暈け補正を行い、注目画素値に対応した複数の代表画素値を取得する。そして、注目画素値と代表フィルタ位置との位置関係に基づいて、複数の代表画素値を補間処理することにより、注目画素に対して適切な暈け補正を行うことが可能となる。
【００３０】
そして、ステップＳ４０７では、画像中の全ての画素位置に対してステップＳ４０４からステップＳ４０６の処理を行ったかどうかを判定する。全ての画素位置に対して処理が終了していれば、回復処理を終える。一方で、全ての画素位置に対して処理が終了していなければ、ステップＳ４０８に進み、注目画素を更新する。注目画素の更新に際しては、画像の走査線に沿って更新を行ってもよいが、更新方法はこれに限らない。
【００３１】
以上の通り、本実施例によれば、画像中の全ての画素位置における回復フィルタを保持せずとも、好適な画像回復処理を実現することができる。よって、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理において、フィルタにかかるデータ量、及びフィルタ生成の計算コストを低減することができる。また、式（４）からも明らかなように画像中でフィルタが切り替わることによる疑似輪郭の発生も抑えることができる。
【００３２】
＜回復フィルタＤＢの生成＞
以下、点像分布関数（ＰＳＦ）に基づいて画像の暈けを補正するためのフィルタを生成について説明する。暈けを生じさせない理想的な光学系を用いて撮影した画像をｆ（ｘ、ｙ）とする。ｘ、ｙは画素位置を示す変数であり、ｆ（ｘ、ｙ）は画素位置ｘ、ｙでの画素値を表している。一方で、暈けを生じさせる光学系で撮影した画像をｇ（ｘ、ｙ）とする。また、暈けを生じさせる光学系のＰＳＦをｈ（ｘ、ｙ）とする。ｈ（ｘ、ｙ）は、レンズ種類、カメラ種類、絞り、焦点距離、被写体距離の撮影条件などから決定される。ｆ（ｘ、ｙ）、ｇ（ｘ、ｙ）、ｈ（ｘ、ｙ）には次の関係が成り立つ。
ｇ（ｘ、ｙ）＝ｈ（ｘ、ｙ）＊ｆ（ｘ，ｙ） （５）
実面で表現されている式（５）をフーリエ変換して、空間周波数面での表示形式に変換すると式（６）のようになる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （６）
Ｈ（ｕ，ｖ）はｈ（ｘ、ｙ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれている。ｕ，ｖは２次元周波数面での座標、即ち周波数を示す。Ｇ（ｕ，ｖ）はｇ（ｘ、ｙ）のフーリエ変換したもの（フーリエ表示）であり、Ｆ（ｕ，ｖ）はｆ（ｘ、ｙ）のフーリエ変換したものである。暈けのある撮影画像から、暈けのない理想的な画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （７）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、暈けのない理想的な画像ｆ（ｘ，ｙ）を回復画像として得ることができる。
ここで、式（７）におけるＨの逆数（Ｈ−１）を逆フーリエ変換したものをＲとすると、以下の式（８）のように実面での画像に対するコンボリューションを行うことで同様に暈けのない画像が得られる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （８）
【００３３】
本実施例では、このＲ（ｘ，ｙ）を代表フィルタとして代表フィルタ位置ごとに求め、代表フィルタＤＢを生成する。本実施例においては、レンズ種類、カメラ種類、撮影条件の組合せごとに回復フィルタＤＢを生成する。この代表フィルタは、フィルタ処理の対象となる画像の画素値に依存しないフィルタである。
【００３４】
なお、回復フィルタＤＢ中の代表フィルタの生成方法は、上述の方法に限らず、例えばウィナーフィルター等を用いてもよい。
【００３５】
＜飽和領域率に基づく補正＞
カメラ部１０７に入力した被写体像を撮像素子１１１で結像する際に、輝度が大きすぎるため、信号値（画素値）が飽和する場合がある。飽和した画素においては、飽和値以上の情報が失われてしまう。よって、飽和した画素で得られた飽和値をそのまま式（４）に使用してしまうと、補正後の画素値Ｏ’を正しく計算できない。
【００３６】
図８は、ステップＳ４０５にて代表画素値を取得する際に代表フィルタを適用する領域内にどれだけ飽和している画素（飽和画素）が存在しているかを模式的に示した図である。代表フィルタＲ１を適用する処理対象領域（画素数２５）において、飽和画素の画素数は７となる。本実施例において、飽和領域率を以下のように定義する。
飽和領域率＝飽和画素の画素数／処理対象領域の画素数 （９）
飽和領域率は、代表フィルタ毎に計算される。図８における代表フィルタＲ１の飽和領域率は７／２５となる。代表フィルタＲ１，Ｒ２，Ｒ３のそれぞれの飽和領域率に対して飽和重み係数をα、β、γを設定する。図９は、飽和重み係数α、β、γと飽和領域率との関係を示した図である。Ｏを注目画素の画素値とすると、飽和重み係数を考慮した式（４）は以下のようになる。
Ｏ‘（ｘ，ｙ）＝（１−ｔ−ｓ）・（α・（Ｏ１−Ｏ）＋Ｏ）
＋ｔ・（β・（Ｏ２−Ｏ）＋Ｏ）
＋ｓ・（γ・（Ｏ３−Ｏ）＋Ｏ） （１０）
【００３７】
以上の通り、注目画素及び周辺画素が飽和しているか否かを判定し、判定結果に基づいて注目画素を補正する際の飽和重み係数を調整することにより、飽和による弊害を低減し、より高精度に注目画素の画素値を補正することが可能とする。
【００３８】
［実施例２］
実施例１では、レンズ交換可能なデジタルカメラにおける方法について説明した。本実施例においては、レンズとカメラが一体型（例えば、コンパクトカメラ）の場合について説明する。
【００３９】
図１０に実施例２における画像入力装置のブロック図を示す。なお、ブロック図の構成としては、レンズ部１０１がカメラ部１０７に組み込まれている。処理フローについては、実施例１と同等のため省略する。
【００４０】
以上説明した処理制御を行うことで、レンズとカメラが一体型のデジタルカメラにおいて、すべての画素位置に対して回復フィルタを保持しなくても、全画像領域について回復処理を行うことが可能となる。
【００４１】
［実施例３］
実施例３では、画像処理装置において実現した場合である。この場合、回復処理対象となる画像としては、画像入力装置において取得された画像となる。本実施例では、ＲＡＷ画像が入力された場合について説明する。
【００４２】
図１１は、本実施例におけるブロック図である。画像処理装置１１０１は、インターネットやイントラネットのネットワーク１１０３を介して、回復フィルタＤＢを保持するサーバに接続されている。通信部１１０４は、ネットワーク１１０３を介して回復フィルタＤＢを保持するサーバとデータ通信をする。ＲＡＷ画像データ記憶部１１０５は、ＲＡＷ画像データを記憶する。回復フィルタ記憶部１１０６は、回復フィルタＤＢを保持する。
【００４３】
画像タグデータ抽出部１１０８は、ＲＡＷ画像データ記憶部１１０５に記憶されているＲＡＷ画像データの画像タグ情報から焦点距離、絞り、被写体距離などを抽出する。
【００４４】
現像処理部１１０９は、回復処理、デモザイキング、ＷＢ（ホワイトバランス）、ガンマ補正、色変換、ノイズリダクションなどの現像処理を実行する。ＲＡＷ画像データ取得部１１１０は、画像入力装置のメモリやハードディスクなどの外部ストレージから画像データを取得する。画像データ書込み部１１１１は、現像処理部１１０９にて現像処理を施された画像データをハードディスクや外部メモリなどに書き込む。ＲＡＷ画像ＤＢ１１１２は、画像入力装置のメモリやハードディスクなどであり、ＲＡＷ画像データを記憶する。出力画像記憶部１１１３は、ハードディスクや外部メモリなどの画像を記憶可能な記憶媒体である。尚、これらの処理ブロックは、パーソナルコンピュータなどのＣＰＵとＲＡＭメモリを用いて、ハードディスク、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどに記憶してある処理プログラムを実行することによって実現される。
【００４５】
図１２は本実施例における処理フローを示している。まずステップＳ１２０１では、ＲＡＷ画像ＤＢ１１１２にて記憶しているＲＡＷ画像をＲＡＷ画像データ取得部１１１０にてＲＡＷ画像データ記憶部１１０５に記憶する。ステップＳ１２０２では、ステップＳ１２０１にてＲＡＷ画像データ記憶部１１０５に記憶したＲＡＷ画像データに対して実施例１において説明した現像処理を行う。最後にステップＳ１２０３ではステップＳ１２０２において現像処理された画像を画像データ書込み部１１１１にて、出力画像記憶部１１１３に記憶する。
【００４６】
以上説明した処理制御を行うことで、パーソナルコンピュータや携帯端末などで回復処理を行うことによって、実施例１と同様の効果を得ることができる。
【００４７】
尚、本実施例では、入力画像としてＲＡＷ画像を一例としたがそれに限定はされない。例えば、ＪＰＥＧ画像やＴＩＦＦ画像に適用しても構わない。
【００４８】
また、回復フィルタデータＤＢをネットワーク上にあるとしたが、これに限定されることはない。例えば、画像処理装置１１０１内のメモリにあったとしても構わない。
【００４９】
［実施例４］
実施例１から３の機能（例えば、上記のフローチャートにより示される機能）を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。
【技術分野】
【０００１】
本発明は、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置において、被写体を撮影した場合、レンズなどの光学系に起因する収差の影響によって画質劣化（暈け）が生じることが知られている。従来、この画質劣化を画像処理によって回復する技術として、光学系のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いる処理が知られている（特許文献１及び特許文献２）。
【０００３】
さて、レンズなどの光学系の収差特性は、画像中における画素位置によって変化する。そのため、回復処理についても画像中における画素位置によって変化させる必要がある。特許文献１には、画像中の全ての画素位置に対してフィルタを作成して画像を回復させる手法が記載されている。また、特許文献２では、レンズなどの光学系の収差特性が光軸中心に対して点対称であることに注目し、同心円上に領域を分割し、領域それぞれに対してフィルタを用いて回復処理を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９７３５４号
【特許文献２】特許０３５３２３６８号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、画像中の全ての画素位置について好適なフィルタが作成される一方、フィルタ作成の際に画像中の全ての画素位置についてフーリエ変換等の計算が必要となるため計算負荷が膨大なものとなってしまう。また、作成されたフィルタを保持するため大規模なメモリが必要となる。
【０００６】
また、特許文献２では、各領域内において共通のフィルタを用いて画像回復処理を行うため、特許文献１のようなフィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化は抑えることができる。しかしながら、特許文献２では、領域内の全ての画像位置に対して最適なフィルタによる画像回復処理を行うことはできない。加えて、領域と領域との境界ではフィルタの切り替えによる疑似輪郭が発生してしまう。
【０００７】
そこで、本発明は、フィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化を抑えると同時に、各画素位置に対して好適なフィルタを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために本願発明の画像処理装置は、撮像装置の光学系に起因する暈けを補正する画像処理装置であって、画像中の注目画素の画素位置に基づいて、複数の代表フィルタを選択する選択手段と、前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタそれぞれを適用するフィルタ処理手段と、前記フィルタ処理手段の処理結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正する補正手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理において、フィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化を抑えると同時に、各画素位置に対して好適なフィルタを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の画像入力装置の構成を示すブロック図である。
【図２】実施例１の全体処理を示すフローチャートである。
【図３】実施例１の現像処理を示すフローチャートである。
【図４】実施例１の回復処理を示すフローチャートである。
【図５】回復フィルタＤＢを説明するための図である。
【図６】回復フィルタＤＢの保持方法を説明するための図である。
【図７】代表フィルタの選択方法を説明するための図である。
【図８】画素飽和がある場合の回復方法を説明するための図である。
【図９】飽和領域率と飽和重み係数との対応を示すグラフである。
【図１０】実施例２の画像入力装置の構成を示すブロック図である。
【図１１】実施例３の画像処理アプリケーションの構成を示すブロック図である。
【図１２】実施例３の全体処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［実施例１］
まず、本実施例の概要について説明する。
【００１２】
図１は、本実施例の画像入力装置のブロック図である。本実施例の画像入力装置は、レンズ交換可能なデジタルカメラである。レンズ部１０１は、主に、レンズ１０２、絞り１０３、レンズ制御部１０４、レンズＲＯＭ１０５、及び通信部１０６から構成される。レンズ制御部１０４は、レンズ１０２と絞り１０３を制御する。レンズＲＯＭ１０５は、画像回復処理するための補正フィルタ（以下、回復フィルタと称する）などを保持する。通信部１０６は、レンズ１０２や絞り１０３の制御量や回復フィルタにかかるデータを通信する。
【００１３】
カメラ部１０７は、光学ファインダ１０８、ハーフミラー１０９、シャッター１１０、ＣＣＤやＣＭＯＳ等の撮像素子１１１、Ａ／Ｄ変換部１１２、焦点検知センサ１１３などからなる。更にカメラ部１０７は、撮像制御部１１４、ＡＦ部１１５、操作部１１６、カメラメモリ１１７、通信部１１８、ＣＰＵ１１９、撮影条件設定部１２０、現像処理部１２１、外部メモリ１２２からなる。
【００１４】
ハーフミラー１０９は、カメラ部１０７に入力した被写体像を光学ファインダ１０８に反射する。撮像制御部１１４は、シャッター１１０、撮像素子１１１、レンズ部１０１などを制御する。ＡＦ部１１５は、焦点検知センサ１１３の検知結果に基づき、フォーカス量を算出する。操作部１１６は、ユーザからの操作指示を入力する。カメラメモリ１１７は、Ａ／Ｄ変換部１１２により変換された画像データや、カメラ制御に用いるプログラム、各種パラメータ、回復フィルタなどを記憶する。通信部１１８は、レンズ部１０１とデータ通信をする。ＣＰＵ１１９は、カメラ部１０７及びレンズ部１０１内の各処理を実行する。撮影条件設定部１２０は、各種撮影条件を設定する。現像処理部１２１は、カメラメモリ１１７に記憶している画像データに対して、デモザイキング処理、ホワイトバランス処理、回復処理、シャープネス処理、色変換処理、ノイズリダクション処理などの各種現像処理を実行する。外部メモリ１２２の例として、コンパクトフラッシュ（登録商標）メモリやＳＤメモリカードなどがある。
【００１５】
図２は、本実施例の画像処理のフローチャートである。まず、ステップＳ２０１では、撮影条件設定部１２０が、画像を撮影する際の撮影条件を設定する。撮影条件には、絞り値、焦点距離、被写体距離、シャッタースピード、絞り、ＩＳＯ感度などがある。設定される撮影条件は、操作部１１６から与えられてもよいし、画像入力装置に設置されているセンサ（不図示）で測定される各種データに基づいて与えられてもよい。次に、ステップＳ２０２では、焦点検知センサ１１３の検知結果に基づき、ＡＦ部１１５がフォーカス量を決定する。更に、ステップＳ２０３にて、ステップＳ２０１において設定した撮影条件に基づき、ＣＰＵ１１０がレンズ制御部１０４、及び、撮像制御部１１４を動作させて撮影を行う。撮像素子１１１にて取得された電気信号はＡ／Ｄ変換部１１２にてデジタル信号に変換され、カメラメモリ１１７にＲＡＷ画像データとして記憶される。このＲＡＷ画像データに対して、レンズ種類情報、カメラ種類情報、撮影条件、フォーカス量などを含むタグ情報が関連付けられる。次にステップＳ２０４では、ステップＳ２０３にて記憶されたＲＡＷ画像データに対して、現像処理部１２１が現像処理を行う（詳細は後述する）。最後にステップＳ２０５では、ステップＳ２０４にて、現像処理された画像データをタグ情報と共に、カメラメモリ１１７、又は外部メモリ１２２に保存する。現像処理された画像データは、メモリに保存せずにネットワーク等を介して外部に送信してもよい。
【００１６】
＜現像処理＞
図２のステップＳ２０４の現像処理について、図３のフローチャートを用いて詳細に説明する。まず、ステップＳ３０１では、カメラメモリ１１７に記憶されているＲＡＷ画像に対して、ホワイトバランス処理を行う。次に、ステップＳ３０２では、ステップＳ３０１にて、ホワイトバランス処理された画像に対して、デモザイキング処理を行う。さらに、ステップＳ３０３では、レンズ収差による劣化を回復するための回復処理を行う（詳細は後述する）。ステップＳ３０４では、シャープネス処理を行う。ステップＳ３０５では、ノイズリダクション処理を行う。さらにステップＳ３０６では、色変換処理を行う。最後に、ステップＳ３０７では、ガンマ処理を行う。
【００１７】
なお、ステップＳ３０１からステップＳ３０７までの処理は、上述の順序でなくとも構わない。例えば、ステップＳ３０２のデモザイキング処理を、ステップＳ３０３の回復処理後に行ってもよい。
【００１８】
＜回復処理＞
図３のステップＳ３０３の回復処理について、図４のフローチャートを用いて詳細に説明する。本実施例の回復処理は、回復フィルタを注目画素及び周辺画素に対して畳み込み積分することにより実現される。本実施例では、デモザイキング処理後の各色成分（例えば、ＲＧＢの各成分）に対して回復処理を行うとするが、これに限らないことは言うまでもない。まず、ステップＳ４０１では、撮影画像のタグ情報から、レンズ種類、カメラ種類、及び、撮影条件（絞り・焦点距離・被写体距離など）を取得する。ステップＳ４０２では、ステップＳ４０１にて取得したレンズ種類、カメラ種類、及び、撮影条件の組み合わせに対応する回復フィルタデータベース（以下、回復フィルタＤＢとする）を設定（選択）する。 図６（ａ）は、回復フィルタＤＢを設定するためのテーブルを示している。このテーブルは、（１）レンズ種類、（２）カメラ機種、（３）絞り、（４）焦点距離、（５）被写体距離の組合せに対応した回復フィルタＤＢアドレスを保持している。このテーブルを用いて、レンズ種類、カメラ種類、及び撮影条件に対応する回復フィルタＤＢアドレスを取得することができる。図６（ａ）の例では、撮影条件として絞り値、焦点距離、被写体距離としたがこれらに限らないことは言うまでもない。回復フィルタＤＢは、レンズ種類やカメラ種類、撮影条件の組み合わせの数に対応する数が存在し、レンズＲＯＭ１０５やカメラメモリ１１７に保持されている。メモリ削減のため、複数の組み合わせに対して一つの回復フィルタＤＢを対応付けてもよい。
【００１９】
図６（ｂ）は、設定された回復フィルタＤＢの一例を示している。回復フィルタＤＢには、複数の代表フィルタがフィルタ位置ＩＤと対応付けられて保持されている。代表フィルタは画素位置によって異なるフィルタであり、フィルタ位置ＩＤにより特定することができる。
【００２０】
図５は、ある撮影条件に対応する代表フィルタについて模式的に示した図である。図中、画像領域５０１内の各格子は画素を示している。そして、回復フィルタＤＢに保持されている代表フィルタは、画像領域５０１内の黒丸印で示されている位置（以下、代表フィルタ位置と称する）のそれぞれに対応付けられている。図５の例では、等間隔に代表フィルタ位置が設定されている。代表フィルタ位置は、図６（ｂ）のテーブルのフィルタ位置ＩＤにより特定することが可能である。
【００２１】
回復処理は畳み込み積分を行うため、計算負荷の面からフィルタのタップ数は小さければ小さいほどよい。一般的に像高が高くなるにつれて、光学系に起因する暈けの範囲は広がっていく。よって、低像高位置での代表フィルタのタップ数を、高像高位置での代表フィルタのタップ数よりも小さくすることにより、畳み込み積分に必要な計算数を削減することが可能となる。また代表フィルタは、水平・垂直タップ数が同一のフィルタに限らず、収差の特性などを考慮して水平・垂直タップ数が異なるフィルタを設定することも可能である。
【００２２】
画像領域５０１内の全画素位置に対して、回復フィルタを持つ場合には膨大なデータ量となる（例えば、２０００万画素のデジタルカメラの場合には、２０００万画素分の回復フィルタを保持する必要がある）。そこで、本実施例では、全画素位置に対して回復フィルタを持つのではなく、代表的な画像位置に対してのみ代表フィルタを保持する。図５の例では、等間隔に代表フィルタ位置を設定するとしたが、非均等間隔で代表フィルタ位置を設定してもよい。
【００２３】
次に、ステップＳ４０３では、回復処理を行う注目画素の画素位置の初期化を行う。本実施例の画素位置の初期化は、画像の左上位置に注目画素を設定することをいう。ステップＳ４０４では、注目画素の位置と前記代表フィルタ位置との位置関係に基づいて３つの代表フィルタを回復フィルタＤＢから選択する。
【００２４】
図７（ａ）を用いて、ステップＳ４０４の選択処理について詳細に説明する。図７（ａ）は、画像領域５０１の一部分を示している。図７に示すように、注目画素位置（ｘｉ，ｙｊ）に対して、その近傍の回復フィルタとしては４点（Ｒ１，Ｒ２、Ｒ３，Ｒ４）がある。レンズの収差は、光軸中心に対して点対称の特性を持つことが知られている。そこで、点対称の特性を考慮して、画像の光軸中心方向のＲ１と同心円方向のＲ２，Ｒ３を選択する。一般化した代表フィルタの選択方法は以下の通りである。
（Ａ）注目画素を囲む４つの代表フィルタ位置を候補位置として選択
（Ｂ）以下のルールに従い注目画素が属する象限に応じて二つの候補位置を（Ａ）で選択された候補位置から選択
・第一象限の場合、左上と右下の候補位置
・第二象限の場合、右上と左下の候補位置
・第三象限の場合、左上と右下の候補位置
・第四象限の場合、右上と左下の候補位置
（Ｃ）（Ｂ）で選択された候補位置を結ぶ線よりも注目画素が光軸中心に近い場合は、（Ａ）で選択された候補位置の中で最も光軸に近い候補位置を選択。そうでない場合は、（Ｂ）で選択された候補位置の中で最も光軸に遠い候補位置を選択。
（Ｄ）（Ｂ）で選択された２つの候補位置と（Ｃ）で選択された１つの候補位置とに対応する代表フィルタを選択。
【００２５】
以上のように、代表フィルタを選択することにより、レンズ収差の特性を考慮した代表フィルタの設定が可能となる。なお、上記（Ａ）における候補位置の選択は、注目画素の画素位置を示すデータの上位ビットに基づいて決定する。
【００２６】
図７（ｂ）は、選択された代表フィルタ（Ｒ１，Ｒ２，Ｒ３）と、設定された回復フィルタＤＢ中のフィルタ位置ＩＤとの対応関係を示す概念図である。前述の通り、設定された回復フィルタＤＢ中の代表フィルタは、フィルタ位置ＩＤによって特定することができる。図７（ｂ）の例では、フィルタ位置ＩＤが２５、３５、及び３６のフィルタが代表フィルタ（Ｒ１、Ｒ２、Ｒ３）として特定される。
【００２７】
次に、ステップＳ４０５では、注目画素（ｘｉ，ｙｊ）の画素値と該注目画素の周辺画素の画素値に対して、ステップＳ４０４にて選択した３つの代表フィルタを用いて暈け補正処理を行う。図７（ｃ）は、この暈け補正処理の概念図である。かかる暈け補正処理により注目画素における各代表フィルタに対応する代表画素値Ｏ１，Ｏ２，Ｏ３を算出する。具体的には、以下の式（１）（２）（３）を用いて、画素値と代表フィルタの係数との畳み込み積分を行うことにより代表画素値Ｏ１，Ｏ２，Ｏ３を取得することができる。
Ｏ１＝ｐ（ｘｉ，ｙｊ）＊Ｒ１（ｘｉ，ｙｊ） （１）
Ｏ２＝ｐ（ｘｉ，ｙｊ）＊Ｒ２（ｘｉ，ｙｊ） （２）
Ｏ３＝ｐ（ｘｉ，ｙｊ）＊Ｒ３（ｘｉ，ｙｊ） （３）
ｐ（ｘｉ，ｙｊ）は、注目画素の画素値とその周辺画素の画素値を示している。Ｒ１（ｘｉ，ｙｊ），Ｒ２（ｘｉ，ｙｊ），Ｒ３（ｘｉ，ｙｊ）は、ステップＳ４０４にて選択された代表フィルタ、＊は畳み込み積分を示す。
【００２８】
ステップＳ４０６では、３つの代表フィルタ位置と注目画素の画素位置との位置関係に基づいて、以下の式（４）にように、フィルタ処理結果である代表画素値を重み付き加算処理（補間処理）することによって注目画素の補正された画素値Ｏ’を求める。
Ｏ’（ｘ、ｙ）＝（１−ｔ−ｓ）×Ｏ１＋ｔ×Ｏ２＋ｓ×Ｏ３ （４）
図７（ａ）示すように、ｓは注目画素位置（ｘｉ，ｙｊ）のＲ１―Ｒ２間の内分比率、及びｔは注目画素位置（ｘｉ，ｙｊ）のＲ１―Ｒ３間の内分比率を示している。内分比率ｓ、ｔは、注目画素の画素位置を示すデータの下位ビットに基づいて設定する。
【００２９】
以上の通り、注目画素を囲む代表フィルタ位置に対応する代表フィルタを選択し、選択された代表フィルタに基づいて暈け補正を行い、注目画素値に対応した複数の代表画素値を取得する。そして、注目画素値と代表フィルタ位置との位置関係に基づいて、複数の代表画素値を補間処理することにより、注目画素に対して適切な暈け補正を行うことが可能となる。
【００３０】
そして、ステップＳ４０７では、画像中の全ての画素位置に対してステップＳ４０４からステップＳ４０６の処理を行ったかどうかを判定する。全ての画素位置に対して処理が終了していれば、回復処理を終える。一方で、全ての画素位置に対して処理が終了していなければ、ステップＳ４０８に進み、注目画素を更新する。注目画素の更新に際しては、画像の走査線に沿って更新を行ってもよいが、更新方法はこれに限らない。
【００３１】
以上の通り、本実施例によれば、画像中の全ての画素位置における回復フィルタを保持せずとも、好適な画像回復処理を実現することができる。よって、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理において、フィルタにかかるデータ量、及びフィルタ生成の計算コストを低減することができる。また、式（４）からも明らかなように画像中でフィルタが切り替わることによる疑似輪郭の発生も抑えることができる。
【００３２】
＜回復フィルタＤＢの生成＞
以下、点像分布関数（ＰＳＦ）に基づいて画像の暈けを補正するためのフィルタを生成について説明する。暈けを生じさせない理想的な光学系を用いて撮影した画像をｆ（ｘ、ｙ）とする。ｘ、ｙは画素位置を示す変数であり、ｆ（ｘ、ｙ）は画素位置ｘ、ｙでの画素値を表している。一方で、暈けを生じさせる光学系で撮影した画像をｇ（ｘ、ｙ）とする。また、暈けを生じさせる光学系のＰＳＦをｈ（ｘ、ｙ）とする。ｈ（ｘ、ｙ）は、レンズ種類、カメラ種類、絞り、焦点距離、被写体距離の撮影条件などから決定される。ｆ（ｘ、ｙ）、ｇ（ｘ、ｙ）、ｈ（ｘ、ｙ）には次の関係が成り立つ。
ｇ（ｘ、ｙ）＝ｈ（ｘ、ｙ）＊ｆ（ｘ，ｙ） （５）
実面で表現されている式（５）をフーリエ変換して、空間周波数面での表示形式に変換すると式（６）のようになる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （６）
Ｈ（ｕ，ｖ）はｈ（ｘ、ｙ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれている。ｕ，ｖは２次元周波数面での座標、即ち周波数を示す。Ｇ（ｕ，ｖ）はｇ（ｘ、ｙ）のフーリエ変換したもの（フーリエ表示）であり、Ｆ（ｕ，ｖ）はｆ（ｘ、ｙ）のフーリエ変換したものである。暈けのある撮影画像から、暈けのない理想的な画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （７）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、暈けのない理想的な画像ｆ（ｘ，ｙ）を回復画像として得ることができる。
ここで、式（７）におけるＨの逆数（Ｈ−１）を逆フーリエ変換したものをＲとすると、以下の式（８）のように実面での画像に対するコンボリューションを行うことで同様に暈けのない画像が得られる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （８）
【００３３】
本実施例では、このＲ（ｘ，ｙ）を代表フィルタとして代表フィルタ位置ごとに求め、代表フィルタＤＢを生成する。本実施例においては、レンズ種類、カメラ種類、撮影条件の組合せごとに回復フィルタＤＢを生成する。この代表フィルタは、フィルタ処理の対象となる画像の画素値に依存しないフィルタである。
【００３４】
なお、回復フィルタＤＢ中の代表フィルタの生成方法は、上述の方法に限らず、例えばウィナーフィルター等を用いてもよい。
【００３５】
＜飽和領域率に基づく補正＞
カメラ部１０７に入力した被写体像を撮像素子１１１で結像する際に、輝度が大きすぎるため、信号値（画素値）が飽和する場合がある。飽和した画素においては、飽和値以上の情報が失われてしまう。よって、飽和した画素で得られた飽和値をそのまま式（４）に使用してしまうと、補正後の画素値Ｏ’を正しく計算できない。
【００３６】
図８は、ステップＳ４０５にて代表画素値を取得する際に代表フィルタを適用する領域内にどれだけ飽和している画素（飽和画素）が存在しているかを模式的に示した図である。代表フィルタＲ１を適用する処理対象領域（画素数２５）において、飽和画素の画素数は７となる。本実施例において、飽和領域率を以下のように定義する。
飽和領域率＝飽和画素の画素数／処理対象領域の画素数 （９）
飽和領域率は、代表フィルタ毎に計算される。図８における代表フィルタＲ１の飽和領域率は７／２５となる。代表フィルタＲ１，Ｒ２，Ｒ３のそれぞれの飽和領域率に対して飽和重み係数をα、β、γを設定する。図９は、飽和重み係数α、β、γと飽和領域率との関係を示した図である。Ｏを注目画素の画素値とすると、飽和重み係数を考慮した式（４）は以下のようになる。
Ｏ‘（ｘ，ｙ）＝（１−ｔ−ｓ）・（α・（Ｏ１−Ｏ）＋Ｏ）
＋ｔ・（β・（Ｏ２−Ｏ）＋Ｏ）
＋ｓ・（γ・（Ｏ３−Ｏ）＋Ｏ） （１０）
【００３７】
以上の通り、注目画素及び周辺画素が飽和しているか否かを判定し、判定結果に基づいて注目画素を補正する際の飽和重み係数を調整することにより、飽和による弊害を低減し、より高精度に注目画素の画素値を補正することが可能とする。
【００３８】
［実施例２］
実施例１では、レンズ交換可能なデジタルカメラにおける方法について説明した。本実施例においては、レンズとカメラが一体型（例えば、コンパクトカメラ）の場合について説明する。
【００３９】
図１０に実施例２における画像入力装置のブロック図を示す。なお、ブロック図の構成としては、レンズ部１０１がカメラ部１０７に組み込まれている。処理フローについては、実施例１と同等のため省略する。
【００４０】
以上説明した処理制御を行うことで、レンズとカメラが一体型のデジタルカメラにおいて、すべての画素位置に対して回復フィルタを保持しなくても、全画像領域について回復処理を行うことが可能となる。
【００４１】
［実施例３］
実施例３では、画像処理装置において実現した場合である。この場合、回復処理対象となる画像としては、画像入力装置において取得された画像となる。本実施例では、ＲＡＷ画像が入力された場合について説明する。
【００４２】
図１１は、本実施例におけるブロック図である。画像処理装置１１０１は、インターネットやイントラネットのネットワーク１１０３を介して、回復フィルタＤＢを保持するサーバに接続されている。通信部１１０４は、ネットワーク１１０３を介して回復フィルタＤＢを保持するサーバとデータ通信をする。ＲＡＷ画像データ記憶部１１０５は、ＲＡＷ画像データを記憶する。回復フィルタ記憶部１１０６は、回復フィルタＤＢを保持する。
【００４３】
画像タグデータ抽出部１１０８は、ＲＡＷ画像データ記憶部１１０５に記憶されているＲＡＷ画像データの画像タグ情報から焦点距離、絞り、被写体距離などを抽出する。
【００４４】
現像処理部１１０９は、回復処理、デモザイキング、ＷＢ（ホワイトバランス）、ガンマ補正、色変換、ノイズリダクションなどの現像処理を実行する。ＲＡＷ画像データ取得部１１１０は、画像入力装置のメモリやハードディスクなどの外部ストレージから画像データを取得する。画像データ書込み部１１１１は、現像処理部１１０９にて現像処理を施された画像データをハードディスクや外部メモリなどに書き込む。ＲＡＷ画像ＤＢ１１１２は、画像入力装置のメモリやハードディスクなどであり、ＲＡＷ画像データを記憶する。出力画像記憶部１１１３は、ハードディスクや外部メモリなどの画像を記憶可能な記憶媒体である。尚、これらの処理ブロックは、パーソナルコンピュータなどのＣＰＵとＲＡＭメモリを用いて、ハードディスク、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどに記憶してある処理プログラムを実行することによって実現される。
【００４５】
図１２は本実施例における処理フローを示している。まずステップＳ１２０１では、ＲＡＷ画像ＤＢ１１１２にて記憶しているＲＡＷ画像をＲＡＷ画像データ取得部１１１０にてＲＡＷ画像データ記憶部１１０５に記憶する。ステップＳ１２０２では、ステップＳ１２０１にてＲＡＷ画像データ記憶部１１０５に記憶したＲＡＷ画像データに対して実施例１において説明した現像処理を行う。最後にステップＳ１２０３ではステップＳ１２０２において現像処理された画像を画像データ書込み部１１１１にて、出力画像記憶部１１１３に記憶する。
【００４６】
以上説明した処理制御を行うことで、パーソナルコンピュータや携帯端末などで回復処理を行うことによって、実施例１と同様の効果を得ることができる。
【００４７】
尚、本実施例では、入力画像としてＲＡＷ画像を一例としたがそれに限定はされない。例えば、ＪＰＥＧ画像やＴＩＦＦ画像に適用しても構わない。
【００４８】
また、回復フィルタデータＤＢをネットワーク上にあるとしたが、これに限定されることはない。例えば、画像処理装置１１０１内のメモリにあったとしても構わない。
【００４９】
［実施例４］
実施例１から３の機能（例えば、上記のフローチャートにより示される機能）を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。
【特許請求の範囲】
【請求項１】
撮像装置の光学系に起因する暈けを補正する画像処理装置であって、
画像中の複数の画素位置と、該画素位置それぞれに対応する代表フィルタを記憶させる記憶手段と、
画像中の注目画素の画素位置に基づいて、前記記憶手段により記憶されている代表フィルタの中から複数の代表フィルタを選択する選択手段と、
前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタそれぞれを適用するフィルタ処理手段と、
前記フィルタ処理手段の処理結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理手段は、前記注目画素の画素値及び該注目画素の周辺画素の画素値に対して、前記選択手段により選択された代表フィルタのそれぞれを適用することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ処理手段は、前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタのそれぞれを適用して複数の代表画素値を取得し、
前記補正手段は、前記選択手段により選択された複数の代表フィルタそれぞれに対応するフィルタ位置と前記注目画素の画素位置との位置関係に基づいて、前記複数の代表画素値を重み付き加算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記選択手段は、前記画像を撮影する撮像装置の光軸中心に対応する画像中の位置と前記注目画素の画素位置との位置関係に基づいて、前記複数の代表フィルタを選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記選択手段は、前記画像中のいずれの象限に前記注目画素が属しているかに基づいて、前記複数の代表フィルタを選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像を撮影する際の撮影条件を入力する入力手段を更に有し、
前記選択手段は、前記画像中の注目画素の画素位置と前記撮影条件とに基づいて前記複数の代表フィルタを選択することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記注目画素および該注目画素の周辺画素が飽和しているか否かを判定する判定手段を更に有し、
前記補正手段は、前記フィルタ処理手段の処理結果と前記判定手段の判定結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記代表フィルタは、前記画像の画素値に依存しないフィルタであることを特徴とする請求項１乃至７に記載の画像処理装置。
【請求項９】
コンピュータを、請求項１乃至請求項８の何れか１項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
撮像装置の光学系に起因する暈けを補正する画像処理方法であって、
画像中の注目画素の画素位置に基づいて、複数の代表フィルタを選択し、
前記注目画素の画素値に対して、前記選択された代表フィルタそれぞれを適用し、
前記代表フィルタの適用結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正することを特徴とする画像処理方法。
【請求項１】
撮像装置の光学系に起因する暈けを補正する画像処理装置であって、
画像中の複数の画素位置と、該画素位置それぞれに対応する代表フィルタを記憶させる記憶手段と、
画像中の注目画素の画素位置に基づいて、前記記憶手段により記憶されている代表フィルタの中から複数の代表フィルタを選択する選択手段と、
前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタそれぞれを適用するフィルタ処理手段と、
前記フィルタ処理手段の処理結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理手段は、前記注目画素の画素値及び該注目画素の周辺画素の画素値に対して、前記選択手段により選択された代表フィルタのそれぞれを適用することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ処理手段は、前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタのそれぞれを適用して複数の代表画素値を取得し、
前記補正手段は、前記選択手段により選択された複数の代表フィルタそれぞれに対応するフィルタ位置と前記注目画素の画素位置との位置関係に基づいて、前記複数の代表画素値を重み付き加算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記選択手段は、前記画像を撮影する撮像装置の光軸中心に対応する画像中の位置と前記注目画素の画素位置との位置関係に基づいて、前記複数の代表フィルタを選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記選択手段は、前記画像中のいずれの象限に前記注目画素が属しているかに基づいて、前記複数の代表フィルタを選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像を撮影する際の撮影条件を入力する入力手段を更に有し、
前記選択手段は、前記画像中の注目画素の画素位置と前記撮影条件とに基づいて前記複数の代表フィルタを選択することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記注目画素および該注目画素の周辺画素が飽和しているか否かを判定する判定手段を更に有し、
前記補正手段は、前記フィルタ処理手段の処理結果と前記判定手段の判定結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記代表フィルタは、前記画像の画素値に依存しないフィルタであることを特徴とする請求項１乃至７に記載の画像処理装置。
【請求項９】
コンピュータを、請求項１乃至請求項８の何れか１項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
撮像装置の光学系に起因する暈けを補正する画像処理方法であって、
画像中の注目画素の画素位置に基づいて、複数の代表フィルタを選択し、
前記注目画素の画素値に対して、前記選択された代表フィルタそれぞれを適用し、
前記代表フィルタの適用結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１１４８４９（Ｐ２０１２−１１４８４９Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６４２１７（Ｐ２０１０−２６４２１７）
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]