画像処理装置、画像処理方法及びプログラム
【課題】画像に飽和部分が発生し、本来の輝度レベルが得られないときにも、適切にフレア成分を検出して効果的なフレア補正をすることが可能な画像処理装置、画像処理方法及びプログラムを提供すること。
【解決手段】第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定する閾値決定部１１４と、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正する画像補正部１０９とを有することを特徴とする。
【解決手段】第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定する閾値決定部１１４と、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正する画像補正部１０９とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラ、ビデオカメラ等の撮像装置を使用して、屋外等で極めて明るい光源にレンズを向けて撮影すると、レンズフレア（以下、単にフレアともいう。）と呼ばれる現象が画像に発生する。フレアが発生すると、画像に黒レベルが浮き上がり、コントラストの低下が発生する。フレアの原因は、撮像装置を構成するレンズやフィルタ等のガラス部材、撮像素子受光面、レンズ鏡筒、絞り、レンズの傷、汚れ等による光の散乱である。
【０００３】
フレアの発生を防止するため、撮像装置の構成や画像処理に関する技術が提案されている。画像処理に関する技術として、例えば特許文献１は、フレアが画面全体に一様に発生しているものと仮定して、補正する方法を提案している。そして、特許文献１においては、輝度の最小値（黒レベル）を求めてその値を画面全体から減算している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３５５６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、フレアの原因である上記のような光の散乱は、輝度の高い部分により強く発生するため、フレアの量は画面全体に一様ではなく輝度のレベルに依存している。そのため、従来技術では、画面の一部に過度な補正部分が発生する等、画面の部分によっては適切な補正が出来ていないという問題があった。
【０００６】
これを解決する方法として、画像全体にわたる一様な処理を行うのではなく、画像の構成部分それぞれに応じた最適な補正をすることが考えられる。例えば、フレア成分をＬＰＦで抽出することによって、画像を補正する。
【０００７】
しかし、被写体のダイナミックレンジが撮像装置のダイナミックレンジを超えるような場合に、画像に飽和部分が発生し、本来の輝度レベルが得られない。そのため、飽和部分に該当する画像信号にＬＰＦを適用しても、適切なフレア成分が抽出できないという問題があった。
【０００８】
また、フレアは、撮像範囲外における輝度分布にも影響されて発生している。しかし、従来技術の方法では、撮像画面のみを参照しているため、撮像範囲外の輝度成分の影響によるフレア成分は抽出できないという問題があった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像に飽和部分が発生し、本来の輝度レベルが得られないときにも、適切にフレア成分を検出して効果的なフレア補正をすることが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定する閾値決定部と、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正する画像補正部とを有する画像処理装置が提供される。
【００１１】
上記第二の画像は、第一の画像より広い画角の条件で得られる画像であってもよい。
【００１２】
上記閾値決定部は、第一の画像が飽和しているか否かを判断し、飽和していると判断したとき、第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定してもよい。
【００１３】
上記閾値決定部は、第一の画像の画像信号から任意の画素を間引いた第一の間引き画像に基づいて、第一の画像が飽和しているか否かを判断してもよい。
【００１４】
上記第一の露出条件と第二の露出条件において、絞り条件は同一であってもよい。
【００１５】
上記閾値決定部は、第二の画像の画像信号から任意の画素を間引いた第二の間引き画像の画像信号にローパスフィルタを適用してもよい。
【００１６】
上記第二の画像信号は、第一の画像信号の飽和部分の周辺の輝度分布、又は第一の画像信号による画像におけるフレア発生状況に基づいて推測して得られてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定するステップと、画像補正部が、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正するステップとを有する画像処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定する手順、画像補正部が、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正する手順をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１９】
本発明によれば、画像に飽和部分が発生し、本来の輝度レベルが得られないときにも、適切にフレア成分を検出して効果的なフレア補正をすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施形態に係るビデオカメラ１００の構成を示すブロック図である。
【図２】フレア補正回路１０９の構成を示すブロック図である。
【図３】図３（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示すグラフである。図３（ｂ）は、輝度信号Ｙとフレア成分信号Ｆ１の関係を示すグラフである。図３（ｃ）は、輝度信号Ｙ１を示すグラフである。図３（ｄ）は、輝度信号Ｙｃを示すグラフである。
【図４】図４（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示すグラフである。図４（ｂ）は、輝度信号Ｙとフレア成分信号Ｆ１の関係を示すグラフである。図４（ｃ）は、輝度信号Ｙ１を示すグラフである。図４（ｄ）は、輝度信号Ｙｃを示すグラフである。
【図５】本発明の第三の実施形態に係るフレア補正回路１０９の構成を示すブロック図である。
【図６】本発明の第二の実施形態に係るビデオカメラ２００の構成を示すブロック図である。
【図７】コントローラ１０１がゲインＧ１、Ｇ２を決定する動作を示すフローチャートである。
【図８】フレア抽出回路１１４の一例を示すブロック図である。
【図９】本発明の第一の実施形態に係るフレア抽出回路１１４の動作を示すフローチャートである。
【図１０】同実施形態に係るフレア抽出回路の第一の変更例の動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は以下の順序で行うものとする。
１．第一の実施形態
２．第二の実施形態
３．第三の実施形態
【００２３】
＜１．第一の実施形態＞
まず、図１を参照しながら、本発明の第一の実施形態に係るビデオカメラ１００について説明する。図１は、本実施形態に係るビデオカメラ１００の構成を示すブロック図である。
【００２４】
ビデオカメラ１００は、コントローラ１０１と、レンズブロック１０３と、ＣＣＤ（charge coupled device）固体撮像素子１０４と、サンプルホールド回路１０５と、ＡＧＣ（Automatic Gain Control）回路１０６と、カメラ信号処理回路１０８と、フレア補正回路１０９と、エンコーダ１１０と、出力端子１１１と、電子ビューファインダ１１２と、積分回路１１３と、フレア抽出回路１１４と、フレアゲイン検出回路１１５などを有する。
【００２５】
コントローラ１０１は、マイクロコンピュータを備え、システム全体の動作を制御する。このコントローラ１０１には、ユーザーが種々のキー操作を行うためのキー入力部１０２が接続される。
【００２６】
レンズブロック１０３は、撮像レンズ等の光学系を構成する。レンズブロック１０３内には、絞り１０７が設けられている。
【００２７】
ＣＣＤ（charge coupled device）固体撮像素子１０４は、レンズブロック１０３を通過して受けた光を電気信号に変換する。
【００２８】
サンプルホールド回路１０５は、撮像素子１０４から出力される、不要なリセット状態の信号を取り除く。
【００２９】
ＡＧＣ（Automatic Gain Control）回路１０６は、サンプルホールド回路１０５から出力される撮像信号の振幅を一定に保つように制御する。
【００３０】
カメラ信号処理回路１０８は、ＡＧＣ回路１０６で振幅が制御された撮像信号を処理して、輝度信号Ｙ、赤色差信号Ｒ−Ｙ、青色差信号Ｂ−Ｙを得る。
【００３１】
フレア補正回路１０９は、カメラ信号処理回路１０８から出力される輝度信号Ｙのフレアを補正する。フレア補正回路１０９は、画像補正部の一例である。
【００３２】
エンコーダ１１０は、フレア補正回路１０９でフレアが補正された輝度信号Ｙｃ、及びカメラ信号処理回路１０８から出力される色差信号Ｒ−Ｙ，Ｂ−Ｙを使用して、例えばＮＴＳＣ方式のビデオ信号ＳＶを得る。
【００３３】
出力端子１１１は、エンコーダ１１０から出力されるビデオ信号ＳＶを出力する。
【００３４】
電子ビューファインダ１１２は、ビデオ信号ＳＶによる画像を表示する。
【００３５】
［積分回路１１３］
積分回路１１３は、カメラ信号処理回路１０８から出力される輝度信号Ｙを積分して明るさ評価値としての積分信号ＳＩＴを得る。積分回路１１３は、画面上の対象エリアに対応して例えば“１”となるエリア信号ＳＡＲと、各画面の先頭タイミングで発生されるリセット信号ＳＲＥとがコントローラ１０１から供給される。
【００３６】
積分回路１１３は、リセット信号ＳＲＥによって各画面の先頭で積分値をリセットし、エリア信号ＳＡＲが“１”となる期間でカメラ信号処理回路１０８から出力される輝度信号Ｙを積分する。そして、積分回路１１３は、積分回路１１３から画面毎に出力される明るさ評価値としての積分信号ＳＩＴをコントローラ１０１に供給する。コントローラ１０１は、絞り１０７の開口量やＡＧＣ回路１０６のゲインを制御することで、積分回路１１３で得られる積分信号ＳＩＴが所定値となるように露出制御をする。
【００３７】
［フレア抽出回路１１４］
フレア抽出回路１１４は、閾値決定部の一例であり、カメラ信号処理回路１０８から出力される輝度信号Ｙに基づいてフレア成分信号Ｆを抽出する。
【００３８】
フレア成分信号Ｆは、フレア補正回路１０９及びフレアゲイン検出回路１１５に供給される。上述したとおり、フレアは光がレンズブロック１０３内で散乱することによって生じる。散乱した光の強度は距離と共に減衰するので、入射光の強度が強い部分ほどフレア成分が多くなるが、散乱によって広い範囲に渡って広がるためフレア成分の変化は非常に緩やかなものとなっている。従って、フレア抽出回路１１４の一例は、輝度信号Ｙを平滑化するＬＰＦ（ローパスフィルタ）である。
【００３９】
フレアの発生原因から容易に推測されるように、フレア特性はレンズブロックの構成やレンズブロックの状態（ズーム位置、絞り位置、フォーカス位置など）によって変わる。そのため、ＬＰＦが、レンズブロックの構成やレンズブロックの状態を考慮したＬＰＦ特性に設定されることで最適なフレア補正効果が得られる。さらに、ＬＰＦの特性を変えることで画質補正効果が得られるが、それについては後述する。
【００４０】
被写体のダイナミックレンジが撮像装置のダイナミックレンジを超えるような場合には、画像に飽和部分が発生し本来の輝度レベルが得られない。そのため、飽和部分に該当する信号にＬＰＦを適用しても適切なフレア成分が抽出できない。従って、画像撮像時に画像が飽和する場合は、本来の撮像画像にＬＰＦを適用するのではなく、本来の撮影画像とは別に撮影して得られる、飽和部分が生じない露出レベルの画像にＬＰＦを適用する。これによって、従来技術に比べてより適切なフレア成分を抽出することが出来る。そのようなフレア抽出回路１１４の一例を図８に示す。図８は、フレア抽出回路１１４の一例を示すブロック図である。
【００４１】
［フレア抽出回路１１４の構成］
フレア抽出回路１１４は、ＬＰＦ１４１と、フレア成分保存部１４２と、出力選択スイッチ１４３を有する。
【００４２】
画像撮像時に画像が飽和していない場合、出力選択スイッチ１４３は、ＬＰＦ１４１側に設定され、ＬＰＦ１４１から出力された信号が、フレア成分信号Ｆとしてフレア補正回路１０９及びフレアゲイン検出回路１１５に供給される。
【００４３】
画像撮像時に画像が飽和している場合、出力選択スイッチ１４３は、フレア成分保存部１４２側に設定され、画像が飽和しない露出レベル（非飽和露出レベル）に設定した状態の画像信号がＬＰＦ１４１にまず適用される。そして、ＬＰＦ１４１から出力された信号が、フレア成分信号Ｆとしてフレア成分保存部１４２に保存される。その後、本来撮像したい露出レベル（本来露出レベル）の画像信号のタイミングに合わせて、フレア成分信号Ｆがフレア成分保存部１４２から出力され、フレア補正回路１０９及びフレアゲイン検出回路１１５に供給される。
【００４４】
［フレア抽出回路１１４の動作］
このときの動作フローを図９に示す。図９は、本実施形態に係るフレア抽出回路１１４の動作を示すフローチャートである。
【００４５】
まず、撮像装置が本来撮像したい露出レベル（本来露出レベル）に設定される（ステップＳ１２１）。そして、撮像装置が本来露出レベルで撮影をして画像を取得する。
【００４６】
次に、画像の飽和部分の面積の大小によって、画像が飽和画像であるか否かを判断する（ステップＳ１２２）。例えば、画像の飽和部分の面積が任意の閾値よりも小さい場合は、出力選択スイッチ１４３がＬＰＦ１４１側に設定される（ステップＳ１３３）。そして、本来露出レベルの画像信号がＬＰＦ１４１に適用される（ステップＳ１３４）。その後、画像信号にＬＰＦ１４１を適用した結果が、ＬＰＦ１４１から出力され（ステップＳ１３５）、一連の動作が終了する。
【００４７】
一方、例えば画像の飽和部分の面積が任意の閾値以上である場合は、出力選択スイッチ１４３がフレア成分保存部１４２側に設定される（ステップＳ１２３）。そして、撮像装置が、画像が飽和しない露出レベル（非飽和露出レベル）に設定される（ステップＳ１２４）。次に、撮像装置が非飽和露出レベルで撮影をして画像を取得する。その後、非飽和露出レベルの画像信号がＬＰＦ１４１に適用される（ステップＳ１２５）。そして、画像信号にＬＰＦ１４１を適用した結果が、フレア成分信号Ｆとしてフレア成分保存部１４２に保存される（ステップＳ１２６）。
【００４８】
次に、撮像装置が本来撮像したい露出レベル（本来露出レベル）に設定される（ステップＳ１２７）。そして、撮像装置が本来露出レベルで撮影をして画像を取得する。それと共に本来露出レベルの画像信号のタイミングに合わせて、フレア成分保存部１４２からフレア成分信号Ｆが出力される（ステップＳ１２８）。
【００４９】
なお、ステップＳ１２２における画像の飽和判別は、間引き画像を用いてもよい。すなわち、撮像素子１０４の読み出し時に画像データから画素を間引いたり、カメラ信号処理回路１０８の処理時に画像データから画素を間引いたりすることで、ステップＳ１２２の処理時間を削減することができる。
【００５０】
また、フレア特性は絞り位置によって変わる可能性がある。従って、ステップＳ１２４で非飽和露出レベルに設定されるとき、本来露出レベルでの絞り位置と同じ絞り位置を用い、露出レベルの調整はシャッタースピードの調整で行うことが望ましい。これにより、フレアの状態を変えることなく、画像信号を取得できる。
【００５１】
また、ステップＳ１２６で得られるフレア成分は、非飽和露出レベルで得られたものである。従って、フレア成分信号を、本来露出信号の露出レベルに合わせてレベルを調整するため、ゲイン補正してから保存するか、またはフレア成分信号をステップＳ１２８におけるフレア成分出力時にゲイン補正する必要がある。しかしながら、このゲイン補正分は、後述するフレアゲイン検出回路１１５を用いるのであれば、フレアゲイン検出回路１１５で検出するゲインによって自動的に補正される。従って、ここでの補正は省略することも可能である。
【００５２】
また、ステップＳ１２６で得られるフレア成分は、ＬＰＦを適用した信号である。従って、フレア成分が、画素を間引いた状態でフレア成分保存部１４２に保存され、出力時に補間されて出力されることによって、フレア成分保存部１４２の回路規模を削減することが可能である。
【００５３】
また、ステップＳ１２６で得られるフレア成分は、ＬＰＦ１４１を適用した信号である。従って、ＬＰＦ１４１への入力信号である画像信号は、通常の画像よりも間引いた画像にしてもよい。すなわち、撮像素子１０４の読み出し時に画像データから画素を間引いたり、カメラ信号処理回路１０８の処理時に画像データから画素を間引いたりすることで、ステップＳ１２６の処理時間やＬＰＦ１４１の回路規模を削減することができる。このときＬＰＦ１４１の特性は、上述の画像間引き処理の特性を考慮して決定される。間引き処理に用いるＬＰＦとＬＰＦ１４１の両者を適用することによる画像劣化を防止するためである。
【００５４】
［フレア抽出回路の第一の変更例の構成及び動作］
上述した動作フローでは、画像飽和時において、撮像装置は、非飽和露出レベルに設定されてから、改めて本来露出レベルに設定される。そのため、ユーザーがシャッターを押してから実際の撮像画像を取得するまでに遅れが生じる。それを避けるために、図１０に示すような動作フローでフレア抽出回路１１４が動作するとしてもよい。図１０は、フレア抽出回路の第一の変更例の動作を示すフローチャートである。
【００５５】
ステップＳ１２１の後、ステップＳ１２２において本来露出レベルで画像飽和判別するときの画像を画像メモリに保存しておく（ステップＳ２２１）。その後、非飽和露出レベルで得られたフレア成分と先に保存した画像データを用いてフレア補正を行うようにしてもよい。なお、この場合は、ステップＳ１２５でのＬＰＦ１４１の出力タイミングに合わせて画像メモリから画像を読み出し、それらを用いてフレア補正を行うようにすることで、図９に示したステップＳ１２６〜ステップＳ１２７までのステップを省略できる。また、フレア成分保存部１４２、出力選択スイッチ１４３が省略可能である。
【００５６】
［フレア抽出回路の第二の変更例の構成及び動作］
フレア成分は、撮像範囲外の輝度分布にも影響される。しかし、ユーザーが本来撮影したい撮像画面からは撮像範囲外の輝度成分は抽出できない。そのため、ＬＰＦ１４１を適用する画像について、上述した飽和部分が生じない露出レベルという条件に加え、レンズブロック１０３を調整してより広角な画像とする。
【００５７】
これによって、フレア抽出回路１１４は、より適切なフレア成分を抽出することが出来る。この場合には、フレア抽出回路１１４は、上述したステップＳ１２２で画像が飽和画像であると判断されたときは、画像を飽和しない露出レベルに設定し、かつレンズブロック１０３を本来撮像したい画角より広角に設定した状態の画像信号にＬＰＦ１４１を適用する。そして、画像信号にＬＰＦ１４１を適用した結果をフレア成分保存部１４２に保存する。その際、フレア成分保存部１４２に保存するデータは、本来の画角に相当する部分のみでよい。その後、本来の露出レベル及び画角に設定した状態の画像信号に合わせて、フレア成分保存部１４２からフレア成分信号Ｆを出力し、フレア補正回路１０９及びフレアゲイン検出回路１１５に供給する。
【００５８】
この場合の動作フローは、図９で「非飽和露出レベルに設定、撮影（ステップＳ１２４）」及び「本来露出レベルに設定、撮影（ステップＳ１２７）」のステップを次のように変更すればよい。「非飽和露出レベルに設定、撮影（ステップＳ１２４）」のステップでは、非飽和露出レベルに設定することに加え、本来撮像したい画角よりもレンズブロック１０３を広角に設定する。「本来露出レベルに設定、撮影（ステップＳ１２７）」のステップでは、本来露出レベルに設定することに加え、本来撮像したい画角に設定する。
【００５９】
［フレア抽出回路の第三の変更例の構成及び動作］
上記では、画像が飽和画像であると判断されたときにおいて、非飽和画像から抽出したフレア成分を適用することが有効であることを示した。更に、いわゆるＨＤＲ（High Dynamic Range）合成画像の作成においても、同様にフレア補正を適用することができる。ＨＤＲ合成画像とは、露出レベルの異なる複数の画像の適正露出部分を切り出して合成することで得られるレンジ範囲の広い高ダイナミックレンジ（白とび、黒つぶれの少ない）画像である。たとえば、高露出レベルの（黒つぶれの少ない）画像と低露出レベルの（白とびの少ない）画像を合成する場合、低露出レベル画像から抽出したフレア成分を用いて高露出レベル画像及び低露出レベル画像のフレア補正を行ってから両者を合成する。これによって、適切にフレア補正がされたＨＤＲ合成画像が得られる。
【００６０】
［フレア抽出回路の第四の変更例の構成及び動作］
また、上記では、画像が飽和画像であると判断されたときにおいて、非飽和画像から抽出したフレア成分を飽和画像に適用する方法を示した。しかし、非飽和画像では低輝度部分の階調が不足する可能性がある。そのような場合は、飽和画像の飽和部分（または飽和部分とその近傍）に非飽和画像の該当部分の露出レベルを合わせて合成した画像からフレア成分を抽出するようにすればよい。上述のように、フレア成分は画像信号にＬＰＦを適用して抽出されるため、合成する画像は本来の画素数よりも間引いた画像にしてもよい。
【００６１】
［フレア抽出回路のその他の変更例の構成及び動作］
また、上記では、非飽和画像をフレア成分の抽出に利用する方法を示した。しかし、非飽和画像にＬＰＦを適用してフレア成分を抽出する用途では、画像データにおいて高周波成分は不要である。従って、非飽和画像の取得は簡易的な方法によって行うことが可能である。例えば、上記のように、非飽和画像の取得の際、撮像素子からの信号を簡易化する方法（撮像素子の読み出し時に間引く、カメラ信号処理時に間引く、など）を採用できる。また、（１）非飽和画像の取得のため、撮像素子よりも簡易な、輝度分布を求めるための専用センサーを設ける方法がある。更に、（２）非飽和画像の取得は、飽和画像から飽和部分を推測する方法（たとえば飽和部分の周辺の輝度分布やフレアの発生状況から飽和部分を推測する方法等）がある。
【００６２】
［フレアゲイン検出回路１１５］
ビデオカメラ１００は、更に、フレアゲイン検出回路１１５を有する。フレアゲイン検出回路１１５は、カメラ信号処理回路１０８から出力される輝度信号Ｙ、及びフレア抽出回路１１４から出力されるフレア成分信号Ｆに基づいて、輝度信号Ｙに対するフレア成分信号Ｆのゲインを検出する。
【００６３】
フレアゲイン検出回路１１５では、リセット信号ＦＲＥによって各画面の先頭でフレアゲインＧ１が最大値にセットされる。フレアゲイン検出回路１１５は、エリア信号ＦＡＲが“１”となる期間で輝度信号Ｙとフレア成分信号Ｆの比Ｙ／ＦがフレアゲインＧ１より小さい場合にフレアゲインＧ１をそのときのＹ／Ｆの値に置き換える。エリア信号ＦＡＲは、画面全体としてもよいが、画面周辺部を除いた領域としたり、画像を解析して抽出した領域としたりしてもよい。また、ユーザーによるキー入力部１０２の操作によって任意に設定されるようにしてもよい。こうして得られたフレアゲインＧ１は、コントローラ１０１に供給される。コントローラ１０１は、ゲインＧ１がＧ１の上限値Ｇ１ＭＡＸを超えているときはＧ１をＧ１ＭＡＸに置き換えた上で下式（１）
Ｇ２＝１／（１−Ｇ１） ……（１）
からＧ２を求め、Ｇ１、Ｇ２をフレア補正回路１０９に供給する。
【００６４】
［フレア補正回路１０９の構成］
図２は、上述したフレア補正回路１０９の構成を示している。
フレア補正回路１０９は、乗算器１２１と、減算器１２２と、乗算器１２３を有する。乗算器１２１は、フレア抽出回路１１４から供給されるフレア成分信号Ｆにコントローラ１０１から供給されるゲインＧ１を掛けてレベル補正されたフレア成分信号Ｆ１を得る。減算器１２２は、輝度信号Ｙからフレア成分信号Ｆ１を減算して輝度信号Ｙ１を得る。乗算器１２３は、輝度信号Ｙ１にゲインＧ２を掛けてフレア補正された輝度信号Ｙｃを得る。
【００６５】
ここで、ゲインＧ１は上記輝度信号Ｙ１において負値が生じないようにするためのゲインである。すなわち式（２）
Ｙ１＝Ｙ−Ｇ１×Ｆ≧０ ……（２）
が成り立つ必要があり、式（２）から式（３）
Ｇ１≦Ｙ／Ｆ ……（３）
が得られ、すべてのＹ、Ｆにおいて式（３）が成り立つためにはＧ１はＹ／Ｆの最小値とすることが適当である。このことから上記フレアゲイン検出回路１１５が構成されている。また、Ｙ１はＹからフレア成分信号Ｆ１（＝Ｇ１×Ｆ）が減算されることで平均輝度が（１−Ｇ１）倍に減少しているため、平均輝度を元の輝度信号Ｙに合わせるためにＹ１にゲインＧ２（＝１／（１−Ｇ１））を掛けてＹｃを得ている。なお、元の画像がコントラストの非常に小さい画像の場合は過補正になる場合があるためＧ１の値には上限を設けている。
【００６６】
Ｙ／Ｆの最小値は輝度信号Ｙが最小となる時のＹ／Ｆにほぼ一致するため、フレアゲイン検出回路１１５はＹ／Ｆの最小値を求める代わりにＹの最小値を求める。そのときのＦの値と共にコントローラ１０１にＹの最小値を供給し、コントローラ１０１でＹ／Ｆを計算してＧ１を得る構成とすることも出来る。この場合には、フレアゲイン検出回路１１５では除算器が不要となり回路規模を削減できる。
【００６７】
図３（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示している。図３（ｂ）は、輝度信号Ｙと、フレア成分信号ＦにゲインＧ１を掛けて得られるフレア成分信号Ｆ１の関係を示している。このＦ１を輝度信号Ｙから減算するため、Ｆ１がフレア補正量を表していると言える。図３（ｃ）は、輝度信号Ｙからフレア成分信号Ｆ１を減算して得られる輝度信号Ｙ１を示している。ここでフレア成分が除去されて黒レベルの浮きが押さえられていることがわかる。図３（ｄ）は、輝度信号Ｙ１にゲインＧ２を掛けて得られるフレア補正された輝度信号Ｙｃを示している。このゲインはフレア成分を除去したことによる輝度低下を補正するゲインであるが、それによってコントラスト及びディテール強調効果が得られていることがわかる。
【００６８】
図４は、図３の例とはＬＰＦの特性が異なる場合の例を示している。図４（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示している。この例はＬＰＦの特性が図３の場合よりも高域まで延びている場合であり、フレア成分信号Ｆは図３の場合よりも輝度信号Ｙの変化に近くなっている。図４（ｂ）は、輝度信号Ｙと、フレア成分信号ＦにゲインＧ１を掛けて得られるフレア成分信号Ｆ１の関係を示している。このＦ１を輝度信号Ｙから減算するため、Ｆ１がフレア補正量を表していると言える。図４（ｃ）は、輝度信号Ｙからフレア成分信号Ｆ１を減算して得られる輝度信号Ｙ１を示している。ここでフレア成分が除去されて黒レベルの浮きが押さえられていることがわかるが、図３の場合よりも補正量が多い（輝度が下がっている）ことがわかる。図４（ｄ）は、輝度信号Ｙ１にゲインＧ２を掛けて得られるフレア補正された輝度信号Ｙｃを示している。このゲインはフレア成分を除去したことによる輝度低下を補正するゲインであるが、それによってコントラスト及びディテール強調効果が得られていることがわかる。ここでは、図３の場合よりもディテール強調効果が大きくコントラスト強調効果が小さいことがわかる。
【００６９】
このように、ＬＰＦの特性を変えることで補正効果を調節することが可能である。従って、求める画質に合わせて特性を選択したり、ユーザー設定によって特性を選択したりすることによって、多様な補正効果を得ることが可能である。
【００７０】
ゲインＧ１として得られた値をそのまま用いるのではなく、可変することによってフレア補正効果を調節することが可能である。たとえば画像の黒レベル付近の面積が大きいときは黒が沈みすぎるのを避けるためにＧ１は実際に得られた値よりも小さい値を用いる。逆に画像の黒レベル付近の面積が小さいときは黒をより引き締めるためにＧ１は実際に得られた値よりも大きい値を用いる。また、コントラストが非常に小さい画像では過補正になることがあるためＧ１には上限を設ける。
【００７１】
また、ゲインＧ２として式（１）の値をそのまま用いるのではなく、可変することによってコントラスト及びディテール強調効果を調節することが可能である。たとえば画像の白レベル付近の面積が大きいときは白とびが起きやすいので、Ｇ２は式（１）の値よりも小さい値を用いる。逆に画像の白レベル付近の面積が小さいときはコントラストをより強調するためにＧ２は式（１）の値よりも大きい値を用いる。また、コントラストが非常に小さい画像では過補正になることがあるため、Ｇ２には上限を設ける。
【００７２】
従って、画像を解析してＧ１、Ｇ２を調節したり、求める画質に合わせてＧ１、Ｇ２を調節したり、ユーザー設定によってＧ１、Ｇ２を調節するようにすることによって、多様な補正効果を得るようにすることが可能である。
【００７３】
＜２．第二の実施形態＞
次に、図６を参照して、本発明の第二の実施形態に係るビデオカメラ２００について説明する。図６は、本実施形態に係るビデオカメラ２００の構成を示すブロック図である。
【００７４】
ビデオカメラ２００は、画像を解析してＧ１、Ｇ２を自動で調節する。図６のビデオカメラ２００は、図１のビデオカメラ１００に輝度分布検出回路１１６を付加した構成であり、輝度分布検出回路１１６とコントローラ１０１以外の動作は、ビデオカメラ１００と同様である。
【００７５】
［輝度分布検出回路１１６］
輝度分布検出回路１１６は、フレア補正回路１０９より出力される輝度信号Ｙｃから画像の黒付近面積ＳＢ及び白付近面積ＳＷを検出する。輝度分布検出回路１１６では、リセット信号ＦＲＥによって各画面の先頭で黒付近面積ＳＢ及び白付近面積ＳＷが０にリセットされる。輝度分布検出回路１１６は、エリア信号ＦＡＲが“１”となる期間で輝度信号Ｙｃと閾値ＴＨＢ及び閾値ＴＨＷを比較し、Ｙｃ＜ＴＨＢとなる面積ＳＢ及びＹｃ＞ＴＨＷとなる面積ＳＷを求める。ここで閾値ＴＨＢは黒レベルより少し大きい値、閾値ＴＨＷは白レベルより少し小さい値とすることが適当であるが、ユーザーが設定するようにしてもよい。こうして得られた黒付近面積ＳＢ及び白付近面積ＳＷはコントローラ１０１に供給される。
【００７６】
コントローラ１０１は、黒付近面積ＳＢが閾値ＴＳＢ１、ＴＳＢ２（ＴＳＢ１＜ＴＳＢ２）の間にあるときはフレアゲイン検出回路１１５から得られたゲインＧ１をそのまま用いる。ＳＢ＜ＴＳＢ１のときはフレアゲイン検出回路１１５から得られたゲインＧ１にゲイン補正係数ＡＢ１（＞１）を掛けたものを新たにＧ１とする。ＳＢ＞ＴＳＢ２のときはフレアゲイン検出回路１１５から得られたゲインＧ１にゲイン補正係数ＡＢ２（＜１）を掛けたものを新たにＧ１とする。ここで閾値ＴＳＢ１は黒付近面積が小さいと判断する閾値でありＳＢ＜ＴＳＢ１のときは黒付近面積をより大きくするためにゲインＧ１を大きくしている。閾値ＴＳＢ２は黒付近面積が大きいと判断する閾値でありＳＢ＞ＴＳＢ２のときは黒付近面積をより小さくするためにゲインＧ１を小さくしている。
【００７７】
また、コントローラ１０１は白付近面積ＳＷが閾値ＴＳＷ１、ＴＳＷ２（ＴＳＷ１＜ＴＳＷ２）の間にあるときは式１で求めたゲインＧ２をそのまま用いる。ＳＷ＜ＴＳＷ１のときは式１で求めたゲインＧ２にゲイン補正係数ＡＷ１（＞１）を掛けたものを新たにＧ２とする。ＳＷ＞ＴＳＷ２のときは式１で求めたゲインＧ２にゲイン補正係数ＡＷ２（＜１）を掛けたものを新たにＧ２とする。ここで閾値ＴＳＷ１は白付近面積が小さいと判断する閾値でありＳＷ＜ＴＳＷ１のときは白付近面積をより大きくするためにゲインＧ２を大きくしている。閾値ＴＳＷ２は白付近面積が大きいと判断する閾値でありＳＷ＞ＴＳＷ２のときは白付近面積をより小さくするためにゲインＧ２を小さくしている。こうして得られたＧ１、Ｇ２をフレア補正回路１０９に供給する。
【００７８】
コントローラ１０１がゲインＧ１、Ｇ２を決定するフローを図７に示す。図７は、コントローラ１０１がゲインＧ１、Ｇ２を決定する動作を示すフローチャートである。
【００７９】
ステップＳ１０１では、フレアゲイン検出回路１１５からゲインＧ１を取得しゲインＧ１がＧ１の上限値Ｇ１ＭＡＸを超えているときはＧ１をＧ１ＭＡＸに置き換えた上で式（１）によりゲインＧ２を算出する。
【００８０】
ステップＳ１０２では、ゲインＧ１、Ｇ２をフレア補正回路１０９に供給する。
【００８１】
ステップＳ１０３では、輝度分布検出回路１１６から黒付近面積ＳＢ及び白付近面積ＳＷを取得する。
【００８２】
ステップＳ１０４では、黒付近面積ＳＢと閾値ＴＳＢ１、ＴＳＢ２（ＴＳＢ１＜ＴＳＢ２）を比較しＳＢ＜ＴＳＢ１の場合にはステップＳ１０５を実行し、ＳＢ＞ＴＳＢ２の場合にはステップＳ１０６を実行する。
【００８３】
ステップＳ１０５では、ゲインＧ１にゲイン補正係数ＡＢ１（＞１）を掛けたものを新たにゲインＧ１とする。ただし、このときのゲインＧ１がＧ１の上限値Ｇ１ＭＡＸを超えたときはＧ１をＧ１ＭＡＸに置き換える。
【００８４】
ステップＳ１０６では、ゲインＧ１にゲイン補正係数ＡＢ２（＜１）を掛けたものを新たにゲインＧ１とする。
【００８５】
ステップＳ１０７では、白付近面積ＳＷと閾値ＴＳＷ１、ＴＳＷ２（ＴＳＷ１＜ＴＳＷ２）を比較しＳＷ＜ＴＳＷ１の場合にはステップＳ１０８を実行し、ＳＷ＞ＴＳＷ２の場合にはステップＳ１０９を実行する。
【００８６】
ステップＳ１０８では、ゲインＧ２にゲイン補正係数ＡＷ１（＞１）を掛けたものを新たにゲインＧ２とする。ただし、このときのゲインＧ２がＧ２の上限値Ｇ２ＭＡＸを超えたときはＧ２をＧ２ＭＡＸに置き換える。
【００８７】
ステップＳ１０９では、ゲインＧ２にゲイン補正係数ＡＷ２（＜１）を掛けたものを新たにゲインＧ２とする。
【００８８】
ステップＳ１１０では、ゲインＧ１、Ｇ２をフレア補正回路１０９に供給する。
【００８９】
なお、ステップＳ１０３からステップＳ１１０を繰り返し実行することでゲインＧ１、Ｇ２をより最適な値に収束させるようにしてもよい。
【００９０】
ここでは輝度分布検出回路１１６において黒付近面積ＳＢ及び白付近面積ＳＷを求めるとしたが、より詳細な分布を求めることでより最適な補正を行うことが出来る。たとえば上記閾値ＴＨＢに加えて閾値ＴＨＢ２（＞ＴＨＢ）を設定し黒付近面積ＳＢに加えて黒付近面積ＳＢ２を求めると、ＳＢ＜ＴＳＢ１のときはＳＢ２−ＳＢが小さいほど黒付近の分布がより少ないと考えられる。従って、ゲイン補正係数ＡＢ１をより大きな値にするとよい。ＳＢ＞ＴＳＢ２のときはＳＢ２−ＳＢが大きいほど黒付近の分布がより多いと考えられる。従って、ゲイン補正係数ＡＢ２をより小さな値にするとよい。白付近の分布についても同様に考えゲイン補正係数ＡＷ１、ＡＷ２を最適化できる。
【００９１】
＜３．第３の実施形態＞
次に、本発明の第３の実施形態に係るビデオカメラ３００について説明する。
第一の実施形態におけるフレア補正された輝度信号Ｙｃは式（４）で表せる。
Ｙｃ＝Ｇ２×（Ｙ−Ｇ１×Ｆ） ……（４）
式（１）を式（４）に代入した上で、
Ｇ３＝Ｇ１／（１−Ｇ１） ……（５）
とすると式（６）が得られる。
Ｙｃ＝Ｙ＋Ｇ３×（Ｙ―Ｆ） ……（６）
【００９２】
従って、フレア補正された輝度信号Ｙｃは輝度信号Ｙとフレア成分信号Ｆの差分にゲインＧ３を掛けて元の輝度信号Ｙに加えることによっても得られる。これを第３の実施形態とする。
【００９３】
第三の実施形態は、第一の実施形態と同様の図１の構成であるが、第一の実施形態との相違は、フレア補正回路１０９の構成が図２の代わりに図５に示す構成となる。図５は、フレア補正回路１０９の構成を示すブロック図である。コントローラ１０１からフレア補正回路１０９に供給されるのがＧ１、Ｇ２の代わりにＧ３となることである。
【００９４】
コントローラ１０１はフレアゲイン検出回路１１５から供給されるＧ１から式（６）によりＧ３を求めＧ３をフレア補正回路１０９に供給する。
【００９５】
図５に示すフレア補正回路１０９は、減算器１３１と、乗算器１３２と、加算器１３３を有する。減算器１３１は、フレア抽出回路１１４から供給されるフレア成分信号Ｆを輝度信号Ｙから減算する。乗算器１３２は、減算器１３１の出力信号にコントローラ１０１から供給されるゲインＧ３を掛ける。加算器１３３は、輝度信号Ｙに乗算器１３２の出力信号を加えてフレア補正された輝度信号Ｙｃを得る。
【００９６】
本実施形態では、第一の実施形態に比べて、乗算器の数が減るため回路規模が削減される。一方、第一の実施形態では、フレア補正量を調節するゲインＧ１とコントラスト、ディテール補正量を調節するゲインＧ２が個別に調節できたのに対して、本実施形態では、ゲインＧ３でそれらを一体的に調節することになり、自由度が少なくなる。なお、本実施形態においても加算器１３３の出力に乗算器を追加することで、第一の実施形態と同等の自由度を持たせることが可能であるが、その場合は回路規模の削減効果は得られない。
【００９７】
以上、本発明の第一〜第三の実施形態によれば、被写体のダイナミックレンジがビデオカメラ（撮像装置）のダイナミックレンジを超えて、画像に飽和部分が発生しているような場合でも、従来よりも効果的なフレア補正が可能となる。また、撮像範囲外の輝度成分の影響によるフレア成分についても、適切なフレア補正が可能である。
【００９８】
更に、本実施形態によれば、各画素の輝度、フレア成分に応じた補正処理が可能となり、画像の画素特性に応じて適切なフレア補正ができる。従来の画面一律の補正処理に比較して、効果的なフレア補正が可能となる。また、コントラスト、ディテール補正の効果も得られる。そして、パラメータＧ１，Ｇ２の更新を行う構成では、画像の特性に応じてパラメータの特性を変更できるので、コントラスト、ディテール補正の効果も個別に調節可能となる。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１００】
ゲインＧ１は画像全体を見た結果として得られる値のため、Ｇ１を検出すると共に画像をメモリに保存してから、得られたＧ１を用いて画像全体を処理する必要がある。しかしながら、Ｇ１は時間軸で急激に変化することは少ないので前画面の値を用いてもよい。
【０１０１】
動画の場合は、フレア補正量の急激な変化を避けるため、ゲインＧ１を時間軸で平均化したり、１画面ごとの変化量に制限を設けたりして使用してもよい。
【０１０２】
画像の黒浮きはレンズ内の散乱だけでなく、他の要因によっても発生する。たとえば、空気中の粒子による光の散乱によっても発生する。このようなレンズ内の散乱以外の黒浮きについても本発明は有効である。さらに、画面内で黒浮きの程度が異なる場合がある。たとえば、画面内に遠景と近景が同時にある場合は遠景では空気中の粒子による散乱の影響が強くなるため、遠景と近景では黒浮きの程度が異なる。このような場合には領域を分割して、それぞれの領域ごとに補正を行うことで、より最適な補正が可能となる。
【０１０３】
また、上記実施形態はＹ信号に適用したがＲＧＢ信号に適用してもよい。また、ガンマ後の信号に適用したがガンマ前の信号に適用してもよい。
【０１０４】
上記実施形態は撮像時の処理としたが、撮像後の画像を読み出して適用することも可能である。
【０１０５】
上記実施形態はデジタルビデオカメラとしたがデジタルスチルカメラにおいても適用可能である。また撮像素子はＣＣＤとしたが、たとえばＣＭＯＳなどの他の撮像素子でもよい。
【符号の説明】
【０１０６】
１００、２００ ビデオカメラ
１０１ コントローラ
１０２ キー入力部
１０３ レンズブロック
１０４ ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）固体撮像素子
１０５ サンプルホールド回路（Ｓ／Ｈ）
１０６ ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路
１０７ 絞り
１０８ カメラ信号処理回路
１０９ フレア補正回路
１１０ エンコーダ
１１１ 出力端子
１１２ 電子ビューファインダ（ＥＶＦ）
１１３ 積分回路
１１４ フレア抽出回路
１１５ フレアゲイン検出回路
１１６ 輝度分布検出回路
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラ、ビデオカメラ等の撮像装置を使用して、屋外等で極めて明るい光源にレンズを向けて撮影すると、レンズフレア（以下、単にフレアともいう。）と呼ばれる現象が画像に発生する。フレアが発生すると、画像に黒レベルが浮き上がり、コントラストの低下が発生する。フレアの原因は、撮像装置を構成するレンズやフィルタ等のガラス部材、撮像素子受光面、レンズ鏡筒、絞り、レンズの傷、汚れ等による光の散乱である。
【０００３】
フレアの発生を防止するため、撮像装置の構成や画像処理に関する技術が提案されている。画像処理に関する技術として、例えば特許文献１は、フレアが画面全体に一様に発生しているものと仮定して、補正する方法を提案している。そして、特許文献１においては、輝度の最小値（黒レベル）を求めてその値を画面全体から減算している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３５５６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、フレアの原因である上記のような光の散乱は、輝度の高い部分により強く発生するため、フレアの量は画面全体に一様ではなく輝度のレベルに依存している。そのため、従来技術では、画面の一部に過度な補正部分が発生する等、画面の部分によっては適切な補正が出来ていないという問題があった。
【０００６】
これを解決する方法として、画像全体にわたる一様な処理を行うのではなく、画像の構成部分それぞれに応じた最適な補正をすることが考えられる。例えば、フレア成分をＬＰＦで抽出することによって、画像を補正する。
【０００７】
しかし、被写体のダイナミックレンジが撮像装置のダイナミックレンジを超えるような場合に、画像に飽和部分が発生し、本来の輝度レベルが得られない。そのため、飽和部分に該当する画像信号にＬＰＦを適用しても、適切なフレア成分が抽出できないという問題があった。
【０００８】
また、フレアは、撮像範囲外における輝度分布にも影響されて発生している。しかし、従来技術の方法では、撮像画面のみを参照しているため、撮像範囲外の輝度成分の影響によるフレア成分は抽出できないという問題があった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像に飽和部分が発生し、本来の輝度レベルが得られないときにも、適切にフレア成分を検出して効果的なフレア補正をすることが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定する閾値決定部と、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正する画像補正部とを有する画像処理装置が提供される。
【００１１】
上記第二の画像は、第一の画像より広い画角の条件で得られる画像であってもよい。
【００１２】
上記閾値決定部は、第一の画像が飽和しているか否かを判断し、飽和していると判断したとき、第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定してもよい。
【００１３】
上記閾値決定部は、第一の画像の画像信号から任意の画素を間引いた第一の間引き画像に基づいて、第一の画像が飽和しているか否かを判断してもよい。
【００１４】
上記第一の露出条件と第二の露出条件において、絞り条件は同一であってもよい。
【００１５】
上記閾値決定部は、第二の画像の画像信号から任意の画素を間引いた第二の間引き画像の画像信号にローパスフィルタを適用してもよい。
【００１６】
上記第二の画像信号は、第一の画像信号の飽和部分の周辺の輝度分布、又は第一の画像信号による画像におけるフレア発生状況に基づいて推測して得られてもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定するステップと、画像補正部が、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正するステップとを有する画像処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して画像信号に対応する閾値を決定する手順、画像補正部が、第一の画像の画像信号と閾値に基づいて第一の画像のフレアを補正する手順をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１９】
本発明によれば、画像に飽和部分が発生し、本来の輝度レベルが得られないときにも、適切にフレア成分を検出して効果的なフレア補正をすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施形態に係るビデオカメラ１００の構成を示すブロック図である。
【図２】フレア補正回路１０９の構成を示すブロック図である。
【図３】図３（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示すグラフである。図３（ｂ）は、輝度信号Ｙとフレア成分信号Ｆ１の関係を示すグラフである。図３（ｃ）は、輝度信号Ｙ１を示すグラフである。図３（ｄ）は、輝度信号Ｙｃを示すグラフである。
【図４】図４（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示すグラフである。図４（ｂ）は、輝度信号Ｙとフレア成分信号Ｆ１の関係を示すグラフである。図４（ｃ）は、輝度信号Ｙ１を示すグラフである。図４（ｄ）は、輝度信号Ｙｃを示すグラフである。
【図５】本発明の第三の実施形態に係るフレア補正回路１０９の構成を示すブロック図である。
【図６】本発明の第二の実施形態に係るビデオカメラ２００の構成を示すブロック図である。
【図７】コントローラ１０１がゲインＧ１、Ｇ２を決定する動作を示すフローチャートである。
【図８】フレア抽出回路１１４の一例を示すブロック図である。
【図９】本発明の第一の実施形態に係るフレア抽出回路１１４の動作を示すフローチャートである。
【図１０】同実施形態に係るフレア抽出回路の第一の変更例の動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は以下の順序で行うものとする。
１．第一の実施形態
２．第二の実施形態
３．第三の実施形態
【００２３】
＜１．第一の実施形態＞
まず、図１を参照しながら、本発明の第一の実施形態に係るビデオカメラ１００について説明する。図１は、本実施形態に係るビデオカメラ１００の構成を示すブロック図である。
【００２４】
ビデオカメラ１００は、コントローラ１０１と、レンズブロック１０３と、ＣＣＤ（charge coupled device）固体撮像素子１０４と、サンプルホールド回路１０５と、ＡＧＣ（Automatic Gain Control）回路１０６と、カメラ信号処理回路１０８と、フレア補正回路１０９と、エンコーダ１１０と、出力端子１１１と、電子ビューファインダ１１２と、積分回路１１３と、フレア抽出回路１１４と、フレアゲイン検出回路１１５などを有する。
【００２５】
コントローラ１０１は、マイクロコンピュータを備え、システム全体の動作を制御する。このコントローラ１０１には、ユーザーが種々のキー操作を行うためのキー入力部１０２が接続される。
【００２６】
レンズブロック１０３は、撮像レンズ等の光学系を構成する。レンズブロック１０３内には、絞り１０７が設けられている。
【００２７】
ＣＣＤ（charge coupled device）固体撮像素子１０４は、レンズブロック１０３を通過して受けた光を電気信号に変換する。
【００２８】
サンプルホールド回路１０５は、撮像素子１０４から出力される、不要なリセット状態の信号を取り除く。
【００２９】
ＡＧＣ（Automatic Gain Control）回路１０６は、サンプルホールド回路１０５から出力される撮像信号の振幅を一定に保つように制御する。
【００３０】
カメラ信号処理回路１０８は、ＡＧＣ回路１０６で振幅が制御された撮像信号を処理して、輝度信号Ｙ、赤色差信号Ｒ−Ｙ、青色差信号Ｂ−Ｙを得る。
【００３１】
フレア補正回路１０９は、カメラ信号処理回路１０８から出力される輝度信号Ｙのフレアを補正する。フレア補正回路１０９は、画像補正部の一例である。
【００３２】
エンコーダ１１０は、フレア補正回路１０９でフレアが補正された輝度信号Ｙｃ、及びカメラ信号処理回路１０８から出力される色差信号Ｒ−Ｙ，Ｂ−Ｙを使用して、例えばＮＴＳＣ方式のビデオ信号ＳＶを得る。
【００３３】
出力端子１１１は、エンコーダ１１０から出力されるビデオ信号ＳＶを出力する。
【００３４】
電子ビューファインダ１１２は、ビデオ信号ＳＶによる画像を表示する。
【００３５】
［積分回路１１３］
積分回路１１３は、カメラ信号処理回路１０８から出力される輝度信号Ｙを積分して明るさ評価値としての積分信号ＳＩＴを得る。積分回路１１３は、画面上の対象エリアに対応して例えば“１”となるエリア信号ＳＡＲと、各画面の先頭タイミングで発生されるリセット信号ＳＲＥとがコントローラ１０１から供給される。
【００３６】
積分回路１１３は、リセット信号ＳＲＥによって各画面の先頭で積分値をリセットし、エリア信号ＳＡＲが“１”となる期間でカメラ信号処理回路１０８から出力される輝度信号Ｙを積分する。そして、積分回路１１３は、積分回路１１３から画面毎に出力される明るさ評価値としての積分信号ＳＩＴをコントローラ１０１に供給する。コントローラ１０１は、絞り１０７の開口量やＡＧＣ回路１０６のゲインを制御することで、積分回路１１３で得られる積分信号ＳＩＴが所定値となるように露出制御をする。
【００３７】
［フレア抽出回路１１４］
フレア抽出回路１１４は、閾値決定部の一例であり、カメラ信号処理回路１０８から出力される輝度信号Ｙに基づいてフレア成分信号Ｆを抽出する。
【００３８】
フレア成分信号Ｆは、フレア補正回路１０９及びフレアゲイン検出回路１１５に供給される。上述したとおり、フレアは光がレンズブロック１０３内で散乱することによって生じる。散乱した光の強度は距離と共に減衰するので、入射光の強度が強い部分ほどフレア成分が多くなるが、散乱によって広い範囲に渡って広がるためフレア成分の変化は非常に緩やかなものとなっている。従って、フレア抽出回路１１４の一例は、輝度信号Ｙを平滑化するＬＰＦ（ローパスフィルタ）である。
【００３９】
フレアの発生原因から容易に推測されるように、フレア特性はレンズブロックの構成やレンズブロックの状態（ズーム位置、絞り位置、フォーカス位置など）によって変わる。そのため、ＬＰＦが、レンズブロックの構成やレンズブロックの状態を考慮したＬＰＦ特性に設定されることで最適なフレア補正効果が得られる。さらに、ＬＰＦの特性を変えることで画質補正効果が得られるが、それについては後述する。
【００４０】
被写体のダイナミックレンジが撮像装置のダイナミックレンジを超えるような場合には、画像に飽和部分が発生し本来の輝度レベルが得られない。そのため、飽和部分に該当する信号にＬＰＦを適用しても適切なフレア成分が抽出できない。従って、画像撮像時に画像が飽和する場合は、本来の撮像画像にＬＰＦを適用するのではなく、本来の撮影画像とは別に撮影して得られる、飽和部分が生じない露出レベルの画像にＬＰＦを適用する。これによって、従来技術に比べてより適切なフレア成分を抽出することが出来る。そのようなフレア抽出回路１１４の一例を図８に示す。図８は、フレア抽出回路１１４の一例を示すブロック図である。
【００４１】
［フレア抽出回路１１４の構成］
フレア抽出回路１１４は、ＬＰＦ１４１と、フレア成分保存部１４２と、出力選択スイッチ１４３を有する。
【００４２】
画像撮像時に画像が飽和していない場合、出力選択スイッチ１４３は、ＬＰＦ１４１側に設定され、ＬＰＦ１４１から出力された信号が、フレア成分信号Ｆとしてフレア補正回路１０９及びフレアゲイン検出回路１１５に供給される。
【００４３】
画像撮像時に画像が飽和している場合、出力選択スイッチ１４３は、フレア成分保存部１４２側に設定され、画像が飽和しない露出レベル（非飽和露出レベル）に設定した状態の画像信号がＬＰＦ１４１にまず適用される。そして、ＬＰＦ１４１から出力された信号が、フレア成分信号Ｆとしてフレア成分保存部１４２に保存される。その後、本来撮像したい露出レベル（本来露出レベル）の画像信号のタイミングに合わせて、フレア成分信号Ｆがフレア成分保存部１４２から出力され、フレア補正回路１０９及びフレアゲイン検出回路１１５に供給される。
【００４４】
［フレア抽出回路１１４の動作］
このときの動作フローを図９に示す。図９は、本実施形態に係るフレア抽出回路１１４の動作を示すフローチャートである。
【００４５】
まず、撮像装置が本来撮像したい露出レベル（本来露出レベル）に設定される（ステップＳ１２１）。そして、撮像装置が本来露出レベルで撮影をして画像を取得する。
【００４６】
次に、画像の飽和部分の面積の大小によって、画像が飽和画像であるか否かを判断する（ステップＳ１２２）。例えば、画像の飽和部分の面積が任意の閾値よりも小さい場合は、出力選択スイッチ１４３がＬＰＦ１４１側に設定される（ステップＳ１３３）。そして、本来露出レベルの画像信号がＬＰＦ１４１に適用される（ステップＳ１３４）。その後、画像信号にＬＰＦ１４１を適用した結果が、ＬＰＦ１４１から出力され（ステップＳ１３５）、一連の動作が終了する。
【００４７】
一方、例えば画像の飽和部分の面積が任意の閾値以上である場合は、出力選択スイッチ１４３がフレア成分保存部１４２側に設定される（ステップＳ１２３）。そして、撮像装置が、画像が飽和しない露出レベル（非飽和露出レベル）に設定される（ステップＳ１２４）。次に、撮像装置が非飽和露出レベルで撮影をして画像を取得する。その後、非飽和露出レベルの画像信号がＬＰＦ１４１に適用される（ステップＳ１２５）。そして、画像信号にＬＰＦ１４１を適用した結果が、フレア成分信号Ｆとしてフレア成分保存部１４２に保存される（ステップＳ１２６）。
【００４８】
次に、撮像装置が本来撮像したい露出レベル（本来露出レベル）に設定される（ステップＳ１２７）。そして、撮像装置が本来露出レベルで撮影をして画像を取得する。それと共に本来露出レベルの画像信号のタイミングに合わせて、フレア成分保存部１４２からフレア成分信号Ｆが出力される（ステップＳ１２８）。
【００４９】
なお、ステップＳ１２２における画像の飽和判別は、間引き画像を用いてもよい。すなわち、撮像素子１０４の読み出し時に画像データから画素を間引いたり、カメラ信号処理回路１０８の処理時に画像データから画素を間引いたりすることで、ステップＳ１２２の処理時間を削減することができる。
【００５０】
また、フレア特性は絞り位置によって変わる可能性がある。従って、ステップＳ１２４で非飽和露出レベルに設定されるとき、本来露出レベルでの絞り位置と同じ絞り位置を用い、露出レベルの調整はシャッタースピードの調整で行うことが望ましい。これにより、フレアの状態を変えることなく、画像信号を取得できる。
【００５１】
また、ステップＳ１２６で得られるフレア成分は、非飽和露出レベルで得られたものである。従って、フレア成分信号を、本来露出信号の露出レベルに合わせてレベルを調整するため、ゲイン補正してから保存するか、またはフレア成分信号をステップＳ１２８におけるフレア成分出力時にゲイン補正する必要がある。しかしながら、このゲイン補正分は、後述するフレアゲイン検出回路１１５を用いるのであれば、フレアゲイン検出回路１１５で検出するゲインによって自動的に補正される。従って、ここでの補正は省略することも可能である。
【００５２】
また、ステップＳ１２６で得られるフレア成分は、ＬＰＦを適用した信号である。従って、フレア成分が、画素を間引いた状態でフレア成分保存部１４２に保存され、出力時に補間されて出力されることによって、フレア成分保存部１４２の回路規模を削減することが可能である。
【００５３】
また、ステップＳ１２６で得られるフレア成分は、ＬＰＦ１４１を適用した信号である。従って、ＬＰＦ１４１への入力信号である画像信号は、通常の画像よりも間引いた画像にしてもよい。すなわち、撮像素子１０４の読み出し時に画像データから画素を間引いたり、カメラ信号処理回路１０８の処理時に画像データから画素を間引いたりすることで、ステップＳ１２６の処理時間やＬＰＦ１４１の回路規模を削減することができる。このときＬＰＦ１４１の特性は、上述の画像間引き処理の特性を考慮して決定される。間引き処理に用いるＬＰＦとＬＰＦ１４１の両者を適用することによる画像劣化を防止するためである。
【００５４】
［フレア抽出回路の第一の変更例の構成及び動作］
上述した動作フローでは、画像飽和時において、撮像装置は、非飽和露出レベルに設定されてから、改めて本来露出レベルに設定される。そのため、ユーザーがシャッターを押してから実際の撮像画像を取得するまでに遅れが生じる。それを避けるために、図１０に示すような動作フローでフレア抽出回路１１４が動作するとしてもよい。図１０は、フレア抽出回路の第一の変更例の動作を示すフローチャートである。
【００５５】
ステップＳ１２１の後、ステップＳ１２２において本来露出レベルで画像飽和判別するときの画像を画像メモリに保存しておく（ステップＳ２２１）。その後、非飽和露出レベルで得られたフレア成分と先に保存した画像データを用いてフレア補正を行うようにしてもよい。なお、この場合は、ステップＳ１２５でのＬＰＦ１４１の出力タイミングに合わせて画像メモリから画像を読み出し、それらを用いてフレア補正を行うようにすることで、図９に示したステップＳ１２６〜ステップＳ１２７までのステップを省略できる。また、フレア成分保存部１４２、出力選択スイッチ１４３が省略可能である。
【００５６】
［フレア抽出回路の第二の変更例の構成及び動作］
フレア成分は、撮像範囲外の輝度分布にも影響される。しかし、ユーザーが本来撮影したい撮像画面からは撮像範囲外の輝度成分は抽出できない。そのため、ＬＰＦ１４１を適用する画像について、上述した飽和部分が生じない露出レベルという条件に加え、レンズブロック１０３を調整してより広角な画像とする。
【００５７】
これによって、フレア抽出回路１１４は、より適切なフレア成分を抽出することが出来る。この場合には、フレア抽出回路１１４は、上述したステップＳ１２２で画像が飽和画像であると判断されたときは、画像を飽和しない露出レベルに設定し、かつレンズブロック１０３を本来撮像したい画角より広角に設定した状態の画像信号にＬＰＦ１４１を適用する。そして、画像信号にＬＰＦ１４１を適用した結果をフレア成分保存部１４２に保存する。その際、フレア成分保存部１４２に保存するデータは、本来の画角に相当する部分のみでよい。その後、本来の露出レベル及び画角に設定した状態の画像信号に合わせて、フレア成分保存部１４２からフレア成分信号Ｆを出力し、フレア補正回路１０９及びフレアゲイン検出回路１１５に供給する。
【００５８】
この場合の動作フローは、図９で「非飽和露出レベルに設定、撮影（ステップＳ１２４）」及び「本来露出レベルに設定、撮影（ステップＳ１２７）」のステップを次のように変更すればよい。「非飽和露出レベルに設定、撮影（ステップＳ１２４）」のステップでは、非飽和露出レベルに設定することに加え、本来撮像したい画角よりもレンズブロック１０３を広角に設定する。「本来露出レベルに設定、撮影（ステップＳ１２７）」のステップでは、本来露出レベルに設定することに加え、本来撮像したい画角に設定する。
【００５９】
［フレア抽出回路の第三の変更例の構成及び動作］
上記では、画像が飽和画像であると判断されたときにおいて、非飽和画像から抽出したフレア成分を適用することが有効であることを示した。更に、いわゆるＨＤＲ（High Dynamic Range）合成画像の作成においても、同様にフレア補正を適用することができる。ＨＤＲ合成画像とは、露出レベルの異なる複数の画像の適正露出部分を切り出して合成することで得られるレンジ範囲の広い高ダイナミックレンジ（白とび、黒つぶれの少ない）画像である。たとえば、高露出レベルの（黒つぶれの少ない）画像と低露出レベルの（白とびの少ない）画像を合成する場合、低露出レベル画像から抽出したフレア成分を用いて高露出レベル画像及び低露出レベル画像のフレア補正を行ってから両者を合成する。これによって、適切にフレア補正がされたＨＤＲ合成画像が得られる。
【００６０】
［フレア抽出回路の第四の変更例の構成及び動作］
また、上記では、画像が飽和画像であると判断されたときにおいて、非飽和画像から抽出したフレア成分を飽和画像に適用する方法を示した。しかし、非飽和画像では低輝度部分の階調が不足する可能性がある。そのような場合は、飽和画像の飽和部分（または飽和部分とその近傍）に非飽和画像の該当部分の露出レベルを合わせて合成した画像からフレア成分を抽出するようにすればよい。上述のように、フレア成分は画像信号にＬＰＦを適用して抽出されるため、合成する画像は本来の画素数よりも間引いた画像にしてもよい。
【００６１】
［フレア抽出回路のその他の変更例の構成及び動作］
また、上記では、非飽和画像をフレア成分の抽出に利用する方法を示した。しかし、非飽和画像にＬＰＦを適用してフレア成分を抽出する用途では、画像データにおいて高周波成分は不要である。従って、非飽和画像の取得は簡易的な方法によって行うことが可能である。例えば、上記のように、非飽和画像の取得の際、撮像素子からの信号を簡易化する方法（撮像素子の読み出し時に間引く、カメラ信号処理時に間引く、など）を採用できる。また、（１）非飽和画像の取得のため、撮像素子よりも簡易な、輝度分布を求めるための専用センサーを設ける方法がある。更に、（２）非飽和画像の取得は、飽和画像から飽和部分を推測する方法（たとえば飽和部分の周辺の輝度分布やフレアの発生状況から飽和部分を推測する方法等）がある。
【００６２】
［フレアゲイン検出回路１１５］
ビデオカメラ１００は、更に、フレアゲイン検出回路１１５を有する。フレアゲイン検出回路１１５は、カメラ信号処理回路１０８から出力される輝度信号Ｙ、及びフレア抽出回路１１４から出力されるフレア成分信号Ｆに基づいて、輝度信号Ｙに対するフレア成分信号Ｆのゲインを検出する。
【００６３】
フレアゲイン検出回路１１５では、リセット信号ＦＲＥによって各画面の先頭でフレアゲインＧ１が最大値にセットされる。フレアゲイン検出回路１１５は、エリア信号ＦＡＲが“１”となる期間で輝度信号Ｙとフレア成分信号Ｆの比Ｙ／ＦがフレアゲインＧ１より小さい場合にフレアゲインＧ１をそのときのＹ／Ｆの値に置き換える。エリア信号ＦＡＲは、画面全体としてもよいが、画面周辺部を除いた領域としたり、画像を解析して抽出した領域としたりしてもよい。また、ユーザーによるキー入力部１０２の操作によって任意に設定されるようにしてもよい。こうして得られたフレアゲインＧ１は、コントローラ１０１に供給される。コントローラ１０１は、ゲインＧ１がＧ１の上限値Ｇ１ＭＡＸを超えているときはＧ１をＧ１ＭＡＸに置き換えた上で下式（１）
Ｇ２＝１／（１−Ｇ１） ……（１）
からＧ２を求め、Ｇ１、Ｇ２をフレア補正回路１０９に供給する。
【００６４】
［フレア補正回路１０９の構成］
図２は、上述したフレア補正回路１０９の構成を示している。
フレア補正回路１０９は、乗算器１２１と、減算器１２２と、乗算器１２３を有する。乗算器１２１は、フレア抽出回路１１４から供給されるフレア成分信号Ｆにコントローラ１０１から供給されるゲインＧ１を掛けてレベル補正されたフレア成分信号Ｆ１を得る。減算器１２２は、輝度信号Ｙからフレア成分信号Ｆ１を減算して輝度信号Ｙ１を得る。乗算器１２３は、輝度信号Ｙ１にゲインＧ２を掛けてフレア補正された輝度信号Ｙｃを得る。
【００６５】
ここで、ゲインＧ１は上記輝度信号Ｙ１において負値が生じないようにするためのゲインである。すなわち式（２）
Ｙ１＝Ｙ−Ｇ１×Ｆ≧０ ……（２）
が成り立つ必要があり、式（２）から式（３）
Ｇ１≦Ｙ／Ｆ ……（３）
が得られ、すべてのＹ、Ｆにおいて式（３）が成り立つためにはＧ１はＹ／Ｆの最小値とすることが適当である。このことから上記フレアゲイン検出回路１１５が構成されている。また、Ｙ１はＹからフレア成分信号Ｆ１（＝Ｇ１×Ｆ）が減算されることで平均輝度が（１−Ｇ１）倍に減少しているため、平均輝度を元の輝度信号Ｙに合わせるためにＹ１にゲインＧ２（＝１／（１−Ｇ１））を掛けてＹｃを得ている。なお、元の画像がコントラストの非常に小さい画像の場合は過補正になる場合があるためＧ１の値には上限を設けている。
【００６６】
Ｙ／Ｆの最小値は輝度信号Ｙが最小となる時のＹ／Ｆにほぼ一致するため、フレアゲイン検出回路１１５はＹ／Ｆの最小値を求める代わりにＹの最小値を求める。そのときのＦの値と共にコントローラ１０１にＹの最小値を供給し、コントローラ１０１でＹ／Ｆを計算してＧ１を得る構成とすることも出来る。この場合には、フレアゲイン検出回路１１５では除算器が不要となり回路規模を削減できる。
【００６７】
図３（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示している。図３（ｂ）は、輝度信号Ｙと、フレア成分信号ＦにゲインＧ１を掛けて得られるフレア成分信号Ｆ１の関係を示している。このＦ１を輝度信号Ｙから減算するため、Ｆ１がフレア補正量を表していると言える。図３（ｃ）は、輝度信号Ｙからフレア成分信号Ｆ１を減算して得られる輝度信号Ｙ１を示している。ここでフレア成分が除去されて黒レベルの浮きが押さえられていることがわかる。図３（ｄ）は、輝度信号Ｙ１にゲインＧ２を掛けて得られるフレア補正された輝度信号Ｙｃを示している。このゲインはフレア成分を除去したことによる輝度低下を補正するゲインであるが、それによってコントラスト及びディテール強調効果が得られていることがわかる。
【００６８】
図４は、図３の例とはＬＰＦの特性が異なる場合の例を示している。図４（ａ）は、輝度信号Ｙとフレア成分信号ＦとゲインＧ１の検出位置の関係を示している。この例はＬＰＦの特性が図３の場合よりも高域まで延びている場合であり、フレア成分信号Ｆは図３の場合よりも輝度信号Ｙの変化に近くなっている。図４（ｂ）は、輝度信号Ｙと、フレア成分信号ＦにゲインＧ１を掛けて得られるフレア成分信号Ｆ１の関係を示している。このＦ１を輝度信号Ｙから減算するため、Ｆ１がフレア補正量を表していると言える。図４（ｃ）は、輝度信号Ｙからフレア成分信号Ｆ１を減算して得られる輝度信号Ｙ１を示している。ここでフレア成分が除去されて黒レベルの浮きが押さえられていることがわかるが、図３の場合よりも補正量が多い（輝度が下がっている）ことがわかる。図４（ｄ）は、輝度信号Ｙ１にゲインＧ２を掛けて得られるフレア補正された輝度信号Ｙｃを示している。このゲインはフレア成分を除去したことによる輝度低下を補正するゲインであるが、それによってコントラスト及びディテール強調効果が得られていることがわかる。ここでは、図３の場合よりもディテール強調効果が大きくコントラスト強調効果が小さいことがわかる。
【００６９】
このように、ＬＰＦの特性を変えることで補正効果を調節することが可能である。従って、求める画質に合わせて特性を選択したり、ユーザー設定によって特性を選択したりすることによって、多様な補正効果を得ることが可能である。
【００７０】
ゲインＧ１として得られた値をそのまま用いるのではなく、可変することによってフレア補正効果を調節することが可能である。たとえば画像の黒レベル付近の面積が大きいときは黒が沈みすぎるのを避けるためにＧ１は実際に得られた値よりも小さい値を用いる。逆に画像の黒レベル付近の面積が小さいときは黒をより引き締めるためにＧ１は実際に得られた値よりも大きい値を用いる。また、コントラストが非常に小さい画像では過補正になることがあるためＧ１には上限を設ける。
【００７１】
また、ゲインＧ２として式（１）の値をそのまま用いるのではなく、可変することによってコントラスト及びディテール強調効果を調節することが可能である。たとえば画像の白レベル付近の面積が大きいときは白とびが起きやすいので、Ｇ２は式（１）の値よりも小さい値を用いる。逆に画像の白レベル付近の面積が小さいときはコントラストをより強調するためにＧ２は式（１）の値よりも大きい値を用いる。また、コントラストが非常に小さい画像では過補正になることがあるため、Ｇ２には上限を設ける。
【００７２】
従って、画像を解析してＧ１、Ｇ２を調節したり、求める画質に合わせてＧ１、Ｇ２を調節したり、ユーザー設定によってＧ１、Ｇ２を調節するようにすることによって、多様な補正効果を得るようにすることが可能である。
【００７３】
＜２．第二の実施形態＞
次に、図６を参照して、本発明の第二の実施形態に係るビデオカメラ２００について説明する。図６は、本実施形態に係るビデオカメラ２００の構成を示すブロック図である。
【００７４】
ビデオカメラ２００は、画像を解析してＧ１、Ｇ２を自動で調節する。図６のビデオカメラ２００は、図１のビデオカメラ１００に輝度分布検出回路１１６を付加した構成であり、輝度分布検出回路１１６とコントローラ１０１以外の動作は、ビデオカメラ１００と同様である。
【００７５】
［輝度分布検出回路１１６］
輝度分布検出回路１１６は、フレア補正回路１０９より出力される輝度信号Ｙｃから画像の黒付近面積ＳＢ及び白付近面積ＳＷを検出する。輝度分布検出回路１１６では、リセット信号ＦＲＥによって各画面の先頭で黒付近面積ＳＢ及び白付近面積ＳＷが０にリセットされる。輝度分布検出回路１１６は、エリア信号ＦＡＲが“１”となる期間で輝度信号Ｙｃと閾値ＴＨＢ及び閾値ＴＨＷを比較し、Ｙｃ＜ＴＨＢとなる面積ＳＢ及びＹｃ＞ＴＨＷとなる面積ＳＷを求める。ここで閾値ＴＨＢは黒レベルより少し大きい値、閾値ＴＨＷは白レベルより少し小さい値とすることが適当であるが、ユーザーが設定するようにしてもよい。こうして得られた黒付近面積ＳＢ及び白付近面積ＳＷはコントローラ１０１に供給される。
【００７６】
コントローラ１０１は、黒付近面積ＳＢが閾値ＴＳＢ１、ＴＳＢ２（ＴＳＢ１＜ＴＳＢ２）の間にあるときはフレアゲイン検出回路１１５から得られたゲインＧ１をそのまま用いる。ＳＢ＜ＴＳＢ１のときはフレアゲイン検出回路１１５から得られたゲインＧ１にゲイン補正係数ＡＢ１（＞１）を掛けたものを新たにＧ１とする。ＳＢ＞ＴＳＢ２のときはフレアゲイン検出回路１１５から得られたゲインＧ１にゲイン補正係数ＡＢ２（＜１）を掛けたものを新たにＧ１とする。ここで閾値ＴＳＢ１は黒付近面積が小さいと判断する閾値でありＳＢ＜ＴＳＢ１のときは黒付近面積をより大きくするためにゲインＧ１を大きくしている。閾値ＴＳＢ２は黒付近面積が大きいと判断する閾値でありＳＢ＞ＴＳＢ２のときは黒付近面積をより小さくするためにゲインＧ１を小さくしている。
【００７７】
また、コントローラ１０１は白付近面積ＳＷが閾値ＴＳＷ１、ＴＳＷ２（ＴＳＷ１＜ＴＳＷ２）の間にあるときは式１で求めたゲインＧ２をそのまま用いる。ＳＷ＜ＴＳＷ１のときは式１で求めたゲインＧ２にゲイン補正係数ＡＷ１（＞１）を掛けたものを新たにＧ２とする。ＳＷ＞ＴＳＷ２のときは式１で求めたゲインＧ２にゲイン補正係数ＡＷ２（＜１）を掛けたものを新たにＧ２とする。ここで閾値ＴＳＷ１は白付近面積が小さいと判断する閾値でありＳＷ＜ＴＳＷ１のときは白付近面積をより大きくするためにゲインＧ２を大きくしている。閾値ＴＳＷ２は白付近面積が大きいと判断する閾値でありＳＷ＞ＴＳＷ２のときは白付近面積をより小さくするためにゲインＧ２を小さくしている。こうして得られたＧ１、Ｇ２をフレア補正回路１０９に供給する。
【００７８】
コントローラ１０１がゲインＧ１、Ｇ２を決定するフローを図７に示す。図７は、コントローラ１０１がゲインＧ１、Ｇ２を決定する動作を示すフローチャートである。
【００７９】
ステップＳ１０１では、フレアゲイン検出回路１１５からゲインＧ１を取得しゲインＧ１がＧ１の上限値Ｇ１ＭＡＸを超えているときはＧ１をＧ１ＭＡＸに置き換えた上で式（１）によりゲインＧ２を算出する。
【００８０】
ステップＳ１０２では、ゲインＧ１、Ｇ２をフレア補正回路１０９に供給する。
【００８１】
ステップＳ１０３では、輝度分布検出回路１１６から黒付近面積ＳＢ及び白付近面積ＳＷを取得する。
【００８２】
ステップＳ１０４では、黒付近面積ＳＢと閾値ＴＳＢ１、ＴＳＢ２（ＴＳＢ１＜ＴＳＢ２）を比較しＳＢ＜ＴＳＢ１の場合にはステップＳ１０５を実行し、ＳＢ＞ＴＳＢ２の場合にはステップＳ１０６を実行する。
【００８３】
ステップＳ１０５では、ゲインＧ１にゲイン補正係数ＡＢ１（＞１）を掛けたものを新たにゲインＧ１とする。ただし、このときのゲインＧ１がＧ１の上限値Ｇ１ＭＡＸを超えたときはＧ１をＧ１ＭＡＸに置き換える。
【００８４】
ステップＳ１０６では、ゲインＧ１にゲイン補正係数ＡＢ２（＜１）を掛けたものを新たにゲインＧ１とする。
【００８５】
ステップＳ１０７では、白付近面積ＳＷと閾値ＴＳＷ１、ＴＳＷ２（ＴＳＷ１＜ＴＳＷ２）を比較しＳＷ＜ＴＳＷ１の場合にはステップＳ１０８を実行し、ＳＷ＞ＴＳＷ２の場合にはステップＳ１０９を実行する。
【００８６】
ステップＳ１０８では、ゲインＧ２にゲイン補正係数ＡＷ１（＞１）を掛けたものを新たにゲインＧ２とする。ただし、このときのゲインＧ２がＧ２の上限値Ｇ２ＭＡＸを超えたときはＧ２をＧ２ＭＡＸに置き換える。
【００８７】
ステップＳ１０９では、ゲインＧ２にゲイン補正係数ＡＷ２（＜１）を掛けたものを新たにゲインＧ２とする。
【００８８】
ステップＳ１１０では、ゲインＧ１、Ｇ２をフレア補正回路１０９に供給する。
【００８９】
なお、ステップＳ１０３からステップＳ１１０を繰り返し実行することでゲインＧ１、Ｇ２をより最適な値に収束させるようにしてもよい。
【００９０】
ここでは輝度分布検出回路１１６において黒付近面積ＳＢ及び白付近面積ＳＷを求めるとしたが、より詳細な分布を求めることでより最適な補正を行うことが出来る。たとえば上記閾値ＴＨＢに加えて閾値ＴＨＢ２（＞ＴＨＢ）を設定し黒付近面積ＳＢに加えて黒付近面積ＳＢ２を求めると、ＳＢ＜ＴＳＢ１のときはＳＢ２−ＳＢが小さいほど黒付近の分布がより少ないと考えられる。従って、ゲイン補正係数ＡＢ１をより大きな値にするとよい。ＳＢ＞ＴＳＢ２のときはＳＢ２−ＳＢが大きいほど黒付近の分布がより多いと考えられる。従って、ゲイン補正係数ＡＢ２をより小さな値にするとよい。白付近の分布についても同様に考えゲイン補正係数ＡＷ１、ＡＷ２を最適化できる。
【００９１】
＜３．第３の実施形態＞
次に、本発明の第３の実施形態に係るビデオカメラ３００について説明する。
第一の実施形態におけるフレア補正された輝度信号Ｙｃは式（４）で表せる。
Ｙｃ＝Ｇ２×（Ｙ−Ｇ１×Ｆ） ……（４）
式（１）を式（４）に代入した上で、
Ｇ３＝Ｇ１／（１−Ｇ１） ……（５）
とすると式（６）が得られる。
Ｙｃ＝Ｙ＋Ｇ３×（Ｙ―Ｆ） ……（６）
【００９２】
従って、フレア補正された輝度信号Ｙｃは輝度信号Ｙとフレア成分信号Ｆの差分にゲインＧ３を掛けて元の輝度信号Ｙに加えることによっても得られる。これを第３の実施形態とする。
【００９３】
第三の実施形態は、第一の実施形態と同様の図１の構成であるが、第一の実施形態との相違は、フレア補正回路１０９の構成が図２の代わりに図５に示す構成となる。図５は、フレア補正回路１０９の構成を示すブロック図である。コントローラ１０１からフレア補正回路１０９に供給されるのがＧ１、Ｇ２の代わりにＧ３となることである。
【００９４】
コントローラ１０１はフレアゲイン検出回路１１５から供給されるＧ１から式（６）によりＧ３を求めＧ３をフレア補正回路１０９に供給する。
【００９５】
図５に示すフレア補正回路１０９は、減算器１３１と、乗算器１３２と、加算器１３３を有する。減算器１３１は、フレア抽出回路１１４から供給されるフレア成分信号Ｆを輝度信号Ｙから減算する。乗算器１３２は、減算器１３１の出力信号にコントローラ１０１から供給されるゲインＧ３を掛ける。加算器１３３は、輝度信号Ｙに乗算器１３２の出力信号を加えてフレア補正された輝度信号Ｙｃを得る。
【００９６】
本実施形態では、第一の実施形態に比べて、乗算器の数が減るため回路規模が削減される。一方、第一の実施形態では、フレア補正量を調節するゲインＧ１とコントラスト、ディテール補正量を調節するゲインＧ２が個別に調節できたのに対して、本実施形態では、ゲインＧ３でそれらを一体的に調節することになり、自由度が少なくなる。なお、本実施形態においても加算器１３３の出力に乗算器を追加することで、第一の実施形態と同等の自由度を持たせることが可能であるが、その場合は回路規模の削減効果は得られない。
【００９７】
以上、本発明の第一〜第三の実施形態によれば、被写体のダイナミックレンジがビデオカメラ（撮像装置）のダイナミックレンジを超えて、画像に飽和部分が発生しているような場合でも、従来よりも効果的なフレア補正が可能となる。また、撮像範囲外の輝度成分の影響によるフレア成分についても、適切なフレア補正が可能である。
【００９８】
更に、本実施形態によれば、各画素の輝度、フレア成分に応じた補正処理が可能となり、画像の画素特性に応じて適切なフレア補正ができる。従来の画面一律の補正処理に比較して、効果的なフレア補正が可能となる。また、コントラスト、ディテール補正の効果も得られる。そして、パラメータＧ１，Ｇ２の更新を行う構成では、画像の特性に応じてパラメータの特性を変更できるので、コントラスト、ディテール補正の効果も個別に調節可能となる。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１００】
ゲインＧ１は画像全体を見た結果として得られる値のため、Ｇ１を検出すると共に画像をメモリに保存してから、得られたＧ１を用いて画像全体を処理する必要がある。しかしながら、Ｇ１は時間軸で急激に変化することは少ないので前画面の値を用いてもよい。
【０１０１】
動画の場合は、フレア補正量の急激な変化を避けるため、ゲインＧ１を時間軸で平均化したり、１画面ごとの変化量に制限を設けたりして使用してもよい。
【０１０２】
画像の黒浮きはレンズ内の散乱だけでなく、他の要因によっても発生する。たとえば、空気中の粒子による光の散乱によっても発生する。このようなレンズ内の散乱以外の黒浮きについても本発明は有効である。さらに、画面内で黒浮きの程度が異なる場合がある。たとえば、画面内に遠景と近景が同時にある場合は遠景では空気中の粒子による散乱の影響が強くなるため、遠景と近景では黒浮きの程度が異なる。このような場合には領域を分割して、それぞれの領域ごとに補正を行うことで、より最適な補正が可能となる。
【０１０３】
また、上記実施形態はＹ信号に適用したがＲＧＢ信号に適用してもよい。また、ガンマ後の信号に適用したがガンマ前の信号に適用してもよい。
【０１０４】
上記実施形態は撮像時の処理としたが、撮像後の画像を読み出して適用することも可能である。
【０１０５】
上記実施形態はデジタルビデオカメラとしたがデジタルスチルカメラにおいても適用可能である。また撮像素子はＣＣＤとしたが、たとえばＣＭＯＳなどの他の撮像素子でもよい。
【符号の説明】
【０１０６】
１００、２００ ビデオカメラ
１０１ コントローラ
１０２ キー入力部
１０３ レンズブロック
１０４ ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）固体撮像素子
１０５ サンプルホールド回路（Ｓ／Ｈ）
１０６ ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路
１０７ 絞り
１０８ カメラ信号処理回路
１０９ フレア補正回路
１１０ エンコーダ
１１１ 出力端子
１１２ 電子ビューファインダ（ＥＶＦ）
１１３ 積分回路
１１４ フレア抽出回路
１１５ フレアゲイン検出回路
１１６ 輝度分布検出回路
【特許請求の範囲】
【請求項１】
第一の露出条件で撮影される第一の画像と異なり、前記第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定する閾値決定部と、
前記第一の画像の画像信号と前記閾値に基づいて前記第一の画像のフレアを補正する画像補正部と
を有する、画像処理装置。
【請求項２】
前記第二の画像は、前記第一の画像より広い画角の条件で得られる画像である、請求項１に記載の画像処理装置。
【請求項３】
前記閾値決定部は、前記第一の画像が飽和しているか否かを判断し、飽和していると判断したとき、前記第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定する、請求項１又は２に記載の画像処理装置。
【請求項４】
前記閾値決定部は、前記第一の画像の画像信号から任意の画素を間引いた第一の間引き画像に基づいて、前記第一の画像が飽和しているか否かを判断する、請求項３に記載の画像処理装置。
【請求項５】
前記第一の露出条件と前記第二の露出条件において、絞り条件は同一である、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記閾値決定部は、前記第二の画像の画像信号から任意の画素を間引いた第二の間引き画像の画像信号にローパスフィルタを適用する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第二の画像信号は、前記第一の画像信号の飽和部分の周辺の輝度分布、又は前記第一の画像信号による画像におけるフレア発生状況に基づいて推測して得られる、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、前記第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定するステップと、
画像補正部が、前記第一の画像の画像信号と前記閾値に基づいて前記第一の画像のフレアを補正するステップと
を有する、画像処理方法。
【請求項９】
閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、前記第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定する手順、
画像補正部が、前記第一の画像の画像信号と前記閾値に基づいて前記第一の画像のフレアを補正する手順
をコンピュータに実行させるためのプログラム。
【請求項１】
第一の露出条件で撮影される第一の画像と異なり、前記第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定する閾値決定部と、
前記第一の画像の画像信号と前記閾値に基づいて前記第一の画像のフレアを補正する画像補正部と
を有する、画像処理装置。
【請求項２】
前記第二の画像は、前記第一の画像より広い画角の条件で得られる画像である、請求項１に記載の画像処理装置。
【請求項３】
前記閾値決定部は、前記第一の画像が飽和しているか否かを判断し、飽和していると判断したとき、前記第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定する、請求項１又は２に記載の画像処理装置。
【請求項４】
前記閾値決定部は、前記第一の画像の画像信号から任意の画素を間引いた第一の間引き画像に基づいて、前記第一の画像が飽和しているか否かを判断する、請求項３に記載の画像処理装置。
【請求項５】
前記第一の露出条件と前記第二の露出条件において、絞り条件は同一である、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記閾値決定部は、前記第二の画像の画像信号から任意の画素を間引いた第二の間引き画像の画像信号にローパスフィルタを適用する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第二の画像信号は、前記第一の画像信号の飽和部分の周辺の輝度分布、又は前記第一の画像信号による画像におけるフレア発生状況に基づいて推測して得られる、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、前記第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定するステップと、
画像補正部が、前記第一の画像の画像信号と前記閾値に基づいて前記第一の画像のフレアを補正するステップと
を有する、画像処理方法。
【請求項９】
閾値決定部が、第一の露出条件で撮影される第一の画像と異なり、前記第一の露出条件より画像が飽和しない第２の露出条件で得られる第二の画像の画像信号にローパスフィルタを適用して前記画像信号に対応する閾値を決定する手順、
画像補正部が、前記第一の画像の画像信号と前記閾値に基づいて前記第一の画像のフレアを補正する手順
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２７９００２（Ｐ２０１０−２７９００２Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２００９−１３２５４３（Ｐ２００９−１３２５４３）
【出願日】平成２１年６月１日（２００９．６．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２１年６月１日（２００９．６．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]