画像処理回路、画像処理方法及び撮像装置
【課題】オートフォーカス後のピントずれの影響を低減することができる画像処理回路を提供する。
【解決手段】画像処理回路は、ＡＦ評価値が最大となるピーク位置を合焦位置と判定するＡＦ制御を実行するＡＦ制御部１９ａを含むシステム制御部１９と、ＡＦ制御時に各レンズ位置毎にＡＦ評価値を算出し、さらにシャッター時にもＡＦ評価値を算出するＡＦ評価値算出部７０を含む信号処理部１６とを備える。また、信号処理部１６は、合焦位置におけるＡＦ評価値とシャッター時のＡＦ評価値との差分値と、複数のレンズ位置間におけるＡＦ評価値の傾きとに応じて補正値を算出する補正値算出部８０と、その補正値により補正されたエッジ強調量に基づいて画像データのエッジ成分を強調するエッジ強調部４０とを備える。
【解決手段】画像処理回路は、ＡＦ評価値が最大となるピーク位置を合焦位置と判定するＡＦ制御を実行するＡＦ制御部１９ａを含むシステム制御部１９と、ＡＦ制御時に各レンズ位置毎にＡＦ評価値を算出し、さらにシャッター時にもＡＦ評価値を算出するＡＦ評価値算出部７０を含む信号処理部１６とを備える。また、信号処理部１６は、合焦位置におけるＡＦ評価値とシャッター時のＡＦ評価値との差分値と、複数のレンズ位置間におけるＡＦ評価値の傾きとに応じて補正値を算出する補正値算出部８０と、その補正値により補正されたエッジ強調量に基づいて画像データのエッジ成分を強調するエッジ強調部４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理回路、画像処理方法及び撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置には、撮像される画像のピント調節を自動で行うためのオートフォーカス機能（自動焦点制御機能）が組み込まれているものが普及している。
【０００３】
例えばイメージセンサを用いたオートフォーカス（ＡＦ）制御方式では、フォーカスレンズを至近側から無限側に向かって所定ピッチで移動させ、各点の撮像データからＡＦ評価値を算出する。そして、そのＡＦ評価値がピーク値になるピーク位置を合焦位置として、フォーカスレンズをこのピーク位置に移動する。具体的には、フォーカスレンズを至近側から無限側に向かって移動させ、ＡＦ評価値がピーク値を過ぎて減少を始めるのを検出し、フォーカスレンズを合焦位置に移動する。なお、この方法は山登り方式と呼ばれる。
【０００４】
このようなオートフォーカス機能によって、ピント調節に要するユーザの操作負担を軽減することができ、ユーザの技量に左右されることなく被写体を撮像することができる。
なお、上記従来技術に関連する先行技術として、特許文献１や特許文献２が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０８６７９９号公報
【特許文献２】特開２０００−０９２３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記オートフォーカス機能を備える撮像装置では、オートフォーカス制御から実際にシャッターが切られるまでの間のタイムラグ、手ぶれや撮像対象の動き等によって、撮像された画像のピントがずれてしまう場合がある。
【０００７】
画像処理回路で、オートフォーカス後のピントずれの影響を低減することを目的とする。
【課題を解決するための手段】
【０００８】
開示の画像処理回路は、フォーカス状態を示す評価値が最大となる位置を合焦位置と判定するオートフォーカス制御を行う制御部と、前記合焦位置における評価値とシャッターが切られたときの評価値との差分値に応じて、補正値を算出する補正値算出部と、予め設定される所定の強調量を前記補正値にて補正し、補正後の強調量に基づいて入力画像データのエッジ成分を強調するエッジ強調部と、を備える。
【発明の効果】
【０００９】
開示の画像処理回路によれば、オートフォーカス後のピントずれの影響を低減することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】一実施形態のデジタルカメラの全体構成を示すブロック図。
【図２】エッジ強調部と補正値算出部との内部構成を示すブロック図。
【図３】ＡＦ制御を説明するための説明図。
【図４】（ａ）、（ｂ）エッジ強調処理を説明するための説明図。
【図５】変形例の補正値算出部の内部構成を示すブロック図。
【図６】変形例のエッジ強調処理を説明するための説明図。
【発明を実施するための形態】
【００１１】
以下、一実施形態を図１〜図４に従って説明する。なお、図１は、デジタルカメラ１０の全体構成を概略的に示すブロック図である。
図１に示すように、デジタルカメラ１０は、レンズ部１１と、モータ１２と、モータドライバ１３と、撮像素子１４と、Ａ／Ｄ変換回路１５と、信号処理部１６と、記録媒体１７と、入力部１８と、システム制御部１９とを含む。
【００１２】
レンズ部１１は、被写体からの光を集光する複数のレンズ（フォーカスレンズ１１ａなど）と、これらのレンズを通過した光の量を被写体照度に応じて調整する絞り（図示略）とを備え、集光された被写体の光を撮像素子１４に出力する。ここで、フォーカスレンズ１１ａは、ピントを調整するためのレンズであり、モータ１２によって駆動され、光軸に沿って前後に移動される。なお、このモータ１２は、ステッピングモータであり、システム制御部１９によって制御されるモータドライバ１３から供給される駆動パルスにより駆動制御される。
【００１３】
上記撮像素子１４は、ベイヤ配列のカラーフィルタを備え、レンズ部１１を通過して入射される入射光に応じた撮像信号（アナログ信号）をＡ／Ｄ変換回路１５に出力する。なお、撮像素子１４としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＯＭＳ（Complementary Metal Oxide Semiconductor）センサなどが用いられる。
【００１４】
Ａ／Ｄ変換回路１５は、上記撮像信号をデジタル信号に変換し、そのデジタル信号を画像データとして信号処理部１６に出力する。
信号処理部１６は、Ａ／Ｄ変換回路１５から入力される画像データ（入力画像データ）に対して各種画像処理を施し、その画像処理後の画像データを記録媒体１７に記録する。また、信号処理部１６は、Ａ／Ｄ変換回路１５から入力される画像データに基づいて、フォーカス状態を示すオートフォーカス（ＡＦ）評価値を算出し、そのＡＦ評価値をシステム制御部１９に出力する。
【００１５】
入力部１８は、ユーザにより操作されるシャッタボタン（レリーズボタン）やメニューボタン等の各種スイッチを有している。ユーザはこれらの各種スイッチを操作することにより、写真撮影や撮影モードの変更などを行うことができる。例えばシャッターボタンが半押し操作されることによってＡＦ制御等の撮影準備処理が行われ、全押し操作されることによって実際の撮影処理が行われる。なお、シャッターボタン等が操作されると、入力部１８は、その操作に応じた操作信号をシステム制御部１９に出力する。
【００１６】
システム制御部１９は、入力部１８からの各種操作信号に基づいて、ＲＯＭ（図示略）に記憶された各種プログラムを実行することにより、デジタルカメラ１０の各部を統括的に制御する。また、システム制御部１９は、上記シャッターボタンが半押しされたときに、被写体にピントを合致させるＡＦ制御を実行するＡＦ制御部１９ａを備える。なお、これら信号処理部１６及びシステム制御部１９は画像処理回路として機能する。
【００１７】
次に、信号処理部１６の内部構成について説明する。
信号処理部１６内のプリプロセス部２０は、上記Ａ／Ｄ変換回路１５から入力される画像データに対し、例えばホワイトバランス調整やゲイン調整や欠陥信号の補正などの前処理を施す。色空間変換部３０は、プリプロセス部２０により前処理されたＲＧＢ形式の画像データをＹＣｂＣｒ形式の画像データに変換する。
【００１８】
エッジ強調部４０は、色空間変換部３０にて変換された画像データのエッジを強調するエッジ強調処理を行う。
画像圧縮部５０は、エッジ強調処理などの各種画像処理後の画像データを所定の符号方式（例えばＪＰＥＧ方式）により圧縮し、圧縮後の画像データを記録媒体１７に格納する。
【００１９】
一方、上記Ａ／Ｄ変換回路１５からの画像データは、輝度成分抽出部６０にも入力される。輝度成分抽出部６０は、入力される画像データから輝度信号を抽出し、その輝度信号をＡＦ評価値算出部７０に出力する。
【００２０】
ＡＦ評価値算出部７０は、輝度成分抽出部６０で取得された輝度信号に基づいてＡＦ評価値を算出する。具体的には、ＡＦ評価値算出部７０は、上記輝度信号の画面内における高周波成分を積算することで、画像データのコントラスト強度を示すＡＦ評価値を算出する。このＡＦ評価値算出部７０は、算出したＡＦ評価値をＡＦ制御部１９ａに出力する。
【００２１】
ＡＦ制御部１９ａは、ＡＦ評価値に基づいて被写体にピントを合致させる山登り方式のＡＦ制御を実行する。すなわち、ＡＦ制御部１９ａは、シャッターボタンの半押し操作に応答して、ＡＦ評価値に基づいて合焦位置を検出し、その合焦位置にフォーカスレンズ１１ａを移動する。具体的には、ＡＦ制御部１９ａは、モータドライバ１３を介してモータ１２を駆動制御することにより、図３に示すように、フォーカスレンズ１１ａを至近側から無限側に向かって微小ステップずつ移動させながら、所定ステップ毎のレンズ位置（図３の●参照）で順次撮影する。このとき、ＡＦ制御部１９ａは、輝度成分抽出部６０及びＡＦ評価値算出部７０を制御して、上記各レンズ位置で撮影された画像データのコントラスト強度を示すＡＦ評価値を算出する。ここで、あるレンズ位置でピントが合致した被写体が存在する場合には、フォーカスレンズ１１ａの位置に対するＡＦ評価値は図３に示すような曲線（ＡＦ評価値曲線）を描く。ＡＦ制御部１９ａは、このフォーカスレンズ位置とＡＦ評価値との関係を示すＡＦ評価値曲線のピーク位置Ｐ１、すなわちＡＦ評価値（画像のコントラスト）が最大となる位置を合焦位置に決定する。すなわち、このＡＦ制御方式では、コントラスト（ＡＦ評価値）が高いほどピントが合っている（合焦度合が高い）と判定され、コントラストが低いほどピントがずれている（合焦度合が低い）と判定される。そして、ＡＦ制御部１９ａは、上記合焦位置検出動作終了後に、再度モータドライバ１３を介してモータ１２を駆動制御して、決定された合焦位置Ｐ１にフォーカスレンズ１１ａを移動させる。このようにして、ＡＦ制御部１９ａによるＡＦ制御が実現される。
【００２２】
一方、上記ＡＦ評価値算出部７０は、上記ＡＦ制御における合焦位置Ｐ１のＡＦ評価値、すなわちＡＦ評価値のピーク値をレジスタ７０ａに格納する。さらに、ＡＦ評価値算出部７０は、レンズ位置とその位置におけるＡＦ評価値とを補正値算出部８０に出力する。
【００２３】
また、輝度成分抽出部６０及びＡＦ評価値算出部７０は、システム制御部１９からの制御に基づいて、シャッターボタンが全押し操作されたとき（実際にシャッターが切られたとき）に撮影された画像データからもＡＦ評価値を算出する。そして、ＡＦ評価値算出部７０は、シャッターが切られた時（以下、説明の便宜上「シャッター時」という）のＡＦ評価値（図３の○参照）を補正値算出部８０に出力するとともに、レジスタ７０ａに格納されているＡＦ評価値のピーク値を補正値算出部８０に出力する。
【００２４】
補正値算出部８０は、ＡＦ評価値算出部７０から入力されるＡＦ評価値及びレンズ位置に基づいて補正値Ｃを算出し、その補正値Ｃを上記エッジ強調部４０に出力する。そして、エッジ強調部４０では、その補正値Ｃに基づいてエッジ強調量を補正した上で、画像データのエッジを強調する。
【００２５】
次に、エッジ強調部４０及び補正値算出部８０の内部構成について図２にしたがって説明する。
図２に示すように、エッジ強調部４０は、ローパスフィルタ（ＬＰＦ）４１と、ハイパスフィルタ（ＨＰＦ）４２と、コアリング処理部４３と、加算器４４と、乗算器４５と、加算器４６と、レジスタ４７とを備える。
【００２６】
ＬＰＦ４１は、色空間変換部３０から入力される輝度信号Ｙの所定周波数以下の低周波成分を抽出し、その抽出した信号を加算器４４に出力する。また、ＨＰＦ４２は、色空間変換部３０から入力される輝度信号Ｙの所定周波数以上の高周波成分（エッジ成分）を抽出し、その抽出した高周波成分をコアリング処理部４３に出力する。コアリング処理部４３は、ＨＰＦ４２により抽出された輝度信号Ｙの高周波成分のうち、予め設定された所定レベル以下の成分（ノイズ成分）を除去する。このコアリング処理部４３は、コアリング処理後の輝度信号Ｙの高周波成分を乗算器４５に出力する。
【００２７】
一方、加算器４６は、レジスタ４７から読み出されるエッジ強調ゲインＫと、上記補正値算出部８０から入力される補正値Ｃとを加算して補正ゲインＫ１を生成し、その生成した補正ゲインＫ１を乗算器４５に出力する。すなわち、加算器４６では、補正値Ｃによりエッジ強調ゲインＫを補正した補正ゲインＫ１が生成される。ここで、レジスタ４７に格納されているエッジ強調ゲインＫは、エッジの振幅を調整するためのゲインであり、例えば撮影モード毎に予め設定されている固定値である。
【００２８】
上記乗算器４５では、コアリング処理部４３から入力されるコアリング処理後の輝度信号Ｙの高周波成分（エッジ成分）に、加算器４６から入力される補正ゲインＫ１が乗算され、補正ゲインＫ１に基づきエッジ成分が強調される。この乗算器４５は、乗算結果、すなわち補正ゲインＫ１によって強調されたエッジ成分を加算器４４に出力する。
【００２９】
この加算器４４は、上記ＬＰＦ４１から入力される輝度信号Ｙの低周波成分と、乗算器４５から入力される補正ゲインＫ１によって強調されたエッジ成分とを加算して輝度信号Ｙ１を生成し、その輝度信号Ｙ１を出力する。従って、この輝度信号Ｙ１は、ノイズ成分が除去され、補正ゲインＫ１に基づきエッジ部分が強調された輝度信号（画像信号）となる。
【００３０】
続いて、上記補正ゲインＫ１を生成する際に使用される補正値Ｃを算出する補正値算出部８０の内部構成について説明する。この補正値算出部８０は、差分検出部８１と、傾き検出部８２と、乗算器８３〜８５と、レジスタ８６，８７とを備える。
【００３１】
差分検出部８１には、ＡＦ評価値算出部７０から合焦位置Ｐ１におけるＡＦ評価値（ＡＦ評価値のピーク値）と、シャッター時におけるＡＦ評価値とが入力される。この差分検出部８１は、ＡＦ評価値のピーク値とシャッター時におけるＡＦ評価値との差分値Ａを検出し、その差分値Ａを乗算器８３に出力する。
【００３２】
乗算器８３は、上記差分値Ａと、レジスタ８６から読み出される第１係数αとを乗算し、その乗算結果（Ａ×α）を乗算器８５に出力する。ここで、レジスタ８６に格納されている第１係数αは、差分値Ａを補正量に変換するための係数であり、例えば撮影モード毎に予め設定されている固定値である。本実施形態における第１係数αは、差分検出部８１にて検出される差分値Ａを、上記レジスタ４７に格納されているエッジ強調ゲインＫの１０％以内の値に変換する値に設定されている。
【００３３】
一方、傾き検出部８２には、上記ＡＦ制御における複数のレンズ位置のＡＦ評価値がそのレンズ位置情報とともに、ＡＦ評価値算出部７０から入力される。具体的には、本実施形態の傾き検出部８２には、合焦位置Ｐ１及びその位置におけるＡＦ評価値と、合焦位置Ｐ１の一つ前（もしくは一つ後）のレンズ位置Ｐ２（図４参照）及びその位置におけるＡＦ評価値とが入力される。この傾き検出部８２は、図４に示すように、合焦位置Ｐ１とレンズ位置Ｐ２との差分値Ｄ１と、合焦位置Ｐ１におけるＡＦ評価値とレンズ位置Ｐ２におけるＡＦ評価値との差分値Ｄ２とに基づいて、レンズ位置Ｐ１，Ｐ２間におけるＡＦ評価値の傾きＢを検出する。ここで、図４（ａ）に示すように、フォーカスレンズ１１ａの移動に対するＡＦ評価値の変動が大きい場合には、ＡＦ評価値の傾きＢが大きくなる。これに対し、図４（ｂ）に示すように、フォーカスレンズ１１ａの移動に対するＡＦ評価値の変化が小さい場合には、ＡＦ評価値の傾きＢが小さくなる。すなわち、傾き検出部８２で検出されるＡＦ評価値の傾きＢは、ＡＦ評価値曲線の尖り具合を示す指標となる。そして、傾き検出部８２は、検出したＡＦ評価値の傾きＢを乗算器８４に出力する。
【００３４】
乗算器８４は、上記ＡＦ評価値の傾きＢと、レジスタ８７から読み出される第２係数βとを乗算し、その乗算結果（Ｂ×β）を乗算器８５に出力する。ここで、レジスタ８７に格納されている第２係数βは、ＡＦ評価値の傾きＢを補正量に変換するための係数であり、例えば撮影モード毎に予め設定されている固定値である。本実施形態における第２係数βは、ＡＦ評価値の傾きＢを０．９〜１．１の範囲内の値に変換する値に設定されている。
【００３５】
乗算器８５は、上記乗算器８３による乗算結果（Ａ×α）と、上記乗算器８４による乗算結果（Ｂ×β）とを乗算し、下記式で示す補正値Ｃを算出する。
Ｃ＝（Ａ×α）×（Ｂ×β）
この乗算器８５は、算出した補正値Ｃを上記エッジ強調部４０内の加算器４６に出力する。そして、加算器４６では、上述したように、レジスタ４７から読み出されたエッジ強調ゲインＫに上記補正値Ｃを加算して補正ゲインＫ１が生成される。すなわち、補正値Ｃによってエッジ強調量が補正され、エッジ強調ゲインＫよりも補正値Ｃの分だけエッジ強調量が増加される。
【００３６】
次に、このように構成されたデジタルカメラ１０の作用について説明する。とくに、ＡＦ制御部１９ａ及び信号処理部１６におけるＡＦ制御及びエッジ強調処理について説明する。
【００３７】
今、ユーザによってシャッターボタンが半押し操作されると、その操作に応じた操作信号が入力部１８からシステム制御部１９（ＡＦ制御部１９ａ）に入力される。すると、ＡＦ制御部１９ａは、モータドライバ１３及び信号処理部１６等を制御して、上述した山登り方式のＡＦ制御を行う。このＡＦ制御時において、信号処理部１６内のＡＦ評価値算出部７０は、所定ステップ毎の各レンズ位置におけるＡＦ評価値を算出し、その算出したＡＦ評価値をＡＦ制御部１９ａに出力する。ＡＦ制御部１９ａは、ＡＦ評価値がピーク値を過ぎて減少し始めるのを検出し、ＡＦ評価値のピーク位置Ｐ１を合焦位置として決定した後、モータドライバ１３を制御して、決定した合焦位置Ｐ１にフォーカスレンズ１１ａを移動させる。
【００３８】
また、上記ＡＦ評価値算出部７０は、合焦位置Ｐ１及びその位置におけるＡＦ評価値と、合焦位置Ｐ１の一つ前のレンズ位置Ｐ２（図４参照）及びその位置におけるＡＦ評価値とを、補正値算出部８０内の傾き検出部８２に出力する。すると、傾き検出部８２は、図４に示すように、合焦位置Ｐ１とレンズ位置Ｐ２との差分値Ｄ１と、合焦位置Ｐ１のＡＦ評価値とレンズ位置Ｐ２のＡＦ評価値との差分値Ｄ２とに基づいて、ＡＦ評価値の傾きＢを検出する。なお、ＡＦ評価値算出部７０は、合焦位置Ｐ１におけるＡＦ評価値をレジスタ７０ａに格納する。
【００３９】
続いて、ユーザによってシャッターボタンが全押し操作されてシャッターが切られると、システム制御部１９は、入力部１８から入力される操作信号に応答して、各部を制御して実際の撮影処理を行う。このとき、ＡＦ制御から実際にシャッターが切られるまでの間のタイムラグ、手ぶれや撮像対象の動き等に起因して、ピントがずれてしまう場合があることについては前述した。このようにピントがずれると、画像としてのエッジが弱くなる。この点に着目して、本実施形態のエッジ強調処理では、ピントのずれ量に応じてエッジ強調量を補正制御するようにした。
【００４０】
詳述すると、輝度成分抽出部６０及びＡＦ評価値算出部７０は、シャッター時にＡ／Ｄ変換回路１５から入力される画像データについても、その画像データ（輝度信号）からＡＦ評価値を算出する。続いて、ＡＦ評価値算出部７０は、算出したシャッター時のＡＦ評価値と、レジスタ７０ａに格納したＡＦ評価値のピーク値とを補正値算出部８０内の差分検出部８１に出力する。差分検出部８１は、ＡＦ評価値のピーク値とシャッター時のＡＦ評価値との差分値Ａを検出する。すなわち、この差分検出部８１において、ＡＦ制御からシャッター時までのピントのずれ量に対応する差分値Ａが検出される。この差分検出部８１で検出された差分値Ａと、上記ＡＦ制御時に傾き検出部８２で検出された傾きＢとに基づいて、補正値算出部８０にて補正値Ｃ（＝Ａ×α×Ｂ×β）が算出される。そして、この算出された補正値Ｃをエッジ強調ゲインＫに加算することで、エッジ強調処理におけるエッジ強調量を補正し、その補正後の補正ゲインＫ１によってコアリング処理部４３から出力されるエッジ成分を強調するようにした。これにより、上記補正値Ｃが大きいほど、エッジ強調量（補正ゲインＫ１）が増加するように補正される。
【００４１】
より具体的には、ＡＦ制御からシャッター時までのピントのずれ量に対応する差分値Ａが大きいほど、エッジ強調量が増加するように補正される。これにより、オートフォーカス後にピントがずれて画像のエッジが弱くなるような場合であっても、そのピントのずれ量の分だけエッジ強調量を増加できるため、ピントのずれによる影響を低減することができる。また、ＡＦ評価値曲線の尖り具合を示すＡＦ評価値の傾きＢが大きいほど、エッジ強調量が増加するように補正される。これにより、ピントのずれ量だけでなく、ＡＦ評価値曲線の特性（撮影対象）に応じてエッジ強調量を補正制御することができる。例えばフォーカスレンズ１１ａの移動に対するＡＦ評価値の変動が大きい場合（図４（ａ）参照）、つまり被写体のコントラストが強く、エッジ強調の必要性が高い場合には、傾きＢが大きくなるため、エッジ強調量を増加することができる。また、フォーカスレンズ１１ａの移動に対するＡＦ評価値の変動が小さい場合（図４（ｂ）参照）、つまり被写体のコントラストが弱く、エッジ強調の必要性が低い場合には、傾きＢが小さくなるため、エッジ強調量が不要に増加されるのを抑制することができる。
【００４２】
以上説明したように、本実施形態によれば以下の効果を奏することができる。
（１）合焦位置Ｐ１におけるＡＦ評価値（ＡＦ評価値のピーク値）とシャッター時のＡＦ評価値との差分値Ａに応じて、エッジ強調処理におけるエッジ強調量を補正制御するようにした。すなわち、ＡＦ制御から実際にシャッターが切られるまでの間に生じるピントのずれ量に対応する差分値Ａが大きくなるほど、エッジ強調量を増加させるようにした。これにより、上記ピントのずれによってエッジが弱くなった画像データに対して、そのピントのずれ量の分だけエッジ強調量を増加させてエッジ成分を強調することができる。従って、オートフォーカス後のピントのずれによる影響を低減することができる。
【００４３】
また、最も合焦度合が高いＡＦ評価値のピーク値を基準にして差分値Ａを算出するようにしたため、エッジ強調量を高精度に補正制御することができる。
（２）ＡＦ評価値曲線の特性（尖り具合）を示すＡＦ評価値の傾きＢに応じて、エッジ強調処理におけるエッジ強調量を補正制御するようにした。これにより、被写体におけるエッジ強調の必要性に応じて、エッジ強調量を補正することができる。例えば被写体のコントラストが弱く、エッジ強調の必要性が低い場合には、エッジ強調量を大きくしてしまうとかえって画像が不自然になるという問題が発生する。これに対して、ＡＦ評価値の傾きＢに応じてエッジ強調量を補正することにより、エッジ強調の必要性が低い場合にエッジ強調量が不要に大きく補正されることを抑制することができる。
【００４４】
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記実施形態における補正値算出部８０の内部構成（図２参照）に制限されない。例えば、図５に示されるように、傾き検出部８２を傾き算出部８８に置換した構成を採用してもよい。
【００４５】
この傾き算出部８８は、傾き検出部８８ａと傾き平均化部８８ｂとを備えている。傾き検出部８８ａには、ＡＦ制御時における多数のレンズ位置情報及びその各レンズ位置におけるＡＦ評価値がＡＦ評価値算出部７０から入力される。すなわち、図６の例では、傾き検出部８８ａには、合焦位置Ｐ１を含む４点のレンズ位置Ｐ１〜Ｐ４及びそれぞれの位置におけるＡＦ評価値がＡＦ評価値算出部７０から入力される。この傾き検出部８８ａは、多数のレンズ位置情報及びＡＦ評価値に基づいて、複数のＡＦ評価値の傾きＢ１〜Ｂ３を検出する。具体的には、傾き検出部８８ａは、レンズ位置Ｐ４とレンズ位置Ｐ３の差分値と、レンズ位置Ｐ４のＡＦ評価値とレンズ位置Ｐ３のＡＦ評価値との差分値とに基づいて傾きＢ１を検出する。同様に、傾き検出部８８ａは、レンズ位置Ｐ３とレンズ位置Ｐ２の差分値と、それらＡＦ評価値の差分値とに基づいて傾きＢ２を検出し、レンズ位置Ｐ２とレンズ位置Ｐ１の差分値と、それらＡＦ評価値の差分値とに基づいて傾きＢ３を検出する。そして、傾き検出部８８ａは、検出した複数の傾きＢ１〜Ｂ３を傾き平均化部８８ｂに出力する。この傾き平均化部８８ｂは、複数の傾きＢ１〜Ｂ３の平均値を算出し、その平均値を傾きＢとして乗算器８４に出力する。
【００４６】
この構成によれば、複数のレンズ位置間におけるＡＦ評価値の傾きＢ１〜Ｂ３が平均化されて傾きＢが算出される。これにより、ＡＦ評価値曲線の特性（尖り具合）を高精度に表わす傾きＢを得ることができる。
【００４７】
・上記実施形態の補正値算出部８０において、図２に示す傾き検出部８２（図５に示す傾き算出部８８）、乗算器８４，８５及びレジスタ８７を省略するようにしてもよい。この構成によっても、ピントのずれ量の分だけエッジ強調量を補正することができる。
【００４８】
・上記実施形態の補正値算出部８０では、ＡＦ評価値のピーク値とシャッター時のＡＦ評価値との差分値Ａが０の場合には補正値Ｃも０になる。これに代えて、補正値算出部８０において、例えば上記差分値Ａが０の場合には、ＡＦ評価値の傾きＢ及び第２係数β、すなわち乗算器８４による乗算結果（Ｂ×β）のみによって補正値Ｃを生成するようにしてもよい。この構成によれば、ＡＦ制御からシャッター時までにピントのずれが生じなかった場合であっても、ＡＦ評価値曲線の特性に応じてエッジ強調量を補正することができる。これによって、より良い画質を得るための画像処理を実現することができる。
【００４９】
・上記実施形態におけるエッジ強調部４０の内部構成は図２や図５の構成に特に制限されない。例えばコアリング処理部４３を省略するようにしてもよい。また、ＬＰＦ４１を省略するようにしてもよい。
【００５０】
・上記実施形態におけるオートフォーカス動作としては、シングルＡＦ動作であっても、コンティニュアスＡＦ動作であってもよい。
・上記実施形態では、シャッターボタンの半押し操作によってＡＦ制御が開始されるようにしたが、ＡＦ制御の開始タイミングは特に制限されない。例えばシャッターボタンの全押し操作によってＡＦ制御が開始され、そのＡＦ制御に続いて実際の撮影処理が実行されるようにしてもよい。
【００５１】
・上記実施形態の輝度成分抽出部６０において抽出するデータは、ＡＦ評価値を算出することが可能な画像情報であれば特に制限されず、例えば緑画素データであってもよい。
・上記実施形態の色空間変換部３０における画像データの変換形式は特に制限されない。例えば色空間変換部３０において、ＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するようにしてもよい。
【００５２】
・上記実施形態では、ＡＦ制御及びエッジ強調処理を実行する処理を区分してブロックとして図１及び図２に示した。すなわち、ＡＦ制御及びエッジ強調処理は、図１及び図２に示すように、ＡＦ制御部１９ａと、プリプロセス部２０と、色空間変換部３０と、エッジ強調部４０と、輝度成分抽出部６０と、ＡＦ評価値算出部７０と、補正値算出部８０とによって実行される。なお、これら図１及び図２に示す各部は、システム制御部１９において実行される処理を説明するために区分して示すものであり、これら各処理を実行するハードウェアが存在する必要はなく、これら処理をプログラムに従って実行可能な構成であればよい。
【符号の説明】
【００５３】
１０ デジタルカメラ（撮像装置）
１６ 信号処理回路
１９ システム制御部（制御部）
１９ａ ＡＦ制御部（制御部）
４０ エッジ強調部
４６ 加算器
７０ ＡＦ評価値算出部（評価値算出部）
８０ 補正値算出部
８１ 差分検出部
８２ 傾き検出部
８３〜８５ 乗算器
【技術分野】
【０００１】
本発明は、画像処理回路、画像処理方法及び撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置には、撮像される画像のピント調節を自動で行うためのオートフォーカス機能（自動焦点制御機能）が組み込まれているものが普及している。
【０００３】
例えばイメージセンサを用いたオートフォーカス（ＡＦ）制御方式では、フォーカスレンズを至近側から無限側に向かって所定ピッチで移動させ、各点の撮像データからＡＦ評価値を算出する。そして、そのＡＦ評価値がピーク値になるピーク位置を合焦位置として、フォーカスレンズをこのピーク位置に移動する。具体的には、フォーカスレンズを至近側から無限側に向かって移動させ、ＡＦ評価値がピーク値を過ぎて減少を始めるのを検出し、フォーカスレンズを合焦位置に移動する。なお、この方法は山登り方式と呼ばれる。
【０００４】
このようなオートフォーカス機能によって、ピント調節に要するユーザの操作負担を軽減することができ、ユーザの技量に左右されることなく被写体を撮像することができる。
なお、上記従来技術に関連する先行技術として、特許文献１や特許文献２が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０８６７９９号公報
【特許文献２】特開２０００−０９２３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記オートフォーカス機能を備える撮像装置では、オートフォーカス制御から実際にシャッターが切られるまでの間のタイムラグ、手ぶれや撮像対象の動き等によって、撮像された画像のピントがずれてしまう場合がある。
【０００７】
画像処理回路で、オートフォーカス後のピントずれの影響を低減することを目的とする。
【課題を解決するための手段】
【０００８】
開示の画像処理回路は、フォーカス状態を示す評価値が最大となる位置を合焦位置と判定するオートフォーカス制御を行う制御部と、前記合焦位置における評価値とシャッターが切られたときの評価値との差分値に応じて、補正値を算出する補正値算出部と、予め設定される所定の強調量を前記補正値にて補正し、補正後の強調量に基づいて入力画像データのエッジ成分を強調するエッジ強調部と、を備える。
【発明の効果】
【０００９】
開示の画像処理回路によれば、オートフォーカス後のピントずれの影響を低減することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】一実施形態のデジタルカメラの全体構成を示すブロック図。
【図２】エッジ強調部と補正値算出部との内部構成を示すブロック図。
【図３】ＡＦ制御を説明するための説明図。
【図４】（ａ）、（ｂ）エッジ強調処理を説明するための説明図。
【図５】変形例の補正値算出部の内部構成を示すブロック図。
【図６】変形例のエッジ強調処理を説明するための説明図。
【発明を実施するための形態】
【００１１】
以下、一実施形態を図１〜図４に従って説明する。なお、図１は、デジタルカメラ１０の全体構成を概略的に示すブロック図である。
図１に示すように、デジタルカメラ１０は、レンズ部１１と、モータ１２と、モータドライバ１３と、撮像素子１４と、Ａ／Ｄ変換回路１５と、信号処理部１６と、記録媒体１７と、入力部１８と、システム制御部１９とを含む。
【００１２】
レンズ部１１は、被写体からの光を集光する複数のレンズ（フォーカスレンズ１１ａなど）と、これらのレンズを通過した光の量を被写体照度に応じて調整する絞り（図示略）とを備え、集光された被写体の光を撮像素子１４に出力する。ここで、フォーカスレンズ１１ａは、ピントを調整するためのレンズであり、モータ１２によって駆動され、光軸に沿って前後に移動される。なお、このモータ１２は、ステッピングモータであり、システム制御部１９によって制御されるモータドライバ１３から供給される駆動パルスにより駆動制御される。
【００１３】
上記撮像素子１４は、ベイヤ配列のカラーフィルタを備え、レンズ部１１を通過して入射される入射光に応じた撮像信号（アナログ信号）をＡ／Ｄ変換回路１５に出力する。なお、撮像素子１４としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＯＭＳ（Complementary Metal Oxide Semiconductor）センサなどが用いられる。
【００１４】
Ａ／Ｄ変換回路１５は、上記撮像信号をデジタル信号に変換し、そのデジタル信号を画像データとして信号処理部１６に出力する。
信号処理部１６は、Ａ／Ｄ変換回路１５から入力される画像データ（入力画像データ）に対して各種画像処理を施し、その画像処理後の画像データを記録媒体１７に記録する。また、信号処理部１６は、Ａ／Ｄ変換回路１５から入力される画像データに基づいて、フォーカス状態を示すオートフォーカス（ＡＦ）評価値を算出し、そのＡＦ評価値をシステム制御部１９に出力する。
【００１５】
入力部１８は、ユーザにより操作されるシャッタボタン（レリーズボタン）やメニューボタン等の各種スイッチを有している。ユーザはこれらの各種スイッチを操作することにより、写真撮影や撮影モードの変更などを行うことができる。例えばシャッターボタンが半押し操作されることによってＡＦ制御等の撮影準備処理が行われ、全押し操作されることによって実際の撮影処理が行われる。なお、シャッターボタン等が操作されると、入力部１８は、その操作に応じた操作信号をシステム制御部１９に出力する。
【００１６】
システム制御部１９は、入力部１８からの各種操作信号に基づいて、ＲＯＭ（図示略）に記憶された各種プログラムを実行することにより、デジタルカメラ１０の各部を統括的に制御する。また、システム制御部１９は、上記シャッターボタンが半押しされたときに、被写体にピントを合致させるＡＦ制御を実行するＡＦ制御部１９ａを備える。なお、これら信号処理部１６及びシステム制御部１９は画像処理回路として機能する。
【００１７】
次に、信号処理部１６の内部構成について説明する。
信号処理部１６内のプリプロセス部２０は、上記Ａ／Ｄ変換回路１５から入力される画像データに対し、例えばホワイトバランス調整やゲイン調整や欠陥信号の補正などの前処理を施す。色空間変換部３０は、プリプロセス部２０により前処理されたＲＧＢ形式の画像データをＹＣｂＣｒ形式の画像データに変換する。
【００１８】
エッジ強調部４０は、色空間変換部３０にて変換された画像データのエッジを強調するエッジ強調処理を行う。
画像圧縮部５０は、エッジ強調処理などの各種画像処理後の画像データを所定の符号方式（例えばＪＰＥＧ方式）により圧縮し、圧縮後の画像データを記録媒体１７に格納する。
【００１９】
一方、上記Ａ／Ｄ変換回路１５からの画像データは、輝度成分抽出部６０にも入力される。輝度成分抽出部６０は、入力される画像データから輝度信号を抽出し、その輝度信号をＡＦ評価値算出部７０に出力する。
【００２０】
ＡＦ評価値算出部７０は、輝度成分抽出部６０で取得された輝度信号に基づいてＡＦ評価値を算出する。具体的には、ＡＦ評価値算出部７０は、上記輝度信号の画面内における高周波成分を積算することで、画像データのコントラスト強度を示すＡＦ評価値を算出する。このＡＦ評価値算出部７０は、算出したＡＦ評価値をＡＦ制御部１９ａに出力する。
【００２１】
ＡＦ制御部１９ａは、ＡＦ評価値に基づいて被写体にピントを合致させる山登り方式のＡＦ制御を実行する。すなわち、ＡＦ制御部１９ａは、シャッターボタンの半押し操作に応答して、ＡＦ評価値に基づいて合焦位置を検出し、その合焦位置にフォーカスレンズ１１ａを移動する。具体的には、ＡＦ制御部１９ａは、モータドライバ１３を介してモータ１２を駆動制御することにより、図３に示すように、フォーカスレンズ１１ａを至近側から無限側に向かって微小ステップずつ移動させながら、所定ステップ毎のレンズ位置（図３の●参照）で順次撮影する。このとき、ＡＦ制御部１９ａは、輝度成分抽出部６０及びＡＦ評価値算出部７０を制御して、上記各レンズ位置で撮影された画像データのコントラスト強度を示すＡＦ評価値を算出する。ここで、あるレンズ位置でピントが合致した被写体が存在する場合には、フォーカスレンズ１１ａの位置に対するＡＦ評価値は図３に示すような曲線（ＡＦ評価値曲線）を描く。ＡＦ制御部１９ａは、このフォーカスレンズ位置とＡＦ評価値との関係を示すＡＦ評価値曲線のピーク位置Ｐ１、すなわちＡＦ評価値（画像のコントラスト）が最大となる位置を合焦位置に決定する。すなわち、このＡＦ制御方式では、コントラスト（ＡＦ評価値）が高いほどピントが合っている（合焦度合が高い）と判定され、コントラストが低いほどピントがずれている（合焦度合が低い）と判定される。そして、ＡＦ制御部１９ａは、上記合焦位置検出動作終了後に、再度モータドライバ１３を介してモータ１２を駆動制御して、決定された合焦位置Ｐ１にフォーカスレンズ１１ａを移動させる。このようにして、ＡＦ制御部１９ａによるＡＦ制御が実現される。
【００２２】
一方、上記ＡＦ評価値算出部７０は、上記ＡＦ制御における合焦位置Ｐ１のＡＦ評価値、すなわちＡＦ評価値のピーク値をレジスタ７０ａに格納する。さらに、ＡＦ評価値算出部７０は、レンズ位置とその位置におけるＡＦ評価値とを補正値算出部８０に出力する。
【００２３】
また、輝度成分抽出部６０及びＡＦ評価値算出部７０は、システム制御部１９からの制御に基づいて、シャッターボタンが全押し操作されたとき（実際にシャッターが切られたとき）に撮影された画像データからもＡＦ評価値を算出する。そして、ＡＦ評価値算出部７０は、シャッターが切られた時（以下、説明の便宜上「シャッター時」という）のＡＦ評価値（図３の○参照）を補正値算出部８０に出力するとともに、レジスタ７０ａに格納されているＡＦ評価値のピーク値を補正値算出部８０に出力する。
【００２４】
補正値算出部８０は、ＡＦ評価値算出部７０から入力されるＡＦ評価値及びレンズ位置に基づいて補正値Ｃを算出し、その補正値Ｃを上記エッジ強調部４０に出力する。そして、エッジ強調部４０では、その補正値Ｃに基づいてエッジ強調量を補正した上で、画像データのエッジを強調する。
【００２５】
次に、エッジ強調部４０及び補正値算出部８０の内部構成について図２にしたがって説明する。
図２に示すように、エッジ強調部４０は、ローパスフィルタ（ＬＰＦ）４１と、ハイパスフィルタ（ＨＰＦ）４２と、コアリング処理部４３と、加算器４４と、乗算器４５と、加算器４６と、レジスタ４７とを備える。
【００２６】
ＬＰＦ４１は、色空間変換部３０から入力される輝度信号Ｙの所定周波数以下の低周波成分を抽出し、その抽出した信号を加算器４４に出力する。また、ＨＰＦ４２は、色空間変換部３０から入力される輝度信号Ｙの所定周波数以上の高周波成分（エッジ成分）を抽出し、その抽出した高周波成分をコアリング処理部４３に出力する。コアリング処理部４３は、ＨＰＦ４２により抽出された輝度信号Ｙの高周波成分のうち、予め設定された所定レベル以下の成分（ノイズ成分）を除去する。このコアリング処理部４３は、コアリング処理後の輝度信号Ｙの高周波成分を乗算器４５に出力する。
【００２７】
一方、加算器４６は、レジスタ４７から読み出されるエッジ強調ゲインＫと、上記補正値算出部８０から入力される補正値Ｃとを加算して補正ゲインＫ１を生成し、その生成した補正ゲインＫ１を乗算器４５に出力する。すなわち、加算器４６では、補正値Ｃによりエッジ強調ゲインＫを補正した補正ゲインＫ１が生成される。ここで、レジスタ４７に格納されているエッジ強調ゲインＫは、エッジの振幅を調整するためのゲインであり、例えば撮影モード毎に予め設定されている固定値である。
【００２８】
上記乗算器４５では、コアリング処理部４３から入力されるコアリング処理後の輝度信号Ｙの高周波成分（エッジ成分）に、加算器４６から入力される補正ゲインＫ１が乗算され、補正ゲインＫ１に基づきエッジ成分が強調される。この乗算器４５は、乗算結果、すなわち補正ゲインＫ１によって強調されたエッジ成分を加算器４４に出力する。
【００２９】
この加算器４４は、上記ＬＰＦ４１から入力される輝度信号Ｙの低周波成分と、乗算器４５から入力される補正ゲインＫ１によって強調されたエッジ成分とを加算して輝度信号Ｙ１を生成し、その輝度信号Ｙ１を出力する。従って、この輝度信号Ｙ１は、ノイズ成分が除去され、補正ゲインＫ１に基づきエッジ部分が強調された輝度信号（画像信号）となる。
【００３０】
続いて、上記補正ゲインＫ１を生成する際に使用される補正値Ｃを算出する補正値算出部８０の内部構成について説明する。この補正値算出部８０は、差分検出部８１と、傾き検出部８２と、乗算器８３〜８５と、レジスタ８６，８７とを備える。
【００３１】
差分検出部８１には、ＡＦ評価値算出部７０から合焦位置Ｐ１におけるＡＦ評価値（ＡＦ評価値のピーク値）と、シャッター時におけるＡＦ評価値とが入力される。この差分検出部８１は、ＡＦ評価値のピーク値とシャッター時におけるＡＦ評価値との差分値Ａを検出し、その差分値Ａを乗算器８３に出力する。
【００３２】
乗算器８３は、上記差分値Ａと、レジスタ８６から読み出される第１係数αとを乗算し、その乗算結果（Ａ×α）を乗算器８５に出力する。ここで、レジスタ８６に格納されている第１係数αは、差分値Ａを補正量に変換するための係数であり、例えば撮影モード毎に予め設定されている固定値である。本実施形態における第１係数αは、差分検出部８１にて検出される差分値Ａを、上記レジスタ４７に格納されているエッジ強調ゲインＫの１０％以内の値に変換する値に設定されている。
【００３３】
一方、傾き検出部８２には、上記ＡＦ制御における複数のレンズ位置のＡＦ評価値がそのレンズ位置情報とともに、ＡＦ評価値算出部７０から入力される。具体的には、本実施形態の傾き検出部８２には、合焦位置Ｐ１及びその位置におけるＡＦ評価値と、合焦位置Ｐ１の一つ前（もしくは一つ後）のレンズ位置Ｐ２（図４参照）及びその位置におけるＡＦ評価値とが入力される。この傾き検出部８２は、図４に示すように、合焦位置Ｐ１とレンズ位置Ｐ２との差分値Ｄ１と、合焦位置Ｐ１におけるＡＦ評価値とレンズ位置Ｐ２におけるＡＦ評価値との差分値Ｄ２とに基づいて、レンズ位置Ｐ１，Ｐ２間におけるＡＦ評価値の傾きＢを検出する。ここで、図４（ａ）に示すように、フォーカスレンズ１１ａの移動に対するＡＦ評価値の変動が大きい場合には、ＡＦ評価値の傾きＢが大きくなる。これに対し、図４（ｂ）に示すように、フォーカスレンズ１１ａの移動に対するＡＦ評価値の変化が小さい場合には、ＡＦ評価値の傾きＢが小さくなる。すなわち、傾き検出部８２で検出されるＡＦ評価値の傾きＢは、ＡＦ評価値曲線の尖り具合を示す指標となる。そして、傾き検出部８２は、検出したＡＦ評価値の傾きＢを乗算器８４に出力する。
【００３４】
乗算器８４は、上記ＡＦ評価値の傾きＢと、レジスタ８７から読み出される第２係数βとを乗算し、その乗算結果（Ｂ×β）を乗算器８５に出力する。ここで、レジスタ８７に格納されている第２係数βは、ＡＦ評価値の傾きＢを補正量に変換するための係数であり、例えば撮影モード毎に予め設定されている固定値である。本実施形態における第２係数βは、ＡＦ評価値の傾きＢを０．９〜１．１の範囲内の値に変換する値に設定されている。
【００３５】
乗算器８５は、上記乗算器８３による乗算結果（Ａ×α）と、上記乗算器８４による乗算結果（Ｂ×β）とを乗算し、下記式で示す補正値Ｃを算出する。
Ｃ＝（Ａ×α）×（Ｂ×β）
この乗算器８５は、算出した補正値Ｃを上記エッジ強調部４０内の加算器４６に出力する。そして、加算器４６では、上述したように、レジスタ４７から読み出されたエッジ強調ゲインＫに上記補正値Ｃを加算して補正ゲインＫ１が生成される。すなわち、補正値Ｃによってエッジ強調量が補正され、エッジ強調ゲインＫよりも補正値Ｃの分だけエッジ強調量が増加される。
【００３６】
次に、このように構成されたデジタルカメラ１０の作用について説明する。とくに、ＡＦ制御部１９ａ及び信号処理部１６におけるＡＦ制御及びエッジ強調処理について説明する。
【００３７】
今、ユーザによってシャッターボタンが半押し操作されると、その操作に応じた操作信号が入力部１８からシステム制御部１９（ＡＦ制御部１９ａ）に入力される。すると、ＡＦ制御部１９ａは、モータドライバ１３及び信号処理部１６等を制御して、上述した山登り方式のＡＦ制御を行う。このＡＦ制御時において、信号処理部１６内のＡＦ評価値算出部７０は、所定ステップ毎の各レンズ位置におけるＡＦ評価値を算出し、その算出したＡＦ評価値をＡＦ制御部１９ａに出力する。ＡＦ制御部１９ａは、ＡＦ評価値がピーク値を過ぎて減少し始めるのを検出し、ＡＦ評価値のピーク位置Ｐ１を合焦位置として決定した後、モータドライバ１３を制御して、決定した合焦位置Ｐ１にフォーカスレンズ１１ａを移動させる。
【００３８】
また、上記ＡＦ評価値算出部７０は、合焦位置Ｐ１及びその位置におけるＡＦ評価値と、合焦位置Ｐ１の一つ前のレンズ位置Ｐ２（図４参照）及びその位置におけるＡＦ評価値とを、補正値算出部８０内の傾き検出部８２に出力する。すると、傾き検出部８２は、図４に示すように、合焦位置Ｐ１とレンズ位置Ｐ２との差分値Ｄ１と、合焦位置Ｐ１のＡＦ評価値とレンズ位置Ｐ２のＡＦ評価値との差分値Ｄ２とに基づいて、ＡＦ評価値の傾きＢを検出する。なお、ＡＦ評価値算出部７０は、合焦位置Ｐ１におけるＡＦ評価値をレジスタ７０ａに格納する。
【００３９】
続いて、ユーザによってシャッターボタンが全押し操作されてシャッターが切られると、システム制御部１９は、入力部１８から入力される操作信号に応答して、各部を制御して実際の撮影処理を行う。このとき、ＡＦ制御から実際にシャッターが切られるまでの間のタイムラグ、手ぶれや撮像対象の動き等に起因して、ピントがずれてしまう場合があることについては前述した。このようにピントがずれると、画像としてのエッジが弱くなる。この点に着目して、本実施形態のエッジ強調処理では、ピントのずれ量に応じてエッジ強調量を補正制御するようにした。
【００４０】
詳述すると、輝度成分抽出部６０及びＡＦ評価値算出部７０は、シャッター時にＡ／Ｄ変換回路１５から入力される画像データについても、その画像データ（輝度信号）からＡＦ評価値を算出する。続いて、ＡＦ評価値算出部７０は、算出したシャッター時のＡＦ評価値と、レジスタ７０ａに格納したＡＦ評価値のピーク値とを補正値算出部８０内の差分検出部８１に出力する。差分検出部８１は、ＡＦ評価値のピーク値とシャッター時のＡＦ評価値との差分値Ａを検出する。すなわち、この差分検出部８１において、ＡＦ制御からシャッター時までのピントのずれ量に対応する差分値Ａが検出される。この差分検出部８１で検出された差分値Ａと、上記ＡＦ制御時に傾き検出部８２で検出された傾きＢとに基づいて、補正値算出部８０にて補正値Ｃ（＝Ａ×α×Ｂ×β）が算出される。そして、この算出された補正値Ｃをエッジ強調ゲインＫに加算することで、エッジ強調処理におけるエッジ強調量を補正し、その補正後の補正ゲインＫ１によってコアリング処理部４３から出力されるエッジ成分を強調するようにした。これにより、上記補正値Ｃが大きいほど、エッジ強調量（補正ゲインＫ１）が増加するように補正される。
【００４１】
より具体的には、ＡＦ制御からシャッター時までのピントのずれ量に対応する差分値Ａが大きいほど、エッジ強調量が増加するように補正される。これにより、オートフォーカス後にピントがずれて画像のエッジが弱くなるような場合であっても、そのピントのずれ量の分だけエッジ強調量を増加できるため、ピントのずれによる影響を低減することができる。また、ＡＦ評価値曲線の尖り具合を示すＡＦ評価値の傾きＢが大きいほど、エッジ強調量が増加するように補正される。これにより、ピントのずれ量だけでなく、ＡＦ評価値曲線の特性（撮影対象）に応じてエッジ強調量を補正制御することができる。例えばフォーカスレンズ１１ａの移動に対するＡＦ評価値の変動が大きい場合（図４（ａ）参照）、つまり被写体のコントラストが強く、エッジ強調の必要性が高い場合には、傾きＢが大きくなるため、エッジ強調量を増加することができる。また、フォーカスレンズ１１ａの移動に対するＡＦ評価値の変動が小さい場合（図４（ｂ）参照）、つまり被写体のコントラストが弱く、エッジ強調の必要性が低い場合には、傾きＢが小さくなるため、エッジ強調量が不要に増加されるのを抑制することができる。
【００４２】
以上説明したように、本実施形態によれば以下の効果を奏することができる。
（１）合焦位置Ｐ１におけるＡＦ評価値（ＡＦ評価値のピーク値）とシャッター時のＡＦ評価値との差分値Ａに応じて、エッジ強調処理におけるエッジ強調量を補正制御するようにした。すなわち、ＡＦ制御から実際にシャッターが切られるまでの間に生じるピントのずれ量に対応する差分値Ａが大きくなるほど、エッジ強調量を増加させるようにした。これにより、上記ピントのずれによってエッジが弱くなった画像データに対して、そのピントのずれ量の分だけエッジ強調量を増加させてエッジ成分を強調することができる。従って、オートフォーカス後のピントのずれによる影響を低減することができる。
【００４３】
また、最も合焦度合が高いＡＦ評価値のピーク値を基準にして差分値Ａを算出するようにしたため、エッジ強調量を高精度に補正制御することができる。
（２）ＡＦ評価値曲線の特性（尖り具合）を示すＡＦ評価値の傾きＢに応じて、エッジ強調処理におけるエッジ強調量を補正制御するようにした。これにより、被写体におけるエッジ強調の必要性に応じて、エッジ強調量を補正することができる。例えば被写体のコントラストが弱く、エッジ強調の必要性が低い場合には、エッジ強調量を大きくしてしまうとかえって画像が不自然になるという問題が発生する。これに対して、ＡＦ評価値の傾きＢに応じてエッジ強調量を補正することにより、エッジ強調の必要性が低い場合にエッジ強調量が不要に大きく補正されることを抑制することができる。
【００４４】
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記実施形態における補正値算出部８０の内部構成（図２参照）に制限されない。例えば、図５に示されるように、傾き検出部８２を傾き算出部８８に置換した構成を採用してもよい。
【００４５】
この傾き算出部８８は、傾き検出部８８ａと傾き平均化部８８ｂとを備えている。傾き検出部８８ａには、ＡＦ制御時における多数のレンズ位置情報及びその各レンズ位置におけるＡＦ評価値がＡＦ評価値算出部７０から入力される。すなわち、図６の例では、傾き検出部８８ａには、合焦位置Ｐ１を含む４点のレンズ位置Ｐ１〜Ｐ４及びそれぞれの位置におけるＡＦ評価値がＡＦ評価値算出部７０から入力される。この傾き検出部８８ａは、多数のレンズ位置情報及びＡＦ評価値に基づいて、複数のＡＦ評価値の傾きＢ１〜Ｂ３を検出する。具体的には、傾き検出部８８ａは、レンズ位置Ｐ４とレンズ位置Ｐ３の差分値と、レンズ位置Ｐ４のＡＦ評価値とレンズ位置Ｐ３のＡＦ評価値との差分値とに基づいて傾きＢ１を検出する。同様に、傾き検出部８８ａは、レンズ位置Ｐ３とレンズ位置Ｐ２の差分値と、それらＡＦ評価値の差分値とに基づいて傾きＢ２を検出し、レンズ位置Ｐ２とレンズ位置Ｐ１の差分値と、それらＡＦ評価値の差分値とに基づいて傾きＢ３を検出する。そして、傾き検出部８８ａは、検出した複数の傾きＢ１〜Ｂ３を傾き平均化部８８ｂに出力する。この傾き平均化部８８ｂは、複数の傾きＢ１〜Ｂ３の平均値を算出し、その平均値を傾きＢとして乗算器８４に出力する。
【００４６】
この構成によれば、複数のレンズ位置間におけるＡＦ評価値の傾きＢ１〜Ｂ３が平均化されて傾きＢが算出される。これにより、ＡＦ評価値曲線の特性（尖り具合）を高精度に表わす傾きＢを得ることができる。
【００４７】
・上記実施形態の補正値算出部８０において、図２に示す傾き検出部８２（図５に示す傾き算出部８８）、乗算器８４，８５及びレジスタ８７を省略するようにしてもよい。この構成によっても、ピントのずれ量の分だけエッジ強調量を補正することができる。
【００４８】
・上記実施形態の補正値算出部８０では、ＡＦ評価値のピーク値とシャッター時のＡＦ評価値との差分値Ａが０の場合には補正値Ｃも０になる。これに代えて、補正値算出部８０において、例えば上記差分値Ａが０の場合には、ＡＦ評価値の傾きＢ及び第２係数β、すなわち乗算器８４による乗算結果（Ｂ×β）のみによって補正値Ｃを生成するようにしてもよい。この構成によれば、ＡＦ制御からシャッター時までにピントのずれが生じなかった場合であっても、ＡＦ評価値曲線の特性に応じてエッジ強調量を補正することができる。これによって、より良い画質を得るための画像処理を実現することができる。
【００４９】
・上記実施形態におけるエッジ強調部４０の内部構成は図２や図５の構成に特に制限されない。例えばコアリング処理部４３を省略するようにしてもよい。また、ＬＰＦ４１を省略するようにしてもよい。
【００５０】
・上記実施形態におけるオートフォーカス動作としては、シングルＡＦ動作であっても、コンティニュアスＡＦ動作であってもよい。
・上記実施形態では、シャッターボタンの半押し操作によってＡＦ制御が開始されるようにしたが、ＡＦ制御の開始タイミングは特に制限されない。例えばシャッターボタンの全押し操作によってＡＦ制御が開始され、そのＡＦ制御に続いて実際の撮影処理が実行されるようにしてもよい。
【００５１】
・上記実施形態の輝度成分抽出部６０において抽出するデータは、ＡＦ評価値を算出することが可能な画像情報であれば特に制限されず、例えば緑画素データであってもよい。
・上記実施形態の色空間変換部３０における画像データの変換形式は特に制限されない。例えば色空間変換部３０において、ＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するようにしてもよい。
【００５２】
・上記実施形態では、ＡＦ制御及びエッジ強調処理を実行する処理を区分してブロックとして図１及び図２に示した。すなわち、ＡＦ制御及びエッジ強調処理は、図１及び図２に示すように、ＡＦ制御部１９ａと、プリプロセス部２０と、色空間変換部３０と、エッジ強調部４０と、輝度成分抽出部６０と、ＡＦ評価値算出部７０と、補正値算出部８０とによって実行される。なお、これら図１及び図２に示す各部は、システム制御部１９において実行される処理を説明するために区分して示すものであり、これら各処理を実行するハードウェアが存在する必要はなく、これら処理をプログラムに従って実行可能な構成であればよい。
【符号の説明】
【００５３】
１０ デジタルカメラ（撮像装置）
１６ 信号処理回路
１９ システム制御部（制御部）
１９ａ ＡＦ制御部（制御部）
４０ エッジ強調部
４６ 加算器
７０ ＡＦ評価値算出部（評価値算出部）
８０ 補正値算出部
８１ 差分検出部
８２ 傾き検出部
８３〜８５ 乗算器
【特許請求の範囲】
【請求項１】
フォーカス状態を示す評価値が最大となる位置を合焦位置と判定するオートフォーカス制御を行う制御部と、
前記合焦位置における評価値とシャッターが切られたときの評価値との差分値に応じて、補正値を算出する補正値算出部と、
予め設定される所定の強調量を前記補正値にて補正し、補正後の強調量に基づいて入力画像データのエッジ成分を強調するエッジ強調部と、
を備えることを特徴とする画像処理回路。
【請求項２】
前記オートフォーカス制御時に、予め設定された複数のレンズ位置毎に前記評価値を算出するとともに、前記シャッターが切られたときに前記評価値を算出する評価値算出部を備え、
前記補正値算出部は、前記複数のレンズ位置情報とそれぞれの位置における評価値とに基づいて、前記複数のレンズ位置間における評価値の傾きを算出するとともに、前記差分値及び前記評価値の傾きに応じて前記補正値を算出することを特徴とする請求項１に記載の画像処理回路。
【請求項３】
前記補正値算出部は、前記複数のレンズ位置間における評価値の傾きを複数算出し、それら複数の評価値の傾きの平均値を算出するとともに、前記差分値及び前記傾きの平均値に応じて前記補正値を算出することを特徴とする請求項２に記載の画像処理回路。
【請求項４】
前記補正値算出部は、前記補正値の算出に際して、前記差分値を補正量に変換するために、前記所定の強調量に基づいて設定される第１係数を前記差分値に乗算することを特徴とする請求項１〜３の何れか１つに記載の画像処理回路。
【請求項５】
前記補正値算出部は、前記補正値の算出に際して、前記傾きの平均値を補正量に変換するために、前記所定の強調量に基づいて設定される第２係数を前記差分値に乗算することを特徴とする請求項３に記載の画像処理回路。
【請求項６】
予め設定された複数のレンズ位置毎にフォーカス状態を示す評価値を算出するステップと、
前記評価値が最大となる位置を合焦位置と判定するステップと、
前記合焦位置にフォーカスレンズを移動するステップと、
シャッターが切られたときに前記評価値を算出するステップと、
前記合焦位置における評価値と前記シャッターが切られたときの評価値との差分に応じて補正値を算出するステップと、
予め設定される所定の強調量を前記補正値にて補正するステップと、
前記補正後の強調量に基づいて入力画像データのエッジ成分を強調するステップと、
を備えることを特徴とする画像処理方法。
【請求項７】
フォーカス状態を示す評価値が最大となる位置を合焦位置と判定するオートフォーカス制御を行う制御部と、
前記合焦位置における評価値とシャッターが切られたときの評価値との差分値に応じて、補正値を算出する補正値算出部と、
予め設定される所定の強調量を前記補正値にて補正し、補正後の強調量に基づいて入力画像データのエッジ成分を強調するエッジ強調部と、
を含む画像処理回路を備えることを特徴とする撮像装置。
【請求項１】
フォーカス状態を示す評価値が最大となる位置を合焦位置と判定するオートフォーカス制御を行う制御部と、
前記合焦位置における評価値とシャッターが切られたときの評価値との差分値に応じて、補正値を算出する補正値算出部と、
予め設定される所定の強調量を前記補正値にて補正し、補正後の強調量に基づいて入力画像データのエッジ成分を強調するエッジ強調部と、
を備えることを特徴とする画像処理回路。
【請求項２】
前記オートフォーカス制御時に、予め設定された複数のレンズ位置毎に前記評価値を算出するとともに、前記シャッターが切られたときに前記評価値を算出する評価値算出部を備え、
前記補正値算出部は、前記複数のレンズ位置情報とそれぞれの位置における評価値とに基づいて、前記複数のレンズ位置間における評価値の傾きを算出するとともに、前記差分値及び前記評価値の傾きに応じて前記補正値を算出することを特徴とする請求項１に記載の画像処理回路。
【請求項３】
前記補正値算出部は、前記複数のレンズ位置間における評価値の傾きを複数算出し、それら複数の評価値の傾きの平均値を算出するとともに、前記差分値及び前記傾きの平均値に応じて前記補正値を算出することを特徴とする請求項２に記載の画像処理回路。
【請求項４】
前記補正値算出部は、前記補正値の算出に際して、前記差分値を補正量に変換するために、前記所定の強調量に基づいて設定される第１係数を前記差分値に乗算することを特徴とする請求項１〜３の何れか１つに記載の画像処理回路。
【請求項５】
前記補正値算出部は、前記補正値の算出に際して、前記傾きの平均値を補正量に変換するために、前記所定の強調量に基づいて設定される第２係数を前記差分値に乗算することを特徴とする請求項３に記載の画像処理回路。
【請求項６】
予め設定された複数のレンズ位置毎にフォーカス状態を示す評価値を算出するステップと、
前記評価値が最大となる位置を合焦位置と判定するステップと、
前記合焦位置にフォーカスレンズを移動するステップと、
シャッターが切られたときに前記評価値を算出するステップと、
前記合焦位置における評価値と前記シャッターが切られたときの評価値との差分に応じて補正値を算出するステップと、
予め設定される所定の強調量を前記補正値にて補正するステップと、
前記補正後の強調量に基づいて入力画像データのエッジ成分を強調するステップと、
を備えることを特徴とする画像処理方法。
【請求項７】
フォーカス状態を示す評価値が最大となる位置を合焦位置と判定するオートフォーカス制御を行う制御部と、
前記合焦位置における評価値とシャッターが切られたときの評価値との差分値に応じて、補正値を算出する補正値算出部と、
予め設定される所定の強調量を前記補正値にて補正し、補正後の強調量に基づいて入力画像データのエッジ成分を強調するエッジ強調部と、
を含む画像処理回路を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１５０２９（Ｐ２０１１−１５０２９Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５５５７８（Ｐ２００９−１５５５７８）
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]