画像処理装置及び撮影装置
【課題】撮像素子やレンズの口径の大きさに依存することなく、撮影者がピントを合わせた被写体が強調された強調画像を比較的簡易に取得できる画像処理装置及び撮像装置を提供する。
【解決手段】入力画像のうちピントの合っている部分（合焦部分）とピントがあっていない部分（非合焦部分）とでは、そのエッジ部分における輝度の遷移パターンが異なるため、（極局所領域の輝度差分値）／（局所領域の輝度差分値）により算出されるエッジ差分比が相違する。入力画像にぼかし処理を施して出力画像を生成する際に、エッジ差分比に応じて当該ぼかし処理におけるぼかし度合を変更する。
【解決手段】入力画像のうちピントの合っている部分（合焦部分）とピントがあっていない部分（非合焦部分）とでは、そのエッジ部分における輝度の遷移パターンが異なるため、（極局所領域の輝度差分値）／（局所領域の輝度差分値）により算出されるエッジ差分比が相違する。入力画像にぼかし処理を施して出力画像を生成する際に、エッジ差分比に応じて当該ぼかし処理におけるぼかし度合を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影者が焦点を合わせた被写体が強調された撮影画像を取得できる画像処理装置及び撮影装置に関する。
【背景技術】
【０００２】
現在、CCD（Charge Coupled Device）センサやCMOS（Complimentary Metal Oxide Semiconductor）センサ等の固体撮像素子を用いたデジタルカメラやデジタルビデオカメラ等の撮影装置が広く普及している。
【０００３】
ところで、撮影対象のうち、ピントの合った被写体が鮮明に撮影され、ピントの合った被写体を除く他の被写体がピントがぼけたように撮影され、この結果、全体としてピントの合った被写体が強調されて浮き立ったような、いわゆる“ぼけ味”のある撮影画像を取得するためには、例えば、固体撮像素子のサイズやこの固体撮像素子に撮影画像を結像させるためのレンズの口径が大きいタイプの撮影装置を用いる必要がある。このようなタイプの撮影装置によると、被写界深度を十分に浅くして撮影することができるため、ピントの合った被写体を浮き立たせた、いわゆる“ぼけ味”のある撮影画像を取得することができる。
【０００４】
しかしながら、固体撮像素子のサイズやレンズの口径の小さい、いわゆるコンパクトタイプのデジタルカメラのような撮影装置を用いた場合には、被写界深度を十分に浅くして撮影ができないため“ぼけ味”のある撮像画像を取得することが困難であった。また、どちらのタイプの撮影装置であっても、ピントの合った被写体と他の被写体との間に輝度差や彩度差等を付与することによってピントの合った被写体が強調された撮影画像を取得することは困難であった。
【０００５】
尚、下記特許文献１には、画像処理によりぼけ味のある画像を取得する発明が開示されている。かかる画像処理によると、まず、１つの基準画像データを被写体領域の画像データと背景領域の画像データという別個独立した２つの画像データに分離して出力する。そして、分離された背景画像データにぼかし処理を施した後、ぼかし処理後の背景画像データと基準画像データとを合成する。合成後、背景領域と被写体領域の境界線がギザギザとなり違和感が生じることを防ぐためにアンチエイリアジング処理を施す。かかる一連の処理により”ぼけ味”の或る画像を取得することができる。このように、下記特許文献１では、”ぼけ味”の或る画像を取得できるものの、上記した一連の複雑な処理を必要とするものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2005-229198号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで本願発明は、上記課題に鑑みてなされたものであり、撮像素子やレンズの口径の大きさに依存することなく、ピントの合った被写体が強調された撮影画像を、比較的簡易に取得できる画像処理装置及び撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願の第１発明に係る画像処理装置は、複数の小領域からなる第１撮影画像に対してにぼかし処理を施し第２撮影画像を生成する第２撮影画像生成手段と、各小領域の合焦度合を導出する合焦度導出手段と、合焦度導出手段により導出された各小領域の合焦度合が小さいほど第２撮影画像の混合割合を大きくして、第１撮影画像における各小領域と第２撮影画像における各小領域に対応する第２小領域を合成処理する合成処理手段と、を備えている。そして、第２撮影画像生成手段は、第１撮影画像から顔画像領域を検出する顔領域検出手段と、検出された顔画像領域に基づいて、第１撮影画像にぼかし処理を施すことにより第２撮影画像を生成するぼかし処理手段とを備えている。
【０００９】
本願の第２発明に係る画像処理装置は、本願第１発明に係る画像処理装置において、ぼかし処理手段が検出された顔画像領域の第１撮影画像領域に対する割合が所定割合以上である場合に、ぼかし度合を大きくするぼかし処理を施し、所定割合未満である場合には、ぼかし度合を小さくする、或いはぼかし度合をゼロとするぼかし処理を施すことを特徴とする。
【００１０】
本願の第３発明に係る画像処理装置は、本願第１又は第２発明に係る画像処理装置において、合焦度導出手段が各小領域における輝度信号の遷移パターンに応じて合焦度合を導出することを特徴とする。
【００１１】
本願の第４発明に係る画像処理装置は、本願第１又は第２発明に係る画像処理装置において、合焦度導出手段は、各小領域における輝度信号に含まれる周波数成分に応じて合焦度合を導出することを特徴とする。
【発明の効果】
【００１２】
本願発明によると、ピントの合った被写体が強調された撮影画像を比較的簡易に取得することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る撮像装置の全体構成図である。
【図２】図１のレンズ部３の内部構成図である。
【図３】第１実施例の強調画像生成処理の概要を説明するための図である。
【図４】第１実施例の強調画像生成処理の概要を説明するための図である。
【図５】第１実施例に係る強調画像生成処理の動作を説明するための図である。
【図６】第１実施例に係る極局所領域差分抽出、局所領域差分抽出、及びエッジ差分比算出処理を説明するための図である。
【図７】第１実施例に係る拡張処理を説明するための図である。
【図８】第１実施例に係る拡張処理を説明するための図である。
【図９】第１実施例に係るぼかし処理及びエッジ強調処理を説明するための図である。
【図１０】第２実施例に係る強調画像生成処理の動作を説明するための図である。
【図１１】第２実施例にＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の動作を説明するための図である。
【図１２】第３実施例に係る強調画像生成処理の動作を説明するための図である。
【図１３】第４実施例に係る強調画像生成処理の動作を説明するための図である。
【図１４】第４実施例に係る位置情報テーブル６０の動作を説明するための図である。
【図１５】第５実施例に係る強調画像生成処理の動作を説明するための図である。
【図１６】第５実施例に係る位置情報テーブル６３の動作を説明するための図である。
【図１７】第６実施例に係る強調画像生成処理の動作を説明するための図である。
【図１８】第６実施例に係る変換テーブル６７の動作を説明するための図である。
【図１９】撮像装置１が強調画像を生成する手順を示すフローチャートである。
【図２０】第７実施例に係る強調画像生成処理の動作を説明するための図である。
【図２１】第７−２実施例において、ぼかし処理部６９が用いるぼかしフィルタを説明するための図である。
【図２２】第７−２実施例において、ぼかし処理部６９の動作を説明するための図である。
【図２３】第７−２実施例において、ぼかし処理部６９が位置Ａで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。
【図２４】第７−２実施例において、ぼかし処理部６９が位置Ｂで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。
【図２５】第７−３実施例において、ぼかし処理部６９の動作を説明するための図である。
【図２６】第７−３実施例において、ぼかし処理部６９が位置Ｃで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。
【図２７】第７−４実施例において、ぼかし処理部６９の動作を説明するための図である。
【図２８】第７−４実施例において、ぼかし処理部６９によるぼかし処理の効果を説明するための図である。
【図２９】第７−５実施例において、ぼかし処理部６９の動作を説明するための図である。
【図３０】第８実施例に係る強調画像生成処理の動作を説明するための図である。
【発明を実施するための最良の形態】
【００１４】
＜実施形態＞
本発明に係る画像処理をデジタルカメラやデジタルビデオカメラなどの撮像装置に実施した形態について、図面を参照して説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。尚、本願においては、「撮像」と「撮影」を同義で使用する。
【００１５】
（撮像装置の構成）
図１は、本発明の実施形態に係る撮像装置１の内部構成を示すブロック図である。図１において、撮像装置１は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどのイメージセンサ(固体撮像素子)２と、ズームレンズやフォーカスレンズを備え被写体の光学像をイメージセンサ２に結像させるレンズ部３と、イメージセンサ２から出力されるアナログ電気信号である画像信号を増幅する増幅回路（図示せず。）及び当該画像信号をデジタルの画像信号に変換するＡ/Ｄ（Analog/Digital）変換回路（図示せず。）を備えたＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される複数フレーム分のデジタル画像信号をフレーム単位で一時的に格納するフレームメモリ５と、外部から入力された音声信号を電気信号に変換するマイクロフォン（以下、マイクと記載する。）６と、フレームメモリ５に一時的に格納され画像信号に対して画像処理を施す画像処理部７と、マイク６からのアナログの音声信号をデジタル信号に変換し、音声処理を施す音声処理部８と、静止画を撮影する場合は画像処理部７からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部７からの画像信号と音声処理部８からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９を備える。
【００１６】
また、撮像装置１は、圧縮処理部９で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部１０と、ドライバ部１０で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸張処理部１１と、伸長処理部１１で復号されて得られた画像信号をアナログ信号に変換する画像信号出力部１２と、画像信号出力部１２で変換された画像信号に基づく画像の表示を行うＬＣＤ等を有する表示部１３と、伸張処理部１１からのデジタルの音声信号をアナログの音声信号に変換して出力する音声信号出力部１４と、音声信号出力部１４からのアナログの音声信号を再生するスピーカ部１５と、を備える。
【００１７】
また、撮像装置１は、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ(Timing Generator)１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッタボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス２１と、を備える。
【００１８】
図２は、レンズ部３の内部構成図である。レンズ部３は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り３２の開口量（換言すると、開口部の大きさである。）の調節を実現するためのモータ等から構成される。
【００１９】
撮像装置１は、「自動的にフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像をイメージセンサ２の撮像面（受光面と呼ぶこともできる。）に結像させる」いわゆるＡＦ（Automatic Focus）機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点がイメージセンサ２の撮像面上の点と一致する。ここで本願では、被写体を表す光学像をイメージセンサ２の撮像面に結像させることを被写体にピントを合わせる、或いは焦点を合わせると記載する。また、ピントが合わせられた被写体をピントの合った被写体、或いは焦点の合った被写体と記載する。逆に、ピントが合っていない場合をピントがぼけていると記載する。
【００２０】
また、撮像装置１は、「自動的に絞り３２の開口量、イメージセンサ２の露光時間及びＡＦＥ４の増幅率を制御することにより、撮影画像の明るさを略一定に保つ」いわゆるＡＥ(Automatic Exposure)機能を備えている。さらに、撮像装置１は、「被写体に照射される光の光源を判定し、当該光源に応じて、白色の色相を自動的に決定するとともに、当該白色の色相に応じてその他の色の色相を決定する」いわゆるＡＷＢ(Automatic White Balance)機能を備えている。
【００２１】
撮像装置１では、撮影者から操作部１９に対してズーム倍率を変更する操作が行なわれた場合には、ＣＰＵ１７が、当該操作に従って、ズームレンズ３０を光軸に沿って移動させる、いわゆるズーム制御を行う。これによりイメージセンサ２による撮影の画角が変更される（換言すれば、イメージセンサ２の撮像面上に形成される被写体の像が拡大または縮小される）。
【００２２】
図１の撮像装置１は、静止画撮影の際、画像処理部７の画像処理により、ピントの合っている被写体（以下、特定被写体とも記載する。）画像がピントのあっていない被写体（以下、背景とも記載する。）画像よりも強調された撮影画像（以下、強調画像とも記載する。）を比較的簡易に生成することができる。以下、画像処理部７で実現する強調画像生成処理の各実施例について説明する。
【００２３】
＜第１実施例＞
図３は、第１実施例に係る強調画像生成処理の概要を説明するための図である。図３（ａ）は、撮像装置１による静止画撮影により取得された入力画像１００を示している。図３（ａ）において、人物１０１は、特定被写体の画像であり、建物１０２は、背景画像の一つである。
図３（ｂ）は、人物１０１の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。人物１０１はピントが合っているため、輝度変化の境界部分（以下、エッジ部分とも記載する。）であるＥ地点付近で輝度値が急峻に変化している。従って、Ｅ地点を中心とするＡＢ間を極局所領域と、Ｅ地点を中心とする極局所領域よりも広いＣＤ間を局所領域と定義すると、極局所領域における輝度の最大値と最小値の差分である輝度差分値と局所領域における輝度差分値は等しくなる。即ち、
（極局所領域の輝度差分値）／（局所領域の輝度差分値）＝１
となる。
【００２４】
一方、図３（ｃ）は、建物１０２の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。建物１０２はピントが合っていないため、輝度変化の境界部分であるＪ地点付近では輝度値は緩慢に変化している。従って、Ｊ地点を中心とする極局所領域ＦＧ間における輝度差分値はＪ地点を中心とする局所領域ＨＩ間における輝度差分値よりも非常に小さくなる。即ち、
（極局所領域の輝度差分値）／（局所領域の輝度差分値）＜＜１
となる。尚、以下では（極局所領域の輝度差分値）／（局所領域の輝度差分値）をエッジ差分比と記載する。
【００２５】
このように、入力画像のうちピントの合っている部分（即ち、合焦部分。）とピントがあっていない部分（即ち、非合焦部分。）とでは、そのエッジ部分における輝度信号の遷移パターンが異なるため、エッジ差分比が相違する。即ち、入力画像の各画素では、ピントがどの程度合っているか（以下、合焦度合とも記載する。）によって当該画素周辺における輝度信号の遷移パターンが相異し、これによりエッジ差分比も相異する。
【００２６】
第１実施例では、入力画像にぼかし処理を施して出力画像を生成する際に、エッジ差分比に応じて当該ぼかし処理におけるぼかし度合を変更する。図４は、入力画像に当該ぼかし処理を施すことによって生成される出力画像を説明するための図である。エッジ差分比画像１０３は、入力画像１００の各画素について、エッジ差分比を算出してプロットすることにより生成された画像である。出力画像１００ａは、入力画像に対してエッジ差分比に応じたぼかし度合によるぼかし処理を施すことによって生成された画像である。
【００２７】
エッジ差分比が小さいほどぼかし度合が強くなるように設定することによって、ピントの合っていない建物１０２は、ぼかし度合の強いぼかし処理が施されることとなる。他方、ピントの合った人物１０１に対しては、ぼかし処理が施されない、あるいはぼかし度合の弱いぼかし処理が施される。この結果、出力画像１００ａは入力画像１００と比較して、ピントの合っていない建物１０２ａを含む背景画像のぼけ度合いがより一層大きくなり、いわゆるぼけ味のある撮影画像となっている。
【００２８】
図５は、第１実施例に係る強調画像生成処理の動作を説明するための図である。上述したようにフレームメモリ５にはＡＦＥ４から出力されるデジタル画像信号が一時的に格納されている。このデジタル画像信号はＲＡＷデータの形式で格納されている。ＹＵＶ生成部４１は、フレームメモリ５に一時的に格納されたＲＡＷデータ形式の画像信号に対し、いわゆる色分離処理（色同時化処理ともいう。）を施すとともに、色分離されたデジタル画像信号からＹ、Ｕ、Ｖ信号を生成する。
【００２９】
極局所領域差分抽出部４２は、ＹＵＶ生成部４１から出力される輝度信号から、画素毎に極局所領域の輝度差分値を抽出し出力する。局所領域差分抽出部４３は、ＹＵＶ生成部４１から出力される輝度信号から画素毎に局所領域の輝度差分値を抽出し出力する。エッジ差分比算出部４４は、極局所領域の輝度差分値及び局所領域の輝度差分値に基づいて画素毎にエッジ差分比を算出し出力する。
【００３０】
図６は、極局所領域差分抽出部４２による極局所領域差分抽出処理、局所領域差分抽出部４３による局所領域差分抽出処理、及びエッジ差分比算出部４４によるエッジ差分比算出処理を説明するための図である。図６（ａ）は、ＹＵＶ生成部４１から出力される輝度信号のうち、例として７×７画素分を取り出した図である。図６（ａ）において、「ａｉｊ」は、画素ｉｊにおける輝度値を示している。例えば、「ａ１２」は、画素１２の輝度値を示している。ここで、極局所領域を、注目画素を中心とし、当該注目画素から比較的狭い範囲の周辺領域と定義し、局所領域を注目画素を中心とし、当該注目画素から極局所領域よりも広い範囲の周辺領域と定義する。
【００３１】
図６（ａ）では、例として、３×３画素からなる領域を極局所領域とし、７×７画素からなる領域を局所領域としている。具体的には、注目画素を画素４４とし、画素ｉｊ（ｉ＝３,４,５、ｊ＝３,４,５）からなる領域を極局所領域とし、画素ｉｊ（ｉ＝１,２・・７、ｊ＝１,２・・７）からなる領域を局所領域としている。
【００３２】
極局所領域差分抽出部４２は、注目画素の極局所領域における輝度の最大値と最小値の差分を極局所領域の輝度差分値として抽出する。図６（ａ）において、例えば、注目画素４４の極局所領域においてａ５５が最大値、ａ３３が最小値であるとすると、注目画素４４の極局所領域の輝度差分値ｂ４４はｂ４４＝ａ５５−ａ３３となる。極局所領域差分抽出部４２は極局所領域を１画素単位でシフトするとともに、全画素の極局所領域の輝度差分値を抽出する。
【００３３】
図６（ｂ）は、各画素における極局所領域の輝度差分値を示す。例えば、ｂ４４は、画素４４における極局所領域の輝度差分値を示す。
【００３４】
局所領域差分抽出部４３は、注目画素の局所領域における輝度の最大値と最小値の差分を局所領域の輝度差分値として抽出する。図６（ａ）において、例えば、注目画素４４の局所領域においてａ１１が最大値、ａ１７が最小値であるとすると、注目画素４４に対する局所領域の輝度差分値ｃ４４は、ｃ４４＝ａ１１−ａ１７となる。局所領域差分抽出部４３は局所領域を１画素単位でシフトするとともに、全画素の局所領域の輝度差分値を抽出する。図６（ｃ）は、各画素における局所領域の輝度差分値を示す。例えば、ｃ４４は、画素４４における局所領域の輝度差分値を示す。
【００３５】
図５のエッジ差分比算出部４４は、各画素について、極局所領域の輝度差分値と局所領域の輝度差分値に微小なオフセット値αを加えた値との比、即ち（極局所領域の輝度差分値）／（局所領域の輝度差分値＋α）を補正エッジ差分比として算出する。尚、局所領域の輝度差分値にオフセット値αを加えるのは、分母がゼロになるのを防ぐためである。図６（ｄ）は、各画素における補正エッジ差分比を示す。例えば、ｄ４４は、画素４４における補正エッジ差分比を示す。
【００３６】
図５の拡張処理部４５は、算出された各画素の補正エッジ差分比に基づいて、エッジ部分の領域を拡張する。図７は、拡張処理部４５による拡張処理の概要を説明するための図である。図７（ａ）は、図３（ａ）における人物１０１の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。図７（ａ）において、Ｌ地点がエッジ部分であり、Ｌ地点を中心とする所定範囲であるＫＭ間を拡張処理対象領域とする。
【００３７】
図７（ｂ）は、図７（ａ）と同じ領域におけるＸ軸方向の補正エッジ差分比の遷移を示す模式図である。図７（ｂ）から明らかなように、エッジ差分比算出部４４により算出された補正エッジ差分比は、エッジ部分であるＬ地点で最大となる。拡張処理部４５は、拡張処理対象領域における各画素の補正エッジ差分比を、最大値を取るＬ地点の補正エッジ差分比に置換する。
【００３８】
図７（ｃ）は、図７（ａ）と同じ領域におけるＸ軸方向の拡張処理後の補正エッジ差分比の遷移を示す模式図である。図７（ｃ）では、拡張処理対象領域の補正エッジ差分比がエッジ部分Ｌ地点の補正エッジ差分比に置換されている。即ち、拡張処理部４５は、注目画素を中心する拡張処理対象領域において、注目画素の補正エッジ差分比を、拡張処理対象領域内の最も大きい補正エッジ差分比と置換する。
【００３９】
図８は拡張処理部４５による拡張処理を説明するための図である。図８（ａ）、（ｂ）、（ｃ）、（ｄ）は、エッジ差分比算出部４４から出力される入力画像に対する補正エッジ差分比のうち、７×７画素分の補正エッジ差分比を示す。図８（ａ）では、拡張処理部４５は注目画素を画素４４として、拡張処理対象領域を注目画素４４を中心とする３×３画素からなる領域としている。今、図８（ａ）において、注目画素４４のｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素４４の値は置換せずそのまま維持する。図８（ｅ）は、図８（ａ）の場合における拡張処理の結果を示している。図８（ｂ）は、拡張処理対象領域を１画素分右へシフトし、注目画素を画素４５とした場合を示している。
【００４０】
図８（ｂ）において、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素４５の値をｄ４４の値に置き換える。図８（ｆ）は、図８（ｂ）の場合における拡張処理の結果を示している。図８（ｆ）において、画素４５の値がｄ４５からｄ４４に置換されている。図８（ｃ）は、図８（ａ）の状態から拡張処理対象領域を１画素分上へシフトし、注目画素を画素３４とした場合を示している。
【００４１】
図８（ｃ）においても、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部３５は、注目画素３４の値をｄ４４の値に置き換える。図８（ｇ）は、図８（ｃ）の場合における拡張処理の結果を示している。図８（ｇ）において、画素３４の値がｄ３４からｄ４４に置換されている。図８（ｄ）は、図８（ａ）の状態から拡張処理対象領域を１画素分下へシフトし、注目画素を画素５４とした場合を示している。
【００４２】
図８（ｄ）においても、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素５４の値をｄ４４の値に置き換える。図８（ｈ）は、図８（ｄ）の場合における拡張処理の結果を示している。図８（ｈ）において、画素５４の値がｄ５４からｄ４４に置換されている。
【００４３】
このようにして、拡張処理部４５は、全画素について拡張処理を行なう。拡張処理によるとエッジ部分の領域が拡張されるため、ピントの合っている被写体とピントのあっていない被写体の境界が明確になり、より一層ぼけ味のある強調画像を生成することができる。
【００４４】
図５の変換テーブル４６は、拡張処理部４５から出力される画素毎の補正エッジ差分比に応じて画素毎にぼかし度合およびエッジ強調度合を導出して出力する。
【００４５】
図９（ａ）は、変換テーブル４６が、補正エッジ差分比からぼかし度合を導出するための関数を示している。図９（ａ）において、変換テーブル４６は、補正エッジ差分比が閾値ＴＨＢよりも小さければ、ぼかし度合を最大とし、補正エッジ差分比が閾値ＴＨＡ以上であれば最小とする。補正エッジ差分比が閾値ＴＨＢ以上であり閾値ＴＨＡより小さければ、補正エッジ差分比が増加するにつれてぼかし度合を線形的に減少させる。なお、非線形に減少させるものとしても構わないが単調減少するものが好ましい。
【００４６】
図９（ｂ）は、変換テーブル４６が、エッジ強調度合を導出するための関数を示している。図９（ｂ）において、変換テーブル４６は、補正エッジ差分比が閾値ＴＨＣよりも小さければ、エッジ強調度合を１．０とし、補正エッジ差分比が閾値ＴＨＤ以上であれば最大とする。補正エッジ差分比が閾値ＴＨＣ以上であり閾値ＴＨＤより小さければ、補正エッジ差分比が増加するにつれてエッジ強調度合を線形的に増加させる。なお、非線形に増加させるものとしても構わないが単調増加するものが好ましい。
【００４７】
図５のぼかし処理部４７は、変換テーブル４６から出力される画素毎のぼかし度合に応じてＹＵＶ生成部４１から出力されるＹ、Ｕ、Ｖ信号に対し画素毎にぼかし処理を施す。ぼかし処理部４７は、例えば、単純な平均化フィルタではなく、注目画素に近いほど大きな重みを付け、その重みをガウス分布に近づけたガウシアンフィルタを採用することができる。この場合、変換テーブル４６から出力されるぼかし度合を当該ガウス分布の分散値とすることができる。
【００４８】
エッジ強調処理部４８は、ぼかし処理部４７から出力されるＹ、Ｕ、Ｖ信号に対し画素毎にエッジ強調処理を施す。エッジ強調処理部４８は、例えば、変換テーブル４６から出力される画素毎のエッジ強調度合に応じて、エッジ強調度合を変更できる鮮鋭化フィルタを採用することができる。尚、上記ガウシアンフィルタ及び鮮鋭化フィルタは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１２２頁から１２４頁に記載されているものを採用することができる。また、上記実施例１では、極局所領域を３×３画素、局所領域を７×７画素及び拡張処理対象領域を３×３画素からなる領域としているが、これらに限られるものではなく実施例１で採用した領域よりも広い範囲、或いは狭い範囲からなる領域とすることも可能である。
【００４９】
＜第２実施例＞
図１０は、画像処理部７における強調画像生成処理の第２実施例を説明する図である。図１０において、図５と同一の番号を付している部位は、第１実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。尚、第２実施例では、拡張処理部４５には後述する周波数成分比が入力されることになるが、拡張処理部４５は第１実施例の場合と同一の処理を行なう。
【００５０】
また、変換テーブル４６には、拡張処理部４５からの画素毎の周波数成分比が入力されるが、変換テーブル４６は、実施例１の場合と同一の処理を行なう。従って、図９（ａ）、（ｂ）においてその横軸が周波数成分比となる。
【００５１】
ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１は、ＹＵＶ生成部４１から出力されるＹ信号（以下、輝度信号とも記載する。）からそれぞれ所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦ（Band Pass Filter）である。
【００５２】
図１１は、ＢＰＦ−Ｈ５０とＢＰＦ−Ｌ５１の周波数特性を示している。図１１において、ＦＨはＢＰＦ−Ｈ５０の中心周波数、ＦＨｃ１及びＦＨｃ２は遮断周波数（カットオフ周波数）を示しており、（ＦＨｃ２−ＦＨｃ１）をＢＰＦ−Ｈ５０の通過帯域という。
同様に、ＦＬはＢＰＦ−Ｌ５１の中心周波数、ＦＬｃ１及びＦＬｃ２は遮断周波数であり、（ＦＬｃ２−ＦＬｃ１）がＢＰＦ−Ｈ５０の通過帯域である。ＢＰＦ−Ｈ５０は中心周波数ＦＨの輝度信号を１００％通過させ、ＢＰＦ−Ｌ５１は中心周波数ＦＬの輝度信号を１００％通過させる。
【００５３】
ＢＰＦ−Ｈ５０では、輝度信号の高周波成分を抽出できるようにＦＨが比較的高い周波数に設定されている。他方、ＢＰＦ−Ｌ５１では、ＢＰＦ−Ｈ５０よりも低い周波数成分を抽出できるようにＦＬはＦＨよりも低い周波数に設定されている。周波数成分比算出部５２は、ＢＰＦ−Ｈ５０から出力される輝度信号値とＢＰＦ−Ｌ５１から出力される輝度信号値とから下記式（１）により画素毎に周波数成分比を算出する。
周波数成分比＝｜（ＢＰＦ−Ｈ５０の出力値）／（ＢＰＦ−Ｌ５１の出力値）｜
・・・（１）
図３（ａ）の入力画像１００において、ピントの合っている人物１０１の或る領域には、高周波成分の輝度信号が多く含まれている。他方、ピントの合っていない建物１０２は、ピントがあっていないことから高周波成分の輝度信号は少なく、中域成分あるいは低域成分の輝度信号が多く含まれている。
【００５４】
従って、ピントの合っている位置（即ち、合焦位置）では、
｜ＢＰＦ−Ｈ５０の出力値｜＞｜ＢＰＦ−Ｌ５１の出力値｜
となり、ピントの合っていない位置（即ち、非合焦位置）では、
｜ＢＰＦ−Ｈ５０の出力値｜＜｜ＢＰＦ−Ｌ５１の出力値｜
となる。
【００５５】
第２実施例では、入力画像にぼかし処理を施して出力画像を生成する際に、上記（１）式により算出される周波数成分比に応じて当該ぼかし処理におけるぼかし度合を変更する。具体的には、周波数成分比が大きい画素ほど、ぼかし度合を小さくするぼかし処理を施し、小さい画素ほど、ぼかし度合を大きくするぼかし処理を施す。これにより、ピントの合っている被写体が強調された強調画像を生成することができる。
【００５６】
＜第３実施例＞
図１２は、画像処理部７における強調画像生成処理の第３実施例を説明する図である。
図１２において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。尚、第３実施例では、拡張処理部４５には後述する水平周波数成分比又は垂直周波数成分比が入力されることになるが、拡張処理部４５は第２実施例の場合と同一の処理を行なう。また、変換テーブル４６には、拡張処理部４５からの画素毎の水平周波数成分比又は垂直周波数成分比が入力されるが、変換テーブル４６は、実施例２の場合と同一の処理を行なう。従って、図９（ａ）、（ｂ）においてその横軸が水平周波数成分比又は垂直周波数成分比となる。
【００５７】
Ｈ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４は、ＹＵＶ生成部４１から出力される輝度信号から水平方向（図３（ａ）のＸ軸方向）における所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。
【００５８】
Ｈ−ＢＰＦ−Ｈ５３では、輝度信号の高周波成分を抽出できるようにその中心周波数ＦＨＨが比較的高い周波数に設定されている。他方、Ｈ−ＢＰＦ−Ｌ５４では、Ｈ−ＢＰＦ−Ｈ５３よりも低い周波数成分を抽出できるようにその中心周波数ＦＨＬはＦＨＨよりも低い周波数に設定されている。
【００５９】
水平周波数成分比算出部５７は、Ｈ−ＢＰＦ−Ｈ５３から出力される輝度信号値とＨ−ＢＰＦ−Ｌ５４から出力される輝度信号値とから下記式（２）により水平周波数成分比を算出する。
水平周波数成分比＝｜（Ｈ−ＢＰＦ−Ｈ５３の出力値）／（Ｈ−ＢＰＦ−Ｌ５４
の出力値）｜ ・・・（２）
Ｖ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６は、ＹＵＶ生成部４１から出力される輝度信号から垂直方向（図３（ａ）のＹ軸方向）における所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。
【００６０】
Ｖ−ＢＰＦ−Ｈ５５では、輝度信号の高周波成分を抽出できるようにその中心周波数ＦＶＨが比較的高い周波数に設定されている。他方、Ｖ−ＢＰＦ−Ｌ５６では、Ｖ−ＢＰＦ−Ｈ５５よりも低い周波数成分を抽出できるようにその中心周波数ＦＶＬはＦＶＨよりも低い周波数に設定されている。
【００６１】
垂直周波数成分比算出部５７は、Ｖ−ＢＰＦ−Ｈ５５から出力される輝度信号値とＶ−ＢＰＦ−Ｌ５６から出力される輝度信号値とから下記式（３）により垂直周波数成分比を算出する。
【００６２】
垂直周波数成分比＝｜（Ｖ−ＢＰＦ−Ｈ５５の出力値）／（Ｖ−ＢＰＦ−Ｌ５６
の出力値）｜ ・・・（３）
選択部５９は、水平周波数成分比算出部５７から出力される水平周波数成分比と垂直周波数成分比算出部５８から出力される垂直周波数成分比のうち、大きい方を選択し、拡張処理部４５へ出力する。
【００６３】
このように、第３実施例では、入力画像の水平、垂直の両方向について合焦度合を考慮してぼかし処理部４７のぼかし度合、及びエッジ強調処理部４８のエッジ強調度合を制御することができる。従って、第３実施例によると、よりきめ細かくぼかし処理及びエッジ処理が施された強調画像を生成することができる。
【００６４】
＜第４実施例＞
図１３は、画像処理部７における強調画像生成処理の第４実施例を説明する図である。図１３において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【００６５】
撮像装置１のレンズ部３が備えるレンズは、通常、撮影画像の中心点から遠ざかるに連れてＭＴＦ（Modulation Transfer Function）が劣化する。尚、撮影画像の中心とは、図３（ａ）の入力画像１００を例にとると、Ｘ軸方向の中点を通るＹ軸に平行な直線と、Ｙ軸方向の中点を通るＸ軸に平行な直線との交点を意味する。このため、例えば、図３（ａ）の人物１０１に対して、撮影画像の中心点から離れた４隅周辺でピントを合わせた場合の輝度信号の高域成分の大きさは、中心点付近でピントを合わせた場合と比較して小さくなってしまう。よって、撮影画像全体に同じ特性のＢＰＦを施し、上記（１）で周波数差分比を算出したとしても精度のよい特性（合焦度合を表わす正しい特性、換言すると合焦位置からのズレを表わす正しい特性）が得られない。
【００６６】
そこで、周波数差分比の特性の精度を向上させるための方策の一つとして、入力画像内の画素位置に応じてＢＰＦの特性（中心周波数）を変更し、合焦度合の検出精度を高めることが考えられる。
【００６７】
図１３において、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、ＹＵＶ生成部４１から出力される輝度信号からそれぞれ一定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。そして、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、後述の位置情報テーブル６０から出力されるパラメータに応じてその中心周波数を変更することができる。従って、輝度信号から抽出する周波数帯域の範囲を変更することができる。
【００６８】
位置情報テーブル６０には、予めＹＵＶ生成部４１から出力される輝度信号の各画素位置に応じた、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２が抽出すべき周波数帯域の範囲を設定するためのパラメータが格納されている。
【００６９】
具体的には、各画素の位置が入力画像の中心点に存在する画素、或いは中心点に最も近い画素（以下、これらをまとめて中心画素と記載する。）から離れるにつれてＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２が抽出する周波数帯域の範囲を低周波数側へシフトさせるようなフィルタ係数が格納されている。ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、入力される輝度信号にフィルタ処理を施す際に、位置情報テーブル６０から出力されるフィルタ係数を取得して、フィルタ処理を行う。
【００７０】
図１４（ａ）は、入力画像１００と入力画像１００上の中心画素１０３及び隅にある画素（以下、隅画素と記載する。）１０４を示す図である。図１４（ｂ）は、入力画像１００の画素位置に応じて変動するＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２の周波数特性を示す図である。
【００７１】
ＢＰＦ−Ｈ６１は、入力画像１００の中心画素１０３に対してフィルタ処理を行う場合は、位置情報テーブル６０から周波数特性が曲線１０３Ｈとなるパラメータを取得しフィルタ処理を行う。そして、ＢＰＦ−Ｌ６２は、位置情報テーブル６０から周波数特性が曲線１０３Ｌとなるパラメータを取得しフィルタ処理を行う。
【００７２】
一方、ＢＰＦ−Ｈ６１は、入力画像１００の隅画素１０４に対してフィルタ処理を行う場合は、位置情報テーブル６０から周波数特性が曲線１０４Ｈとなるパラメータを取得しフィルタ処理を行う。そして、ＢＰＦ−Ｌ６２は、位置情報テーブル６０から周波数特性が曲線１０４Ｌとなるパラメータを取得しフィルタ処理を行う。
【００７３】
実施例４によると、撮像装置１のレンズ部３が備えるレンズのＭＴＦ特性を考慮し、入力画像内の各画素に対して、各画素位置に応じた周波数特性を有するＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２によりフィルタ処理を行うことができる。これにより、周波数成分比算出部５２は、高精度に周波数成分比を算出することができ、この結果、より高精度に強調画像を生成することができる。
【００７４】
尚、当然のことながら、実施例３も、位置情報テーブル６０を採用するとともに、位置情報テーブル６０からのパラメータに応じてＨ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４、並びにＶ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６が抽出する周波数帯域の範囲を可変とすることにより、実施例４と同様の効果を奏することができる。
【００７５】
＜第５実施例＞
図１５は、画像処理部７における強調画像生成処理の第５実施例を説明する図である。
図１５において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【００７６】
位置情報テーブル６３には予め、入力画像に含まれる輝度信号の周波数毎に、入力画像の中心画素におけるＭＴＦと入力画像の各画素位置におけるＭＴＦとの差に応じたゲイン値が格納されている。
【００７７】
位置情報テーブル６３は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１からそれぞれの中心周波数を取得し、当該周波数に対応するゲイン値を導出し後述の乗算部６４及び６５に出力する。
【００７８】
図１６は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の周波数特性、図１４（ｂ）の中心画素１０３及び隅画素１０４におけるＭＴＦを示している。曲線１０５及び曲線１０６はそれぞれＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の周波数特性を示し、ＦＨ及びＦＬは、それぞれの周波数特性の中心周波数を示している。曲線１０３ｍは、中心画素１０３における輝度信号の周波数に対するＭＴＦを示している。曲線１０４ｍは、隅画素１０４における輝度信号の周波数に対するＭＴＦを示している。
【００７９】
今、例えば、輝度信号の周波数がＦＳのときの曲線１０３ｍの値が０．６５、曲線１０４ｍの値が０．４であるとする。これは、中心画素１０３における周波数Ｆｓの輝度信号の大きさが、本来有するべき大きさの６５％となっていることを示している。同様に、隅画素１０４における周波数Ｆｓの輝度信号の大きさが、本来有するべき大きさの４０％となっていることを示している。
【００８０】
図１６において、ｇＨｎは、ＢＰＦ−Ｈ５０の周波数特性の中心周波数ＦＨにおける、中心画素１０３のＭＴＦと隅画素１０４のＭＴＦとの差を示している。同様に、ｇＬｎは、ＢＰＦ−Ｈ５０の周波数特性の中心周波数ＦＬにおける、中心画素１０３のＭＴＦと隅画素１０４のＭＴＦとの差を示している。位置情報テーブル６３には、ｇＨｎに応じたゲインＧＨｎ及びｇＬｎに応じたゲインＧＬｎが格納されている。
【００８１】
乗算部６４は、位置情報テーブル６３からゲインＧＨｎを取得し、これを隅画素１０４に対するＢＰＦ−Ｈ５０によるフィルタ処理結果に乗じて出力する。同様に、乗算部６５は、位置情報テーブル６３からゲインＧLｎを取得し、これを隅画素１０４に対するＢＰＦ−Ｌ５１のフィルタ処理結果に乗じて出力する。尚、乗算部６４及び乗算部６５は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の中心画素１０３に対するフィルタ処理結果には１．０を乗じる。
【００８２】
実施例５によると、撮像装置１のレンズ部３が備えるレンズのＭＴＦ特性を考慮し、各画素位置に応じたゲイン値をＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１からの出力に乗じる。これにより、周波数成分比算出部５２は、実施例４と同様、高精度に周波数成分比を算出することができ、この結果、より高精度に強調画像を生成することができる。
【００８３】
尚、当然のことながら、実施例３についても位置情報テーブル６３を採用するとともに、位置情報テーブル６３からのゲイン値それぞれを、Ｈ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４、並びにＶ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１それぞれからの出力に乗じることにより実施例５と同様の効果を奏することができる。
【００８４】
＜第６実施例＞
図１７は、画像処理部７における強調画像生成処理の第６実施例を説明する図である。図１７において、図５と同一の番号を付している部位は、第１実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【００８５】
図１７において、ぼかし処理部６０は、入力画像にぼかし処理を施し、ぼかし画像を出力する。ぼかし処理部６０は、例えば、隣接する画素信号の濃淡変化を滑らかにする平均化フィルタ、或いは画像信号に含まれる空間周波数成分のうち、低周波成分は残し、高周波成分を除去するようなＬＰＦ（Low Pass Filter）を採用することができる。上記平均化フィルタやＬＰＦは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１３１頁から１３３頁に記載されているものを採用することができる。変換テーブル６７は、拡張処理部４５から出力される補正エッジ差分比に基づいて、入力画像とぼかし画像との合成度合いを表わす加算比率Ｋを、入力画像の画素毎に導出する。
【００８６】
図１８は、変換テーブル６７が、加算比率Ｋを導出するための関数を示している。図１８において、変換テーブル６７は、補正エッジ差分比が閾値ＴＨＥよりも小さければ、加算比率を０とし、補正エッジ差分比が１．０以上であれば１とする。補正エッジ差分比が閾値ＴＨＥ以上であり１．０より小さければ、補正エッジ差分比が増加するにつれて加算比率Ｋを線形的に増加させる。なお、非線形に増加させるものとしても構わないが単調増加するものが好ましい。
【００８７】
加重加算処理部６８は、入力画像とぼかし画像を加算比率Ｋに基づいて合成し、出力画像を生成する。具体的には、画素毎に下記式（４）の加重加算処理により出力画像を生成する。
出力画像＝（入力画像×加算比率Ｋ）＋（ぼかし画像×（１−加算比率Ｋ）） ・・・（４）
上記式（４）によると、例えば、入力画像が、図３（ａ）の入力画像１００場合、人物１０１については、補正エッジ差分比が大きくなるため人物１０１の画像に対応する画素の加算比率ＫはＫ＝１或いは１に近い値となる。従って出力画像における人物１０１の画像は、入力画像１００の人物１０１の画像とほぼ等しくなる。
【００８８】
一方、入力画像１００の建物１０２の画像については、ピントが合っていないことから、補正エッジ差分比は１より小さい値となる。従って、加算比率Ｋがゼロに近づき、出力画像における建物１０２の画像は、入力画像１００の建物１０２の画像にぼかし画像の建物１０２の画像が混合されるため、入力画像１００の建物１０２の画像よりもぼかし効果が大きい画像となる。この結果、出力画像は、人物１０１が強調されて見える画像となる。
【００８９】
尚、当然のことながら、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例における変換テーブル４６、ぼかし処理部４７及びエッジ強調処理部４８それぞれに替えて、図１７の第６実施例における変換テーブル６７、ぼかし処理部６６及び加重加算処理部６８それぞれを採用することができる。
【００９０】
第２、第４又は第５実施例を変形した場合、変換テーブル６７へは、周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が周波数成分比となる。
【００９１】
第３実施例を変形した場合には、水平周波数成分比又は垂直周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が水平周波数成分比又は垂直周波数成分となる。
【００９２】
図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例におけるぼかし処理部４７に替えて変換テーブル４６から出力されるぼかし度合に応じてＹ信号の大きさのみを低減する可変輝度低減処理部（図示せず。）を採用することができる。また、図１７の第６実施例におけるぼかし処理部６６に替えてＹ信号の大きさのみを低減する固定輝度低減処理部（図示せず。）を採用することができる。これにより、例えば、入力画像が、図３（ａ）の入力画像１００の場合、ピントの合っていない建物１０２の輝度が低減され、人物１０１が強調されて浮き立って見える出力画像を取得することができる。
【００９３】
また、図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例におけるぼかし処理部４７に替えて変換テーブル４６から出力されるぼかし度合に応じてＵ、Ｖ信号の大きさのみを低減する可変彩度低減処理部（図示せず。）を採用することができる。また、図１７の第６実施例におけるぼかし処理部６６に替えてＵ、Ｖ信号の大きさのみを低減する固定彩度低減処理部（図示せず。）を採用することができる。これにより、例えば、入力画像が、図３（ａ）の入力画像１００の場合、ピントの合っていない建物１０２の彩度が低減され、人物１０１が強調されて浮き立って見える出力画像を取得することができる。
【００９４】
また、本実施例及び変形例では、強調画像生成処理を入力画像の画素単位で行なっているが、これに限られるものではない。例えば、複数の画素からなる小領域を強調画像生成処理を施す単位とすることもできる。これによると、強調画像生成処理の処理量を軽減することができる。
【００９５】
図１９は、撮像装置１が強調画像を生成するまでの一連の処理を示すフローチャートである。ステップＳ１００において、撮像装置１の電源がＯＮされると、ステップＳ１０１へ進む。
【００９６】
ステップＳ１０１では、撮影者が撮像装置１の動作モードを選択する。撮像装置１は、動画及び静止画を撮影する撮影モードと既に撮影され外部メモリ２２に記録された撮影画像を再生する再生モードを有する。ここでは、撮影者により撮影モードが選択され、さらに強調画像生成モードが選択されているものとする。
【００９７】
ステップＳ１０２では、撮像装置１は、プレビューモードへ移行する。プレビューモードでは、レンズ部３を経由してイメージセンサ２の光電変換によって得られたアナログの画像信号がＡＦＥ４においてデジタルの画像信号に変換されて画像処理部７へ出力される。そして、画像処理部７において、当該デジタルの画像信号は、ＡＦ処理、ＡＥ処理及びホワイトバランス処理等の画像処理が施され、画像信号出力部１２を経て表示部１３に表示される。
【００９８】
ステップＳ１０３では、撮影者によって撮影対象の構図やズーム倍率が調整される。
【００９９】
ステップＳ１０４では、撮像装置１が、ステップＳ１０３で設定された構図やズーム倍率の下でＡＦ／ＡＥ／ＡＷＢ制御を実行する。
【０１００】
ステップＳ１０５では、ＣＰＵ１７は、操作部１９のシャッタボタンがいわゆる半押しされたかどうかを判定する。
【０１０１】
撮像装置１の操作部１９には、静止画撮影のためのシャッタボタン（図示せず。）が備えられている。シャッタボタンは２段階スイッチとなっており、撮影者がシャッタボタンを略半分まで押し込むと第１スイッチがＯＮされる。シャッタボタンが最後まで押し込まれる（以下、シャッタボタンを最後まで押し込むことを全押しと記載する。）と第２スイッチがＯＮされる。
【０１０２】
シャッタボタンが半押しされたと判断されると、ステップＳ１０６へ進む。そうでなければステップＳ１０２へ戻り、撮像装置１はプレビューモードを継続する。
【０１０３】
ステップＳ１０６では、撮像装置１が、ＡＦ機能により撮影者が注目する被写体（例えば、図３（ａ）の人物１０１。）にピントを合わせるとともに、ＡＥ機能により絞り３２の開口量の設定、イメージセンサ２の露光時間（即ち、シャッタスピード。）の設定及びＡＷＢ機能による色相の設定を行なう。
【０１０４】
ステップＳ１０７では、ＣＰＵ１７は、シャッタボタンが全押しされたかどうかを判断する。全押しされたと判断した場合は、ステップＳ１０８へ進む。そうでない場合、即ち半押しの状態が維持されている場合は、撮像装置１は、全押しされるまでステップＳ１０７で設定された撮影条件を維持する。
【０１０５】
ステップＳ１０８では、撮像装置１は、ステップＳ１０６で設定された撮影条件で静止画撮影することにより、例えば、図３（ａ）の入力画像１００を取得し、ＲＡＷデータあるいはＹＵＶ形式で入力画像をフレームメモリ５に格納し、ステップＳ１０９へ進む。
【０１０６】
ステップＳ１０９では、ＣＰＵ１７は、強調画像生成モードに設定されているか否かを判断する。強調画像生成モードに設定されている場合は、ステップＳ１１０へ進む。そうでない場合は、ステップＳ１１１へ進む。
【０１０７】
ステップＳ１１０では、撮影により取得した入力画像から、本実施例及び変形例のいずれかに記載の強調画像生成処理により強調画像を生成し、ステップＳ１１２へ進む。
【０１０８】
ステップＳ１１１では、ＣＰＵ１７の制御の下、画像処理部７によって撮影により取得した入力画像に対し画像処理が施され、続いて圧縮処理部９により圧縮処理が施され、外部メモリ２２に格納される。そして、ステップＳ１０２へ戻る。
【０１０９】
ステップＳ１１２では、ＣＰＵ１７の制御の下、画像処理部７によって撮影により取得した入力画像１００及び強調画像に対し画像処理が施され、続いて圧縮処理部９により圧縮処理が施され、外部メモリ２２に格納される。そして、ステップＳ１０２へ戻る。
【０１１０】
＜実施例７＞
図２０は、画像処理部７における強調画像生成処理の第７実施例を説明する図である。図２０において、図１７と同一の番号を付している部位は、第６実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。図２０において、ぼかし処理部６９は、入力画像にぼかし処理を施すことによりぼかし画像を生成し出力する。ぼかし処理部６９は、例えば、入力画像に対し画素信号の濃淡変化を滑らかにする平均化フィルタ、画像信号に含まれる空間周波数成分のうち低周波成分を残しつつ高周波成分を除去するようなＬＰＦ（Low Pass Filter）、或いは、処理の対象となる画素に近いほど大きな重みを付け、その重みをガウス分布に近づけたガウシアンフィルタ等を用いることによりぼかし処理を実現する。以下、ぼかし処理を実現するフィルタをぼかしフィルタと記載する。
【０１１１】
ぼかし処理部６９は、拡張処理部４５から出力される入力画像の各画素の補正エッジ差分比を０．０以上１．０以下の範囲に収まるように正規化し、かかる正規化された補正エッジ差分比を各画素の合焦度合として利用する。ぼかし処理部６９は、ぼかし処理の対象となる画素（以下、注目画素と記載する。）にぼかし処理を施す際に、当該注目画素の合焦度合に応じて、ぼかし処理によるぼかし度合を変更する。以下、ぼかし処理部６９によるぼかし処理の実施例について説明する。
【０１１２】
＜実施例７−１＞
ぼかし処理部６９は、入力画像における注目画素の合焦度合に応じて、ぼかしフィルタのフィルタサイズを変更する。ぼかし処理部６９は、注目画素の合焦度合が、予め定められた所定の閾値ＴＨ１以上の場合には、ぼかしフィルタのフィルタサイズを小さくし、注目画素の合焦度合が所定の閾値ＴＨ１より小さい場合には、フィルタサイズを大きくする。
【０１１３】
例えば、所定の閾値を０．５とした場合、ぼかし処理部６９は、注目画素の合焦度合が０．５以上の場合には、当該注目画素はピントが合っている状態に近いと判断し、フィルタサイズを３×３とする。他方、注目画素の合焦度合が０．５より小さい場合には、当該注目画素はピントが合っていない状態に近いと判断し、フィルタサイズを５×５とする。
【０１１４】
画像処理部６９による上記ぼかし処理によると、注目画素が、ピントの合っている状態に近い場合は、注目画素の極近傍、例えば、当該注目画素に隣接する画素のみの画素値を利用してフィルタ処理がなされる。このため当該注目画素のぼかし度合は小さくなる傾向となる。他方、注目画素がピントの合っていない状態に近い場合には、当該注目画素の極近傍の画素のみならず、注目画素から離れた位置にある画素の画素値を利用してフィルタ処理がなされる。このため当該注目画素のぼかし度合は大きくなる傾向となる。即ち、入力画像は、ピントの合っている状態に近い画素に対してはぼかし度合が小さくなるように、ピントの合っていない状態に近い画素に対してはぼかし度合が大きくなるように、ぼかし処理が施されることになる。この結果、ピントの合った被写体が強調された画像をより一層効果的に生成することができる。
【０１１５】
＜実施例７−２＞
ぼかし処理部６９は、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。ぼかし処理部６９は、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。今、ぼかし処理部６９が、フィルタサイズ５×５のぼかしフィルタを用いるものとする。
【０１１６】
図２１（ａ）は、フィルタサイズが５×５のぼかしフィルタを示している。ぼかしフィルタは、２５個の要素が配列されて構成される。ぼかしフィルタを構成する２５個の要素それぞれをぼかしフィルタ要素と呼ぶ。図２１（ａ）においてａ〜ｙは、各ぼかしフィルタ要素を示している。各ぼかしフィルタ要素はそれぞれ所定のフィルタ係数を有している。図２１（ｂ）においてＣａ〜Ｃｙは、各ぼかしフィルタ要素が有するフィルタ係数である。尚、各ぼかしフィルタ要素の係数Ｃａ〜Ｃｙをまとめてぼかしフィルタのフィルタ係数と記載する場合もある。ここで、ぼかしフィルタによるぼかし処理の対称となる入力画像中の注目画素は、ぼかしフィルタ要素ｍに対応する画素となる。
【０１１７】
ぼかし処理部６９は、注目画素（ぼかしフィルタ要素ｍに対応する画素）と各ぼかしフィルタ要素（ぼかしフィルタ要素ｍを除く）に対応する画素の合焦度合に基づいて、ぼかしフィルタにマスク処理を施すためのマスクフィルタを生成する。生成されるマスクフィルタのフィルタサイズはぼかしフィルタのフィルタサイズと同じである。ここで、マスクフィルタについてのマスクフィルタ要素及びマスクフィルタのフィルタ係数の用語の意味は、ぼかしフィルタの場合と同様である。次に、ぼかし処理部６９は、ぼかしフィルタのフィルタ係数それぞれにマスクフィルタのフィルタ係数を乗じることにより補正ぼかしフィルタを生成する。
【０１１８】
ぼかし処理部６９は、例えば、以下のような規則に従いマスクフィルタを生成する。
（１）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１より大きい場合、
（１−１） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１１９】
（１−２） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１２０】
（２）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１以下である場合、
（２−１） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１２１】
（２−２） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１２２】
図２２は、ぼかし処理部６９による、入力画像２００に対するぼかし処理を説明するための図である。入力画像２００では、人物２０１にピントが合っているものとする。ぼかし処理部６９は、ぼかしフィルタの位置を水平方向および垂直方向に１画素ずつシフトさせつつ、各位置においてマスクフィルタを生成する。そして、生成したマスクフィルタ及びぼかしフィルタに基づいて補正ぼかしフィルタを生成し、該補正ぼかしフィルタにより注目画素にぼかし処理を施す。
【０１２３】
ぼかしフィルタが位置Ａにある場合に、ぼかし処理部６９がどのようにぼかし処理を施すかを説明する。ぼかしフィルタが位置Ａにある場合、ぼかしフィルタ要素ｍに対応する画素は、ピントの合っている人物２０１の顔の一部の画素であり、その合焦度合がＴＨ１より大きいく１以下であるものとする。また、ぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕ、ｖ、ｗに対応する画素のそれぞれの合焦度合が０以上、ＴＨ１以下で、ぼかしフィルタ要素ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｘ、ｙに対応する画素のそれぞれの合焦度合がＴＨ１より大きく１以下であるものとする。
【０１２４】
この場合、ぼかし処理部６９は、規則（１−２）に従ってぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕ、ｖ、ｗに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（１−１）に従ってぼかしフィルタ要素ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を１として、図２３（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２３（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は、生成した補正ぼかしフィルタを用いて、位置Ａにおける入力画像２００の注目画素にぼかし処理を施す。即ち、ぼかし処理部６９は、合焦度合がＴＨ１以上の注目画素にぼかし処理を施す場合には、合焦度合がＴＨ１以上の画素の画素値のみを用いてぼかし処理を施す。これにより、ピントの合っている注目画素に対するぼかし処理において、ピントのあっていない画素の色が混ざることにより起こる色にじみを軽減することができる。
【０１２５】
ぼかしフィルタが位置Ｂにある場合、ぼかしフィルタ要素ｍに対応する画素は、ピントの合っていない人物２０２の体の一部の画素であり、その合焦度合が０以上、ＴＨ１以下であるものとする。また、ぼかしフィルタ要素ａ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕに対応する画素のそれぞれの合焦度合がＴＨ１より大きく１以下、ぼかしフィルタ要素ｂ、ｃ、ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｖ、ｗ、ｘ、ｙに対応する画素のそれぞれの合焦度合が０以上、ＴＨ１以下であるものとする。
【０１２６】
このとき、ぼかし処理部６９は、規則（２−１）に従ってぼかしフィルタ要素ａ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（２−２）に従ってぼかしフィルタ要素ｂ、ｃ、ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｖ、ｗ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を１として、図２４（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２４（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は生成した補正ぼかしフィルタを用いて、位置Ｂにおける入力画像２００の注目画素にぼかし処理を施す。
即ち、ぼかし処理部６９は、合焦度合がＴＨ１より小さい注目画素にぼかし処理を施す場合には、合焦度合がＴＨ１より小さい画素の画素値のみを用いてぼかし処理を施す。これにより、ピントの合っていない注目画素に対するぼかし処理において、ピントのあっている画素の色が混ざることにより起こる色にじみを軽減することができる。
【０１２７】
＜実施例７−３＞
ぼかし処理部６９は、実施例７−２と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２との相違点について説明する。
【０１２８】
ぼかし処理部６９は、０．０以上１．０以下の範囲の合焦度合を予め定められた所定範囲毎に区切ることにより３つ以上の小範囲に細分化する。そして、注目画素（ぼかしフィルタ要素ｍに対応する画素）と各ぼかしフィルタ要素（ぼかしフィルタ要素ｍを除く）に対応する画素の合焦度合が細分化された小範囲のいずれに属するかに基づいてマスクフィルタを生成する。そして、ぼかしフィルタと生成されたマスクフィルタに基づいて補正ぼかしフィルタを生成し、当該補正ぼかしフィルタを用いて注目画素にぼかし処理を施す。
【０１２９】
ぼかし処理部６９は、例えば、合焦度合を３つの小範囲に細分化し、以下のような規則に従いマスクフィルタを生成する。
【０１３０】
（３）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１より大きく、予め定められた所定の閾値ＴＨ２以下の場合、
（３−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３１】
（３−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１３２】
（３−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３３】
（４）注目画素の合焦度合が予め定められた所定の閾値ＴＨ２より大きく１以下である場合、
（４−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１３４】
（４−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３５】
（４−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３６】
（５）注目画素の合焦度合が０以上で予め定められた閾値ＴＨ１以下である場合、
（５−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３７】
（５−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３８】
（５−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１３９】
図２５は、ぼかし処理部６９による、ぼかし処理を説明するための図である。図２５の入力画像３００において、人物３０１は、顔部分３０１ａ、胴体部分３０１ｂ、腕部分３０１ｃから成る。人物３０１は青色の衣服を着ているものとする。このため胴体部分３０１ｂ及び腕部分３０１ｃは青色である。また、ハンドル３０２は赤色、背景３０３は緑色であるものとする。
【０１４０】
入力画像３００では、ハンドル３０２及び腕部分３０１ｃにピントが合っており、その合焦度合がＴＨ２より大きいものとする。また、人物３０１の胴体部分３０１ｂの合焦度合がＴＨ１より大きくＴＨ２以下であり、背景３０３の合焦度合が０以上、ＴＨ１以下であるものとする。以下、ぼかしフィルタが位置Ｃにある場合に、ぼかし処理部６９が、どのようにぼかし処理を施すかを説明する。
【０１４１】
図２５において、ぼかし処理の注目画素は、補正フィルタのフィルタ要素ｍに対応する画素である。当該注目画素は、ハンドル３０２の隙間に存在する人物３０１の胴体３０１ｂの一部分の画素である。従って、その合焦度合は上記したようにＴＨ１より大きくＴＨ２以下となる。今、フィルタ要素ｄ、ｇ、ｋ、ｍ、ｑの合焦度合はＴＨ１より大きくＴＨ２以下であるものとする。
【０１４２】
また、フィルタ要素ａ、ｂ、ｃ、ｆ、ｈ，ｉ、ｌ、ｎ、ｐ、ｒ、ｓ、ｕ、ｖ、ｗの合焦度合はＴＨ２より大きく１以下であるものとする。
【０１４３】
また、フィルタ要素ｅ、ｊ、ｏ、ｔ、ｘ、ｙの合焦度合は０以上、ＴＨ１以下であるものとする。
【０１４４】
このとき、ぼかし処理部６９は、規則（３−１）に従い、ぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｈ，ｉ、ｌ、ｎ、ｐ、ｒ、ｓ、ｕ、ｖ、ｗに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（３−２）に従い、ぼかしフィルタ要素ｄ、ｇ、ｋ、ｍ、ｑに対応するマスクフィルタ要素のフィルタ係数を１とし、規則（３−３）に従い、ぼかしフィルタ要素ｅ、ｊ、ｏ、ｔ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を０として、図２６（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２６（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は生成した補正ぼかしフィルタを用いて、位置Ｃにおける入力画像３００の注目画素にぼかし処理を施す。
【０１４５】
かかる補正ぼかしフィルタによるぼかし処理によると、合焦度合が注目画素と同じ範囲にある画素の画素値のみを用いてぼかし処理が施されるため、合焦度合が異なる画素の画素値が混ざることにより起こる色にじみを軽減することができる。従って、入力画像３００において、青色の注目画素（ハンドル３０２の隙間に存在する青色の胴体３０１ｂの一部分の画素）のぼかし処理には、赤色や緑色の割合の多い画素は用いられず、青色の割合の多い画素が用いられることになるため、ぼかし処理後の注目画素に赤色や緑色が混ざることを軽減することができる。
【０１４６】
＜実施例７−４＞
ぼかし処理部６９は、実施例７−２、実施例７−３と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２及び実施例７−３との相違点について説明する。
【０１４７】
ぼかし処理部６９は、例えば、ピントの合った被写体が水平方向へ移動しているシーンの画像が入力された場合、その移動のスピード感を強調する、所謂流し取りの効果を奏するぼかし処理を施す。
【０１４８】
図２７は、ぼかし処理部６９による、流し取り効果を奏するぼかし処理を説明するための図である。図２７（ａ）において、入力画像４００では、人物４０１にピントが合っているものとする。入力画像４００は、人物４０１が水平方向左側から右側へ移動しているシーンの画像である。
【０１４９】
ぼかし処理部６９は、人物４０１の水平移動方向（左側から右側へ向かう方向）とは反対の水平方向（右側から左側へ向かう方向）に進むに連れて、ぼかし処理に用いるぼかしフィルタの最後尾の列に新たなぼかしフィルタ要素の列を追加することにより新たなぼかしフィルタを生成していく。尚、ぼかしフィルタの最後尾の列とは、人物４０１の水平移動方向と反対の方向を進行方向とした場合の最後尾の列である。
【０１５０】
図２７（ｂ）において、ぼかし処理部６９が、位置Ｄにおいて注目画素（フィルタ要素ｍに対応する画素）に対するぼかし処理を施す際に用いるぼかしフィルタ４０２のフィルタサイズは、５×５である。
【０１５１】
図２７（ｃ）において、図２７（ｂ）から１画素左側にシフトした位置Ｅ（即ち、水平右方向から左方向へ進めたと見ることができる。）で注目画素（フィルタ要素ｍに対応する画素）にぼかし処理を施す場合、ぼかし処理部６９は、ぼかしフィルタ４０２の右端の列（ぼかしフィルタ要素ｅ、ｊ、ｏ、ｔ、ｙからなる列）にぼかしフィルタ要素イ、ロ、ハ、ニ、ホからなる列を追加し、フィルタサイズが５×６のぼかしフィルタ４０３を生成する。そして、かかるぼかしフィルタ４０３にマスク処理を施した補正ぼかしフィルタを生成し、ぼかし処理を施す。
【０１５２】
さらに、図２７（ｄ）において、図２７（ｃ）から１画素左側にシフトした位置Ｆ（即ち、更に水平右方向から左方向へさらに進めたと見ることができる。）で注目画素（フィルタ要素ｍに対応する画素）にぼかし処理を施す場合、ぼかし処理部６９は、ぼかしフィルタ４０３の右端の列（ぼかしフィルタ要素イ、ロ、ハ、ニ、ホからなる列）にフィルタ要素ヘ、ト、チ、リ、ヌからなる列を追加し、フィルタサイズが５×７のぼかしフィルタ４０４を生成する。そして、かかるぼかしフィルタ４０４にマスク処理を施した補正ぼかしフィルタを生成し、ぼかし処理を施す。
【０１５３】
図２８は、図２７（ａ）の入力画像４００に、上記のようにぼかし処理を施すことによって生成されたぼかし画像を示している。
【０１５４】
このように、ピントの合った特定被写体が水平方向に移動するシーンの入力画像にぼかし処理を施す場合において、ぼかし処理部６９が、特定被写体の水平移動方向と反対方向に向って配列されている画素にぼかし処理を施す際に、当該反対方向に進むに連れてぼかし処理に用いるぼかしフィルタのフィルタサイズを特定被写体の水平移動方向に向って大きくしていくことにより、移動する特定被写体のスピード感を強調したぼかし画像を生成することができる。
【０１５５】
＜実施例７−５＞
ぼかし処理部６９は、実施例７−２、実施例７−３と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２及び実施例７−３との相違点について説明する。
【０１５６】
ぼかし処理部６９は、例えば、入力画像が、ピントの合った被写体が撮影時に撮影方向を撮像装置に向って移動しているようなシーンの画像である場合、その移動のスピード感を強調する、所謂ズーム流し取りの効果を奏するぼかし処理を施す。
【０１５７】
図２９は、ぼかし処理部６９による、ズーム流し取り効果を奏するぼかし処理を説明するための図である。図２９において、入力画像５００は、人物５０１が撮影時に撮影方向を撮像装置に向って移動しているシーンの画像である。入力画像５００では、人物５０１にピントが合っているものとする。
【０１５８】
ぼかし処理部６９は、人物５０１を除くその他の被写体に対してぼかし処理を施す場合、人物５０１の重心の位置を導出し、当該重心の位置から離れるに連れて、ぼかし処理に用いるぼかしフィルタのサイズを大きくしていく。即ち、ピントの合っていないと判断される画素に対してぼかし処理を施す場合には、ピントの合っていると判断される画素群の重心を導出し、当該重心から離れるに連れて、ぼかし処理に用いるぼかしフィルタのサイズを大きくしていく。
【０１５９】
図２９において、ぼかし処理部６９が、位置Ｇにおいて注目画素（ぼかしフィルタ要素ｍに対応する画素）に対するぼかし処理を施す際に用いるぼかしフィルタ５０２のフィルタサイズは、５×５である。尚、ぼかしフィルタ要素ｍに対応する画素が人物５０１の重心であるとする。
【０１６０】
図２９において、位置Ｈにおける注目画素（フィルタ要素ｍに対応する画素）は、ピントの合っていないと判断される画素であるものとする。この場合、ぼかし処理部６９は、ぼかしフィルタ５０３のフィルタサイズを７×７とする。さらに、位置Ｈにおける注目画素（フィルタ要素ｍに対応する画素）は、ピントの合っていないと判断される画素であり、当該注目画素は、位置Ｈにおける注目画素よりも人物５０１の重心から離れている。従って、ぼかし処理部６９が、ぼかしフィルタ５０４のフィルタサイズを８×８とする。
【０１６１】
このようなぼかし処理によると、ピントの合っていないと判断される画素については、ピントの合っている被写体の重心から遠ざかるにつれてぼかし処理によるぼかし度合が大きくなる傾向となる。これにより、ピントの合った被写体が撮影方向を撮像装置に向ってくるときのスピード感を強調したぼかし画像を生成することができる。
【０１６２】
＜第８実施例＞
図３０は、画像処理部７における強調画像生成処理の第８実施例を説明する図である。図３０において、図１７と同一の番号を付している部位は、第６実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【０１６３】
撮影対象に人物が含まれており、当該人物の顔にピントが合わせられるとともに、当該人物の顔が比較的大きく撮影された撮影画像は、撮影者が当該人物を主要被写体として撮影したと考えられる。このような撮影画像に対しては、合焦度合の低い背景画像（主要被写体を除く他の撮影対象の撮影画像）に、ぼかし度合のより大きなぼかし処理を施すことが、撮影者の意図に沿うと考えられる。
【０１６４】
他方、撮影対象に人物が含まれているものの、被写界深度が深く、撮影対象の略全体に対してピントが合わせられるとともに、当該人物の顔が比較的小さく撮影された撮影画像は、撮影者が当該人物を含む撮影対象全体を主要被写体として撮影したと考えられる。このような撮影画像に対しては、合焦度合の低い部分があったとしても、ぼかし度合のより小さいぼかし処理を施す、或いは、ぼかし処理を施さないことが撮影者の意図に沿うと考えられる。
【０１６５】
図３０において、顔検出処理部７０は、入力画像から注目被写体と考えられる人物の顔画像領域を検出するとともに、検出した顔画像領域の入力画像領域全体に占める割合に応じて、後述するぼかし処理部７１によるぼかし度合を調整する。顔画像領域の入力画像領域全体に占める割合は、例えば、入力画像領域の画素数に対する顔画像領域の画素数の割合を計算することで算出することができる。
【０１６６】
顔画像領域の入力画像領域全体に占める割合が、例えば３０％以上であれば、撮影者は当該人物を主要被写体とした、いわゆるポートレート（人物画）を撮影しようとしていると考えられる。他方、顔画像領域の入力画像領域全体に占める割合が、所定割合未満、例えば３０％未満であれば、撮影者は撮影対象全体を主要被写体とした、いわゆるランドスケープ（風景画）を撮影しようとしていると考えられる。
【０１６７】
従って、顔検出部７０は、顔画像領域の入力画像領域全体に占める割合が、あらかじめ決められた所定割合以上であれば、人物がより強調されて、浮き立ったように見えるように後述するぼかし処理部７１によるぼかし度合を大きくする。他方、顔画像領域の入力画像領域全体に占める割合が、当該所定割合未満である場合は、撮影対象全体のぼけ具合が小さくなる、あるいは全く無くなるように、後述するぼかし処理部７１によるぼかし度合を小さくする、あるいはぼかし度合をゼロにする。
このような処理により、撮影者が、人物を主要被写体とした撮影を行う場合には、人物がより一層強調された撮影画像を取得することができる。他方、撮影対象全体を主要被写体とした撮影を行う場合には、被写界深度を深くして、撮影対象全体にピントが合うように撮影された元の撮影画像にほぼ等しい画像を取得することができる。
【０１６８】
顔検出部７０は、入力画像中に複数の人物顔を検出した場合には、例えば、最も顔画像領域の大きい人物顔を選択する、撮影画像の中心から最も近い位置に存在する人物顔を選択する、或いは、拡張処理部４５から出力される補正エッジ差分比の平均が最も高い顔画像領域を選択する等、あらかじめ設定された条件に合致する顔画像を選択する。
【０１６９】
図３０において、ぼかし処理部７０は、入力画像にぼかし処理を施し、ぼかし画像を出
力する。ぼかし処理部７０は、例えば、隣接する画素信号の濃淡変化を滑らかにする平均
化フィルタ、或いは画像信号に含まれる空間周波数成分のうち、低周波成分は残し、高周
波成分を除去するようなＬＰＦ（Low Pass Filter）を採用することができる。上記平均
化フィルタやＬＰＦは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」
（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１３１頁から１３
３頁に記載されているものを採用することができる。
【０１７０】
ぼかし処理部７０は、ぼかしフィルタのフィルタサイズを大きくすることによって、ぼかし度合を大きくすることができ、逆に、フィルタサイズを小さくすることによって、ぼかし度合を小さくすることができる。さらに、注目画素に対するフィルタ係数を１として、注目画素以外のフィルタ係数を０とすることにより、ぼかし度合をゼロとすることができる。その他、例えば、フィルタサイズを７×７に固定する場合には、注目画素から離れるに連れてフィルタ係数を大きくすることにより、ぼかし度合を大きくすることができ、反対に注目画素に近づくに連れてフィルタ係数を大きくすることにより、ぼかし度合いを小さくすることができる。
【０１７１】
ぼかし処理部７０は、顔検出部７０から顔画像領域の入力画像領域全体に占める割合が所定割合以上であることを示す信号が入力されると、例えば、フィルタサイズを７×７とする。他方、顔検出部７０から顔画像領域の入力画像領域全体に占める割合が所定割合未満であることを示す信号、或いは顔画像領域が検出されなかったことを示す信号が入力されると、例えば、フィルタサイズを３×３とする、或いは注目画素に対するフィルタ係数を１として、その他のフィルタ係数を０とする。
【０１７２】
尚、当然のことながら、図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例、及び図１５の第５実施例における変換テーブル４６、ぼかし処理部４７及びエッジ強調処理部４８に替えて、図３０の第８実施例における変換テーブル６７、顔検出処理部７０、ぼかし処理部７１及び加重加算処理部６８を採用することができる。
【０１７３】
第２、第４又は第５実施例を変形した場合、変換テーブル６７へは、周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が周波数成分比となる。第３実施例を変形した場合には、水平周波数成分比又は垂直周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が水平周波数成分比又は垂直周波数成分となる。
【０１７４】
顔検出処理部７０による顔検出処理について説明する。図３０において、顔検出処理部７０には、Ｙ、Ｕ、Ｖ信号からなる入力画像の画像信号が入力される。顔検出処理部７０は、入力画像の画像信号に基づき、入力画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出処理部７０は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。
【０１７５】
典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。このような顔検出方法は、特開２００７−２６５３９０に詳しく記載されている。
【０１７６】
上記第８実施例では、人物の顔画像を例に説明したが、人物の顔画像に限らず、動物の顔画像であっても、同様に実現することができる。
【０１７７】
＜第９実施例＞
第１実施例を表す図５、第２実施例を表す図１０、第３実施例を表す図１２、第４実施例を表す図１３、及び第５実施例を表す図１５、において、拡張処理部４５が補正エッジ差分比をぼかし処理部４７へも出力することとすることができる。そして、ぼかし処理部４７は、所定値以上の補正エッジ差分比をカウントする。ぼかし処理部４７は、入力画像の全画素数に対するカウント値の割合が所定割合以上の場合には、変換テーブル４６からの出力に基づくぼかし度をより大きくしてぼかし処理を施すこととすることができる。逆に、所定割合未満の場合には、変換テーブル４６からの出力に基づくぼかし度をより小さくする、或いはゼロにすることができる。
【０１７８】
＜第１０実施例＞
第６実施例を表す図１７において、例えば、拡張処理部４５が補正エッジ差分比をぼかし処理部６６へも出力することとすることができる。そして、ぼかし処理部６６は、所定値以上の補正エッジ差分比をカウントする。ぼかし処理部６６は、入力画像の全画素数に対するカウント値の割合が所定割合以上の場合には、ぼかし度を大きくしてぼかし処理を施すこととすることができる。逆に、所定割合未満の場合には、ぼかし度を小さくする、或いはゼロとするぼかし処理を施すこととすることができる。
【０１７９】
第９実施例及び第１０実施例によると、補正エッジ差分比の数が比較的多い入力画像、即ち、ピントの合っている被写体が比較的大きい入力画像については、ピントが合っていない背景画像がよりぼかされた画像を取得することができる。他方、補正エッジ差分比の数が比較的少ない入力画像、即ち、ピントの合っている被写体が比較的小さい入力画像については、元の入力画像に近い画像を取得することができる。
【０１８０】
以上述べたように、本願発明では、入力画像の各画素或いは各領域（以下、各画素等と記載する。）の合焦度合（換言すると、各画素等の画像信号が、ピントが合っている画素等の画像信号からどの程度ずれているかの度合。）を導出し、当該合焦度合に応じて、各画素等の画像信号を低減する。具体的には、合焦度合が小さいほど、画像信号の高周波成分、Ｙ信号（輝度信号）又はＵ及びＶ信号（彩度信号）を低減する。
【０１８１】
かかる処理により、撮像装置１の撮影者は、例えば、入力画像１００の背景１０２をぼかすとともに人物１０１を強調して、その結果人物１０１が浮き立ったような“ぼけ味”のある強調画像を取得することができる。
【符号の説明】
【０１８２】
１ 撮像装置
５ 画像処理部
４１ ＹＵＶ生成部
４２ 極局所領域抽出部
４３ 局所領域抽出部
４４ エッジ差分比算出部
４５ 拡張処理部
４６ 変換テーブル部
４７ ぼかし処理部
４８ エッジ強調処理部
【技術分野】
【０００１】
本発明は、撮影者が焦点を合わせた被写体が強調された撮影画像を取得できる画像処理装置及び撮影装置に関する。
【背景技術】
【０００２】
現在、CCD（Charge Coupled Device）センサやCMOS（Complimentary Metal Oxide Semiconductor）センサ等の固体撮像素子を用いたデジタルカメラやデジタルビデオカメラ等の撮影装置が広く普及している。
【０００３】
ところで、撮影対象のうち、ピントの合った被写体が鮮明に撮影され、ピントの合った被写体を除く他の被写体がピントがぼけたように撮影され、この結果、全体としてピントの合った被写体が強調されて浮き立ったような、いわゆる“ぼけ味”のある撮影画像を取得するためには、例えば、固体撮像素子のサイズやこの固体撮像素子に撮影画像を結像させるためのレンズの口径が大きいタイプの撮影装置を用いる必要がある。このようなタイプの撮影装置によると、被写界深度を十分に浅くして撮影することができるため、ピントの合った被写体を浮き立たせた、いわゆる“ぼけ味”のある撮影画像を取得することができる。
【０００４】
しかしながら、固体撮像素子のサイズやレンズの口径の小さい、いわゆるコンパクトタイプのデジタルカメラのような撮影装置を用いた場合には、被写界深度を十分に浅くして撮影ができないため“ぼけ味”のある撮像画像を取得することが困難であった。また、どちらのタイプの撮影装置であっても、ピントの合った被写体と他の被写体との間に輝度差や彩度差等を付与することによってピントの合った被写体が強調された撮影画像を取得することは困難であった。
【０００５】
尚、下記特許文献１には、画像処理によりぼけ味のある画像を取得する発明が開示されている。かかる画像処理によると、まず、１つの基準画像データを被写体領域の画像データと背景領域の画像データという別個独立した２つの画像データに分離して出力する。そして、分離された背景画像データにぼかし処理を施した後、ぼかし処理後の背景画像データと基準画像データとを合成する。合成後、背景領域と被写体領域の境界線がギザギザとなり違和感が生じることを防ぐためにアンチエイリアジング処理を施す。かかる一連の処理により”ぼけ味”の或る画像を取得することができる。このように、下記特許文献１では、”ぼけ味”の或る画像を取得できるものの、上記した一連の複雑な処理を必要とするものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2005-229198号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで本願発明は、上記課題に鑑みてなされたものであり、撮像素子やレンズの口径の大きさに依存することなく、ピントの合った被写体が強調された撮影画像を、比較的簡易に取得できる画像処理装置及び撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願の第１発明に係る画像処理装置は、複数の小領域からなる第１撮影画像に対してにぼかし処理を施し第２撮影画像を生成する第２撮影画像生成手段と、各小領域の合焦度合を導出する合焦度導出手段と、合焦度導出手段により導出された各小領域の合焦度合が小さいほど第２撮影画像の混合割合を大きくして、第１撮影画像における各小領域と第２撮影画像における各小領域に対応する第２小領域を合成処理する合成処理手段と、を備えている。そして、第２撮影画像生成手段は、第１撮影画像から顔画像領域を検出する顔領域検出手段と、検出された顔画像領域に基づいて、第１撮影画像にぼかし処理を施すことにより第２撮影画像を生成するぼかし処理手段とを備えている。
【０００９】
本願の第２発明に係る画像処理装置は、本願第１発明に係る画像処理装置において、ぼかし処理手段が検出された顔画像領域の第１撮影画像領域に対する割合が所定割合以上である場合に、ぼかし度合を大きくするぼかし処理を施し、所定割合未満である場合には、ぼかし度合を小さくする、或いはぼかし度合をゼロとするぼかし処理を施すことを特徴とする。
【００１０】
本願の第３発明に係る画像処理装置は、本願第１又は第２発明に係る画像処理装置において、合焦度導出手段が各小領域における輝度信号の遷移パターンに応じて合焦度合を導出することを特徴とする。
【００１１】
本願の第４発明に係る画像処理装置は、本願第１又は第２発明に係る画像処理装置において、合焦度導出手段は、各小領域における輝度信号に含まれる周波数成分に応じて合焦度合を導出することを特徴とする。
【発明の効果】
【００１２】
本願発明によると、ピントの合った被写体が強調された撮影画像を比較的簡易に取得することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る撮像装置の全体構成図である。
【図２】図１のレンズ部３の内部構成図である。
【図３】第１実施例の強調画像生成処理の概要を説明するための図である。
【図４】第１実施例の強調画像生成処理の概要を説明するための図である。
【図５】第１実施例に係る強調画像生成処理の動作を説明するための図である。
【図６】第１実施例に係る極局所領域差分抽出、局所領域差分抽出、及びエッジ差分比算出処理を説明するための図である。
【図７】第１実施例に係る拡張処理を説明するための図である。
【図８】第１実施例に係る拡張処理を説明するための図である。
【図９】第１実施例に係るぼかし処理及びエッジ強調処理を説明するための図である。
【図１０】第２実施例に係る強調画像生成処理の動作を説明するための図である。
【図１１】第２実施例にＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の動作を説明するための図である。
【図１２】第３実施例に係る強調画像生成処理の動作を説明するための図である。
【図１３】第４実施例に係る強調画像生成処理の動作を説明するための図である。
【図１４】第４実施例に係る位置情報テーブル６０の動作を説明するための図である。
【図１５】第５実施例に係る強調画像生成処理の動作を説明するための図である。
【図１６】第５実施例に係る位置情報テーブル６３の動作を説明するための図である。
【図１７】第６実施例に係る強調画像生成処理の動作を説明するための図である。
【図１８】第６実施例に係る変換テーブル６７の動作を説明するための図である。
【図１９】撮像装置１が強調画像を生成する手順を示すフローチャートである。
【図２０】第７実施例に係る強調画像生成処理の動作を説明するための図である。
【図２１】第７−２実施例において、ぼかし処理部６９が用いるぼかしフィルタを説明するための図である。
【図２２】第７−２実施例において、ぼかし処理部６９の動作を説明するための図である。
【図２３】第７−２実施例において、ぼかし処理部６９が位置Ａで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。
【図２４】第７−２実施例において、ぼかし処理部６９が位置Ｂで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。
【図２５】第７−３実施例において、ぼかし処理部６９の動作を説明するための図である。
【図２６】第７−３実施例において、ぼかし処理部６９が位置Ｃで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。
【図２７】第７−４実施例において、ぼかし処理部６９の動作を説明するための図である。
【図２８】第７−４実施例において、ぼかし処理部６９によるぼかし処理の効果を説明するための図である。
【図２９】第７−５実施例において、ぼかし処理部６９の動作を説明するための図である。
【図３０】第８実施例に係る強調画像生成処理の動作を説明するための図である。
【発明を実施するための最良の形態】
【００１４】
＜実施形態＞
本発明に係る画像処理をデジタルカメラやデジタルビデオカメラなどの撮像装置に実施した形態について、図面を参照して説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。尚、本願においては、「撮像」と「撮影」を同義で使用する。
【００１５】
（撮像装置の構成）
図１は、本発明の実施形態に係る撮像装置１の内部構成を示すブロック図である。図１において、撮像装置１は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどのイメージセンサ(固体撮像素子)２と、ズームレンズやフォーカスレンズを備え被写体の光学像をイメージセンサ２に結像させるレンズ部３と、イメージセンサ２から出力されるアナログ電気信号である画像信号を増幅する増幅回路（図示せず。）及び当該画像信号をデジタルの画像信号に変換するＡ/Ｄ（Analog/Digital）変換回路（図示せず。）を備えたＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される複数フレーム分のデジタル画像信号をフレーム単位で一時的に格納するフレームメモリ５と、外部から入力された音声信号を電気信号に変換するマイクロフォン（以下、マイクと記載する。）６と、フレームメモリ５に一時的に格納され画像信号に対して画像処理を施す画像処理部７と、マイク６からのアナログの音声信号をデジタル信号に変換し、音声処理を施す音声処理部８と、静止画を撮影する場合は画像処理部７からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部７からの画像信号と音声処理部８からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９を備える。
【００１６】
また、撮像装置１は、圧縮処理部９で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部１０と、ドライバ部１０で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸張処理部１１と、伸長処理部１１で復号されて得られた画像信号をアナログ信号に変換する画像信号出力部１２と、画像信号出力部１２で変換された画像信号に基づく画像の表示を行うＬＣＤ等を有する表示部１３と、伸張処理部１１からのデジタルの音声信号をアナログの音声信号に変換して出力する音声信号出力部１４と、音声信号出力部１４からのアナログの音声信号を再生するスピーカ部１５と、を備える。
【００１７】
また、撮像装置１は、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ(Timing Generator)１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッタボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス２１と、を備える。
【００１８】
図２は、レンズ部３の内部構成図である。レンズ部３は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り３２の開口量（換言すると、開口部の大きさである。）の調節を実現するためのモータ等から構成される。
【００１９】
撮像装置１は、「自動的にフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像をイメージセンサ２の撮像面（受光面と呼ぶこともできる。）に結像させる」いわゆるＡＦ（Automatic Focus）機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点がイメージセンサ２の撮像面上の点と一致する。ここで本願では、被写体を表す光学像をイメージセンサ２の撮像面に結像させることを被写体にピントを合わせる、或いは焦点を合わせると記載する。また、ピントが合わせられた被写体をピントの合った被写体、或いは焦点の合った被写体と記載する。逆に、ピントが合っていない場合をピントがぼけていると記載する。
【００２０】
また、撮像装置１は、「自動的に絞り３２の開口量、イメージセンサ２の露光時間及びＡＦＥ４の増幅率を制御することにより、撮影画像の明るさを略一定に保つ」いわゆるＡＥ(Automatic Exposure)機能を備えている。さらに、撮像装置１は、「被写体に照射される光の光源を判定し、当該光源に応じて、白色の色相を自動的に決定するとともに、当該白色の色相に応じてその他の色の色相を決定する」いわゆるＡＷＢ(Automatic White Balance)機能を備えている。
【００２１】
撮像装置１では、撮影者から操作部１９に対してズーム倍率を変更する操作が行なわれた場合には、ＣＰＵ１７が、当該操作に従って、ズームレンズ３０を光軸に沿って移動させる、いわゆるズーム制御を行う。これによりイメージセンサ２による撮影の画角が変更される（換言すれば、イメージセンサ２の撮像面上に形成される被写体の像が拡大または縮小される）。
【００２２】
図１の撮像装置１は、静止画撮影の際、画像処理部７の画像処理により、ピントの合っている被写体（以下、特定被写体とも記載する。）画像がピントのあっていない被写体（以下、背景とも記載する。）画像よりも強調された撮影画像（以下、強調画像とも記載する。）を比較的簡易に生成することができる。以下、画像処理部７で実現する強調画像生成処理の各実施例について説明する。
【００２３】
＜第１実施例＞
図３は、第１実施例に係る強調画像生成処理の概要を説明するための図である。図３（ａ）は、撮像装置１による静止画撮影により取得された入力画像１００を示している。図３（ａ）において、人物１０１は、特定被写体の画像であり、建物１０２は、背景画像の一つである。
図３（ｂ）は、人物１０１の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。人物１０１はピントが合っているため、輝度変化の境界部分（以下、エッジ部分とも記載する。）であるＥ地点付近で輝度値が急峻に変化している。従って、Ｅ地点を中心とするＡＢ間を極局所領域と、Ｅ地点を中心とする極局所領域よりも広いＣＤ間を局所領域と定義すると、極局所領域における輝度の最大値と最小値の差分である輝度差分値と局所領域における輝度差分値は等しくなる。即ち、
（極局所領域の輝度差分値）／（局所領域の輝度差分値）＝１
となる。
【００２４】
一方、図３（ｃ）は、建物１０２の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。建物１０２はピントが合っていないため、輝度変化の境界部分であるＪ地点付近では輝度値は緩慢に変化している。従って、Ｊ地点を中心とする極局所領域ＦＧ間における輝度差分値はＪ地点を中心とする局所領域ＨＩ間における輝度差分値よりも非常に小さくなる。即ち、
（極局所領域の輝度差分値）／（局所領域の輝度差分値）＜＜１
となる。尚、以下では（極局所領域の輝度差分値）／（局所領域の輝度差分値）をエッジ差分比と記載する。
【００２５】
このように、入力画像のうちピントの合っている部分（即ち、合焦部分。）とピントがあっていない部分（即ち、非合焦部分。）とでは、そのエッジ部分における輝度信号の遷移パターンが異なるため、エッジ差分比が相違する。即ち、入力画像の各画素では、ピントがどの程度合っているか（以下、合焦度合とも記載する。）によって当該画素周辺における輝度信号の遷移パターンが相異し、これによりエッジ差分比も相異する。
【００２６】
第１実施例では、入力画像にぼかし処理を施して出力画像を生成する際に、エッジ差分比に応じて当該ぼかし処理におけるぼかし度合を変更する。図４は、入力画像に当該ぼかし処理を施すことによって生成される出力画像を説明するための図である。エッジ差分比画像１０３は、入力画像１００の各画素について、エッジ差分比を算出してプロットすることにより生成された画像である。出力画像１００ａは、入力画像に対してエッジ差分比に応じたぼかし度合によるぼかし処理を施すことによって生成された画像である。
【００２７】
エッジ差分比が小さいほどぼかし度合が強くなるように設定することによって、ピントの合っていない建物１０２は、ぼかし度合の強いぼかし処理が施されることとなる。他方、ピントの合った人物１０１に対しては、ぼかし処理が施されない、あるいはぼかし度合の弱いぼかし処理が施される。この結果、出力画像１００ａは入力画像１００と比較して、ピントの合っていない建物１０２ａを含む背景画像のぼけ度合いがより一層大きくなり、いわゆるぼけ味のある撮影画像となっている。
【００２８】
図５は、第１実施例に係る強調画像生成処理の動作を説明するための図である。上述したようにフレームメモリ５にはＡＦＥ４から出力されるデジタル画像信号が一時的に格納されている。このデジタル画像信号はＲＡＷデータの形式で格納されている。ＹＵＶ生成部４１は、フレームメモリ５に一時的に格納されたＲＡＷデータ形式の画像信号に対し、いわゆる色分離処理（色同時化処理ともいう。）を施すとともに、色分離されたデジタル画像信号からＹ、Ｕ、Ｖ信号を生成する。
【００２９】
極局所領域差分抽出部４２は、ＹＵＶ生成部４１から出力される輝度信号から、画素毎に極局所領域の輝度差分値を抽出し出力する。局所領域差分抽出部４３は、ＹＵＶ生成部４１から出力される輝度信号から画素毎に局所領域の輝度差分値を抽出し出力する。エッジ差分比算出部４４は、極局所領域の輝度差分値及び局所領域の輝度差分値に基づいて画素毎にエッジ差分比を算出し出力する。
【００３０】
図６は、極局所領域差分抽出部４２による極局所領域差分抽出処理、局所領域差分抽出部４３による局所領域差分抽出処理、及びエッジ差分比算出部４４によるエッジ差分比算出処理を説明するための図である。図６（ａ）は、ＹＵＶ生成部４１から出力される輝度信号のうち、例として７×７画素分を取り出した図である。図６（ａ）において、「ａｉｊ」は、画素ｉｊにおける輝度値を示している。例えば、「ａ１２」は、画素１２の輝度値を示している。ここで、極局所領域を、注目画素を中心とし、当該注目画素から比較的狭い範囲の周辺領域と定義し、局所領域を注目画素を中心とし、当該注目画素から極局所領域よりも広い範囲の周辺領域と定義する。
【００３１】
図６（ａ）では、例として、３×３画素からなる領域を極局所領域とし、７×７画素からなる領域を局所領域としている。具体的には、注目画素を画素４４とし、画素ｉｊ（ｉ＝３,４,５、ｊ＝３,４,５）からなる領域を極局所領域とし、画素ｉｊ（ｉ＝１,２・・７、ｊ＝１,２・・７）からなる領域を局所領域としている。
【００３２】
極局所領域差分抽出部４２は、注目画素の極局所領域における輝度の最大値と最小値の差分を極局所領域の輝度差分値として抽出する。図６（ａ）において、例えば、注目画素４４の極局所領域においてａ５５が最大値、ａ３３が最小値であるとすると、注目画素４４の極局所領域の輝度差分値ｂ４４はｂ４４＝ａ５５−ａ３３となる。極局所領域差分抽出部４２は極局所領域を１画素単位でシフトするとともに、全画素の極局所領域の輝度差分値を抽出する。
【００３３】
図６（ｂ）は、各画素における極局所領域の輝度差分値を示す。例えば、ｂ４４は、画素４４における極局所領域の輝度差分値を示す。
【００３４】
局所領域差分抽出部４３は、注目画素の局所領域における輝度の最大値と最小値の差分を局所領域の輝度差分値として抽出する。図６（ａ）において、例えば、注目画素４４の局所領域においてａ１１が最大値、ａ１７が最小値であるとすると、注目画素４４に対する局所領域の輝度差分値ｃ４４は、ｃ４４＝ａ１１−ａ１７となる。局所領域差分抽出部４３は局所領域を１画素単位でシフトするとともに、全画素の局所領域の輝度差分値を抽出する。図６（ｃ）は、各画素における局所領域の輝度差分値を示す。例えば、ｃ４４は、画素４４における局所領域の輝度差分値を示す。
【００３５】
図５のエッジ差分比算出部４４は、各画素について、極局所領域の輝度差分値と局所領域の輝度差分値に微小なオフセット値αを加えた値との比、即ち（極局所領域の輝度差分値）／（局所領域の輝度差分値＋α）を補正エッジ差分比として算出する。尚、局所領域の輝度差分値にオフセット値αを加えるのは、分母がゼロになるのを防ぐためである。図６（ｄ）は、各画素における補正エッジ差分比を示す。例えば、ｄ４４は、画素４４における補正エッジ差分比を示す。
【００３６】
図５の拡張処理部４５は、算出された各画素の補正エッジ差分比に基づいて、エッジ部分の領域を拡張する。図７は、拡張処理部４５による拡張処理の概要を説明するための図である。図７（ａ）は、図３（ａ）における人物１０１の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。図７（ａ）において、Ｌ地点がエッジ部分であり、Ｌ地点を中心とする所定範囲であるＫＭ間を拡張処理対象領域とする。
【００３７】
図７（ｂ）は、図７（ａ）と同じ領域におけるＸ軸方向の補正エッジ差分比の遷移を示す模式図である。図７（ｂ）から明らかなように、エッジ差分比算出部４４により算出された補正エッジ差分比は、エッジ部分であるＬ地点で最大となる。拡張処理部４５は、拡張処理対象領域における各画素の補正エッジ差分比を、最大値を取るＬ地点の補正エッジ差分比に置換する。
【００３８】
図７（ｃ）は、図７（ａ）と同じ領域におけるＸ軸方向の拡張処理後の補正エッジ差分比の遷移を示す模式図である。図７（ｃ）では、拡張処理対象領域の補正エッジ差分比がエッジ部分Ｌ地点の補正エッジ差分比に置換されている。即ち、拡張処理部４５は、注目画素を中心する拡張処理対象領域において、注目画素の補正エッジ差分比を、拡張処理対象領域内の最も大きい補正エッジ差分比と置換する。
【００３９】
図８は拡張処理部４５による拡張処理を説明するための図である。図８（ａ）、（ｂ）、（ｃ）、（ｄ）は、エッジ差分比算出部４４から出力される入力画像に対する補正エッジ差分比のうち、７×７画素分の補正エッジ差分比を示す。図８（ａ）では、拡張処理部４５は注目画素を画素４４として、拡張処理対象領域を注目画素４４を中心とする３×３画素からなる領域としている。今、図８（ａ）において、注目画素４４のｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素４４の値は置換せずそのまま維持する。図８（ｅ）は、図８（ａ）の場合における拡張処理の結果を示している。図８（ｂ）は、拡張処理対象領域を１画素分右へシフトし、注目画素を画素４５とした場合を示している。
【００４０】
図８（ｂ）において、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素４５の値をｄ４４の値に置き換える。図８（ｆ）は、図８（ｂ）の場合における拡張処理の結果を示している。図８（ｆ）において、画素４５の値がｄ４５からｄ４４に置換されている。図８（ｃ）は、図８（ａ）の状態から拡張処理対象領域を１画素分上へシフトし、注目画素を画素３４とした場合を示している。
【００４１】
図８（ｃ）においても、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部３５は、注目画素３４の値をｄ４４の値に置き換える。図８（ｇ）は、図８（ｃ）の場合における拡張処理の結果を示している。図８（ｇ）において、画素３４の値がｄ３４からｄ４４に置換されている。図８（ｄ）は、図８（ａ）の状態から拡張処理対象領域を１画素分下へシフトし、注目画素を画素５４とした場合を示している。
【００４２】
図８（ｄ）においても、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素５４の値をｄ４４の値に置き換える。図８（ｈ）は、図８（ｄ）の場合における拡張処理の結果を示している。図８（ｈ）において、画素５４の値がｄ５４からｄ４４に置換されている。
【００４３】
このようにして、拡張処理部４５は、全画素について拡張処理を行なう。拡張処理によるとエッジ部分の領域が拡張されるため、ピントの合っている被写体とピントのあっていない被写体の境界が明確になり、より一層ぼけ味のある強調画像を生成することができる。
【００４４】
図５の変換テーブル４６は、拡張処理部４５から出力される画素毎の補正エッジ差分比に応じて画素毎にぼかし度合およびエッジ強調度合を導出して出力する。
【００４５】
図９（ａ）は、変換テーブル４６が、補正エッジ差分比からぼかし度合を導出するための関数を示している。図９（ａ）において、変換テーブル４６は、補正エッジ差分比が閾値ＴＨＢよりも小さければ、ぼかし度合を最大とし、補正エッジ差分比が閾値ＴＨＡ以上であれば最小とする。補正エッジ差分比が閾値ＴＨＢ以上であり閾値ＴＨＡより小さければ、補正エッジ差分比が増加するにつれてぼかし度合を線形的に減少させる。なお、非線形に減少させるものとしても構わないが単調減少するものが好ましい。
【００４６】
図９（ｂ）は、変換テーブル４６が、エッジ強調度合を導出するための関数を示している。図９（ｂ）において、変換テーブル４６は、補正エッジ差分比が閾値ＴＨＣよりも小さければ、エッジ強調度合を１．０とし、補正エッジ差分比が閾値ＴＨＤ以上であれば最大とする。補正エッジ差分比が閾値ＴＨＣ以上であり閾値ＴＨＤより小さければ、補正エッジ差分比が増加するにつれてエッジ強調度合を線形的に増加させる。なお、非線形に増加させるものとしても構わないが単調増加するものが好ましい。
【００４７】
図５のぼかし処理部４７は、変換テーブル４６から出力される画素毎のぼかし度合に応じてＹＵＶ生成部４１から出力されるＹ、Ｕ、Ｖ信号に対し画素毎にぼかし処理を施す。ぼかし処理部４７は、例えば、単純な平均化フィルタではなく、注目画素に近いほど大きな重みを付け、その重みをガウス分布に近づけたガウシアンフィルタを採用することができる。この場合、変換テーブル４６から出力されるぼかし度合を当該ガウス分布の分散値とすることができる。
【００４８】
エッジ強調処理部４８は、ぼかし処理部４７から出力されるＹ、Ｕ、Ｖ信号に対し画素毎にエッジ強調処理を施す。エッジ強調処理部４８は、例えば、変換テーブル４６から出力される画素毎のエッジ強調度合に応じて、エッジ強調度合を変更できる鮮鋭化フィルタを採用することができる。尚、上記ガウシアンフィルタ及び鮮鋭化フィルタは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１２２頁から１２４頁に記載されているものを採用することができる。また、上記実施例１では、極局所領域を３×３画素、局所領域を７×７画素及び拡張処理対象領域を３×３画素からなる領域としているが、これらに限られるものではなく実施例１で採用した領域よりも広い範囲、或いは狭い範囲からなる領域とすることも可能である。
【００４９】
＜第２実施例＞
図１０は、画像処理部７における強調画像生成処理の第２実施例を説明する図である。図１０において、図５と同一の番号を付している部位は、第１実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。尚、第２実施例では、拡張処理部４５には後述する周波数成分比が入力されることになるが、拡張処理部４５は第１実施例の場合と同一の処理を行なう。
【００５０】
また、変換テーブル４６には、拡張処理部４５からの画素毎の周波数成分比が入力されるが、変換テーブル４６は、実施例１の場合と同一の処理を行なう。従って、図９（ａ）、（ｂ）においてその横軸が周波数成分比となる。
【００５１】
ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１は、ＹＵＶ生成部４１から出力されるＹ信号（以下、輝度信号とも記載する。）からそれぞれ所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦ（Band Pass Filter）である。
【００５２】
図１１は、ＢＰＦ−Ｈ５０とＢＰＦ−Ｌ５１の周波数特性を示している。図１１において、ＦＨはＢＰＦ−Ｈ５０の中心周波数、ＦＨｃ１及びＦＨｃ２は遮断周波数（カットオフ周波数）を示しており、（ＦＨｃ２−ＦＨｃ１）をＢＰＦ−Ｈ５０の通過帯域という。
同様に、ＦＬはＢＰＦ−Ｌ５１の中心周波数、ＦＬｃ１及びＦＬｃ２は遮断周波数であり、（ＦＬｃ２−ＦＬｃ１）がＢＰＦ−Ｈ５０の通過帯域である。ＢＰＦ−Ｈ５０は中心周波数ＦＨの輝度信号を１００％通過させ、ＢＰＦ−Ｌ５１は中心周波数ＦＬの輝度信号を１００％通過させる。
【００５３】
ＢＰＦ−Ｈ５０では、輝度信号の高周波成分を抽出できるようにＦＨが比較的高い周波数に設定されている。他方、ＢＰＦ−Ｌ５１では、ＢＰＦ−Ｈ５０よりも低い周波数成分を抽出できるようにＦＬはＦＨよりも低い周波数に設定されている。周波数成分比算出部５２は、ＢＰＦ−Ｈ５０から出力される輝度信号値とＢＰＦ−Ｌ５１から出力される輝度信号値とから下記式（１）により画素毎に周波数成分比を算出する。
周波数成分比＝｜（ＢＰＦ−Ｈ５０の出力値）／（ＢＰＦ−Ｌ５１の出力値）｜
・・・（１）
図３（ａ）の入力画像１００において、ピントの合っている人物１０１の或る領域には、高周波成分の輝度信号が多く含まれている。他方、ピントの合っていない建物１０２は、ピントがあっていないことから高周波成分の輝度信号は少なく、中域成分あるいは低域成分の輝度信号が多く含まれている。
【００５４】
従って、ピントの合っている位置（即ち、合焦位置）では、
｜ＢＰＦ−Ｈ５０の出力値｜＞｜ＢＰＦ−Ｌ５１の出力値｜
となり、ピントの合っていない位置（即ち、非合焦位置）では、
｜ＢＰＦ−Ｈ５０の出力値｜＜｜ＢＰＦ−Ｌ５１の出力値｜
となる。
【００５５】
第２実施例では、入力画像にぼかし処理を施して出力画像を生成する際に、上記（１）式により算出される周波数成分比に応じて当該ぼかし処理におけるぼかし度合を変更する。具体的には、周波数成分比が大きい画素ほど、ぼかし度合を小さくするぼかし処理を施し、小さい画素ほど、ぼかし度合を大きくするぼかし処理を施す。これにより、ピントの合っている被写体が強調された強調画像を生成することができる。
【００５６】
＜第３実施例＞
図１２は、画像処理部７における強調画像生成処理の第３実施例を説明する図である。
図１２において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。尚、第３実施例では、拡張処理部４５には後述する水平周波数成分比又は垂直周波数成分比が入力されることになるが、拡張処理部４５は第２実施例の場合と同一の処理を行なう。また、変換テーブル４６には、拡張処理部４５からの画素毎の水平周波数成分比又は垂直周波数成分比が入力されるが、変換テーブル４６は、実施例２の場合と同一の処理を行なう。従って、図９（ａ）、（ｂ）においてその横軸が水平周波数成分比又は垂直周波数成分比となる。
【００５７】
Ｈ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４は、ＹＵＶ生成部４１から出力される輝度信号から水平方向（図３（ａ）のＸ軸方向）における所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。
【００５８】
Ｈ−ＢＰＦ−Ｈ５３では、輝度信号の高周波成分を抽出できるようにその中心周波数ＦＨＨが比較的高い周波数に設定されている。他方、Ｈ−ＢＰＦ−Ｌ５４では、Ｈ−ＢＰＦ−Ｈ５３よりも低い周波数成分を抽出できるようにその中心周波数ＦＨＬはＦＨＨよりも低い周波数に設定されている。
【００５９】
水平周波数成分比算出部５７は、Ｈ−ＢＰＦ−Ｈ５３から出力される輝度信号値とＨ−ＢＰＦ−Ｌ５４から出力される輝度信号値とから下記式（２）により水平周波数成分比を算出する。
水平周波数成分比＝｜（Ｈ−ＢＰＦ−Ｈ５３の出力値）／（Ｈ−ＢＰＦ−Ｌ５４
の出力値）｜ ・・・（２）
Ｖ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６は、ＹＵＶ生成部４１から出力される輝度信号から垂直方向（図３（ａ）のＹ軸方向）における所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。
【００６０】
Ｖ−ＢＰＦ−Ｈ５５では、輝度信号の高周波成分を抽出できるようにその中心周波数ＦＶＨが比較的高い周波数に設定されている。他方、Ｖ−ＢＰＦ−Ｌ５６では、Ｖ−ＢＰＦ−Ｈ５５よりも低い周波数成分を抽出できるようにその中心周波数ＦＶＬはＦＶＨよりも低い周波数に設定されている。
【００６１】
垂直周波数成分比算出部５７は、Ｖ−ＢＰＦ−Ｈ５５から出力される輝度信号値とＶ−ＢＰＦ−Ｌ５６から出力される輝度信号値とから下記式（３）により垂直周波数成分比を算出する。
【００６２】
垂直周波数成分比＝｜（Ｖ−ＢＰＦ−Ｈ５５の出力値）／（Ｖ−ＢＰＦ−Ｌ５６
の出力値）｜ ・・・（３）
選択部５９は、水平周波数成分比算出部５７から出力される水平周波数成分比と垂直周波数成分比算出部５８から出力される垂直周波数成分比のうち、大きい方を選択し、拡張処理部４５へ出力する。
【００６３】
このように、第３実施例では、入力画像の水平、垂直の両方向について合焦度合を考慮してぼかし処理部４７のぼかし度合、及びエッジ強調処理部４８のエッジ強調度合を制御することができる。従って、第３実施例によると、よりきめ細かくぼかし処理及びエッジ処理が施された強調画像を生成することができる。
【００６４】
＜第４実施例＞
図１３は、画像処理部７における強調画像生成処理の第４実施例を説明する図である。図１３において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【００６５】
撮像装置１のレンズ部３が備えるレンズは、通常、撮影画像の中心点から遠ざかるに連れてＭＴＦ（Modulation Transfer Function）が劣化する。尚、撮影画像の中心とは、図３（ａ）の入力画像１００を例にとると、Ｘ軸方向の中点を通るＹ軸に平行な直線と、Ｙ軸方向の中点を通るＸ軸に平行な直線との交点を意味する。このため、例えば、図３（ａ）の人物１０１に対して、撮影画像の中心点から離れた４隅周辺でピントを合わせた場合の輝度信号の高域成分の大きさは、中心点付近でピントを合わせた場合と比較して小さくなってしまう。よって、撮影画像全体に同じ特性のＢＰＦを施し、上記（１）で周波数差分比を算出したとしても精度のよい特性（合焦度合を表わす正しい特性、換言すると合焦位置からのズレを表わす正しい特性）が得られない。
【００６６】
そこで、周波数差分比の特性の精度を向上させるための方策の一つとして、入力画像内の画素位置に応じてＢＰＦの特性（中心周波数）を変更し、合焦度合の検出精度を高めることが考えられる。
【００６７】
図１３において、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、ＹＵＶ生成部４１から出力される輝度信号からそれぞれ一定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。そして、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、後述の位置情報テーブル６０から出力されるパラメータに応じてその中心周波数を変更することができる。従って、輝度信号から抽出する周波数帯域の範囲を変更することができる。
【００６８】
位置情報テーブル６０には、予めＹＵＶ生成部４１から出力される輝度信号の各画素位置に応じた、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２が抽出すべき周波数帯域の範囲を設定するためのパラメータが格納されている。
【００６９】
具体的には、各画素の位置が入力画像の中心点に存在する画素、或いは中心点に最も近い画素（以下、これらをまとめて中心画素と記載する。）から離れるにつれてＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２が抽出する周波数帯域の範囲を低周波数側へシフトさせるようなフィルタ係数が格納されている。ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、入力される輝度信号にフィルタ処理を施す際に、位置情報テーブル６０から出力されるフィルタ係数を取得して、フィルタ処理を行う。
【００７０】
図１４（ａ）は、入力画像１００と入力画像１００上の中心画素１０３及び隅にある画素（以下、隅画素と記載する。）１０４を示す図である。図１４（ｂ）は、入力画像１００の画素位置に応じて変動するＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２の周波数特性を示す図である。
【００７１】
ＢＰＦ−Ｈ６１は、入力画像１００の中心画素１０３に対してフィルタ処理を行う場合は、位置情報テーブル６０から周波数特性が曲線１０３Ｈとなるパラメータを取得しフィルタ処理を行う。そして、ＢＰＦ−Ｌ６２は、位置情報テーブル６０から周波数特性が曲線１０３Ｌとなるパラメータを取得しフィルタ処理を行う。
【００７２】
一方、ＢＰＦ−Ｈ６１は、入力画像１００の隅画素１０４に対してフィルタ処理を行う場合は、位置情報テーブル６０から周波数特性が曲線１０４Ｈとなるパラメータを取得しフィルタ処理を行う。そして、ＢＰＦ−Ｌ６２は、位置情報テーブル６０から周波数特性が曲線１０４Ｌとなるパラメータを取得しフィルタ処理を行う。
【００７３】
実施例４によると、撮像装置１のレンズ部３が備えるレンズのＭＴＦ特性を考慮し、入力画像内の各画素に対して、各画素位置に応じた周波数特性を有するＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２によりフィルタ処理を行うことができる。これにより、周波数成分比算出部５２は、高精度に周波数成分比を算出することができ、この結果、より高精度に強調画像を生成することができる。
【００７４】
尚、当然のことながら、実施例３も、位置情報テーブル６０を採用するとともに、位置情報テーブル６０からのパラメータに応じてＨ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４、並びにＶ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６が抽出する周波数帯域の範囲を可変とすることにより、実施例４と同様の効果を奏することができる。
【００７５】
＜第５実施例＞
図１５は、画像処理部７における強調画像生成処理の第５実施例を説明する図である。
図１５において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【００７６】
位置情報テーブル６３には予め、入力画像に含まれる輝度信号の周波数毎に、入力画像の中心画素におけるＭＴＦと入力画像の各画素位置におけるＭＴＦとの差に応じたゲイン値が格納されている。
【００７７】
位置情報テーブル６３は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１からそれぞれの中心周波数を取得し、当該周波数に対応するゲイン値を導出し後述の乗算部６４及び６５に出力する。
【００７８】
図１６は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の周波数特性、図１４（ｂ）の中心画素１０３及び隅画素１０４におけるＭＴＦを示している。曲線１０５及び曲線１０６はそれぞれＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の周波数特性を示し、ＦＨ及びＦＬは、それぞれの周波数特性の中心周波数を示している。曲線１０３ｍは、中心画素１０３における輝度信号の周波数に対するＭＴＦを示している。曲線１０４ｍは、隅画素１０４における輝度信号の周波数に対するＭＴＦを示している。
【００７９】
今、例えば、輝度信号の周波数がＦＳのときの曲線１０３ｍの値が０．６５、曲線１０４ｍの値が０．４であるとする。これは、中心画素１０３における周波数Ｆｓの輝度信号の大きさが、本来有するべき大きさの６５％となっていることを示している。同様に、隅画素１０４における周波数Ｆｓの輝度信号の大きさが、本来有するべき大きさの４０％となっていることを示している。
【００８０】
図１６において、ｇＨｎは、ＢＰＦ−Ｈ５０の周波数特性の中心周波数ＦＨにおける、中心画素１０３のＭＴＦと隅画素１０４のＭＴＦとの差を示している。同様に、ｇＬｎは、ＢＰＦ−Ｈ５０の周波数特性の中心周波数ＦＬにおける、中心画素１０３のＭＴＦと隅画素１０４のＭＴＦとの差を示している。位置情報テーブル６３には、ｇＨｎに応じたゲインＧＨｎ及びｇＬｎに応じたゲインＧＬｎが格納されている。
【００８１】
乗算部６４は、位置情報テーブル６３からゲインＧＨｎを取得し、これを隅画素１０４に対するＢＰＦ−Ｈ５０によるフィルタ処理結果に乗じて出力する。同様に、乗算部６５は、位置情報テーブル６３からゲインＧLｎを取得し、これを隅画素１０４に対するＢＰＦ−Ｌ５１のフィルタ処理結果に乗じて出力する。尚、乗算部６４及び乗算部６５は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の中心画素１０３に対するフィルタ処理結果には１．０を乗じる。
【００８２】
実施例５によると、撮像装置１のレンズ部３が備えるレンズのＭＴＦ特性を考慮し、各画素位置に応じたゲイン値をＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１からの出力に乗じる。これにより、周波数成分比算出部５２は、実施例４と同様、高精度に周波数成分比を算出することができ、この結果、より高精度に強調画像を生成することができる。
【００８３】
尚、当然のことながら、実施例３についても位置情報テーブル６３を採用するとともに、位置情報テーブル６３からのゲイン値それぞれを、Ｈ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４、並びにＶ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１それぞれからの出力に乗じることにより実施例５と同様の効果を奏することができる。
【００８４】
＜第６実施例＞
図１７は、画像処理部７における強調画像生成処理の第６実施例を説明する図である。図１７において、図５と同一の番号を付している部位は、第１実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【００８５】
図１７において、ぼかし処理部６０は、入力画像にぼかし処理を施し、ぼかし画像を出力する。ぼかし処理部６０は、例えば、隣接する画素信号の濃淡変化を滑らかにする平均化フィルタ、或いは画像信号に含まれる空間周波数成分のうち、低周波成分は残し、高周波成分を除去するようなＬＰＦ（Low Pass Filter）を採用することができる。上記平均化フィルタやＬＰＦは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１３１頁から１３３頁に記載されているものを採用することができる。変換テーブル６７は、拡張処理部４５から出力される補正エッジ差分比に基づいて、入力画像とぼかし画像との合成度合いを表わす加算比率Ｋを、入力画像の画素毎に導出する。
【００８６】
図１８は、変換テーブル６７が、加算比率Ｋを導出するための関数を示している。図１８において、変換テーブル６７は、補正エッジ差分比が閾値ＴＨＥよりも小さければ、加算比率を０とし、補正エッジ差分比が１．０以上であれば１とする。補正エッジ差分比が閾値ＴＨＥ以上であり１．０より小さければ、補正エッジ差分比が増加するにつれて加算比率Ｋを線形的に増加させる。なお、非線形に増加させるものとしても構わないが単調増加するものが好ましい。
【００８７】
加重加算処理部６８は、入力画像とぼかし画像を加算比率Ｋに基づいて合成し、出力画像を生成する。具体的には、画素毎に下記式（４）の加重加算処理により出力画像を生成する。
出力画像＝（入力画像×加算比率Ｋ）＋（ぼかし画像×（１−加算比率Ｋ）） ・・・（４）
上記式（４）によると、例えば、入力画像が、図３（ａ）の入力画像１００場合、人物１０１については、補正エッジ差分比が大きくなるため人物１０１の画像に対応する画素の加算比率ＫはＫ＝１或いは１に近い値となる。従って出力画像における人物１０１の画像は、入力画像１００の人物１０１の画像とほぼ等しくなる。
【００８８】
一方、入力画像１００の建物１０２の画像については、ピントが合っていないことから、補正エッジ差分比は１より小さい値となる。従って、加算比率Ｋがゼロに近づき、出力画像における建物１０２の画像は、入力画像１００の建物１０２の画像にぼかし画像の建物１０２の画像が混合されるため、入力画像１００の建物１０２の画像よりもぼかし効果が大きい画像となる。この結果、出力画像は、人物１０１が強調されて見える画像となる。
【００８９】
尚、当然のことながら、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例における変換テーブル４６、ぼかし処理部４７及びエッジ強調処理部４８それぞれに替えて、図１７の第６実施例における変換テーブル６７、ぼかし処理部６６及び加重加算処理部６８それぞれを採用することができる。
【００９０】
第２、第４又は第５実施例を変形した場合、変換テーブル６７へは、周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が周波数成分比となる。
【００９１】
第３実施例を変形した場合には、水平周波数成分比又は垂直周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が水平周波数成分比又は垂直周波数成分となる。
【００９２】
図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例におけるぼかし処理部４７に替えて変換テーブル４６から出力されるぼかし度合に応じてＹ信号の大きさのみを低減する可変輝度低減処理部（図示せず。）を採用することができる。また、図１７の第６実施例におけるぼかし処理部６６に替えてＹ信号の大きさのみを低減する固定輝度低減処理部（図示せず。）を採用することができる。これにより、例えば、入力画像が、図３（ａ）の入力画像１００の場合、ピントの合っていない建物１０２の輝度が低減され、人物１０１が強調されて浮き立って見える出力画像を取得することができる。
【００９３】
また、図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例におけるぼかし処理部４７に替えて変換テーブル４６から出力されるぼかし度合に応じてＵ、Ｖ信号の大きさのみを低減する可変彩度低減処理部（図示せず。）を採用することができる。また、図１７の第６実施例におけるぼかし処理部６６に替えてＵ、Ｖ信号の大きさのみを低減する固定彩度低減処理部（図示せず。）を採用することができる。これにより、例えば、入力画像が、図３（ａ）の入力画像１００の場合、ピントの合っていない建物１０２の彩度が低減され、人物１０１が強調されて浮き立って見える出力画像を取得することができる。
【００９４】
また、本実施例及び変形例では、強調画像生成処理を入力画像の画素単位で行なっているが、これに限られるものではない。例えば、複数の画素からなる小領域を強調画像生成処理を施す単位とすることもできる。これによると、強調画像生成処理の処理量を軽減することができる。
【００９５】
図１９は、撮像装置１が強調画像を生成するまでの一連の処理を示すフローチャートである。ステップＳ１００において、撮像装置１の電源がＯＮされると、ステップＳ１０１へ進む。
【００９６】
ステップＳ１０１では、撮影者が撮像装置１の動作モードを選択する。撮像装置１は、動画及び静止画を撮影する撮影モードと既に撮影され外部メモリ２２に記録された撮影画像を再生する再生モードを有する。ここでは、撮影者により撮影モードが選択され、さらに強調画像生成モードが選択されているものとする。
【００９７】
ステップＳ１０２では、撮像装置１は、プレビューモードへ移行する。プレビューモードでは、レンズ部３を経由してイメージセンサ２の光電変換によって得られたアナログの画像信号がＡＦＥ４においてデジタルの画像信号に変換されて画像処理部７へ出力される。そして、画像処理部７において、当該デジタルの画像信号は、ＡＦ処理、ＡＥ処理及びホワイトバランス処理等の画像処理が施され、画像信号出力部１２を経て表示部１３に表示される。
【００９８】
ステップＳ１０３では、撮影者によって撮影対象の構図やズーム倍率が調整される。
【００９９】
ステップＳ１０４では、撮像装置１が、ステップＳ１０３で設定された構図やズーム倍率の下でＡＦ／ＡＥ／ＡＷＢ制御を実行する。
【０１００】
ステップＳ１０５では、ＣＰＵ１７は、操作部１９のシャッタボタンがいわゆる半押しされたかどうかを判定する。
【０１０１】
撮像装置１の操作部１９には、静止画撮影のためのシャッタボタン（図示せず。）が備えられている。シャッタボタンは２段階スイッチとなっており、撮影者がシャッタボタンを略半分まで押し込むと第１スイッチがＯＮされる。シャッタボタンが最後まで押し込まれる（以下、シャッタボタンを最後まで押し込むことを全押しと記載する。）と第２スイッチがＯＮされる。
【０１０２】
シャッタボタンが半押しされたと判断されると、ステップＳ１０６へ進む。そうでなければステップＳ１０２へ戻り、撮像装置１はプレビューモードを継続する。
【０１０３】
ステップＳ１０６では、撮像装置１が、ＡＦ機能により撮影者が注目する被写体（例えば、図３（ａ）の人物１０１。）にピントを合わせるとともに、ＡＥ機能により絞り３２の開口量の設定、イメージセンサ２の露光時間（即ち、シャッタスピード。）の設定及びＡＷＢ機能による色相の設定を行なう。
【０１０４】
ステップＳ１０７では、ＣＰＵ１７は、シャッタボタンが全押しされたかどうかを判断する。全押しされたと判断した場合は、ステップＳ１０８へ進む。そうでない場合、即ち半押しの状態が維持されている場合は、撮像装置１は、全押しされるまでステップＳ１０７で設定された撮影条件を維持する。
【０１０５】
ステップＳ１０８では、撮像装置１は、ステップＳ１０６で設定された撮影条件で静止画撮影することにより、例えば、図３（ａ）の入力画像１００を取得し、ＲＡＷデータあるいはＹＵＶ形式で入力画像をフレームメモリ５に格納し、ステップＳ１０９へ進む。
【０１０６】
ステップＳ１０９では、ＣＰＵ１７は、強調画像生成モードに設定されているか否かを判断する。強調画像生成モードに設定されている場合は、ステップＳ１１０へ進む。そうでない場合は、ステップＳ１１１へ進む。
【０１０７】
ステップＳ１１０では、撮影により取得した入力画像から、本実施例及び変形例のいずれかに記載の強調画像生成処理により強調画像を生成し、ステップＳ１１２へ進む。
【０１０８】
ステップＳ１１１では、ＣＰＵ１７の制御の下、画像処理部７によって撮影により取得した入力画像に対し画像処理が施され、続いて圧縮処理部９により圧縮処理が施され、外部メモリ２２に格納される。そして、ステップＳ１０２へ戻る。
【０１０９】
ステップＳ１１２では、ＣＰＵ１７の制御の下、画像処理部７によって撮影により取得した入力画像１００及び強調画像に対し画像処理が施され、続いて圧縮処理部９により圧縮処理が施され、外部メモリ２２に格納される。そして、ステップＳ１０２へ戻る。
【０１１０】
＜実施例７＞
図２０は、画像処理部７における強調画像生成処理の第７実施例を説明する図である。図２０において、図１７と同一の番号を付している部位は、第６実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。図２０において、ぼかし処理部６９は、入力画像にぼかし処理を施すことによりぼかし画像を生成し出力する。ぼかし処理部６９は、例えば、入力画像に対し画素信号の濃淡変化を滑らかにする平均化フィルタ、画像信号に含まれる空間周波数成分のうち低周波成分を残しつつ高周波成分を除去するようなＬＰＦ（Low Pass Filter）、或いは、処理の対象となる画素に近いほど大きな重みを付け、その重みをガウス分布に近づけたガウシアンフィルタ等を用いることによりぼかし処理を実現する。以下、ぼかし処理を実現するフィルタをぼかしフィルタと記載する。
【０１１１】
ぼかし処理部６９は、拡張処理部４５から出力される入力画像の各画素の補正エッジ差分比を０．０以上１．０以下の範囲に収まるように正規化し、かかる正規化された補正エッジ差分比を各画素の合焦度合として利用する。ぼかし処理部６９は、ぼかし処理の対象となる画素（以下、注目画素と記載する。）にぼかし処理を施す際に、当該注目画素の合焦度合に応じて、ぼかし処理によるぼかし度合を変更する。以下、ぼかし処理部６９によるぼかし処理の実施例について説明する。
【０１１２】
＜実施例７−１＞
ぼかし処理部６９は、入力画像における注目画素の合焦度合に応じて、ぼかしフィルタのフィルタサイズを変更する。ぼかし処理部６９は、注目画素の合焦度合が、予め定められた所定の閾値ＴＨ１以上の場合には、ぼかしフィルタのフィルタサイズを小さくし、注目画素の合焦度合が所定の閾値ＴＨ１より小さい場合には、フィルタサイズを大きくする。
【０１１３】
例えば、所定の閾値を０．５とした場合、ぼかし処理部６９は、注目画素の合焦度合が０．５以上の場合には、当該注目画素はピントが合っている状態に近いと判断し、フィルタサイズを３×３とする。他方、注目画素の合焦度合が０．５より小さい場合には、当該注目画素はピントが合っていない状態に近いと判断し、フィルタサイズを５×５とする。
【０１１４】
画像処理部６９による上記ぼかし処理によると、注目画素が、ピントの合っている状態に近い場合は、注目画素の極近傍、例えば、当該注目画素に隣接する画素のみの画素値を利用してフィルタ処理がなされる。このため当該注目画素のぼかし度合は小さくなる傾向となる。他方、注目画素がピントの合っていない状態に近い場合には、当該注目画素の極近傍の画素のみならず、注目画素から離れた位置にある画素の画素値を利用してフィルタ処理がなされる。このため当該注目画素のぼかし度合は大きくなる傾向となる。即ち、入力画像は、ピントの合っている状態に近い画素に対してはぼかし度合が小さくなるように、ピントの合っていない状態に近い画素に対してはぼかし度合が大きくなるように、ぼかし処理が施されることになる。この結果、ピントの合った被写体が強調された画像をより一層効果的に生成することができる。
【０１１５】
＜実施例７−２＞
ぼかし処理部６９は、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。ぼかし処理部６９は、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。今、ぼかし処理部６９が、フィルタサイズ５×５のぼかしフィルタを用いるものとする。
【０１１６】
図２１（ａ）は、フィルタサイズが５×５のぼかしフィルタを示している。ぼかしフィルタは、２５個の要素が配列されて構成される。ぼかしフィルタを構成する２５個の要素それぞれをぼかしフィルタ要素と呼ぶ。図２１（ａ）においてａ〜ｙは、各ぼかしフィルタ要素を示している。各ぼかしフィルタ要素はそれぞれ所定のフィルタ係数を有している。図２１（ｂ）においてＣａ〜Ｃｙは、各ぼかしフィルタ要素が有するフィルタ係数である。尚、各ぼかしフィルタ要素の係数Ｃａ〜Ｃｙをまとめてぼかしフィルタのフィルタ係数と記載する場合もある。ここで、ぼかしフィルタによるぼかし処理の対称となる入力画像中の注目画素は、ぼかしフィルタ要素ｍに対応する画素となる。
【０１１７】
ぼかし処理部６９は、注目画素（ぼかしフィルタ要素ｍに対応する画素）と各ぼかしフィルタ要素（ぼかしフィルタ要素ｍを除く）に対応する画素の合焦度合に基づいて、ぼかしフィルタにマスク処理を施すためのマスクフィルタを生成する。生成されるマスクフィルタのフィルタサイズはぼかしフィルタのフィルタサイズと同じである。ここで、マスクフィルタについてのマスクフィルタ要素及びマスクフィルタのフィルタ係数の用語の意味は、ぼかしフィルタの場合と同様である。次に、ぼかし処理部６９は、ぼかしフィルタのフィルタ係数それぞれにマスクフィルタのフィルタ係数を乗じることにより補正ぼかしフィルタを生成する。
【０１１８】
ぼかし処理部６９は、例えば、以下のような規則に従いマスクフィルタを生成する。
（１）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１より大きい場合、
（１−１） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１１９】
（１−２） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１２０】
（２）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１以下である場合、
（２−１） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１２１】
（２−２） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１２２】
図２２は、ぼかし処理部６９による、入力画像２００に対するぼかし処理を説明するための図である。入力画像２００では、人物２０１にピントが合っているものとする。ぼかし処理部６９は、ぼかしフィルタの位置を水平方向および垂直方向に１画素ずつシフトさせつつ、各位置においてマスクフィルタを生成する。そして、生成したマスクフィルタ及びぼかしフィルタに基づいて補正ぼかしフィルタを生成し、該補正ぼかしフィルタにより注目画素にぼかし処理を施す。
【０１２３】
ぼかしフィルタが位置Ａにある場合に、ぼかし処理部６９がどのようにぼかし処理を施すかを説明する。ぼかしフィルタが位置Ａにある場合、ぼかしフィルタ要素ｍに対応する画素は、ピントの合っている人物２０１の顔の一部の画素であり、その合焦度合がＴＨ１より大きいく１以下であるものとする。また、ぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕ、ｖ、ｗに対応する画素のそれぞれの合焦度合が０以上、ＴＨ１以下で、ぼかしフィルタ要素ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｘ、ｙに対応する画素のそれぞれの合焦度合がＴＨ１より大きく１以下であるものとする。
【０１２４】
この場合、ぼかし処理部６９は、規則（１−２）に従ってぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕ、ｖ、ｗに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（１−１）に従ってぼかしフィルタ要素ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を１として、図２３（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２３（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は、生成した補正ぼかしフィルタを用いて、位置Ａにおける入力画像２００の注目画素にぼかし処理を施す。即ち、ぼかし処理部６９は、合焦度合がＴＨ１以上の注目画素にぼかし処理を施す場合には、合焦度合がＴＨ１以上の画素の画素値のみを用いてぼかし処理を施す。これにより、ピントの合っている注目画素に対するぼかし処理において、ピントのあっていない画素の色が混ざることにより起こる色にじみを軽減することができる。
【０１２５】
ぼかしフィルタが位置Ｂにある場合、ぼかしフィルタ要素ｍに対応する画素は、ピントの合っていない人物２０２の体の一部の画素であり、その合焦度合が０以上、ＴＨ１以下であるものとする。また、ぼかしフィルタ要素ａ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕに対応する画素のそれぞれの合焦度合がＴＨ１より大きく１以下、ぼかしフィルタ要素ｂ、ｃ、ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｖ、ｗ、ｘ、ｙに対応する画素のそれぞれの合焦度合が０以上、ＴＨ１以下であるものとする。
【０１２６】
このとき、ぼかし処理部６９は、規則（２−１）に従ってぼかしフィルタ要素ａ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（２−２）に従ってぼかしフィルタ要素ｂ、ｃ、ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｖ、ｗ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を１として、図２４（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２４（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は生成した補正ぼかしフィルタを用いて、位置Ｂにおける入力画像２００の注目画素にぼかし処理を施す。
即ち、ぼかし処理部６９は、合焦度合がＴＨ１より小さい注目画素にぼかし処理を施す場合には、合焦度合がＴＨ１より小さい画素の画素値のみを用いてぼかし処理を施す。これにより、ピントの合っていない注目画素に対するぼかし処理において、ピントのあっている画素の色が混ざることにより起こる色にじみを軽減することができる。
【０１２７】
＜実施例７−３＞
ぼかし処理部６９は、実施例７−２と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２との相違点について説明する。
【０１２８】
ぼかし処理部６９は、０．０以上１．０以下の範囲の合焦度合を予め定められた所定範囲毎に区切ることにより３つ以上の小範囲に細分化する。そして、注目画素（ぼかしフィルタ要素ｍに対応する画素）と各ぼかしフィルタ要素（ぼかしフィルタ要素ｍを除く）に対応する画素の合焦度合が細分化された小範囲のいずれに属するかに基づいてマスクフィルタを生成する。そして、ぼかしフィルタと生成されたマスクフィルタに基づいて補正ぼかしフィルタを生成し、当該補正ぼかしフィルタを用いて注目画素にぼかし処理を施す。
【０１２９】
ぼかし処理部６９は、例えば、合焦度合を３つの小範囲に細分化し、以下のような規則に従いマスクフィルタを生成する。
【０１３０】
（３）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１より大きく、予め定められた所定の閾値ＴＨ２以下の場合、
（３−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３１】
（３−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１３２】
（３−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３３】
（４）注目画素の合焦度合が予め定められた所定の閾値ＴＨ２より大きく１以下である場合、
（４−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１３４】
（４−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３５】
（４−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３６】
（５）注目画素の合焦度合が０以上で予め定められた閾値ＴＨ１以下である場合、
（５−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３７】
（５−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。
【０１３８】
（５−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。
【０１３９】
図２５は、ぼかし処理部６９による、ぼかし処理を説明するための図である。図２５の入力画像３００において、人物３０１は、顔部分３０１ａ、胴体部分３０１ｂ、腕部分３０１ｃから成る。人物３０１は青色の衣服を着ているものとする。このため胴体部分３０１ｂ及び腕部分３０１ｃは青色である。また、ハンドル３０２は赤色、背景３０３は緑色であるものとする。
【０１４０】
入力画像３００では、ハンドル３０２及び腕部分３０１ｃにピントが合っており、その合焦度合がＴＨ２より大きいものとする。また、人物３０１の胴体部分３０１ｂの合焦度合がＴＨ１より大きくＴＨ２以下であり、背景３０３の合焦度合が０以上、ＴＨ１以下であるものとする。以下、ぼかしフィルタが位置Ｃにある場合に、ぼかし処理部６９が、どのようにぼかし処理を施すかを説明する。
【０１４１】
図２５において、ぼかし処理の注目画素は、補正フィルタのフィルタ要素ｍに対応する画素である。当該注目画素は、ハンドル３０２の隙間に存在する人物３０１の胴体３０１ｂの一部分の画素である。従って、その合焦度合は上記したようにＴＨ１より大きくＴＨ２以下となる。今、フィルタ要素ｄ、ｇ、ｋ、ｍ、ｑの合焦度合はＴＨ１より大きくＴＨ２以下であるものとする。
【０１４２】
また、フィルタ要素ａ、ｂ、ｃ、ｆ、ｈ，ｉ、ｌ、ｎ、ｐ、ｒ、ｓ、ｕ、ｖ、ｗの合焦度合はＴＨ２より大きく１以下であるものとする。
【０１４３】
また、フィルタ要素ｅ、ｊ、ｏ、ｔ、ｘ、ｙの合焦度合は０以上、ＴＨ１以下であるものとする。
【０１４４】
このとき、ぼかし処理部６９は、規則（３−１）に従い、ぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｈ，ｉ、ｌ、ｎ、ｐ、ｒ、ｓ、ｕ、ｖ、ｗに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（３−２）に従い、ぼかしフィルタ要素ｄ、ｇ、ｋ、ｍ、ｑに対応するマスクフィルタ要素のフィルタ係数を１とし、規則（３−３）に従い、ぼかしフィルタ要素ｅ、ｊ、ｏ、ｔ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を０として、図２６（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２６（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は生成した補正ぼかしフィルタを用いて、位置Ｃにおける入力画像３００の注目画素にぼかし処理を施す。
【０１４５】
かかる補正ぼかしフィルタによるぼかし処理によると、合焦度合が注目画素と同じ範囲にある画素の画素値のみを用いてぼかし処理が施されるため、合焦度合が異なる画素の画素値が混ざることにより起こる色にじみを軽減することができる。従って、入力画像３００において、青色の注目画素（ハンドル３０２の隙間に存在する青色の胴体３０１ｂの一部分の画素）のぼかし処理には、赤色や緑色の割合の多い画素は用いられず、青色の割合の多い画素が用いられることになるため、ぼかし処理後の注目画素に赤色や緑色が混ざることを軽減することができる。
【０１４６】
＜実施例７−４＞
ぼかし処理部６９は、実施例７−２、実施例７−３と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２及び実施例７−３との相違点について説明する。
【０１４７】
ぼかし処理部６９は、例えば、ピントの合った被写体が水平方向へ移動しているシーンの画像が入力された場合、その移動のスピード感を強調する、所謂流し取りの効果を奏するぼかし処理を施す。
【０１４８】
図２７は、ぼかし処理部６９による、流し取り効果を奏するぼかし処理を説明するための図である。図２７（ａ）において、入力画像４００では、人物４０１にピントが合っているものとする。入力画像４００は、人物４０１が水平方向左側から右側へ移動しているシーンの画像である。
【０１４９】
ぼかし処理部６９は、人物４０１の水平移動方向（左側から右側へ向かう方向）とは反対の水平方向（右側から左側へ向かう方向）に進むに連れて、ぼかし処理に用いるぼかしフィルタの最後尾の列に新たなぼかしフィルタ要素の列を追加することにより新たなぼかしフィルタを生成していく。尚、ぼかしフィルタの最後尾の列とは、人物４０１の水平移動方向と反対の方向を進行方向とした場合の最後尾の列である。
【０１５０】
図２７（ｂ）において、ぼかし処理部６９が、位置Ｄにおいて注目画素（フィルタ要素ｍに対応する画素）に対するぼかし処理を施す際に用いるぼかしフィルタ４０２のフィルタサイズは、５×５である。
【０１５１】
図２７（ｃ）において、図２７（ｂ）から１画素左側にシフトした位置Ｅ（即ち、水平右方向から左方向へ進めたと見ることができる。）で注目画素（フィルタ要素ｍに対応する画素）にぼかし処理を施す場合、ぼかし処理部６９は、ぼかしフィルタ４０２の右端の列（ぼかしフィルタ要素ｅ、ｊ、ｏ、ｔ、ｙからなる列）にぼかしフィルタ要素イ、ロ、ハ、ニ、ホからなる列を追加し、フィルタサイズが５×６のぼかしフィルタ４０３を生成する。そして、かかるぼかしフィルタ４０３にマスク処理を施した補正ぼかしフィルタを生成し、ぼかし処理を施す。
【０１５２】
さらに、図２７（ｄ）において、図２７（ｃ）から１画素左側にシフトした位置Ｆ（即ち、更に水平右方向から左方向へさらに進めたと見ることができる。）で注目画素（フィルタ要素ｍに対応する画素）にぼかし処理を施す場合、ぼかし処理部６９は、ぼかしフィルタ４０３の右端の列（ぼかしフィルタ要素イ、ロ、ハ、ニ、ホからなる列）にフィルタ要素ヘ、ト、チ、リ、ヌからなる列を追加し、フィルタサイズが５×７のぼかしフィルタ４０４を生成する。そして、かかるぼかしフィルタ４０４にマスク処理を施した補正ぼかしフィルタを生成し、ぼかし処理を施す。
【０１５３】
図２８は、図２７（ａ）の入力画像４００に、上記のようにぼかし処理を施すことによって生成されたぼかし画像を示している。
【０１５４】
このように、ピントの合った特定被写体が水平方向に移動するシーンの入力画像にぼかし処理を施す場合において、ぼかし処理部６９が、特定被写体の水平移動方向と反対方向に向って配列されている画素にぼかし処理を施す際に、当該反対方向に進むに連れてぼかし処理に用いるぼかしフィルタのフィルタサイズを特定被写体の水平移動方向に向って大きくしていくことにより、移動する特定被写体のスピード感を強調したぼかし画像を生成することができる。
【０１５５】
＜実施例７−５＞
ぼかし処理部６９は、実施例７−２、実施例７−３と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２及び実施例７−３との相違点について説明する。
【０１５６】
ぼかし処理部６９は、例えば、入力画像が、ピントの合った被写体が撮影時に撮影方向を撮像装置に向って移動しているようなシーンの画像である場合、その移動のスピード感を強調する、所謂ズーム流し取りの効果を奏するぼかし処理を施す。
【０１５７】
図２９は、ぼかし処理部６９による、ズーム流し取り効果を奏するぼかし処理を説明するための図である。図２９において、入力画像５００は、人物５０１が撮影時に撮影方向を撮像装置に向って移動しているシーンの画像である。入力画像５００では、人物５０１にピントが合っているものとする。
【０１５８】
ぼかし処理部６９は、人物５０１を除くその他の被写体に対してぼかし処理を施す場合、人物５０１の重心の位置を導出し、当該重心の位置から離れるに連れて、ぼかし処理に用いるぼかしフィルタのサイズを大きくしていく。即ち、ピントの合っていないと判断される画素に対してぼかし処理を施す場合には、ピントの合っていると判断される画素群の重心を導出し、当該重心から離れるに連れて、ぼかし処理に用いるぼかしフィルタのサイズを大きくしていく。
【０１５９】
図２９において、ぼかし処理部６９が、位置Ｇにおいて注目画素（ぼかしフィルタ要素ｍに対応する画素）に対するぼかし処理を施す際に用いるぼかしフィルタ５０２のフィルタサイズは、５×５である。尚、ぼかしフィルタ要素ｍに対応する画素が人物５０１の重心であるとする。
【０１６０】
図２９において、位置Ｈにおける注目画素（フィルタ要素ｍに対応する画素）は、ピントの合っていないと判断される画素であるものとする。この場合、ぼかし処理部６９は、ぼかしフィルタ５０３のフィルタサイズを７×７とする。さらに、位置Ｈにおける注目画素（フィルタ要素ｍに対応する画素）は、ピントの合っていないと判断される画素であり、当該注目画素は、位置Ｈにおける注目画素よりも人物５０１の重心から離れている。従って、ぼかし処理部６９が、ぼかしフィルタ５０４のフィルタサイズを８×８とする。
【０１６１】
このようなぼかし処理によると、ピントの合っていないと判断される画素については、ピントの合っている被写体の重心から遠ざかるにつれてぼかし処理によるぼかし度合が大きくなる傾向となる。これにより、ピントの合った被写体が撮影方向を撮像装置に向ってくるときのスピード感を強調したぼかし画像を生成することができる。
【０１６２】
＜第８実施例＞
図３０は、画像処理部７における強調画像生成処理の第８実施例を説明する図である。図３０において、図１７と同一の番号を付している部位は、第６実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
【０１６３】
撮影対象に人物が含まれており、当該人物の顔にピントが合わせられるとともに、当該人物の顔が比較的大きく撮影された撮影画像は、撮影者が当該人物を主要被写体として撮影したと考えられる。このような撮影画像に対しては、合焦度合の低い背景画像（主要被写体を除く他の撮影対象の撮影画像）に、ぼかし度合のより大きなぼかし処理を施すことが、撮影者の意図に沿うと考えられる。
【０１６４】
他方、撮影対象に人物が含まれているものの、被写界深度が深く、撮影対象の略全体に対してピントが合わせられるとともに、当該人物の顔が比較的小さく撮影された撮影画像は、撮影者が当該人物を含む撮影対象全体を主要被写体として撮影したと考えられる。このような撮影画像に対しては、合焦度合の低い部分があったとしても、ぼかし度合のより小さいぼかし処理を施す、或いは、ぼかし処理を施さないことが撮影者の意図に沿うと考えられる。
【０１６５】
図３０において、顔検出処理部７０は、入力画像から注目被写体と考えられる人物の顔画像領域を検出するとともに、検出した顔画像領域の入力画像領域全体に占める割合に応じて、後述するぼかし処理部７１によるぼかし度合を調整する。顔画像領域の入力画像領域全体に占める割合は、例えば、入力画像領域の画素数に対する顔画像領域の画素数の割合を計算することで算出することができる。
【０１６６】
顔画像領域の入力画像領域全体に占める割合が、例えば３０％以上であれば、撮影者は当該人物を主要被写体とした、いわゆるポートレート（人物画）を撮影しようとしていると考えられる。他方、顔画像領域の入力画像領域全体に占める割合が、所定割合未満、例えば３０％未満であれば、撮影者は撮影対象全体を主要被写体とした、いわゆるランドスケープ（風景画）を撮影しようとしていると考えられる。
【０１６７】
従って、顔検出部７０は、顔画像領域の入力画像領域全体に占める割合が、あらかじめ決められた所定割合以上であれば、人物がより強調されて、浮き立ったように見えるように後述するぼかし処理部７１によるぼかし度合を大きくする。他方、顔画像領域の入力画像領域全体に占める割合が、当該所定割合未満である場合は、撮影対象全体のぼけ具合が小さくなる、あるいは全く無くなるように、後述するぼかし処理部７１によるぼかし度合を小さくする、あるいはぼかし度合をゼロにする。
このような処理により、撮影者が、人物を主要被写体とした撮影を行う場合には、人物がより一層強調された撮影画像を取得することができる。他方、撮影対象全体を主要被写体とした撮影を行う場合には、被写界深度を深くして、撮影対象全体にピントが合うように撮影された元の撮影画像にほぼ等しい画像を取得することができる。
【０１６８】
顔検出部７０は、入力画像中に複数の人物顔を検出した場合には、例えば、最も顔画像領域の大きい人物顔を選択する、撮影画像の中心から最も近い位置に存在する人物顔を選択する、或いは、拡張処理部４５から出力される補正エッジ差分比の平均が最も高い顔画像領域を選択する等、あらかじめ設定された条件に合致する顔画像を選択する。
【０１６９】
図３０において、ぼかし処理部７０は、入力画像にぼかし処理を施し、ぼかし画像を出
力する。ぼかし処理部７０は、例えば、隣接する画素信号の濃淡変化を滑らかにする平均
化フィルタ、或いは画像信号に含まれる空間周波数成分のうち、低周波成分は残し、高周
波成分を除去するようなＬＰＦ（Low Pass Filter）を採用することができる。上記平均
化フィルタやＬＰＦは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」
（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１３１頁から１３
３頁に記載されているものを採用することができる。
【０１７０】
ぼかし処理部７０は、ぼかしフィルタのフィルタサイズを大きくすることによって、ぼかし度合を大きくすることができ、逆に、フィルタサイズを小さくすることによって、ぼかし度合を小さくすることができる。さらに、注目画素に対するフィルタ係数を１として、注目画素以外のフィルタ係数を０とすることにより、ぼかし度合をゼロとすることができる。その他、例えば、フィルタサイズを７×７に固定する場合には、注目画素から離れるに連れてフィルタ係数を大きくすることにより、ぼかし度合を大きくすることができ、反対に注目画素に近づくに連れてフィルタ係数を大きくすることにより、ぼかし度合いを小さくすることができる。
【０１７１】
ぼかし処理部７０は、顔検出部７０から顔画像領域の入力画像領域全体に占める割合が所定割合以上であることを示す信号が入力されると、例えば、フィルタサイズを７×７とする。他方、顔検出部７０から顔画像領域の入力画像領域全体に占める割合が所定割合未満であることを示す信号、或いは顔画像領域が検出されなかったことを示す信号が入力されると、例えば、フィルタサイズを３×３とする、或いは注目画素に対するフィルタ係数を１として、その他のフィルタ係数を０とする。
【０１７２】
尚、当然のことながら、図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例、及び図１５の第５実施例における変換テーブル４６、ぼかし処理部４７及びエッジ強調処理部４８に替えて、図３０の第８実施例における変換テーブル６７、顔検出処理部７０、ぼかし処理部７１及び加重加算処理部６８を採用することができる。
【０１７３】
第２、第４又は第５実施例を変形した場合、変換テーブル６７へは、周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が周波数成分比となる。第３実施例を変形した場合には、水平周波数成分比又は垂直周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が水平周波数成分比又は垂直周波数成分となる。
【０１７４】
顔検出処理部７０による顔検出処理について説明する。図３０において、顔検出処理部７０には、Ｙ、Ｕ、Ｖ信号からなる入力画像の画像信号が入力される。顔検出処理部７０は、入力画像の画像信号に基づき、入力画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出処理部７０は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。
【０１７５】
典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。このような顔検出方法は、特開２００７−２６５３９０に詳しく記載されている。
【０１７６】
上記第８実施例では、人物の顔画像を例に説明したが、人物の顔画像に限らず、動物の顔画像であっても、同様に実現することができる。
【０１７７】
＜第９実施例＞
第１実施例を表す図５、第２実施例を表す図１０、第３実施例を表す図１２、第４実施例を表す図１３、及び第５実施例を表す図１５、において、拡張処理部４５が補正エッジ差分比をぼかし処理部４７へも出力することとすることができる。そして、ぼかし処理部４７は、所定値以上の補正エッジ差分比をカウントする。ぼかし処理部４７は、入力画像の全画素数に対するカウント値の割合が所定割合以上の場合には、変換テーブル４６からの出力に基づくぼかし度をより大きくしてぼかし処理を施すこととすることができる。逆に、所定割合未満の場合には、変換テーブル４６からの出力に基づくぼかし度をより小さくする、或いはゼロにすることができる。
【０１７８】
＜第１０実施例＞
第６実施例を表す図１７において、例えば、拡張処理部４５が補正エッジ差分比をぼかし処理部６６へも出力することとすることができる。そして、ぼかし処理部６６は、所定値以上の補正エッジ差分比をカウントする。ぼかし処理部６６は、入力画像の全画素数に対するカウント値の割合が所定割合以上の場合には、ぼかし度を大きくしてぼかし処理を施すこととすることができる。逆に、所定割合未満の場合には、ぼかし度を小さくする、或いはゼロとするぼかし処理を施すこととすることができる。
【０１７９】
第９実施例及び第１０実施例によると、補正エッジ差分比の数が比較的多い入力画像、即ち、ピントの合っている被写体が比較的大きい入力画像については、ピントが合っていない背景画像がよりぼかされた画像を取得することができる。他方、補正エッジ差分比の数が比較的少ない入力画像、即ち、ピントの合っている被写体が比較的小さい入力画像については、元の入力画像に近い画像を取得することができる。
【０１８０】
以上述べたように、本願発明では、入力画像の各画素或いは各領域（以下、各画素等と記載する。）の合焦度合（換言すると、各画素等の画像信号が、ピントが合っている画素等の画像信号からどの程度ずれているかの度合。）を導出し、当該合焦度合に応じて、各画素等の画像信号を低減する。具体的には、合焦度合が小さいほど、画像信号の高周波成分、Ｙ信号（輝度信号）又はＵ及びＶ信号（彩度信号）を低減する。
【０１８１】
かかる処理により、撮像装置１の撮影者は、例えば、入力画像１００の背景１０２をぼかすとともに人物１０１を強調して、その結果人物１０１が浮き立ったような“ぼけ味”のある強調画像を取得することができる。
【符号の説明】
【０１８２】
１ 撮像装置
５ 画像処理部
４１ ＹＵＶ生成部
４２ 極局所領域抽出部
４３ 局所領域抽出部
４４ エッジ差分比算出部
４５ 拡張処理部
４６ 変換テーブル部
４７ ぼかし処理部
４８ エッジ強調処理部
【特許請求の範囲】
【請求項１】
複数の小領域からなる第１撮影画像に対してぼかし処理を施し第２撮影画像を生成する第２撮影画像生成手段と、
前記各小領域の合焦度合を導出する合焦度導出手段と、
前記合焦度導出手段により導出された前記各小領域の合焦度合が小さいほど前記第２撮
影画像の混合割合を大きくして、前記第１撮影画像における前記各小領域と前記第２撮影
画像における前記各小領域に対応する第２小領域を合成処理する合成処理手段と、
を備え、
前記第２撮影画像生成手段は、第１撮影画像から顔画像領域を検出する顔領域検出手段と、
検出された顔画像領域に基づいて、前記第１撮影画像にぼかし処理を施すことにより前記第２撮影画像を生成するぼかし処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記ぼかし処理手段は、
検出された前記顔画像領域の前記第１撮影画像領域に対する割合が所定割合以上である場合に、ぼかし度合を大きくするぼかし処理を施し、
前記所定割合未満である場合には、
ぼかし度合を小さくする、或いはぼかし度合をゼロとするぼかし処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合焦度導出手段は、前記各小領域における輝度信号の遷移パターンに応じて前記合
焦度合を導出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記合焦度導出手段は、前記各小領域における輝度信号に含まれる周波数成分に応じて
前記合焦度合を導出することを特徴とする請求項１又は２に記載の画像処理装
置。
【請求項５】
撮影により複数の小領域からなる第１撮影画像を取得する撮影手段と、
請求項１乃至４のいずれかに記載の画像処理装置と、
前記画像処理装置によって生成された出力画像を記録する記録手段と、
を備えたことを特徴とする撮影装置。
【請求項１】
複数の小領域からなる第１撮影画像に対してぼかし処理を施し第２撮影画像を生成する第２撮影画像生成手段と、
前記各小領域の合焦度合を導出する合焦度導出手段と、
前記合焦度導出手段により導出された前記各小領域の合焦度合が小さいほど前記第２撮
影画像の混合割合を大きくして、前記第１撮影画像における前記各小領域と前記第２撮影
画像における前記各小領域に対応する第２小領域を合成処理する合成処理手段と、
を備え、
前記第２撮影画像生成手段は、第１撮影画像から顔画像領域を検出する顔領域検出手段と、
検出された顔画像領域に基づいて、前記第１撮影画像にぼかし処理を施すことにより前記第２撮影画像を生成するぼかし処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記ぼかし処理手段は、
検出された前記顔画像領域の前記第１撮影画像領域に対する割合が所定割合以上である場合に、ぼかし度合を大きくするぼかし処理を施し、
前記所定割合未満である場合には、
ぼかし度合を小さくする、或いはぼかし度合をゼロとするぼかし処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合焦度導出手段は、前記各小領域における輝度信号の遷移パターンに応じて前記合
焦度合を導出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記合焦度導出手段は、前記各小領域における輝度信号に含まれる周波数成分に応じて
前記合焦度合を導出することを特徴とする請求項１又は２に記載の画像処理装
置。
【請求項５】
撮影により複数の小領域からなる第１撮影画像を取得する撮影手段と、
請求項１乃至４のいずれかに記載の画像処理装置と、
前記画像処理装置によって生成された出力画像を記録する記録手段と、
を備えたことを特徴とする撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１１−１３０１６９（Ｐ２０１１−１３０１６９Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８６５０１（Ｐ２００９−２８６５０１）
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]