画像処理装置、撮像装置、画像ファイル及び画像処理方法
【課題】画面の全体に焦点のあった画像を、奥行き感のある立体的なものとする。
【解決手段】画像を撮影する際に、画像を複数の領域に区分し、その領域の各々に含まれる被写体までの距離情報を取得する。その距離情報に基づいて領域毎にぼかし度合いを設定し、そのぼかし度合いによって領域毎にぼかし処理を施す。これによって、画像内のぼかし度合いの低い領域が浮き上がったボケ味のある画像とすることができる。
【解決手段】画像を撮影する際に、画像を複数の領域に区分し、その領域の各々に含まれる被写体までの距離情報を取得する。その距離情報に基づいて領域毎にぼかし度合いを設定し、そのぼかし度合いによって領域毎にぼかし処理を施す。これによって、画像内のぼかし度合いの低い領域が浮き上がったボケ味のある画像とすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像中の被写体の輪郭のぼかし度合いの補正が可能な画像処理装置及びその画像処理方法に関し、特に撮像装置からの距離が異なる複数の被写体を含む画像のぼかし処理に関する。
【背景技術】
【０００２】
現在広く普及しているデジタルカメラやデジタルビデオなどといった撮像装置では、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子の画素数の向上により高精細な画像が撮影できるようになっている。さらに、撮影した画像の階調を自動的に補正して、記録される画像を見栄えのよいものとする撮像装置も既に提案されている。従来の一般的な階調補正は、例えば、撮影画像の全体に鮮明な画像にするため、近景も遠景も同じように鮮明な画像とするものである。
【０００３】
ところで、撮影者に実際に見えている光景では、撮影者からの距離が近い物体ほど鮮明であり、距離が遠い物体ほどぼやけている。つまり、撮影者の肉眼には奥行き感のある立体的な画像が見えている。一眼レフカメラのように、レンズの口径及び撮像素子の大きな撮像装置では、被写界深度の浅い画像を撮影できるため、ボケ味のある、奥行き感のある画像を撮影することができる。しかし、コンパクトサイズのデジタルカメラのような小型の撮像装置においてはレンズの口径及び撮像素子が小さいため、撮影された画像は被写界深度が深く、焦点が近景から遠景まで全体に合ったものとなり、ボケ味のある、奥行き感のある画像を撮影することは難しい。
【０００４】
そこで、特許文献１では、画像中の被写体が人物であることを検出すると、その画像の人物以外の部分をぼかす方法が提案されている。これによって、人物から背景まで全体に焦点が合った画像でも、人物が浮き上がった画像とすることができる。
【０００５】
又、特許文献２では撮影レンズの焦点距離又は被写体の撮影距離の少なくとも一方を利用して階調の変換を変化させる方法が提案されている。マクロ撮影のように焦点距離が長く、撮影距離が短い場合は中間域の階調変化を強調して白とびや黒つぶれを抑制して画面全体の階調表現を視覚的に滑らかなものとし、一方、風景撮影のように焦点距離が短く、撮影距離が長い場合は中間域の階調変化を弱めて階調を変換し、中間域に集中した階調変化域を拡げてメリハリのある画像に変換させている。
【特許文献１】特開平１１−４１５１２号公報
【特許文献２】特開２００４−２１５１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１で提案された画像補整方法では、ぼかし度合いを使用者が設定することができるものの、１個の画像中におけるぼかし度合いは一定であるため人物に比較的近い被写体も比較的遠い被写体もぼけ具合が同じになってしまい、不自然な画像となる。
【０００７】
又、近景、遠景が混在し、焦点が全体に合った画像に対して特許文献２で提案された階調の変換方法を適用する場合、上述のマクロ撮影用の変換方法又は風景撮影用の変換方法のいずれかが適用されることとなる。マクロ撮影用の変換方法では画面全体の階調表現が視覚的に滑らかなものとなり、風景撮影用の変換方法では画面全体がメリハリのあるものとなる。しかし、いずれにしても、近景、遠景の区別なく画面全体に同一の変換条件を適用するため、画面内では近景が遠景に埋もれてしまい、実際に撮影者に見えているような奥行き感は得られない。
【０００８】
そこで、本発明は、近景から遠景まで焦点が全体に合った画像でも、対象となる被写体に焦点が合い、それ以外の被写体がぼけた、奥行き感のある立体的なものとする画像処理装置及び画像処理方法を提供することを目的とする。又、焦点が全体にあった画像を、上述のような奥行き感のある立体的なものとするための被写体までの距離情報を、その画像とともに関連づけて記録できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、入力された信号の信号値を変更して画像を補正する画像補正装置において、被写体を含む画像を単数又は複数の画素からなる領域に区分し、前記領域の各々を前記被写体までの距離に応じて設定したぼかし度合いを適用してぼかし処理を施すことを特徴とする。
【００１０】
又、前記ぼかし処理がローパスフィルタによって行われ、前記ローパスフィルタのカットオフ周波数を変更することにより前記ぼかし度合いを設定するものとしても構わない。
【００１１】
又、前記被写体までの距離が長いほど前記領域に適用する領域前記ぼかし度合いを高く設定するものとしても構わない。
【００１２】
又、前記被写体までの距離が所定の距離以下である前記領域にはぼかし処理を施さないものとしても構わない。
【００１３】
又、前記領域を前記被写体までの距離に基づいて複数の距離グループに区分し、前記距離グループの各々に前記ぼかし度合いを設定し、前記領域の各々は、属する前記距離グループに設定されたぼかし度合いによってぼかし処理を施すものとしても構わない。
【００１４】
又、前記領域の前記被写体までの距離が所定の距離よりも離れるほど前記ぼかし度合いを高く設定するものとしても構わない。
【００１５】
又、前記所定の距離が、特定部分を有する前記被写体までの距離であるものとしても構わない。
【００１６】
又、前記領域の各々を前記被写体までの距離に応じた階調補正特性によって階調補正するものとしても構わない。
【００１７】
又、本発明の電子機器は、上記構成の画像補正装置を備えるものとする。
【００１８】
上記電子機器において、レンズと焦点制御手段とを有するレンズ部と、前記レンズ部から入射した光を電気信号に光電変換する固体撮像素子と、前記固体撮像素子で取得した前記被写体を含む画像の電気信号から前記被写体まで距離を検出する距離検出部と、前記固体撮像素子で取得したままの状態の前記画像の電気信号からなる本体部と、前記距離検出部で検出した前記本体部の画像を区分した各領域の前記被写体までの距離の情報を有するヘッダ部とを備える画像ファイルを記憶する記憶部と、を備え、前記記憶部に記憶された前記本体部の前記画像の電気信号を前記ヘッダ部に記憶された前記被写体までの距離に応じて設定したぼかし度合いを適用してぼかし処理を施すものとしても構わない。
【００１９】
又、前記固体撮像素子で、前記被写体を含み合焦距離の異なる複数の画像からなる距離検出用画像を、前記レンズ部の合焦距離を変化させて取得し、前記距離検出部では、前記合焦距離の異なる複数の画像の前記領域の各々の高周波成分の強度を測定し、前記領域の各々の高周波成分の強度が最も高い画像の合焦距離を検出し、前記距離検出部で検出した、前記高周波成分の強度が最も高い画像の合焦距離を、前記領域の各々の前記被写体までの距離として用いるものとしても構わない。
【００２０】
又、本発明の画像補正方法は、被写体を含む前記画像の信号と、前記画像を区分した単数又は複数の画素からなる領域の各々の前記被写体までの距離情報とを有する画像ファイルを記憶した外部メモリから前記画像ファイルの読み出しを行う第１ステップと、前記第１ステップで読み出された前記領域の各々に含まれる前記被写体までの距離に応じたぼかし度合いによって、前記被写体を含む画像にぼかし処理を施す第２ステップと、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によると、画面を区分した領域に含まれる被写体までの距離に基づいて、領域毎にぼかし処理の度合いを設定するため、近景から遠景まで焦点が全体に合った画像でも、対象となる被写体に焦点が合い、それ以外の被写体がぼけた、奥行き感のある立体的なものとすることができる。
【発明を実施するための最良の形態】
【００２２】
〈第１の実施形態〉
本発明の第１の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。
【００２３】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、第１の実施形態に係る撮像装置の内部構成を示すブロック図である。
【００２４】
図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、外部から入力された音声を電気信号に変換するマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、ぼかし処理及び階調補正を含む各種画像処理を施す画像処理部５と、画像処理部５から入力された画像信号から被写体までの距離を検出する距離検出部２３と、マイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。レンズ部２は、画像処理部５で検出した画像信号に応じてＣＰＵ１７が、モータを駆動して焦点、絞りの制御を行うものである。
【００２５】
（撮像装置の基本動作 静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の撮影モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。続いて撮影モードの入力待ち状態となり、後述するぼかしモード等が選択される。撮影モードが入力されない場合はプレビューモードが選択されたものとする（ＳＴＥＰ２０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部１８のズーム倍率での画角の画像がディスプレイ部１２に表示される。
【００２６】
続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・フォーカス制御（Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。
【００２７】
ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。ＡＦの最適化処理では、例えば撮影画像エリアを複数の領域に分割し、その一部の領域をＡＦ評価エリアと設定する。そして、レンズ部２の合焦距離（フォーカス位置）を近点から遠点又は遠点から近点へ変化させながら、距離情報検出部２３でＡＦ評価エリアの重み付けを高く設定した全領域の輝度信号の高周波成分を検出し、高周波成分が最大値となるフォーカス位置を撮影に用いるフォーカス位置に設定する。図３は撮影画像エリアを縦８列、横８行の６４個の領域に分割し、その中央の１６個の領域をＡＦ評価エリアと設定した画像の例である。図４は図３の画像のＡＦ評価エリアの重み付けを高く設定した全領域及び他の個々の領域の輝度信号の高周波成分と合焦距離との関係を示すグラフである。太線で示すＡＦ評価エリアの重み付けを高く設定した全領域のグラフの矢印で示した位置が撮影に用いるフォーカス位置である。
【００２８】
撮影用のＡＥ・ＡＦが設定されると、イメージセンサ１の駆動モードについてぼかし処理モードが選択されているかどうかを検出する（ステップ２０９）。ぼかし処理モードが選択されていない場合、シャッターボタンが全押しされると（ＳＴＥＰ２２０）、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ２２１）、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３でデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２２２）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部５において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号が圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２２３）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１３）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。
【００２９】
（撮像装置の基本動作 動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１９によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００３０】
そして、画像処理部５で画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、マイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部８に与えて、外部メモリ２２に記録させる。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００３１】
このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。
【００３２】
又、外部メモリ２２に記録された動画を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。
【００３３】
画像を再生することが指示された場合は、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。
【００３４】
（ぼかし処理モード）
次にぼかし処理モードについて説明する。本発明の撮像装置では、画像処理部５に、画像中の被写体の距離情報を算出してそれに基づいたぼかし処理を撮影した画像に施すことができるぼかし処理部３０を備え、このような撮影モードをぼかし処理モードと呼ぶ。ぼかし処理部３０の構成及びそのぼかし処理モードにおける動作について以下に説明する。
【００３５】
図５はぼかし処理部３０の構成を示すブロック図である。ぼかし処理部３０は、シャッターボタンを半押した際にＡＦＥ３でデジタル信号とされた距離検出用画像及びシャッターボタンを全押しした際にＡＦＥ３でデジタル信号とされた記録用画像を一時的に記憶するフレームメモリ３１と、距離情報記憶部１７ａに記憶された各領域の被写体までの距離に基づいてフレームメモリ３１から読み込んだ記録用画像信号（デジタル信号）に対してぼかし処理を施すローパスフィルタ部３４と、ローパスフィルタ部３４でぼかし処理が施された記録用画像信号より輝度信号及び色差信号を生成する信号処理部３５と、を備える。距離検出部２３は、フレームメモリ３１に記憶された距離検出用画像（デジタル信号）を所定の領域に区分し、ＴＧ１６から発信された画像中のアドレス情報であるＨポジション及びＶポジションに対応した水平同期信号（以下Ｈｓｙｎｃとする）及び垂直同期信号（Ｖｓｙｎｃ）を受けて各領域における撮像装置から被写体までの距離を検出し、ＣＰＵ１７の内部に設けられた距離情報記憶部１７ａではＨｓｙｎｃ及びＶｓｙｎｃ信号を受け距離検出部２３で検出した各領域の被写体までの距離を記憶する。尚、距離情報記憶部１７ａはＣＰＵ１７の内部に設けられたものに限られず、撮像装置の内部又は外部に設けられた記憶装置を用いても構わない。
【００３６】
次にこのように構成されるぼかし処理部３０の動作について説明する。図２のＳＴＥＰ２０３でぼかし処理モードが選択されていることを検出し、シャッターボタンが半押しにされていることを検出する（ＳＴＥＰ２０４）と、距離検出用画像を撮影し、フレームメモリ３１に記憶させる。距離検出部２３ではフレームメモリ３１に記憶された距離検出用画像を所定の領域に区分し各領域の撮像装置から被写体までの距離を検出し、距離情報記憶部１７ａでは距離検出部２３で検出した各領域における被写体までの距離（以下距離情報とする場合もある）を記憶する（ＳＴＥＰ２０５）。
【００３７】
ここで、距離検出部２３の構成及び動作の一例について図を用いて説明する。図６は距離情報検出部の構成を示すブロック図、図７は距離情報を検出する動作を説明するためのフローチャートである。距離検出部２３は、図６に示すように、合焦距離を変化させて撮影された複数枚の画像からなる距離検出用画像（デジタル信号）をフレームメモリ３１から合焦距離の長いものの順に読み込んで所定の領域に区分し各領域の輝度信号の高周波成分の強度を検出する高周波成分検出部２３ａと、高周波成分検出部２３ａで検出されたある合焦距離での画像信号の各領域での高周波成分の強度とそれより長い合焦距離での画像信号の各領域での高周波成分の最高強度とを比較する高周波成分比較部２３ｂとを備える。
【００３８】
次に距離検出部２３の動作について説明する。まず、ステップ２０８のＡＦ制御について説明する。ＡＥ設定（ステップ２０７）後、図７に示すように、レンズ部２の全合焦範囲のうち、最短距離である最近点に合焦距離（フォーカス位置）を設定する（ステップ７０１）。そして、そのフォーカス位置で距離検出用画像を撮影し、ＡＦＥ３でデジタル信号に変換してフレームメモリ３１に書き込む。高周波成分検出部２３ａでは、フレームメモリ３１に記憶された最近点の距離検出用画像のデジタル信号を読み込んで所定の領域に区分し、各領域の輝度信号の高周波成分の強度を検出する（ＳＴＥＰ７０２）。そして、ＡＦ評価エリアの重み付けを高く設定した全領域の輝度信号の高周波成分の強度から、ＡＦ評価値を算出する（ＳＴＥＰ７０３）。
【００３９】
続いてフォーカス位置が無限遠であるかどうかを検知し、無限遠でない場合（ＳＴＥＰ７０４でＮｏ）、フォーカス位置を所定の間隔（１ステップ）遠くに設定する（ＳＴＥＰ７０５）。そしてＶｓｙｎｃ信号を受ける（ＳＴＥＰ７０６でＹｅｓ）とそのフォーカス位置でのＡＦ評価値を算出する（ＳＴＥＰ７０３）。
【００４０】
ＳＴＥＰ７０４でフォーカス位置が無限遠であることを検知すると（ＳＴＥＰ７０４でＹｅｓ）、レンズ部１２のフォーカス位置をＡＦ評価値が最大となった位置に移動する。このフォーカス位置で画像を撮影することとなる。
【００４１】
さらに、ＳＴＥＰ２０９でぼかし処理モードであることを検出した場合、高周波成分比較部２３ｂでは、フレームメモリ３１に記憶された最近点から無限遠までの各フォーカス位置での画像の各領域の高周波成分の強度を最近点のものから順に高周波成分検出部２３ａから読み込む。、最初に最近点の画像と１ステップフォーカス位置の長い画像の各領域での高周波成分の強度を比較し、各領域について高い方の強度及びその合焦距離を記憶する。ある領域について、無限遠での高周波成分の強度をｇ１、１段階短い合焦距離での高周波成分の強度をｇ２とするとき、ｇ１≧ｇ２であればｇ１、ｇ１＜ｇ２であればｇ２を、その合焦距離範囲での最高の強度Ｇとして合焦距離とともに記憶する。
【００４２】
次に、さらに１段階合焦距離の短い画像がある場合、その画像の各領域の高周波成分の強度を読み込み、記憶しているそれより長い合焦距離範囲（それまでに読み込んだ合焦距離範囲）での各領域の高周波成分の最高強度Ｈと比較する。そして、各領域について高い方の強度及びその合焦距離を記憶する。ある領域について、ある合焦距離での高周波成分の強度をｇｎとするとき、ｇｎ≧Ｇであればｇｎ、を新たにＧの値としてその合焦距離とともに更新し、ｇｎ＜ＧであればそれまでのＧの値と合焦距離とを維持する。
【００４３】
高周波成分の強度は撮像装置から被写体までの距離と合焦距離とが近いほど高くなる。この比較動作を全てのフォーカス位置の画像について完了すると、高周波成分比較部２３ｂには各領域について高周波成分の最高の強度Ｈとその強度を示した合焦距離が記憶されており、これは各領域における撮像装置から被写体までの距離情報である。距離情報記憶部１７ａでは、各領域における最高強度を示した合焦距離を高周波成分比較部２３ｂから読み込む（ＳＴＥＰ２０５）。
【００４４】
図８は距離検出用画像及び記録用画像の一例である。図９は図８の画像を所定の領域に区分した一例であり、所定の領域を縦３列、横３行の合計９個からなるものとしている。図９の各領域を左上から右方向にＲ１、Ｒ２、…、Ｒ９とする。各領域は単数又は複数の画素からなる。又、図１０は縦軸を高周波成分の強度、横軸を合焦距離としたＲ１、Ｒ２、…、Ｒ９の各領域の高周波成分の強度と合焦距離との関係を示すグラフである。上述のように、高周波成分は撮像装置から被写体までの距離と合焦距離とが近いほど強度が高くなる。
【００４５】
人物を含む領域である領域Ｒ５、Ｒ８についてのグラフは高周波成分が最大強度となる合焦距離は同じであるものの、その最大強度の大きさは異なる。即ちいずれの領域も被写体の位置が同じであるため最大強度となる合焦距離は同じとなる。しかし、領域に被写体のエッジを含んでいる、領域の全面を被写体が覆っているなど、領域毎に含まれる被写体の状態が異なるため、最大強度が異なるものとなる。
【００４６】
同様の理由で、建物を含む領域である領域Ｒ１、Ｒ２、Ｒ３、Ｒ６、Ｒ９についてのグラフも高周波成分が最大強度となる合焦距離は同じであるものの、最大強度の大きさは異なる。
【００４７】
１個の領域に距離の異なる複数の被写体が存在している場合は、複数の高周波成分の強度の極大値が現れることとなる。図１１は撮像装置からの距離の異なる複数の被写体が存在している領域における高周波成分の強度と合焦距離との関係を示すグラフである。このように１個の領域中に高周波成分の強度の極大値が２箇所以上現れた場合、最大の強度となる合焦距離をその領域での被写体までの距離として採用してもよい。
【００４８】
又、所定の閾値以上の極大値を検出し、そのうち合焦距離の最も短いもの又は最も長いものを採用してもよい。又、所定の閾値以上の極大値を合焦距離の順に並べた際に中心となるものを合焦距離を採用してもよい。所定の閾値以上の極大値が偶数個の場合は中心がないため、中心に近い２個の閾値のうちいずれかを採用してもよい。
【００４９】
距離情報記憶部１７ａで各領域の被写体までの距離を記憶した後、構図、画角が変化したかどうかを検出する（ＳＴＥＰ２１１）。構図、画角が変化したことを検出した場合については後述する。構図、画角が変化したことを検出せず（ＳＴＥＰ２１１でＮｏ）、シャッターボタンが全押しされていることを検出する（ＳＴＥＰ２１３でＹｅｓ）と、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ２１４、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３でデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２１５）。ローパスフィルタ部３４ではフレームメモリ３１に記憶された記録用画像（デジタル信号）を読み込んで、上述の距離検出部２３で区分した各領域について距離情報記憶部１７ａに記憶された各領域の被写体までの距離に基づいてぼかし度合いを設定し（ＳＴＥＰ２１６）、設定したぼかし度合いに基づいて各領域にぼかし処理を実施する（ＳＴＥＰ２１７）。ぼかし処理を行った画像について、圧縮処理部７においてＪＰＥＧ形式に圧縮（ＳＴＥＰ２１８）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１９）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。
【００５０】
ＳＴＥＰ２１８でぼかし処理を行った画像信号を圧縮処理部７において圧縮する際に、ぼかし処理を行った画像信号のみならずぼかし処理を行っていない画像信号についても圧縮し、図１２に示すように、外部メモリ２２に書き込むファイル８０には圧縮したぼかし処理を行っていない画像信号８１に付加したヘッダ部８２に、ＳＴＥＰ２１０で距離情報記憶部１７ａに記憶された各領域における最高強度を示した合焦距離情報８２ａを併せて書き込んでもよい。このようなヘッダ部８２に合焦距離情報を書き込む形式としては例えばｅｘｉｆ形式を用いることができる。なお、外部メモリ２２には、圧縮したぼかし処理を行った画像信号については書き込まず、ヘッダ部に合焦距離情報を有する圧縮したぼかし処理を行っていない画像信号のみを書き込むことをユーザが選択できるようにしても構わない。又、ヘッダ部８２に書き込む情報は、圧縮したものであってもよい。
【００５１】
（構図、画角が変化したことを検出した場合）
ここで、ＳＴＥＰ２１１で構図、画角が所定量以上変化したことを検出した場合、ユーザに対して画角が変化したこと及びシャッターボタンを開放して半押しし直すことをディスプレイ部１２での表示やスピーカ部１５からの音声によって通知し、シャッターボタンが半押しし直されたかどうかを検知する（ＳＴＥＰ２１２）。半押しし直された場合（ＳＴＥＰ２１２でＹｅｓ）は再びＡＥ調整（ＳＴＥＰ２０７）、ＡＦ制御（ＳＴＥＰ２０８）を経て、各領域における最高強度を示した合焦距離を検出し、記憶する（ＳＴＥＰ２１０）。ここで、構図、画角の変化の検出は、ＣＰＵ１７で逐次算出されているＡＥ評価値の変化や、逐次取り込まれてＡＦＥ３でデジタル信号化されるイメージセンサ１上の画像からＣＰＵ１７で検出した被写体の動きベクトルの変化、又は加速度センサのような動きを検出するセンサによって検出することができる。
【００５２】
ＳＴＥＰ２１２で半押しし直されず、ＳＴＥＰ２１３で全押しされた場合はＳＴＥＰ２０７以降の処理をぼかし処理を省略して続けてもよい。又、動きベクトルの変化や加速度センサによってシャッターボタンの半押しから全押しまでの間に構図、画角の変化した量を検出している場合は、その検出した変化量に基づいて変化する前の画像の距離情報を変化した後の画像に適合するようにシフトさせ、変化した後の画像の各領域に、各領域の被写体までの距離に基づいてぼかし度合いを設定し（ＳＴＥＰ２１６）、ぼかし処理を実施してもよい（ＳＴＥＰ２１７）。この場合、距離情報のない領域についてはぼかし処理は行わないでもよいし、当該領域の周辺の領域と同じ条件のぼかし処理を行ってもよい。
【００５３】
（ぼかし処理条件）
画像の各領域に対して、各領域の被写体までの距離に応じたぼかし処理が施される。そのぼかし処理の条件について説明する。ぼかし処理を行うローパスフィルタ部３４では、カットオフ周波数を設定することによってぼかしの度合いを調整する。カットオフ周波数が高いほどぼかしの度合いが低く、カットオフ周波数が低いほどぼかしの度合いが高い。カットオフ周波数がナイキスト周波数の場合にはぼかし処理は行われない。
【００５４】
本実施形態では、被写体までの距離が撮像装置近傍から所定の距離Ｄ１までの近距離範囲ではぼかし処理は行わず、距離Ｄ１から距離Ｄ２（Ｄ２＞Ｄ１）の中距離範囲では距離が長いほどぼかしの度合いを高める。距離Ｄ２よりも遠い範囲である遠距離範囲では一定のぼかし度合いとして中距離範囲の最も高いぼかし度合いを適用する。図１３は、このカットオフ周波数と被写体までの距離との関係を表すグラフである。近距離範囲ではカットオフ周波数はナイキスト周波数Ｎで一定とし、中距離範囲では距離が長いほどカットオフ周波数は低下し、遠距離範囲では中距離範囲で最も低いカットオフ周波数で一定とする。このようにカットオフ周波数を設定することにより、ぼかし処理によって得られた画像は近距離範囲の被写体が中距離範囲及び遠距離範囲の被写体から浮き上がった立体感のあるものとなる。
【００５５】
（カットオフ周波数の補間）
しかし、隣接する領域間でぼかし処理に用いるカットオフ周波数が異なると、領域の境界ではぼかしの度合いの違いによって境界が現れることとなる。そこで、領域間で境界を目立たなくするように、カットオフ周波数の異なる隣接する領域を構成する画素のぼかし処理に用いるカットオフ周波数にグラデーションを与える。
【００５６】
図１４に４個の領域の模式図を示す。領域７１〜７４の中心をそれぞれ７１ａ〜７４ａ、領域７１〜７４の４個の領域が共有する点を原点Ｏ、図面横方向をｘ軸、縦方向をｙ軸とし、各領域の１辺の長さを２ａとする。このとき中心７１ａの座標は（ａ，ａ）、中心７２ａの座標は（−ａ，ａ）、中心７３ａの座標は（−ａ，−ａ）、中心７４ａの座標は（ａ，−ａ）である。
【００５７】
各領域の中心に位置する画素では各領域に設定されたぼかし度合いであるカットオフ周波数をぼかし処理に用い、原点Ｏを共有する４個の領域の中心に囲まれた画素では各領域に設定されたカットオフ周波数をその画素から各領域の中心までの距離で線形補間したものをぼかし処理に用いる。ここでは、図１４に示す領域７１に属し、中心７１ａ〜７４ａに囲まれた画素７１ｂについて考える。領域７１〜７４に設定されたカットオフ周波数をそれぞれｈ１、ｈ２、ｈ３、ｈ４とし、画素７１ｂにおけるカットオフ周波数をＺ、画素７１ｂの座標を（ｘ，ｙ）とすると、
Ｚ＝［｛（ａ＋ｘ）ｈ１＋（ａ−ｘ）ｈ２｝／２ａ］（ａ＋ｙ）／２ａ
＋［｛（ａ＋ｘ）ｈ３＋（ａ−ｘ）ｈ４｝／２ａ］（ａ−ｙ）／２ａ
となる。なお、隣接する２個の領域の中心を結ぶ線上の画素ではこれらの２個の領域に設定されたカットオフ周波数を線形補間したものをぼかし処理に用いる。
【００５８】
図１５は異なるカットオフ周波数の間を線形補間によりグラデーションを与えて変化させたカットオフ周波数のグラフである。図１５のグラフ上に５点のカットオフ周波数ｈ１、ｈ２、ｈ５〜ｈ７を示す。ｈ５〜ｈ７は、ｈ１とｈ２の間で線形補間したものである。ｈ１は図１４の領域７１のカットオフ周波数であり、ｈ２は領域７２のカットオフ周波数である。中心７１ａにはｈ１、中心７２ａにはｈ２が適用される。ｈ５〜ｈ７はそれぞれ、中心７１ａと中心７２ａとを結ぶ線上に、中心７１ａと中心７２ａを含めて略等間隔に並んだ３個の画素である、画素７１ｃ、画素７１ｄ、画素７２ｂ（中心７１ａ側から順に）について適用される。このようにしてカットオフ周波数を補間して画素毎にグラデーションを与えて変化させることにより、ぼかし処理後の画像は領域間での境界が目立たないものとなる。
【００５９】
尚、領域７１〜７３が画像の外周に位置する領域である場合、図１４上の座標（ａ，２ａ）の点７１ｅ、座標（−ａ，２ａ）の点７２ｃ、座標（−２ａ，２ａ）の点７２ｄ、座標（−２ａ，ａ）の点７２ｅ、座標（−２ａ，−ａ）の点７３ｂを設定すると、点７１ｃ、７２ｅ、７２ａ、７１ａで囲まれた部分では点７２ａと点７１ａとを結ぶ線分上のｘ座標が同じ点のカットオフ周波数、点７２ａ、７２ｅ、７３ｂ、７３ａで囲まれた部分では点７２ａと点７３ａとを結ぶ線分上のｙ座標が同じ点のカットオフ周波数、点７２ｃ、７２ｄ、７２ｅ、７２ａで囲まれた部分では点Ｂ即ち中心７２ａのカットオフ周波数を適用する。
【００６０】
〈第２の実施形態〉
本発明の第２の実施の形態について、図面を参照して説明する。本実施形態は、ぼかし処理部の構成が異なる以外は第１の実施形態と同じであり、実質上同一の部分には同一の付している。
【００６１】
本実施形態では、各領域を被写体までの距離別に複数のグループに区分してぼかし処理を行う。この場合、各グループに対して所定のカットオフ周波数を設定し、適用する。
【００６２】
ここでは例として、距離グループを近景、中景、遠景の３種類に区分する場合について説明する。図１６は、第１の実施形態の図１１のグラフにおいて、被写体までの距離がＤ１未満の場合を近景、Ｄ１以上Ｄ２未満の場合を中景、Ｄ２以上の場合を遠景とした例である。ここで、Ｄ１とＤ２の関係はＤ１＜Ｄ２である。尚、距離グループの数は３個に限られず、２個以上であればよい。
【００６３】
図１７は第２の実施形態に係るぼかし処理部のブロック図である。本実施形態のぼかし処理部３０のローパスフィルタ部３４は、近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃ、乗算係数設定部３７及び加算器３８を備える。近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃはそれぞれ乗算器３６が後段に直列に接続されている。近景用ローパスフィルタ３４ａと乗算器３６、中景用ローパスフィルタ３４ｂと乗算器３６、遠景用ローパスフィルタ３４ｃと乗算器３６は、それぞれフレームメモリ３１と信号処理部３５との間に並列に接続されている。乗算係数設定部３７は距離情報記憶部１７ａに記憶された各領域の被写体までの距離に基づき各乗算器３６での乗算に用いる乗算係数を設定するものであり、距離情報記憶部１７ａと各乗算器３６との間に接続される。
【００６４】
近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃのカットオフ周波数と出力レベルとは、図１８のグラフに示すような関係を有する。図１８は横軸をカットオフ周波数、縦軸を出力レベルとしたグラフであり、入力画像信号のレベルも併せて示している。カットオフ周波数と出力レベルとの関係は、いずれも周波数の低い範囲では出力レベルは１．０で一定であり、所定の周波数以上では周波数が高いほど出力レベルが低くなり、最後には０となる。出力レベルが低下し始める周波数及び０となる周波数は、近景用ローパスフィルタ３４ａが最も高く、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃの順に低くなる。尚、本実施形態では近景用ローパスフィルタ３４ａのカットオフ周波数と出力レベルとの関係は、入力画像と同様の関係を有しているため、近景用ローパスフィルタ３４ａは設けなくてもよい。
【００６５】
乗算係数設定部３７では、画像の各領域に、その領域の距離情報に基づいて各乗算器３６についての乗算係数を設定する。図１９は被写体までの距離と乗算係数との関係の一例を示すグラフである。図１９には近景用の乗算係数ＫＮが実線で、中景用の乗算係数ＫＭが一点鎖線で、遠景用の乗算係数ＫＦが二点鎖線で示されている。近景用の乗算係数ＫＮは、Ｄ１未満の範囲では１．０で一定であり、Ｄ１以上の範囲では０で一定である。中景用の乗算係数ＫＭは、Ｄ１未満の範囲では０で一定であり、Ｄ１以上Ｄ２未満の範囲では１．０で一定であり、Ｄ２以上の範囲では０で一定である。遠景用の乗算係数ＫＦは、Ｄ２未満の範囲では０で一定であり、Ｄ２以上の範囲では１．０で一定である。このように、乗算係数ＫＦ、ＫＭ、ＫＦの和は被写体までの距離によらず１．０で一定である。
【００６６】
次に本実施形態のぼかし処理について説明する。フレームメモリ３１に記憶された記録用画像を読み込み、近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃのそれぞれによってぼかし処理を施す。一方、乗算係数設定部３７では、距離情報記憶部１７ａに記憶された各領域の被写体距離に応じた乗算係数を、各領域について設定する。
【００６７】
ローパスフィルタ３４ａ、３４ｂ、３４ｃでぼかし処理が施された画像は、乗算係数設定部３７で設定された乗算係数で乗算器３６によって各領域毎に乗算が施され、加算器３８で加算される。加算器３８で加算された画像は、被写体までの距離がＤ１未満の領域は、近景用ローパスフィルタ３４ａに対しての乗算係数が１．０であり、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃに対しての乗算係数が０であるため、近景用ローパスフィルタ３４ａのみでぼかし処理が施されたものとなる。近景用ローパスフィルタ３４ａが設けられていない場合は元の画像のままとなる。同様に、被写体までの距離がＤ１以上Ｄ２未満の領域は中景用ローパスフィルタ３４ｂのみ、被写体までの距離がＤ２以上の領域は遠景用ローパスフィルタ３４ｃでぼかし処理が施されたものとなる。図２０は、Ｒ１〜Ｒ９の９個の領域に区分された画像をぼかし処理した画像の模式図である。近景に属する領域Ｒ５、Ｒ８と、中景に属する領域Ｒ４、Ｒ７と、遠景に属する領域Ｒ１、Ｒ２、Ｒ３、Ｒ６、Ｒ９とでぼかし具合が異なり、遠景は大きくぼけ、中景は少しぼけ、近景はそのままである画像となる。その結果、ぼかし処理によって得られた画像は近景が中景、遠景から浮き上がった立体感のあるものとなる。
【００６８】
このように構成することにより、距離情報記憶部１７ａに記憶する各領域についての距離情報は、詳細な距離情報ではなく、大まかな情報であるその領域の属する距離グループとすることができるため、処理速度を向上させることができる。
【００６９】
〈第３の実施形態〉
本発明の第３の実施形態について図面を参照して説明する。本実施形態は、ぼかし処理部の構成及び乗算係数と被写体距離との関係が異なる以外は第２の実施形態と同じであり、実質上同一の部分には同一の符号を付している。
【００７０】
図２１は本実施形態に係るぼかし処理部のブロック図である。本実施形態のぼかし処理部３０は、図１７の第２の実施形態のぼかし処理部にエッジ信号生成部３９が設けられたものである。エッジ信号生成部３９は乗算器３６が後段に直列に接続されている。エッジ信号生成部３９と乗算器３６は、フレームメモリ３１と信号処理部３５との間に並列に接続されており、この乗算器３６には乗算係数設定部３７が接続されている。
【００７１】
図２２は本実施形態の、被写体までの距離と乗算係数との関係の一例を示すグラフである。図２２には近景用の乗算係数ＫＮ、中景用の乗算係数ＫＭ、遠景用の乗算係数ＫＦに加えてエッジ信号用の乗算係数ＫＥが示されている。本実施形態では、近景用の乗算係数ＫＮは、Ｄ１−ｄ１未満の範囲では１．０で一定であり、Ｄ１−ｄ１以上Ｄ１＋ｄ１未満の範囲では１．０から０まで距離に比例して減少し、Ｄ１＋ｄ１以上の範囲では０で一定である。中景用の乗算係数ＫＭは、Ｄ１−ｄ１未満の範囲では０で一定であり、Ｄ１−ｄ１以上Ｄ１＋ｄ１未満の範囲では０から１．０まで距離に比例して増加し、Ｄ１＋ｄ１以上Ｄ２−ｄ２未満の範囲では１．０で一定であり、Ｄ２−ｄ２以上Ｄ２＋ｄ２未満の範囲では１．０から０まで距離に比例して減少し、Ｄ２＋ｄ２以上の範囲では０で一定である。遠景用の乗算係数ＫＦは、Ｄ２−ｄ２未満の範囲では０で一定であり、Ｄ２−ｄ２以上Ｄ２＋ｄ２未満の範囲では０から１．０まで距離に比例して増加し、Ｄ２＋ｄ２以上の範囲では１．０で一定である。尚、ｄ１とｄ２との関係は、Ｄ１＋ｄ１＜Ｄ２−ｄ２である。又、乗算係数ＫＦ、ＫＭ、ＫＦの和は被写体までの距離によらず１．０で一定である。そして、エッジ信号用の乗算係数ＫＥは、Ｄ０未満の範囲では１．３で一定であり、Ｄ０以上Ｄ１−ｄ１未満の範囲では１．３から０まで距離に比例して減少し、Ｄ１−ｄ１以上の範囲では０で一定である。乗算係数ＫＥは、他の乗算係数から独立した数値である。
【００７２】
図２２に示す、乗算係数ＫＮ、ＫＭ、ＫＦ、ＫＥと被写体までの距離Ｄとの関係を数式で表すと以下のようになる。ここで、Ｄ１−ｄ１≦Ｄ＜Ｄ１＋ｄ１での乗算係数ＫＭの傾きをｋ１（ｋ１＞０，ｋ１＝１／（２×ｄ１））、Ｄ２−ｄ２≦Ｄ＜Ｄ２＋ｄ２での乗算係数ＫＦの傾きをｋ２（ｋ２＞０，ｋ２＝１／（２×ｄ２））、Ｄ０≦Ｄ＜Ｄ１−ｄ１での乗算係数ＫＥの傾きを−ｋ０（ｋ０＞０，ｋ２＝１．３／（Ｄ１−ｄ１−Ｄ０））とする。
ＫＮ＝１．０ …（Ｄ＜Ｄ１−ｄ１）
＝−ｋ１×｛Ｄ−（Ｄ１＋ｄ１）｝ …（Ｄ１−ｄ１≦Ｄ＜Ｄ１＋ｄ１）
＝０ …（Ｄ１＋ｄ１≦Ｄ）
ＫＭ＝０ …（Ｄ１＋ｄ１≦Ｄ）
＝ｋ１×｛Ｄ−（Ｄ１−ｄ１）｝ …（Ｄ１−ｄ１≦Ｄ＜Ｄ１＋ｄ１）
＝１．０ …（Ｄ１＋ｄ１≦Ｄ＜Ｄ２−ｄ２）
＝−ｋ２×｛Ｄ−（Ｄ２＋ｄ２）｝ …（Ｄ２−ｄ２≦Ｄ＜Ｄ２＋ｄ２）
＝０ …（Ｄ２＋ｄ２≦Ｄ）
ＫＦ＝０ （Ｄ＜Ｄ１−ｄ１）
＝ｋ２×｛Ｄ−（Ｄ２−ｄ２）｝ …（Ｄ２−ｄ２≦Ｄ＜Ｄ２＋ｄ２）
＝１．０ …（Ｄ２＋ｄ２≦Ｄ）
ＫＥ＝１．３ …（Ｄ＜Ｄ０）
＝−ｋ０×｛Ｄ−（Ｄ１−ｄ１）｝ …（Ｄ０≦Ｄ＜Ｄ１−ｄ１）
＝０ …（Ｄ１−ｄ１≦Ｄ）
【００７３】
次に本実施形態のぼかし処理について説明する。フレームメモリ３１に記憶された記録用画像を読み込み、近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃのそれぞれによってぼかし処理を施し、エッジ信号生成部３９ではエッジ信号を生成する。一方、乗算係数設定部３７では、距離情報記憶部１７ａに記憶された各領域の被写体距離に応じた乗算係数を、各領域について設定する。
【００７４】
ローパスフィルタ３４ａ、３４ｂ、３４ｃでぼかし処理が施された画像及びエッジ信号生成部３９で生成されたエッジ信号は、乗算係数設定部３７で設定された乗算係数で乗算器３６によって各領域毎に乗算が施され、加算器３８で加算される。
【００７５】
加算器３８で加算された画像は、被写体までの距離がＤ０未満の領域は、近景用ローパスフィルタに対しての乗算係数が１．０、エッジ信号生成部３９に対しての乗算係数が１．３で一定であり、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃに対しての乗算係数が０であるため、近景用ローパスフィルタ３４ａのみでぼかし処理が施され、エッジ信号によりエッジが強調されたものとなる。被写体までの距離がＤ０以上Ｄ１−ｄ１未満の領域は、近景用ローパスフィルタ３４ａに対しての乗算係数が１．０で一定で、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃに対しての乗算係数が０であり、エッジ信号生成部３９に対しての乗算係数が１．３から０まで距離に比例して減少するため、被写体までの距離がＤ０未満の領域と比べると距離が増加するにしたがってエッジの強調が抑えられたものとなる。近景用ローパスフィルタ３４ａが設けられていない場合は元の画像のエッジが強調されたものとなる。
【００７６】
被写体までの距離がＤ１−ｄ１以上の領域では、エッジ信号生成部３９に対しての乗算係数が０であるため、エッジは強調されない。被写体までの距離がＤ１−ｄ１以上の領域のうち、被写体までの距離がＤ１＋ｄ１以上Ｄ２−ｄ２未満の領域は中景用ローパスフィルタ３４ｂのみ、被写体までの距離がＤ２＋ｄ２以上の領域は遠景用ローパスフィルタ３４ｃでぼかし処理が施されたものとなる。
【００７７】
被写体までの距離がＤ１−ｄ１以上Ｄ１＋ｄ１未満の領域は、遠景用ローパスフィルタ３４ｃに対しての乗算係数は０であるものの、近景用ローパスフィルタ３４ａに対しての乗算係数は１．０から０まで距離に比例して減少し、中景用ローパスフィルタ３４ｂに対しての乗算係数は０から１．０まで距離に比例して増加するため、近景用ローパスフィルタ３４ａで処理された画像と中景用ローパスフィルタ３４ｂで処理された画像とが混合されたものとなる。なお、Ｄ１−ｄ１以上Ｄ１＋ｄ１未満の範囲では距離に比例して近景用ローパスフィルタ３４ａよりも中景用ローパスフィルタ３４ｂでの処理の影響が大きくなる。同様に、被写体までの距離がＤ２−ｄ２以上Ｄ２＋ｄ２未満の領域は、近景用ローパスフィルタ３４ａで処理された画像と中景用ローパスフィルタ３４ｂで処理された画像とが混合されたものとなる。これにより、被写体までの距離がＤ１近傍又はＤ２近傍の領域が隣接している場合に、ぼかし処理の度合いが急激に変化して不自然なぼかし処理が施された画像となるのを抑制することができる。
【００７８】
尚、本実施形態において、各領域を被写体までの距離によって複数の距離グループに区分して、各距離グループ毎に属する領域の被写体までの距離の平均を算出し、その平均を各領域の被写体までの距離として用いても構わない。例えば、図１６に示す距離と高周波成分の強度との関係を示すグラフにおいて、高周波成分の最大値を示す距離即ち被写体までの距離がＤ１未満の領域についてはＲ５とＲ８の高周波成分の最大値を示す距離の平均であるＤ１１を、被写体までの距離がＤ１以上Ｄ２未満の領域についてはＲ４とＲ７の最大値を示す距離の平均であるＤ１２を、被写体までの距離がＤ２以上である領域についてはＲ１、Ｒ２、Ｒ３、Ｒ６、Ｒ９の最大値を示す距離の平均であるＤ１３を、それぞれ該当する距離グループに属する領域の被写体までの距離として用いることができる。この場合、各領域についての距離情報の管理を簡素化できるため、ぼかし処理の高速化を図ることができる。この場合、第１の実施形態で説明したカットオフ周波数の補間方法を適用することにより、ぼけ具合の異なる領域間の境界を目立たなくして自然なぼけ具合とすることができる。尚、このように算出した距離情報は第１の実施形態においても適用することができる。
【００７９】
又、本実施形態において、被写体のエッジを強調しない場合はエッジ信号生成部３９は設けなくてもよい。
【００８０】
又、本実施形態のローパスフィルタ部３４において、近景用ローパスフィルタ３４ａを、対応する乗算器３６を残したまま取り除き、乗算係数を適切に設定することにより、第１の実施形態のローパスフィルタ部３４と同様の構成とすることができる。
【００８１】
〈変形例１〉
又、本発明の第１〜第３の実施形態においてＳＴＥＰ２０５で各領域の距離情報を取得する際に、画像中で所定の大きさ以上の人物の顔を検出し、その顔を含む領域の距離を含む所定の距離範囲の領域にはぼかし処理は施さないものとしてもよい。これにより、人物を含む領域にぼかし処理を施してしまう可能性を低減することができる。
【００８２】
又、その顔を含む領域の被写体までの距離を含む所定の距離範囲の領域にはぼかし処理は施さず、その所定の距離範囲よりも短い距離及び長い距離の領域にぼかし処理を施すものとしてもよい。この場合、その所定の距離範囲よりも離れるほどぼかし度合いを高くしてもよい。これにより、画像中の人物をより自然に浮き上がらせることができる。
【００８３】
又、画像の領域を距離グループに区分した場合は、その顔を含む領域と同じ距離グループに属する領域にはぼかし処理を施さず、それ以外の領域にはぼかし処理を施すものとしてもよい。
【００８４】
ここで顔検出処理について説明する。画像処理部５は顔検出装置５０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置５０の構成及び動作について以下に説明する。
【００８５】
図２３は、顔検出装置５０の構成を示している。顔検出装置５０は、ＡＦＥ３によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段５１、入力画像および縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段５２、および顔判定手段５２の検出結果を出力する検出結果出力手段５３を備えている。検出結果出力手段５３は、顔が検出された場合には、入力画像を基準とする検出された顔の大きさと位置とを出力する。
【００８６】
又、メモリ１８に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００８７】
尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによ
って、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００８８】
図２４は、縮小画像生成手段５１によって得られる階層画像の一例を示している。この例では、縮小率Ｒを０．８に設定した場合に、生成される複数の階層画像を示している。図２４において、６０は入力画像を、６１〜６５は縮小画像を示している。６８は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像６０の他に、複数の縮小画像６１〜６５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。
【００８９】
図２５は顔検出処理を説明するための図である。顔判定手段５２による顔検出処理は、各階層画像毎に行なわれるが、処理方法は同様なので、ここでは入力画像６０に対して行なわれる顔検出処理についてのみ説明する。
【００９０】
各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。このようにして、検出された顔の位置及び大きさは検出結果出力手段５３によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。
【００９１】
尚、本発明の第１〜第３の実施形態において、画像を分割して得られる領域は、細かく区分するほど、距離の異なる複数の被写体が含まれる領域の割合が小さくなり、領域間の境界が目立ちにくくなるため、良好なボケ味の画像生成が可能となる。
【００９２】
〈変形例２〉（距離依存階調補正）
又、本発明の第１〜第３の実施形態において、ぼかし処理に加えて、領域毎に被写体までの距離に依存した階調補正を画像に施してもよい。以下に、このような階調補正方法について説明する。
【００９３】
この場合、ぼかし処理部３０は、画像中の被写体の距離情報と輝度情報を算出してそれに基づいた階調補正を撮影した画像に施すことができる機能を備え、このような撮影モードを階調補正モードと呼ぶ。
【００９４】
図２６は距離依存階調補正機能を備えたぼかし処理部３０の構成を示すブロック図である。ぼかし処理部３０は、フレームメモリ３１、ローパスフィルタ部３４、信号処理部３５に加えて、フレームメモリ３１に記憶された記録用画像のデジタル信号を読み込んで上述の所定の領域に区分し各領域の平均輝度を算出する輝度情報算出部４１と、輝度情報算出部４１で算出された各領域の平均輝度を記憶する輝度情報記憶部４２と、距離情報記憶部１７ａに記憶された各領域の被写体までの距離と輝度情報記憶部４２に記憶された各領域の平均輝度とメモリ１４に記憶された階調補正テーブルに基づいてフレームメモリ３１から読み込んだ記録用画像信号（デジタル信号）に対して階調補正を施す階調補正部４３と、を備え、信号処理部３５ではローパスフィルタ部３４及び階調補正部４３の少なくとも一方で画像処理が施された記録用画像信号より輝度信号及び色差信号を生成する。
【００９５】
次に距離依存階調補正機能を備えたぼかし処理部３０の動作について説明する。図２７は、図２のフローチャートの一部に距離依存階調補正機能に関する部分を追加したものである。この場合、図２のフローチャートにおける、ＳＴＥＰ２０２における撮影モードの選択肢としてぼかし処理モードに加えて階調補正モードも含まれる。階調補正モードが選択された場合、ぼかし処理モードも同時に選択され、第１〜第３の実施形態と同様のぼかし処理が図２のＳＴＥＰ２１０まで行われる。次に、階調補正モードが選択されているかどうかを検出し（ＳＴＥＰ２７０１）、選択されていない場合はぼかし処理を施した画像の圧縮画像を生成し（ＳＴＥＰ２１１）、上述の第１〜第３の実施形態と同様の処理が継続される。
【００９６】
階調補正モードが選択されている場合、輝度情報算出部４１ではフレームメモリ３１に記憶された記録用画像（デジタル信号）を読み込んで、上述の距離検出部２３で区分したものと同じ所定の領域に区分して各領域について平均輝度を算出し、輝度情報記憶部４２では輝度情報算出部４１で算出された平均輝度を記憶する（ＳＴＥＰ２７０２）。
【００９７】
階調補正部４３では、輝度情報記憶部４２から各領域の平均輝度を読み込んで、各領域を平均輝度によってグループ化する。例えば平均輝度がＬａ以上の高輝度、平均輝度がＬｂ以上Ｌａ未満の中輝度、平均輝度がＬｂ未満の低輝度の３個のグループにグループ化する。ここで、Ｌａ、Ｌｂは撮像装置に応じて設定可能な任意の値である。さらに、メモリ１４に記憶された合焦距離のグループ及び平均輝度のグループ毎に設定された階調補正テーブルを読み込み、各領域の属する合焦距離のグループ及び平均輝度のグループに基づいて階調補正の入出力特性を割り当てる（ＳＴＥＰ２７０３）。
【００９８】
続いて、フレームメモリ３１に記憶された記録用画像を読み込んで各領域にこの階調補正テーブルを適用して階調補正を行う（ＳＴＥＰ２７０４）。階調補正を行った画像について、圧縮処理部６においてＪＰＥＧ形式に圧縮（ＳＴＥＰ２１１）する。
【００９９】
ＳＴＥＰ２１１でぼかし処理及び階調補正を含む画像補整を行った画像信号を圧縮処理部６において圧縮する際にも、画像補正を行った画像信号のみならず画像補正を行っていない画像信号についても圧縮し、図１２に示すヘッダ部８２に、合焦距離情報８２ａに加えてＳＴＥＰ２７０２で輝度情報記憶部４２に記憶された各領域についての平均輝度情報を併せて書き込んでもよい。
【０１００】
（階調補正テーブル）
次に、階調補正テーブルについて説明する。本実施形態の階調補正テーブルは、近景、中景、遠景の３個の距離グループ及び高輝度、中輝度、低輝度の３個の平均輝度グループに対して割り当てられた図２８（ａ）〜図２８（ｉ）のグラフに示す９個の入出力特性からなる。各グラフは横軸を階調補正前の入力輝度値、縦軸を階調補正後の出力輝度値とするものである。この入出力特性に基づいて各領域を構成する各画素は輝度が変換される。
【０１０１】
まず、中景のグループに属する領域に対して割り当てられた入出力特性について説明する。図２８（ｄ）〜図２８（ｆ）はいずれも中景のグループに属する領域に対して割り当てられた入出力特性であり、領域内の画素の輝度にかかわらずグラフの傾きｋは例えば１として一定とし、特に変換しない。これにより、補正後の近景及び遠景の中間的な輝度の画像となる。
【０１０２】
次に近景のグループに属する領域に対して割り当てられた入出力特性について説明する。近景に属する領域は、画像中で中景、遠景よりも強調するように補正する。
【０１０３】
図２８（ａ）は近景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を低く変換するもので、輝度がＬ１１以上の部分のグラフの傾きをｋ１１、Ｌ１１以下の部分の傾きをｋ１３とすると、ｋ１３＜ｋ＜ｋ１１として（ｋは中景のグループに属する領域に対して割り当てられた入出力特性の傾き）、輝度の高い部分では階調幅を広げるように変換する。ここでは輝度Ｌ１１と、平均輝度で画面の各領域をグループ化する際の基準としたＬａとの関係をＬ１１＜Ｌａとして、対象となる領域の属する高輝度範囲全体で階調幅を広げるように変換することとしている。
【０１０４】
図２８（ｂ）は近景かつ中輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ２１以上の部分でのグラフの傾きをｋ２１、Ｌ２２以上Ｌ２１以下の部分の傾きをｋ２２、Ｌ２２以下の部分での傾きをｋ２３とすると、ｋ２１（ｋ２３）＜ｋ＜ｋ２２として、輝度の高い部分ではより輝度を高く変換し、輝度の低い部分ではより輝度を低く変換してコントラストをはっきりさせる。傾きｋ２１とｋ２３はどちらが大きくてもよいし、同じであってもよい。ここでは輝度Ｌ２１及びＬ２２とＬａ及びＬｂとの関係をＬ２２＜Ｌｂ＜Ｌａ＜Ｌ２１として対象となる領域の属する中輝度範囲全体の階調幅を広げるように変換することとしている。
【０１０５】
図２８（ｃ）は近景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を高くして強調するもので、輝度がＬ３２以上の部分の傾きをｋ３１、Ｌ３２以下の部分の傾きをｋ３３とすると、ｋ３１＜ｋ＜ｋ３３として、低輝度部分の階調幅を広げるように変換する。ここでは輝度Ｌ３２とＬｂとの関係をＬｂ＜Ｌ３２として、対象となる領域の属する低輝度範囲全体の階調幅を広げるように変換することとしている。
【０１０６】
次に遠景のグループに属する領域に対して割り当てられた入出力特性について説明する。遠景に属する領域は、画像中で近景、中景よりも目立たないように補正する。
【０１０７】
図２８（ｇ）は遠景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ７１以上の部分の傾きをｋ７１、Ｌ７１以下の部分の傾きをｋ７３とすると、ｋ７１＜ｋ＜ｋ７３として、高輝度部分の階調幅を狭くするように変換してコントラストを低くする。さらに出力輝度値の高輝度部分をカットして全体に暗くする。ここでは輝度Ｌ７１とＬａとの関係をＬ７１＜Ｌａとして対象となる領域の属する高輝度範囲全体で階調幅を狭くするように変換している。
【０１０８】
図２８（ｈ）は遠景かつ中輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ８１以上の部分での傾きをｋ８１、Ｌ８２以上Ｌ８１以下の部分での傾きをｋ８２、Ｌ８２以下の部分での傾きをｋ８３とすると、ｋ８２＜ｋ＜ｋ８１（ｋ８３）として、輝度の高い部分では輝度を低くし、輝度の低い部分では輝度を高くするように変換し、中輝度部分では階調幅を狭くするように変換して全体的に輝度を平均化しコントラストを低くする。傾きｋ８１とｋ８３はどちらが大きくてもよいし、同じであってもよい。ここでは輝度Ｌ８１及びＬ８２とＬａ及びＬｂとの関係をＬ８２＜Ｌｂ＜Ｌａ＜Ｌ８１として対象となる領域の属する中輝度範囲全体の階調幅を狭くするように変換することとしている。
【０１０９】
図２８（ｉ）は遠景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、出力輝度値の低輝度部分をカットして（オフセットを設けて）全体に明るくし、輝度がＬ９２以上の部分のグラフの傾きをｋ９１、Ｌ９１以下の部分の傾きをｋ９３とすると、ｋ９３＜ｋ＜ｋ９１として、高輝度部分の階調幅を広くするように変換し、低輝度部分の階調幅を狭くするように変換してコントラストを低くする。ここでは輝度Ｌ９２とＬｂとの関係をＬｂ＜Ｌ９２として、対象となる領域の属する低輝度範囲全体の階調幅を広くするように変換しすることとしている。
【０１１０】
以上のような階調補正テーブルを用いて距離依存階調補正を行うことにより、近景はコントラストが高く、遠くなるにしたがってコントラストが低くなり、奥行き感のある立体的な画像を得ることができる。尚、本発明の撮像装置において、ぼかし処理と距離依存階調補正の順序は逆であっても構わない。又、本発明の撮像装置はぼかし処理機能又は距離依存階調補正機能の一方だけを有するものであっても構わない。
【０１１１】
（入出力特性の補間１）
しかし、領域間で階調補正に用いる入出力特性が異なると、領域の境界では画像に特性の違いによって境界が現れることとなる。そこで、領域間で境界をぼかして目立たなくするように、入出力特性の異なる隣接する領域を構成する画素の階調補正に用いる入出力特性にグラデーションを与える。この場合も、図１４を用いて説明したカットオフ周波数の線形補間と同様の方法を用いることができる。
【０１１２】
図２９は異なる入出力特性の間を線形補間によりグラデーションを与えて変化させた入出力特性のグラフである。図２９に５本の入出力特性のグラフｐ１〜ｐ５を示す。ｐ２〜ｐ３は、ｐ１とｐ５の間を等間隔で線形補間したものである。ｐ１は図１４の領域７１の入出力特性であり、図２８（ｃ）である。ｐ５は領域７２の入出力特性であり、図２８（ｆ）である。中心７１ａにはｐ１、中心７２ａにはｐ２が適用される。ｐ２〜ｐ４はそれぞれ、中心７１ａと中心７２ａとを結ぶ線上に、中心７１ａと中心７２ａを含めて略等間隔に並んだ３個の画素である、画素７１ｃ、画素７１ｄ、画素７２ｂ（中心７１ａ側から順に）について適用される。このようにして入出力特性を補間して画素毎にグラデーションを与えて変化させることにより、距離依存階調補正後の画像は領域間での境界がぼかされ目立たないものとなる。
【０１１３】
（入出力特性の補間２）
尚、各領域を属する距離範囲によってグループ化せず、各領域の被写体までの距離によって階調補正に適用する入出力特性を変化させてもよい。複数の特定の距離の領域に対して入出力特性を設定し、特定の距離の間の距離の領域については、入出力特性としてその距離に隣接する特定の距離の領域に設定された入出力特性から補間したものを適用する。距離ｓと距離ｔは入出力特性が設定されており、距離ｓについて設定された入出力特性がＳ、距離ｔについて設定された入出力特性がＴであるとき、距離ｓと距離ｔの間の入出力特性が設定されていない距離ｕについての入出力特性Ｕは、入出力特性Ｔ、Ｓを距離ｕに対して線形補間して、
Ｕ＝｛Ｓ（ｔ−ｕ）＋Ｔ（ｕ−ｓ）｝／（ｔ−ｓ） …（１）
とすることができる。尚、入出力特性が設定された最も短い距離より短い距離については最も短い距離に設定された入出力特性を適用し、入出力特性が設定された最も長い距離より長い距離については最も長い距離に設定された入出力特性を適用する。
【０１１４】
例として図２８の階調補正テーブルの図２８（ａ）〜図２８（ｃ）を被写体までの距離が２ｍ、図２８（ｄ）〜図２８（ｆ）を距離が６ｍ、図２８（ｇ）〜図２８（ｉ）を距離が１０ｍの領域に適用する入出力特性とする。このとき、被写体までの距離が５ｍであり、平均輝度が中輝度である領域については、図２８（ｂ）と図２８（ｅ）を線形補間した入出力特性を適用する。図２８（ｂ）の入出力特性をＳ、図２８（ｅ）の入出力特性をＴとして上述の数式（１）を適用すると、この領域に適用する入出力特性Ｕは、ｓ＝２、ｔ＝６、ｕ＝５より、Ｕ＝（Ｓ＋３Ｔ）／４となる。図３０にこのときの入出力特性Ｕのグラフを示す。図３０において、ｑ１は図２８（ｂ）、ｑ２は図２８（ｅ）、ｑ３は入出力特性Ｕのグラフである。
【０１１５】
このようにすることで、各領域を属する距離範囲によってグループ化する必要がなくなる。この場合においても、（入出力特性の補間１）で説明したように、ある点を共有する領域の４個の中心に囲まれた画素について、入出力特性を線形補間しても構わない。
【０１１６】
尚、階調補正テーブルは３段階の輝度範囲及び３段階の距離範囲に対する９個の入出力特性からなるものに限られず、距離範囲が２段階以上であればよく、更には輝度範囲及び距離範囲の少なくとも一方が２段階以上であってもよい。又、輝度範囲と距離範囲とは同数でなくてもよく、輝度範囲は単数であってもよい。又、入出力特性は図２８に示したような直線からなるものではなく、曲線からなるものであってもよい。
【０１１７】
図３１に、高輝度と低輝度の２段階の輝度範囲及び近景と遠景の２段階の距離範囲に対する４個の入出力特性からなる階調補正テーブルの例を示す。この場合も、近景に属する領域は画像中で遠景よりも強調するように補正し、遠景に属する領域は画像中で近景よりも目立たないように補正する。
【０１１８】
図３１（ａ）は、近景かつ高輝度領域のグループに属する領域に対して割り当てられた入出力特性である。これは、より輝度を高く変換し、輝度の低い部分ではより輝度を低く変換してコントラストをはっきりさせる。図３１（ａ）に示す右上がりの破線で表される入力と出力が等しい直線の傾き（＝１）と比較すると、輝度がＬａ１よりも高い部分とＬａ２よりも低い部分では曲線の接線の傾きは１よりも小さい。輝度がＬａ２よりも高くＬａ１よりも低い部分では曲線の接線の傾きは１よりも大きく、階調幅を広くするように変換する。
【０１１９】
図３１（ｂ）は近景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を高くするもので、輝度がＬｂ１より高い部分では接線の傾きを１より小さく、Ｌｂ１より低い部分では１より大きくして、低輝度部分の階調幅を広くするように変換する。
【０１２０】
図３１（ｃ）は遠景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬｃ１より高い部分では接線の傾きを１より小さく、Ｌｃ１より低い部分では１より大きくして、高輝度部分の階調幅を狭くするように変換してコントラストを低くする。さらに出力輝度値の高輝度部分をカットして全体に暗くする。
【０１２１】
図３１（ｄ）は遠景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、出力輝度値の低輝度部分をカットして（オフセットを設けて）全体に明るくし、接線の傾きを全体に１より小さいものとして、コントラストを低くするように変換する。
【０１２２】
このような階調補正テーブルを用いることにより、近景は明るく鮮鋭感を持つように、遠景ではコントラストの低い眠たいものとなるように変換することによって、奥行き感のある画像に変換することができる。
【０１２３】
又、図３１の階調補正テーブルにおいて、遠景かつ高輝度のグループに属する領域に対しては図２８（ｃ）に代えて図３２に示す入出力特性を、遠景かつ低輝度のグループに属する領域に対しては図２８（ｄ）に代えて図３３に示す入出力特性を適用してもよい。
【０１２４】
図３２は、Ｓ字状のカーブの膨らみを図３１（ａ）よりも小さくしてコントラストの強調を抑えたものである。図３３は、輝度がＬｄ１以下の部分を真っ黒なものとし、カーブの膨らみを図３１（ｂ）よりも小さくして全体の輝度の高め方を抑えたものである。このような階調補正テーブルを用いることにより、コントラストの強調を近景では強め、遠景では弱めることによって、自然に近景の被写体を強調した画像に変換することができる。
【０１２５】
〈変形例２〉
（撮影後に画像処理を行う場合）
尚、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図３４に、本発明における画像処理方法（ぼかし処理及び距離依存階調補正）を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１２６】
図３４に示す表示装置は、図１に示す撮像装置と同様、ドライバ部８、伸長処理部９、ディスプレイ部１２、音声出力回路部１３、スピーカ部１５、ＴＧ１６、ＣＰＵ１７、メモリ１８、操作部１９、バス回線２０，２１及び外部メモリ２２を備える。そして、図１と異なり、画像処理部５に代えて伸長処理部９で取得した画像信号を処理する画像処理装置５ａを備える。画像処理装置５ａは、図２６に示すぼかし処理部３０を有する。外部メモリ２２では、本実施形態の撮像装置において撮影時に画像補正を行っていない画像信号に領域毎の距離情報及び平均輝度情報を有するヘッダを有する画像ファイルを保持している。
【０１２７】
図３５は、本実施形態の表示装置においてぼかし処理及び距離依存階調補正の画像処理を行う場合のフローチャートである。ユーザが表示装置を画像処理モードにし（ＳＴＥＰ３５０１）、ディスプレイ部１２に表示する画像を選択する（ＳＴＥＰ３５０２）と、選択した画像の信号が外部メモリ２２からドライバ部８を経て、伸長処理部９で伸長され、画像処理装置５ａでディスプレイ部１２に表示可能な信号に変換して、ディスプレイ部１２に選択した画像を表示する。次にユーザがぼかし処理の実行を選択するかどうかを検出する（ＳＴＥＰ３５０３）。ぼかし処理の実行を選択すると、ヘッダに書き込まれた画像の各領域の合焦距離情報がローパスフィルタ部３４に読み込まれ、各領域を属する合焦距離範囲毎にグループ化する（ＳＴＥＰ３５０４）。ヘッダに各領域の属する距離範囲のグループ情報が記憶されている場合はそれを読み込んでもよい。合焦距離情報や属する距離範囲のグループ情報は、外部メモリ２２から直接読み込んでもよいし、圧縮符号として記憶されている場合は伸張処理部８で伸張してから与えられるものとしてもよい。これは、後述の平均輝度情報についても同様である。続いて、ローパスフィルタ部３４で合焦距離情報から画像の各領域のぼかし度合いを設定し、（ＳＴＥＰ３５０５）。設定したぼかし度合いでぼかし処理を施した画像の信号を保持する（ＳＴＥＰ３５０６）。
【０１２８】
次にぼかし処理のの強度を変更する補正強度値の入力待ち状態となる。ユーザが補正強度値を入力し、その値が画像処理部５ａに読み込まれる（ＳＴＥＰ３５０７）。図３６に補正強度値を入力する表示の例を示す。表示装置のパネル上にディスプレイ部１２と、上下左右及び中央の５個のボタンからなる操作部１９の入力ボタン１９ａとが設けられており、左右の入力ボタン１９ａを押下することでディスプレイ部１２に表示された選択した画像上のスライドバーによる補正強度値の表示を目安として補正強度値の強弱を変更することができる。
【０１２９】
補正強度値が入力されると、ローパスフィルタ部３４において、保持された通常のぼかし処理が施された画像の信号と、ぼかし処理が施されていない画像の信号とを入力された補正強度値で荷重加算し、その荷重加算された画像をディスプレイ部１２に表示する。（ＳＴＥＰ３５０８）。
【０１３０】
ここで、画像を構成する各画素における荷重加算について説明する。荷重加算後の画素の輝度をＹ、ぼかし処理が施されていない画素の輝度をＹｉｎ、通常のぼかし処理が施された画素の輝度をＹｃｏｎｖ、荷重加算係数をＫとする。このとき、Ｙは
Ｙ＝（１−Ｋ）Ｙｉｎ＋Ｋ・Ｙｃｏｎｖ
と表すことができる。荷重加算係数と補正強度値とは図３７に示すように線形の関係を有し、最も強い補正強度に対応する加重加算係数Ｋ＿ｍａｘは１以下の正の数であればよい。
【０１３１】
その後ユーザがぼかし処理の終了を指示せず（ＳＴＥＰ３５０９でＮｏ）、左右の入力ボタン１５ａを押下して補正強度値を変更する（ＳＴＥＰ３５０７）とその補正強度値に基づいて強度を変更したぼかし処理を施し、補正した画像をディスプレイ部１２に表示する。つまり、ディスプレイ部１２でぼかし処理の度合いを確認しながらぼかし処理の強度を変更することができる。そして、ぼかし処理の終了を指示する（ＳＴＥＰ３５０９でＹｅｓ）と距離依存階調補正の選択の検出に移行する（ＳＴＥＰ３５１０）。
【０１３２】
次にユーザが距離依存階調補正の実行を選択する（ＳＴＥＰ３５１０でＹｅｓ）と、ヘッダに書き込まれた画像の各領域の合焦距離情報が階調補正部４３に読み込まれ、各領域を属する合焦距離範囲毎にグループ化する（ＳＴＥＰ３５１１）。ヘッダに各領域の属する距離範囲のグループ情報が記憶されている場合はそれを読み込んでもよい。合焦距離情報や属する距離範囲のグループ情報は、外部メモリ２２から直接読み込んでもよいし、圧縮符号として記憶されている場合は伸張処理部８で伸張してから与えられるものとしてもよい。これは、後述の平均輝度情報についても同様である。
【０１３３】
続いて、輝度情報算出部４１で画像情報から画像の各領域の平均輝度を算出し、輝度情報記憶部４２でそれを記憶し、階調補正部４３で輝度情報記憶部４２に記憶された各領域の平均輝度情報を読み取る（ＳＴＥＰ３５１２）。ヘッダに各領域の平均輝度情報が書き込まれている場合は、階調補正部４３で直接それを読み込んでもよい。
【０１３４】
階調補正部４３では、輝度情報記憶部４２又は外部メモリ２２から直接読み込んだ各領域の平均輝度に基づいて、各領域を例えば高輝度、中輝度、低輝度にグループ化する。次に、メモリ１８に記憶された合焦距離のグループ及び平均輝度のグループ毎に設定された階調補正テーブルを読み込み、各領域の属する合焦距離のグループ及び平均輝度のグループに基づいて階調補正の入出力特性を割り当て（ＳＴＥＰ３５１３）、各領域に割り当てられた入出力特性によって階調補正部４３で階調を補正した画像の信号を保持する（ＳＴＥＰ３５１４）。
【０１３５】
次に階調補正の入出力特性の強度を変更する補正強度値の入力待ち状態となる。ユーザが補正強度値を入力ボタン１９ａで入力し、その値が画像処理部５ａに読み込まれる（ＳＴＥＰ３５１５）。
【０１３６】
補正強度値が入力されると、階調補正部４３において、保持された通常の階調補正が施された画像の信号と、階調補正が施されていない画像の信号とを入力された補正強度値で、上述したように荷重加算し、その荷重加算された画像をディスプレイ部１２に表示する。（ＳＴＥＰ３５１６）。
【０１３７】
その後ユーザが階調補正の終了を指示せず（ＳＴＥＰ３５１６でＮｏ）、左右の入力ボタン１５ａを押下して補正強度値を変更する（ＳＴＥＰ３５１５）とその補正強度値に基づいて強度を変更した入出力特性によって階調補正をし、補正した画像をディスプレイ部１２に表示する。つまり、ディスプレイ部１２で階調補正の度合いを確認しながら階調補正の強度を変更することができる。そして、階調補正の終了を指示し（ＳＴＥＰ３５１７でＹｅｓ）、ぼかし処理又は階調補正が施された画像を圧縮し、外部メモリに記録する（ＳＴＥＰ３５１８）と終了する（ＳＴＥＰ３５１９）。ぼかし処理又は階調補正が施された画像を記録するかどうかは選択できるようにしても構わない。
【０１３８】
尚、本発明の表示装置において、ぼかし処理と距離依存階調補正の順序は逆であっても構わない。又、本発明の表示装置はぼかし処理機能又は距離依存階調補正機能の一方だけを有するものであっても構わない。又、撮像装置が本発明の表示装置として動作するものであっても構わない。
【産業上の利用可能性】
【０１３９】
本発明は、オートフォーカス機能及びぼかし機能を有する撮像装置に適用することができる。
【図面の簡単な説明】
【０１４０】
【図１】は、第１の実施形態に係る撮像装置の内部構成を示すブロック図である。
【図２】は、第１の実施形態に係る撮像装置の基本動作及びぼかし処理モードの動作を説明するためのフローチャートである。
【図３】は、撮影画像エリアを複数の領域に分割し、ＡＦ評価エリアを設定した例である。
【図４】は、撮影画像エリアのＡＦ評価エリア及び個々の領域の高周波成分の強度と合焦距離との関係を示すグラフである。
【図５】は、第１の実施形態に係るぼかし処理部の構成を示すブロック図である。
【図６】は、距離情報検出部の構成を示すブロック図である。
【図７】は、距離情報を検出する動作を説明するためのフローチャートである。
【図８】は、距離検出用画像及び記録用画像の一例である。
【図９】は、図８の画像を９個の領域に区分した例である。
【図１０】は、図９の各領域の高周波成分の強度と合焦距離との関係を示すグラフである。
【図１１】は、撮像装置からの距離の異なる複数の被写体が存在している領域における高周波成分の強度と合焦距離との関係を示すグラフである。
【図１２】
【図１３】は、第１の実施形態に係る被写体までの距離とカットオフ周波数との関係を示すグラフである。
【図１４】は、画像を区分した領域のうち４個の模式図である。
【図１５】は、カットオフ周波数が設定された２点間においてカットオフ周波数を線形補間したグラフである。
【図１６】は、距離グループを設定した、各領域の高周波成分の強度と合焦距離との関係を示すグラフである。
【図１７】は、第２の実施形態に係るぼかし処理部の構成を示すブロック図である。
【図１８】は、ローパスフィルタのカットオフ周波数と出力レベルとの関係を示すグラフである。
【図１９】は、第２の実施形態に係る被写体までの距離と乗算係数との関係を示すグラフである。
【図２０】は、第２の実施形態に係るぼかし処理を施した画像の模式図である。
【図２１】は、第３の実施形態に係るぼかし処理部の構成を示すブロック図である。
【図２２】は、第３の実施形態に係る被写体までの距離と乗算係数との関係を示すグラフである。
【図２３】は、顔検出装置の構成を示すブロック図である。
【図２４】は、縮小画像生成手段によって得られる階層画像の一例である。
【図２５】は、顔検出処理を説明するための図である。
【図２６】は、変形例２に係るぼかし処理部の構成を示すブロック図である。
【図２７】は、階調補正動作を説明するためのフローチャートである。
【図２８】は、距離グループ及び平均輝度グループ毎に割り当てられた入出力特性の一例である。
【図２９】は、異なる入出力特性の間を線形補間によりグラデーションを与えて変化させた入出力特性のグラフである。
【図３０】は、２個の所定の距離に設定された入出力特性及びその間の距離に適用される入出力特性のグラフである。
【図３１】は、距離グループ及び平均輝度グループ毎に割り当てられた入出力特性の別の例である。
【図３２】は、遠景かつ高輝度のグループに属する領域に適用する入出力特性の別の例である。
【図３３】は、遠景かつ低輝度のグループに属する領域に適用する入出力特性の別の例である。
【図３４】は、本発明の表示装置の内部構成を示すブロック図である。
【図３５】は、本実施形態の表示装置において画像補正を行う場合のフローチャートである。
【図３６】は、補正強度値を入力する表示の例である。
【図３７】は、荷重加算係数と補正強度値の関係を示すグラフである。
【符号の説明】
【０１４１】
１ イメージセンサ
２ レンズ部
３ ＡＦＥ
４ マイク
５ 画像処理部
５ａ 画像処理装置
６ 音声処理部
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ ＴＧ
１７ ＣＰＵ
１７ａ 距離情報記憶部
１８ メモリ
１９ 操作部
１９ａ 入力ボタン
２０ バス回線
２１ バス回線
２２ 外部メモリ
２３ 距離検出部
２３ａ 高周波成分検出部
２３ｂ 高周波成分比較部
３０ ぼかし処理部
３１ フレームメモリ
３２ 距離検出部
３４ ローパスフィルタ
３４ａ 近景用ローパスフィルタ
３４ｂ 中景用ローパスフィルタ
３４ｃ 遠景用ローパスフィルタ
３５ 信号処理部
３６ 乗算器
３７ 乗算係数設定部
３８ 加算器
３９ エッジ信号生成部
【技術分野】
【０００１】
本発明は画像中の被写体の輪郭のぼかし度合いの補正が可能な画像処理装置及びその画像処理方法に関し、特に撮像装置からの距離が異なる複数の被写体を含む画像のぼかし処理に関する。
【背景技術】
【０００２】
現在広く普及しているデジタルカメラやデジタルビデオなどといった撮像装置では、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子の画素数の向上により高精細な画像が撮影できるようになっている。さらに、撮影した画像の階調を自動的に補正して、記録される画像を見栄えのよいものとする撮像装置も既に提案されている。従来の一般的な階調補正は、例えば、撮影画像の全体に鮮明な画像にするため、近景も遠景も同じように鮮明な画像とするものである。
【０００３】
ところで、撮影者に実際に見えている光景では、撮影者からの距離が近い物体ほど鮮明であり、距離が遠い物体ほどぼやけている。つまり、撮影者の肉眼には奥行き感のある立体的な画像が見えている。一眼レフカメラのように、レンズの口径及び撮像素子の大きな撮像装置では、被写界深度の浅い画像を撮影できるため、ボケ味のある、奥行き感のある画像を撮影することができる。しかし、コンパクトサイズのデジタルカメラのような小型の撮像装置においてはレンズの口径及び撮像素子が小さいため、撮影された画像は被写界深度が深く、焦点が近景から遠景まで全体に合ったものとなり、ボケ味のある、奥行き感のある画像を撮影することは難しい。
【０００４】
そこで、特許文献１では、画像中の被写体が人物であることを検出すると、その画像の人物以外の部分をぼかす方法が提案されている。これによって、人物から背景まで全体に焦点が合った画像でも、人物が浮き上がった画像とすることができる。
【０００５】
又、特許文献２では撮影レンズの焦点距離又は被写体の撮影距離の少なくとも一方を利用して階調の変換を変化させる方法が提案されている。マクロ撮影のように焦点距離が長く、撮影距離が短い場合は中間域の階調変化を強調して白とびや黒つぶれを抑制して画面全体の階調表現を視覚的に滑らかなものとし、一方、風景撮影のように焦点距離が短く、撮影距離が長い場合は中間域の階調変化を弱めて階調を変換し、中間域に集中した階調変化域を拡げてメリハリのある画像に変換させている。
【特許文献１】特開平１１−４１５１２号公報
【特許文献２】特開２００４−２１５１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１で提案された画像補整方法では、ぼかし度合いを使用者が設定することができるものの、１個の画像中におけるぼかし度合いは一定であるため人物に比較的近い被写体も比較的遠い被写体もぼけ具合が同じになってしまい、不自然な画像となる。
【０００７】
又、近景、遠景が混在し、焦点が全体に合った画像に対して特許文献２で提案された階調の変換方法を適用する場合、上述のマクロ撮影用の変換方法又は風景撮影用の変換方法のいずれかが適用されることとなる。マクロ撮影用の変換方法では画面全体の階調表現が視覚的に滑らかなものとなり、風景撮影用の変換方法では画面全体がメリハリのあるものとなる。しかし、いずれにしても、近景、遠景の区別なく画面全体に同一の変換条件を適用するため、画面内では近景が遠景に埋もれてしまい、実際に撮影者に見えているような奥行き感は得られない。
【０００８】
そこで、本発明は、近景から遠景まで焦点が全体に合った画像でも、対象となる被写体に焦点が合い、それ以外の被写体がぼけた、奥行き感のある立体的なものとする画像処理装置及び画像処理方法を提供することを目的とする。又、焦点が全体にあった画像を、上述のような奥行き感のある立体的なものとするための被写体までの距離情報を、その画像とともに関連づけて記録できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、入力された信号の信号値を変更して画像を補正する画像補正装置において、被写体を含む画像を単数又は複数の画素からなる領域に区分し、前記領域の各々を前記被写体までの距離に応じて設定したぼかし度合いを適用してぼかし処理を施すことを特徴とする。
【００１０】
又、前記ぼかし処理がローパスフィルタによって行われ、前記ローパスフィルタのカットオフ周波数を変更することにより前記ぼかし度合いを設定するものとしても構わない。
【００１１】
又、前記被写体までの距離が長いほど前記領域に適用する領域前記ぼかし度合いを高く設定するものとしても構わない。
【００１２】
又、前記被写体までの距離が所定の距離以下である前記領域にはぼかし処理を施さないものとしても構わない。
【００１３】
又、前記領域を前記被写体までの距離に基づいて複数の距離グループに区分し、前記距離グループの各々に前記ぼかし度合いを設定し、前記領域の各々は、属する前記距離グループに設定されたぼかし度合いによってぼかし処理を施すものとしても構わない。
【００１４】
又、前記領域の前記被写体までの距離が所定の距離よりも離れるほど前記ぼかし度合いを高く設定するものとしても構わない。
【００１５】
又、前記所定の距離が、特定部分を有する前記被写体までの距離であるものとしても構わない。
【００１６】
又、前記領域の各々を前記被写体までの距離に応じた階調補正特性によって階調補正するものとしても構わない。
【００１７】
又、本発明の電子機器は、上記構成の画像補正装置を備えるものとする。
【００１８】
上記電子機器において、レンズと焦点制御手段とを有するレンズ部と、前記レンズ部から入射した光を電気信号に光電変換する固体撮像素子と、前記固体撮像素子で取得した前記被写体を含む画像の電気信号から前記被写体まで距離を検出する距離検出部と、前記固体撮像素子で取得したままの状態の前記画像の電気信号からなる本体部と、前記距離検出部で検出した前記本体部の画像を区分した各領域の前記被写体までの距離の情報を有するヘッダ部とを備える画像ファイルを記憶する記憶部と、を備え、前記記憶部に記憶された前記本体部の前記画像の電気信号を前記ヘッダ部に記憶された前記被写体までの距離に応じて設定したぼかし度合いを適用してぼかし処理を施すものとしても構わない。
【００１９】
又、前記固体撮像素子で、前記被写体を含み合焦距離の異なる複数の画像からなる距離検出用画像を、前記レンズ部の合焦距離を変化させて取得し、前記距離検出部では、前記合焦距離の異なる複数の画像の前記領域の各々の高周波成分の強度を測定し、前記領域の各々の高周波成分の強度が最も高い画像の合焦距離を検出し、前記距離検出部で検出した、前記高周波成分の強度が最も高い画像の合焦距離を、前記領域の各々の前記被写体までの距離として用いるものとしても構わない。
【００２０】
又、本発明の画像補正方法は、被写体を含む前記画像の信号と、前記画像を区分した単数又は複数の画素からなる領域の各々の前記被写体までの距離情報とを有する画像ファイルを記憶した外部メモリから前記画像ファイルの読み出しを行う第１ステップと、前記第１ステップで読み出された前記領域の各々に含まれる前記被写体までの距離に応じたぼかし度合いによって、前記被写体を含む画像にぼかし処理を施す第２ステップと、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によると、画面を区分した領域に含まれる被写体までの距離に基づいて、領域毎にぼかし処理の度合いを設定するため、近景から遠景まで焦点が全体に合った画像でも、対象となる被写体に焦点が合い、それ以外の被写体がぼけた、奥行き感のある立体的なものとすることができる。
【発明を実施するための最良の形態】
【００２２】
〈第１の実施形態〉
本発明の第１の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。
【００２３】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、第１の実施形態に係る撮像装置の内部構成を示すブロック図である。
【００２４】
図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、外部から入力された音声を電気信号に変換するマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、ぼかし処理及び階調補正を含む各種画像処理を施す画像処理部５と、画像処理部５から入力された画像信号から被写体までの距離を検出する距離検出部２３と、マイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。レンズ部２は、画像処理部５で検出した画像信号に応じてＣＰＵ１７が、モータを駆動して焦点、絞りの制御を行うものである。
【００２５】
（撮像装置の基本動作 静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の撮影モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。続いて撮影モードの入力待ち状態となり、後述するぼかしモード等が選択される。撮影モードが入力されない場合はプレビューモードが選択されたものとする（ＳＴＥＰ２０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部１８のズーム倍率での画角の画像がディスプレイ部１２に表示される。
【００２６】
続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・フォーカス制御（Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。
【００２７】
ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。ＡＦの最適化処理では、例えば撮影画像エリアを複数の領域に分割し、その一部の領域をＡＦ評価エリアと設定する。そして、レンズ部２の合焦距離（フォーカス位置）を近点から遠点又は遠点から近点へ変化させながら、距離情報検出部２３でＡＦ評価エリアの重み付けを高く設定した全領域の輝度信号の高周波成分を検出し、高周波成分が最大値となるフォーカス位置を撮影に用いるフォーカス位置に設定する。図３は撮影画像エリアを縦８列、横８行の６４個の領域に分割し、その中央の１６個の領域をＡＦ評価エリアと設定した画像の例である。図４は図３の画像のＡＦ評価エリアの重み付けを高く設定した全領域及び他の個々の領域の輝度信号の高周波成分と合焦距離との関係を示すグラフである。太線で示すＡＦ評価エリアの重み付けを高く設定した全領域のグラフの矢印で示した位置が撮影に用いるフォーカス位置である。
【００２８】
撮影用のＡＥ・ＡＦが設定されると、イメージセンサ１の駆動モードについてぼかし処理モードが選択されているかどうかを検出する（ステップ２０９）。ぼかし処理モードが選択されていない場合、シャッターボタンが全押しされると（ＳＴＥＰ２２０）、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ２２１）、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３でデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２２２）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部５において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号が圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２２３）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１３）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。
【００２９】
（撮像装置の基本動作 動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１９によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００３０】
そして、画像処理部５で画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、マイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部８に与えて、外部メモリ２２に記録させる。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００３１】
このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。
【００３２】
又、外部メモリ２２に記録された動画を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。
【００３３】
画像を再生することが指示された場合は、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。
【００３４】
（ぼかし処理モード）
次にぼかし処理モードについて説明する。本発明の撮像装置では、画像処理部５に、画像中の被写体の距離情報を算出してそれに基づいたぼかし処理を撮影した画像に施すことができるぼかし処理部３０を備え、このような撮影モードをぼかし処理モードと呼ぶ。ぼかし処理部３０の構成及びそのぼかし処理モードにおける動作について以下に説明する。
【００３５】
図５はぼかし処理部３０の構成を示すブロック図である。ぼかし処理部３０は、シャッターボタンを半押した際にＡＦＥ３でデジタル信号とされた距離検出用画像及びシャッターボタンを全押しした際にＡＦＥ３でデジタル信号とされた記録用画像を一時的に記憶するフレームメモリ３１と、距離情報記憶部１７ａに記憶された各領域の被写体までの距離に基づいてフレームメモリ３１から読み込んだ記録用画像信号（デジタル信号）に対してぼかし処理を施すローパスフィルタ部３４と、ローパスフィルタ部３４でぼかし処理が施された記録用画像信号より輝度信号及び色差信号を生成する信号処理部３５と、を備える。距離検出部２３は、フレームメモリ３１に記憶された距離検出用画像（デジタル信号）を所定の領域に区分し、ＴＧ１６から発信された画像中のアドレス情報であるＨポジション及びＶポジションに対応した水平同期信号（以下Ｈｓｙｎｃとする）及び垂直同期信号（Ｖｓｙｎｃ）を受けて各領域における撮像装置から被写体までの距離を検出し、ＣＰＵ１７の内部に設けられた距離情報記憶部１７ａではＨｓｙｎｃ及びＶｓｙｎｃ信号を受け距離検出部２３で検出した各領域の被写体までの距離を記憶する。尚、距離情報記憶部１７ａはＣＰＵ１７の内部に設けられたものに限られず、撮像装置の内部又は外部に設けられた記憶装置を用いても構わない。
【００３６】
次にこのように構成されるぼかし処理部３０の動作について説明する。図２のＳＴＥＰ２０３でぼかし処理モードが選択されていることを検出し、シャッターボタンが半押しにされていることを検出する（ＳＴＥＰ２０４）と、距離検出用画像を撮影し、フレームメモリ３１に記憶させる。距離検出部２３ではフレームメモリ３１に記憶された距離検出用画像を所定の領域に区分し各領域の撮像装置から被写体までの距離を検出し、距離情報記憶部１７ａでは距離検出部２３で検出した各領域における被写体までの距離（以下距離情報とする場合もある）を記憶する（ＳＴＥＰ２０５）。
【００３７】
ここで、距離検出部２３の構成及び動作の一例について図を用いて説明する。図６は距離情報検出部の構成を示すブロック図、図７は距離情報を検出する動作を説明するためのフローチャートである。距離検出部２３は、図６に示すように、合焦距離を変化させて撮影された複数枚の画像からなる距離検出用画像（デジタル信号）をフレームメモリ３１から合焦距離の長いものの順に読み込んで所定の領域に区分し各領域の輝度信号の高周波成分の強度を検出する高周波成分検出部２３ａと、高周波成分検出部２３ａで検出されたある合焦距離での画像信号の各領域での高周波成分の強度とそれより長い合焦距離での画像信号の各領域での高周波成分の最高強度とを比較する高周波成分比較部２３ｂとを備える。
【００３８】
次に距離検出部２３の動作について説明する。まず、ステップ２０８のＡＦ制御について説明する。ＡＥ設定（ステップ２０７）後、図７に示すように、レンズ部２の全合焦範囲のうち、最短距離である最近点に合焦距離（フォーカス位置）を設定する（ステップ７０１）。そして、そのフォーカス位置で距離検出用画像を撮影し、ＡＦＥ３でデジタル信号に変換してフレームメモリ３１に書き込む。高周波成分検出部２３ａでは、フレームメモリ３１に記憶された最近点の距離検出用画像のデジタル信号を読み込んで所定の領域に区分し、各領域の輝度信号の高周波成分の強度を検出する（ＳＴＥＰ７０２）。そして、ＡＦ評価エリアの重み付けを高く設定した全領域の輝度信号の高周波成分の強度から、ＡＦ評価値を算出する（ＳＴＥＰ７０３）。
【００３９】
続いてフォーカス位置が無限遠であるかどうかを検知し、無限遠でない場合（ＳＴＥＰ７０４でＮｏ）、フォーカス位置を所定の間隔（１ステップ）遠くに設定する（ＳＴＥＰ７０５）。そしてＶｓｙｎｃ信号を受ける（ＳＴＥＰ７０６でＹｅｓ）とそのフォーカス位置でのＡＦ評価値を算出する（ＳＴＥＰ７０３）。
【００４０】
ＳＴＥＰ７０４でフォーカス位置が無限遠であることを検知すると（ＳＴＥＰ７０４でＹｅｓ）、レンズ部１２のフォーカス位置をＡＦ評価値が最大となった位置に移動する。このフォーカス位置で画像を撮影することとなる。
【００４１】
さらに、ＳＴＥＰ２０９でぼかし処理モードであることを検出した場合、高周波成分比較部２３ｂでは、フレームメモリ３１に記憶された最近点から無限遠までの各フォーカス位置での画像の各領域の高周波成分の強度を最近点のものから順に高周波成分検出部２３ａから読み込む。、最初に最近点の画像と１ステップフォーカス位置の長い画像の各領域での高周波成分の強度を比較し、各領域について高い方の強度及びその合焦距離を記憶する。ある領域について、無限遠での高周波成分の強度をｇ１、１段階短い合焦距離での高周波成分の強度をｇ２とするとき、ｇ１≧ｇ２であればｇ１、ｇ１＜ｇ２であればｇ２を、その合焦距離範囲での最高の強度Ｇとして合焦距離とともに記憶する。
【００４２】
次に、さらに１段階合焦距離の短い画像がある場合、その画像の各領域の高周波成分の強度を読み込み、記憶しているそれより長い合焦距離範囲（それまでに読み込んだ合焦距離範囲）での各領域の高周波成分の最高強度Ｈと比較する。そして、各領域について高い方の強度及びその合焦距離を記憶する。ある領域について、ある合焦距離での高周波成分の強度をｇｎとするとき、ｇｎ≧Ｇであればｇｎ、を新たにＧの値としてその合焦距離とともに更新し、ｇｎ＜ＧであればそれまでのＧの値と合焦距離とを維持する。
【００４３】
高周波成分の強度は撮像装置から被写体までの距離と合焦距離とが近いほど高くなる。この比較動作を全てのフォーカス位置の画像について完了すると、高周波成分比較部２３ｂには各領域について高周波成分の最高の強度Ｈとその強度を示した合焦距離が記憶されており、これは各領域における撮像装置から被写体までの距離情報である。距離情報記憶部１７ａでは、各領域における最高強度を示した合焦距離を高周波成分比較部２３ｂから読み込む（ＳＴＥＰ２０５）。
【００４４】
図８は距離検出用画像及び記録用画像の一例である。図９は図８の画像を所定の領域に区分した一例であり、所定の領域を縦３列、横３行の合計９個からなるものとしている。図９の各領域を左上から右方向にＲ１、Ｒ２、…、Ｒ９とする。各領域は単数又は複数の画素からなる。又、図１０は縦軸を高周波成分の強度、横軸を合焦距離としたＲ１、Ｒ２、…、Ｒ９の各領域の高周波成分の強度と合焦距離との関係を示すグラフである。上述のように、高周波成分は撮像装置から被写体までの距離と合焦距離とが近いほど強度が高くなる。
【００４５】
人物を含む領域である領域Ｒ５、Ｒ８についてのグラフは高周波成分が最大強度となる合焦距離は同じであるものの、その最大強度の大きさは異なる。即ちいずれの領域も被写体の位置が同じであるため最大強度となる合焦距離は同じとなる。しかし、領域に被写体のエッジを含んでいる、領域の全面を被写体が覆っているなど、領域毎に含まれる被写体の状態が異なるため、最大強度が異なるものとなる。
【００４６】
同様の理由で、建物を含む領域である領域Ｒ１、Ｒ２、Ｒ３、Ｒ６、Ｒ９についてのグラフも高周波成分が最大強度となる合焦距離は同じであるものの、最大強度の大きさは異なる。
【００４７】
１個の領域に距離の異なる複数の被写体が存在している場合は、複数の高周波成分の強度の極大値が現れることとなる。図１１は撮像装置からの距離の異なる複数の被写体が存在している領域における高周波成分の強度と合焦距離との関係を示すグラフである。このように１個の領域中に高周波成分の強度の極大値が２箇所以上現れた場合、最大の強度となる合焦距離をその領域での被写体までの距離として採用してもよい。
【００４８】
又、所定の閾値以上の極大値を検出し、そのうち合焦距離の最も短いもの又は最も長いものを採用してもよい。又、所定の閾値以上の極大値を合焦距離の順に並べた際に中心となるものを合焦距離を採用してもよい。所定の閾値以上の極大値が偶数個の場合は中心がないため、中心に近い２個の閾値のうちいずれかを採用してもよい。
【００４９】
距離情報記憶部１７ａで各領域の被写体までの距離を記憶した後、構図、画角が変化したかどうかを検出する（ＳＴＥＰ２１１）。構図、画角が変化したことを検出した場合については後述する。構図、画角が変化したことを検出せず（ＳＴＥＰ２１１でＮｏ）、シャッターボタンが全押しされていることを検出する（ＳＴＥＰ２１３でＹｅｓ）と、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ２１４、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３でデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２１５）。ローパスフィルタ部３４ではフレームメモリ３１に記憶された記録用画像（デジタル信号）を読み込んで、上述の距離検出部２３で区分した各領域について距離情報記憶部１７ａに記憶された各領域の被写体までの距離に基づいてぼかし度合いを設定し（ＳＴＥＰ２１６）、設定したぼかし度合いに基づいて各領域にぼかし処理を実施する（ＳＴＥＰ２１７）。ぼかし処理を行った画像について、圧縮処理部７においてＪＰＥＧ形式に圧縮（ＳＴＥＰ２１８）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１９）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。
【００５０】
ＳＴＥＰ２１８でぼかし処理を行った画像信号を圧縮処理部７において圧縮する際に、ぼかし処理を行った画像信号のみならずぼかし処理を行っていない画像信号についても圧縮し、図１２に示すように、外部メモリ２２に書き込むファイル８０には圧縮したぼかし処理を行っていない画像信号８１に付加したヘッダ部８２に、ＳＴＥＰ２１０で距離情報記憶部１７ａに記憶された各領域における最高強度を示した合焦距離情報８２ａを併せて書き込んでもよい。このようなヘッダ部８２に合焦距離情報を書き込む形式としては例えばｅｘｉｆ形式を用いることができる。なお、外部メモリ２２には、圧縮したぼかし処理を行った画像信号については書き込まず、ヘッダ部に合焦距離情報を有する圧縮したぼかし処理を行っていない画像信号のみを書き込むことをユーザが選択できるようにしても構わない。又、ヘッダ部８２に書き込む情報は、圧縮したものであってもよい。
【００５１】
（構図、画角が変化したことを検出した場合）
ここで、ＳＴＥＰ２１１で構図、画角が所定量以上変化したことを検出した場合、ユーザに対して画角が変化したこと及びシャッターボタンを開放して半押しし直すことをディスプレイ部１２での表示やスピーカ部１５からの音声によって通知し、シャッターボタンが半押しし直されたかどうかを検知する（ＳＴＥＰ２１２）。半押しし直された場合（ＳＴＥＰ２１２でＹｅｓ）は再びＡＥ調整（ＳＴＥＰ２０７）、ＡＦ制御（ＳＴＥＰ２０８）を経て、各領域における最高強度を示した合焦距離を検出し、記憶する（ＳＴＥＰ２１０）。ここで、構図、画角の変化の検出は、ＣＰＵ１７で逐次算出されているＡＥ評価値の変化や、逐次取り込まれてＡＦＥ３でデジタル信号化されるイメージセンサ１上の画像からＣＰＵ１７で検出した被写体の動きベクトルの変化、又は加速度センサのような動きを検出するセンサによって検出することができる。
【００５２】
ＳＴＥＰ２１２で半押しし直されず、ＳＴＥＰ２１３で全押しされた場合はＳＴＥＰ２０７以降の処理をぼかし処理を省略して続けてもよい。又、動きベクトルの変化や加速度センサによってシャッターボタンの半押しから全押しまでの間に構図、画角の変化した量を検出している場合は、その検出した変化量に基づいて変化する前の画像の距離情報を変化した後の画像に適合するようにシフトさせ、変化した後の画像の各領域に、各領域の被写体までの距離に基づいてぼかし度合いを設定し（ＳＴＥＰ２１６）、ぼかし処理を実施してもよい（ＳＴＥＰ２１７）。この場合、距離情報のない領域についてはぼかし処理は行わないでもよいし、当該領域の周辺の領域と同じ条件のぼかし処理を行ってもよい。
【００５３】
（ぼかし処理条件）
画像の各領域に対して、各領域の被写体までの距離に応じたぼかし処理が施される。そのぼかし処理の条件について説明する。ぼかし処理を行うローパスフィルタ部３４では、カットオフ周波数を設定することによってぼかしの度合いを調整する。カットオフ周波数が高いほどぼかしの度合いが低く、カットオフ周波数が低いほどぼかしの度合いが高い。カットオフ周波数がナイキスト周波数の場合にはぼかし処理は行われない。
【００５４】
本実施形態では、被写体までの距離が撮像装置近傍から所定の距離Ｄ１までの近距離範囲ではぼかし処理は行わず、距離Ｄ１から距離Ｄ２（Ｄ２＞Ｄ１）の中距離範囲では距離が長いほどぼかしの度合いを高める。距離Ｄ２よりも遠い範囲である遠距離範囲では一定のぼかし度合いとして中距離範囲の最も高いぼかし度合いを適用する。図１３は、このカットオフ周波数と被写体までの距離との関係を表すグラフである。近距離範囲ではカットオフ周波数はナイキスト周波数Ｎで一定とし、中距離範囲では距離が長いほどカットオフ周波数は低下し、遠距離範囲では中距離範囲で最も低いカットオフ周波数で一定とする。このようにカットオフ周波数を設定することにより、ぼかし処理によって得られた画像は近距離範囲の被写体が中距離範囲及び遠距離範囲の被写体から浮き上がった立体感のあるものとなる。
【００５５】
（カットオフ周波数の補間）
しかし、隣接する領域間でぼかし処理に用いるカットオフ周波数が異なると、領域の境界ではぼかしの度合いの違いによって境界が現れることとなる。そこで、領域間で境界を目立たなくするように、カットオフ周波数の異なる隣接する領域を構成する画素のぼかし処理に用いるカットオフ周波数にグラデーションを与える。
【００５６】
図１４に４個の領域の模式図を示す。領域７１〜７４の中心をそれぞれ７１ａ〜７４ａ、領域７１〜７４の４個の領域が共有する点を原点Ｏ、図面横方向をｘ軸、縦方向をｙ軸とし、各領域の１辺の長さを２ａとする。このとき中心７１ａの座標は（ａ，ａ）、中心７２ａの座標は（−ａ，ａ）、中心７３ａの座標は（−ａ，−ａ）、中心７４ａの座標は（ａ，−ａ）である。
【００５７】
各領域の中心に位置する画素では各領域に設定されたぼかし度合いであるカットオフ周波数をぼかし処理に用い、原点Ｏを共有する４個の領域の中心に囲まれた画素では各領域に設定されたカットオフ周波数をその画素から各領域の中心までの距離で線形補間したものをぼかし処理に用いる。ここでは、図１４に示す領域７１に属し、中心７１ａ〜７４ａに囲まれた画素７１ｂについて考える。領域７１〜７４に設定されたカットオフ周波数をそれぞれｈ１、ｈ２、ｈ３、ｈ４とし、画素７１ｂにおけるカットオフ周波数をＺ、画素７１ｂの座標を（ｘ，ｙ）とすると、
Ｚ＝［｛（ａ＋ｘ）ｈ１＋（ａ−ｘ）ｈ２｝／２ａ］（ａ＋ｙ）／２ａ
＋［｛（ａ＋ｘ）ｈ３＋（ａ−ｘ）ｈ４｝／２ａ］（ａ−ｙ）／２ａ
となる。なお、隣接する２個の領域の中心を結ぶ線上の画素ではこれらの２個の領域に設定されたカットオフ周波数を線形補間したものをぼかし処理に用いる。
【００５８】
図１５は異なるカットオフ周波数の間を線形補間によりグラデーションを与えて変化させたカットオフ周波数のグラフである。図１５のグラフ上に５点のカットオフ周波数ｈ１、ｈ２、ｈ５〜ｈ７を示す。ｈ５〜ｈ７は、ｈ１とｈ２の間で線形補間したものである。ｈ１は図１４の領域７１のカットオフ周波数であり、ｈ２は領域７２のカットオフ周波数である。中心７１ａにはｈ１、中心７２ａにはｈ２が適用される。ｈ５〜ｈ７はそれぞれ、中心７１ａと中心７２ａとを結ぶ線上に、中心７１ａと中心７２ａを含めて略等間隔に並んだ３個の画素である、画素７１ｃ、画素７１ｄ、画素７２ｂ（中心７１ａ側から順に）について適用される。このようにしてカットオフ周波数を補間して画素毎にグラデーションを与えて変化させることにより、ぼかし処理後の画像は領域間での境界が目立たないものとなる。
【００５９】
尚、領域７１〜７３が画像の外周に位置する領域である場合、図１４上の座標（ａ，２ａ）の点７１ｅ、座標（−ａ，２ａ）の点７２ｃ、座標（−２ａ，２ａ）の点７２ｄ、座標（−２ａ，ａ）の点７２ｅ、座標（−２ａ，−ａ）の点７３ｂを設定すると、点７１ｃ、７２ｅ、７２ａ、７１ａで囲まれた部分では点７２ａと点７１ａとを結ぶ線分上のｘ座標が同じ点のカットオフ周波数、点７２ａ、７２ｅ、７３ｂ、７３ａで囲まれた部分では点７２ａと点７３ａとを結ぶ線分上のｙ座標が同じ点のカットオフ周波数、点７２ｃ、７２ｄ、７２ｅ、７２ａで囲まれた部分では点Ｂ即ち中心７２ａのカットオフ周波数を適用する。
【００６０】
〈第２の実施形態〉
本発明の第２の実施の形態について、図面を参照して説明する。本実施形態は、ぼかし処理部の構成が異なる以外は第１の実施形態と同じであり、実質上同一の部分には同一の付している。
【００６１】
本実施形態では、各領域を被写体までの距離別に複数のグループに区分してぼかし処理を行う。この場合、各グループに対して所定のカットオフ周波数を設定し、適用する。
【００６２】
ここでは例として、距離グループを近景、中景、遠景の３種類に区分する場合について説明する。図１６は、第１の実施形態の図１１のグラフにおいて、被写体までの距離がＤ１未満の場合を近景、Ｄ１以上Ｄ２未満の場合を中景、Ｄ２以上の場合を遠景とした例である。ここで、Ｄ１とＤ２の関係はＤ１＜Ｄ２である。尚、距離グループの数は３個に限られず、２個以上であればよい。
【００６３】
図１７は第２の実施形態に係るぼかし処理部のブロック図である。本実施形態のぼかし処理部３０のローパスフィルタ部３４は、近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃ、乗算係数設定部３７及び加算器３８を備える。近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃはそれぞれ乗算器３６が後段に直列に接続されている。近景用ローパスフィルタ３４ａと乗算器３６、中景用ローパスフィルタ３４ｂと乗算器３６、遠景用ローパスフィルタ３４ｃと乗算器３６は、それぞれフレームメモリ３１と信号処理部３５との間に並列に接続されている。乗算係数設定部３７は距離情報記憶部１７ａに記憶された各領域の被写体までの距離に基づき各乗算器３６での乗算に用いる乗算係数を設定するものであり、距離情報記憶部１７ａと各乗算器３６との間に接続される。
【００６４】
近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃのカットオフ周波数と出力レベルとは、図１８のグラフに示すような関係を有する。図１８は横軸をカットオフ周波数、縦軸を出力レベルとしたグラフであり、入力画像信号のレベルも併せて示している。カットオフ周波数と出力レベルとの関係は、いずれも周波数の低い範囲では出力レベルは１．０で一定であり、所定の周波数以上では周波数が高いほど出力レベルが低くなり、最後には０となる。出力レベルが低下し始める周波数及び０となる周波数は、近景用ローパスフィルタ３４ａが最も高く、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃの順に低くなる。尚、本実施形態では近景用ローパスフィルタ３４ａのカットオフ周波数と出力レベルとの関係は、入力画像と同様の関係を有しているため、近景用ローパスフィルタ３４ａは設けなくてもよい。
【００６５】
乗算係数設定部３７では、画像の各領域に、その領域の距離情報に基づいて各乗算器３６についての乗算係数を設定する。図１９は被写体までの距離と乗算係数との関係の一例を示すグラフである。図１９には近景用の乗算係数ＫＮが実線で、中景用の乗算係数ＫＭが一点鎖線で、遠景用の乗算係数ＫＦが二点鎖線で示されている。近景用の乗算係数ＫＮは、Ｄ１未満の範囲では１．０で一定であり、Ｄ１以上の範囲では０で一定である。中景用の乗算係数ＫＭは、Ｄ１未満の範囲では０で一定であり、Ｄ１以上Ｄ２未満の範囲では１．０で一定であり、Ｄ２以上の範囲では０で一定である。遠景用の乗算係数ＫＦは、Ｄ２未満の範囲では０で一定であり、Ｄ２以上の範囲では１．０で一定である。このように、乗算係数ＫＦ、ＫＭ、ＫＦの和は被写体までの距離によらず１．０で一定である。
【００６６】
次に本実施形態のぼかし処理について説明する。フレームメモリ３１に記憶された記録用画像を読み込み、近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃのそれぞれによってぼかし処理を施す。一方、乗算係数設定部３７では、距離情報記憶部１７ａに記憶された各領域の被写体距離に応じた乗算係数を、各領域について設定する。
【００６７】
ローパスフィルタ３４ａ、３４ｂ、３４ｃでぼかし処理が施された画像は、乗算係数設定部３７で設定された乗算係数で乗算器３６によって各領域毎に乗算が施され、加算器３８で加算される。加算器３８で加算された画像は、被写体までの距離がＤ１未満の領域は、近景用ローパスフィルタ３４ａに対しての乗算係数が１．０であり、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃに対しての乗算係数が０であるため、近景用ローパスフィルタ３４ａのみでぼかし処理が施されたものとなる。近景用ローパスフィルタ３４ａが設けられていない場合は元の画像のままとなる。同様に、被写体までの距離がＤ１以上Ｄ２未満の領域は中景用ローパスフィルタ３４ｂのみ、被写体までの距離がＤ２以上の領域は遠景用ローパスフィルタ３４ｃでぼかし処理が施されたものとなる。図２０は、Ｒ１〜Ｒ９の９個の領域に区分された画像をぼかし処理した画像の模式図である。近景に属する領域Ｒ５、Ｒ８と、中景に属する領域Ｒ４、Ｒ７と、遠景に属する領域Ｒ１、Ｒ２、Ｒ３、Ｒ６、Ｒ９とでぼかし具合が異なり、遠景は大きくぼけ、中景は少しぼけ、近景はそのままである画像となる。その結果、ぼかし処理によって得られた画像は近景が中景、遠景から浮き上がった立体感のあるものとなる。
【００６８】
このように構成することにより、距離情報記憶部１７ａに記憶する各領域についての距離情報は、詳細な距離情報ではなく、大まかな情報であるその領域の属する距離グループとすることができるため、処理速度を向上させることができる。
【００６９】
〈第３の実施形態〉
本発明の第３の実施形態について図面を参照して説明する。本実施形態は、ぼかし処理部の構成及び乗算係数と被写体距離との関係が異なる以外は第２の実施形態と同じであり、実質上同一の部分には同一の符号を付している。
【００７０】
図２１は本実施形態に係るぼかし処理部のブロック図である。本実施形態のぼかし処理部３０は、図１７の第２の実施形態のぼかし処理部にエッジ信号生成部３９が設けられたものである。エッジ信号生成部３９は乗算器３６が後段に直列に接続されている。エッジ信号生成部３９と乗算器３６は、フレームメモリ３１と信号処理部３５との間に並列に接続されており、この乗算器３６には乗算係数設定部３７が接続されている。
【００７１】
図２２は本実施形態の、被写体までの距離と乗算係数との関係の一例を示すグラフである。図２２には近景用の乗算係数ＫＮ、中景用の乗算係数ＫＭ、遠景用の乗算係数ＫＦに加えてエッジ信号用の乗算係数ＫＥが示されている。本実施形態では、近景用の乗算係数ＫＮは、Ｄ１−ｄ１未満の範囲では１．０で一定であり、Ｄ１−ｄ１以上Ｄ１＋ｄ１未満の範囲では１．０から０まで距離に比例して減少し、Ｄ１＋ｄ１以上の範囲では０で一定である。中景用の乗算係数ＫＭは、Ｄ１−ｄ１未満の範囲では０で一定であり、Ｄ１−ｄ１以上Ｄ１＋ｄ１未満の範囲では０から１．０まで距離に比例して増加し、Ｄ１＋ｄ１以上Ｄ２−ｄ２未満の範囲では１．０で一定であり、Ｄ２−ｄ２以上Ｄ２＋ｄ２未満の範囲では１．０から０まで距離に比例して減少し、Ｄ２＋ｄ２以上の範囲では０で一定である。遠景用の乗算係数ＫＦは、Ｄ２−ｄ２未満の範囲では０で一定であり、Ｄ２−ｄ２以上Ｄ２＋ｄ２未満の範囲では０から１．０まで距離に比例して増加し、Ｄ２＋ｄ２以上の範囲では１．０で一定である。尚、ｄ１とｄ２との関係は、Ｄ１＋ｄ１＜Ｄ２−ｄ２である。又、乗算係数ＫＦ、ＫＭ、ＫＦの和は被写体までの距離によらず１．０で一定である。そして、エッジ信号用の乗算係数ＫＥは、Ｄ０未満の範囲では１．３で一定であり、Ｄ０以上Ｄ１−ｄ１未満の範囲では１．３から０まで距離に比例して減少し、Ｄ１−ｄ１以上の範囲では０で一定である。乗算係数ＫＥは、他の乗算係数から独立した数値である。
【００７２】
図２２に示す、乗算係数ＫＮ、ＫＭ、ＫＦ、ＫＥと被写体までの距離Ｄとの関係を数式で表すと以下のようになる。ここで、Ｄ１−ｄ１≦Ｄ＜Ｄ１＋ｄ１での乗算係数ＫＭの傾きをｋ１（ｋ１＞０，ｋ１＝１／（２×ｄ１））、Ｄ２−ｄ２≦Ｄ＜Ｄ２＋ｄ２での乗算係数ＫＦの傾きをｋ２（ｋ２＞０，ｋ２＝１／（２×ｄ２））、Ｄ０≦Ｄ＜Ｄ１−ｄ１での乗算係数ＫＥの傾きを−ｋ０（ｋ０＞０，ｋ２＝１．３／（Ｄ１−ｄ１−Ｄ０））とする。
ＫＮ＝１．０ …（Ｄ＜Ｄ１−ｄ１）
＝−ｋ１×｛Ｄ−（Ｄ１＋ｄ１）｝ …（Ｄ１−ｄ１≦Ｄ＜Ｄ１＋ｄ１）
＝０ …（Ｄ１＋ｄ１≦Ｄ）
ＫＭ＝０ …（Ｄ１＋ｄ１≦Ｄ）
＝ｋ１×｛Ｄ−（Ｄ１−ｄ１）｝ …（Ｄ１−ｄ１≦Ｄ＜Ｄ１＋ｄ１）
＝１．０ …（Ｄ１＋ｄ１≦Ｄ＜Ｄ２−ｄ２）
＝−ｋ２×｛Ｄ−（Ｄ２＋ｄ２）｝ …（Ｄ２−ｄ２≦Ｄ＜Ｄ２＋ｄ２）
＝０ …（Ｄ２＋ｄ２≦Ｄ）
ＫＦ＝０ （Ｄ＜Ｄ１−ｄ１）
＝ｋ２×｛Ｄ−（Ｄ２−ｄ２）｝ …（Ｄ２−ｄ２≦Ｄ＜Ｄ２＋ｄ２）
＝１．０ …（Ｄ２＋ｄ２≦Ｄ）
ＫＥ＝１．３ …（Ｄ＜Ｄ０）
＝−ｋ０×｛Ｄ−（Ｄ１−ｄ１）｝ …（Ｄ０≦Ｄ＜Ｄ１−ｄ１）
＝０ …（Ｄ１−ｄ１≦Ｄ）
【００７３】
次に本実施形態のぼかし処理について説明する。フレームメモリ３１に記憶された記録用画像を読み込み、近景用ローパスフィルタ３４ａ、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃのそれぞれによってぼかし処理を施し、エッジ信号生成部３９ではエッジ信号を生成する。一方、乗算係数設定部３７では、距離情報記憶部１７ａに記憶された各領域の被写体距離に応じた乗算係数を、各領域について設定する。
【００７４】
ローパスフィルタ３４ａ、３４ｂ、３４ｃでぼかし処理が施された画像及びエッジ信号生成部３９で生成されたエッジ信号は、乗算係数設定部３７で設定された乗算係数で乗算器３６によって各領域毎に乗算が施され、加算器３８で加算される。
【００７５】
加算器３８で加算された画像は、被写体までの距離がＤ０未満の領域は、近景用ローパスフィルタに対しての乗算係数が１．０、エッジ信号生成部３９に対しての乗算係数が１．３で一定であり、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃに対しての乗算係数が０であるため、近景用ローパスフィルタ３４ａのみでぼかし処理が施され、エッジ信号によりエッジが強調されたものとなる。被写体までの距離がＤ０以上Ｄ１−ｄ１未満の領域は、近景用ローパスフィルタ３４ａに対しての乗算係数が１．０で一定で、中景用ローパスフィルタ３４ｂ、遠景用ローパスフィルタ３４ｃに対しての乗算係数が０であり、エッジ信号生成部３９に対しての乗算係数が１．３から０まで距離に比例して減少するため、被写体までの距離がＤ０未満の領域と比べると距離が増加するにしたがってエッジの強調が抑えられたものとなる。近景用ローパスフィルタ３４ａが設けられていない場合は元の画像のエッジが強調されたものとなる。
【００７６】
被写体までの距離がＤ１−ｄ１以上の領域では、エッジ信号生成部３９に対しての乗算係数が０であるため、エッジは強調されない。被写体までの距離がＤ１−ｄ１以上の領域のうち、被写体までの距離がＤ１＋ｄ１以上Ｄ２−ｄ２未満の領域は中景用ローパスフィルタ３４ｂのみ、被写体までの距離がＤ２＋ｄ２以上の領域は遠景用ローパスフィルタ３４ｃでぼかし処理が施されたものとなる。
【００７７】
被写体までの距離がＤ１−ｄ１以上Ｄ１＋ｄ１未満の領域は、遠景用ローパスフィルタ３４ｃに対しての乗算係数は０であるものの、近景用ローパスフィルタ３４ａに対しての乗算係数は１．０から０まで距離に比例して減少し、中景用ローパスフィルタ３４ｂに対しての乗算係数は０から１．０まで距離に比例して増加するため、近景用ローパスフィルタ３４ａで処理された画像と中景用ローパスフィルタ３４ｂで処理された画像とが混合されたものとなる。なお、Ｄ１−ｄ１以上Ｄ１＋ｄ１未満の範囲では距離に比例して近景用ローパスフィルタ３４ａよりも中景用ローパスフィルタ３４ｂでの処理の影響が大きくなる。同様に、被写体までの距離がＤ２−ｄ２以上Ｄ２＋ｄ２未満の領域は、近景用ローパスフィルタ３４ａで処理された画像と中景用ローパスフィルタ３４ｂで処理された画像とが混合されたものとなる。これにより、被写体までの距離がＤ１近傍又はＤ２近傍の領域が隣接している場合に、ぼかし処理の度合いが急激に変化して不自然なぼかし処理が施された画像となるのを抑制することができる。
【００７８】
尚、本実施形態において、各領域を被写体までの距離によって複数の距離グループに区分して、各距離グループ毎に属する領域の被写体までの距離の平均を算出し、その平均を各領域の被写体までの距離として用いても構わない。例えば、図１６に示す距離と高周波成分の強度との関係を示すグラフにおいて、高周波成分の最大値を示す距離即ち被写体までの距離がＤ１未満の領域についてはＲ５とＲ８の高周波成分の最大値を示す距離の平均であるＤ１１を、被写体までの距離がＤ１以上Ｄ２未満の領域についてはＲ４とＲ７の最大値を示す距離の平均であるＤ１２を、被写体までの距離がＤ２以上である領域についてはＲ１、Ｒ２、Ｒ３、Ｒ６、Ｒ９の最大値を示す距離の平均であるＤ１３を、それぞれ該当する距離グループに属する領域の被写体までの距離として用いることができる。この場合、各領域についての距離情報の管理を簡素化できるため、ぼかし処理の高速化を図ることができる。この場合、第１の実施形態で説明したカットオフ周波数の補間方法を適用することにより、ぼけ具合の異なる領域間の境界を目立たなくして自然なぼけ具合とすることができる。尚、このように算出した距離情報は第１の実施形態においても適用することができる。
【００７９】
又、本実施形態において、被写体のエッジを強調しない場合はエッジ信号生成部３９は設けなくてもよい。
【００８０】
又、本実施形態のローパスフィルタ部３４において、近景用ローパスフィルタ３４ａを、対応する乗算器３６を残したまま取り除き、乗算係数を適切に設定することにより、第１の実施形態のローパスフィルタ部３４と同様の構成とすることができる。
【００８１】
〈変形例１〉
又、本発明の第１〜第３の実施形態においてＳＴＥＰ２０５で各領域の距離情報を取得する際に、画像中で所定の大きさ以上の人物の顔を検出し、その顔を含む領域の距離を含む所定の距離範囲の領域にはぼかし処理は施さないものとしてもよい。これにより、人物を含む領域にぼかし処理を施してしまう可能性を低減することができる。
【００８２】
又、その顔を含む領域の被写体までの距離を含む所定の距離範囲の領域にはぼかし処理は施さず、その所定の距離範囲よりも短い距離及び長い距離の領域にぼかし処理を施すものとしてもよい。この場合、その所定の距離範囲よりも離れるほどぼかし度合いを高くしてもよい。これにより、画像中の人物をより自然に浮き上がらせることができる。
【００８３】
又、画像の領域を距離グループに区分した場合は、その顔を含む領域と同じ距離グループに属する領域にはぼかし処理を施さず、それ以外の領域にはぼかし処理を施すものとしてもよい。
【００８４】
ここで顔検出処理について説明する。画像処理部５は顔検出装置５０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置５０の構成及び動作について以下に説明する。
【００８５】
図２３は、顔検出装置５０の構成を示している。顔検出装置５０は、ＡＦＥ３によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段５１、入力画像および縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段５２、および顔判定手段５２の検出結果を出力する検出結果出力手段５３を備えている。検出結果出力手段５３は、顔が検出された場合には、入力画像を基準とする検出された顔の大きさと位置とを出力する。
【００８６】
又、メモリ１８に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００８７】
尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによ
って、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００８８】
図２４は、縮小画像生成手段５１によって得られる階層画像の一例を示している。この例では、縮小率Ｒを０．８に設定した場合に、生成される複数の階層画像を示している。図２４において、６０は入力画像を、６１〜６５は縮小画像を示している。６８は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像６０の他に、複数の縮小画像６１〜６５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。
【００８９】
図２５は顔検出処理を説明するための図である。顔判定手段５２による顔検出処理は、各階層画像毎に行なわれるが、処理方法は同様なので、ここでは入力画像６０に対して行なわれる顔検出処理についてのみ説明する。
【００９０】
各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。このようにして、検出された顔の位置及び大きさは検出結果出力手段５３によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。
【００９１】
尚、本発明の第１〜第３の実施形態において、画像を分割して得られる領域は、細かく区分するほど、距離の異なる複数の被写体が含まれる領域の割合が小さくなり、領域間の境界が目立ちにくくなるため、良好なボケ味の画像生成が可能となる。
【００９２】
〈変形例２〉（距離依存階調補正）
又、本発明の第１〜第３の実施形態において、ぼかし処理に加えて、領域毎に被写体までの距離に依存した階調補正を画像に施してもよい。以下に、このような階調補正方法について説明する。
【００９３】
この場合、ぼかし処理部３０は、画像中の被写体の距離情報と輝度情報を算出してそれに基づいた階調補正を撮影した画像に施すことができる機能を備え、このような撮影モードを階調補正モードと呼ぶ。
【００９４】
図２６は距離依存階調補正機能を備えたぼかし処理部３０の構成を示すブロック図である。ぼかし処理部３０は、フレームメモリ３１、ローパスフィルタ部３４、信号処理部３５に加えて、フレームメモリ３１に記憶された記録用画像のデジタル信号を読み込んで上述の所定の領域に区分し各領域の平均輝度を算出する輝度情報算出部４１と、輝度情報算出部４１で算出された各領域の平均輝度を記憶する輝度情報記憶部４２と、距離情報記憶部１７ａに記憶された各領域の被写体までの距離と輝度情報記憶部４２に記憶された各領域の平均輝度とメモリ１４に記憶された階調補正テーブルに基づいてフレームメモリ３１から読み込んだ記録用画像信号（デジタル信号）に対して階調補正を施す階調補正部４３と、を備え、信号処理部３５ではローパスフィルタ部３４及び階調補正部４３の少なくとも一方で画像処理が施された記録用画像信号より輝度信号及び色差信号を生成する。
【００９５】
次に距離依存階調補正機能を備えたぼかし処理部３０の動作について説明する。図２７は、図２のフローチャートの一部に距離依存階調補正機能に関する部分を追加したものである。この場合、図２のフローチャートにおける、ＳＴＥＰ２０２における撮影モードの選択肢としてぼかし処理モードに加えて階調補正モードも含まれる。階調補正モードが選択された場合、ぼかし処理モードも同時に選択され、第１〜第３の実施形態と同様のぼかし処理が図２のＳＴＥＰ２１０まで行われる。次に、階調補正モードが選択されているかどうかを検出し（ＳＴＥＰ２７０１）、選択されていない場合はぼかし処理を施した画像の圧縮画像を生成し（ＳＴＥＰ２１１）、上述の第１〜第３の実施形態と同様の処理が継続される。
【００９６】
階調補正モードが選択されている場合、輝度情報算出部４１ではフレームメモリ３１に記憶された記録用画像（デジタル信号）を読み込んで、上述の距離検出部２３で区分したものと同じ所定の領域に区分して各領域について平均輝度を算出し、輝度情報記憶部４２では輝度情報算出部４１で算出された平均輝度を記憶する（ＳＴＥＰ２７０２）。
【００９７】
階調補正部４３では、輝度情報記憶部４２から各領域の平均輝度を読み込んで、各領域を平均輝度によってグループ化する。例えば平均輝度がＬａ以上の高輝度、平均輝度がＬｂ以上Ｌａ未満の中輝度、平均輝度がＬｂ未満の低輝度の３個のグループにグループ化する。ここで、Ｌａ、Ｌｂは撮像装置に応じて設定可能な任意の値である。さらに、メモリ１４に記憶された合焦距離のグループ及び平均輝度のグループ毎に設定された階調補正テーブルを読み込み、各領域の属する合焦距離のグループ及び平均輝度のグループに基づいて階調補正の入出力特性を割り当てる（ＳＴＥＰ２７０３）。
【００９８】
続いて、フレームメモリ３１に記憶された記録用画像を読み込んで各領域にこの階調補正テーブルを適用して階調補正を行う（ＳＴＥＰ２７０４）。階調補正を行った画像について、圧縮処理部６においてＪＰＥＧ形式に圧縮（ＳＴＥＰ２１１）する。
【００９９】
ＳＴＥＰ２１１でぼかし処理及び階調補正を含む画像補整を行った画像信号を圧縮処理部６において圧縮する際にも、画像補正を行った画像信号のみならず画像補正を行っていない画像信号についても圧縮し、図１２に示すヘッダ部８２に、合焦距離情報８２ａに加えてＳＴＥＰ２７０２で輝度情報記憶部４２に記憶された各領域についての平均輝度情報を併せて書き込んでもよい。
【０１００】
（階調補正テーブル）
次に、階調補正テーブルについて説明する。本実施形態の階調補正テーブルは、近景、中景、遠景の３個の距離グループ及び高輝度、中輝度、低輝度の３個の平均輝度グループに対して割り当てられた図２８（ａ）〜図２８（ｉ）のグラフに示す９個の入出力特性からなる。各グラフは横軸を階調補正前の入力輝度値、縦軸を階調補正後の出力輝度値とするものである。この入出力特性に基づいて各領域を構成する各画素は輝度が変換される。
【０１０１】
まず、中景のグループに属する領域に対して割り当てられた入出力特性について説明する。図２８（ｄ）〜図２８（ｆ）はいずれも中景のグループに属する領域に対して割り当てられた入出力特性であり、領域内の画素の輝度にかかわらずグラフの傾きｋは例えば１として一定とし、特に変換しない。これにより、補正後の近景及び遠景の中間的な輝度の画像となる。
【０１０２】
次に近景のグループに属する領域に対して割り当てられた入出力特性について説明する。近景に属する領域は、画像中で中景、遠景よりも強調するように補正する。
【０１０３】
図２８（ａ）は近景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を低く変換するもので、輝度がＬ１１以上の部分のグラフの傾きをｋ１１、Ｌ１１以下の部分の傾きをｋ１３とすると、ｋ１３＜ｋ＜ｋ１１として（ｋは中景のグループに属する領域に対して割り当てられた入出力特性の傾き）、輝度の高い部分では階調幅を広げるように変換する。ここでは輝度Ｌ１１と、平均輝度で画面の各領域をグループ化する際の基準としたＬａとの関係をＬ１１＜Ｌａとして、対象となる領域の属する高輝度範囲全体で階調幅を広げるように変換することとしている。
【０１０４】
図２８（ｂ）は近景かつ中輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ２１以上の部分でのグラフの傾きをｋ２１、Ｌ２２以上Ｌ２１以下の部分の傾きをｋ２２、Ｌ２２以下の部分での傾きをｋ２３とすると、ｋ２１（ｋ２３）＜ｋ＜ｋ２２として、輝度の高い部分ではより輝度を高く変換し、輝度の低い部分ではより輝度を低く変換してコントラストをはっきりさせる。傾きｋ２１とｋ２３はどちらが大きくてもよいし、同じであってもよい。ここでは輝度Ｌ２１及びＬ２２とＬａ及びＬｂとの関係をＬ２２＜Ｌｂ＜Ｌａ＜Ｌ２１として対象となる領域の属する中輝度範囲全体の階調幅を広げるように変換することとしている。
【０１０５】
図２８（ｃ）は近景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を高くして強調するもので、輝度がＬ３２以上の部分の傾きをｋ３１、Ｌ３２以下の部分の傾きをｋ３３とすると、ｋ３１＜ｋ＜ｋ３３として、低輝度部分の階調幅を広げるように変換する。ここでは輝度Ｌ３２とＬｂとの関係をＬｂ＜Ｌ３２として、対象となる領域の属する低輝度範囲全体の階調幅を広げるように変換することとしている。
【０１０６】
次に遠景のグループに属する領域に対して割り当てられた入出力特性について説明する。遠景に属する領域は、画像中で近景、中景よりも目立たないように補正する。
【０１０７】
図２８（ｇ）は遠景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ７１以上の部分の傾きをｋ７１、Ｌ７１以下の部分の傾きをｋ７３とすると、ｋ７１＜ｋ＜ｋ７３として、高輝度部分の階調幅を狭くするように変換してコントラストを低くする。さらに出力輝度値の高輝度部分をカットして全体に暗くする。ここでは輝度Ｌ７１とＬａとの関係をＬ７１＜Ｌａとして対象となる領域の属する高輝度範囲全体で階調幅を狭くするように変換している。
【０１０８】
図２８（ｈ）は遠景かつ中輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬ８１以上の部分での傾きをｋ８１、Ｌ８２以上Ｌ８１以下の部分での傾きをｋ８２、Ｌ８２以下の部分での傾きをｋ８３とすると、ｋ８２＜ｋ＜ｋ８１（ｋ８３）として、輝度の高い部分では輝度を低くし、輝度の低い部分では輝度を高くするように変換し、中輝度部分では階調幅を狭くするように変換して全体的に輝度を平均化しコントラストを低くする。傾きｋ８１とｋ８３はどちらが大きくてもよいし、同じであってもよい。ここでは輝度Ｌ８１及びＬ８２とＬａ及びＬｂとの関係をＬ８２＜Ｌｂ＜Ｌａ＜Ｌ８１として対象となる領域の属する中輝度範囲全体の階調幅を狭くするように変換することとしている。
【０１０９】
図２８（ｉ）は遠景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、出力輝度値の低輝度部分をカットして（オフセットを設けて）全体に明るくし、輝度がＬ９２以上の部分のグラフの傾きをｋ９１、Ｌ９１以下の部分の傾きをｋ９３とすると、ｋ９３＜ｋ＜ｋ９１として、高輝度部分の階調幅を広くするように変換し、低輝度部分の階調幅を狭くするように変換してコントラストを低くする。ここでは輝度Ｌ９２とＬｂとの関係をＬｂ＜Ｌ９２として、対象となる領域の属する低輝度範囲全体の階調幅を広くするように変換しすることとしている。
【０１１０】
以上のような階調補正テーブルを用いて距離依存階調補正を行うことにより、近景はコントラストが高く、遠くなるにしたがってコントラストが低くなり、奥行き感のある立体的な画像を得ることができる。尚、本発明の撮像装置において、ぼかし処理と距離依存階調補正の順序は逆であっても構わない。又、本発明の撮像装置はぼかし処理機能又は距離依存階調補正機能の一方だけを有するものであっても構わない。
【０１１１】
（入出力特性の補間１）
しかし、領域間で階調補正に用いる入出力特性が異なると、領域の境界では画像に特性の違いによって境界が現れることとなる。そこで、領域間で境界をぼかして目立たなくするように、入出力特性の異なる隣接する領域を構成する画素の階調補正に用いる入出力特性にグラデーションを与える。この場合も、図１４を用いて説明したカットオフ周波数の線形補間と同様の方法を用いることができる。
【０１１２】
図２９は異なる入出力特性の間を線形補間によりグラデーションを与えて変化させた入出力特性のグラフである。図２９に５本の入出力特性のグラフｐ１〜ｐ５を示す。ｐ２〜ｐ３は、ｐ１とｐ５の間を等間隔で線形補間したものである。ｐ１は図１４の領域７１の入出力特性であり、図２８（ｃ）である。ｐ５は領域７２の入出力特性であり、図２８（ｆ）である。中心７１ａにはｐ１、中心７２ａにはｐ２が適用される。ｐ２〜ｐ４はそれぞれ、中心７１ａと中心７２ａとを結ぶ線上に、中心７１ａと中心７２ａを含めて略等間隔に並んだ３個の画素である、画素７１ｃ、画素７１ｄ、画素７２ｂ（中心７１ａ側から順に）について適用される。このようにして入出力特性を補間して画素毎にグラデーションを与えて変化させることにより、距離依存階調補正後の画像は領域間での境界がぼかされ目立たないものとなる。
【０１１３】
（入出力特性の補間２）
尚、各領域を属する距離範囲によってグループ化せず、各領域の被写体までの距離によって階調補正に適用する入出力特性を変化させてもよい。複数の特定の距離の領域に対して入出力特性を設定し、特定の距離の間の距離の領域については、入出力特性としてその距離に隣接する特定の距離の領域に設定された入出力特性から補間したものを適用する。距離ｓと距離ｔは入出力特性が設定されており、距離ｓについて設定された入出力特性がＳ、距離ｔについて設定された入出力特性がＴであるとき、距離ｓと距離ｔの間の入出力特性が設定されていない距離ｕについての入出力特性Ｕは、入出力特性Ｔ、Ｓを距離ｕに対して線形補間して、
Ｕ＝｛Ｓ（ｔ−ｕ）＋Ｔ（ｕ−ｓ）｝／（ｔ−ｓ） …（１）
とすることができる。尚、入出力特性が設定された最も短い距離より短い距離については最も短い距離に設定された入出力特性を適用し、入出力特性が設定された最も長い距離より長い距離については最も長い距離に設定された入出力特性を適用する。
【０１１４】
例として図２８の階調補正テーブルの図２８（ａ）〜図２８（ｃ）を被写体までの距離が２ｍ、図２８（ｄ）〜図２８（ｆ）を距離が６ｍ、図２８（ｇ）〜図２８（ｉ）を距離が１０ｍの領域に適用する入出力特性とする。このとき、被写体までの距離が５ｍであり、平均輝度が中輝度である領域については、図２８（ｂ）と図２８（ｅ）を線形補間した入出力特性を適用する。図２８（ｂ）の入出力特性をＳ、図２８（ｅ）の入出力特性をＴとして上述の数式（１）を適用すると、この領域に適用する入出力特性Ｕは、ｓ＝２、ｔ＝６、ｕ＝５より、Ｕ＝（Ｓ＋３Ｔ）／４となる。図３０にこのときの入出力特性Ｕのグラフを示す。図３０において、ｑ１は図２８（ｂ）、ｑ２は図２８（ｅ）、ｑ３は入出力特性Ｕのグラフである。
【０１１５】
このようにすることで、各領域を属する距離範囲によってグループ化する必要がなくなる。この場合においても、（入出力特性の補間１）で説明したように、ある点を共有する領域の４個の中心に囲まれた画素について、入出力特性を線形補間しても構わない。
【０１１６】
尚、階調補正テーブルは３段階の輝度範囲及び３段階の距離範囲に対する９個の入出力特性からなるものに限られず、距離範囲が２段階以上であればよく、更には輝度範囲及び距離範囲の少なくとも一方が２段階以上であってもよい。又、輝度範囲と距離範囲とは同数でなくてもよく、輝度範囲は単数であってもよい。又、入出力特性は図２８に示したような直線からなるものではなく、曲線からなるものであってもよい。
【０１１７】
図３１に、高輝度と低輝度の２段階の輝度範囲及び近景と遠景の２段階の距離範囲に対する４個の入出力特性からなる階調補正テーブルの例を示す。この場合も、近景に属する領域は画像中で遠景よりも強調するように補正し、遠景に属する領域は画像中で近景よりも目立たないように補正する。
【０１１８】
図３１（ａ）は、近景かつ高輝度領域のグループに属する領域に対して割り当てられた入出力特性である。これは、より輝度を高く変換し、輝度の低い部分ではより輝度を低く変換してコントラストをはっきりさせる。図３１（ａ）に示す右上がりの破線で表される入力と出力が等しい直線の傾き（＝１）と比較すると、輝度がＬａ１よりも高い部分とＬａ２よりも低い部分では曲線の接線の傾きは１よりも小さい。輝度がＬａ２よりも高くＬａ１よりも低い部分では曲線の接線の傾きは１よりも大きく、階調幅を広くするように変換する。
【０１１９】
図３１（ｂ）は近景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、全体の輝度を高くするもので、輝度がＬｂ１より高い部分では接線の傾きを１より小さく、Ｌｂ１より低い部分では１より大きくして、低輝度部分の階調幅を広くするように変換する。
【０１２０】
図３１（ｃ）は遠景かつ高輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、輝度がＬｃ１より高い部分では接線の傾きを１より小さく、Ｌｃ１より低い部分では１より大きくして、高輝度部分の階調幅を狭くするように変換してコントラストを低くする。さらに出力輝度値の高輝度部分をカットして全体に暗くする。
【０１２１】
図３１（ｄ）は遠景かつ低輝度のグループに属する領域に対して割り当てられた入出力特性である。これは、出力輝度値の低輝度部分をカットして（オフセットを設けて）全体に明るくし、接線の傾きを全体に１より小さいものとして、コントラストを低くするように変換する。
【０１２２】
このような階調補正テーブルを用いることにより、近景は明るく鮮鋭感を持つように、遠景ではコントラストの低い眠たいものとなるように変換することによって、奥行き感のある画像に変換することができる。
【０１２３】
又、図３１の階調補正テーブルにおいて、遠景かつ高輝度のグループに属する領域に対しては図２８（ｃ）に代えて図３２に示す入出力特性を、遠景かつ低輝度のグループに属する領域に対しては図２８（ｄ）に代えて図３３に示す入出力特性を適用してもよい。
【０１２４】
図３２は、Ｓ字状のカーブの膨らみを図３１（ａ）よりも小さくしてコントラストの強調を抑えたものである。図３３は、輝度がＬｄ１以下の部分を真っ黒なものとし、カーブの膨らみを図３１（ｂ）よりも小さくして全体の輝度の高め方を抑えたものである。このような階調補正テーブルを用いることにより、コントラストの強調を近景では強め、遠景では弱めることによって、自然に近景の被写体を強調した画像に変換することができる。
【０１２５】
〈変形例２〉
（撮影後に画像処理を行う場合）
尚、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図３４に、本発明における画像処理方法（ぼかし処理及び距離依存階調補正）を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１２６】
図３４に示す表示装置は、図１に示す撮像装置と同様、ドライバ部８、伸長処理部９、ディスプレイ部１２、音声出力回路部１３、スピーカ部１５、ＴＧ１６、ＣＰＵ１７、メモリ１８、操作部１９、バス回線２０，２１及び外部メモリ２２を備える。そして、図１と異なり、画像処理部５に代えて伸長処理部９で取得した画像信号を処理する画像処理装置５ａを備える。画像処理装置５ａは、図２６に示すぼかし処理部３０を有する。外部メモリ２２では、本実施形態の撮像装置において撮影時に画像補正を行っていない画像信号に領域毎の距離情報及び平均輝度情報を有するヘッダを有する画像ファイルを保持している。
【０１２７】
図３５は、本実施形態の表示装置においてぼかし処理及び距離依存階調補正の画像処理を行う場合のフローチャートである。ユーザが表示装置を画像処理モードにし（ＳＴＥＰ３５０１）、ディスプレイ部１２に表示する画像を選択する（ＳＴＥＰ３５０２）と、選択した画像の信号が外部メモリ２２からドライバ部８を経て、伸長処理部９で伸長され、画像処理装置５ａでディスプレイ部１２に表示可能な信号に変換して、ディスプレイ部１２に選択した画像を表示する。次にユーザがぼかし処理の実行を選択するかどうかを検出する（ＳＴＥＰ３５０３）。ぼかし処理の実行を選択すると、ヘッダに書き込まれた画像の各領域の合焦距離情報がローパスフィルタ部３４に読み込まれ、各領域を属する合焦距離範囲毎にグループ化する（ＳＴＥＰ３５０４）。ヘッダに各領域の属する距離範囲のグループ情報が記憶されている場合はそれを読み込んでもよい。合焦距離情報や属する距離範囲のグループ情報は、外部メモリ２２から直接読み込んでもよいし、圧縮符号として記憶されている場合は伸張処理部８で伸張してから与えられるものとしてもよい。これは、後述の平均輝度情報についても同様である。続いて、ローパスフィルタ部３４で合焦距離情報から画像の各領域のぼかし度合いを設定し、（ＳＴＥＰ３５０５）。設定したぼかし度合いでぼかし処理を施した画像の信号を保持する（ＳＴＥＰ３５０６）。
【０１２８】
次にぼかし処理のの強度を変更する補正強度値の入力待ち状態となる。ユーザが補正強度値を入力し、その値が画像処理部５ａに読み込まれる（ＳＴＥＰ３５０７）。図３６に補正強度値を入力する表示の例を示す。表示装置のパネル上にディスプレイ部１２と、上下左右及び中央の５個のボタンからなる操作部１９の入力ボタン１９ａとが設けられており、左右の入力ボタン１９ａを押下することでディスプレイ部１２に表示された選択した画像上のスライドバーによる補正強度値の表示を目安として補正強度値の強弱を変更することができる。
【０１２９】
補正強度値が入力されると、ローパスフィルタ部３４において、保持された通常のぼかし処理が施された画像の信号と、ぼかし処理が施されていない画像の信号とを入力された補正強度値で荷重加算し、その荷重加算された画像をディスプレイ部１２に表示する。（ＳＴＥＰ３５０８）。
【０１３０】
ここで、画像を構成する各画素における荷重加算について説明する。荷重加算後の画素の輝度をＹ、ぼかし処理が施されていない画素の輝度をＹｉｎ、通常のぼかし処理が施された画素の輝度をＹｃｏｎｖ、荷重加算係数をＫとする。このとき、Ｙは
Ｙ＝（１−Ｋ）Ｙｉｎ＋Ｋ・Ｙｃｏｎｖ
と表すことができる。荷重加算係数と補正強度値とは図３７に示すように線形の関係を有し、最も強い補正強度に対応する加重加算係数Ｋ＿ｍａｘは１以下の正の数であればよい。
【０１３１】
その後ユーザがぼかし処理の終了を指示せず（ＳＴＥＰ３５０９でＮｏ）、左右の入力ボタン１５ａを押下して補正強度値を変更する（ＳＴＥＰ３５０７）とその補正強度値に基づいて強度を変更したぼかし処理を施し、補正した画像をディスプレイ部１２に表示する。つまり、ディスプレイ部１２でぼかし処理の度合いを確認しながらぼかし処理の強度を変更することができる。そして、ぼかし処理の終了を指示する（ＳＴＥＰ３５０９でＹｅｓ）と距離依存階調補正の選択の検出に移行する（ＳＴＥＰ３５１０）。
【０１３２】
次にユーザが距離依存階調補正の実行を選択する（ＳＴＥＰ３５１０でＹｅｓ）と、ヘッダに書き込まれた画像の各領域の合焦距離情報が階調補正部４３に読み込まれ、各領域を属する合焦距離範囲毎にグループ化する（ＳＴＥＰ３５１１）。ヘッダに各領域の属する距離範囲のグループ情報が記憶されている場合はそれを読み込んでもよい。合焦距離情報や属する距離範囲のグループ情報は、外部メモリ２２から直接読み込んでもよいし、圧縮符号として記憶されている場合は伸張処理部８で伸張してから与えられるものとしてもよい。これは、後述の平均輝度情報についても同様である。
【０１３３】
続いて、輝度情報算出部４１で画像情報から画像の各領域の平均輝度を算出し、輝度情報記憶部４２でそれを記憶し、階調補正部４３で輝度情報記憶部４２に記憶された各領域の平均輝度情報を読み取る（ＳＴＥＰ３５１２）。ヘッダに各領域の平均輝度情報が書き込まれている場合は、階調補正部４３で直接それを読み込んでもよい。
【０１３４】
階調補正部４３では、輝度情報記憶部４２又は外部メモリ２２から直接読み込んだ各領域の平均輝度に基づいて、各領域を例えば高輝度、中輝度、低輝度にグループ化する。次に、メモリ１８に記憶された合焦距離のグループ及び平均輝度のグループ毎に設定された階調補正テーブルを読み込み、各領域の属する合焦距離のグループ及び平均輝度のグループに基づいて階調補正の入出力特性を割り当て（ＳＴＥＰ３５１３）、各領域に割り当てられた入出力特性によって階調補正部４３で階調を補正した画像の信号を保持する（ＳＴＥＰ３５１４）。
【０１３５】
次に階調補正の入出力特性の強度を変更する補正強度値の入力待ち状態となる。ユーザが補正強度値を入力ボタン１９ａで入力し、その値が画像処理部５ａに読み込まれる（ＳＴＥＰ３５１５）。
【０１３６】
補正強度値が入力されると、階調補正部４３において、保持された通常の階調補正が施された画像の信号と、階調補正が施されていない画像の信号とを入力された補正強度値で、上述したように荷重加算し、その荷重加算された画像をディスプレイ部１２に表示する。（ＳＴＥＰ３５１６）。
【０１３７】
その後ユーザが階調補正の終了を指示せず（ＳＴＥＰ３５１６でＮｏ）、左右の入力ボタン１５ａを押下して補正強度値を変更する（ＳＴＥＰ３５１５）とその補正強度値に基づいて強度を変更した入出力特性によって階調補正をし、補正した画像をディスプレイ部１２に表示する。つまり、ディスプレイ部１２で階調補正の度合いを確認しながら階調補正の強度を変更することができる。そして、階調補正の終了を指示し（ＳＴＥＰ３５１７でＹｅｓ）、ぼかし処理又は階調補正が施された画像を圧縮し、外部メモリに記録する（ＳＴＥＰ３５１８）と終了する（ＳＴＥＰ３５１９）。ぼかし処理又は階調補正が施された画像を記録するかどうかは選択できるようにしても構わない。
【０１３８】
尚、本発明の表示装置において、ぼかし処理と距離依存階調補正の順序は逆であっても構わない。又、本発明の表示装置はぼかし処理機能又は距離依存階調補正機能の一方だけを有するものであっても構わない。又、撮像装置が本発明の表示装置として動作するものであっても構わない。
【産業上の利用可能性】
【０１３９】
本発明は、オートフォーカス機能及びぼかし機能を有する撮像装置に適用することができる。
【図面の簡単な説明】
【０１４０】
【図１】は、第１の実施形態に係る撮像装置の内部構成を示すブロック図である。
【図２】は、第１の実施形態に係る撮像装置の基本動作及びぼかし処理モードの動作を説明するためのフローチャートである。
【図３】は、撮影画像エリアを複数の領域に分割し、ＡＦ評価エリアを設定した例である。
【図４】は、撮影画像エリアのＡＦ評価エリア及び個々の領域の高周波成分の強度と合焦距離との関係を示すグラフである。
【図５】は、第１の実施形態に係るぼかし処理部の構成を示すブロック図である。
【図６】は、距離情報検出部の構成を示すブロック図である。
【図７】は、距離情報を検出する動作を説明するためのフローチャートである。
【図８】は、距離検出用画像及び記録用画像の一例である。
【図９】は、図８の画像を９個の領域に区分した例である。
【図１０】は、図９の各領域の高周波成分の強度と合焦距離との関係を示すグラフである。
【図１１】は、撮像装置からの距離の異なる複数の被写体が存在している領域における高周波成分の強度と合焦距離との関係を示すグラフである。
【図１２】
【図１３】は、第１の実施形態に係る被写体までの距離とカットオフ周波数との関係を示すグラフである。
【図１４】は、画像を区分した領域のうち４個の模式図である。
【図１５】は、カットオフ周波数が設定された２点間においてカットオフ周波数を線形補間したグラフである。
【図１６】は、距離グループを設定した、各領域の高周波成分の強度と合焦距離との関係を示すグラフである。
【図１７】は、第２の実施形態に係るぼかし処理部の構成を示すブロック図である。
【図１８】は、ローパスフィルタのカットオフ周波数と出力レベルとの関係を示すグラフである。
【図１９】は、第２の実施形態に係る被写体までの距離と乗算係数との関係を示すグラフである。
【図２０】は、第２の実施形態に係るぼかし処理を施した画像の模式図である。
【図２１】は、第３の実施形態に係るぼかし処理部の構成を示すブロック図である。
【図２２】は、第３の実施形態に係る被写体までの距離と乗算係数との関係を示すグラフである。
【図２３】は、顔検出装置の構成を示すブロック図である。
【図２４】は、縮小画像生成手段によって得られる階層画像の一例である。
【図２５】は、顔検出処理を説明するための図である。
【図２６】は、変形例２に係るぼかし処理部の構成を示すブロック図である。
【図２７】は、階調補正動作を説明するためのフローチャートである。
【図２８】は、距離グループ及び平均輝度グループ毎に割り当てられた入出力特性の一例である。
【図２９】は、異なる入出力特性の間を線形補間によりグラデーションを与えて変化させた入出力特性のグラフである。
【図３０】は、２個の所定の距離に設定された入出力特性及びその間の距離に適用される入出力特性のグラフである。
【図３１】は、距離グループ及び平均輝度グループ毎に割り当てられた入出力特性の別の例である。
【図３２】は、遠景かつ高輝度のグループに属する領域に適用する入出力特性の別の例である。
【図３３】は、遠景かつ低輝度のグループに属する領域に適用する入出力特性の別の例である。
【図３４】は、本発明の表示装置の内部構成を示すブロック図である。
【図３５】は、本実施形態の表示装置において画像補正を行う場合のフローチャートである。
【図３６】は、補正強度値を入力する表示の例である。
【図３７】は、荷重加算係数と補正強度値の関係を示すグラフである。
【符号の説明】
【０１４１】
１ イメージセンサ
２ レンズ部
３ ＡＦＥ
４ マイク
５ 画像処理部
５ａ 画像処理装置
６ 音声処理部
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ ＴＧ
１７ ＣＰＵ
１７ａ 距離情報記憶部
１８ メモリ
１９ 操作部
１９ａ 入力ボタン
２０ バス回線
２１ バス回線
２２ 外部メモリ
２３ 距離検出部
２３ａ 高周波成分検出部
２３ｂ 高周波成分比較部
３０ ぼかし処理部
３１ フレームメモリ
３２ 距離検出部
３４ ローパスフィルタ
３４ａ 近景用ローパスフィルタ
３４ｂ 中景用ローパスフィルタ
３４ｃ 遠景用ローパスフィルタ
３５ 信号処理部
３６ 乗算器
３７ 乗算係数設定部
３８ 加算器
３９ エッジ信号生成部
【特許請求の範囲】
【請求項１】
複数の被写体を含む撮像画像にぼかし処理を施す画像処理装置であって、
前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に応じたぼかし度合いによって、前記撮像画像にぼかし処理を施すぼかし処理部を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像距離が長いほど、前記ぼかし度合いが高いことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像距離が所定の距離より離れるほど、前記ぼかし度合いが高いことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記所定の距離が、特定部分を有する前記被写体までの距離である請求項３に記載の画像処理装置。
【請求項５】
複数の被写体が含まれる撮像画像を取得する撮像部と、
前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、
前記各被写体の撮像距離に応じたぼかし度合いによって、前記撮像画像にぼかし処理を施すぼかし処理部と、
を備えることを特徴とする撮像装置。
【請求項６】
複数の被写体が含まれる撮像画像を取得する撮像部と、
前記撮像画像を複数の分割領域に分割する領域分割部と、
前記撮像部から前記各分割領域に含まれる被写体までの距離である撮像距離を検出する撮像距離検出部と、
前記各撮像距離に応じたぼかし度合いによって、前記分割領域ごとにぼかし処理を施すぼかし処理部と、
を備えることを特徴とする撮像装置。
【請求項７】
前記撮像部で取得したままの状態の前記撮像画像の電気信号からなる本体部と、前記撮像距離検出部で検出した前記各分割領域に含まれる被写体までの距離の情報を有するヘッダ部とを備える画像ファイルを記憶する記憶部と、を備え、
前記記憶部に記憶された前記本体部の前記撮像画像の電気信号を前記ヘッダ部に記憶された前記被写体までの距離に応じて設定したぼかし度合いを適用してぼかし処理を施す請求項６に記載の撮像装置。
【請求項８】
前記撮像距離に基づいて、前記分割領域を複数の距離グループに区分する距離グループ生成部を備え、
前記ぼかし処理部では、前記各距離グループに応じたぼかし度合いによって、前記分割領域に対して、属する前記各距離グループごとにぼかし処理を施すことを特徴とする請求項６又は請求項７に記載の撮像装置。
【請求項９】
複数の被写体が含まれる撮像画像を取得する撮像部と、
前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、
前記撮像画像と前記各被写体の撮像距離に関する情報を互いに関連づけて記録する記録部と、
を備えることを特徴とする撮像装置。
【請求項１０】
複数の被写体が含まれる撮像画像と、
前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に関する情報とが、互いに関連づけて構成されることを特徴とする画像ファイル。
【請求項１１】
被写体までの距離である撮像距離を検出する撮像距離検出ステップと、
複数の前記被写体が含まれる撮像画像を取得する撮像ステップと、
前記撮像距離検出ステップで検出した前記各被写体の撮像距離に応じたぼかし度合いによって、前記撮像ステップで取得した前記撮像画像にぼかし処理を施す階調補正ステップと、
を備えることを特徴とする画像処理方法。
【請求項１】
複数の被写体を含む撮像画像にぼかし処理を施す画像処理装置であって、
前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に応じたぼかし度合いによって、前記撮像画像にぼかし処理を施すぼかし処理部を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像距離が長いほど、前記ぼかし度合いが高いことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像距離が所定の距離より離れるほど、前記ぼかし度合いが高いことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記所定の距離が、特定部分を有する前記被写体までの距離である請求項３に記載の画像処理装置。
【請求項５】
複数の被写体が含まれる撮像画像を取得する撮像部と、
前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、
前記各被写体の撮像距離に応じたぼかし度合いによって、前記撮像画像にぼかし処理を施すぼかし処理部と、
を備えることを特徴とする撮像装置。
【請求項６】
複数の被写体が含まれる撮像画像を取得する撮像部と、
前記撮像画像を複数の分割領域に分割する領域分割部と、
前記撮像部から前記各分割領域に含まれる被写体までの距離である撮像距離を検出する撮像距離検出部と、
前記各撮像距離に応じたぼかし度合いによって、前記分割領域ごとにぼかし処理を施すぼかし処理部と、
を備えることを特徴とする撮像装置。
【請求項７】
前記撮像部で取得したままの状態の前記撮像画像の電気信号からなる本体部と、前記撮像距離検出部で検出した前記各分割領域に含まれる被写体までの距離の情報を有するヘッダ部とを備える画像ファイルを記憶する記憶部と、を備え、
前記記憶部に記憶された前記本体部の前記撮像画像の電気信号を前記ヘッダ部に記憶された前記被写体までの距離に応じて設定したぼかし度合いを適用してぼかし処理を施す請求項６に記載の撮像装置。
【請求項８】
前記撮像距離に基づいて、前記分割領域を複数の距離グループに区分する距離グループ生成部を備え、
前記ぼかし処理部では、前記各距離グループに応じたぼかし度合いによって、前記分割領域に対して、属する前記各距離グループごとにぼかし処理を施すことを特徴とする請求項６又は請求項７に記載の撮像装置。
【請求項９】
複数の被写体が含まれる撮像画像を取得する撮像部と、
前記撮像部から前記各被写体までの距離である撮像距離を検出する撮像距離検出部と、
前記撮像画像と前記各被写体の撮像距離に関する情報を互いに関連づけて記録する記録部と、
を備えることを特徴とする撮像装置。
【請求項１０】
複数の被写体が含まれる撮像画像と、
前記撮像画像を撮像した撮像装置から前記各被写体までの距離である撮像距離に関する情報とが、互いに関連づけて構成されることを特徴とする画像ファイル。
【請求項１１】
被写体までの距離である撮像距離を検出する撮像距離検出ステップと、
複数の前記被写体が含まれる撮像画像を取得する撮像ステップと、
前記撮像距離検出ステップで検出した前記各被写体の撮像距離に応じたぼかし度合いによって、前記撮像ステップで取得した前記撮像画像にぼかし処理を施す階調補正ステップと、
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公開番号】特開２００８−２９４７８５（Ｐ２００８−２９４７８５Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３８５９９（Ｐ２００７−１３８５９９）
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]