画像処理装置および画像処理方法
【課題】撮影画像各部における被写体までの距離を把握し、主要被写体までの距離に応じたぼかし処理を施す。
【解決手段】画像から主被写体を選択する（Ｓ５００）とともに、主要被写体までの距離を取得する（Ｓ５０２）。主要被写体が近距離にあると判断されるときには（Ｓ５０４）、近距離用マスク濃度算出カーブを選択し（Ｓ５０６）、遠距離にあると判断されるときには遠距離用マスク濃度算出カーブを選択する（Ｓ５１６）。選択されたマスク濃度算出カーブを用いてぼかし処理用のマスク濃度を作成する（Ｓ５１２）。
【解決手段】画像から主被写体を選択する（Ｓ５００）とともに、主要被写体までの距離を取得する（Ｓ５０２）。主要被写体が近距離にあると判断されるときには（Ｓ５０４）、近距離用マスク濃度算出カーブを選択し（Ｓ５０６）、遠距離にあると判断されるときには遠距離用マスク濃度算出カーブを選択する（Ｓ５１６）。選択されたマスク濃度算出カーブを用いてぼかし処理用のマスク濃度を作成する（Ｓ５１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対し画像処理を施す画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば写真撮影では、被写界深度によるボケ効果を利用して、合焦した主要被写体以外の遠景の背景や前景をぼかす表現手法がしばしば用いられる。しかし、被写界深度は焦点距離が短くなるほど深くなるため、焦点距離の短いレンズを採用する必要がある撮像面の大きさが小さい撮像素子を用いたコンパクトデジタルカメラなどではボケ効果を得難い。
【０００３】
このような問題に対し、撮影画像を合焦領域と非合焦領域に分別し、非合焦領域の画像にぼかし処理を施すことで擬似的なボケ効果を与える手法が提案されている。この手法では、撮影された画像を複数の領域に分割し、それぞれの領域の空間周波数から合焦領域と非合焦領域を判別している。すなわち合焦領域は一般にコントラストが高いことから、空間周波数が高い領域を合焦領域、低い領域を非合焦領域として判別している（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４０５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像の空間周波数は被写体のテクスチャにも依存し、１枚の画像内において空間周波数が高いことが必ずしも合焦領域であることを意味しない。例えば、森林や瓦屋根などの画像は、もともと空間周波数が高く、逆に人の肌などは、合焦されていても非合焦領域に比べ空間周波数が高いとは限らない。したがって、例えばより適正なボケ効果を演出するには、画像内の各領域において被写体までの距離を把握し、これに基づきぼかし処理を施すことが望まれる。
【０００６】
本発明は、被写体までの距離に基づくより効果的な演出を画像に施すことを課題としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像の中から主要用被写体を選択する主要被写体選択手段と、画像に対して画像処理を施す画像処理手段とを備え、画像処理手段が主要被写体までの距離に応じた画像処理を施すことを特徴としている。
【０００８】
画像処理は、例えばぼかし処理である。主要被写体までの距離が所定距離よりも遠いときには、主要被写体よりも遠い被写体に対してのみぼかし処理を施すことが好ましく、主要被写体までの距離が所定距離よりも近いときには、主要被写体を中心とする深度を強調するぼかし処理を施すことが好ましい。また、例えばぼかし処理における強度を調整するためのぼかし設定手段を備えることが好ましい。更に、画像撮影時のＦ値に基づき、ぼかし処理を変更する主要被写体までの距離を変更することが好ましい。また、画像の各領域に対する被写体までの距離情報を記録した距離マップデータを参照して距離が特定される。
【０００９】
本発明のデジタルカメラは、上記画像処理装置を備えたことを特徴としている。また、デジタルカメラは、画像の各領域に対する被写体までの距離情報を取得する手段を備えることが好ましい。
【００１０】
本発明の画像処理方法は、画像の中から主要用被写体を選択するステップと、画像に対して主要被写体までの距離に応じた画像処理を施すステップとを備えたことを特徴としている。
【００１１】
本発明のコンピュータプログラムは、画像の中から主要用被写体を選択する手順と、画像に対して主要被写体までの距離に応じた画像処理を施す手順とをコンピュータに実行させることを特徴としている。
【発明の効果】
【００１２】
本発明によれば、被写体までの距離に基づくより効果的な演出を画像に施すことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。
【図２】ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。
【図３】距離マップ作成処理のフローチャートの前半部である。
【図４】距離マップ作成処理のフローチャートの後半部である。
【図５】コントラストマップ作成までの内容を模式的に説明する図である。
【図６】複数のスルー画像に対するコントラストマップにおいて、コントラスト値をスキャンする方法を示す図である。
【図７】複数のスルー画像に付されたコントラストマップ番号とコントラスト値の関係の一例を示すグラフである。
【図８】距離マップの一例を示す図である。
【図９】第１実施形態のマスク作成処理のフローチャートである。
【図１０】近距離にある人物が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１１】中距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１２】遠距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１３】第１実施形態の変形例において、ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。
【図１４】第２実施形態における主要被写体までの距離と近距離モード、遠距離モードの関係を示す図である。
【図１５】近距離モードにおける距離とぼけ具合を示すグラフである。
【図１６】遠距離モードにおける距離とぼけ具合を示すグラフである。
【図１７】近距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。
【図１８】近距離モードにおける画像の一例である。
【図１９】遠距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。
【図２０】遠距離モードにおける画像の一例である。
【図２１】第２実施形態のマスク作成処理のフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。なおデジタルカメラは、例えばコンパクトカメラや携帯電話など小型電子機器に搭載されるカメラユニットを含むものであるが、第１実施形態では、コンパクトカメラを例に説明を行う。
【００１５】
デジタルカメラ１０において、被写体像は撮影レンズ１１を介して撮像素子１２において撮像される。撮像素子１２の駆動は、撮像素子ドライバ１３により制御され、撮像素子ドライバ１３は制御部１４からの指令に基づき制御される。また、撮像素子１２で取得された画像は、制御部１４へ送られ各種デジタル画像処理が施されるとともに、例えば画像メモリ１５に一時的に保持され、ユーザの決定にしたがって例えば記録媒体１６に保存される。また、撮像素子１２で取得された画像、あるいは画像メモリ１５、記録媒体１６に保持された画像は、例えばＬＣＤなどのモニタ１７に表示可能である。
【００１６】
撮影レンズ１１はレンズ駆動部１８によって駆動され、絞り１９は絞り駆動部２０によって駆動される。ＡＦ処理にはコントラスト方式が採用され、制御部１４は撮像素子１２で撮影された画像のコントラストを参照してレンズ駆動部１８を制御するとともに、測光値に基づき絞り駆動部２０を制御する。また、デジタルカメラ１０には、制御部１４に接続された、レリーズスイッチや測光スイッチ、あるいは各種機能の選択／設定のためのダイヤルスイッチや４方向スイッチなど様々なスイッチを含むスイッチ群２１が設けられる。
【００１７】
次に図１および図２のフローチャートを参照して第１実施形態のぼかし処理について説明する。図２のフローチャートは、ぼかし処理モードが設定されているときに制御部１４で繰り返し実行される割り込み処理である。なお、ぼかし処理モードの設定は、ユーザの所定のスイッチ操作により行われる。
【００１８】
ステップＳ１００では、例えばレリーズボタン（図示せず）が半押しされ測光スイッチＳ１がオンされた否かが判定される。測光スイッチＳ１がオンされていない場合、すなわちレリーズボタンが半押しされていない場合、この割り込み処理は直ちに終了し、他の処理が実行された後再び繰り返し実行される。ステップＳ１００において測光スイッチＳ１がオンされたと判定されると、ステップＳ１０２において、レンズ駆動部１８により撮影レンズ１１を移動して、ピントを近距離から遠距離（例えば無限遠）までの間の複数の位置（Ｎｐ箇所）に合わせ（例えば所定ステップでレンズを移動）、各位置において１枚ずつ取得されるＮｐ枚のスルー画像を画像メモリ１５に記憶する。なお、ステップＳ１０２の処理は、高速に行われ、この間に取得されるＮｐ枚の画像は、合焦位置が各々異なるのみで、同一被写体を同―位置、同―方向から同一画角で撮影した画像とみなせる。
【００１９】
ステップＳ１０４では、従来周知のコントラスト方式のＡＦ処理により、撮影レンズ１１がレンズ駆動部１８により合焦位置へと移動される。その後ステップＳ１０６において、測光スイッチＳ１がオンされた状態か否か、すなわちレリーズボタン（図示せず）の半押しが維持されているか否かが判定される。維持されていなければ、この割り込み処理は終了し、他の処理が実行された後再び繰り返し実行される。
【００２０】
測光スイッチＳ１のオン状態が維持されていれば、ステップＳ１０８においてレリーズスイッチＳ２がオンされているか否かが判定され、オンされていなければステップＳ１０６に戻り同様の判定が繰り返される。一方、レリーズスイッチＳ２がオンされていれば、ステップＳ１１０において、撮像素子１２を用いた主画像の撮影、すなわち本来の記録を目的とした画像撮影が行われ、ステップＳ１１２において撮影された主画像のＲＡＷデータに対し現像処理が施される。なお、ステップＳ１１０において撮影される主画像もステップＳ１０２で取得されたＮｐ枚の画像と略同―位置、同―方向から同一被写体を同一画角で撮影した画像とみなせる。
【００２１】
ステップＳ１１４では、ステップＳ１０２において画像メモリ１５に記憶されたスルー画像を用いた距離マップ作成処理が実行される。距離マップは主画像（あるいはスルー画像）の各領域（ブロック）の被写体までの距離情報を対応付けたマップデータであり、距離マップ作成処理の詳細については後述する。
【００２２】
ステップＳ１１６では、ステップＳ１１４において作成された距離マップに基づいて、主画像の主要被写体以外の領域に対するぼかし処理を行うためのマスクを作成するマスク作成処理（後述）が実行される。ステップＳ１１８では、マスク処理が施された主画像に対しぼかし処理が施され、新たに主画像が合成される（後述）。ステップＳ１２０では合成された主画像が記録媒体１６に記録され、ぼかし処理モードにおけるこの割り込み処理は終了する。
【００２３】
なお、主画像にぼかし処理を施さずに対応する距離マップとともに記録媒体１６に保存し、後でぼかし処理やその他の画像処理を距離マップに基づいて行える構成とすることも可能である。この場合、主画像および距離マップのデータは別々のファイルとして保存されてもよいし、一体的なファイルとして保存されてもよい。また、別々のファイルとするときには、両ファイルの対応関係をファイル名で対応付けたり、ヘッダファイルなどに対応を記録したりしてもよい。
【００２４】
図３、図４は、図２のステップＳ１１４で実行される距離マップ作成処理のフローチャートであり、図５〜図８は、図３、図４で行われる処理の内容を説明する図である。以下図３〜図８を参照して第１実施形態の距離マップ作成処理について説明する。
【００２５】
距離マップ作成処理では、まずステップＳ２００において、図２のステップＳ１０２で画像メモリ１５に記憶された各スルー画像に対しハイパスフィルタや微分フィルタなどの輪郭抽出処理を施し輪郭成分を抽出する。ここで図５（ａ）は、輪郭抽出前のスルー画像の一例であり、図５（ｂ）は図５（ａ）の画像に対して輪郭抽出処理を施した画像の一例である。
【００２６】
ステップＳ２０２では、図５（ｃ）に例示されるように、輪郭成分が抽出された画像（図５（ｂ））をＭ×Ｎブロック（領域）に分割する。Ｎは例えば縦方向のブロック数であり、スルー画像の縦方向の画素数以下の値である。またＭは例えば横方向のブロック数であり、スルー画像の横方向の画素数以下の値である。なお、第１実施形態におけるブロックには１画素のみからなるものも含まれる。
【００２７】
ステップＳ２０４では、ブロック毎に輪郭成分の総和が計算される。すなわち、輪郭成分が抽出された画像（図５（ｂ））において、各ブロック内の画素値の総和がそのブロックのコントラスト値（コントラストの高低を評価する値）として計算される。ステップＳ２０６では、Ｍ×Ｎサイズのバッファメモリ（図示せず）にブロック毎に算出されたコントラスト値がコントラストマップ（コントラストの高低評価のマップ）としてスルー画像毎に保持される。図５（ｄ）は、図５（ｃ）のブロックに対応するコントラストマップの一例を模式的に示すもので、明るいブロックほど、そのブロックのコントラスト値が高いことを示している。
【００２８】
次にステップＳ２０８において、画像メモリ１５にストック（記憶）されたＮｐ枚のスルー画像全てに対して上記処理がなされたか否かが判定される。全てのスルー画像に対して上記処理が終了していない場合には、ステップＳ２００に戻りストックされたスルー画像のうちまだ処理されていない画像に対し上記処理（ステップＳ２００〜Ｓ２０６）が施される。
【００２９】
一方ステップＳ２０８において、画像メモリ１５にストックされたＮｐ枚のスルー画像全てに対しステップＳ２００〜Ｓ２０６の処理が施されたと判定されると、処理はステップＳ２１０に移り、バッファメモリには、図５（ｅ）に示されるようにＮｐ枚のコントラストマップが保持される。
【００３０】
距離マップは、図６に模式的に示されるように、ステップＳ２００〜Ｓ２０８において作成されたＮｐ枚のコントラストマップをブロック毎に参照して作成される。まず、ステップＳ２１０では距離マップ保存用のＭ×Ｎブロック分の配列がメモリに確保される。ステップＳ２１２では、Ｍ×Ｎ個のブロックのうち処理対象となるブロック（注目ブロック）の初期位置が設定される。
【００３１】
例えば、Ｎｐ枚の各コントラストマップにおけるＭ×Ｎ個のブロックに対して、図６左上を基点としてｉ行、ｊ列のブロックを（ｉ，ｊ）で参照するとき、処理はｉ＝１、ｊ＝１から開始される。なお、以下の処理において、注目ブロックは、まず同一行において左から右へ移動され、その後次の行へ移動され、順次同様の移動が繰り返される。
【００３２】
ステップＳ２１４では、Ｎｐ枚のコントラストマップにおいて注目ブロック（ｉ，ｊ）のコントラスト値がスキャンされ、ステップＳ２１６においてそのコントラスト値が最大となるコントラストマップの番号が算出される。例えば、コントラストマップが２３枚（Ｎｐ＝２３）のときに、注目ブロック（ｉ，ｊ）のコントラスト値がコントラストマップ番号に対し図７のように変化するとき、コントラスト値が最大となるコントラストマップ番号２０が検出される。
【００３３】
ステップＳ２１８では、ステップＳ２１６で検出されたコントラストマップの番号が、ステップＳ２１０において確保された距離マップの対応ブロックの配列に記録される。ステップＳ２２０では、Ｍ×Ｎのブロック全てに対し上記処理が終了したか否か、すなわち距離マップの全てのＭ×Ｎブロックに対しコントラストマップ番号が検出・記録されたか否かが判断される。終了していない場合には、ステップＳ２２２において次の注目ブロックへの移動が行われステップＳ２１４以下の処理が繰り返され、終了している場合には、この距離マップ作成処理は終了する。
【００３４】
距離マップ作成処理が終了すると、距離マップの各ブロックに対応する配列には、図８に例示されるように、各ブロックにおいて最もコントラスト値が高いコントラストマップの番号が記録される。すなわち、そのブロックにおいて最も合焦されたと考えられるレンズ位置に対応し、これはそのブロックにおける被写体までの距離に対応する。図８の例では、コントラストマップ番号が大きいほど距離が大きく、図５（ａ）との対応では、コントラスト値が８のブロックが主要被写体である人物に対応し、コントラスト値２０のブロックが遠景となる背景、コントラスト値が１３のブロックがその中間にある被写体、例えば主要被写体の直ぐ後ろにある木に対応する。
【００３５】
次に図９のフローチャートおよび図１０〜図１２を参照して、図２のステップＳ１１６において実行される第１実施形態のマスク作成処理について説明する。
【００３６】
マスク作成処理が開始されるとステップＳ３００において主要被写体の選択が行われる。主要被写体の選択は、例えば画像撮影時におけるＡＦ処理でのフォーカスポイント、撮影された画像内でユーザが適当な入力デバイスを用いて選択した位置、顔検出処理において顔として認識された位置などに基づいて決定される。例えば、主要被写体に対応するとされた位置が含まれるブロックのコントラストマップ番号（距離）の前後所定の範囲内のコントラストマップ番号（距離）に対応するブロックが主要被写体とされる。
【００３７】
ステップＳ３０２では、主要被写体として認識されたブロックにぼかし処理が施されないようにマップを作成し、図２のステップＳ１１０で撮影された主画像に対しマスク処理を施し、このマスク処理は終了する。なお、スルー画像の各ブロックの主画像への対応は、両画像の画素数の対応から直ちに求められる。
【００３８】
図１０は、例えば図８における番号８に対応するブロック（人物）が主要被写体とされたときのマスク処理の例である。また、図１１は、図８における中間領域に対応するコントラストマップ番号１３のブロックが主要被写体とされたとき、図１２は、図８における遠景に対応するコントラストマップ番号２０に対応するブロックが主要被写体とされたときのマスク処理の例である。
【００３９】
なお、第１実施形態ではマスク処理に例えばαブレンドの手法が用いられ、図１０〜図１２では、明るい色のブロックほど弱いぼかしが掛けられ、暗い色のブロックほど強いぼかし処理が掛けられる。
【００４０】
以上のように、第１実施形態によれば、被写界深度によるぼけが十分に得られない状況においても、主要被写体以外の領域に適切にぼかし処理を施すことができる。また、本実施形態では輪郭抽出処理を用いることで、コントラストの評価をより容易かつ正確に行うことができ、更に画像を複数のブロック（１画素のみのブロックは除く）に分割することで処理速度を向上させることができる。また、本実施形態では距離マップを作成するための複数の画像にスルー画像を利用することで処理速度更に向上させられる。
【００４１】
また、スルー画像を利用することにより、通常の撮影シーケンスの中でぼかし処理を施すことができるので、ユーザは別途距離マップ用の複数の画像を撮影する場合などに比べ、ぼかし処理を意識することなく、煩わされることがない。
【００４２】
なお、本実施形態ではコンパクトカメラを例に説明を行ったが、携帯電話に搭載されたカメラユニットでの処理の流れを変形例として図１３に例示する。ここで図１３は第１実施形態の図２のフローチャートに対応し、この変形例が構成上第１実施形態と大きく異なるのは、測光スイッチＳ１がなく、レリーズボタンの全押し、すなわちレリーズスイッチＳ２がオンされて初めて測光処理、オートフォーカス処理、および主画像の撮影が開始される。したがって、図２のステップＳ１０６、Ｓ１０８に対応するステップがなく、Ｓ１００のステップが、ステップＳ４００に示されるように、レリーズスイッチＳ２がオンされたか否かの判定に置き換えられる。なお、ステップＳ４０２、Ｓ４０４の内容は、ステップＳ１０２、Ｓ１０４に対応し、ステップＳ４０６〜ステップＳ４１６の内容は、ステップＳ１１０〜ステップＳ１２０に対応する。
【００４３】
以上のように携帯電話などに搭載されたカメラユニットなどのように、レリーズボタンの全押しにより測光スイッチがオンされる場合にも、第１実施形態と同様の効果が得られる。
【００４４】
次に図１４〜図２１を参照して第２実施形態のデジタルカメラについて説明する。第２実施形態のデジタルカメラは、マスク処理方法（図２のステップＳ１１６）が主要被写体の距離に応じて制御される点を除けば、第１実施形態のデジタルカメラと同じである。したがって以下の説明では、第１実施形態と異なる点（ステップＳ１１６）についてのみ説明を行う。
【００４５】
被写界深度は、被写体までの距離が離れるほど大きくなり、ＡＦ駆動における１ステップ（最小駆動量）での深度の分解能は距離が離れるほど小さくなる。したがって、第２実施形態では、主要被写体までの距離に応じてぼかし処理の手法を変更する。例えば本実施形態では、主要被写体までの距離が比較的近いときには深度の微妙な違いを再現（強調）するぼかし処理を行い（近距離モード）、主要被写体までの距離が比較的遠いときには主要被写体の背景側のみにぼかし処理を施し主要被写体と背景の対比を強調する（遠距離モード）。
【００４６】
図１４は、横軸に被写体までの距離、縦軸に各距離に対応するブロックの度数を示す模式的なヒストグラムの一例である。本実施形態では、主要被写体が所定の距離Ｄｏよりも近距離にあるか否かにより、上記近距離モード、遠距離モードの選択が行われる。すなわち主要被写体とされた被写体までの距離がＤｏ以下の場合、近距離モードが選択され、それ以外では遠距離モードが選択される。
【００４７】
なお、被写界深度はＦ値によっても変化するので、距離Ｄｏが、Ｆ値により変更される構成としてもよい。例えば、被写界深度はＦ値が小さくなるほど浅くなるので、Ｆ値が小さいほど距離Ｄｏを大きく設定し、Ｆ値が大きいほど距離Ｄｏを小さく設定する構成としてもよく、距離Ｄｏの設定は自動であってもよいし手動であってもよい。
【００４８】
図１５は、近距離モードにおけるぼかし処理の変化（近距離モード用マスク濃度算出カーブ）を例示するグラフである。近距離モードでは、主要被写体に対応する距離のブロックに対してはぼかし処理を行わず（あるいはぼかし処理を最小とし）、その前景、背景に対応するブロックでは、そのブロックの被写体までの距離が主要被写体の距離Ｄｏから離れるにしたがって徐々にぼかし処理が強められる。例えば前景では距離Ｄｆ、背景では距離Ｄｂでぼかし処理が最大（１００％）となるように距離Ｄｏから漸次ぼかし処理の強度が増大される。
【００４９】
図１６は、遠距離モードにおけるぼかし処理の変化（遠距離モード用マスク濃度算出カーブ）を例示するグラフである。遠距離モードでは、前述したように主要被写体の背景のみにぼかし処理を施し、主要被写体と背景の対比を強調するため、主要被写体までの距離Ｄｏを境にステップ状にぼかし処理が掛けられる。すなわち距離Ｄｏまでの距離に対応するブロックにぼかし処理は施されず、距離Ｄｏよりも遠方の距離に対応するブロックには最大のぼかし処理（１００％）が施される。
【００５０】
なお、本実施形態では、図１のスイッチ群２１に含まれる方向スイッチや電子ダイヤルスイッチなどを用いて、各モードのマスク濃度算出カーブの制御が可能とされる。例えば近距離モードでは、被写界深度の制御が可能であり、例えば図１５のＤｆ、Ｄｂの位置がＡＦ駆動における例えば１ステップ単位で変更可能である。また、遠距離モードでは例えばぼかし処理の強度が可変とされる。
【００５１】
図１７は、近距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は深度の距離による分解能の変化の程度を模式的に示す。また図１８は、近距離モードにおける画像の一例であり、主要被写体が人物Ｓ０とすると、その前後にいる人物Ｓ１〜Ｓ３にはそれぞれ人物Ｓ０からの距離に応じて異なる強度のぼかし処理が施される。すなわち本実施形態では、主要被写体から前後に離れるほど強いぼかし処理が施され、深度の微妙な差が強調され、もとの画像よりも立体感を増すことができる。
【００５２】
一方、図１９は、遠距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は図１７と同様に深度の距離による分解能の変化の程度を模式的に示す。また図２０は、遠距離モードにおける画像の一例であり、主要被写体となる人物Ｓ０と同距離、およびそれよりも手間にあるブロックに対してはぼかし処理を施さず、人物Ｓ０よりも遠景にあるブロックに、均一な強いぼかし処理を施される。これにより、人物Ｓ０のみがクリアになり、それ以外の背景はぼけた画像となる。
【００５３】
図２１は、上述した第２実施形態のマスク作成処理のフローチャートであり、図２のステップＳ１１６の内容に対応する。このフローチャートを参照して第２実施形態のマスク作成処理の流れについて説明する。
【００５４】
ステップＳ５００では、第１実施形態における図９、ステップＳ３００と同様に主要被写体の選択が行われ、ステップＳ５０２において、主要被写体が含まれるブロックのコントラストマップ番号（距離）が取得される。ステップＳ５０４では、主要被写体の距離情報（コントラストマップ番号）から主要被写体が近距離にあるか否かが判断される。例えば、主要被写体のコントラストマップ番号や距離が所定値以下であるか否かが判定される。
【００５５】
ステップＳ５０４において主要被写体が近距離にあると判定されると、ステップＳ５０６において図１５に示される近距離モード用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。
【００５６】
一方、ステップＳ５０４において主要被写体が近距離にはない（遠距離にある）と判定されると、ステップＳ５１６において図１６に示される遠距離用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。
【００５７】
ステップＳ５１０では、ステップＳ５０８において算出された現注目ブロックの差分値と、ステップＳ５０６またはステップＳ５１６で選択されたマスク濃度算出カーブとの照合が行われ、注目ブロックに対応するマスク濃度が特定されるとともに、ステップＳ５１２においてその濃度が対応するマスク用配列に記録される。
【００５８】
ステップＳ５１４ではＭ×Ｎブロック全てに対し上記処理、すなわちマスク濃度が特定されたか否かが判定され、終了していれば本マスク作成処理は終了し、そうでなければステップＳ５１８において注目ブロックを次のブロックに移動し、ステップＳ５０８以下の処理を繰り返す。なお、注目ブロックの移動は、図４、図６を用いて説明した注目ブロックの移動方法と同じである。
【００５９】
以上のように、第２実施形態によれば、主被写体の距離に応じてぼかし処理が制御され、より適切なぼかし処理が可能となる。
【００６０】
なお、本実施形態では、距離情報を取得するためにスルー画像を用いたが、短時間の間に複数の合焦位置で撮影される一連の画像であればよくスルー画像に限定されるものではない。また、本実施形態では、距離情報としてコントラストマップ番号を用いた例で説明を行ったが、距離情報に対応する変数であればこれに限定されるものではなく、１対１であれば実際の距離と比例関係にある必要もない。また、ぼかし処理も本実施形態に限定さえるものではない。
【００６１】
本発明は特にコンパクトなカメラにおいてその効果が顕著であるが、コンパクトなカメラに限定されるものではなく、例えば通常のデジタル一眼レフカメラに適用することもできる。
【００６２】
また、本実施形態では各領域（ブロック）でのコントラストの評価を容易かつ正確にするために輪郭抽出を行ったが、画像を撮影したレンズ位置での各領域の合焦度合いを評価できるのであれば輪郭抽出を行わずにコントラストの評価を行ってもよい。
【００６３】
また、本実施形態のマスク作成処理、合成、保存処理（ステップＳ１１６〜Ｓ１２０、ステップＳ４１２〜Ｓ４１６）は、例えばパソコン等、デジタルカメラ以外の機器において行うことも可能であり、その場合には、デジタルカメラにおいて作成された上記距離マップ、あるいは代替的手段により得られた被写体までの距離情報を用いて処理される。このような場合、例えば、パソコン等には、記録媒体や外部から入力される画像データに対し記録媒体や外部から入力される距離情報に基づいて画像処理（ぼかし処理）施し、その結果を例えば記録媒体に保存、あるいは外部へ出力するプログラムとして提供される。
【００６４】
なお、本実施形態では被写体までの距離情報に基づいてぼかし処理を施したが、距離情報を用いて他の画像処理を施す構成であってもよい。例えば、画像を水彩画風、イラスト風にする処理や、画像にキャラクタ（図形や文字、絵柄なども含む）を追加する処理などにも利用できる。水彩画処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて色合いや濃淡を制御し、および／または、主要被写体までの距離に応じて色合いや濃淡の制御方法を変更することが考えられる。また、イラスト処理では、被写体までの距離あるいは主要被写体からの距離に応じて例えば濃淡を制御し、および／または、主要被写体までの距離に応じて濃淡制御の方法を変更することが考えられる。キャラクタを追加する処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて追加するエリアの広さやキャラクタの大きさの制御を行い、および／または主要被写体までの距離に応じてエリアの広さやキャラクタの大きさの制御方法を変更することが考えられる。
【００６５】
また、距離マップ作成までの処理を、レンズ駆動機構と撮像素子を備えた撮像装置を制御するプログラムとして提供することもできる。
【００６６】
第２実施形態では、ぼかし処理のモードは、主要被写体までの距離が所定距離Ｄｏよりも遠距離か否かで２つのモードに分けられたが、モードは多段的に複数の距離を閾値とする３以上もモードに分けられてもよい。また、マスク濃度算出カーブを主要被写体までの距離の関数とし、距離に応じて連続的に変化させることも可能である。
【符号の説明】
【００６７】
１０ デジタルカメラ
１１ 撮影レンズ
１２ 撮像素子
１３ 撮像素子ドライバ
１４ 制御部
１５ 画像メモリ
１６ 記録媒体
１７ モニタ
１８ レンズ駆動部
１９ 絞り
２０ 絞り駆動部
２１ スイッチ群
【技術分野】
【０００１】
本発明は、画像に対し画像処理を施す画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば写真撮影では、被写界深度によるボケ効果を利用して、合焦した主要被写体以外の遠景の背景や前景をぼかす表現手法がしばしば用いられる。しかし、被写界深度は焦点距離が短くなるほど深くなるため、焦点距離の短いレンズを採用する必要がある撮像面の大きさが小さい撮像素子を用いたコンパクトデジタルカメラなどではボケ効果を得難い。
【０００３】
このような問題に対し、撮影画像を合焦領域と非合焦領域に分別し、非合焦領域の画像にぼかし処理を施すことで擬似的なボケ効果を与える手法が提案されている。この手法では、撮影された画像を複数の領域に分割し、それぞれの領域の空間周波数から合焦領域と非合焦領域を判別している。すなわち合焦領域は一般にコントラストが高いことから、空間周波数が高い領域を合焦領域、低い領域を非合焦領域として判別している（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４０５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像の空間周波数は被写体のテクスチャにも依存し、１枚の画像内において空間周波数が高いことが必ずしも合焦領域であることを意味しない。例えば、森林や瓦屋根などの画像は、もともと空間周波数が高く、逆に人の肌などは、合焦されていても非合焦領域に比べ空間周波数が高いとは限らない。したがって、例えばより適正なボケ効果を演出するには、画像内の各領域において被写体までの距離を把握し、これに基づきぼかし処理を施すことが望まれる。
【０００６】
本発明は、被写体までの距離に基づくより効果的な演出を画像に施すことを課題としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像の中から主要用被写体を選択する主要被写体選択手段と、画像に対して画像処理を施す画像処理手段とを備え、画像処理手段が主要被写体までの距離に応じた画像処理を施すことを特徴としている。
【０００８】
画像処理は、例えばぼかし処理である。主要被写体までの距離が所定距離よりも遠いときには、主要被写体よりも遠い被写体に対してのみぼかし処理を施すことが好ましく、主要被写体までの距離が所定距離よりも近いときには、主要被写体を中心とする深度を強調するぼかし処理を施すことが好ましい。また、例えばぼかし処理における強度を調整するためのぼかし設定手段を備えることが好ましい。更に、画像撮影時のＦ値に基づき、ぼかし処理を変更する主要被写体までの距離を変更することが好ましい。また、画像の各領域に対する被写体までの距離情報を記録した距離マップデータを参照して距離が特定される。
【０００９】
本発明のデジタルカメラは、上記画像処理装置を備えたことを特徴としている。また、デジタルカメラは、画像の各領域に対する被写体までの距離情報を取得する手段を備えることが好ましい。
【００１０】
本発明の画像処理方法は、画像の中から主要用被写体を選択するステップと、画像に対して主要被写体までの距離に応じた画像処理を施すステップとを備えたことを特徴としている。
【００１１】
本発明のコンピュータプログラムは、画像の中から主要用被写体を選択する手順と、画像に対して主要被写体までの距離に応じた画像処理を施す手順とをコンピュータに実行させることを特徴としている。
【発明の効果】
【００１２】
本発明によれば、被写体までの距離に基づくより効果的な演出を画像に施すことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。
【図２】ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。
【図３】距離マップ作成処理のフローチャートの前半部である。
【図４】距離マップ作成処理のフローチャートの後半部である。
【図５】コントラストマップ作成までの内容を模式的に説明する図である。
【図６】複数のスルー画像に対するコントラストマップにおいて、コントラスト値をスキャンする方法を示す図である。
【図７】複数のスルー画像に付されたコントラストマップ番号とコントラスト値の関係の一例を示すグラフである。
【図８】距離マップの一例を示す図である。
【図９】第１実施形態のマスク作成処理のフローチャートである。
【図１０】近距離にある人物が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１１】中距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１２】遠距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１３】第１実施形態の変形例において、ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。
【図１４】第２実施形態における主要被写体までの距離と近距離モード、遠距離モードの関係を示す図である。
【図１５】近距離モードにおける距離とぼけ具合を示すグラフである。
【図１６】遠距離モードにおける距離とぼけ具合を示すグラフである。
【図１７】近距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。
【図１８】近距離モードにおける画像の一例である。
【図１９】遠距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。
【図２０】遠距離モードにおける画像の一例である。
【図２１】第２実施形態のマスク作成処理のフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。なおデジタルカメラは、例えばコンパクトカメラや携帯電話など小型電子機器に搭載されるカメラユニットを含むものであるが、第１実施形態では、コンパクトカメラを例に説明を行う。
【００１５】
デジタルカメラ１０において、被写体像は撮影レンズ１１を介して撮像素子１２において撮像される。撮像素子１２の駆動は、撮像素子ドライバ１３により制御され、撮像素子ドライバ１３は制御部１４からの指令に基づき制御される。また、撮像素子１２で取得された画像は、制御部１４へ送られ各種デジタル画像処理が施されるとともに、例えば画像メモリ１５に一時的に保持され、ユーザの決定にしたがって例えば記録媒体１６に保存される。また、撮像素子１２で取得された画像、あるいは画像メモリ１５、記録媒体１６に保持された画像は、例えばＬＣＤなどのモニタ１７に表示可能である。
【００１６】
撮影レンズ１１はレンズ駆動部１８によって駆動され、絞り１９は絞り駆動部２０によって駆動される。ＡＦ処理にはコントラスト方式が採用され、制御部１４は撮像素子１２で撮影された画像のコントラストを参照してレンズ駆動部１８を制御するとともに、測光値に基づき絞り駆動部２０を制御する。また、デジタルカメラ１０には、制御部１４に接続された、レリーズスイッチや測光スイッチ、あるいは各種機能の選択／設定のためのダイヤルスイッチや４方向スイッチなど様々なスイッチを含むスイッチ群２１が設けられる。
【００１７】
次に図１および図２のフローチャートを参照して第１実施形態のぼかし処理について説明する。図２のフローチャートは、ぼかし処理モードが設定されているときに制御部１４で繰り返し実行される割り込み処理である。なお、ぼかし処理モードの設定は、ユーザの所定のスイッチ操作により行われる。
【００１８】
ステップＳ１００では、例えばレリーズボタン（図示せず）が半押しされ測光スイッチＳ１がオンされた否かが判定される。測光スイッチＳ１がオンされていない場合、すなわちレリーズボタンが半押しされていない場合、この割り込み処理は直ちに終了し、他の処理が実行された後再び繰り返し実行される。ステップＳ１００において測光スイッチＳ１がオンされたと判定されると、ステップＳ１０２において、レンズ駆動部１８により撮影レンズ１１を移動して、ピントを近距離から遠距離（例えば無限遠）までの間の複数の位置（Ｎｐ箇所）に合わせ（例えば所定ステップでレンズを移動）、各位置において１枚ずつ取得されるＮｐ枚のスルー画像を画像メモリ１５に記憶する。なお、ステップＳ１０２の処理は、高速に行われ、この間に取得されるＮｐ枚の画像は、合焦位置が各々異なるのみで、同一被写体を同―位置、同―方向から同一画角で撮影した画像とみなせる。
【００１９】
ステップＳ１０４では、従来周知のコントラスト方式のＡＦ処理により、撮影レンズ１１がレンズ駆動部１８により合焦位置へと移動される。その後ステップＳ１０６において、測光スイッチＳ１がオンされた状態か否か、すなわちレリーズボタン（図示せず）の半押しが維持されているか否かが判定される。維持されていなければ、この割り込み処理は終了し、他の処理が実行された後再び繰り返し実行される。
【００２０】
測光スイッチＳ１のオン状態が維持されていれば、ステップＳ１０８においてレリーズスイッチＳ２がオンされているか否かが判定され、オンされていなければステップＳ１０６に戻り同様の判定が繰り返される。一方、レリーズスイッチＳ２がオンされていれば、ステップＳ１１０において、撮像素子１２を用いた主画像の撮影、すなわち本来の記録を目的とした画像撮影が行われ、ステップＳ１１２において撮影された主画像のＲＡＷデータに対し現像処理が施される。なお、ステップＳ１１０において撮影される主画像もステップＳ１０２で取得されたＮｐ枚の画像と略同―位置、同―方向から同一被写体を同一画角で撮影した画像とみなせる。
【００２１】
ステップＳ１１４では、ステップＳ１０２において画像メモリ１５に記憶されたスルー画像を用いた距離マップ作成処理が実行される。距離マップは主画像（あるいはスルー画像）の各領域（ブロック）の被写体までの距離情報を対応付けたマップデータであり、距離マップ作成処理の詳細については後述する。
【００２２】
ステップＳ１１６では、ステップＳ１１４において作成された距離マップに基づいて、主画像の主要被写体以外の領域に対するぼかし処理を行うためのマスクを作成するマスク作成処理（後述）が実行される。ステップＳ１１８では、マスク処理が施された主画像に対しぼかし処理が施され、新たに主画像が合成される（後述）。ステップＳ１２０では合成された主画像が記録媒体１６に記録され、ぼかし処理モードにおけるこの割り込み処理は終了する。
【００２３】
なお、主画像にぼかし処理を施さずに対応する距離マップとともに記録媒体１６に保存し、後でぼかし処理やその他の画像処理を距離マップに基づいて行える構成とすることも可能である。この場合、主画像および距離マップのデータは別々のファイルとして保存されてもよいし、一体的なファイルとして保存されてもよい。また、別々のファイルとするときには、両ファイルの対応関係をファイル名で対応付けたり、ヘッダファイルなどに対応を記録したりしてもよい。
【００２４】
図３、図４は、図２のステップＳ１１４で実行される距離マップ作成処理のフローチャートであり、図５〜図８は、図３、図４で行われる処理の内容を説明する図である。以下図３〜図８を参照して第１実施形態の距離マップ作成処理について説明する。
【００２５】
距離マップ作成処理では、まずステップＳ２００において、図２のステップＳ１０２で画像メモリ１５に記憶された各スルー画像に対しハイパスフィルタや微分フィルタなどの輪郭抽出処理を施し輪郭成分を抽出する。ここで図５（ａ）は、輪郭抽出前のスルー画像の一例であり、図５（ｂ）は図５（ａ）の画像に対して輪郭抽出処理を施した画像の一例である。
【００２６】
ステップＳ２０２では、図５（ｃ）に例示されるように、輪郭成分が抽出された画像（図５（ｂ））をＭ×Ｎブロック（領域）に分割する。Ｎは例えば縦方向のブロック数であり、スルー画像の縦方向の画素数以下の値である。またＭは例えば横方向のブロック数であり、スルー画像の横方向の画素数以下の値である。なお、第１実施形態におけるブロックには１画素のみからなるものも含まれる。
【００２７】
ステップＳ２０４では、ブロック毎に輪郭成分の総和が計算される。すなわち、輪郭成分が抽出された画像（図５（ｂ））において、各ブロック内の画素値の総和がそのブロックのコントラスト値（コントラストの高低を評価する値）として計算される。ステップＳ２０６では、Ｍ×Ｎサイズのバッファメモリ（図示せず）にブロック毎に算出されたコントラスト値がコントラストマップ（コントラストの高低評価のマップ）としてスルー画像毎に保持される。図５（ｄ）は、図５（ｃ）のブロックに対応するコントラストマップの一例を模式的に示すもので、明るいブロックほど、そのブロックのコントラスト値が高いことを示している。
【００２８】
次にステップＳ２０８において、画像メモリ１５にストック（記憶）されたＮｐ枚のスルー画像全てに対して上記処理がなされたか否かが判定される。全てのスルー画像に対して上記処理が終了していない場合には、ステップＳ２００に戻りストックされたスルー画像のうちまだ処理されていない画像に対し上記処理（ステップＳ２００〜Ｓ２０６）が施される。
【００２９】
一方ステップＳ２０８において、画像メモリ１５にストックされたＮｐ枚のスルー画像全てに対しステップＳ２００〜Ｓ２０６の処理が施されたと判定されると、処理はステップＳ２１０に移り、バッファメモリには、図５（ｅ）に示されるようにＮｐ枚のコントラストマップが保持される。
【００３０】
距離マップは、図６に模式的に示されるように、ステップＳ２００〜Ｓ２０８において作成されたＮｐ枚のコントラストマップをブロック毎に参照して作成される。まず、ステップＳ２１０では距離マップ保存用のＭ×Ｎブロック分の配列がメモリに確保される。ステップＳ２１２では、Ｍ×Ｎ個のブロックのうち処理対象となるブロック（注目ブロック）の初期位置が設定される。
【００３１】
例えば、Ｎｐ枚の各コントラストマップにおけるＭ×Ｎ個のブロックに対して、図６左上を基点としてｉ行、ｊ列のブロックを（ｉ，ｊ）で参照するとき、処理はｉ＝１、ｊ＝１から開始される。なお、以下の処理において、注目ブロックは、まず同一行において左から右へ移動され、その後次の行へ移動され、順次同様の移動が繰り返される。
【００３２】
ステップＳ２１４では、Ｎｐ枚のコントラストマップにおいて注目ブロック（ｉ，ｊ）のコントラスト値がスキャンされ、ステップＳ２１６においてそのコントラスト値が最大となるコントラストマップの番号が算出される。例えば、コントラストマップが２３枚（Ｎｐ＝２３）のときに、注目ブロック（ｉ，ｊ）のコントラスト値がコントラストマップ番号に対し図７のように変化するとき、コントラスト値が最大となるコントラストマップ番号２０が検出される。
【００３３】
ステップＳ２１８では、ステップＳ２１６で検出されたコントラストマップの番号が、ステップＳ２１０において確保された距離マップの対応ブロックの配列に記録される。ステップＳ２２０では、Ｍ×Ｎのブロック全てに対し上記処理が終了したか否か、すなわち距離マップの全てのＭ×Ｎブロックに対しコントラストマップ番号が検出・記録されたか否かが判断される。終了していない場合には、ステップＳ２２２において次の注目ブロックへの移動が行われステップＳ２１４以下の処理が繰り返され、終了している場合には、この距離マップ作成処理は終了する。
【００３４】
距離マップ作成処理が終了すると、距離マップの各ブロックに対応する配列には、図８に例示されるように、各ブロックにおいて最もコントラスト値が高いコントラストマップの番号が記録される。すなわち、そのブロックにおいて最も合焦されたと考えられるレンズ位置に対応し、これはそのブロックにおける被写体までの距離に対応する。図８の例では、コントラストマップ番号が大きいほど距離が大きく、図５（ａ）との対応では、コントラスト値が８のブロックが主要被写体である人物に対応し、コントラスト値２０のブロックが遠景となる背景、コントラスト値が１３のブロックがその中間にある被写体、例えば主要被写体の直ぐ後ろにある木に対応する。
【００３５】
次に図９のフローチャートおよび図１０〜図１２を参照して、図２のステップＳ１１６において実行される第１実施形態のマスク作成処理について説明する。
【００３６】
マスク作成処理が開始されるとステップＳ３００において主要被写体の選択が行われる。主要被写体の選択は、例えば画像撮影時におけるＡＦ処理でのフォーカスポイント、撮影された画像内でユーザが適当な入力デバイスを用いて選択した位置、顔検出処理において顔として認識された位置などに基づいて決定される。例えば、主要被写体に対応するとされた位置が含まれるブロックのコントラストマップ番号（距離）の前後所定の範囲内のコントラストマップ番号（距離）に対応するブロックが主要被写体とされる。
【００３７】
ステップＳ３０２では、主要被写体として認識されたブロックにぼかし処理が施されないようにマップを作成し、図２のステップＳ１１０で撮影された主画像に対しマスク処理を施し、このマスク処理は終了する。なお、スルー画像の各ブロックの主画像への対応は、両画像の画素数の対応から直ちに求められる。
【００３８】
図１０は、例えば図８における番号８に対応するブロック（人物）が主要被写体とされたときのマスク処理の例である。また、図１１は、図８における中間領域に対応するコントラストマップ番号１３のブロックが主要被写体とされたとき、図１２は、図８における遠景に対応するコントラストマップ番号２０に対応するブロックが主要被写体とされたときのマスク処理の例である。
【００３９】
なお、第１実施形態ではマスク処理に例えばαブレンドの手法が用いられ、図１０〜図１２では、明るい色のブロックほど弱いぼかしが掛けられ、暗い色のブロックほど強いぼかし処理が掛けられる。
【００４０】
以上のように、第１実施形態によれば、被写界深度によるぼけが十分に得られない状況においても、主要被写体以外の領域に適切にぼかし処理を施すことができる。また、本実施形態では輪郭抽出処理を用いることで、コントラストの評価をより容易かつ正確に行うことができ、更に画像を複数のブロック（１画素のみのブロックは除く）に分割することで処理速度を向上させることができる。また、本実施形態では距離マップを作成するための複数の画像にスルー画像を利用することで処理速度更に向上させられる。
【００４１】
また、スルー画像を利用することにより、通常の撮影シーケンスの中でぼかし処理を施すことができるので、ユーザは別途距離マップ用の複数の画像を撮影する場合などに比べ、ぼかし処理を意識することなく、煩わされることがない。
【００４２】
なお、本実施形態ではコンパクトカメラを例に説明を行ったが、携帯電話に搭載されたカメラユニットでの処理の流れを変形例として図１３に例示する。ここで図１３は第１実施形態の図２のフローチャートに対応し、この変形例が構成上第１実施形態と大きく異なるのは、測光スイッチＳ１がなく、レリーズボタンの全押し、すなわちレリーズスイッチＳ２がオンされて初めて測光処理、オートフォーカス処理、および主画像の撮影が開始される。したがって、図２のステップＳ１０６、Ｓ１０８に対応するステップがなく、Ｓ１００のステップが、ステップＳ４００に示されるように、レリーズスイッチＳ２がオンされたか否かの判定に置き換えられる。なお、ステップＳ４０２、Ｓ４０４の内容は、ステップＳ１０２、Ｓ１０４に対応し、ステップＳ４０６〜ステップＳ４１６の内容は、ステップＳ１１０〜ステップＳ１２０に対応する。
【００４３】
以上のように携帯電話などに搭載されたカメラユニットなどのように、レリーズボタンの全押しにより測光スイッチがオンされる場合にも、第１実施形態と同様の効果が得られる。
【００４４】
次に図１４〜図２１を参照して第２実施形態のデジタルカメラについて説明する。第２実施形態のデジタルカメラは、マスク処理方法（図２のステップＳ１１６）が主要被写体の距離に応じて制御される点を除けば、第１実施形態のデジタルカメラと同じである。したがって以下の説明では、第１実施形態と異なる点（ステップＳ１１６）についてのみ説明を行う。
【００４５】
被写界深度は、被写体までの距離が離れるほど大きくなり、ＡＦ駆動における１ステップ（最小駆動量）での深度の分解能は距離が離れるほど小さくなる。したがって、第２実施形態では、主要被写体までの距離に応じてぼかし処理の手法を変更する。例えば本実施形態では、主要被写体までの距離が比較的近いときには深度の微妙な違いを再現（強調）するぼかし処理を行い（近距離モード）、主要被写体までの距離が比較的遠いときには主要被写体の背景側のみにぼかし処理を施し主要被写体と背景の対比を強調する（遠距離モード）。
【００４６】
図１４は、横軸に被写体までの距離、縦軸に各距離に対応するブロックの度数を示す模式的なヒストグラムの一例である。本実施形態では、主要被写体が所定の距離Ｄｏよりも近距離にあるか否かにより、上記近距離モード、遠距離モードの選択が行われる。すなわち主要被写体とされた被写体までの距離がＤｏ以下の場合、近距離モードが選択され、それ以外では遠距離モードが選択される。
【００４７】
なお、被写界深度はＦ値によっても変化するので、距離Ｄｏが、Ｆ値により変更される構成としてもよい。例えば、被写界深度はＦ値が小さくなるほど浅くなるので、Ｆ値が小さいほど距離Ｄｏを大きく設定し、Ｆ値が大きいほど距離Ｄｏを小さく設定する構成としてもよく、距離Ｄｏの設定は自動であってもよいし手動であってもよい。
【００４８】
図１５は、近距離モードにおけるぼかし処理の変化（近距離モード用マスク濃度算出カーブ）を例示するグラフである。近距離モードでは、主要被写体に対応する距離のブロックに対してはぼかし処理を行わず（あるいはぼかし処理を最小とし）、その前景、背景に対応するブロックでは、そのブロックの被写体までの距離が主要被写体の距離Ｄｏから離れるにしたがって徐々にぼかし処理が強められる。例えば前景では距離Ｄｆ、背景では距離Ｄｂでぼかし処理が最大（１００％）となるように距離Ｄｏから漸次ぼかし処理の強度が増大される。
【００４９】
図１６は、遠距離モードにおけるぼかし処理の変化（遠距離モード用マスク濃度算出カーブ）を例示するグラフである。遠距離モードでは、前述したように主要被写体の背景のみにぼかし処理を施し、主要被写体と背景の対比を強調するため、主要被写体までの距離Ｄｏを境にステップ状にぼかし処理が掛けられる。すなわち距離Ｄｏまでの距離に対応するブロックにぼかし処理は施されず、距離Ｄｏよりも遠方の距離に対応するブロックには最大のぼかし処理（１００％）が施される。
【００５０】
なお、本実施形態では、図１のスイッチ群２１に含まれる方向スイッチや電子ダイヤルスイッチなどを用いて、各モードのマスク濃度算出カーブの制御が可能とされる。例えば近距離モードでは、被写界深度の制御が可能であり、例えば図１５のＤｆ、Ｄｂの位置がＡＦ駆動における例えば１ステップ単位で変更可能である。また、遠距離モードでは例えばぼかし処理の強度が可変とされる。
【００５１】
図１７は、近距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は深度の距離による分解能の変化の程度を模式的に示す。また図１８は、近距離モードにおける画像の一例であり、主要被写体が人物Ｓ０とすると、その前後にいる人物Ｓ１〜Ｓ３にはそれぞれ人物Ｓ０からの距離に応じて異なる強度のぼかし処理が施される。すなわち本実施形態では、主要被写体から前後に離れるほど強いぼかし処理が施され、深度の微妙な差が強調され、もとの画像よりも立体感を増すことができる。
【００５２】
一方、図１９は、遠距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は図１７と同様に深度の距離による分解能の変化の程度を模式的に示す。また図２０は、遠距離モードにおける画像の一例であり、主要被写体となる人物Ｓ０と同距離、およびそれよりも手間にあるブロックに対してはぼかし処理を施さず、人物Ｓ０よりも遠景にあるブロックに、均一な強いぼかし処理を施される。これにより、人物Ｓ０のみがクリアになり、それ以外の背景はぼけた画像となる。
【００５３】
図２１は、上述した第２実施形態のマスク作成処理のフローチャートであり、図２のステップＳ１１６の内容に対応する。このフローチャートを参照して第２実施形態のマスク作成処理の流れについて説明する。
【００５４】
ステップＳ５００では、第１実施形態における図９、ステップＳ３００と同様に主要被写体の選択が行われ、ステップＳ５０２において、主要被写体が含まれるブロックのコントラストマップ番号（距離）が取得される。ステップＳ５０４では、主要被写体の距離情報（コントラストマップ番号）から主要被写体が近距離にあるか否かが判断される。例えば、主要被写体のコントラストマップ番号や距離が所定値以下であるか否かが判定される。
【００５５】
ステップＳ５０４において主要被写体が近距離にあると判定されると、ステップＳ５０６において図１５に示される近距離モード用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。
【００５６】
一方、ステップＳ５０４において主要被写体が近距離にはない（遠距離にある）と判定されると、ステップＳ５１６において図１６に示される遠距離用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。
【００５７】
ステップＳ５１０では、ステップＳ５０８において算出された現注目ブロックの差分値と、ステップＳ５０６またはステップＳ５１６で選択されたマスク濃度算出カーブとの照合が行われ、注目ブロックに対応するマスク濃度が特定されるとともに、ステップＳ５１２においてその濃度が対応するマスク用配列に記録される。
【００５８】
ステップＳ５１４ではＭ×Ｎブロック全てに対し上記処理、すなわちマスク濃度が特定されたか否かが判定され、終了していれば本マスク作成処理は終了し、そうでなければステップＳ５１８において注目ブロックを次のブロックに移動し、ステップＳ５０８以下の処理を繰り返す。なお、注目ブロックの移動は、図４、図６を用いて説明した注目ブロックの移動方法と同じである。
【００５９】
以上のように、第２実施形態によれば、主被写体の距離に応じてぼかし処理が制御され、より適切なぼかし処理が可能となる。
【００６０】
なお、本実施形態では、距離情報を取得するためにスルー画像を用いたが、短時間の間に複数の合焦位置で撮影される一連の画像であればよくスルー画像に限定されるものではない。また、本実施形態では、距離情報としてコントラストマップ番号を用いた例で説明を行ったが、距離情報に対応する変数であればこれに限定されるものではなく、１対１であれば実際の距離と比例関係にある必要もない。また、ぼかし処理も本実施形態に限定さえるものではない。
【００６１】
本発明は特にコンパクトなカメラにおいてその効果が顕著であるが、コンパクトなカメラに限定されるものではなく、例えば通常のデジタル一眼レフカメラに適用することもできる。
【００６２】
また、本実施形態では各領域（ブロック）でのコントラストの評価を容易かつ正確にするために輪郭抽出を行ったが、画像を撮影したレンズ位置での各領域の合焦度合いを評価できるのであれば輪郭抽出を行わずにコントラストの評価を行ってもよい。
【００６３】
また、本実施形態のマスク作成処理、合成、保存処理（ステップＳ１１６〜Ｓ１２０、ステップＳ４１２〜Ｓ４１６）は、例えばパソコン等、デジタルカメラ以外の機器において行うことも可能であり、その場合には、デジタルカメラにおいて作成された上記距離マップ、あるいは代替的手段により得られた被写体までの距離情報を用いて処理される。このような場合、例えば、パソコン等には、記録媒体や外部から入力される画像データに対し記録媒体や外部から入力される距離情報に基づいて画像処理（ぼかし処理）施し、その結果を例えば記録媒体に保存、あるいは外部へ出力するプログラムとして提供される。
【００６４】
なお、本実施形態では被写体までの距離情報に基づいてぼかし処理を施したが、距離情報を用いて他の画像処理を施す構成であってもよい。例えば、画像を水彩画風、イラスト風にする処理や、画像にキャラクタ（図形や文字、絵柄なども含む）を追加する処理などにも利用できる。水彩画処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて色合いや濃淡を制御し、および／または、主要被写体までの距離に応じて色合いや濃淡の制御方法を変更することが考えられる。また、イラスト処理では、被写体までの距離あるいは主要被写体からの距離に応じて例えば濃淡を制御し、および／または、主要被写体までの距離に応じて濃淡制御の方法を変更することが考えられる。キャラクタを追加する処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて追加するエリアの広さやキャラクタの大きさの制御を行い、および／または主要被写体までの距離に応じてエリアの広さやキャラクタの大きさの制御方法を変更することが考えられる。
【００６５】
また、距離マップ作成までの処理を、レンズ駆動機構と撮像素子を備えた撮像装置を制御するプログラムとして提供することもできる。
【００６６】
第２実施形態では、ぼかし処理のモードは、主要被写体までの距離が所定距離Ｄｏよりも遠距離か否かで２つのモードに分けられたが、モードは多段的に複数の距離を閾値とする３以上もモードに分けられてもよい。また、マスク濃度算出カーブを主要被写体までの距離の関数とし、距離に応じて連続的に変化させることも可能である。
【符号の説明】
【００６７】
１０ デジタルカメラ
１１ 撮影レンズ
１２ 撮像素子
１３ 撮像素子ドライバ
１４ 制御部
１５ 画像メモリ
１６ 記録媒体
１７ モニタ
１８ レンズ駆動部
１９ 絞り
２０ 絞り駆動部
２１ スイッチ群
【特許請求の範囲】
【請求項１】
画像の中から主要用被写体を選択する主要被写体選択手段と、
前記画像に対して画像処理を施す画像処理手段とを備え、
前記画像処理手段が、前記主要被写体までの距離に応じた画像処理を施す
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理がぼかし処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記主要被写体までの距離が所定距離よりも遠いときに、前記主要被写体よりも遠い前記被写体にのみぼかし処理を施すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記主要被写体までの距離が所定距離よりも近いときに、前記主要被写体を中心とする深度を強調するぼかし処理を施すことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記ぼかし処理における強度を調整するためのぼかし設定手段を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画像撮影時のＦ値に基づき、前記ぼかし処理を変更する前記主要被写体までの距離を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画像の各領域に対する前記被写体までの距離情報を記録した距離マップデータを参照して前記距離が特定されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
請求項１に記載の画像処理装置を備えることを特徴とするデジタルカメラ。
【請求項９】
前記画像の各領域に対する前記被写体までの距離情報を取得する手段を備えることを特徴とする請求項８に記載のデジタルカメラ。
【請求項１０】
画像の中から主要用被写体を選択するステップと、
前記画像に対して前記主要被写体までの距離に応じた画像処理を施すステップと
を備えることを特徴とする画像処理方法。
【請求項１１】
画像の中から主要用被写体を選択する手順と、
前記画像に対して前記主要被写体までの距離に応じた画像処理を施す手順と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
画像の中から主要用被写体を選択する主要被写体選択手段と、
前記画像に対して画像処理を施す画像処理手段とを備え、
前記画像処理手段が、前記主要被写体までの距離に応じた画像処理を施す
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理がぼかし処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記主要被写体までの距離が所定距離よりも遠いときに、前記主要被写体よりも遠い前記被写体にのみぼかし処理を施すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記主要被写体までの距離が所定距離よりも近いときに、前記主要被写体を中心とする深度を強調するぼかし処理を施すことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記ぼかし処理における強度を調整するためのぼかし設定手段を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画像撮影時のＦ値に基づき、前記ぼかし処理を変更する前記主要被写体までの距離を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画像の各領域に対する前記被写体までの距離情報を記録した距離マップデータを参照して前記距離が特定されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
請求項１に記載の画像処理装置を備えることを特徴とするデジタルカメラ。
【請求項９】
前記画像の各領域に対する前記被写体までの距離情報を取得する手段を備えることを特徴とする請求項８に記載のデジタルカメラ。
【請求項１０】
画像の中から主要用被写体を選択するステップと、
前記画像に対して前記主要被写体までの距離に応じた画像処理を施すステップと
を備えることを特徴とする画像処理方法。
【請求項１１】
画像の中から主要用被写体を選択する手順と、
前記画像に対して前記主要被写体までの距離に応じた画像処理を施す手順と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図５】
【公開番号】特開２０１３−５０８４（Ｐ２０１３−５０８４Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３２１３４（Ｐ２０１１−１３２１３４）
【出願日】平成２３年６月１４日（２０１１．６．１４）
【出願人】（３１１０１５２０７）ペンタックスリコーイメージング株式会社 (81)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１４日（２０１１．６．１４）
【出願人】（３１１０１５２０７）ペンタックスリコーイメージング株式会社 (81)
【Ｆターム（参考）】
[ Back to top ]