画像処理装置、画像処理方法およびプログラム
【課題】画像中の注目領域を撮影情報に基づいて適切に決定するための、画像処理装置、画像処理方法およびプログラムする。
【解決手段】複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、を備える、画像処理装置。
【解決手段】複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、を備える、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近日、撮影装置には多様な撮影モードが実装される傾向にある。例えば、ミニチュアモードによれば、撮影時の画像、または撮影後の画像を、被写界深度が浅いミニチュアのような画像にすることが可能である。
【０００３】
このようなミニチュアモードに関し、例えば特許文献１には、主要被写体を含まない背景領域に、レンズの焦点距離に応じた度合いでぼかし処理を施す撮影装置が開示されている。ここで、特許文献１には、画像中の合焦位置に対応する領域を主要被写体領域に決定する例や、被写体として複数の顔領域が抽出された場合には、最もサイズが大きい顔領域、または、最も中央に寄っている顔領域を基準として主要被写体領域を決定する例が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１８３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、複数の合焦位置が存在する画像から、ぼかし処理を施さない注目領域を１つの合焦位置を基準にして決定する場合と、複数の合焦位置を基準にして決定する場合とでは、得られる結果が異なる。したがって、注目領域を画一的に１つの合焦位置を基準にして決定すると、ユーザが期待した結果を得られない場合が生じ得る。
【０００６】
そこで、本開示では、画像中の注目領域を撮影情報に基づいて適切に決定することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定することと、前記注目領域に含まれない周辺領域に対してぼかし処理を施すことと、を含む画像処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータを、複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、画像中の注目領域を撮影情報に基づいて適切に決定することができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による画像処理システム１の構成を示した説明図である。
【図２】フォーカスポイントの配置例を示した説明図である。
【図３】ミニチュア処理を示した説明図である。
【図４】ミニチュア処理を示した説明図である。
【図５】ミニチュア処理を示した説明図である。
【図６】複数の合焦位置が存在する画像の具体例を示した説明図である。
【図７】複数の合焦位置が存在する画像の具体例を示した説明図である。
【図８】本実施形態による画像処理装置２０の構成を示した説明図である。
【図９】画像処理装置２０の第１の動作例を示したフローチャートである。
【図１０】複数の合焦位置を考慮した注目領域の決定方法を示したフローチャートである。
【図１１】分散度の算出方法を示した説明図である。
【図１２】分散度の算出方法を示した説明図である。
【図１３】画像処理装置の第２の動作例を示したフローチャートである。
【図１４】画像処理装置のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１４】
また、以下に示す項目順序に従って本開示を説明する。
１．画像処理システムの基本構成
２．画像処理装置の構成
３．画像処理装置の動作
３−１．第１の動作例
３−２．第２の動作例
４．ハードウェア構成
５．むすび
【００１５】
＜１．画像処理システムの基本構成＞
本開示による技術は、一例として「２．画像処理装置の構成」〜「３．画像処理装置の動作」において詳細に説明するような形態で実施され得る。本開示の実施形態による画像処理装置（２０）は、
Ａ．複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
Ｂ．前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、を備える。
【００１６】
以下では、まず、このような画像処理装置を含む画像処理システムの基本構成について説明する。
【００１７】
図１は、本開示の実施形態による画像処理システム１の構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理システム１は、撮影装置１０と、画像処理装置２０と、を備える。
【００１８】
（撮影装置１０）
撮影装置１０は、被写体を撮影して画像を取得する。具体的には、撮影装置１０は、撮影レンズおよびズームレンズなどの撮影光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備える。撮影光学系は、被写体から発せられる光を集光して、撮影素子の撮像面に被写体像を形成する。撮影素子は、撮影光学系によって形成された被写体像を電気的な画像信号に変換する。
【００１９】
また、本実施形態による撮影装置１０は、撮像面の複数箇所にフォーカスポイントを有し、フォーカスポイント毎の合焦状態を検出することができる。例えば、図２に示したように、撮像面１４の３５箇所にフォーカスポイントＰ１〜Ｐ３５が配置され、撮影装置１０は、各フォーカスポイントにおける合焦の度合いを検出することができる。
【００２０】
このような撮影装置１０は、画像の撮影時に撮影情報を取得し、図１に示したように、画像および撮影情報を含む画像ファイルを画像処理装置２０に供給する。なお、撮影情報は、例えば、画像撮影時の焦点距離を示す焦点距離情報、およびフォーカス情報を含む。また、フォーカス情報は、各フォーカスポイントにおける合焦の度合いを示す情報や、撮影時のレンズ位置のような光学系の状態を示す情報を含んでもよい。
【００２１】
（画像処理装置２０）
画像処理装置２０は、撮影装置１０から供給される画像に多様な画像処理を施す機能を有する。例えば、画像処理装置２０は、撮影装置１０から供給される画像に、当該画像の撮影情報を用いてミニチュア処理を施すことが可能である。ミニチュア処理は、画像中の注目領域はぼかさず、注目領域の周辺領域にぼかし処理を施す処理であり、これにより、被写界深度が浅いミニチュアのような画像を得ることが可能である。以下、図３〜図５を参照し、ミニチュア処理について簡単に説明する。
【００２２】
図３〜図５は、ミニチュア処理を示した説明図である。なお、図３〜図５においては、ミニチュア処理による画像のぼけの強さを色の濃淡で表現している。すなわち、図３〜図５においては、ぼけの強い領域ほど薄い色を付している。
【００２３】
図３に示したように、画像の中央付近のフォーカスポイントＰ２０が画像中で唯一の合焦位置（すなわち、合焦の度合いが閾値を超えている位置）である場合、フォーカスポイントＰ２０を含む領域が注目領域として決定される。また、図４に示したように、画像の下部のフォーカスポイントＰ３０が画像中で唯一の合焦位置である場合、フォーカスポイントＰ３０を含む領域が注目領域として決定される。同様に、図５に示したように、画像の上部のフォーカスポイントＰ５が画像中で唯一の合焦位置である場合、フォーカスポイントＰ５を含む領域が注目領域として決定される。
【００２４】
そして、画像処理装置２０は、注目領域を中心に、注目領域の周辺領域にぼかし処理を施す。具体的には、画像処理装置２０は、図３〜図５に示したように、注目領域から離れるほど強いぼかし処理を施す。これにより、被写界深度が浅いミニチュアのような画像が得られる。または、画像処理装置２０は、合焦位置を中心に、合焦位置の周辺領域にぼかし処理を施してもよい。
【００２５】
なお、本明細書においては、上記のようなミニチュア処理を画像処理装置２０において行う例を説明するが、ミニチュア処理を行うための構成を撮影装置１０に設けることにより、撮影装置１０においてミニチュア処理を行うことも可能である。この場合、撮影装置１０は、画像の撮影後にミニチュア処理を行ってもよいし、画像の撮影時にミニチュア処理を行ってもよい。
【００２６】
また、画像処理装置２０の一例としてＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を示しているが、画像処理装置２０はＰＣに限定されない。例えば、画像処理装置２０は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、画像処理装置２０は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。
【００２７】
（背景）
上述したように、画像中に存在する合焦位置が１つである場合、その合焦位置を含むように注目領域を決定することができる。しかし、実際には、画像中に複数の合焦位置が存在する場合がある。以下、複数の合焦位置が存在する画像の具体例を説明する。
【００２８】
図６および図７は、複数の合焦位置が存在する画像の具体例を示した説明図である。図６に示した例では、人物の顔領域に対応するフォーカスポイントＰ１１、Ｐ１２、Ｐ１８およびＰ１９において画像が合焦している。特にフォーカスポイントＰ１２の合焦度合いが最も高い。
【００２９】
また、図７に示した例では、道路脇の木の領域に対応するフォーカスポイントＰ２、Ｐ６、Ｐ９、Ｐ１３、Ｐ１５、Ｐ２１、Ｐ２２およびＰ２８において画像が合焦している。特にフォーカスポイントＰ２８の合焦度合いが最も高い。
【００３０】
このような複数の合焦位置が存在する画像から注目領域を決定するための手法として、最合焦位置を含む領域を注目領域に決定する手法や、複数の合焦位置を考慮して例えば複数の合焦位置の重心位置を含む領域を注目領域に決定する手法などが挙げられる。
【００３１】
しかし、用いる手法によって決定される注目領域が異なる場合がある。例えば、図６に示したように合焦位置が１箇所に集中している場合には、各手法によって決定される注目領域に大差は無い。一方、図７に示したように合焦位置が分散している場合には、各手法で異なる注目領域が決定される。このように注目領域が異なると、ミニチュア処理により最終的に得られる画像も異なるので、注目領域が適切でない場合、ユーザが期待した結果を得ることが困難である。
【００３２】
そこで、上記事情を一着眼点にして本実施形態による画像処理装置２０を創作するに至った。本実施形態による画像処理装置２０は、画像中の注目領域を撮影情報に基づいて適切に決定することが可能である。以下、このような本実施形態による画像処理装置２０について詳細に説明する。
【００３３】
＜２．画像処理装置の構成＞
図８は、本実施形態による画像処理装置２０の構成を示した説明図である。図８に示したように、本実施形態による画像処理装置２０は、記憶部２１６と、注目領域決定部２２０と、ぼかし処理部２３０と、を備える。
【００３４】
記憶部２１６は、撮影装置１０から供給された画像および撮影情報からなる画像ファイルを記憶する。なお、記憶部２１６は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。
【００３５】
注目領域決定部２２０は、記憶部２１６に記憶されている画像について、当該画像の撮影情報に基づいて注目領域を決定するための手法を選択し、選択した手法によって当該画像の注目領域を決定する。注目領域を決定するための手法としては、最合焦位置を含む領域を注目領域に決定する手法や、複数の合焦位置を考慮して例えば複数の合焦位置の重心位置を含む領域を注目領域に決定する手法が挙げられる。
【００３６】
ここで、被写界深度が浅いと被写体の焦点が合い難いので、被写界深度の浅い画像において最も合焦度合いの高い最合焦位置は、ユーザが意図した被写体である可能性が高い。一方、被写界深度が深いと多くの被写体に焦点が合うので、被写界深度の深い画像の最合焦位置は、ユーザが意図した唯一の被写体ではない場合がある。このため、詳細については「３．画像処理装置の動作」で説明するように、注目領域決定部２２０は、画像撮影時の被写界深度に基づいて注目領域を決定するための手法を選択する。
【００３７】
なお、図３〜図５などにおいては注目領域が画像の水平方向に沿う領域である例を説明したが、注目領域の形態はかかる例に限定されない。例えば、注目領域は、画像の垂直方向に沿う領域であってもよいし、円形領域であってもよいし、水平方向および垂直方向の一部を構成する矩形領域であってもよい。
【００３８】
ぼかし処理部２３０は、注目領域決定部２２０により決定された注目領域の周辺領域に対してぼかし処理を施す画像処理部である。例えば、ぼかし処理部２３０は、注目領域からの距離に応じて異なるローパスフィルタを用いることにより、注目領域から離れた領域にはより強いぼかし処理を施してもよい。
【００３９】
＜３．画像処理装置の動作＞
以上、本実施形態による画像処理装置２０の構成を説明した。続いて、本実施形態による画像処理装置２０の動作例を説明する。
【００４０】
（第１の動作例）
図９は、画像処理装置２０の第１の動作例を示したフローチャートである。図９に示したように、まず、画像処理装置２０の注目領域決定部２２０は、処理対象の画像および当該画像の撮影情報を取得する（Ｓ３０８）。
【００４１】
そして、注目領域決定部２２０は、撮影情報に含まれるフォーカス情報に基づき、画像中に複数の合焦位置が存在するか否かを判断する（Ｓ３０８）。ここで、画像中に複数の合焦位置が存在しない場合、注目領域決定部２２０は、画像中の最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。なお、画像中に複数の合焦位置が存在するか否かの判断は、フォーカス情報が無い場合であっても、画像を解析することにより行うことが可能である。同様に、最合焦位置および合焦位置を画像解析により検出することも可能である。
【００４２】
一方、画像中に複数の合焦位置が存在する場合、注目領域決定部２２０は、撮影情報に含まれる焦点距離情報の示す焦点距離に基づいて注目領域の決定手法を選択する（Ｓ３１２）。
【００４３】
具体的には、焦点距離が長いほど被写界深度が浅く、焦点距離が短いほど被写界深度が深いので、注目領域決定部２２０は、焦点距離が閾値以上である場合には最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。
【００４４】
また、注目領域決定部２２０は、焦点距離が閾値未満である場合には、複数の合焦位置を考慮して注目領域を決定する（Ｓ３２０）。一例として、注目領域決定部２２０は、焦点距離が閾値未満である場合、画一的に、複数の合焦位置の例えば重心位置を含む領域を注目領域に決定してもよい。また、注目領域決定部２２０は、焦点距離が閾値未満である場合、図１０を参照して説明するように、複数の合焦位置の分散を考慮して注目領域を決定してもよい。
【００４５】
図１０は、複数の合焦位置の分散を考慮した注目領域の決定手法を示したフローチャートである。図１０に示したように、注目領域決定部２２０は、まず、複数の合焦位置の分散度を算出する（Ｓ３２２）。分散度の算出方法については後述する。
【００４６】
そして、注目領域決定部２２０は、分散度が閾値以上である場合（Ｓ３２４）、最合焦位置を含む領域を注目領域に決定する（Ｓ３２６）。一方、注目領域決定部２２０は、分散度が閾値未満である場合（Ｓ３２４）、複数の合焦位置に基づいて例えば複数の合焦位置の重心位置を含む領域を注目領域に決定する（Ｓ３２８）。
【００４７】
これにより、例えば図６および図７に示した画像の焦点距離が閾値未満である場合、合焦位置の分散度が閾値未満である図６に示した画像については、複数の合焦位置の例えば重心位置を含む領域が注目領域に決定される。一方、合焦位置の分散度が閾値以上である図７に示した画像については、最合焦位置Ｐ２８を含む領域が注目領域に決定される。
【００４８】
上記のようにしてＳ３１６またはＳ３２０で注目領域が決定されると、ぼかし処理部２３０は、図９に示したように、注目領域の周辺領域に対してぼかし処理を施す（Ｓ３３０）。
【００４９】
以上説明したように、画像処理装置２０の第１の動作例によれば、画像撮影時の焦点距離に応じて注目領域を適切に決定することが可能となる。また、画像処理装置２０の第１の動作例によれば、複数の合焦位置が存在する場合に複数の合焦位置の分散度を算出することにより、注目領域をより適切に決定することが可能である。
【００５０】
（補足）
ここで、図１１および図１２を参照し、注目領域決定部２２０がＳ３２２において合焦位置の分散度を算出するための方法を補足する。
【００５１】
−第１の算出方法
注目領域決定部２２０は、まず、下記数式（１）に従い、水平方向（Ｘ方向）で最も離れている合焦位置の距離ΔＸを算出し、下記数式（２）に従い、垂直方向（Ｙ方向）に最も離れている合焦位置の距離ΔＹを算出する。
ΔＸ＝Ｘｍａｘ−Ｘｍｉｎ （数式１）
ΔＹ＝Ｙｍａｘ−Ｙｍｉｎ （数式２）
【００５２】
なお、図１１に示したように、フォーカスポイントＰ１０、Ｐ１２、Ｐ２７およびＰ３０が合焦位置である場合、数式１で表現されるΔＸは、フォーカスポイントＰ３０とＰ２７の水平方向の距離に該当する。また、下記数式２で表現されるΔＹは、Ｐ１０およびＰ１２とＰ３０との垂直方向の距離に該当する。
【００５３】
そして、注目領域決定部２２０は、距離ΔＸおよび距離ΔＹを用いて、下記数式３に従って分散度を算出する。
分散度＝ΔＸ・ΔＹ
（数式３）
【００５４】
上記数式３により得られる分散度の大きさにより、画像における複数の合焦位置の散らばり具合を評価することができる。なお、上記数式３においては距離ΔＸと距離ΔＹを乗算する例を示しているが、分散度の算出するための演算はかかる例に限定されず、例えば、距離ΔＸと距離ΔＹを加算してもよい。かかる構成により、距離ΔＸまたは距離ΔＹが「０」であった場合に分散度が「０」として算出されてしまう場合を回避できる。
【００５５】
−第２の算出方法
また、上記の第１の算出方法では、水平方向上および垂直方向上での合焦位置の分散度を算出する方法を説明したが、注目領域決定部２２０は、水平方向上または垂直方向上のいずれかの合焦位置の分散度のみを算出してもよい。
【００５６】
例えば、図３〜図５に示したように注目領域が水平方向に沿う領域である場合、同一の垂直方向位置で合焦位置が水平方向上に分散していても、最合焦位置を含む注目領域、および、複数の合焦位置の重心位置を含む注目領域は一致する。このため、注目領域が水平方向に沿う領域である場合、水平方向上での合焦位置の分散度を算出する意義は薄いと考えられる。
【００５７】
そこで、注目領域決定部２２０は、注目領域が沿う方向（例えば、水平方向）と交差する方向（例えば、垂直方向）での合焦位置の分散度のみを算出してもよい。かかる構成により、画像処理装置２０の処理を簡略化することが可能である。
【００５８】
−第３の算出方法
また、注目領域決定部２２０は、複数の合焦位置を含むエリアの面積を分散度として算出してもよい。例えば、図１１に示したように、フォーカスポイントＰ１０、Ｐ１２、Ｐ２７およびＰ３０が合焦位置である場合、注目領域決定部２２０は、フォーカスポイントＰ１０、Ｐ１２、Ｐ２７およびＰ３０を含むエリアの面積を分散度として算出してもよい。
【００５９】
（３−２．第２の動作例）
図１３は、画像処理装置２０の第２の動作例を示したフローチャートである。図１３に示したように、まず、画像処理装置２０の注目領域決定部２２０は、処理対象の画像および当該画像の撮影情報を取得する（Ｓ３０８）。
【００６０】
そして、注目領域決定部２２０は、撮影情報に含まれるフォーカス情報に基づき、画像中に複数の合焦位置が存在するか否かを判断する（Ｓ３０８）。ここで、画像中に複数の合焦位置が存在しない場合、注目領域決定部２２０は、画像中の最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。
【００６１】
一方、画像中に複数の合焦位置が存在する場合、注目領域決定部２２０は、撮影情報に含まれるフォーカス情報から得られる最合焦位置の被写体距離が閾値未満であるか否かに基づき、注目領域の決定手法を選択する（Ｓ３３４）。
【００６２】
具体的には、被写体距離が近いほど被写界深度が浅く、被写体距離が遠いほど被写界深度が深いので、注目領域決定部２２０は、最合焦位置の被写体距離が閾値未満である場合には最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。一方、注目領域決定部２２０は、最合焦位置の被写体距離が閾値以上である場合、複数の合焦位置を考慮して注目領域を決定する（Ｓ３２０）。例えば、注目領域決定部２２０は、第１の動作例で説明したように、複数の合焦位置の例えば重心位置を含む領域を注目領域に決定してもよいし、複数の合焦位置の分散を考慮して注目領域を決定してもよい。
【００６３】
＜４．ハードウェア構成＞
以上説明した画像処理装置２０による画像処理は、以下に図１４を参照して説明する画像処理装置２０が有するハードウェアと協働して実現される。
【００６４】
図１４は、画像処理装置２０のハードウェア構成を示したブロック図である。画像処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、画像処理装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。
【００６５】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。
【００６６】
ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【００６７】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。画像処理装置２０のユーザは、該入力装置２０８を操作することにより、画像処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００６８】
出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【００６９】
ストレージ装置２１１は、本実施形態にかかる画像処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【００７０】
ドライブ２１２は、記憶媒体用リーダライタであり、画像処理装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００７１】
通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００７２】
＜５．むすび＞
以上説明したように、本実施形態の画像処理装置２０によれば、撮影情報のうちの被写界深度に関する情報に基づき注目領域の決定することができるので、画像に適したミニチュア効果を得ることが可能である。また、本実施形態の画像処理装置２０によれば、複数の合焦位置が存在する場合に複数の合焦位置の分散度を算出することにより、注目領域をより適切に決定することが可能となる。
【００７３】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７４】
例えば、本明細書の画像処理装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７５】
また、画像処理装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した画像処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【００７６】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
を備える、画像処理装置。
（２）
前記注目領域決定部は、前記撮影情報に基づき、前記入力画像の撮影時の被写界深度に応じた手法に従って前記注目領域を決定する、前記（１）に記載の画像処理装置。
（３）
前記撮影情報は、前記入力画像中の各位置の合焦状態を示す合焦情報を含み、
前記注目領域決定部は、前記入力画像中に複数の合焦位置が存在しない場合、最合焦位置を含む領域を前記注目領域に決定し、前記入力画像中に複数の合焦位置が存在する場合、前記撮影情報に含まれる他の前記被写界深度に関する情報に応じた手法で前記注目領域に決定する、前記（２）に記載の画像処理装置。
（４）
前記撮影情報は焦点距離を示す焦点距離情報を含み、
前記注目領域決定部は、前記焦点距離が第１の閾値より高い場合には最合焦位置を含む領域を前記注目領域に決定し、前記焦点距離が前記第１の閾値以下の場合には複数の合焦位置から前記注目領域を決定する、前記（３）に記載の画像処理装置。
（５）
前記注目領域決定部は、前記焦点距離が前記第１の閾値以下の場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、前記（４）に記載の画像処理装置。
（６）
前記撮影情報は被写体距離を特定可能な情報を含み、
前記注目領域決定部は、前記被写体距離が前記第３の閾値以下の場合、最合焦位置を含む領域を前記注目領域に決定し、前記被写体距離が前記第３の閾値より高い場合には複数の合焦位置から前記注目領域を決定する、前記（３）に記載の画像処理装置。
（７）
前記注目領域決定部は、前記被写体距離が前記第３の閾値より高い場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、前記（６）に記載の画像処理装置。
（８）
前記注目領域は前記入力画像中の第１の方向に沿う領域であり、
前記注目領域決定部は、前記複数の合焦位置の、前記第１の方向と交差する第２の方向上での分散度を算出する、前記（５）または（７）に記載の画像処理装置。
（９）
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定することと、
前記注目領域に含まれない周辺領域に対してぼかし処理を施すことと、
を含む、画像処理方法。
（１０）
コンピュータを、
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
として機能させるための、プログラム。
【符号の説明】
【００７７】
１０ 撮影装置
２０ 画像処理装置
２１６ 記憶部
２２０ 注目領域決定部
２３０ ぼかし処理部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近日、撮影装置には多様な撮影モードが実装される傾向にある。例えば、ミニチュアモードによれば、撮影時の画像、または撮影後の画像を、被写界深度が浅いミニチュアのような画像にすることが可能である。
【０００３】
このようなミニチュアモードに関し、例えば特許文献１には、主要被写体を含まない背景領域に、レンズの焦点距離に応じた度合いでぼかし処理を施す撮影装置が開示されている。ここで、特許文献１には、画像中の合焦位置に対応する領域を主要被写体領域に決定する例や、被写体として複数の顔領域が抽出された場合には、最もサイズが大きい顔領域、または、最も中央に寄っている顔領域を基準として主要被写体領域を決定する例が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１８３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、複数の合焦位置が存在する画像から、ぼかし処理を施さない注目領域を１つの合焦位置を基準にして決定する場合と、複数の合焦位置を基準にして決定する場合とでは、得られる結果が異なる。したがって、注目領域を画一的に１つの合焦位置を基準にして決定すると、ユーザが期待した結果を得られない場合が生じ得る。
【０００６】
そこで、本開示では、画像中の注目領域を撮影情報に基づいて適切に決定することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定することと、前記注目領域に含まれない周辺領域に対してぼかし処理を施すことと、を含む画像処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータを、複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、画像中の注目領域を撮影情報に基づいて適切に決定することができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による画像処理システム１の構成を示した説明図である。
【図２】フォーカスポイントの配置例を示した説明図である。
【図３】ミニチュア処理を示した説明図である。
【図４】ミニチュア処理を示した説明図である。
【図５】ミニチュア処理を示した説明図である。
【図６】複数の合焦位置が存在する画像の具体例を示した説明図である。
【図７】複数の合焦位置が存在する画像の具体例を示した説明図である。
【図８】本実施形態による画像処理装置２０の構成を示した説明図である。
【図９】画像処理装置２０の第１の動作例を示したフローチャートである。
【図１０】複数の合焦位置を考慮した注目領域の決定方法を示したフローチャートである。
【図１１】分散度の算出方法を示した説明図である。
【図１２】分散度の算出方法を示した説明図である。
【図１３】画像処理装置の第２の動作例を示したフローチャートである。
【図１４】画像処理装置のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１４】
また、以下に示す項目順序に従って本開示を説明する。
１．画像処理システムの基本構成
２．画像処理装置の構成
３．画像処理装置の動作
３−１．第１の動作例
３−２．第２の動作例
４．ハードウェア構成
５．むすび
【００１５】
＜１．画像処理システムの基本構成＞
本開示による技術は、一例として「２．画像処理装置の構成」〜「３．画像処理装置の動作」において詳細に説明するような形態で実施され得る。本開示の実施形態による画像処理装置（２０）は、
Ａ．複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
Ｂ．前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、を備える。
【００１６】
以下では、まず、このような画像処理装置を含む画像処理システムの基本構成について説明する。
【００１７】
図１は、本開示の実施形態による画像処理システム１の構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理システム１は、撮影装置１０と、画像処理装置２０と、を備える。
【００１８】
（撮影装置１０）
撮影装置１０は、被写体を撮影して画像を取得する。具体的には、撮影装置１０は、撮影レンズおよびズームレンズなどの撮影光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備える。撮影光学系は、被写体から発せられる光を集光して、撮影素子の撮像面に被写体像を形成する。撮影素子は、撮影光学系によって形成された被写体像を電気的な画像信号に変換する。
【００１９】
また、本実施形態による撮影装置１０は、撮像面の複数箇所にフォーカスポイントを有し、フォーカスポイント毎の合焦状態を検出することができる。例えば、図２に示したように、撮像面１４の３５箇所にフォーカスポイントＰ１〜Ｐ３５が配置され、撮影装置１０は、各フォーカスポイントにおける合焦の度合いを検出することができる。
【００２０】
このような撮影装置１０は、画像の撮影時に撮影情報を取得し、図１に示したように、画像および撮影情報を含む画像ファイルを画像処理装置２０に供給する。なお、撮影情報は、例えば、画像撮影時の焦点距離を示す焦点距離情報、およびフォーカス情報を含む。また、フォーカス情報は、各フォーカスポイントにおける合焦の度合いを示す情報や、撮影時のレンズ位置のような光学系の状態を示す情報を含んでもよい。
【００２１】
（画像処理装置２０）
画像処理装置２０は、撮影装置１０から供給される画像に多様な画像処理を施す機能を有する。例えば、画像処理装置２０は、撮影装置１０から供給される画像に、当該画像の撮影情報を用いてミニチュア処理を施すことが可能である。ミニチュア処理は、画像中の注目領域はぼかさず、注目領域の周辺領域にぼかし処理を施す処理であり、これにより、被写界深度が浅いミニチュアのような画像を得ることが可能である。以下、図３〜図５を参照し、ミニチュア処理について簡単に説明する。
【００２２】
図３〜図５は、ミニチュア処理を示した説明図である。なお、図３〜図５においては、ミニチュア処理による画像のぼけの強さを色の濃淡で表現している。すなわち、図３〜図５においては、ぼけの強い領域ほど薄い色を付している。
【００２３】
図３に示したように、画像の中央付近のフォーカスポイントＰ２０が画像中で唯一の合焦位置（すなわち、合焦の度合いが閾値を超えている位置）である場合、フォーカスポイントＰ２０を含む領域が注目領域として決定される。また、図４に示したように、画像の下部のフォーカスポイントＰ３０が画像中で唯一の合焦位置である場合、フォーカスポイントＰ３０を含む領域が注目領域として決定される。同様に、図５に示したように、画像の上部のフォーカスポイントＰ５が画像中で唯一の合焦位置である場合、フォーカスポイントＰ５を含む領域が注目領域として決定される。
【００２４】
そして、画像処理装置２０は、注目領域を中心に、注目領域の周辺領域にぼかし処理を施す。具体的には、画像処理装置２０は、図３〜図５に示したように、注目領域から離れるほど強いぼかし処理を施す。これにより、被写界深度が浅いミニチュアのような画像が得られる。または、画像処理装置２０は、合焦位置を中心に、合焦位置の周辺領域にぼかし処理を施してもよい。
【００２５】
なお、本明細書においては、上記のようなミニチュア処理を画像処理装置２０において行う例を説明するが、ミニチュア処理を行うための構成を撮影装置１０に設けることにより、撮影装置１０においてミニチュア処理を行うことも可能である。この場合、撮影装置１０は、画像の撮影後にミニチュア処理を行ってもよいし、画像の撮影時にミニチュア処理を行ってもよい。
【００２６】
また、画像処理装置２０の一例としてＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を示しているが、画像処理装置２０はＰＣに限定されない。例えば、画像処理装置２０は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、画像処理装置２０は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。
【００２７】
（背景）
上述したように、画像中に存在する合焦位置が１つである場合、その合焦位置を含むように注目領域を決定することができる。しかし、実際には、画像中に複数の合焦位置が存在する場合がある。以下、複数の合焦位置が存在する画像の具体例を説明する。
【００２８】
図６および図７は、複数の合焦位置が存在する画像の具体例を示した説明図である。図６に示した例では、人物の顔領域に対応するフォーカスポイントＰ１１、Ｐ１２、Ｐ１８およびＰ１９において画像が合焦している。特にフォーカスポイントＰ１２の合焦度合いが最も高い。
【００２９】
また、図７に示した例では、道路脇の木の領域に対応するフォーカスポイントＰ２、Ｐ６、Ｐ９、Ｐ１３、Ｐ１５、Ｐ２１、Ｐ２２およびＰ２８において画像が合焦している。特にフォーカスポイントＰ２８の合焦度合いが最も高い。
【００３０】
このような複数の合焦位置が存在する画像から注目領域を決定するための手法として、最合焦位置を含む領域を注目領域に決定する手法や、複数の合焦位置を考慮して例えば複数の合焦位置の重心位置を含む領域を注目領域に決定する手法などが挙げられる。
【００３１】
しかし、用いる手法によって決定される注目領域が異なる場合がある。例えば、図６に示したように合焦位置が１箇所に集中している場合には、各手法によって決定される注目領域に大差は無い。一方、図７に示したように合焦位置が分散している場合には、各手法で異なる注目領域が決定される。このように注目領域が異なると、ミニチュア処理により最終的に得られる画像も異なるので、注目領域が適切でない場合、ユーザが期待した結果を得ることが困難である。
【００３２】
そこで、上記事情を一着眼点にして本実施形態による画像処理装置２０を創作するに至った。本実施形態による画像処理装置２０は、画像中の注目領域を撮影情報に基づいて適切に決定することが可能である。以下、このような本実施形態による画像処理装置２０について詳細に説明する。
【００３３】
＜２．画像処理装置の構成＞
図８は、本実施形態による画像処理装置２０の構成を示した説明図である。図８に示したように、本実施形態による画像処理装置２０は、記憶部２１６と、注目領域決定部２２０と、ぼかし処理部２３０と、を備える。
【００３４】
記憶部２１６は、撮影装置１０から供給された画像および撮影情報からなる画像ファイルを記憶する。なお、記憶部２１６は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。
【００３５】
注目領域決定部２２０は、記憶部２１６に記憶されている画像について、当該画像の撮影情報に基づいて注目領域を決定するための手法を選択し、選択した手法によって当該画像の注目領域を決定する。注目領域を決定するための手法としては、最合焦位置を含む領域を注目領域に決定する手法や、複数の合焦位置を考慮して例えば複数の合焦位置の重心位置を含む領域を注目領域に決定する手法が挙げられる。
【００３６】
ここで、被写界深度が浅いと被写体の焦点が合い難いので、被写界深度の浅い画像において最も合焦度合いの高い最合焦位置は、ユーザが意図した被写体である可能性が高い。一方、被写界深度が深いと多くの被写体に焦点が合うので、被写界深度の深い画像の最合焦位置は、ユーザが意図した唯一の被写体ではない場合がある。このため、詳細については「３．画像処理装置の動作」で説明するように、注目領域決定部２２０は、画像撮影時の被写界深度に基づいて注目領域を決定するための手法を選択する。
【００３７】
なお、図３〜図５などにおいては注目領域が画像の水平方向に沿う領域である例を説明したが、注目領域の形態はかかる例に限定されない。例えば、注目領域は、画像の垂直方向に沿う領域であってもよいし、円形領域であってもよいし、水平方向および垂直方向の一部を構成する矩形領域であってもよい。
【００３８】
ぼかし処理部２３０は、注目領域決定部２２０により決定された注目領域の周辺領域に対してぼかし処理を施す画像処理部である。例えば、ぼかし処理部２３０は、注目領域からの距離に応じて異なるローパスフィルタを用いることにより、注目領域から離れた領域にはより強いぼかし処理を施してもよい。
【００３９】
＜３．画像処理装置の動作＞
以上、本実施形態による画像処理装置２０の構成を説明した。続いて、本実施形態による画像処理装置２０の動作例を説明する。
【００４０】
（第１の動作例）
図９は、画像処理装置２０の第１の動作例を示したフローチャートである。図９に示したように、まず、画像処理装置２０の注目領域決定部２２０は、処理対象の画像および当該画像の撮影情報を取得する（Ｓ３０８）。
【００４１】
そして、注目領域決定部２２０は、撮影情報に含まれるフォーカス情報に基づき、画像中に複数の合焦位置が存在するか否かを判断する（Ｓ３０８）。ここで、画像中に複数の合焦位置が存在しない場合、注目領域決定部２２０は、画像中の最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。なお、画像中に複数の合焦位置が存在するか否かの判断は、フォーカス情報が無い場合であっても、画像を解析することにより行うことが可能である。同様に、最合焦位置および合焦位置を画像解析により検出することも可能である。
【００４２】
一方、画像中に複数の合焦位置が存在する場合、注目領域決定部２２０は、撮影情報に含まれる焦点距離情報の示す焦点距離に基づいて注目領域の決定手法を選択する（Ｓ３１２）。
【００４３】
具体的には、焦点距離が長いほど被写界深度が浅く、焦点距離が短いほど被写界深度が深いので、注目領域決定部２２０は、焦点距離が閾値以上である場合には最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。
【００４４】
また、注目領域決定部２２０は、焦点距離が閾値未満である場合には、複数の合焦位置を考慮して注目領域を決定する（Ｓ３２０）。一例として、注目領域決定部２２０は、焦点距離が閾値未満である場合、画一的に、複数の合焦位置の例えば重心位置を含む領域を注目領域に決定してもよい。また、注目領域決定部２２０は、焦点距離が閾値未満である場合、図１０を参照して説明するように、複数の合焦位置の分散を考慮して注目領域を決定してもよい。
【００４５】
図１０は、複数の合焦位置の分散を考慮した注目領域の決定手法を示したフローチャートである。図１０に示したように、注目領域決定部２２０は、まず、複数の合焦位置の分散度を算出する（Ｓ３２２）。分散度の算出方法については後述する。
【００４６】
そして、注目領域決定部２２０は、分散度が閾値以上である場合（Ｓ３２４）、最合焦位置を含む領域を注目領域に決定する（Ｓ３２６）。一方、注目領域決定部２２０は、分散度が閾値未満である場合（Ｓ３２４）、複数の合焦位置に基づいて例えば複数の合焦位置の重心位置を含む領域を注目領域に決定する（Ｓ３２８）。
【００４７】
これにより、例えば図６および図７に示した画像の焦点距離が閾値未満である場合、合焦位置の分散度が閾値未満である図６に示した画像については、複数の合焦位置の例えば重心位置を含む領域が注目領域に決定される。一方、合焦位置の分散度が閾値以上である図７に示した画像については、最合焦位置Ｐ２８を含む領域が注目領域に決定される。
【００４８】
上記のようにしてＳ３１６またはＳ３２０で注目領域が決定されると、ぼかし処理部２３０は、図９に示したように、注目領域の周辺領域に対してぼかし処理を施す（Ｓ３３０）。
【００４９】
以上説明したように、画像処理装置２０の第１の動作例によれば、画像撮影時の焦点距離に応じて注目領域を適切に決定することが可能となる。また、画像処理装置２０の第１の動作例によれば、複数の合焦位置が存在する場合に複数の合焦位置の分散度を算出することにより、注目領域をより適切に決定することが可能である。
【００５０】
（補足）
ここで、図１１および図１２を参照し、注目領域決定部２２０がＳ３２２において合焦位置の分散度を算出するための方法を補足する。
【００５１】
−第１の算出方法
注目領域決定部２２０は、まず、下記数式（１）に従い、水平方向（Ｘ方向）で最も離れている合焦位置の距離ΔＸを算出し、下記数式（２）に従い、垂直方向（Ｙ方向）に最も離れている合焦位置の距離ΔＹを算出する。
ΔＸ＝Ｘｍａｘ−Ｘｍｉｎ （数式１）
ΔＹ＝Ｙｍａｘ−Ｙｍｉｎ （数式２）
【００５２】
なお、図１１に示したように、フォーカスポイントＰ１０、Ｐ１２、Ｐ２７およびＰ３０が合焦位置である場合、数式１で表現されるΔＸは、フォーカスポイントＰ３０とＰ２７の水平方向の距離に該当する。また、下記数式２で表現されるΔＹは、Ｐ１０およびＰ１２とＰ３０との垂直方向の距離に該当する。
【００５３】
そして、注目領域決定部２２０は、距離ΔＸおよび距離ΔＹを用いて、下記数式３に従って分散度を算出する。
分散度＝ΔＸ・ΔＹ
（数式３）
【００５４】
上記数式３により得られる分散度の大きさにより、画像における複数の合焦位置の散らばり具合を評価することができる。なお、上記数式３においては距離ΔＸと距離ΔＹを乗算する例を示しているが、分散度の算出するための演算はかかる例に限定されず、例えば、距離ΔＸと距離ΔＹを加算してもよい。かかる構成により、距離ΔＸまたは距離ΔＹが「０」であった場合に分散度が「０」として算出されてしまう場合を回避できる。
【００５５】
−第２の算出方法
また、上記の第１の算出方法では、水平方向上および垂直方向上での合焦位置の分散度を算出する方法を説明したが、注目領域決定部２２０は、水平方向上または垂直方向上のいずれかの合焦位置の分散度のみを算出してもよい。
【００５６】
例えば、図３〜図５に示したように注目領域が水平方向に沿う領域である場合、同一の垂直方向位置で合焦位置が水平方向上に分散していても、最合焦位置を含む注目領域、および、複数の合焦位置の重心位置を含む注目領域は一致する。このため、注目領域が水平方向に沿う領域である場合、水平方向上での合焦位置の分散度を算出する意義は薄いと考えられる。
【００５７】
そこで、注目領域決定部２２０は、注目領域が沿う方向（例えば、水平方向）と交差する方向（例えば、垂直方向）での合焦位置の分散度のみを算出してもよい。かかる構成により、画像処理装置２０の処理を簡略化することが可能である。
【００５８】
−第３の算出方法
また、注目領域決定部２２０は、複数の合焦位置を含むエリアの面積を分散度として算出してもよい。例えば、図１１に示したように、フォーカスポイントＰ１０、Ｐ１２、Ｐ２７およびＰ３０が合焦位置である場合、注目領域決定部２２０は、フォーカスポイントＰ１０、Ｐ１２、Ｐ２７およびＰ３０を含むエリアの面積を分散度として算出してもよい。
【００５９】
（３−２．第２の動作例）
図１３は、画像処理装置２０の第２の動作例を示したフローチャートである。図１３に示したように、まず、画像処理装置２０の注目領域決定部２２０は、処理対象の画像および当該画像の撮影情報を取得する（Ｓ３０８）。
【００６０】
そして、注目領域決定部２２０は、撮影情報に含まれるフォーカス情報に基づき、画像中に複数の合焦位置が存在するか否かを判断する（Ｓ３０８）。ここで、画像中に複数の合焦位置が存在しない場合、注目領域決定部２２０は、画像中の最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。
【００６１】
一方、画像中に複数の合焦位置が存在する場合、注目領域決定部２２０は、撮影情報に含まれるフォーカス情報から得られる最合焦位置の被写体距離が閾値未満であるか否かに基づき、注目領域の決定手法を選択する（Ｓ３３４）。
【００６２】
具体的には、被写体距離が近いほど被写界深度が浅く、被写体距離が遠いほど被写界深度が深いので、注目領域決定部２２０は、最合焦位置の被写体距離が閾値未満である場合には最合焦位置を含む領域を注目領域に決定する（Ｓ３１６）。一方、注目領域決定部２２０は、最合焦位置の被写体距離が閾値以上である場合、複数の合焦位置を考慮して注目領域を決定する（Ｓ３２０）。例えば、注目領域決定部２２０は、第１の動作例で説明したように、複数の合焦位置の例えば重心位置を含む領域を注目領域に決定してもよいし、複数の合焦位置の分散を考慮して注目領域を決定してもよい。
【００６３】
＜４．ハードウェア構成＞
以上説明した画像処理装置２０による画像処理は、以下に図１４を参照して説明する画像処理装置２０が有するハードウェアと協働して実現される。
【００６４】
図１４は、画像処理装置２０のハードウェア構成を示したブロック図である。画像処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、画像処理装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。
【００６５】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。
【００６６】
ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【００６７】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。画像処理装置２０のユーザは、該入力装置２０８を操作することにより、画像処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００６８】
出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【００６９】
ストレージ装置２１１は、本実施形態にかかる画像処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【００７０】
ドライブ２１２は、記憶媒体用リーダライタであり、画像処理装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００７１】
通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００７２】
＜５．むすび＞
以上説明したように、本実施形態の画像処理装置２０によれば、撮影情報のうちの被写界深度に関する情報に基づき注目領域の決定することができるので、画像に適したミニチュア効果を得ることが可能である。また、本実施形態の画像処理装置２０によれば、複数の合焦位置が存在する場合に複数の合焦位置の分散度を算出することにより、注目領域をより適切に決定することが可能となる。
【００７３】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７４】
例えば、本明細書の画像処理装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７５】
また、画像処理装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した画像処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【００７６】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
を備える、画像処理装置。
（２）
前記注目領域決定部は、前記撮影情報に基づき、前記入力画像の撮影時の被写界深度に応じた手法に従って前記注目領域を決定する、前記（１）に記載の画像処理装置。
（３）
前記撮影情報は、前記入力画像中の各位置の合焦状態を示す合焦情報を含み、
前記注目領域決定部は、前記入力画像中に複数の合焦位置が存在しない場合、最合焦位置を含む領域を前記注目領域に決定し、前記入力画像中に複数の合焦位置が存在する場合、前記撮影情報に含まれる他の前記被写界深度に関する情報に応じた手法で前記注目領域に決定する、前記（２）に記載の画像処理装置。
（４）
前記撮影情報は焦点距離を示す焦点距離情報を含み、
前記注目領域決定部は、前記焦点距離が第１の閾値より高い場合には最合焦位置を含む領域を前記注目領域に決定し、前記焦点距離が前記第１の閾値以下の場合には複数の合焦位置から前記注目領域を決定する、前記（３）に記載の画像処理装置。
（５）
前記注目領域決定部は、前記焦点距離が前記第１の閾値以下の場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、前記（４）に記載の画像処理装置。
（６）
前記撮影情報は被写体距離を特定可能な情報を含み、
前記注目領域決定部は、前記被写体距離が前記第３の閾値以下の場合、最合焦位置を含む領域を前記注目領域に決定し、前記被写体距離が前記第３の閾値より高い場合には複数の合焦位置から前記注目領域を決定する、前記（３）に記載の画像処理装置。
（７）
前記注目領域決定部は、前記被写体距離が前記第３の閾値より高い場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、前記（６）に記載の画像処理装置。
（８）
前記注目領域は前記入力画像中の第１の方向に沿う領域であり、
前記注目領域決定部は、前記複数の合焦位置の、前記第１の方向と交差する第２の方向上での分散度を算出する、前記（５）または（７）に記載の画像処理装置。
（９）
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定することと、
前記注目領域に含まれない周辺領域に対してぼかし処理を施すことと、
を含む、画像処理方法。
（１０）
コンピュータを、
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
として機能させるための、プログラム。
【符号の説明】
【００７７】
１０ 撮影装置
２０ 画像処理装置
２１６ 記憶部
２２０ 注目領域決定部
２３０ ぼかし処理部
【特許請求の範囲】
【請求項１】
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
を備える、画像処理装置。
【請求項２】
前記注目領域決定部は、前記撮影情報に基づき、前記入力画像の撮影時の被写界深度に応じた手法に従って前記注目領域を決定する、請求項１に記載の画像処理装置。
【請求項３】
前記撮影情報は、前記入力画像中の各位置の合焦状態を示す合焦情報を含み、
前記注目領域決定部は、前記入力画像中に複数の合焦位置が存在しない場合、最合焦位置を含む領域を前記注目領域に決定し、前記入力画像中に複数の合焦位置が存在する場合、前記撮影情報に含まれる他の前記被写界深度に関する情報に応じた手法で前記注目領域に決定する、請求項２に記載の画像処理装置。
【請求項４】
前記撮影情報は焦点距離を示す焦点距離情報を含み、
前記注目領域決定部は、前記焦点距離が第１の閾値より高い場合には最合焦位置を含む領域を前記注目領域に決定し、前記焦点距離が前記第１の閾値以下の場合には複数の合焦位置から前記注目領域を決定する、請求項３に記載の画像処理装置。
【請求項５】
前記注目領域決定部は、前記焦点距離が前記第１の閾値以下の場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、請求項４に記載の画像処理装置。
【請求項６】
前記撮影情報は被写体距離を特定可能な情報を含み、
前記注目領域決定部は、前記被写体距離が前記第３の閾値以下の場合、最合焦位置を含む領域を前記注目領域に決定し、前記被写体距離が前記第３の閾値より高い場合には複数の合焦位置から前記注目領域を決定する、請求項３に記載の画像処理装置。
【請求項７】
前記注目領域決定部は、前記被写体距離が前記第３の閾値より高い場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、請求項６に記載の画像処理装置。
【請求項８】
前記注目領域は前記入力画像中の第１の方向に沿う領域であり、
前記注目領域決定部は、前記複数の合焦位置の、前記第１の方向と交差する第２の方向上での分散度を算出する、請求項５に記載の画像処理装置。
【請求項９】
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定することと、
前記注目領域に含まれない周辺領域に対してぼかし処理を施すことと、
を含む、画像処理方法。
【請求項１０】
コンピュータを、
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
として機能させるための、プログラム。
【請求項１】
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
を備える、画像処理装置。
【請求項２】
前記注目領域決定部は、前記撮影情報に基づき、前記入力画像の撮影時の被写界深度に応じた手法に従って前記注目領域を決定する、請求項１に記載の画像処理装置。
【請求項３】
前記撮影情報は、前記入力画像中の各位置の合焦状態を示す合焦情報を含み、
前記注目領域決定部は、前記入力画像中に複数の合焦位置が存在しない場合、最合焦位置を含む領域を前記注目領域に決定し、前記入力画像中に複数の合焦位置が存在する場合、前記撮影情報に含まれる他の前記被写界深度に関する情報に応じた手法で前記注目領域に決定する、請求項２に記載の画像処理装置。
【請求項４】
前記撮影情報は焦点距離を示す焦点距離情報を含み、
前記注目領域決定部は、前記焦点距離が第１の閾値より高い場合には最合焦位置を含む領域を前記注目領域に決定し、前記焦点距離が前記第１の閾値以下の場合には複数の合焦位置から前記注目領域を決定する、請求項３に記載の画像処理装置。
【請求項５】
前記注目領域決定部は、前記焦点距離が前記第１の閾値以下の場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、請求項４に記載の画像処理装置。
【請求項６】
前記撮影情報は被写体距離を特定可能な情報を含み、
前記注目領域決定部は、前記被写体距離が前記第３の閾値以下の場合、最合焦位置を含む領域を前記注目領域に決定し、前記被写体距離が前記第３の閾値より高い場合には複数の合焦位置から前記注目領域を決定する、請求項３に記載の画像処理装置。
【請求項７】
前記注目領域決定部は、前記被写体距離が前記第３の閾値より高い場合、前記複数の合焦位置の分散度を算出し、前記分散度が第２の閾値より高い場合には前記最合焦位置を含む領域を前記注目領域に決定し、前記分散度が前記第２の閾値以下の場合には前記複数の合焦位置から前記注目領域を決定する、請求項６に記載の画像処理装置。
【請求項８】
前記注目領域は前記入力画像中の第１の方向に沿う領域であり、
前記注目領域決定部は、前記複数の合焦位置の、前記第１の方向と交差する第２の方向上での分散度を算出する、請求項５に記載の画像処理装置。
【請求項９】
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定することと、
前記注目領域に含まれない周辺領域に対してぼかし処理を施すことと、
を含む、画像処理方法。
【請求項１０】
コンピュータを、
複数の手法のうちで、入力画像の撮影に際して得られた撮影情報に応じた手法に従って前記入力画像における注目領域を決定する注目領域決定部と、
前記注目領域に含まれない周辺領域に対してぼかし処理を施す画像処理部と、
として機能させるための、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−６２７６１（Ｐ２０１３−６２７６１Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２０１５０１（Ｐ２０１１−２０１５０１）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]