画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
【課題】複数の焦点領域を設定する場合に、自然な遠近感が表現された画像を生成する。
【解決手段】焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する。奥行き取得部が、被写体までの奥行きを画像内の画素に対応付けて取得する。ぼかし処理部が、画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの焦点領域に対応する奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行する。
【解決手段】焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する。奥行き取得部が、被写体までの奥行きを画像内の画素に対応付けて取得する。ぼかし処理部が、画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの焦点領域に対応する奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。詳しくは、ぼかし処理を実行する画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、撮影対象までの奥行きを測定することができる撮像装置が普及しつつある。奥行きの測定方法としてはＤＦＤ（Depth from Defocus）法やステレオマッチング法などがある。ＤＦＤ法は、画像内の被写体のボケ具合を解析して、ボケ具合と奥行きとの関係に基づいて、その被写体までの奥行きを測定する方法である。ステレオマッチング法は、基準画像および参照画像から視差を検出し、視差と奥行きとの関係に基づいて奥行きを測定する方法である。
【０００３】
これらの方法を使用して撮像装置から被写体までの奥行きを測定し、主たる被写体に焦点が合った状態のままで、その被写体の背景において、奥行きに応じた度合いのぼかし処理を施す撮像装置が提案されている（例えば、特許文献１参照。）。奥行きに応じた度合いのぼかし処理により、遠近感が強調された画像が生成される。このようなぼかし処理は、例えば、ポートレート写真の背景において、人物を引き立てる目的で施されることが多い。また、受光面積の小さい撮像素子を備えた撮像装置においては、その撮像素子の特性上、比較的ボケの少ない画像が撮像されるため、遠近感を強調する目的で、このようなぼかし処理がよく用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３７７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術では、ぼかし処理において焦点が合った状態を維持すべき領域（以下、「焦点領域」と称する。）を２つ以上設定する場合に、自然な遠近感を表現することができない場合があった。例えば、手前の被写体と、その被写体より奥に位置する被写体との２つの領域を焦点領域に設定し、残りの背景をぼかす場合を想定する。手前の被写体を基準として、手前の被写体からの奥行き方向の距離に応じて背景をぼかすと、ぼかしていない奥の被写体とぼかした背景との間の境界が不自然となってしまう。一方、奥の被写体を基準とした距離に応じて背景をぼかすと、ぼかしていない手前の被写体とぼかした背景との間の境界が不自然となってしまう。このように、複数の焦点領域を設定した場合に、自然な遠近感を表現することができないおそれがあった。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、複数の焦点領域を設定する場合に、自然な遠近感が表現された画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定部と、上記被写体までの奥行きを上記画像内の画素に対応付けて取得する奥行き取得部と、上記画像内のそれぞれの画素を対象画素として当該対象画素に対応する上記奥行きとそれぞれの上記焦点領域に対応する上記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を上記対象画素に対して実行するぼかし処理部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、対象画素に対応する奥行きと複数の焦点領域のそれぞれに対応する奥行きとの差分の絶対値のうちの最小値に応じた度合いのぼかし処理が、その対象画素に対して実行されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記焦点領域設定部は、上記画像において上記焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出する候補領域抽出部と、上記抽出された候補領域の中から複数の上記候補領域を選択して上記焦点領域として設定する候補領域選択部とを備えてもよい。これにより、抽出された候補領域の中から選択された複数の候補領域が焦点領域として設定されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記候補領域抽出部は、上記画像において所定の物体が撮像された領域を認識して上記候補領域として抽出することもできる。これにより、物体が撮像された領域が候補領域として抽出されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記候補領域抽出部は、上記画像において顔が撮像された領域を認識して上記候補領域として抽出することもできる。これにより、顔が撮像された領域が候補領域として抽出されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記候補領域抽出部は、上記画像において被写体の配置を定義する構図を決定する構図決定部と、上記決定された構図に基づいて複数の領域を上記候補領域として抽出する候補領域抽出処理部とを備えてもよい。これにより、決定された構図に基づいて候補領域が抽出されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記焦点領域設定部は、上記候補領域の選択における優先度を上記抽出された候補領域に設定する優先度設定部をさらに備え、上記候補領域選択部は、上記設定された優先度に基づいて上記候補領域を選択することもできる。これにより、設定された優先度に基づいて候補領域が選択されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記優先度設定部は、所定の被写体が撮像された画像を登録しておき当該登録しておいた画像と上記候補領域との間の類似性に基づいて上記優先度を上記候補領域に設定することもできる。これにより、登録された画像と候補領域との類似性に基づいて優先度が設定されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記優先度設定部は、上記候補領域の面積に基づいて上記優先度を設定することもできる。これにより、候補領域の面積に基づいて優先度が設定されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記優先度設定部は、上記候補領域内のいずれかの画素に対応する上記奥行きに基づいて上記優先度を設定することもできる。これにより、候補領域内のいずれかの画素に対応する奥行きに基づいて優先度が設定されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記奥行き設定部は、上記取得された奥行きのうちの最小または最大の値に対して上記候補領域内のいずれかの画素に対応する上記奥行きが近いほどその候補領域に対して高い優先度を設定することもできる。これにより、奥行きの最大または最小の値に対して、候補領域の奥行きが近いほど、その候補領域に高い優先度が設定されるという作用をもたらす。
【００１７】
また、この第１の側面において、上記画像は、上記奥行きの取得において基準とされる基準画像と参照される参照画像とを含み、上記奥行き取得部は、上記基準画像内のいずれかの上記画素と当該画素に対応する上記参照画像内の上記画素との間の距離を視差として検出する視差検出部と、上記検出された視差に基づいて上記基準画像内の上記画素に対応付けて上記奥行きを生成する奥行き生成部とを備え、上記ぼかし処理部は、上記基準画像内のそれぞれの画素を上記対象画素として上記ぼかし処理を実行することもできる。これにより、検出された視差に基づいて奥行きが生成されるという作用をもたらす。
【００１８】
また、この第１の側面において、上記ぼかし処理部は、上記ぼかし処理の度合いをδｊとし、上記画像を撮像した撮像装置のレンズの有効口径をＤとし、上記対象画素に対応する上記奥行きをｄｊとし、上記最小値をΔｄｊ_ｍｉｎとし、上記画像の撮像倍率をＲとして、次式
δｊ＝Ｄ×Δｄｊ_ｍｉｎ×Ｒ／ｄｊ
を使用して算出した度合いのぼかし処理を上記対象画素に対して実行することもできる。これにより、ぼかし処理の度合いが上式から算出されるという作用をもたらす。
【００１９】
また、この第１の側面において、上記焦点領域設定部は、上記焦点領域を指定する操作信号に従って上記焦点領域を設定することもできる。これにより、操作信号に従って焦点領域が設定されるという作用をもたらす。
【００２０】
また、この第１の側面において、上記焦点領域設定部は、設定する上記焦点領域の個数を閾値以下に制限して上記焦点領域を設定することもできる。これにより、設定する上記焦点領域の個数を閾値以下に制限されるという作用をもたらす。
【発明の効果】
【００２１】
本技術によれば、複数の焦点領域を設定する場合に、自然な遠近感が表現された画像を生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２２】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。
【図３】第１の実施の形態における焦点領域の設定方法の一例を説明するための図である。
【図４】第１の実施の形態における奥行き情報、奥行き、および、奥行差分絶対値の一例を示す図である。
【図５】第１の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図６】第１の実施の形態における奥行差分絶対値の一例を示す図である。
【図７】第１の実施の形態におけるフィルタ次数の一例を示す図である。
【図８】第１の実施の形態におけるぼかし処理後の画像データの一例を示す図である。
【図９】第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。
【図１０】第１の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【図１１】第１の実施の形態におけるぼかし処理の一例を示すフローチャートである。
【図１２】第２の実施の形態における撮像装置の一構成例を示すブロック図である。
【図１３】第２の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図１４】第２の実施の形態における奥行き情報取得部の一構成例を示すブロック図である。
【図１５】第２の実施の形態における視差と奥行きとの関係を示す図である。
【図１６】第２の実施の形態における画像処理装置の動作の一例を示すフローチャートである
【図１７】第３の実施の形態における焦点領域設定部の一構成例を示すブロック図である。
【図１８】第３の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【図１９】第４の実施の形態における焦点領域設定部の一構成例を示すブロック図である。
【図２０】第４の実施の形態におけるぼかし処理の前後の画像データの一例を示す図である。
【図２１】第４の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【図２２】第５の実施の形態における焦点領域設定部の一構成例を示すブロック図である。
【図２３】第５の実施の形態における、三分割構図を設定した場合のぼかし処理の前後の画像データおよび焦点領域情報の一例である。
【図２４】第５の実施の形態における、パターン構図を設定した場合のぼかし処理の前後の画像データの一例である。
【図２５】第５の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理：複数の焦点領域を設定する例）
２．第２の実施の形態（画像処理：ステレオマッチングを使用する例）
３．第３の実施の形態（画像処理：物体認識を行う例）
４．第４の実施の形態（画像処理：顔認識を行う例）
５．第５の実施の形態（画像処理：構図に基づいて焦点領域を選択する例）
【００２４】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、被写体を撮像して、撮像した被写体の画像に対してぼかし処理を実行するものである。撮像装置１００は、撮像部１５０、画像データ記憶部２００、奥行き計測部２５０、操作部３００、画像処理装置４００、および、表示部５００を備える。
【００２５】
撮像部１５０は、被写体を撮像して画像データを生成するものである。撮像部１５０は、生成した画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００２６】
画像データ記憶部２００は、画像データを記憶するものである。詳細には、画像データ記憶部２００は、撮像部１５０および画像処理装置４００のそれぞれが生成した画像データを記憶する。
【００２７】
奥行き計測部２５０は、被写体までの奥行きを計測するものである。例えば、奥行き計測部２５０は、画像内の被写体のボケ具合を解析し、ボケ具合と奥行きとの関係に基づいて、その被写体までの奥行きを求めるＤＦＤ法を使用して、奥行きを計測する。奥行き計測部２５０は、画像内のそれぞれの画素に対応付けて奥行きを計測し、それらの奥行きを示す奥行き情報を生成する。奥行き計測部２５０は、生成した奥行き情報を画像処理装置４００に信号線２５１を介して出力する。なお、奥行き計測部２５０は、ＤＦＤ法以外の方法を使用して奥行きを計測することもできる。例えば、奥行き計測部２５０は、被写体にレーザ光を照射して、照射時刻に対する反射光の遅延時間に基づいて奥行きを計測するレーザ計測法を使用することもできる。
【００２８】
操作部３００は、撮像装置１００を操作する操作信号を検出するものである。この操作信号は、画像内において複数の焦点領域を指定するための操作信号を含む。操作部３００は、検出した操作信号を画像処理装置４００に信号線３０１を介して出力する。
【００２９】
画像処理装置４００は、画像データに対して、ぼかし処理を行うことにより、遠近感が強調された画像データを生成するものである。具体的には、画像処理装置４００は、操作信号に従って画像内に複数の焦点領域を設定する。また、画像処理装置４００は、奥行き計測部２５０により生成された奥行き情報を取得する。そして、画像処理装置４００は、画像内のそれぞれの画素を対象画素Ｐｊとして、対象画素ごとに、その対象画素の奥行きと複数の焦点領域のそれぞれの奥行きとの差分絶対値を奥行差分絶対値Δｄｊ_ｆｍとして算出する。ここで、ｊは、画像内の画素を識別するための番号であり、０乃至Ｎ−１の整数である。Ｎは、画像内の全画素を示す値であり、水平方向の画素数に垂直方向の画素数を乗算した値になる。ｍは、焦点領域を識別するための番号であり、０乃至Ｍ−１の整数である。Ｍは、設定された焦点領域の個数であり、２以上の整数である。したがって、Ｍ個の焦点領域が設定された場合、画像内の画素ごとに、Ｍ個の奥行差分絶対値が算出される。
【００３０】
対象画素ごとにＭ個の奥行差分絶対値を算出した後、画像処理装置４００は、対象画素ごとに、それらの奥行差分絶対値の最小値を奥行差分最小値Δｄｊ_ｍｉｎとして選択する。したがって、全画素数Ｎの画像において合計でＮ個の奥行差分最小値が選択される。
【００３１】
奥行差分最小値Δｄｊ_ｍｉｎを選択した後、画像処理装置４００は、それぞれの対象画素について、奥行差分最小値Δｄｊ_ｍｉｎに応じたぼかし処理の度合いを算出する。ぼかし処理の度合いを算出する式の具体例については後述する。
【００３２】
画像処理装置４００は、算出したフィルタ次数に従って、画像データに対してぼかし処理を実行する。画像処理装置４００は、ぼかし処理を実行した画像データを画像データ記憶部２００に信号線４０５を介して出力する。
【００３３】
表示部５００は、画像データ記憶部２００から画像データを読み出して表示するものである。
【００３４】
図２は、第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。図２（ａ）は、画像処理装置４００に入力された画像データ６００の一例である。画像データ６００において、例えば、車および運転手からなる被写体６０１と、木の被写体６０２および６０３と、家の被写体６０４とが撮像されている。
【００３５】
図２（ｂ）は、画像データ６００と同期して取得された奥行き情報６１０の一例を示す図である。奥行き情報６１０は、それぞれの画素における被写体の奥行きを画素値により示すデータである。例えば、奥行き情報６１０において奥行きを示す画素値として輝度値が設定され、奥行きが小さいほど、低い輝度値が設定される。奥行き情報６１０は、画像データ６００における被写体６０１乃至６０４に対応する被写体６１１乃至６１４の奥行き情報を含む。ここで、被写体６１１乃至６１４、および、それらの背景のうちの被写体６１１の奥行きが最も小さく、被写体６１２、被写体６１３、被写体６１４、背景の順に奥行きが大きいものとする。この場合、奥行き情報６１０において、最も手前の被写体６１１の輝度値が最も低く設定される。そして、被写体６１２、被写体６１３、被写体６１４、それらの背景の順に奥行きに応じて輝度値が高くなるように設定される。なお、奥行き情報６１０において、奥行きが小さいほど、高い輝度値が設定されるようにしてもよい。
【００３６】
図３は、第１の実施の形態における焦点領域の設定方法の一例を説明するための図である。例えば、最初に撮像装置１００が画像データ６００をタッチパネルに表示し、ユーザによる操作の受付けを開始する。画像データ６００のいずれかの画素を、ユーザが指でタッチすることにより指定すると、撮像装置１００における画像処理装置４００は、その画素を含む被写体の領域を検出する。例えば、画像処理装置４００は、画像内の輝度情報の分布を解析することにより、指定された画素を含む被写体の領域を検出する。画像処理装置４００は、輝度情報の分布に加え、色情報の分布の解析結果も含めて被写体領域を検出してもよい。画像処理装置４００は、検出した被写体の領域を焦点領域として設定する。なお、ユーザが画素の座標を数字キーで入力するなど、タッチパネルを用いずに撮像装置１００が焦点領域を設定する構成としてもよい。
【００３７】
一例として、被写体６０１内の画素６０５と、被写体６０４内の画素６０６とが指定された場合を想定する。この場合、画像処理装置４００は、指定された画素を含む被写体６０１および６０４を検出して焦点領域に設定する。
【００３８】
図４は、第１の実施の形態における奥行き情報、奥行き、および、奥行差分絶対値の一例を示す図である。焦点領域が設定されると、画像処理装置４００は、画像内のそれぞれの画素を対象画素として、対象画素の奥行きと、複数の焦点領域のそれぞれの奥行きとから、奥行差分絶対値を算出する。例えば、被写体６１２内の対象画素Ｐｊの奥行差分絶対値を求める場合を考える。この場合、焦点領域として被写体６０１および６０４が設定されると、画像処理装置４００は、図４（ａ）に示すように、対象画素Ｐｊの奥行きｄｊと、それぞれの焦点領域内のいずれかの画素に対応する奥行きｄ_ｆ０およびｄ_ｆ１とを取得する。そして、画像処理装置４００は、次式から奥行差分絶対値Δｄｊ_ｆ０およびΔｄｊ_ｆ１を算出する。
Δｄｊ＿ｆ０＝｜ｄｊ−ｄ_ｆ０｜ ・・・式１
Δｄｊ＿ｆ１＝｜ｄｊ−ｄ_ｆ１｜ ・・・式２
【００３９】
式１および式２から算出された奥行差分絶対値から、画像処理装置４００は、対象画素Ｐｊにおけるぼかし処理の度合いδｊを算出する。
【００４０】
図４（ｂ）は、図４（ａ）に例示した画像内の被写体の奥行き方向における位置関係の一例を示した図である。より具体的には、図４（ａ）に写された風景における水平方向に平行な軸をｘ軸、垂直方向に平行な軸をｙ軸、奥行き方向に平行な軸をｚ軸とした場合、図４（ｂ）は、ｘ軸方向から見た風景である。図４（ｂ）に示すように、被写体６１１に焦点領域ｆ０が設定されたとすると、撮像装置１００から被写体６１１までのｚ軸上の距離が奥行きｄ_ｆ０となる。また、被写体６１４に焦点領域ｆ１が設定されたとすると、撮像装置１００から被写体６１４までのｚ軸上の距離が奥行きｄ_ｆ０となる。被写体６１２上の画素を対象画素Ｐｊとすると、撮像装置１００から被写体６１２までの距離が奥行きｄｊとなる。この場合、奥行差分絶対値Δｄｊ_ｆ０は、被写体６１１における撮像装置１００に向けた面から、被写体６１２における撮像装置１００に向けた面までの距離である。また、奥行差分絶対値Δｄｊ_ｆ１は、被写体６１２における撮像装置１００に向けた面から、被写体６１４における撮像装置１００に向けた面までの距離である。
【００４１】
ここで、焦点領域とされた被写体６１１および６１４の撮像装置１００に向けた面が平坦でない場合、実際には、その焦点領域内の画素ごとの奥行きに、多少のばらつきが生じる。しかし、通常、そのばらつきの程度は、奥行きの単位と比較すると無視できるほど小さい。このため、画像処理装置４００は、焦点領域内のいずれかの画素（例えば、指定された画素６０５および６０６）に対応する奥行きを、その焦点領域に対応する奥行きとして取得している。
【００４２】
［画像処理装置の構成例］
図５は、第１の実施の形態における画像処理装置４００の一構成例を示すブロック図である。画像処理装置４００は、焦点領域設定部４１０、奥行き情報取得部４８０、および、ぼかし処理部４９０を備える。
【００４３】
焦点領域設定部４１０は、操作信号に従って、複数の焦点領域ｆ０乃至ｆ（Ｍ−１）を設定するものである。焦点領域設定部４１０は、設定した焦点領域を示す焦点領域情報をぼかし処理部４９０に信号線４１５を介して出力する。この焦点領域情報は、例えば、焦点領域ごとに焦点領域の輪郭の画素群の座標を含む。なお、焦点領域情報は、焦点領域内の全画素の座標を含む情報であってもよい。また、焦点領域情報は、焦点領域における画素値を２値のうちの一方の値（例えば、「１」）に、それ例外の領域における画素値を他方の値（例えば、「０」）に設定した画像データであってもよい。この画像データには、設定された焦点領域のそれぞれを識別する識別情報が付加される。識別情報は、例えば、ユーザにより指定された画像内の画素の座標と、その座標に対応する焦点領域の番号（０乃至Ｍ−１）とを含む。
【００４４】
なお、焦点領域設定部４１０は、輝度値の分布から、指定された画素を含む被写体の領域を検出しているが、他の方法を使用して被写体を検出することもできる。例えば、焦点領域設定部４１０は、奥行き情報を参照して、指定された画素に対応する奥行きとの差分が所定値以下の奥行きの画素群を被写体の領域として検出してもよい。また、焦点領域設定部４１０は、エッジ検出を実行して、指定された画素を含む被写体の輪郭を抽出することにより、被写体を検出することもできる。
【００４５】
また、焦点領域設定部４１０は、検出した被写体の領域を焦点領域に設定しているが、指定された画素を含む一定面積の図形（円など）内の領域を焦点領域に設定することもできる。
【００４６】
また、焦点領域設定部４１０は、焦点領域の個数を閾値Ｔ（Ｔは、２以上の整数）以下に制限することもできる。この場合、焦点領域設定部４１０は、焦点領域の個数がＴ個に達すると、それ以降の焦点領域を指定する操作を受け付けないものとする。
【００４７】
奥行き情報取得部４８０は、奥行き計測部２５０が生成した奥行き情報を取得するものである。奥行き情報取得部４８０は、取得した奥行き情報をぼかし処理部４９０に信号線４８５を介して出力する。なお、奥行き情報取得部４８０は、特許請求の範囲に記載の奥行き取得部の一例である。
【００４８】
ぼかし処理部４９０は、画像データに対してぼかし処理を実行するものである。ぼかし処理部４９０は、奥行差分絶対値算出部４９１、奥行差分最小値選択部４９２、フィルタ次数算出部４９３、および、ぼかしフィルタ４９４を備える。
【００４９】
奥行差分絶対値算出部４９１は、焦点領域情報および奥行き情報に基づいて、画像内のそれぞれの対象画素Ｐｊ（ｊは０乃至Ｎ−１）について、奥行差分絶対値Δｄｊ_ｆ０乃至Δｄｊ_ｆ(Ｍ−１)を算出するものである。奥行差分絶対値算出部４９１は、算出した奥行差分絶対値を奥行差分最小値選択部４９２に出力する。
【００５０】
奥行差分最小値選択部４９２は、画像内のそれぞれの対象画素について、奥行差分最小値Δｄｊ_ｍｉｎを選択するものである。奥行差分最小値選択部４９２は、選択した奥行差分最小値をフィルタ次数算出部４９３に出力する。
【００５１】
フィルタ次数算出部４９３は、画像内のそれぞれの対象画素Ｐｊについて、フィルタ次数δｊを算出するものである。フィルタ次数算出部４９３は、例えば、以下の式３からぼかし処理の度合いを算出する。ただし、以下の式３において、δｊは、対象画素Ｐｊのぼかし処理の度合いであり、例えば、ぼかしフィルタのフィルタ次数である。設定されたフィルタ次数に応じて、ぼかし量が増減する。また、Δｄｊ_ｍｉｎは対象画素Ｐｊの奥行差分最小値であり、単位は例えば［ｍ］である。Ａは、Δｄｊ_ｍｉｎの値をδｊに換算するための係数である。
δｊ＝Ａ・Δｄｊ_ｍｉｎ・・・式３
【００５２】
なお、フィルタ次数算出部４９３は、式３の代わりに、次式を使用して、ぼかし処理の度合いδｊを算出することもできる。ただし、次式において、Ｄは、撮像装置１００のレンズの有効口径であり、単位は例えば［ｍｍ］である。ｄｊは、対象画素Ｐｊの奥行きである。「Ｒ」は、画像データの撮像倍率である。Ｃは、Ｄ、Δｄｊ_ｍｉｎ、ｄｊ、および、Ｒにより求められる、ぼかし量をフィルタ次数δｊに変換するための係数である。画像処理装置４００は、式３または次式を使用して、画像内の全画素について、フィルタ次数を算出する。次式を使用した場合、実際の光学系の特性に即したぼかし量が算出される。フィルタ次数算出部４９３は、算出したフィルタ次数δｊをぼかしフィルタ４９４に出力する。
【数１】
【００５３】
ぼかしフィルタ４９４は、フィルタ次数δｊに従って、画像データに対してぼかし処理を実行するものである。ぼかしフィルタ４９４は、例えば、平滑化フィルタの一種のガウシアンフィルタであり、例えば、次式からぼかし処理後における画素（ｘ，ｙ）の画素値Ｉ'（ｘ，ｙ）を算出する。ただし、以下の式５におけるＩ（ｘ＋ｋ，ｙ＋ｌ）は、ぼかし処理前の画素（ｘ＋ｋ，ｙ＋ｌ）の画素値である。ｒは、ガウシアンフィルタの半径であり、０以上の整数である。ｗ（ｋ，ｌ）は、画素値Ｉ（ｘ＋ｋ，ｙ＋ｌ）に乗算すべき重み係数である。また、以下の式６におけるσは標準偏差であり、所定の実数が設定される。以下の式５および式６により、ガウシアンフィルタの中心に近いほど高く、周辺に近いほど小さい重み係数が設定される。以下の式７における「round（）」は、かっこ内の数値に対して所定の端数処理を実行して０以上の整数値を返す関数である。例えば、端数処理として、小数点以下を四捨五入する演算が実行される。
【数２】
【数３】
ｒ＝round(δｊ／２) ・・・式７
【００５４】
なお、ぼかし処理部４９０は、ぼかし処理の度合いとして、ガウシアンフィルタのフィルタ次数を算出しているが、フィルタ次数以外のパラメータをぼかし処理の度合いとして算出してもよい。例えば、ぼかし処理部４９０は、ぼかし処理の度合いとして、標準偏差σを算出することもできる。
【００５５】
また、ぼかし処理部４９０は、ガウシアンフィルタを使用してぼかし処理を実行しているが、移動平均フィルタなど、ガウシアンフィルタ以外のぼかしフィルタを使用することもできる。
【００５６】
また、画像処理装置４００を撮像装置１００の内部に設ける構成としているが、画像処理装置４００を外部に設けて撮像装置１００と画像処理装置４００とを別々の装置とすることもできる。
【００５７】
図６は、第１の実施の形態における奥行差分絶対値の一例を示す図である。焦点領域ｆ０、ｆ１、および、ｆ２を含む複数の焦点領域が設定された場合を考える。焦点領域ｆ０、ｆ１、および、ｆ２に対応する奥行きは、それぞれ１０ｍ、３０ｍ、および、２０ｍであるものとする。ここで、画素Ｐ０（０，０）に対応する奥行きが１２ｍであるとき、焦点領域ｆ０の奥行きとの間の奥行差分絶対値は２ｍである。また、焦点領域ｆ１およびｆ２の奥行きとの間の奥行差分絶対値は、１８ｍおよび８ｍである。これらの奥行差分絶対値のうち、最小値である２ｍが、画素Ｐ０における奥行差分最小値として選択される。
【００５８】
同様の方法で、画素Ｐ１００（１００，０）に対応する奥行きが１６ｍであるとき、４ｍが、その画素における奥行差分最小値として選択される。また、画素Ｐ２００（２００，０）に対応する奥行きが３６ｍであるとき、６ｍがその画素における奥行差分最小値として選択される。画素ＰＮ−１（Ｗ−１，Ｈ−１）に対応する奥行きが１０．２ｍであるとき、０．２ｍが、その画素における奥行差分最小値として選択される。ここで、Ｗは、画像の水平方向における全画素数であり、１以上の整数である。Ｈは、画像の垂直方向における全画素数であり、１以上の整数である。このように、画像内のそれぞれの画素について、設定された焦点領域ごとに奥行差分絶対値が算出される。そして、画素ごとに、それらの奥行差分絶対値の中の最小値が奥行差分最小値として選択される。
【００５９】
図７は、第１の実施の形態におけるフィルタ次数の一例を示す図である。上述の式３において、係数Ａとして２が設定された場合を考える。この場合、画素Ｐ０の奥行差分最小値が２ｍであれば、式３より、フィルタ次数として「４」が算出される。同様に、画素Ｐ１００およびＰ２００の奥行差分最小値が４ｍおよび６ｍであれば、式３より、フィルタ次数として「８」および「１２」が算出される。画素ＰＮ-1の奥行差分最小値が０．２ｍであれば、式３よりフィルタ次数として０．４が算出される。
【００６０】
図８は、第１の実施の形態におけるぼかし処理後の画像データ６２０の一例を示す図である。画像データ６２０における被写体６２１乃至６２４は、図２（ａ）に例示した平価捕まえの画像データ６００における被写体６０１乃至６０４に対応する被写体である。被写体６２１および６２４が焦点領域として設定されたものとする。また、被写体６２１乃至６２４のうちの被写体６２１の奥行きが最も小さく、被写体６２２、被写体６２３、被写体６２４の順に奥行きが大きくなるものとする。被写体６２２および６２３は、奥行き方向において被写体６２４よりも被写体６２１に近いものとする。また、被写体６２２は、被写体６２３よりも被写体６２１に近いものとする。
【００６１】
この場合、奥行き方向において、手前にある焦点領域（被写体６２１）から奥に向かうほど、ぼかし処理の度合いが大きくなる。そして、奥行き方向において手前の焦点領域（被写体６２１）と奥の焦点領域（被写体６２４）の中間付近でぼかし処理の度合いが最も大きくなる。奥行き方向において、その中間付近を越えて、奥の焦点領域（被写体６２４）に近づくほど、ぼかし処理の度合いが小さくなる。例えば、奥行き方向において被写体６２２は、被写体６２３よりも、焦点領域が設定された被写体６２１に近いため、被写体６２２に対するぼかし処理の度合いは、被写体６２３よりも小さくなる。このように、複数の焦点領域が設定された場合であっても、奥行き方向において最も近い焦点領域からの奥行きに応じてぼかし処理の度合いが変更されるため、自然な遠近感が得られる。
【００６２】
［画像処理装置の動作例］
続いて、図９乃至図１１を参照して、第１の実施の形態における画像処理装置４００の動作例について説明する。図９は、第１の実施の形態における画像処理装置４００の動作の一例を示すフローチャートである。この動作は、撮像された画像データが画像処理装置４００に入力されたときに開始する。画像処理装置４００は、複数の焦点領域を設定するための焦点領域設定処理を実行する（ステップＳ９１０）。画像処理装置４００は、奥行き計測部２５０からの奥行き情報を取得する（ステップＳ９５０）。画像処理装置４００は、画像データをぼかすためのぼかし処理を実行する（ステップＳ９６０）。ステップＳ９６０の後、画像処理装置４００は、ぼかし処理後の画像データを生成するための動作を終了する。
【００６３】
図１０は、第１の実施の形態における焦点領域設定処理の一例を示すフローチャートである。画像処理装置４００における焦点領域設定部４１０は、変数ｉを０に初期化し（ステップＳ９１１）、焦点領域を設定するための操作の受付を開始する（ステップＳ９１２）。そして、焦点領域設定部４１０は、いずれかの画素が、焦点領域内の画素として選択されたか否かを判断する（ステップＳ９１３）。
【００６４】
いずれかの画素が選択されたのであれば（ステップＳ９１３：Ｙｅｓ）、焦点領域設定部４１０は、選択された画素を含む被写体の領域を焦点領域ｆｉの候補として一時記憶する（ステプＳ９１４）。焦点領域設定部４１０は、変数ｉに１を加算する（ステップＳ９１５）。
【００６５】
画素が選択されていない場合（ステップＳ９１３：Ｎｏ）、またはステップＳ９１５の後、焦点領域設定部４１０は、画素の選択が確定されたか否かを判断する（ステップＳ９１６）。選択が確定されていなければ（ステップＳ９１６：Ｎｏ）、焦点領域設定部４１０は、ステップＳ９１３に戻る。選択が確定されたのであれば（ステップＳ９１６：Ｙｅｓ）、焦点領域設定部４１０は、それぞれの候補を焦点領域として設定する（ステップＳ９１７）。ステップＳ９１７の後、焦点領域設定部４１０は、焦点領域設定処理を終了する。
【００６６】
図１１は、第１の実施の形態におけるぼかし処理の一例を示すフローチャートである。画像処理装置４００におけるぼかし処理部４９０は、まず、全ての焦点領域の奥行きｄ_ｆ０乃至ｄ_ｆ(Ｍ−１)を取得する（ステップＳ９６１）。ぼかし処理部４９０は、変数ｍおよびｎを０に初期化して、ループ処理を開始する。このループ処理において、ぼかし処理部４９０は、後述するステップＳ９６３乃至９６８を実行してｍまたはｎを１つ増分する。増分後にｍ＞Ｗ−１かつｎ＞Ｈ−１であればループ処理を終了し、そうでなければステップＳ９６３に戻り、ループ処理を継続する（ステップＳ９６２）。
【００６７】
ぼかし処理部４９０は、画素（ｍ，ｎ）を対象画素Ｐｊとする（ステップＳＳ９６３）。ぼかし処理部４９０は、対象画素Ｐｊの奥行きｄｊを取得する（ステップＳ９６４）。ぼかし処理部４９０は、対象画素Ｐｊの奥行きｄｊと、焦点領域の奥行きｄ_ｆ０乃至ｄ_ｆ(Ｍ−１)とから、奥行差分絶対値Δｄｊ_ｆ０乃至Δｄｊ_ｆ(Ｍ−１)を算出する（ステップＳ９６５）。ぼかし処理部４９０は、算出した奥行差分絶対値Δｄｊ_ｆ０乃至Δｄｊ_ｆ(Ｍ−１)のうちの最小値を対象画素Ｐｊの奥行差分最小値Δｄｊ_ｍｉｎとして選択する（ステップＳ９６６）。ぼかし処理部４９０は、選択した奥行差分最小値Δｄｊ_ｍｉｎから、上述の式３を使用して対象画素Ｐｊのフィルタ次数δｊを算出する（ステップＳ９６７）。ぼかし処理部４９０は、算出したフィルタ次数に従って、上述の式５および式６を使用して、ぼかし処理後の対象画素Ｐｊの画素値を算出する（ステップＳ９６８）。
【００６８】
ループ処理（ステップＳ９６２）の終了後、ぼかし処理部４９０は、ぼかし処理を終了する。
【００６９】
このように、第１の実施の形態によれば、焦点領域設定部４１０が複数の焦点領域を設定する。また、奥行き情報取得部４８０が、画素に対応づけて奥行きを取得する。ぼかし処理部４９０は、画像内の画素ごとに、画素の奥行きと焦点領域のそれぞれに対応する奥行きとの間のそれぞれの差分の絶対値を奥行差分最小値として算出する。そして、ぼかし処理部４９０は、奥行差分絶対値のうちの最小値を奥行差分最小値として画素ごとに選択する。ぼかし処理部４９０は、奥行差分最小値からフィルタ次数を算出し、そのフィルタ次数に従ってぼかし処理を実行する。これにより、奥行き方向において被写体に最も近い焦点領域からの距離に応じて、その被写体のぼかし処理の度合いが変更される。この結果、複数の焦点領域が設定された場合において自然な遠近感を表わす画像が生成される。
【００７０】
＜２．第２の実施の形態＞
［撮像装置の構成例］
次に、図１２乃至１６を参照して、本技術の第２の実施の形態について説明する。図１２は、第２の実施の形態における撮像装置１０１の一構成例を示すブロック図である。撮像装置１０１は、ステレオマッチング法により奥行き情報を生成する点において第１の実施の形態の撮像装置１００と異なる。ステレオマッチング法の詳細については後述する。撮像装置１０１は、撮像部１５０の代わりに基準画像撮像部１５１および参照画像撮像部１５２を備え、画像処理装置４００の代わりに画像処理装置４０１を備え、奥行き計測部２５０を有しない点において撮像装置１００と異なる。
【００７１】
基準画像撮像部１５１は、基準画像を撮像するものである。ここで、基準画像は、奥行きの算出において基準とされる画像である。例えば、撮像装置１０１の右側のレンズで撮像された右画像と左側のレンズで撮像された左画像とのうちの、いずれかが基準画像とされる。基準画像撮像部１５１は、撮像した基準画像を示す基準画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００７２】
参照画像撮像部１５２は、参照画像を撮像するものである。ここで、参照画像は、基準画像と同期して撮像された画像であり、奥行きの算出において参照される画像である。例えば、右画像および左画像のうちの、基準画像以外の画像が参照画像とされる。参照画像撮像部１５２は、撮像した参照画像を示す参照画像データを画像データ記憶部２００に信号線１５６を介して出力する。
【００７３】
画像処理装置４０１は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。画像処理装置４０１は、基準画像データおよび参照画像データからステレオマッチング法を使用して、画素に対応付けて奥行きを算出する。画像処理装置４０１は、算出した奥行きに基づいて、基準画像に対してぼかし処理を実行する。
【００７４】
［画像処理装置の構成例］
続いて、図１３を参照して、第２の実施の形態における画像処理装置の構成例について説明する。図１３は、第２の実施の形態における画像処理装置４０１の一構成例を示すブロック図である。画像処理装置４０１は、奥行き情報取得部４８０の代わりに奥行き情報取得部４８１を備える点において第１の実施の形態の画像処理装置４００と異なる。
【００７５】
図１４は、第２の実施の形態における奥行き情報取得部４８１の一構成例を示すブロック図である。奥行き情報取得部４８１は、視差検出部４８２および奥行き生成部４８３を備える。
【００７６】
視差検出部４８２は、基準画像および参照画像から視差を検出するものである。具体的には、視差検出部４８２は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。視差検出部４８２は、基準画像内のいずれかの画素を対象点とし、参照画像内において、その対象点と対応する対応点を求める。視差検出部４８２は、対象点の水平座標と、対応点の水平座標との間の差分の絶対値を視差として検出する。視差検出部４８２は、基準画像内の全ての画素について、視差を検出して奥行き生成部４８３に出力する。
【００７７】
奥行き生成部４８３は、視差から奥行き情報を生成するものである。視差から奥行きを求める方法については、後述する。奥行き生成部４８３は、画像内のそれぞれの画素に対応付けて奥行きを求め、奥行き情報を生成する。奥行き生成部４８３は、奥行き情報をぼかし処理部４９０に出力する。
【００７８】
図１５は、第２の実施の形態における視差と奥行きとの関係の一例を示す図である。基準画像における対象点の水平座標をＸＲとし、参照画像における対応点の水平座標をＸＬとする。この場合、視差ｐは次式により算出される。
ｐ＝｜ＸＲ−ＸＬ｜ ・・・式８
【００７９】
また、基準画像撮像部１５１と参照画像撮像部１５２とのそれぞれのレンズ間の間隔をＢとし、焦点距離をＦとする。この場合、対象点（ＸＲ）、対応点（ＸＬ）、および、被写体がなす三角形と、基準画像撮像部１５１のレンズ、参照画像撮像部１５２のレンズ、および、被写体がなす三角形とは相似である。このため、その被写体までの奥行きをｄとすると、次式に示す関係式が成立する。
ｐ：Ｆ＝Ｂ：ｄ ・・・式９
【００８０】
式９を変形することにより、次式が得られる。
ｄ＝Ｂ×Ｆ／ｐ ・・・式１０
【００８１】
ＢおよびＦは、既知の値であるから、検出された視差ｐを式１０に代入することにより、奥行きｄが算出される。
【００８２】
［画像処理装置の動作例］
続いて、図１６を参照して、第２の実施の形態における画像処理装置４０１の動作例について説明する。図１６は、第２の実施の形態における画像処理装置４０１の動作の一例を示すフローチャートである。画像処理装置４０１の動作は、ステップＳ９５０の代わりにステップＳ９５１およびＳ９５２を実行する点において第１の実施形態の画像処理装置４００の動作と異なる。
【００８３】
画像処理装置４０１は、基準画像および奥行き画像から視差ｐを検出する（ステップＳ９５１）。そして、画像処理装置４０１は、式１０に基づいて視差ｐから奥行きｄを算出して奥行き情報を生成する（ステップＳ９５２）。
【００８４】
このように、本技術の第２の実施の形態によれば、焦点領域設定部４１０が焦点領域を設定し、奥行き情報取得部４８１は、基準画像および参照画像から視差を検出し、その視差に基づいて奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、画像処理装置４０１自身が奥行き情報を生成することができる。
【００８５】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
次に、図１７および図１８を参照して、本技術の第３の実施の形態について説明する。図１７は、第３の実施の形態における焦点領域設定部４１１の一構成例を示すブロック図である。焦点領域設定部４１１は、画像内の複数の物体を認識して、それらの物体の領域を焦点領域に設定する点において第１の実施の形態の焦点領域設定部４１０と異なる。焦点領域設定部４１１は、候補領域抽出部４２０、優先度設定部４５０、および、候補領域選択部４６０を備える。
【００８６】
候補領域抽出部４２０は、画像において焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出するものである。候補領域抽出部４２０は、オブジェクトデータベース４２１および物体認識部４２２を備える。
【００８７】
オブジェクトデータベース４２１は、認識対象の物体を認識するための情報を記憶するデータベースである。例えば、オブジェクトデータベース４２１は、認識対象の物体について学習した画像データ、物体のカテゴリ、物体の特徴量の情報などを記憶する。
【００８８】
物体認識部４２２は、オブジェクトデータベース４２１を参照して、画像における複数の物体を認識するものである。物体認識部４２２は、認識した物体の領域のそれぞれを焦点領域の候補である候補領域とする。物体認識部４２２は、画像内の候補領域を示す候補領域情報を生成して優先度設定部４５０および候補領域選択部４６０に出力する。
【００８９】
優先度設定部４５０は、候補領域の選択における優先度を、それぞれの候補領域に設定するものである。優先度設定部４５０は、物体情報登録部４５１および物体優先度設定部４５２を備える。
【００９０】
物体情報登録部４５１は、選択において優先度を変更すべき物体に関する物体情報を登録するものである。物体情報は、具体的には、物体の画像データや、物体の名称などである。
【００９１】
物体優先度設定部４５２は、候補領域のそれぞれの優先度を設定するものである。例えば、物体優先度設定部４５２は、登録された物体の画像に類似する候補領域の優先度を、類似しない候補領域よりも高く設定する。なお、物体優先度設定部４５２は、逆に、登録された物体の画像に類似しない候補領域に高い優先度を設定することもできる。
【００９２】
また、物体優先度設定部４５２は、候補領域の面積に基づいて優先度を設定することもできる。具体的には、物体優先度設定部４５２は、候補領域の面積が大きいほど、高い優先度を設定する。物体優先度設定部４５２は、全ての候補領域の面積の平均値を算出して、候補領域の面積が、その平均値に近いほど、高い優先度を設定してもよい。
【００９３】
また、物体優先度設定部４５２は、候補領域に対応する奥行きに基づいて優先度を設定することもできる。この場合、物体優先度設定部４５２は、奥行きが大きいほど高い優先度を設定してもよいし、奥行きが小さいほど高い優先度を設定してもよい。また、物体優先度設定部４５２は、画像内の全画素に対応する奥行きの中の最大値および最小値を求め、その最大値または最小値に近い奥行きの物体ほど、高い優先度を設定してもよい。このように手前の物体と奥の物体とが優先されると、奥行き方向において距離の離れた物体に焦点領域が設定されやすくなる。この結果、手前の物体から奥に向かうほど、ぼかしが大きくなり、手前および奥の物体の中間付近でぼかしが最大となり、そこから奥の物体に向かうほどぼかしが小さくなるというぼかし具合が顕著になる。このため、画像において、遠近感がより強調されるようになる。
【００９４】
物体優先度設定部４５２は、設定した優先度を示す優先度情報を候補領域選択部４６０に出力する。
【００９５】
候補領域選択部４６０は、候補領域情報の示す候補領域の中から複数の候補領域を選択して焦点領域に設定するものである。ただし、候補領域選択部４６０は、設定する焦点領域の個数を、Ｔ（Ｔは、２以上の整数）個以下に制限する。具体的には、候補領域選択部４６０は、候補領域の個数がＴ個以下である場合、全ての候補領域を焦点領域として設定する。候補領域がＴ個より多い場合、候補領域選択部４６０は、優先度設定部４５０が設定した優先度が高い候補領域を優先してＴ個の候補領域を選択して焦点領域として設定する。候補領域選択部４６０は、設定した焦点領域を示す焦点領域情報をぼかし処理部４９０に出力する。
【００９６】
なお、焦点領域設定部４１１がオブジェクトデータベース４２１を備える構成としているが、焦点領域設定部４１１がオブジェクトデータベース４２１を有しない構成とすることもできる。例えば、撮像装置１００の外部にオブジェクトデータベースを設置しておき、焦点領域設定部４１１が、ネットワークを介して、そのオブジェクトデータベースにアクセスする構成とすればよい。同様に、焦点領域設定部４１１は、物体情報登録部４５１を外部に設ける構成とすることもできる。
【００９７】
また、焦点領域設定部４１１が優先度設定部４５０を備える構成としているが、焦点領域設定部４１１が優先度設定部４５０を有しない構成とすることもできる。この場合、候補領域選択部４６０は、焦点領域の個数を制限しないで全ての物体の領域を焦点領域に設定してもよいし、焦点領域の個数をＴ個に制限してもよい。優先度設定部４５０を備えずにＴ個以下に制限する場合において候補領域がＴ個を超えたのであれば、候補領域選択部４６０は、無作為にＴ個の物体領域を選択すればよい。
【００９８】
［画像処理装置の動作例］
続いて、図１８を参照して、第３の実施の形態における画像処理装置の動作例について説明する。図１８は、第３の実施の形態における焦点領域設定処理の一例を示すフローチャートである。焦点領域設定部４１１における物体認識部４２２は、オブジェクトデータベース４２１を参照して画像内の物体を認識して、その領域を候補領域とする（ステップＳ９２１）。優先度設定部４５０は、登録された物体の画像に類似する候補領域に高い優先度を設定する（ステップＳ９２２）。候補領域選択部４６０は、候補領域の個数がＴ個より多いか否かを判断する（ステップＳ９２３）。候補領域の個数がＴ個より多ければ（ステップＳ９２３：Ｙｅｓ）、候補領域選択部４６０は、優先度に基づいてＴ個の候補領域を選択する（ステップＳ９２４）。
【００９９】
候補領域の個数がＴ個以下である場合（ステップＳ９２３：Ｎｏ）、または、ステップＳ９２４の後、候補領域選択部４６０は、それぞれの候補領域を焦点領域として設定する（ステップＳ９２５）。ステップＳ９２５の後、焦点領域設定部４１１は、焦点領域設定処理を終了する。
【０１００】
このように、第３の実施の形態によれば、焦点領域設定部４１１は、画像内の物体を認識して、その物体の領域を焦点領域に設定する。奥行き情報取得部４８０は、奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、ユーザが焦点領域を設定しなくとも、画像処理装置４００自身が焦点領域を設定することができる。
【０１０１】
＜４．第４の実施の形態＞
［画像処理装置の構成例］
次に、図１９乃至２１を参照して、本技術の第４の実施の形態について説明する。図１９は、第４の実施の形態における焦点領域設定部４１２の一構成例を示すブロック図である。焦点領域設定部４１２は、画像内の複数の顔を認識して、それらの顔の領域を焦点領域に設定する点において第１の実施の形態の焦点領域設定部４１０と異なる。焦点領域設定部４１２は、候補領域抽出部４３０、優先度設定部４５０、および、候補領域選択部４６０を備える。
【０１０２】
第４の実施の形態の候補領域抽出部４３０は、物体の代わりに顔を認識する点において、第３の実施の形態の候補領域抽出部４２０と異なる。候補領域抽出部４３０は、顔画像データベース４３１および顔認識部４３２を備える。
【０１０３】
顔画像データベース４３１は、画像における顔を認識するため情報を記憶するデータベースである。顔画像データベース４３１は、例えば、様々な人物の顔画像データ、顔のパーツの特徴を数値化したデータ、および、それらの人物の性別や年齢などのメタデータを記憶する。
【０１０４】
顔認識部４３２は、顔画像データベース４３１を参照して、画像における複数の顔を認識するものである。顔認識部４３２は、認識した、それぞれの顔の領域を候補領域とする。
【０１０５】
第３の実施の形態の優先度設定部４５０は、特定の人物の顔画像に類似する候補領域を優先する点において第３の実施の形態の優先度設定部４５０と異なる。第４の実施の形態における優先度設定部４５０は、人物情報登録部４５３および顔領域優先度設定部４５４を備える。
【０１０６】
人物情報登録部４５３は、選択において優先度を変更したい人物に関する人物情報を登録するものである。人物情報は、具体的には、特定の人物の顔画像データ、その人物の性別や年齢などのメタデータなどである。
【０１０７】
顔領域優先度設定部４５４は、候補領域のそれぞれの優先度を設定するものである。例えば、顔領域優先度設定部４５４は、登録された人物を認識して、認識した人物の顔画像に類似する候補領域の優先度を、それ以外の候補領域よりも高く設定する。
【０１０８】
第４の実施の形態の候補領域選択部４６０は、第３の実施の形態の候補領域選択部４６０と同様のものである。
【０１０９】
なお、焦点領域設定部４１２は、顔画像データベース４３１および人物情報登録部４５３を外部に設ける構成とすることもできる。
【０１１０】
また、焦点領域設定部４１２が優先度設定部４５０を備える構成としているが、焦点領域設定部４１２が優先度設定部４５０を有しない構成とすることもできる。
【０１１１】
また、優先度設定部４５０は、登録された人物の顔画像に類似する候補領域に高い優先度を設定しているが、逆に、登録された人物の顔画像に類似する候補領域の優先度を低く設定することもできる。
【０１１２】
図２０は、第４の実施の形態におけるぼかし処理の前後の画像データの一例を示す図である。図２０（ａ）は、ぼかし処理前の画像データの一例である。この画像データは、顔領域６３１および６３３と、木の被写体６３２および６３４とを含む。焦点領域設定部４１２は、顔領域６３１および６３３を認識し、これらの顔領域を焦点領域に設定する。そして、ぼかし処理部４９０は、奥行差分最小値に応じた度合いのぼかし処理を実行する。
【０１１３】
図２０（ｂ）は、ぼかし処理後の画像データの一例である。顔領域６３１および６３３に対応する顔領域を含む被写体６４１および６４３には、ぼかし処理が実行されていない。被写体６４１は顔以外に胴体を含み、被写体６４３は顔以外に胴体および車を含むが、これらの胴体および車は、顔と奥行きがほぼ同じであるため、ぼかし処理が実行されない。一方、木の被写体６３２および６３２に対応する被写体６４２および６４４には、奥行差分最小値に応じた度合いのぼかし処理が実行されている。
【０１１４】
［画像処理装置の動作例］
続いて、図２１を参照して、第４の実施の形態における画像処理装置４００の動作例について説明する。図２１は、第４の実施の形態における焦点領域設定処理の一例を示すフローチャートである。焦点領域設定部４１２における顔認識部４３２は、顔画像データベース４３１を参照して画像内の顔領域を認識して候補領域とする（ステップＳ９３１）。優先度設定部４５０は、登録された人物の顔画像に類似する候補領域に高い優先度を設定する（ステップＳ９３２）。ステップＳ９３３乃至Ｓ９３５は、第３の実施の形態におけるステップＳ９２３乃至Ｓ９２５と同様の処理である。
【０１１５】
このように、第４の実施の形態によれば、焦点領域設定部４１２は、画像処理装置４００は、画像内の顔領域を認識して、その顔領域を焦点領域に設定する。奥行き情報取得部４８０は、奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、ユーザが焦点領域を設定しなくとも、画像処理装置４００自身が焦点領域を設定することができる。
【０１１６】
＜５．第５の実施の形態＞
［画像処理装置の構成例］
次に、図２２乃至２５を参照して、本技術の第５の実施の形態について説明する。図２２は、第５の実施の形態における焦点領域設定部４１３の一構成例を示すブロック図である。焦点領域設定部４１３は、構図に基づいて焦点領域を設定する点において第１の実施の形態の焦点領域設定部４１０と異なる。焦点領域設定部４１３は、候補領域抽出部４４０、優先度設定部４５０、および、候補領域選択部４６０を備える。
【０１１７】
第５の実施の形態の候補領域抽出部４４０は、構図に基づいて候補領域を抽出する点において、第３の実施の形態の候補領域抽出部４２０と異なる。候補領域抽出部４４０は、構図データベース４４１、構図決定部４４２、および、候補領域抽出処理部４４３を備える。
【０１１８】
構図データベース４４１は、三分割構図、パターン構図、放射線構図などの各種の構図に関する情報を記憶するものである。例えば、構図データベース４４１は、構図を構成する構図構成要素の画像内の配列パターンや、構図の名称などを記憶する。構図構成要素は、物体や顔などの被写体や、エッジ検出などにより検出される線分を含む。
【０１１９】
構図決定部４４２は、構図を決定するものである。構図決定部４４２は、例えば、画像内の被写体や線分を検出して、構図データベース４４１を参照し、被写体等の形状や配置が最も合致する構図を選択して画像の構図に決定する。構図決定部４４２は、決定した構図を示す構図情報を候補領域抽出処理部４４３に出力する。なお、構図決定部４４２は、ユーザの操作に従って、構図を決定することもできる。
【０１２０】
候補領域抽出処理部４４３は、決定された構図において主要な被写体の領域を候補領域として抽出するものである。候補領域抽出処理部４４３は、抽出した候補領域を示す候補領域情報を生成して優先度設定部４５０および候補領域選択部４６０に出力する。
【０１２１】
第３の実施の形態の優先度設定部４５０は、物体に限らず、物体や顔などの様々な被写体の領域の優先度を設定する点において第３の実施の形態の優先度設定部４５０と異なる。第４の実施の形態における優先度設定部４５０は、被写体情報登録部４５５および被写体優先度設定部４５６を備える。
【０１２２】
被写体情報登録部４５５は、選択において優先度を変更したい被写体に関する人物情報を登録するものである。被写体情報は、具体的には、特定の被写体の画像データや、被写体の名称などの情報である。
【０１２３】
被写体優先度設定部４５６は、候補領域のそれぞれの優先度を設定するものである。例えば、被写体優先度設定部４５６は、登録された被写体の画像に類似する候補領域の優先度を、類似しない候補領域よりも高く設定する。なお、被写体優先度設定部４５６は、逆に、登録された被写体の画像に類似する候補領域の優先度を低く設定することもできる。
【０１２４】
第５の実施の形態の候補領域選択部４６０は、第３の実施の形態の候補領域選択部４６０と同様のものである。
【０１２５】
なお、焦点領域設定部４１３は、構図データベース４４１および被写体情報登録部４５５を外部に設ける構成とすることもできる。
【０１２６】
また、焦点領域設定部４１３が優先度設定部４５０を備える構成としているが、焦点領域設定部４１３が優先度設定部４５０を有しない構成とすることもできる。
【０１２７】
図２３は、第５の実施の形態における、三分割構図を設定した場合のぼかし処理の前後の画像データの一例である。図２３（ａ）は、ぼかし処理前の画像データ６５０の一例である。画像データ６５０において、被写体６５１乃至６５４が撮像されている。図２３（ｂ）は、三分割構図を設定した画像データ６５０の一例である。
【０１２８】
ここで、三分割構図は、等間隔に引いた２本の水平線と等間隔に引いた２本の垂直線とにより、画像を９等分し、水平線および垂直線の線上または交点上に主要な被写体を配置する構図である。三分割構図の採用により、バランスの取れた芸術的な画像が得られる。
【０１２９】
構図決定部４４２は、例えば、三分割構図およびパターン構図のいずれかを選択するものとする。また、被写体６５１乃至６５４は、相似形の被写体でないものとする。この場合、パターン構図は適当でないため、三分割構図が選択される。この三分割構図において、交点ＰＰ１乃至ＰＰ４が設定される。図２３（ｂ）に示すように、被写体６５１および６５４は、いずれの交点上にも配置されていない。一方、被写体６５２は交点ＰＰ２上に配置され、被写体６５３は交点ＰＰ３上に配置されている。このため、被写体６５２および６５３が、構図上、主要な被写体と判断され、焦点領域に設定される。
【０１３０】
図２３（ｃ）は、ぼかし処理後の画像データ６６０の一例である。画像データ６６０における被写体６６１乃至６６４は、ぼかし処理前の画像データ６５０における被写体６５１乃至６５４に対応する被写体である。被写体６５２および６５３が焦点領域に設定されたため、それらに対応する被写体６６２および６６３にはぼかし処理が実行されない。一方、それ以外の被写体６６１および６６４には、奥行差分最小値に応じた度合いのぼかし処理が実行される。
【０１３１】
図２４は、第５の実施の形態における、パターン構図を設定した場合のぼかし処理の前後の画像データおよび焦点領域情報の一例である。図２４（ａ）は、ぼかし処理前の画像データ６７０の一例である。画像データ６７０において、被写体６７１乃至６７４が撮像されている。
【０１３２】
ここで、パターン構図は、画像において規則的に配置された相似形の被写体を主要な被写体とする構図である。パターン構図の採用により、リズム感のある画像が得られる。例えば、図２４（ａ）において、被写体６７１乃至６７４は、規則的に配置されている。また、被写体６７１、６７２、および、６７４は、相似形の被写体である。この場合、規則的に並んだ相似形の被写体６７１、６７２、および、６７４が存在するために、パターン構図が選択される。そして、これらの被写体６７１、６７２、および、６７４が構図上、主要な被写体であると判断されて、焦点領域に設定される。
【０１３３】
図２４（ｂ）は、焦点領域情報６８０の一例である。図２４（ｂ）における白い領域の画素値は０であり、灰色の領域の画素値は１である。焦点領域情報６８０において、焦点領域６８１、６８２、および、６８４は、画像データ６７０において焦点領域に設定された被写体６７１、６７２、および、６７４に対応する領域である。図２４（ｂ）に示すように、これらの焦点領域内の画素の画素値に０が設定され、他の領域の画素値に１が設定されている。
【０１３４】
図２４（ｃ）は、ぼかし処理後の画像データ６９０の一例である。画像データ６９０において、被写体６９１乃至６９４は、画像データ６７０における被写体６７１乃至６７４に対応するものである。被写体６７１、６７２、および、６７４に焦点領域が設定されたため、それらに対応する被写体６９１、６９２、および、６９４に対しては、ぼかし処理が実行されない。一方、被写体６９３は、焦点領域に設定されなかったため、奥行差分最小値に応じた度合いのぼかし処理が実行されている。
【０１３５】
［画像処理装置の動作例］
続いて、図２５を参照して、第５の実施の形態における画像処理装置の動作例について説明する。図２５は、第５の実施の形態における焦点領域設定処理の一例を示すフローチャートである。焦点領域設定部４１３における構図決定部４４２は、画像内の被写体の形状や配置に基づいて構図を決定する（ステップＳ９４１）。候補領域抽出処理部４４３は、構図に基づいて複数の被写体領域を候補領域とする（ステップＳ９４２）。優先度設定部４５０は、登録された被写体の画像に類似する候補領域に高い優先度を設定する（ステップＳ９４３）。ステップＳ９４４乃至Ｓ９４６は、第３の実施の形態におけるステップＳ９２３乃至Ｓ９２５と同様の処理である。
【０１３６】
このように、第５の実施の形態によれば、焦点領域設定部４１３は、画像処理装置４００は、構図を決定して、その構図に基づいて焦点領域を設定する。奥行き情報取得部４８０は、奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、ユーザが焦点領域を設定しなくとも、画像処理装置４００自身が焦点領域を設定することができる。
【０１３７】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１３８】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１３９】
なお、本技術は以下のような構成もとることができる。
（１）被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定部と、
前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理部と
を具備する画像処理装置。
（２）前記焦点領域設定部は、
前記画像において前記焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出する候補領域抽出部と、
前記抽出された候補領域の中から複数の前記候補領域を選択して前記焦点領域として設定する候補領域選択部と
を備える前記（１）記載の画像処理装置。
（３）前記候補領域抽出部は、前記画像において所定の物体が撮像された領域を認識して前記候補領域として抽出する
前記（２）記載の画像処理装置。
（４）前記候補領域抽出部は、前記画像において顔が撮像された領域を認識して前記候補領域として抽出する
前記（２）または（３）に記載の画像処理装置。
（５）前記候補領域抽出部は、
前記画像において被写体の配置を定義する構図を決定する構図決定部と、
前記決定された構図に基づいて複数の領域を前記候補領域として抽出する候補領域抽出処理部と
を備える前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）前記焦点領域設定部は、
前記候補領域の選択における優先度を前記抽出された候補領域に設定する優先度設定部をさらに備え、
前記候補領域選択部は、前記設定された優先度に基づいて前記候補領域を選択する
前記（２）乃至（５）に記載の画像処理装置。
（７）前記優先度設定部は、所定の被写体が撮像された画像を登録しておき当該登録しておいた画像と前記候補領域との間の類似性に基づいて前記優先度を前記候補領域に設定する
前記（６）記載の画像処理装置。
（８）前記優先度設定部は、前記候補領域の面積に基づいて前記優先度を設定する
前記（６）または（７）に記載の画像処理装置。
（９）前記優先度設定部は、前記候補領域内のいずれかの画素に対応する前記奥行きに基づいて前記優先度を設定する
前記（６）乃至（９）のいずれかに記載の画像処理装置。
（１０）前記奥行き設定部は、前記取得された奥行きのうちの最小または最大の値に対して前記候補領域内のいずれかの画素に対応する前記奥行きが近いほどその候補領域に対して高い優先度を設定する
前記（９）記載の画像処理装置。
（１１）前記画像は、前記奥行きの取得において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記ぼかし処理部は、前記基準画像内のそれぞれの画素を前記対象画素として前記ぼかし処理を実行する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）前記ぼかし処理部は、
前記ぼかし処理の度合いをδｊとし、前記画像を撮像した撮像装置のレンズの有効口径をＤとし、前記対象画素に対応する前記奥行きをｄｊとし、前記最小値をΔｄｊ_ｍｉｎとし、前記画像の撮像倍率をＲとして、次式
δｊ＝Ｄ×Δｄｊ_ｍｉｎ×Ｒ／ｄｊ
を使用して算出した度合いのぼかし処理を前記対象画素に対して実行する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）前記焦点領域設定部は、前記焦点領域を指定する操作信号に従って前記焦点領域を設定する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）前記焦点領域設定部は、設定する前記焦点領域の個数を閾値以下に制限して前記焦点領域を設定する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
を具備する画像処理装置の制御方法。
（１６）焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１４０】
１００、１０１ 撮像装置
１５０ 撮像部
１５１ 基準画像撮像部
１５２ 参照画像撮像部
２００ 画像データ記憶部
２５０ 奥行き計測部
３００ 操作部
４００、４０１ 画像処理装置
４１０、４１１、４１２、４１３ 焦点領域設定部
４２０、４３０、４４０ 候補領域抽出部
４２１ オブジェクトデータベース
４２２ 物体認識部
４３１ 顔画像データベース
４３２ 顔認識部
４４１ 構図データベース
４４２ 構図決定部
４４３ 候補領域抽出処理部
４５０ 優先度設定部
４５１ 物体情報登録部
４５２ 物体優先度設定部
４５３ 人物情報登録部
４５４ 顔領域優先度設定部
４５５ 被写体情報登録部
４５６ 被写体優先度設定部
４６０ 候補領域選択部
４８０、４８１ 奥行き情報取得部
４８２ 視差検出部
４８３ 奥行き生成部
４９０ ぼかし処理部
４９１ 奥行差分絶対値算出部
４９２ 奥行差分最小値選択部
４９３ フィルタ次数算出部
４９４ ぼかしフィルタ
５００ 表示部
【技術分野】
【０００１】
本技術は、画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。詳しくは、ぼかし処理を実行する画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、撮影対象までの奥行きを測定することができる撮像装置が普及しつつある。奥行きの測定方法としてはＤＦＤ（Depth from Defocus）法やステレオマッチング法などがある。ＤＦＤ法は、画像内の被写体のボケ具合を解析して、ボケ具合と奥行きとの関係に基づいて、その被写体までの奥行きを測定する方法である。ステレオマッチング法は、基準画像および参照画像から視差を検出し、視差と奥行きとの関係に基づいて奥行きを測定する方法である。
【０００３】
これらの方法を使用して撮像装置から被写体までの奥行きを測定し、主たる被写体に焦点が合った状態のままで、その被写体の背景において、奥行きに応じた度合いのぼかし処理を施す撮像装置が提案されている（例えば、特許文献１参照。）。奥行きに応じた度合いのぼかし処理により、遠近感が強調された画像が生成される。このようなぼかし処理は、例えば、ポートレート写真の背景において、人物を引き立てる目的で施されることが多い。また、受光面積の小さい撮像素子を備えた撮像装置においては、その撮像素子の特性上、比較的ボケの少ない画像が撮像されるため、遠近感を強調する目的で、このようなぼかし処理がよく用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３７７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術では、ぼかし処理において焦点が合った状態を維持すべき領域（以下、「焦点領域」と称する。）を２つ以上設定する場合に、自然な遠近感を表現することができない場合があった。例えば、手前の被写体と、その被写体より奥に位置する被写体との２つの領域を焦点領域に設定し、残りの背景をぼかす場合を想定する。手前の被写体を基準として、手前の被写体からの奥行き方向の距離に応じて背景をぼかすと、ぼかしていない奥の被写体とぼかした背景との間の境界が不自然となってしまう。一方、奥の被写体を基準とした距離に応じて背景をぼかすと、ぼかしていない手前の被写体とぼかした背景との間の境界が不自然となってしまう。このように、複数の焦点領域を設定した場合に、自然な遠近感を表現することができないおそれがあった。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、複数の焦点領域を設定する場合に、自然な遠近感が表現された画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定部と、上記被写体までの奥行きを上記画像内の画素に対応付けて取得する奥行き取得部と、上記画像内のそれぞれの画素を対象画素として当該対象画素に対応する上記奥行きとそれぞれの上記焦点領域に対応する上記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を上記対象画素に対して実行するぼかし処理部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、対象画素に対応する奥行きと複数の焦点領域のそれぞれに対応する奥行きとの差分の絶対値のうちの最小値に応じた度合いのぼかし処理が、その対象画素に対して実行されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記焦点領域設定部は、上記画像において上記焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出する候補領域抽出部と、上記抽出された候補領域の中から複数の上記候補領域を選択して上記焦点領域として設定する候補領域選択部とを備えてもよい。これにより、抽出された候補領域の中から選択された複数の候補領域が焦点領域として設定されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記候補領域抽出部は、上記画像において所定の物体が撮像された領域を認識して上記候補領域として抽出することもできる。これにより、物体が撮像された領域が候補領域として抽出されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記候補領域抽出部は、上記画像において顔が撮像された領域を認識して上記候補領域として抽出することもできる。これにより、顔が撮像された領域が候補領域として抽出されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記候補領域抽出部は、上記画像において被写体の配置を定義する構図を決定する構図決定部と、上記決定された構図に基づいて複数の領域を上記候補領域として抽出する候補領域抽出処理部とを備えてもよい。これにより、決定された構図に基づいて候補領域が抽出されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記焦点領域設定部は、上記候補領域の選択における優先度を上記抽出された候補領域に設定する優先度設定部をさらに備え、上記候補領域選択部は、上記設定された優先度に基づいて上記候補領域を選択することもできる。これにより、設定された優先度に基づいて候補領域が選択されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記優先度設定部は、所定の被写体が撮像された画像を登録しておき当該登録しておいた画像と上記候補領域との間の類似性に基づいて上記優先度を上記候補領域に設定することもできる。これにより、登録された画像と候補領域との類似性に基づいて優先度が設定されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記優先度設定部は、上記候補領域の面積に基づいて上記優先度を設定することもできる。これにより、候補領域の面積に基づいて優先度が設定されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記優先度設定部は、上記候補領域内のいずれかの画素に対応する上記奥行きに基づいて上記優先度を設定することもできる。これにより、候補領域内のいずれかの画素に対応する奥行きに基づいて優先度が設定されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記奥行き設定部は、上記取得された奥行きのうちの最小または最大の値に対して上記候補領域内のいずれかの画素に対応する上記奥行きが近いほどその候補領域に対して高い優先度を設定することもできる。これにより、奥行きの最大または最小の値に対して、候補領域の奥行きが近いほど、その候補領域に高い優先度が設定されるという作用をもたらす。
【００１７】
また、この第１の側面において、上記画像は、上記奥行きの取得において基準とされる基準画像と参照される参照画像とを含み、上記奥行き取得部は、上記基準画像内のいずれかの上記画素と当該画素に対応する上記参照画像内の上記画素との間の距離を視差として検出する視差検出部と、上記検出された視差に基づいて上記基準画像内の上記画素に対応付けて上記奥行きを生成する奥行き生成部とを備え、上記ぼかし処理部は、上記基準画像内のそれぞれの画素を上記対象画素として上記ぼかし処理を実行することもできる。これにより、検出された視差に基づいて奥行きが生成されるという作用をもたらす。
【００１８】
また、この第１の側面において、上記ぼかし処理部は、上記ぼかし処理の度合いをδｊとし、上記画像を撮像した撮像装置のレンズの有効口径をＤとし、上記対象画素に対応する上記奥行きをｄｊとし、上記最小値をΔｄｊ_ｍｉｎとし、上記画像の撮像倍率をＲとして、次式
δｊ＝Ｄ×Δｄｊ_ｍｉｎ×Ｒ／ｄｊ
を使用して算出した度合いのぼかし処理を上記対象画素に対して実行することもできる。これにより、ぼかし処理の度合いが上式から算出されるという作用をもたらす。
【００１９】
また、この第１の側面において、上記焦点領域設定部は、上記焦点領域を指定する操作信号に従って上記焦点領域を設定することもできる。これにより、操作信号に従って焦点領域が設定されるという作用をもたらす。
【００２０】
また、この第１の側面において、上記焦点領域設定部は、設定する上記焦点領域の個数を閾値以下に制限して上記焦点領域を設定することもできる。これにより、設定する上記焦点領域の個数を閾値以下に制限されるという作用をもたらす。
【発明の効果】
【００２１】
本技術によれば、複数の焦点領域を設定する場合に、自然な遠近感が表現された画像を生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２２】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。
【図３】第１の実施の形態における焦点領域の設定方法の一例を説明するための図である。
【図４】第１の実施の形態における奥行き情報、奥行き、および、奥行差分絶対値の一例を示す図である。
【図５】第１の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図６】第１の実施の形態における奥行差分絶対値の一例を示す図である。
【図７】第１の実施の形態におけるフィルタ次数の一例を示す図である。
【図８】第１の実施の形態におけるぼかし処理後の画像データの一例を示す図である。
【図９】第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。
【図１０】第１の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【図１１】第１の実施の形態におけるぼかし処理の一例を示すフローチャートである。
【図１２】第２の実施の形態における撮像装置の一構成例を示すブロック図である。
【図１３】第２の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図１４】第２の実施の形態における奥行き情報取得部の一構成例を示すブロック図である。
【図１５】第２の実施の形態における視差と奥行きとの関係を示す図である。
【図１６】第２の実施の形態における画像処理装置の動作の一例を示すフローチャートである
【図１７】第３の実施の形態における焦点領域設定部の一構成例を示すブロック図である。
【図１８】第３の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【図１９】第４の実施の形態における焦点領域設定部の一構成例を示すブロック図である。
【図２０】第４の実施の形態におけるぼかし処理の前後の画像データの一例を示す図である。
【図２１】第４の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【図２２】第５の実施の形態における焦点領域設定部の一構成例を示すブロック図である。
【図２３】第５の実施の形態における、三分割構図を設定した場合のぼかし処理の前後の画像データおよび焦点領域情報の一例である。
【図２４】第５の実施の形態における、パターン構図を設定した場合のぼかし処理の前後の画像データの一例である。
【図２５】第５の実施の形態における焦点領域設定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理：複数の焦点領域を設定する例）
２．第２の実施の形態（画像処理：ステレオマッチングを使用する例）
３．第３の実施の形態（画像処理：物体認識を行う例）
４．第４の実施の形態（画像処理：顔認識を行う例）
５．第５の実施の形態（画像処理：構図に基づいて焦点領域を選択する例）
【００２４】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、被写体を撮像して、撮像した被写体の画像に対してぼかし処理を実行するものである。撮像装置１００は、撮像部１５０、画像データ記憶部２００、奥行き計測部２５０、操作部３００、画像処理装置４００、および、表示部５００を備える。
【００２５】
撮像部１５０は、被写体を撮像して画像データを生成するものである。撮像部１５０は、生成した画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００２６】
画像データ記憶部２００は、画像データを記憶するものである。詳細には、画像データ記憶部２００は、撮像部１５０および画像処理装置４００のそれぞれが生成した画像データを記憶する。
【００２７】
奥行き計測部２５０は、被写体までの奥行きを計測するものである。例えば、奥行き計測部２５０は、画像内の被写体のボケ具合を解析し、ボケ具合と奥行きとの関係に基づいて、その被写体までの奥行きを求めるＤＦＤ法を使用して、奥行きを計測する。奥行き計測部２５０は、画像内のそれぞれの画素に対応付けて奥行きを計測し、それらの奥行きを示す奥行き情報を生成する。奥行き計測部２５０は、生成した奥行き情報を画像処理装置４００に信号線２５１を介して出力する。なお、奥行き計測部２５０は、ＤＦＤ法以外の方法を使用して奥行きを計測することもできる。例えば、奥行き計測部２５０は、被写体にレーザ光を照射して、照射時刻に対する反射光の遅延時間に基づいて奥行きを計測するレーザ計測法を使用することもできる。
【００２８】
操作部３００は、撮像装置１００を操作する操作信号を検出するものである。この操作信号は、画像内において複数の焦点領域を指定するための操作信号を含む。操作部３００は、検出した操作信号を画像処理装置４００に信号線３０１を介して出力する。
【００２９】
画像処理装置４００は、画像データに対して、ぼかし処理を行うことにより、遠近感が強調された画像データを生成するものである。具体的には、画像処理装置４００は、操作信号に従って画像内に複数の焦点領域を設定する。また、画像処理装置４００は、奥行き計測部２５０により生成された奥行き情報を取得する。そして、画像処理装置４００は、画像内のそれぞれの画素を対象画素Ｐｊとして、対象画素ごとに、その対象画素の奥行きと複数の焦点領域のそれぞれの奥行きとの差分絶対値を奥行差分絶対値Δｄｊ_ｆｍとして算出する。ここで、ｊは、画像内の画素を識別するための番号であり、０乃至Ｎ−１の整数である。Ｎは、画像内の全画素を示す値であり、水平方向の画素数に垂直方向の画素数を乗算した値になる。ｍは、焦点領域を識別するための番号であり、０乃至Ｍ−１の整数である。Ｍは、設定された焦点領域の個数であり、２以上の整数である。したがって、Ｍ個の焦点領域が設定された場合、画像内の画素ごとに、Ｍ個の奥行差分絶対値が算出される。
【００３０】
対象画素ごとにＭ個の奥行差分絶対値を算出した後、画像処理装置４００は、対象画素ごとに、それらの奥行差分絶対値の最小値を奥行差分最小値Δｄｊ_ｍｉｎとして選択する。したがって、全画素数Ｎの画像において合計でＮ個の奥行差分最小値が選択される。
【００３１】
奥行差分最小値Δｄｊ_ｍｉｎを選択した後、画像処理装置４００は、それぞれの対象画素について、奥行差分最小値Δｄｊ_ｍｉｎに応じたぼかし処理の度合いを算出する。ぼかし処理の度合いを算出する式の具体例については後述する。
【００３２】
画像処理装置４００は、算出したフィルタ次数に従って、画像データに対してぼかし処理を実行する。画像処理装置４００は、ぼかし処理を実行した画像データを画像データ記憶部２００に信号線４０５を介して出力する。
【００３３】
表示部５００は、画像データ記憶部２００から画像データを読み出して表示するものである。
【００３４】
図２は、第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。図２（ａ）は、画像処理装置４００に入力された画像データ６００の一例である。画像データ６００において、例えば、車および運転手からなる被写体６０１と、木の被写体６０２および６０３と、家の被写体６０４とが撮像されている。
【００３５】
図２（ｂ）は、画像データ６００と同期して取得された奥行き情報６１０の一例を示す図である。奥行き情報６１０は、それぞれの画素における被写体の奥行きを画素値により示すデータである。例えば、奥行き情報６１０において奥行きを示す画素値として輝度値が設定され、奥行きが小さいほど、低い輝度値が設定される。奥行き情報６１０は、画像データ６００における被写体６０１乃至６０４に対応する被写体６１１乃至６１４の奥行き情報を含む。ここで、被写体６１１乃至６１４、および、それらの背景のうちの被写体６１１の奥行きが最も小さく、被写体６１２、被写体６１３、被写体６１４、背景の順に奥行きが大きいものとする。この場合、奥行き情報６１０において、最も手前の被写体６１１の輝度値が最も低く設定される。そして、被写体６１２、被写体６１３、被写体６１４、それらの背景の順に奥行きに応じて輝度値が高くなるように設定される。なお、奥行き情報６１０において、奥行きが小さいほど、高い輝度値が設定されるようにしてもよい。
【００３６】
図３は、第１の実施の形態における焦点領域の設定方法の一例を説明するための図である。例えば、最初に撮像装置１００が画像データ６００をタッチパネルに表示し、ユーザによる操作の受付けを開始する。画像データ６００のいずれかの画素を、ユーザが指でタッチすることにより指定すると、撮像装置１００における画像処理装置４００は、その画素を含む被写体の領域を検出する。例えば、画像処理装置４００は、画像内の輝度情報の分布を解析することにより、指定された画素を含む被写体の領域を検出する。画像処理装置４００は、輝度情報の分布に加え、色情報の分布の解析結果も含めて被写体領域を検出してもよい。画像処理装置４００は、検出した被写体の領域を焦点領域として設定する。なお、ユーザが画素の座標を数字キーで入力するなど、タッチパネルを用いずに撮像装置１００が焦点領域を設定する構成としてもよい。
【００３７】
一例として、被写体６０１内の画素６０５と、被写体６０４内の画素６０６とが指定された場合を想定する。この場合、画像処理装置４００は、指定された画素を含む被写体６０１および６０４を検出して焦点領域に設定する。
【００３８】
図４は、第１の実施の形態における奥行き情報、奥行き、および、奥行差分絶対値の一例を示す図である。焦点領域が設定されると、画像処理装置４００は、画像内のそれぞれの画素を対象画素として、対象画素の奥行きと、複数の焦点領域のそれぞれの奥行きとから、奥行差分絶対値を算出する。例えば、被写体６１２内の対象画素Ｐｊの奥行差分絶対値を求める場合を考える。この場合、焦点領域として被写体６０１および６０４が設定されると、画像処理装置４００は、図４（ａ）に示すように、対象画素Ｐｊの奥行きｄｊと、それぞれの焦点領域内のいずれかの画素に対応する奥行きｄ_ｆ０およびｄ_ｆ１とを取得する。そして、画像処理装置４００は、次式から奥行差分絶対値Δｄｊ_ｆ０およびΔｄｊ_ｆ１を算出する。
Δｄｊ＿ｆ０＝｜ｄｊ−ｄ_ｆ０｜ ・・・式１
Δｄｊ＿ｆ１＝｜ｄｊ−ｄ_ｆ１｜ ・・・式２
【００３９】
式１および式２から算出された奥行差分絶対値から、画像処理装置４００は、対象画素Ｐｊにおけるぼかし処理の度合いδｊを算出する。
【００４０】
図４（ｂ）は、図４（ａ）に例示した画像内の被写体の奥行き方向における位置関係の一例を示した図である。より具体的には、図４（ａ）に写された風景における水平方向に平行な軸をｘ軸、垂直方向に平行な軸をｙ軸、奥行き方向に平行な軸をｚ軸とした場合、図４（ｂ）は、ｘ軸方向から見た風景である。図４（ｂ）に示すように、被写体６１１に焦点領域ｆ０が設定されたとすると、撮像装置１００から被写体６１１までのｚ軸上の距離が奥行きｄ_ｆ０となる。また、被写体６１４に焦点領域ｆ１が設定されたとすると、撮像装置１００から被写体６１４までのｚ軸上の距離が奥行きｄ_ｆ０となる。被写体６１２上の画素を対象画素Ｐｊとすると、撮像装置１００から被写体６１２までの距離が奥行きｄｊとなる。この場合、奥行差分絶対値Δｄｊ_ｆ０は、被写体６１１における撮像装置１００に向けた面から、被写体６１２における撮像装置１００に向けた面までの距離である。また、奥行差分絶対値Δｄｊ_ｆ１は、被写体６１２における撮像装置１００に向けた面から、被写体６１４における撮像装置１００に向けた面までの距離である。
【００４１】
ここで、焦点領域とされた被写体６１１および６１４の撮像装置１００に向けた面が平坦でない場合、実際には、その焦点領域内の画素ごとの奥行きに、多少のばらつきが生じる。しかし、通常、そのばらつきの程度は、奥行きの単位と比較すると無視できるほど小さい。このため、画像処理装置４００は、焦点領域内のいずれかの画素（例えば、指定された画素６０５および６０６）に対応する奥行きを、その焦点領域に対応する奥行きとして取得している。
【００４２】
［画像処理装置の構成例］
図５は、第１の実施の形態における画像処理装置４００の一構成例を示すブロック図である。画像処理装置４００は、焦点領域設定部４１０、奥行き情報取得部４８０、および、ぼかし処理部４９０を備える。
【００４３】
焦点領域設定部４１０は、操作信号に従って、複数の焦点領域ｆ０乃至ｆ（Ｍ−１）を設定するものである。焦点領域設定部４１０は、設定した焦点領域を示す焦点領域情報をぼかし処理部４９０に信号線４１５を介して出力する。この焦点領域情報は、例えば、焦点領域ごとに焦点領域の輪郭の画素群の座標を含む。なお、焦点領域情報は、焦点領域内の全画素の座標を含む情報であってもよい。また、焦点領域情報は、焦点領域における画素値を２値のうちの一方の値（例えば、「１」）に、それ例外の領域における画素値を他方の値（例えば、「０」）に設定した画像データであってもよい。この画像データには、設定された焦点領域のそれぞれを識別する識別情報が付加される。識別情報は、例えば、ユーザにより指定された画像内の画素の座標と、その座標に対応する焦点領域の番号（０乃至Ｍ−１）とを含む。
【００４４】
なお、焦点領域設定部４１０は、輝度値の分布から、指定された画素を含む被写体の領域を検出しているが、他の方法を使用して被写体を検出することもできる。例えば、焦点領域設定部４１０は、奥行き情報を参照して、指定された画素に対応する奥行きとの差分が所定値以下の奥行きの画素群を被写体の領域として検出してもよい。また、焦点領域設定部４１０は、エッジ検出を実行して、指定された画素を含む被写体の輪郭を抽出することにより、被写体を検出することもできる。
【００４５】
また、焦点領域設定部４１０は、検出した被写体の領域を焦点領域に設定しているが、指定された画素を含む一定面積の図形（円など）内の領域を焦点領域に設定することもできる。
【００４６】
また、焦点領域設定部４１０は、焦点領域の個数を閾値Ｔ（Ｔは、２以上の整数）以下に制限することもできる。この場合、焦点領域設定部４１０は、焦点領域の個数がＴ個に達すると、それ以降の焦点領域を指定する操作を受け付けないものとする。
【００４７】
奥行き情報取得部４８０は、奥行き計測部２５０が生成した奥行き情報を取得するものである。奥行き情報取得部４８０は、取得した奥行き情報をぼかし処理部４９０に信号線４８５を介して出力する。なお、奥行き情報取得部４８０は、特許請求の範囲に記載の奥行き取得部の一例である。
【００４８】
ぼかし処理部４９０は、画像データに対してぼかし処理を実行するものである。ぼかし処理部４９０は、奥行差分絶対値算出部４９１、奥行差分最小値選択部４９２、フィルタ次数算出部４９３、および、ぼかしフィルタ４９４を備える。
【００４９】
奥行差分絶対値算出部４９１は、焦点領域情報および奥行き情報に基づいて、画像内のそれぞれの対象画素Ｐｊ（ｊは０乃至Ｎ−１）について、奥行差分絶対値Δｄｊ_ｆ０乃至Δｄｊ_ｆ(Ｍ−１)を算出するものである。奥行差分絶対値算出部４９１は、算出した奥行差分絶対値を奥行差分最小値選択部４９２に出力する。
【００５０】
奥行差分最小値選択部４９２は、画像内のそれぞれの対象画素について、奥行差分最小値Δｄｊ_ｍｉｎを選択するものである。奥行差分最小値選択部４９２は、選択した奥行差分最小値をフィルタ次数算出部４９３に出力する。
【００５１】
フィルタ次数算出部４９３は、画像内のそれぞれの対象画素Ｐｊについて、フィルタ次数δｊを算出するものである。フィルタ次数算出部４９３は、例えば、以下の式３からぼかし処理の度合いを算出する。ただし、以下の式３において、δｊは、対象画素Ｐｊのぼかし処理の度合いであり、例えば、ぼかしフィルタのフィルタ次数である。設定されたフィルタ次数に応じて、ぼかし量が増減する。また、Δｄｊ_ｍｉｎは対象画素Ｐｊの奥行差分最小値であり、単位は例えば［ｍ］である。Ａは、Δｄｊ_ｍｉｎの値をδｊに換算するための係数である。
δｊ＝Ａ・Δｄｊ_ｍｉｎ・・・式３
【００５２】
なお、フィルタ次数算出部４９３は、式３の代わりに、次式を使用して、ぼかし処理の度合いδｊを算出することもできる。ただし、次式において、Ｄは、撮像装置１００のレンズの有効口径であり、単位は例えば［ｍｍ］である。ｄｊは、対象画素Ｐｊの奥行きである。「Ｒ」は、画像データの撮像倍率である。Ｃは、Ｄ、Δｄｊ_ｍｉｎ、ｄｊ、および、Ｒにより求められる、ぼかし量をフィルタ次数δｊに変換するための係数である。画像処理装置４００は、式３または次式を使用して、画像内の全画素について、フィルタ次数を算出する。次式を使用した場合、実際の光学系の特性に即したぼかし量が算出される。フィルタ次数算出部４９３は、算出したフィルタ次数δｊをぼかしフィルタ４９４に出力する。
【数１】
【００５３】
ぼかしフィルタ４９４は、フィルタ次数δｊに従って、画像データに対してぼかし処理を実行するものである。ぼかしフィルタ４９４は、例えば、平滑化フィルタの一種のガウシアンフィルタであり、例えば、次式からぼかし処理後における画素（ｘ，ｙ）の画素値Ｉ'（ｘ，ｙ）を算出する。ただし、以下の式５におけるＩ（ｘ＋ｋ，ｙ＋ｌ）は、ぼかし処理前の画素（ｘ＋ｋ，ｙ＋ｌ）の画素値である。ｒは、ガウシアンフィルタの半径であり、０以上の整数である。ｗ（ｋ，ｌ）は、画素値Ｉ（ｘ＋ｋ，ｙ＋ｌ）に乗算すべき重み係数である。また、以下の式６におけるσは標準偏差であり、所定の実数が設定される。以下の式５および式６により、ガウシアンフィルタの中心に近いほど高く、周辺に近いほど小さい重み係数が設定される。以下の式７における「round（）」は、かっこ内の数値に対して所定の端数処理を実行して０以上の整数値を返す関数である。例えば、端数処理として、小数点以下を四捨五入する演算が実行される。
【数２】
【数３】
ｒ＝round(δｊ／２) ・・・式７
【００５４】
なお、ぼかし処理部４９０は、ぼかし処理の度合いとして、ガウシアンフィルタのフィルタ次数を算出しているが、フィルタ次数以外のパラメータをぼかし処理の度合いとして算出してもよい。例えば、ぼかし処理部４９０は、ぼかし処理の度合いとして、標準偏差σを算出することもできる。
【００５５】
また、ぼかし処理部４９０は、ガウシアンフィルタを使用してぼかし処理を実行しているが、移動平均フィルタなど、ガウシアンフィルタ以外のぼかしフィルタを使用することもできる。
【００５６】
また、画像処理装置４００を撮像装置１００の内部に設ける構成としているが、画像処理装置４００を外部に設けて撮像装置１００と画像処理装置４００とを別々の装置とすることもできる。
【００５７】
図６は、第１の実施の形態における奥行差分絶対値の一例を示す図である。焦点領域ｆ０、ｆ１、および、ｆ２を含む複数の焦点領域が設定された場合を考える。焦点領域ｆ０、ｆ１、および、ｆ２に対応する奥行きは、それぞれ１０ｍ、３０ｍ、および、２０ｍであるものとする。ここで、画素Ｐ０（０，０）に対応する奥行きが１２ｍであるとき、焦点領域ｆ０の奥行きとの間の奥行差分絶対値は２ｍである。また、焦点領域ｆ１およびｆ２の奥行きとの間の奥行差分絶対値は、１８ｍおよび８ｍである。これらの奥行差分絶対値のうち、最小値である２ｍが、画素Ｐ０における奥行差分最小値として選択される。
【００５８】
同様の方法で、画素Ｐ１００（１００，０）に対応する奥行きが１６ｍであるとき、４ｍが、その画素における奥行差分最小値として選択される。また、画素Ｐ２００（２００，０）に対応する奥行きが３６ｍであるとき、６ｍがその画素における奥行差分最小値として選択される。画素ＰＮ−１（Ｗ−１，Ｈ−１）に対応する奥行きが１０．２ｍであるとき、０．２ｍが、その画素における奥行差分最小値として選択される。ここで、Ｗは、画像の水平方向における全画素数であり、１以上の整数である。Ｈは、画像の垂直方向における全画素数であり、１以上の整数である。このように、画像内のそれぞれの画素について、設定された焦点領域ごとに奥行差分絶対値が算出される。そして、画素ごとに、それらの奥行差分絶対値の中の最小値が奥行差分最小値として選択される。
【００５９】
図７は、第１の実施の形態におけるフィルタ次数の一例を示す図である。上述の式３において、係数Ａとして２が設定された場合を考える。この場合、画素Ｐ０の奥行差分最小値が２ｍであれば、式３より、フィルタ次数として「４」が算出される。同様に、画素Ｐ１００およびＰ２００の奥行差分最小値が４ｍおよび６ｍであれば、式３より、フィルタ次数として「８」および「１２」が算出される。画素ＰＮ-1の奥行差分最小値が０．２ｍであれば、式３よりフィルタ次数として０．４が算出される。
【００６０】
図８は、第１の実施の形態におけるぼかし処理後の画像データ６２０の一例を示す図である。画像データ６２０における被写体６２１乃至６２４は、図２（ａ）に例示した平価捕まえの画像データ６００における被写体６０１乃至６０４に対応する被写体である。被写体６２１および６２４が焦点領域として設定されたものとする。また、被写体６２１乃至６２４のうちの被写体６２１の奥行きが最も小さく、被写体６２２、被写体６２３、被写体６２４の順に奥行きが大きくなるものとする。被写体６２２および６２３は、奥行き方向において被写体６２４よりも被写体６２１に近いものとする。また、被写体６２２は、被写体６２３よりも被写体６２１に近いものとする。
【００６１】
この場合、奥行き方向において、手前にある焦点領域（被写体６２１）から奥に向かうほど、ぼかし処理の度合いが大きくなる。そして、奥行き方向において手前の焦点領域（被写体６２１）と奥の焦点領域（被写体６２４）の中間付近でぼかし処理の度合いが最も大きくなる。奥行き方向において、その中間付近を越えて、奥の焦点領域（被写体６２４）に近づくほど、ぼかし処理の度合いが小さくなる。例えば、奥行き方向において被写体６２２は、被写体６２３よりも、焦点領域が設定された被写体６２１に近いため、被写体６２２に対するぼかし処理の度合いは、被写体６２３よりも小さくなる。このように、複数の焦点領域が設定された場合であっても、奥行き方向において最も近い焦点領域からの奥行きに応じてぼかし処理の度合いが変更されるため、自然な遠近感が得られる。
【００６２】
［画像処理装置の動作例］
続いて、図９乃至図１１を参照して、第１の実施の形態における画像処理装置４００の動作例について説明する。図９は、第１の実施の形態における画像処理装置４００の動作の一例を示すフローチャートである。この動作は、撮像された画像データが画像処理装置４００に入力されたときに開始する。画像処理装置４００は、複数の焦点領域を設定するための焦点領域設定処理を実行する（ステップＳ９１０）。画像処理装置４００は、奥行き計測部２５０からの奥行き情報を取得する（ステップＳ９５０）。画像処理装置４００は、画像データをぼかすためのぼかし処理を実行する（ステップＳ９６０）。ステップＳ９６０の後、画像処理装置４００は、ぼかし処理後の画像データを生成するための動作を終了する。
【００６３】
図１０は、第１の実施の形態における焦点領域設定処理の一例を示すフローチャートである。画像処理装置４００における焦点領域設定部４１０は、変数ｉを０に初期化し（ステップＳ９１１）、焦点領域を設定するための操作の受付を開始する（ステップＳ９１２）。そして、焦点領域設定部４１０は、いずれかの画素が、焦点領域内の画素として選択されたか否かを判断する（ステップＳ９１３）。
【００６４】
いずれかの画素が選択されたのであれば（ステップＳ９１３：Ｙｅｓ）、焦点領域設定部４１０は、選択された画素を含む被写体の領域を焦点領域ｆｉの候補として一時記憶する（ステプＳ９１４）。焦点領域設定部４１０は、変数ｉに１を加算する（ステップＳ９１５）。
【００６５】
画素が選択されていない場合（ステップＳ９１３：Ｎｏ）、またはステップＳ９１５の後、焦点領域設定部４１０は、画素の選択が確定されたか否かを判断する（ステップＳ９１６）。選択が確定されていなければ（ステップＳ９１６：Ｎｏ）、焦点領域設定部４１０は、ステップＳ９１３に戻る。選択が確定されたのであれば（ステップＳ９１６：Ｙｅｓ）、焦点領域設定部４１０は、それぞれの候補を焦点領域として設定する（ステップＳ９１７）。ステップＳ９１７の後、焦点領域設定部４１０は、焦点領域設定処理を終了する。
【００６６】
図１１は、第１の実施の形態におけるぼかし処理の一例を示すフローチャートである。画像処理装置４００におけるぼかし処理部４９０は、まず、全ての焦点領域の奥行きｄ_ｆ０乃至ｄ_ｆ(Ｍ−１)を取得する（ステップＳ９６１）。ぼかし処理部４９０は、変数ｍおよびｎを０に初期化して、ループ処理を開始する。このループ処理において、ぼかし処理部４９０は、後述するステップＳ９６３乃至９６８を実行してｍまたはｎを１つ増分する。増分後にｍ＞Ｗ−１かつｎ＞Ｈ−１であればループ処理を終了し、そうでなければステップＳ９６３に戻り、ループ処理を継続する（ステップＳ９６２）。
【００６７】
ぼかし処理部４９０は、画素（ｍ，ｎ）を対象画素Ｐｊとする（ステップＳＳ９６３）。ぼかし処理部４９０は、対象画素Ｐｊの奥行きｄｊを取得する（ステップＳ９６４）。ぼかし処理部４９０は、対象画素Ｐｊの奥行きｄｊと、焦点領域の奥行きｄ_ｆ０乃至ｄ_ｆ(Ｍ−１)とから、奥行差分絶対値Δｄｊ_ｆ０乃至Δｄｊ_ｆ(Ｍ−１)を算出する（ステップＳ９６５）。ぼかし処理部４９０は、算出した奥行差分絶対値Δｄｊ_ｆ０乃至Δｄｊ_ｆ(Ｍ−１)のうちの最小値を対象画素Ｐｊの奥行差分最小値Δｄｊ_ｍｉｎとして選択する（ステップＳ９６６）。ぼかし処理部４９０は、選択した奥行差分最小値Δｄｊ_ｍｉｎから、上述の式３を使用して対象画素Ｐｊのフィルタ次数δｊを算出する（ステップＳ９６７）。ぼかし処理部４９０は、算出したフィルタ次数に従って、上述の式５および式６を使用して、ぼかし処理後の対象画素Ｐｊの画素値を算出する（ステップＳ９６８）。
【００６８】
ループ処理（ステップＳ９６２）の終了後、ぼかし処理部４９０は、ぼかし処理を終了する。
【００６９】
このように、第１の実施の形態によれば、焦点領域設定部４１０が複数の焦点領域を設定する。また、奥行き情報取得部４８０が、画素に対応づけて奥行きを取得する。ぼかし処理部４９０は、画像内の画素ごとに、画素の奥行きと焦点領域のそれぞれに対応する奥行きとの間のそれぞれの差分の絶対値を奥行差分最小値として算出する。そして、ぼかし処理部４９０は、奥行差分絶対値のうちの最小値を奥行差分最小値として画素ごとに選択する。ぼかし処理部４９０は、奥行差分最小値からフィルタ次数を算出し、そのフィルタ次数に従ってぼかし処理を実行する。これにより、奥行き方向において被写体に最も近い焦点領域からの距離に応じて、その被写体のぼかし処理の度合いが変更される。この結果、複数の焦点領域が設定された場合において自然な遠近感を表わす画像が生成される。
【００７０】
＜２．第２の実施の形態＞
［撮像装置の構成例］
次に、図１２乃至１６を参照して、本技術の第２の実施の形態について説明する。図１２は、第２の実施の形態における撮像装置１０１の一構成例を示すブロック図である。撮像装置１０１は、ステレオマッチング法により奥行き情報を生成する点において第１の実施の形態の撮像装置１００と異なる。ステレオマッチング法の詳細については後述する。撮像装置１０１は、撮像部１５０の代わりに基準画像撮像部１５１および参照画像撮像部１５２を備え、画像処理装置４００の代わりに画像処理装置４０１を備え、奥行き計測部２５０を有しない点において撮像装置１００と異なる。
【００７１】
基準画像撮像部１５１は、基準画像を撮像するものである。ここで、基準画像は、奥行きの算出において基準とされる画像である。例えば、撮像装置１０１の右側のレンズで撮像された右画像と左側のレンズで撮像された左画像とのうちの、いずれかが基準画像とされる。基準画像撮像部１５１は、撮像した基準画像を示す基準画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００７２】
参照画像撮像部１５２は、参照画像を撮像するものである。ここで、参照画像は、基準画像と同期して撮像された画像であり、奥行きの算出において参照される画像である。例えば、右画像および左画像のうちの、基準画像以外の画像が参照画像とされる。参照画像撮像部１５２は、撮像した参照画像を示す参照画像データを画像データ記憶部２００に信号線１５６を介して出力する。
【００７３】
画像処理装置４０１は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。画像処理装置４０１は、基準画像データおよび参照画像データからステレオマッチング法を使用して、画素に対応付けて奥行きを算出する。画像処理装置４０１は、算出した奥行きに基づいて、基準画像に対してぼかし処理を実行する。
【００７４】
［画像処理装置の構成例］
続いて、図１３を参照して、第２の実施の形態における画像処理装置の構成例について説明する。図１３は、第２の実施の形態における画像処理装置４０１の一構成例を示すブロック図である。画像処理装置４０１は、奥行き情報取得部４８０の代わりに奥行き情報取得部４８１を備える点において第１の実施の形態の画像処理装置４００と異なる。
【００７５】
図１４は、第２の実施の形態における奥行き情報取得部４８１の一構成例を示すブロック図である。奥行き情報取得部４８１は、視差検出部４８２および奥行き生成部４８３を備える。
【００７６】
視差検出部４８２は、基準画像および参照画像から視差を検出するものである。具体的には、視差検出部４８２は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。視差検出部４８２は、基準画像内のいずれかの画素を対象点とし、参照画像内において、その対象点と対応する対応点を求める。視差検出部４８２は、対象点の水平座標と、対応点の水平座標との間の差分の絶対値を視差として検出する。視差検出部４８２は、基準画像内の全ての画素について、視差を検出して奥行き生成部４８３に出力する。
【００７７】
奥行き生成部４８３は、視差から奥行き情報を生成するものである。視差から奥行きを求める方法については、後述する。奥行き生成部４８３は、画像内のそれぞれの画素に対応付けて奥行きを求め、奥行き情報を生成する。奥行き生成部４８３は、奥行き情報をぼかし処理部４９０に出力する。
【００７８】
図１５は、第２の実施の形態における視差と奥行きとの関係の一例を示す図である。基準画像における対象点の水平座標をＸＲとし、参照画像における対応点の水平座標をＸＬとする。この場合、視差ｐは次式により算出される。
ｐ＝｜ＸＲ−ＸＬ｜ ・・・式８
【００７９】
また、基準画像撮像部１５１と参照画像撮像部１５２とのそれぞれのレンズ間の間隔をＢとし、焦点距離をＦとする。この場合、対象点（ＸＲ）、対応点（ＸＬ）、および、被写体がなす三角形と、基準画像撮像部１５１のレンズ、参照画像撮像部１５２のレンズ、および、被写体がなす三角形とは相似である。このため、その被写体までの奥行きをｄとすると、次式に示す関係式が成立する。
ｐ：Ｆ＝Ｂ：ｄ ・・・式９
【００８０】
式９を変形することにより、次式が得られる。
ｄ＝Ｂ×Ｆ／ｐ ・・・式１０
【００８１】
ＢおよびＦは、既知の値であるから、検出された視差ｐを式１０に代入することにより、奥行きｄが算出される。
【００８２】
［画像処理装置の動作例］
続いて、図１６を参照して、第２の実施の形態における画像処理装置４０１の動作例について説明する。図１６は、第２の実施の形態における画像処理装置４０１の動作の一例を示すフローチャートである。画像処理装置４０１の動作は、ステップＳ９５０の代わりにステップＳ９５１およびＳ９５２を実行する点において第１の実施形態の画像処理装置４００の動作と異なる。
【００８３】
画像処理装置４０１は、基準画像および奥行き画像から視差ｐを検出する（ステップＳ９５１）。そして、画像処理装置４０１は、式１０に基づいて視差ｐから奥行きｄを算出して奥行き情報を生成する（ステップＳ９５２）。
【００８４】
このように、本技術の第２の実施の形態によれば、焦点領域設定部４１０が焦点領域を設定し、奥行き情報取得部４８１は、基準画像および参照画像から視差を検出し、その視差に基づいて奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、画像処理装置４０１自身が奥行き情報を生成することができる。
【００８５】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
次に、図１７および図１８を参照して、本技術の第３の実施の形態について説明する。図１７は、第３の実施の形態における焦点領域設定部４１１の一構成例を示すブロック図である。焦点領域設定部４１１は、画像内の複数の物体を認識して、それらの物体の領域を焦点領域に設定する点において第１の実施の形態の焦点領域設定部４１０と異なる。焦点領域設定部４１１は、候補領域抽出部４２０、優先度設定部４５０、および、候補領域選択部４６０を備える。
【００８６】
候補領域抽出部４２０は、画像において焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出するものである。候補領域抽出部４２０は、オブジェクトデータベース４２１および物体認識部４２２を備える。
【００８７】
オブジェクトデータベース４２１は、認識対象の物体を認識するための情報を記憶するデータベースである。例えば、オブジェクトデータベース４２１は、認識対象の物体について学習した画像データ、物体のカテゴリ、物体の特徴量の情報などを記憶する。
【００８８】
物体認識部４２２は、オブジェクトデータベース４２１を参照して、画像における複数の物体を認識するものである。物体認識部４２２は、認識した物体の領域のそれぞれを焦点領域の候補である候補領域とする。物体認識部４２２は、画像内の候補領域を示す候補領域情報を生成して優先度設定部４５０および候補領域選択部４６０に出力する。
【００８９】
優先度設定部４５０は、候補領域の選択における優先度を、それぞれの候補領域に設定するものである。優先度設定部４５０は、物体情報登録部４５１および物体優先度設定部４５２を備える。
【００９０】
物体情報登録部４５１は、選択において優先度を変更すべき物体に関する物体情報を登録するものである。物体情報は、具体的には、物体の画像データや、物体の名称などである。
【００９１】
物体優先度設定部４５２は、候補領域のそれぞれの優先度を設定するものである。例えば、物体優先度設定部４５２は、登録された物体の画像に類似する候補領域の優先度を、類似しない候補領域よりも高く設定する。なお、物体優先度設定部４５２は、逆に、登録された物体の画像に類似しない候補領域に高い優先度を設定することもできる。
【００９２】
また、物体優先度設定部４５２は、候補領域の面積に基づいて優先度を設定することもできる。具体的には、物体優先度設定部４５２は、候補領域の面積が大きいほど、高い優先度を設定する。物体優先度設定部４５２は、全ての候補領域の面積の平均値を算出して、候補領域の面積が、その平均値に近いほど、高い優先度を設定してもよい。
【００９３】
また、物体優先度設定部４５２は、候補領域に対応する奥行きに基づいて優先度を設定することもできる。この場合、物体優先度設定部４５２は、奥行きが大きいほど高い優先度を設定してもよいし、奥行きが小さいほど高い優先度を設定してもよい。また、物体優先度設定部４５２は、画像内の全画素に対応する奥行きの中の最大値および最小値を求め、その最大値または最小値に近い奥行きの物体ほど、高い優先度を設定してもよい。このように手前の物体と奥の物体とが優先されると、奥行き方向において距離の離れた物体に焦点領域が設定されやすくなる。この結果、手前の物体から奥に向かうほど、ぼかしが大きくなり、手前および奥の物体の中間付近でぼかしが最大となり、そこから奥の物体に向かうほどぼかしが小さくなるというぼかし具合が顕著になる。このため、画像において、遠近感がより強調されるようになる。
【００９４】
物体優先度設定部４５２は、設定した優先度を示す優先度情報を候補領域選択部４６０に出力する。
【００９５】
候補領域選択部４６０は、候補領域情報の示す候補領域の中から複数の候補領域を選択して焦点領域に設定するものである。ただし、候補領域選択部４６０は、設定する焦点領域の個数を、Ｔ（Ｔは、２以上の整数）個以下に制限する。具体的には、候補領域選択部４６０は、候補領域の個数がＴ個以下である場合、全ての候補領域を焦点領域として設定する。候補領域がＴ個より多い場合、候補領域選択部４６０は、優先度設定部４５０が設定した優先度が高い候補領域を優先してＴ個の候補領域を選択して焦点領域として設定する。候補領域選択部４６０は、設定した焦点領域を示す焦点領域情報をぼかし処理部４９０に出力する。
【００９６】
なお、焦点領域設定部４１１がオブジェクトデータベース４２１を備える構成としているが、焦点領域設定部４１１がオブジェクトデータベース４２１を有しない構成とすることもできる。例えば、撮像装置１００の外部にオブジェクトデータベースを設置しておき、焦点領域設定部４１１が、ネットワークを介して、そのオブジェクトデータベースにアクセスする構成とすればよい。同様に、焦点領域設定部４１１は、物体情報登録部４５１を外部に設ける構成とすることもできる。
【００９７】
また、焦点領域設定部４１１が優先度設定部４５０を備える構成としているが、焦点領域設定部４１１が優先度設定部４５０を有しない構成とすることもできる。この場合、候補領域選択部４６０は、焦点領域の個数を制限しないで全ての物体の領域を焦点領域に設定してもよいし、焦点領域の個数をＴ個に制限してもよい。優先度設定部４５０を備えずにＴ個以下に制限する場合において候補領域がＴ個を超えたのであれば、候補領域選択部４６０は、無作為にＴ個の物体領域を選択すればよい。
【００９８】
［画像処理装置の動作例］
続いて、図１８を参照して、第３の実施の形態における画像処理装置の動作例について説明する。図１８は、第３の実施の形態における焦点領域設定処理の一例を示すフローチャートである。焦点領域設定部４１１における物体認識部４２２は、オブジェクトデータベース４２１を参照して画像内の物体を認識して、その領域を候補領域とする（ステップＳ９２１）。優先度設定部４５０は、登録された物体の画像に類似する候補領域に高い優先度を設定する（ステップＳ９２２）。候補領域選択部４６０は、候補領域の個数がＴ個より多いか否かを判断する（ステップＳ９２３）。候補領域の個数がＴ個より多ければ（ステップＳ９２３：Ｙｅｓ）、候補領域選択部４６０は、優先度に基づいてＴ個の候補領域を選択する（ステップＳ９２４）。
【００９９】
候補領域の個数がＴ個以下である場合（ステップＳ９２３：Ｎｏ）、または、ステップＳ９２４の後、候補領域選択部４６０は、それぞれの候補領域を焦点領域として設定する（ステップＳ９２５）。ステップＳ９２５の後、焦点領域設定部４１１は、焦点領域設定処理を終了する。
【０１００】
このように、第３の実施の形態によれば、焦点領域設定部４１１は、画像内の物体を認識して、その物体の領域を焦点領域に設定する。奥行き情報取得部４８０は、奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、ユーザが焦点領域を設定しなくとも、画像処理装置４００自身が焦点領域を設定することができる。
【０１０１】
＜４．第４の実施の形態＞
［画像処理装置の構成例］
次に、図１９乃至２１を参照して、本技術の第４の実施の形態について説明する。図１９は、第４の実施の形態における焦点領域設定部４１２の一構成例を示すブロック図である。焦点領域設定部４１２は、画像内の複数の顔を認識して、それらの顔の領域を焦点領域に設定する点において第１の実施の形態の焦点領域設定部４１０と異なる。焦点領域設定部４１２は、候補領域抽出部４３０、優先度設定部４５０、および、候補領域選択部４６０を備える。
【０１０２】
第４の実施の形態の候補領域抽出部４３０は、物体の代わりに顔を認識する点において、第３の実施の形態の候補領域抽出部４２０と異なる。候補領域抽出部４３０は、顔画像データベース４３１および顔認識部４３２を備える。
【０１０３】
顔画像データベース４３１は、画像における顔を認識するため情報を記憶するデータベースである。顔画像データベース４３１は、例えば、様々な人物の顔画像データ、顔のパーツの特徴を数値化したデータ、および、それらの人物の性別や年齢などのメタデータを記憶する。
【０１０４】
顔認識部４３２は、顔画像データベース４３１を参照して、画像における複数の顔を認識するものである。顔認識部４３２は、認識した、それぞれの顔の領域を候補領域とする。
【０１０５】
第３の実施の形態の優先度設定部４５０は、特定の人物の顔画像に類似する候補領域を優先する点において第３の実施の形態の優先度設定部４５０と異なる。第４の実施の形態における優先度設定部４５０は、人物情報登録部４５３および顔領域優先度設定部４５４を備える。
【０１０６】
人物情報登録部４５３は、選択において優先度を変更したい人物に関する人物情報を登録するものである。人物情報は、具体的には、特定の人物の顔画像データ、その人物の性別や年齢などのメタデータなどである。
【０１０７】
顔領域優先度設定部４５４は、候補領域のそれぞれの優先度を設定するものである。例えば、顔領域優先度設定部４５４は、登録された人物を認識して、認識した人物の顔画像に類似する候補領域の優先度を、それ以外の候補領域よりも高く設定する。
【０１０８】
第４の実施の形態の候補領域選択部４６０は、第３の実施の形態の候補領域選択部４６０と同様のものである。
【０１０９】
なお、焦点領域設定部４１２は、顔画像データベース４３１および人物情報登録部４５３を外部に設ける構成とすることもできる。
【０１１０】
また、焦点領域設定部４１２が優先度設定部４５０を備える構成としているが、焦点領域設定部４１２が優先度設定部４５０を有しない構成とすることもできる。
【０１１１】
また、優先度設定部４５０は、登録された人物の顔画像に類似する候補領域に高い優先度を設定しているが、逆に、登録された人物の顔画像に類似する候補領域の優先度を低く設定することもできる。
【０１１２】
図２０は、第４の実施の形態におけるぼかし処理の前後の画像データの一例を示す図である。図２０（ａ）は、ぼかし処理前の画像データの一例である。この画像データは、顔領域６３１および６３３と、木の被写体６３２および６３４とを含む。焦点領域設定部４１２は、顔領域６３１および６３３を認識し、これらの顔領域を焦点領域に設定する。そして、ぼかし処理部４９０は、奥行差分最小値に応じた度合いのぼかし処理を実行する。
【０１１３】
図２０（ｂ）は、ぼかし処理後の画像データの一例である。顔領域６３１および６３３に対応する顔領域を含む被写体６４１および６４３には、ぼかし処理が実行されていない。被写体６４１は顔以外に胴体を含み、被写体６４３は顔以外に胴体および車を含むが、これらの胴体および車は、顔と奥行きがほぼ同じであるため、ぼかし処理が実行されない。一方、木の被写体６３２および６３２に対応する被写体６４２および６４４には、奥行差分最小値に応じた度合いのぼかし処理が実行されている。
【０１１４】
［画像処理装置の動作例］
続いて、図２１を参照して、第４の実施の形態における画像処理装置４００の動作例について説明する。図２１は、第４の実施の形態における焦点領域設定処理の一例を示すフローチャートである。焦点領域設定部４１２における顔認識部４３２は、顔画像データベース４３１を参照して画像内の顔領域を認識して候補領域とする（ステップＳ９３１）。優先度設定部４５０は、登録された人物の顔画像に類似する候補領域に高い優先度を設定する（ステップＳ９３２）。ステップＳ９３３乃至Ｓ９３５は、第３の実施の形態におけるステップＳ９２３乃至Ｓ９２５と同様の処理である。
【０１１５】
このように、第４の実施の形態によれば、焦点領域設定部４１２は、画像処理装置４００は、画像内の顔領域を認識して、その顔領域を焦点領域に設定する。奥行き情報取得部４８０は、奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、ユーザが焦点領域を設定しなくとも、画像処理装置４００自身が焦点領域を設定することができる。
【０１１６】
＜５．第５の実施の形態＞
［画像処理装置の構成例］
次に、図２２乃至２５を参照して、本技術の第５の実施の形態について説明する。図２２は、第５の実施の形態における焦点領域設定部４１３の一構成例を示すブロック図である。焦点領域設定部４１３は、構図に基づいて焦点領域を設定する点において第１の実施の形態の焦点領域設定部４１０と異なる。焦点領域設定部４１３は、候補領域抽出部４４０、優先度設定部４５０、および、候補領域選択部４６０を備える。
【０１１７】
第５の実施の形態の候補領域抽出部４４０は、構図に基づいて候補領域を抽出する点において、第３の実施の形態の候補領域抽出部４２０と異なる。候補領域抽出部４４０は、構図データベース４４１、構図決定部４４２、および、候補領域抽出処理部４４３を備える。
【０１１８】
構図データベース４４１は、三分割構図、パターン構図、放射線構図などの各種の構図に関する情報を記憶するものである。例えば、構図データベース４４１は、構図を構成する構図構成要素の画像内の配列パターンや、構図の名称などを記憶する。構図構成要素は、物体や顔などの被写体や、エッジ検出などにより検出される線分を含む。
【０１１９】
構図決定部４４２は、構図を決定するものである。構図決定部４４２は、例えば、画像内の被写体や線分を検出して、構図データベース４４１を参照し、被写体等の形状や配置が最も合致する構図を選択して画像の構図に決定する。構図決定部４４２は、決定した構図を示す構図情報を候補領域抽出処理部４４３に出力する。なお、構図決定部４４２は、ユーザの操作に従って、構図を決定することもできる。
【０１２０】
候補領域抽出処理部４４３は、決定された構図において主要な被写体の領域を候補領域として抽出するものである。候補領域抽出処理部４４３は、抽出した候補領域を示す候補領域情報を生成して優先度設定部４５０および候補領域選択部４６０に出力する。
【０１２１】
第３の実施の形態の優先度設定部４５０は、物体に限らず、物体や顔などの様々な被写体の領域の優先度を設定する点において第３の実施の形態の優先度設定部４５０と異なる。第４の実施の形態における優先度設定部４５０は、被写体情報登録部４５５および被写体優先度設定部４５６を備える。
【０１２２】
被写体情報登録部４５５は、選択において優先度を変更したい被写体に関する人物情報を登録するものである。被写体情報は、具体的には、特定の被写体の画像データや、被写体の名称などの情報である。
【０１２３】
被写体優先度設定部４５６は、候補領域のそれぞれの優先度を設定するものである。例えば、被写体優先度設定部４５６は、登録された被写体の画像に類似する候補領域の優先度を、類似しない候補領域よりも高く設定する。なお、被写体優先度設定部４５６は、逆に、登録された被写体の画像に類似する候補領域の優先度を低く設定することもできる。
【０１２４】
第５の実施の形態の候補領域選択部４６０は、第３の実施の形態の候補領域選択部４６０と同様のものである。
【０１２５】
なお、焦点領域設定部４１３は、構図データベース４４１および被写体情報登録部４５５を外部に設ける構成とすることもできる。
【０１２６】
また、焦点領域設定部４１３が優先度設定部４５０を備える構成としているが、焦点領域設定部４１３が優先度設定部４５０を有しない構成とすることもできる。
【０１２７】
図２３は、第５の実施の形態における、三分割構図を設定した場合のぼかし処理の前後の画像データの一例である。図２３（ａ）は、ぼかし処理前の画像データ６５０の一例である。画像データ６５０において、被写体６５１乃至６５４が撮像されている。図２３（ｂ）は、三分割構図を設定した画像データ６５０の一例である。
【０１２８】
ここで、三分割構図は、等間隔に引いた２本の水平線と等間隔に引いた２本の垂直線とにより、画像を９等分し、水平線および垂直線の線上または交点上に主要な被写体を配置する構図である。三分割構図の採用により、バランスの取れた芸術的な画像が得られる。
【０１２９】
構図決定部４４２は、例えば、三分割構図およびパターン構図のいずれかを選択するものとする。また、被写体６５１乃至６５４は、相似形の被写体でないものとする。この場合、パターン構図は適当でないため、三分割構図が選択される。この三分割構図において、交点ＰＰ１乃至ＰＰ４が設定される。図２３（ｂ）に示すように、被写体６５１および６５４は、いずれの交点上にも配置されていない。一方、被写体６５２は交点ＰＰ２上に配置され、被写体６５３は交点ＰＰ３上に配置されている。このため、被写体６５２および６５３が、構図上、主要な被写体と判断され、焦点領域に設定される。
【０１３０】
図２３（ｃ）は、ぼかし処理後の画像データ６６０の一例である。画像データ６６０における被写体６６１乃至６６４は、ぼかし処理前の画像データ６５０における被写体６５１乃至６５４に対応する被写体である。被写体６５２および６５３が焦点領域に設定されたため、それらに対応する被写体６６２および６６３にはぼかし処理が実行されない。一方、それ以外の被写体６６１および６６４には、奥行差分最小値に応じた度合いのぼかし処理が実行される。
【０１３１】
図２４は、第５の実施の形態における、パターン構図を設定した場合のぼかし処理の前後の画像データおよび焦点領域情報の一例である。図２４（ａ）は、ぼかし処理前の画像データ６７０の一例である。画像データ６７０において、被写体６７１乃至６７４が撮像されている。
【０１３２】
ここで、パターン構図は、画像において規則的に配置された相似形の被写体を主要な被写体とする構図である。パターン構図の採用により、リズム感のある画像が得られる。例えば、図２４（ａ）において、被写体６７１乃至６７４は、規則的に配置されている。また、被写体６７１、６７２、および、６７４は、相似形の被写体である。この場合、規則的に並んだ相似形の被写体６７１、６７２、および、６７４が存在するために、パターン構図が選択される。そして、これらの被写体６７１、６７２、および、６７４が構図上、主要な被写体であると判断されて、焦点領域に設定される。
【０１３３】
図２４（ｂ）は、焦点領域情報６８０の一例である。図２４（ｂ）における白い領域の画素値は０であり、灰色の領域の画素値は１である。焦点領域情報６８０において、焦点領域６８１、６８２、および、６８４は、画像データ６７０において焦点領域に設定された被写体６７１、６７２、および、６７４に対応する領域である。図２４（ｂ）に示すように、これらの焦点領域内の画素の画素値に０が設定され、他の領域の画素値に１が設定されている。
【０１３４】
図２４（ｃ）は、ぼかし処理後の画像データ６９０の一例である。画像データ６９０において、被写体６９１乃至６９４は、画像データ６７０における被写体６７１乃至６７４に対応するものである。被写体６７１、６７２、および、６７４に焦点領域が設定されたため、それらに対応する被写体６９１、６９２、および、６９４に対しては、ぼかし処理が実行されない。一方、被写体６９３は、焦点領域に設定されなかったため、奥行差分最小値に応じた度合いのぼかし処理が実行されている。
【０１３５】
［画像処理装置の動作例］
続いて、図２５を参照して、第５の実施の形態における画像処理装置の動作例について説明する。図２５は、第５の実施の形態における焦点領域設定処理の一例を示すフローチャートである。焦点領域設定部４１３における構図決定部４４２は、画像内の被写体の形状や配置に基づいて構図を決定する（ステップＳ９４１）。候補領域抽出処理部４４３は、構図に基づいて複数の被写体領域を候補領域とする（ステップＳ９４２）。優先度設定部４５０は、登録された被写体の画像に類似する候補領域に高い優先度を設定する（ステップＳ９４３）。ステップＳ９４４乃至Ｓ９４６は、第３の実施の形態におけるステップＳ９２３乃至Ｓ９２５と同様の処理である。
【０１３６】
このように、第５の実施の形態によれば、焦点領域設定部４１３は、画像処理装置４００は、構図を決定して、その構図に基づいて焦点領域を設定する。奥行き情報取得部４８０は、奥行き情報を生成する。ぼかし処理部４９０は、奥行き情報に基づいて奥行差分最小値を画素ごとに選択し、奥行差分最小値からフィルタ次数を算出してぼかし処理を実行する。これにより、ユーザが焦点領域を設定しなくとも、画像処理装置４００自身が焦点領域を設定することができる。
【０１３７】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１３８】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１３９】
なお、本技術は以下のような構成もとることができる。
（１）被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定部と、
前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理部と
を具備する画像処理装置。
（２）前記焦点領域設定部は、
前記画像において前記焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出する候補領域抽出部と、
前記抽出された候補領域の中から複数の前記候補領域を選択して前記焦点領域として設定する候補領域選択部と
を備える前記（１）記載の画像処理装置。
（３）前記候補領域抽出部は、前記画像において所定の物体が撮像された領域を認識して前記候補領域として抽出する
前記（２）記載の画像処理装置。
（４）前記候補領域抽出部は、前記画像において顔が撮像された領域を認識して前記候補領域として抽出する
前記（２）または（３）に記載の画像処理装置。
（５）前記候補領域抽出部は、
前記画像において被写体の配置を定義する構図を決定する構図決定部と、
前記決定された構図に基づいて複数の領域を前記候補領域として抽出する候補領域抽出処理部と
を備える前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）前記焦点領域設定部は、
前記候補領域の選択における優先度を前記抽出された候補領域に設定する優先度設定部をさらに備え、
前記候補領域選択部は、前記設定された優先度に基づいて前記候補領域を選択する
前記（２）乃至（５）に記載の画像処理装置。
（７）前記優先度設定部は、所定の被写体が撮像された画像を登録しておき当該登録しておいた画像と前記候補領域との間の類似性に基づいて前記優先度を前記候補領域に設定する
前記（６）記載の画像処理装置。
（８）前記優先度設定部は、前記候補領域の面積に基づいて前記優先度を設定する
前記（６）または（７）に記載の画像処理装置。
（９）前記優先度設定部は、前記候補領域内のいずれかの画素に対応する前記奥行きに基づいて前記優先度を設定する
前記（６）乃至（９）のいずれかに記載の画像処理装置。
（１０）前記奥行き設定部は、前記取得された奥行きのうちの最小または最大の値に対して前記候補領域内のいずれかの画素に対応する前記奥行きが近いほどその候補領域に対して高い優先度を設定する
前記（９）記載の画像処理装置。
（１１）前記画像は、前記奥行きの取得において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記ぼかし処理部は、前記基準画像内のそれぞれの画素を前記対象画素として前記ぼかし処理を実行する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）前記ぼかし処理部は、
前記ぼかし処理の度合いをδｊとし、前記画像を撮像した撮像装置のレンズの有効口径をＤとし、前記対象画素に対応する前記奥行きをｄｊとし、前記最小値をΔｄｊ_ｍｉｎとし、前記画像の撮像倍率をＲとして、次式
δｊ＝Ｄ×Δｄｊ_ｍｉｎ×Ｒ／ｄｊ
を使用して算出した度合いのぼかし処理を前記対象画素に対して実行する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）前記焦点領域設定部は、前記焦点領域を指定する操作信号に従って前記焦点領域を設定する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）前記焦点領域設定部は、設定する前記焦点領域の個数を閾値以下に制限して前記焦点領域を設定する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
を具備する画像処理装置の制御方法。
（１６）焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１４０】
１００、１０１ 撮像装置
１５０ 撮像部
１５１ 基準画像撮像部
１５２ 参照画像撮像部
２００ 画像データ記憶部
２５０ 奥行き計測部
３００ 操作部
４００、４０１ 画像処理装置
４１０、４１１、４１２、４１３ 焦点領域設定部
４２０、４３０、４４０ 候補領域抽出部
４２１ オブジェクトデータベース
４２２ 物体認識部
４３１ 顔画像データベース
４３２ 顔認識部
４４１ 構図データベース
４４２ 構図決定部
４４３ 候補領域抽出処理部
４５０ 優先度設定部
４５１ 物体情報登録部
４５２ 物体優先度設定部
４５３ 人物情報登録部
４５４ 顔領域優先度設定部
４５５ 被写体情報登録部
４５６ 被写体優先度設定部
４６０ 候補領域選択部
４８０、４８１ 奥行き情報取得部
４８２ 視差検出部
４８３ 奥行き生成部
４９０ ぼかし処理部
４９１ 奥行差分絶対値算出部
４９２ 奥行差分最小値選択部
４９３ フィルタ次数算出部
４９４ ぼかしフィルタ
５００ 表示部
【特許請求の範囲】
【請求項１】
被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定部と、
前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理部と
を具備する画像処理装置。
【請求項２】
前記焦点領域設定部は、
前記画像において前記焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出する候補領域抽出部と、
前記抽出された候補領域の中から複数の前記候補領域を選択して前記焦点領域として設定する候補領域選択部と
を備える請求項１記載の画像処理装置。
【請求項３】
前記候補領域抽出部は、前記画像において所定の物体が撮像された領域を認識して前記候補領域として抽出する
請求項２記載の画像処理装置。
【請求項４】
前記候補領域抽出部は、前記画像において顔が撮像された領域を認識して前記候補領域として抽出する
請求項２記載の画像処理装置。
【請求項５】
前記候補領域抽出部は、
前記画像において被写体の配置を定義する構図を決定する構図決定部と、
前記決定された構図に基づいて複数の領域を前記候補領域として抽出する候補領域抽出処理部と
を備える請求項２記載の画像処理装置。
【請求項６】
前記焦点領域設定部は、
前記候補領域の選択における優先度を前記抽出された候補領域に設定する優先度設定部をさらに備え、
前記候補領域選択部は、前記設定された優先度に基づいて前記候補領域を選択する
請求項２記載の画像処理装置。
【請求項７】
前記優先度設定部は、所定の被写体が撮像された画像を登録しておき当該登録しておいた画像と前記候補領域との間の類似性に基づいて前記優先度を前記候補領域に設定する
請求項６記載の画像処理装置。
【請求項８】
前記優先度設定部は、前記候補領域の面積に基づいて前記優先度を設定する
請求項６記載の画像処理装置。
【請求項９】
前記優先度設定部は、前記候補領域内のいずれかの画素に対応する前記奥行きに基づいて前記優先度を設定する
請求項６記載の画像処理装置。
【請求項１０】
前記奥行き設定部は、前記取得された奥行きのうちの最小または最大の値に対して前記候補領域内のいずれかの画素に対応する前記奥行きが近いほどその候補領域に対して高い優先度を設定する
請求項９記載の画像処理装置。
【請求項１１】
前記画像は、前記奥行きの取得において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記ぼかし処理部は、前記基準画像内のそれぞれの画素を前記対象画素として前記ぼかし処理を実行する
請求項１記載の画像処理装置。
【請求項１２】
前記ぼかし処理部は、
前記ぼかし処理の度合いをδｊとし、前記画像を撮像した撮像装置のレンズの有効口径をＤとし、前記対象画素に対応する前記奥行きをｄｊとし、前記最小値をΔｄｊ_ｍｉｎとし、前記画像の撮像倍率をＲとして、次式
δｊ＝Ｄ×Δｄｊ_ｍｉｎ×Ｒ／ｄｊ
を使用して算出した度合いのぼかし処理を前記対象画素に対して実行する
請求項１記載の画像処理装置。
【請求項１３】
前記焦点領域設定部は、前記焦点領域を指定する操作信号に従って前記焦点領域を設定する
請求項１記載の画像処理装置。
【請求項１４】
前記焦点領域設定部は、設定する前記焦点領域の個数を閾値以下に制限して前記焦点領域を設定する
請求項１記載の画像処理装置。
【請求項１５】
焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
を具備する画像処理装置の制御方法。
【請求項１６】
焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
をコンピュータに実行させるためのプログラム。
【請求項１】
被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定部と、
前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理部と
を具備する画像処理装置。
【請求項２】
前記焦点領域設定部は、
前記画像において前記焦点領域の候補とすべき複数の領域のそれぞれを候補領域として抽出する候補領域抽出部と、
前記抽出された候補領域の中から複数の前記候補領域を選択して前記焦点領域として設定する候補領域選択部と
を備える請求項１記載の画像処理装置。
【請求項３】
前記候補領域抽出部は、前記画像において所定の物体が撮像された領域を認識して前記候補領域として抽出する
請求項２記載の画像処理装置。
【請求項４】
前記候補領域抽出部は、前記画像において顔が撮像された領域を認識して前記候補領域として抽出する
請求項２記載の画像処理装置。
【請求項５】
前記候補領域抽出部は、
前記画像において被写体の配置を定義する構図を決定する構図決定部と、
前記決定された構図に基づいて複数の領域を前記候補領域として抽出する候補領域抽出処理部と
を備える請求項２記載の画像処理装置。
【請求項６】
前記焦点領域設定部は、
前記候補領域の選択における優先度を前記抽出された候補領域に設定する優先度設定部をさらに備え、
前記候補領域選択部は、前記設定された優先度に基づいて前記候補領域を選択する
請求項２記載の画像処理装置。
【請求項７】
前記優先度設定部は、所定の被写体が撮像された画像を登録しておき当該登録しておいた画像と前記候補領域との間の類似性に基づいて前記優先度を前記候補領域に設定する
請求項６記載の画像処理装置。
【請求項８】
前記優先度設定部は、前記候補領域の面積に基づいて前記優先度を設定する
請求項６記載の画像処理装置。
【請求項９】
前記優先度設定部は、前記候補領域内のいずれかの画素に対応する前記奥行きに基づいて前記優先度を設定する
請求項６記載の画像処理装置。
【請求項１０】
前記奥行き設定部は、前記取得された奥行きのうちの最小または最大の値に対して前記候補領域内のいずれかの画素に対応する前記奥行きが近いほどその候補領域に対して高い優先度を設定する
請求項９記載の画像処理装置。
【請求項１１】
前記画像は、前記奥行きの取得において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記ぼかし処理部は、前記基準画像内のそれぞれの画素を前記対象画素として前記ぼかし処理を実行する
請求項１記載の画像処理装置。
【請求項１２】
前記ぼかし処理部は、
前記ぼかし処理の度合いをδｊとし、前記画像を撮像した撮像装置のレンズの有効口径をＤとし、前記対象画素に対応する前記奥行きをｄｊとし、前記最小値をΔｄｊ_ｍｉｎとし、前記画像の撮像倍率をＲとして、次式
δｊ＝Ｄ×Δｄｊ_ｍｉｎ×Ｒ／ｄｊ
を使用して算出した度合いのぼかし処理を前記対象画素に対して実行する
請求項１記載の画像処理装置。
【請求項１３】
前記焦点領域設定部は、前記焦点領域を指定する操作信号に従って前記焦点領域を設定する
請求項１記載の画像処理装置。
【請求項１４】
前記焦点領域設定部は、設定する前記焦点領域の個数を閾値以下に制限して前記焦点領域を設定する
請求項１記載の画像処理装置。
【請求項１５】
焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
を具備する画像処理装置の制御方法。
【請求項１６】
焦点領域設定部が、被写体が撮像された画像において焦点が合っている状態を維持すべき複数の領域のそれぞれを焦点領域として設定する焦点領域設定手順と、
奥行き取得部が、前記被写体までの奥行きを前記画像内の画素に対応付けて取得する奥行き取得手順と、
ぼかし処理部が、前記画像内のそれぞれの画素を対象画素として当該対象画素に対応する前記奥行きとそれぞれの前記焦点領域に対応する前記奥行きとの間のそれぞれの差分の絶対値のうちの最小値に応じた度合いのぼかし処理を前記対象画素に対して実行するぼかし処理手順と
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２５】
【図８】
【図２０】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２５】
【図８】
【図２０】
【図２３】
【図２４】
【公開番号】特開２０１３−１２８２０（Ｐ２０１３−１２８２０Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４２８０７（Ｐ２０１１−１４２８０７）
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]