画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
【課題】撮影者の技量に依存せずに、流し撮り画像を生成する。
【解決手段】奥行き情報取得部は、被写体までの奥行きを、その被写体が撮像された画像内の画素に対応付けて取得する。平滑化処理部は、画像内の所定の領域を除いた領域内の画素を対象画素として、その対象画素に対応する奥行きに応じた度合いの平滑化処理を対象画素の画素値に対して所定の方向において実行する。これにより、画像内の所定の領域を除いた領域内の画素にぼかしを生じさせ、流し撮り画像を生成する。
【解決手段】奥行き情報取得部は、被写体までの奥行きを、その被写体が撮像された画像内の画素に対応付けて取得する。平滑化処理部は、画像内の所定の領域を除いた領域内の画素を対象画素として、その対象画素に対応する奥行きに応じた度合いの平滑化処理を対象画素の画素値に対して所定の方向において実行する。これにより、画像内の所定の領域を除いた領域内の画素にぼかしを生じさせ、流し撮り画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。詳しくは、平滑化処理を実行する画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、移動する被写体を撮像するときに流し撮りと呼ばれる撮影手法がよく使用されていた。流し撮りとは、移動している被写体がくっきりと写り、背景等の静止している被写体において移動方向に沿ってぼけが生じた画像を撮影するための手法である。このような画像を、以下、「流し撮り画像」と称する。流し撮りにより、移動する被写体の躍動感が表現される。
【０００３】
流し撮りは、シャッタースピードを通常より長く設定した状態で、撮影者が、被写体の移動に追従して撮像装置を動かすことにより行われる。シャッタースピードの設定や撮像装置の移動を適切に行うには比較的高い技量が必要であるため、流し撮り画像の仕上がり具合は、撮影者個人の技量に依存する部分が大きくなる。
【０００４】
そこで、撮影者による撮像装置の動きを検出したときに被写体の移動速度を測定し、その移動速度に応じてシャッタースピードを制御する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置によれば、シャッタースピードが適切な値に設定されるため、流し撮り画像の撮影が容易となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２２９７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の従来技術では、流し撮りを行わずに撮った通常の画像から、流し撮り画像を生成することはできなかった。特許文献１に記載の撮像装置は、シャッタースピードの調整により流し撮りを補助するものの、撮像装置の移動は撮影者自身が行うことを想定している。このため、特許文献１に記載の撮像装置においても、流し撮り画像の仕上がり具合が、依然として、シャッタースピードの設定以外に関する撮影者の技量に依存していた。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、撮影者の技量に依存せずに、流し撮り画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体までの奥行きを上記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得部と、上記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する上記奥行きに応じた度合いの平滑化処理を上記対象画素の画素値に対して所定の方向において実行する平滑化処理部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、奥行きに応じた度合いの平滑化処理が対象画素の画素値に対して所定の方向において実行されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記平滑化処理部は、上記平滑化処理の特性を示す平滑化パラメータを設定する平滑化パラメータ設定部と、上記設定された平滑化パラメータおよび上記取得された奥行きに基づいて上記平滑化処理を実行する平滑化処理実行部と
を備えてもよい。これにより、平滑化パラメータおよび奥行きに基づいて平滑化処理が実行されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記平滑化処理実行部は、上記平滑化パラメータに規定される上記量および上記取得された奥行きに基づいて上記平滑化処理の度合いを算出する算出部と、上記算出された度合いの上記平滑化処理を実行する平滑化フィルタとを備えてもよい。これにより、平滑化パラメータに規定される量および奥行きに基づいて度合いが算出されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記平滑化パラメータ設定部は、上記所定の方向として上記平滑化処理を実行する方向を含む上記平滑化パラメータを設定し、上記平滑化処理実行部は、上記取得された奥行きに基づいて上記設定された方向において上記平滑化処理を実行してもよい。これにより、設定された方向において平滑化処理が実行されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記平滑化パラメータ設定部は、上記所定の領域として上記平滑化処理を実行しない領域を示す情報を含む上記平滑化パラメータを設定し、上記平滑化処理実行部は、上記設定された領域を除いた領域内の画素を上記対象画素として上記取得された奥行きに基づいて上記平滑化処理を実行してもよい。これにより、設定された領域を除いた領域内の画素を対象画素として平滑化処理が実行されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記平滑化パラメータ設定部は、上記所定の領域内の１つ以上の上記画素を示す情報を含む上記平滑化パラメータを設定し、上記平滑化処理実行部は、上記１つ以上の上記画素に対応する上記奥行きとの差分が所定値以下の上記奥行きに係る上記画素を含む領域を検出する領域検出部と、上記検出された領域を除いた領域内の画素を上記対象画素として上記取得された奥行きに基づいて上記平滑化処理を実行する平滑化フィルタとを備えてもよい。これにより、奥行きの差分が所定値以内の領域を除いた領域内の画素を対象画素として平滑化処理が実行されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記平滑化処理部は、移動平均フィルタを使用して上記平滑化処理を実行してもよい。これにより、移動平均フィルタにより平滑化処理が実行されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記平滑化処理部は、ガウシアンフィルタを使用して上記平滑化処理を実行してもよい。これにより、ガウシアンフィルタにより平滑化処理が実行されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記画像は、上記奥行きの生成において基準とされる基準画像と参照される参照画像とを含み、上記奥行き取得部は、上記基準画像内のいずれかの上記画素と当該画素に対応する上記参照画像内の上記画素との間の距離を視差として検出する視差検出部と、上記検出された視差に基づいて上記基準画像内の上記画素に対応付けて上記奥行きを生成する奥行き生成部とを備え、上記平滑化処理部は、上記基準画像内の上記所定の領域を除いた領域内の画素を上記対象画素として上記平滑化処理を実行してもよい。これにより、検出された視差に基づいて奥行きが生成されるという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、通常の画像から流し撮り画像を生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図３】第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。
【図４】第１の実施の形態における平滑化パラメータの設定方法の一例を説明するための図である。
【図５】第１の実施の形態における平滑化パラメータの一例を示す図である。
【図６】第１の実施の形態における移動体領域の検出方法の一例を説明するための図である。
【図７】第１の実施の形態におけるフィルタ次数の一例を示す図である。
【図８】第１の実施の形態における移動方向に基づいて平滑化した被写体の一例である。
【図９】第１の実施の形態におけるフィルタ次数に従って平滑化した被写体の一例である。
【図１０】第１の実施の形態における画素値、奥行き、および、フィルタ次数の一例を示す図である。
【図１１】第１の実施の形態における流し撮りを行った画像の一例を示す図である。
【図１２】第１の実施の形態における平滑化処理の前後の画像の一例を示す図である。
【図１３】第１の実施の形態における正規化係数の一例を示す図である。
【図１４】第１の実施の形態における流し撮り画像の一例を示す図である。
【図１５】第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。
【図１６】第１の実施の形態における平滑化処理の一例を示すフローチャートである。
【図１７】第１の実施の形態における平均化処理の一例を示すフローチャートである。
【図１８】第２の実施の形態における撮像装置の一構成例を示すブロック図である。
【図１９】第２の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図２０】第２の実施の形態における奥行き情報取得部の一構成例を示すブロック図である。
【図２１】第２の実施の形態における視差と奥行きとの関係の一例を示す図である。
【図２２】第２の実施の形態における画像処理装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理：流し撮り画像を生成する例）
２．第２の実施の形態（画像処理：ステレオマッチングを使用する例）
【００２０】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、被写体を撮像して、撮像した被写体の画像から流し撮り画像を生成するものである。撮像装置１００は、撮像部１５０、画像データ記憶部２００、奥行き計測部２５０、操作部３００、画像処理装置３５０、および、表示部４００を備える。
【００２１】
撮像部１５０は、被写体を撮像して画像データを生成するものである。撮像部１５０は、生成した画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００２２】
画像データ記憶部２００は、画像データを記憶するものである。画像データ記憶部２００は、撮像部１５０および画像処理装置３５０のそれぞれが生成した画像データを記憶する。
【００２３】
奥行き計測部２５０は、被写体までの奥行きを計測するものである。例えば、奥行き計測部２５０は、撮像部１５０による撮像と同期して被写体にレーザを照射し、そのレーザの反射光を検出して、照射時刻からの検出時刻の遅延時間に基づいて奥行きを計測する。奥行き計測部２５０は、画像内のそれぞれの画素に対応付けて奥行きを計測し、それらの奥行きを示す奥行き情報を生成する。奥行き計測部２５０は、生成した奥行き情報を画像処理装置３５０に信号線２５１を介して出力する。
【００２４】
操作部３００は、撮像装置１００を操作する操作信号を検出するものである。この操作信号は、平滑化パラメータを設定するための操作信号を含む。平滑化パラメータについては後述する。操作部３００は、検出した操作信号を画像処理装置３５０に信号線３０１を介して出力する。
【００２５】
画像処理装置３５０は、画像データに対して平滑化処理を行うことにより、流し撮り画像データを生成するものである。詳細には、画像処理装置３５０は、まず、操作信号に従って平滑化パラメータを設定する。
【００２６】
ここで、平滑化パラメータは、平滑化処理の特性を示すパラメータであり、移動体位置、移動方向、および、移動量の値を含む。平滑化処理の詳細については後述する。移動体位置は、画像内の被写体のうち、移動しているように見せたい被写体（以下、「移動体」と称する。）が写っている領域内のいずれかの画素の座標である。以下、この移動体が写っている領域を「移動体領域」と称する。移動方向は、その移動体の移動方向として設定される方向であり、この移動方向の逆方向が平滑化処理の方向とされる。移動量は、その移動体の露光時間内の移動量として規定される量である。
【００２７】
平滑化パラメータの設定後、画像処理装置３５０は、移動体領域以外の領域において、移動量と画素に対応する奥行きとに基づいて平滑化の度合いを算出する。例えば、画像処理装置３５０は、下記の式１から平滑化の度合いを算出する。
【数１】
【００２８】
上記式１において、「Ｂ」は、平滑化の度合いであり、例えば、平滑化フィルタのフィルタ次数である。平滑化フィルタの次数に応じて、ぼかし量が増減する。また、「Ｓ」は、移動量であり、単位は、［ｍ］などである。「Ｄ」は、奥行きであり、単位は、［ｍ］などである。「Ａ」は、Ｓ／Ｄの値をＢに換算するための係数である。なお、画像処理装置３５０は、上記式１により、撮像装置１００を移動体の移動方向と平行に移動させた場合のフィルタ次数Ｂ（ぼかし量）を算出しているが、代わりに撮像装置１００を回転させた場合のぼかし量を算出してもよい。撮像装置１００を移動体の移動に追従して回転させた場合のぼかし量は、奥行きによらずに移動量のみにより算出される。この場合のぼかし量は、例えば、上記式１の代わりにＢ＝Ａ×Ｓの式により算出される。
【００２９】
画像処理装置３５０は、算出したフィルタ次数に従って、移動体領域以外の領域内の画素の画素値に対して移動方向の逆方向において平滑化処理を実行する。画像処理装置３５０は、平滑化処理を実行した画像データを流し撮り画像データとして画像データ記憶部２００に信号線３５５を介して出力する。
【００３０】
表示部４００は、画像データ記憶部２００から画像データまたは流し撮り画像データを読み出して表示するものである。
【００３１】
［撮像装置の構成例］
図２は、第１の実施の形態における画像処理装置３５０の一構成例を示すブロック図である。画像処理装置３５０は、奥行き情報取得部３６０および平滑化処理部３７０を備える。
【００３２】
奥行き情報取得部３６０は、奥行き計測部２５０が生成した奥行き情報を取得するものである。奥行き情報取得部３６０は、取得した奥行き情報を平滑化処理部３７０に信号線３６５を介して出力する。
【００３３】
平滑化処理部３７０は、奥行き情報に基づいて画像データに対して平滑化処理を実行するものである。平滑化処理部３７０は、平滑化パラメータ設定部３７１および平滑化処理実行部３７２を備える。
【００３４】
平滑化パラメータ設定部３７１は、操作信号に従って平滑化パラメータを設定するものである。平滑化パラメータ設定部３７１は、設定した平滑化パラメータを平滑化処理実行部３７２に出力する。
【００３５】
平滑化処理実行部３７２は、平滑化パラメータおよび奥行き情報に基づいて平滑化処理を実行するものである。平滑化処理実行部３７２は、移動体領域検出部３７３、フィルタ次数算出部３７４、および、平滑化フィルタ３７５を備える。
【００３６】
移動体領域検出部３７３は、移動体領域を検出するものである。具体的には、移動体領域検出部３７３は、平滑化パラメータに含まれる移動体位置に対応する奥行きを奥行き情報から取得する。そして、移動体領域検出部３７３は、その奥行きとの差分が所定値以内となる奥行きが計測された画素からなる領域を移動体領域として検出する。移動体領域検出部３７３は、検出した移動体領域を示す移動体領域情報を生成する。移動体領域情報は、例えば、移動体領域の輪郭の画素群を示す情報を含む。移動体領域検出部３７３は、生成した移動体領域情報をフィルタ次数算出部３７４に出力する。
【００３７】
フィルタ次数算出部３７４は、移動体領域を除く領域において、奥行き情報および移動量に基づいてフィルタ次数を算出するものである。詳細には、フィルタ次数算出部３７４は、移動体領域検出部３７３が検出した移動体領域を除く領域を、平滑化処理の対象である対象画素とする。フィルタ次数算出部３７４は、平滑化パラメータに含まれる移動量「Ｓ」と、それぞれの対象画素に対応する奥行き「Ｄ」とから上記式１を使用して、それぞれの対象画素についてフィルタ次数「Ｂ」を算出する。ここで、移動体領域内の画素は、平滑化処理の対象ではないため、移動体領域内の画素のフィルタ次数は「１」に設定される。また、算出されたフィルタ次数が１未満であった場合、フィルタ次数は「１」に設定される。フィルタ次数算出部３７４は、それぞれの画素のフィルタ次数を平滑化フィルタ３７５に出力する。
【００３８】
平滑化フィルタ３７５は、フィルタ次数に従って、対象画素に平滑化処理を実行するものである。平滑化フィルタ３７５は、例えば、単純移動平均法を使用して平滑化を行う単純移動平均フィルタである。
【００３９】
単純移動平均法において、平滑化フィルタ３７５は、まず、画像内の全画素について、平滑化後の画素値Ｉ'（ｉ，ｊ）および正規化係数ｎ（ｉ，ｊ）を初期化する。初期化において、例えば、全ての値が０とされる。ここで、ｉは、画素の水平座標であり、ｊは、画素の垂直座標である。画像の水平方向の画素数をＷ、垂直方向の画素数をＨとすると、ｉは、０乃至Ｗ−１の整数であり、ｊは、０乃至Ｈ−１の整数である。また、正規化係数は、正規化を行う場合に乗算すべき係数である。正規化の詳細については後述する。
【００４０】
初期化の後、平滑化フィルタ３７５は、画像内のいずれかの画素に注目して、その画素を注目画素とする。平滑化フィルタ３７５は、その注目画素の画素値Ｉ（ｉ，ｊ）およびフィルタ次数Ｂ（ｉ，ｊ）を取得する。平滑化フィルタ３７５は、注目画素から平滑化処理の方向へ連続するＢ（ｉ，ｊ）個の画素の中に、移動体領域内の画素があるか否かを判断する。移動体領域内の画素があれば、平滑化フィルタ３７５は、注目画素の奥行きが移動体領域内の画素の奥行きより大きい（すなわち、注目画素における被写体が移動体よりも奥に位置する）か否かを判断する。注目画素の奥行きが、移動体領域内の画素の奥行きより大きい場合、平滑化フィルタ３７５は、その画素の平滑化後の画素値にＩ（ｉ，ｊ）／Ｂ（ｉ，ｊ）を加算しない。一方、Ｂ（ｉ，ｊ）個の画素の中に移動体領域内の画素がない場合、または、注目画素の奥行きが移動体領域内の画素の奥行き以下である場合、平滑化フィルタ３７５は、Ｂ（ｉ，ｊ）個の画素の平滑化後の画素値にＩ（ｉ，ｊ）／Ｂ（ｉ，ｊ）を加算する。但し、平滑化フィルタ３７５は、Ｂ（ｉ，ｊ）個の中に移動体領域内の画素があるか否か、また、移動体が手前にあるか否かに関らず、常に、Ｂ（ｉ，ｊ）個の画素の平滑化後の画素値にＩ（ｉ，ｊ）／Ｂ（ｉ，ｊ）を加算してもよい。常に加算する構成とすれば、計算量が削減される。例えば、正規化処理の方向が−Ｘ方向であり、Ｂ（ｉ，ｊ）個の画素群の中に移動体領域内の画素がない場合、注目画素について下記式２の演算が実行される。
【数２】
【００４１】
ここで、「＋＝」は、右辺の値を左辺に加算する演算を意味する。また、ＩｉｊおよびＢｉｊは、Ｉ（ｉ，ｊ）およびＢ（ｉ，ｊ）を省略して表記したものである。
【００４２】
続いて、平滑化フィルタ３７５は、注目画素から平滑化処理の方向へ連続するＢ（ｉ，ｊ）個の画素の中に移動体領域内の画素がない場合、または、移動体領域内の画素があっても注目画素の奥行きが移動体領域内の画素の奥行き以下である場合、正規化係数に１／Ｂ（ｉ，ｊ）を加算する。Ｂ（ｉ，ｊ）個の画素の中に移動体領域内の画素があり、かつ、注目画素の奥行きが移動体領域内の画素の奥行きより大きい場合、平滑化フィルタ３７５は、その画素の正規化係数に１／Ｂ（ｉ，ｊ）を加算しない。例えば、正規化の方向が−Ｘ方向であり、Ｂ（ｉ，ｊ）個の画素群の中に移動体領域内の画素がない場合、注目画素について下記式３の演算が実行される。
【数３】
【００４３】
平滑化フィルタ３７５は、画像内の全ての画素のそれぞれを順に注目画素として、上記式２および式３の演算を実行する。これらの演算の結果、ある注目画素の平滑化後の画素値Ｉ'（ｉ，ｊ）において、その注目画素からＸ方向に連続したＫ個の画素の（平滑化後の画素値）／（フィルタ次数）が加算された場合を想定する。この場合、下記式４に例示するような、平滑化後の画素値が算出される。
【数４】
【００４４】
また、ある画素の正規化係数ｎ（ｉ，ｊ）において、その画素からＸ方向に連続したＫ個の画素の１／（フィルタ次数）が加算された場合、下記式５に例示するような、正規化係数が算出される。
【数５】
【００４５】
なお、上記式４および式５は、平滑化の方向が−Ｘ方向の場合の式であるが、平滑化の方向がＸ方向である場合、上記式４および式５において、（ｉ＋ｋ−１，ｊ）を（ｉ−ｋ＋１，ｊ）に置き換えればよい。また、平滑化の方向が、−Ｙ方向である場合、（ｉ＋ｋ−１，ｊ）が（ｉ，ｊ＋ｋ−１）に置き換えられる。平滑化の方向がＹ方向である場合、（ｉ＋ｋ−１，ｊ）が（ｉ，ｊ−ｋ＋１）に置き換えられる。
【００４６】
ここで、上記式４において、加算回数であるＫの値と、分母の値とが一致すれば、Ｋ個の画素出力値の平均値が算出されるが、加算回数および分母の値が一致しないことがある。例えば、画素（ｉ，ｊ）乃至（ｉ＋４，ｊ）の５画素のフィルタ次数が全て「６」であるのに、６個目の画素（ｉ＋５，ｊ）のフィルタ次数が「５」の場合である。この場合、上記式２に基づいて、画素（ｉ，ｊ）乃至（ｉ＋４，ｊ）の５画素分の値がＩ'（ｉ，ｊ）に加算されるが、６個目のＩ（ｉ＋５，ｊ）／Ｂ（ｉ＋５，ｊ）の値はＩ'（ｉ，ｊ）に加算されない。このため、加算回数の「５」と、分母の「６」とが一致しなくなる。そこで、下記式６の演算が実行される。下記式６の演算を実行することを、以下、「正規化」と称する。
【数６】
【００４７】
正規化により、Ｋ個の画素値の平均値、すなわちＩ'（ｉ，ｊ）が得られる。例えば、画素（ｉ，ｊ）乃至（ｉ＋４，ｊ）とのフィルタ次数が全て「６」で、画素（ｉ＋５，ｊ）のフィルタ次数が「５」である場合、上記式３に基づいてｎ（ｉ，ｊ）の値として「５／６」が算出される。このとき、上記式６の演算により、Ｉ'（ｉ，ｊ）の分母は「５」となり、加算回数と一致する。
【００４８】
平滑化フィルタ３７５は、上述の平滑化処理を施した画像データを流し撮り画像データとして画像データ記憶部２００に出力する。
【００４９】
なお、奥行き情報取得部３６０は、特許請求の範囲に記載の奥行き取得部の一例である。また、フィルタ次数算出部３７４は、特許請求の範囲に記載の算出部の一例である。また、移動体領域検出部３７３は、特許請求の範囲に記載の領域検出部の一例である。
【００５０】
図３は、第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。図３（ａ）は、画像処理装置３５０に入力された画像データ５００の一例である。画像データ５００は、例えば、車およびドライバーからなる被写体５０１、木の被写体５０２、および、家の被写体５０３を含む。例えば、ユーザにより、被写体５０１が移動体として設定される。
【００５１】
図３（ｂ）は、画像データ５００と同期して取得された奥行き情報５１０の一例を示す図である。奥行き情報５１０は、画像データ５００に対応する、それぞれの画素に対応付けて、被写体の奥行きを画素値により示すデータである。例えば、奥行き情報５１０には、奥行きを示す画素値として輝度値が設定され、奥行きが小さいものほど、低い輝度値が設定される。奥行き情報５１０は、画像データ５００における被写体５０１、５０２、５０３に対応する被写体５１１、５１２、５１３を含む。ここで、被写体５１１、被写体５１２、被写体５１３、および、背景のうちの被写体５１１の奥行きが最も小さく、被写体５１２、被写体５１３、背景の順に奥行きが大きくなるものとする。この場合、奥行き情報５１０において、最も手前の被写体５１１の輝度値が最も低く設定される。そして、被写体５１２、被写体５１３、それらの背景の順に奥行きに応じて輝度値が高くなるように設定される。なお、奥行き情報５１０において、奥行きが小さいほど、高い輝度値が設定されてもよい。
【００５２】
図４は、第１の実施の形態における平滑化パラメータの設定方法の一例を説明するための図である。例えば、最初に、撮像装置１００が画像データ５００をタッチパネルに表示し、ユーザの操作の受け付けを開始する。ユーザが、画像データ５００において、指などで、いずれかの画素を指定すると、撮像装置１００は、その画素の位置を平滑化パラメータにおける移動体位置として設定する。続いて、ユーザが、移動体位置から画像内のいずれかの画素へ向けて指などをドラッグすると、撮像装置１００は、移動体位置からドラッグ操作の終点の位置への方向を平滑化パラメータにおける移動方向として設定する。また、撮像装置１００は、移動体位置から終点までの距離を平滑化パラメータにおける移動量として設定する。このように、ユーザは、移動体位置、移動方向、および、移動量を入力することにより、平滑化処理を実行しない領域、平滑化処理の方向、および、ぼかす量を任意に設定することができる。
【００５３】
図５は、第１の実施の形態における平滑化パラメータの一例を示す図である。平滑化パラメータは、例えば、移動ベクトルおよび移動体位置を含む。移動ベクトルは、移動方向および移動量を示すベクトルである。例えば、始点の座標（３００、５００）から終点の座標（３６０，５００）へ向けてドラッグ操作が行われた場合、始点の（３００、５００）が移動体位置として設定され、始点から終点へのベクトル（＋６０、０）が移動ベクトルとして設定される。
【００５４】
図６は、第１の実施の形態における移動体領域の検出方法の一例を説明するための図である。図６（ａ）は、移動体位置が指定された画像データ５００の一例である。図６（ｂ）は、移動体領域が検出された奥行き情報５１０の一例である。図６（ａ）に示すように、移動体位置（３００，５００）が設定された場合、画像処理装置３５０は、奥行き情報を参照し、移動体位置に対応付けられた奥行きＤｔを取得する。そして、画像処理装置３５０は、Ｄｔ±αの範囲内の奥行きに係る画素群を移動体領域として検出する。αは、Ｄｔとの差分として許容される値である。画像処理装置３５０は、検出した移動体領域の輪郭を示す情報を移動体領域として生成する。例えば、図６（ｂ）に示すように、移動体位置を含む被写体５１１の領域が移動体領域として検出された場合、その被写体５１１の輪郭の部分（すなわち、太線の部分）の画素を示す情報が移動体領域情報として生成される。
【００５５】
図７は、第１の実施の形態における、算出されたフィルタ次数の一例を示す図である。例えば、座標（０，０）および（１，０）に対応付けて奥行き２０［ｍ］が取得され、座標（２００，１００）および（２０１，１００）に対応付けて奥行き１０［ｍ］が取得されたものとする。また、移動体領域内の座標（３００，５００）および（３０１，５００）に対応付けて奥行き５［ｍ］が取得されたものとする。移動量は、６０［ｍ］とし、上記式１において、係数Ａは１とする。この場合、座標（０，０）および（１，０）について、上記式１より、フィルタ次数「３」が算出される。また、座標（２００，１００）および（２０１，１００）について、上記（式１）より、フィルタ次数「６」が算出される。移動体領域内の座標（３００，５００）および（３０１，５００）は、平滑化処理の対象でないため、上記式１が適用されず、フィルタ次数は「１」とされる。このように、移動体領域を除く領域において、奥行きが大きいほど、低いフィルタ次数が設定される。この結果、奥行きが大きいほど、ぼかし量が小さくなる。
【００５６】
図８は、第１の実施の形態における、移動方向に基づいて平滑化した（すなわち、ぼかした）被写体の一例である。図８（ａ）は、平滑化前の被写体６００の一例である。図８（ｂ）は、左方向が移動方向として設定された場合において平滑化された被写体６０１の一例である。この場合、被写体６００は、右方向に平滑化される。図８（ｃ）は、右方向が移動方向として設定された場合において平滑化された被写体６０２の一例である。この場合、被写体６００は、左方向に平滑化される。図８（ｄ）は、下方向が移動方向として設定された場合において平滑化された被写体６０３の一例である。この場合、被写体６００は、上方向に平滑化される。図８（ｅ）は、左上方向が移動方向として設定された場合において平滑化された被写体６０４の一例である。この場合、被写体６００は、右下方向に平滑化される。図８（ｂ）乃至（ｅ）に示すように、移動方向と逆方向に被写体が平滑化される。
【００５７】
図９は、第１の実施の形態におけるフィルタ次数に従って平滑化した被写体の一例である。図９（ａ）は、平滑化前の被写体６００の一例である。図９（ｂ）は、フィルタ次数「６」に従って平滑化された被写体６０５の一例である。図９（ｃ）は、フィルタ次数「３」に従って平滑化された被写体６０６の一例である。図９（ｂ）および（ｃ）に示すように、フィルタ次数が大きい被写体６０５のぼかし量の方が、フィルタ次数の小さい被写体６０６のぼかし量よりも大きくなる。
【００５８】
図１０は、第１の実施の形態における画素値、奥行き、および、フィルタ次数の一例を示す図である。図１０（ａ）は、画像データ内の一部の画素群における画素値の一例を示す図である。画像内の座標（ｘ，ｙ）乃至（ｘ＋１０，ｙ）の１１個の画素における画素値を、それぞれＩ（ｘ，ｙ）乃至Ｉ（ｘ＋１０，ｙ）とする。このうち、Ｉ（ｘ，ｙ）乃至Ｉ（ｘ＋４，ｙ）は、移動体領域内の画素群の画素値であり、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋１０，ｙ）は、静止している被写体の領域内の画素値である。
【００５９】
図１０（ｂ）は、奥行き情報における奥行きの一例を示す図である。画像内の座標（ｘ，ｙ）乃至（ｘ＋１０，ｙ）に対応付けて、奥行きＤ（ｘ，ｙ）乃至Ｄ（ｘ＋１０，ｙ）が取得される。図１０（ｃ）は、設定されたフィルタ次数の一例を示す図である。画像内の座標（ｘ，ｙ）乃至（ｘ＋１０，ｙ）に対応付けて、フィルタ次数Ｂ（ｘ，ｙ）乃至Ｂ（ｘ＋１０，ｙ）が取得される。図１０（ｂ）および（ｃ）に例示したように、それぞれの画素について奥行きが取得され、フィルタ次数が設定される。
【００６０】
図１１（ａ）乃至（ｆ）は、第１の実施の形態における流し撮りを行った画像を示す図である。図１１（ａ）乃至（ｆ）は、時刻Ｔ０乃至Ｔ５のそれぞれの時刻にレンズに写る画像における画素群である。時刻Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ４、および、Ｔ５の順で時刻が早いものとする。また、Ｉ（ｘ，ｙ）乃至Ｉ（ｘ＋４，ｙ）は、移動体領域内の画素の画素値であり、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋１０，ｙ）は、移動体の手前に位置する被写体の画素の画素値である。移動体の移動方向は、−Ｘ方向とする。図１１（ａ）に示すように、時刻Ｔ０においては、移動体の手前の被写体に、その移動体が隠された状態である。この移動体は、図１１（ｂ）乃至（ｆ）に示すように、時刻Ｔ１乃至Ｔ５において、徐々に姿を現す。時刻Ｔ０乃至Ｔ５において、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋１０，ｙ）における被写体は、実際には静止しているが、レンズに写る画像内においてはＸ方向に移動する。一方、Ｉ（ｘ，ｙ）乃至Ｉ（ｘ＋４，ｙ）における移動体は、実際には移動しているが、レンズに写る画像内においては移動しない。これは、撮影者が移動体に追従して、移動方向に撮像装置自体を動かすためである。このため、時刻Ｔ０乃至Ｔ５の期間において撮影者がシャッターを開放して撮像すると、移動体には、ぼけが生じず、静止している被写体において移動方向と逆のＸ方向にぼけた流し撮り画像が得られる。撮像装置１００は、このような流し撮り画像を通常の画像から生成することができる。
【００６１】
図１２は、第１の実施の形態における平滑化処理の前後の画像の一例を示す図である。図１２（ａ）の上段の画素値は、平滑化処理前の画像内の画素値である。図１２（ａ）の下段の画素値は、平滑化処理後の画像内の画素値である。図１２において平滑化の方向（ぼかし方向）は、−Ｘ方向とする。また、画素（ｘ，ｙ）乃至（ｘ＋４，ｙ）は移動体領域内の画素であり、画素（ｘ＋５，ｙ）乃至（ｘ＋１０，ｙ）は、静止している被写体の画素である。画素（ｘ＋９，ｙ）のフィルタ次数が６である場合を考える。この場合、上記式２に基づいて、下記式７に示すように、その画素から−Ｘ方向に連続する６個の画素のうち、移動体領域内の画素（ｘ＋４，ｙ）を除く画素の平滑化後の画素値にＩ（ｘ＋９，ｙ）／６が加算される。
【数７】
【００６２】
ここで、画素（ｘ＋５，ｙ）乃至（ｘ＋９，ｙ）のフィルタ次数が全て６であるが、画素（ｘ＋１０，ｙ）のフィルタ次数が５である場合を考える。この場合、図１２（ｂ）に示すように、Ｉ（ｘ＋５，ｙ）／６乃至Ｉ（ｘ＋９，ｙ）／６の値が、Ｉ'（ｘ＋５，ｙ）に加算されるが、６個目のＩ（ｘ＋１０，ｙ）／５の値はＩ'（ｘ＋５，ｙ）に加算されない。このため、Ｉ'（ｘ＋５，ｙ）において、加算回数の５と、分母の６とが一致しなくなる。そこで、正規化係数を演算して正規化を実行する。
【００６３】
図１３は、第１の実施の形態における正規化係数の一例を示す図である。図１３の上段は、それぞれの画素のフィルタ次数であり、下段は、それぞれの画素の正規化係数である。画素（ｘ＋９，ｙ）のフィルタ次数Ｂ（ｘ＋９，ｙ）が６である場合、上記式３に基づいて、下記式８に示すように、その画素から−Ｘ方向に連続する６個の画素のうち、移動体を除く画素の正規化係数に１／６が加算される。
【数８】
【００６４】
画素（ｘ＋５，ｙ）乃至（ｘ＋９，ｙ）のフィルタ次数が６で、画素（ｘ＋１０，ｙ）のフィルタ次数が５である場合、画素（ｘ＋５，ｙ）の正規化係数ｎ（ｘ＋５，ｙ）は５／６となる。このため、Ｉ'（ｘ＋５，ｙ）を正規化係数ｎ（ｘ＋５，ｙ）で除することにより、分母が加算回数に一致し、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋９，ｙ）の平均値がＩ'（ｘ＋５，ｙ）として算出される。
【００６５】
図１４は、第１の実施の形態における流し撮り画像５３０の一例を示す図である。図１４に示すように、移動体の被写体５３１は平滑化されず、背景の木の被写体５３２と家の被写体５３３とには平滑化処理が実行される。ここで、被写体５３２は、被写体５３３より手前に位置し、奥行きが小さいものとする。この場合、奥行きに応じて、被写体５３２のフィルタ次数より、被写体５３３のフィルタ次数が小さく設定される。このため、手前の被写体５３２のぼかし量より、遠くに位置する被写体５３３のぼかし量が小さくなる。このように、移動体の被写体５３１にぼけが生じず、背景においては奥行きに応じてぼかし量が変わるため、自然な流し撮り画像が得られる。
【００６６】
［画像処理装置の動作例］
図１５は、第１の実施の形態における画像処理装置３５０の動作の一例を示すフローチャートである。この動作は、画像の撮像とともに奥行きが計測され、平滑化パラメータを設定するための操作信号が入力されたときに開始する。画像処理装置３５０は、奥行き情報を取得する（ステップＳ９１０）。そして、画像処理装置３５０は、平滑化処理を実行する（ステップＳ９２０）。ステップＳ９２０の後、画像処理装置３５０は、画像処理のための動作を終了する。
【００６７】
図１６は、第１の実施の形態における平滑化処理の一例を示すフローチャートである。平滑化処理部３７０は、移動体位置および奥行きから、被写体領域を検出する（ステップＳ９３０）。平滑化処理部３７０は、被写体領域以外の領域において、移動量および奥行きから、対象画素に対応付けてフィルタ次数を算出する（ステップＳ９４０）。平滑化処理部３７０は、移動平均法に基づいて平均化処理を実行する（ステップＳ９５０）。ステップＳ９５０の後、平滑化処理部３７０は、平滑化処理を終了する。
【００６８】
図１７は、第１の実施の形態における平均化処理の一例を示すフローチャートである。平滑化方向は、−Ｘ方向であるものとする。平滑化フィルタ３７５は、まず、全ての平滑化後の画素値と正規化係数とを初期化する（ステップＳ９５１）。そして、平滑化フィルタ３７５は、ｉおよびｊを０に初期化して、ループ処理を開始する。このループ処理において、平滑化フィルタ３７５は、後述するステップＳ９５３乃至９５８を実行して、ｉまたはｊを１つ増分する。そして、平滑化フィルタ３７５は、ｉまたはｊの増分後にｉ＞Ｗ−１かつｊ＞Ｈ−１であればループ処理を終了し、そうでなければステップＳ９５３に戻り、ループ処理を継続する（ステップＳ９５２）。
【００６９】
ループ処理（ステップＳ９５２）において、平滑化フィルタ３７５は、画素（ｉ，ｊ）を注目画素としてする（ステップＳ９５３）。そして、平滑化フィルタ３７５は、ｋの値を１に初期化する。ｋは、１以上の整数である（ステップＳ９５４）。平滑化フィルタ３７５は、平滑化方向において注目画素からｋ番目の画素（ｉ−ｋ＋１，ｊ）の平滑化後の画素値に、Ｉｉｊ／Ｂｉｊを加算する（ステップＳ９５５）。また、平滑化フィルタ３７５は、注目画素からｋ番目の画素（ｉ−ｋ＋１，ｊ）の正規化係数に、１／Ｂｉｊを加算する（ステップＳ９５６）。平滑化フィルタ３７５は、ｋに１を加算する（ステップＳ９５７）。そして、平滑化フィルタ３７５は、画素（ｉ−ｋ＋１，ｊ）が移動体領域内の画素であり、かつ、画素（ｉ−ｋ＋１，ｊ）における被写体が移動体よりも奥に位置するか否かを判断する。被写体が移動体よりも奥に位置するか否かは、画素（ｉ−ｋ＋１，ｊ）の奥行きが移動体領域内の画素の奥行きより大きいか否かにより判断される（ステップＳ９５８）。画素（ｉ−ｋ＋１，ｊ）が移動体領域内の画素であり、かつ、被写体が移動体より奥に位置する場合（ステップＳ９５８：Ｙｅｓ）、平滑化フィルタ３７５は、ステップＳ９５７に戻る。画素（ｉ−ｋ＋１，ｊ）が移動体領域内の画素でない場合、または、被写体が移動体よりも奥に位置しない場合（ステップＳ９５８：Ｎｏ）、平滑化フィルタ３７５は、ｋがＢｉｊより大きいか否かを判断する（ステップＳ９５９）。ｋがＢｉｊ以下であれば（ステップＳ９５９：Ｎｏ）、平滑化フィルタ３７５は、ステップＳ９５４に戻る。ｋがＢｉｊより大きければ（ステップＳ９５９：Ｙｅｓ）、平滑化フィルタ３７５は、ｉまたはｊを１つ増分してループ処理（ステップＳ９５２）の終了判定を行う。ループ処理（ステップＳ９５２）が終了していなければ、平滑化フィルタ３７５は、ステップＳ９５３に戻る。
【００７０】
ループ処理（ステップＳ９５２）が終了したのであれば、平滑化フィルタ３７５は、上記式４を実行して、全ての平滑化後の画素値を正規化する（ステップＳ９６０）。ステップＳ９６０の後、平滑化フィルタ３７５は、平均化処理を終了する。
【００７１】
このように、第１の実施の形態によれば、画像処理装置３５０が、被写体までの奥行きを、画像内の画素に対応付けて取得する。そして、画像処理装置３５０は、移動体領域を除いた領域内の対象画素に対応する奥行きに応じた度合いの平滑化処理を、対象画素の画素値に対して所定の方向において実行して、ぼかしを生じさせる。移動体領域は平滑化されず、それ以外の領域は奥行きに応じた度合いで平滑化されるため、流し撮りを行って得られた画像と同様の画像が、撮影者の技量に依存せずに通常の画像から生成される。
【００７２】
また、平滑化処理部３７０は、移動体位置が設定されると、その移動体位置の奥行きとの差分が所定値以内となる奥行きの画素群を移動体領域として検出する。このため、平滑化処理部３７０は、移動体領域全体が設定されていなくても、移動体位置から、移動体領域を検出することができる。
【００７３】
また、平滑化処理部３７０は、単純移動平均フィルタを使用して前記平滑化処理を実行する。単純移動平均フィルタの使用により、平滑化処理部３７０は、被写体の輪郭を容易にぼかすことができる。
【００７４】
なお、画像処理装置３５０を撮像装置１００に内蔵しているが、画像処理装置３５０を撮像装置１００に内蔵しないで画像処理装置３５０と撮像装置１００とを別々の装置とすることもできる。
【００７５】
また、画像処理装置３５０は、上記式１に基づいて移動量および奥行きからフィルタ次数を算出している。しかし、移動量が大きくなるほどフィルタ次数が大きくなり、奥行きが大きくなるほどフィルタ次数が小さくなるのであれば、フィルタ次数を算出する式は、上記式１に限定されない。例えば、画像処理装置３５０は、移動量Ｓや奥行きＤのｎ乗（ｎは、２以上の整数）に基づいて、フィルタ次数を算出することもできる。
【００７６】
また、平滑化パラメータ設定部３７１は、移動体位置を設定しているが、移動体領域の輪郭をユーザがスタイラスなどでなぞる操作などを検出して、平滑化パラメータ設定部３７１が、移動体領域そのものを設定する構成とすることもできる。
【００７７】
また、画像処理装置３５０は、移動体領域の輪郭の画素を示す情報を移動体領域情報として生成しているが、移動体領域を示す情報であれば、移動体領域情報は、移動体領域の輪郭の画素を示す情報に限定されない。例えば、画像処理装置３５０は、移動体領域内の全ての画素を示す情報を移動体領域情報として生成することもできる。また、画像処理装置３５０は、移動体領域内の全画素を、１および０のうちの一方の値にし、それ以外の領域内の全画素を他方の値にした画像データを移動体領域情報とすることもできる。
【００７８】
また、画像処理装置３５０は、単純移動平均フィルタを使用して平滑化処理を実行しているが、単純移動平均フィルタ以外のフィルタを使用して平滑化処理を実行することもできる。例えば、画像処理装置３５０は、単純移動平均フィルタの代わりに、加重移動平均フィルタや指数移動平均フィルタなどの移動平均フィルタを使用することができる。また、画像処理装置３５０は、これらの移動平均フィルタの代わりに、ガウシアンフィルタなどを使用して平滑化処理を実行することもできる。
【００７９】
また、画像処理装置３５０は、奥行きに応じてフィルタ次数を設定しているが、平滑化の度合いを変更するパラメータであれば、フィルタ次数以外のパラメータを奥行きに応じて設定することもできる。例えば、画像処理装置３５０は、加重平均フィルタを使用する場合に、重み係数を奥行きに応じて設定することもできる。
【００８０】
また、撮像装置１００は、タッチパネルにおけるドラッグ操作を検出して、平均値パラメータを設定しているが、撮像装置１００は、それ以外の操作を検出して平均値パラメータを設定してもよい。例えば、撮像装置１００は、数値をボタンなどで入力する操作を検出して平均値パラメータを設定することもできる。
【００８１】
＜２．第２の実施の形態＞
［撮像装置の構成例］
次に、図１８乃至２２を参照して、本技術の第２の実施の形態について説明する。図１８は、第２の実施の形態における撮像装置１０１の一構成例を示すブロック図である。撮像装置１０１は、ステレオマッチング法により奥行き情報を生成する点において第１の実施の形態の撮像装置１００と異なる。ステレオマッチング法の詳細については後述する。撮像装置１０１は、撮像部１５０の代わりに基準画像撮像部１５１および参照画像撮像部１５２を備え、画像処理装置３５０の代わりに画像処理装置３５１を備え、奥行き計測部２５０を備えない点において撮像装置１００と異なる。
【００８２】
基準画像撮像部１５１は、基準画像を撮像するものである。ここで、基準画像は、奥行きの算出において基準とされる画像である。例えば、撮像装置１０１の右側のレンズで撮像された右画像と左側のレンズで撮像された左画像とのうちの、いずれかが基準画像とされる。基準画像撮像部１５１は、撮像した基準画像を示す基準画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００８３】
参照画像撮像部１５２は、参照画像を撮像するものである。ここで、参照画像は、基準画像と同期して撮像された画像であり、奥行きの算出において参照される画像である。例えば、右画像および左画像のうちの、基準画像以外の画像が参照画像とされる。参照画像撮像部１５２は、撮像した参照画像を示す参照画像データを画像データ記憶部２００に信号線１５６を介して出力する。
【００８４】
画像処理装置３５１は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。画像処理装置３５１は、基準画像および参照画像からステレオマッチング法を使用して、画素に対応付けて奥行きを算出する。画像処理装置３５１は、平滑化パラメータおよび奥行きに基づいて基準画像に対し、平滑化処理を実行する。
【００８５】
［画像処理装置の構成例］
図１９は、第２の実施の形態における画像処理装置３５１の一構成例を示すブロック図である。画像処理装置３５１は、奥行き情報取得部３６０の代わりに奥行き情報取得部３６１を備える点において第１の実施の形態の画像処理装置３５０と異なる。
【００８６】
図２０は、第２の実施の形態における奥行き情報取得部３６１の一構成例を示すブロック図である。奥行き情報取得部３６１は、視差検出部３６２および奥行き生成部３６３を備える。
【００８７】
視差検出部３６２は、基準画像および参照画像から視差を検出するものである。具体的には、視差検出部３６２は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。視差検出部３６２は、基準画像内のいずれかの画素を対象点とし、参照画像内において、その対象点と対応する対応点を求める。視差検出部３６２は、対象点の水平座標と、対応点の水平座標との間の差分の絶対値を視差として検出する。視差検出部３６２は、全ての画素について、視差を検出して奥行き生成部３６３に出力する。
【００８８】
奥行き生成部３６３は、視差から奥行き情報を生成するものである。視差から奥行きを求める方法については、後述する。奥行き生成部３６３は、画素に対応付けて奥行きを求め、奥行き情報を生成する。奥行き生成部３６３は、奥行き情報を平滑化処理部３７０に出力する。
【００８９】
図２１は、第２の実施の形態における視差と奥行きとの関係の一例を示す図である。基準画像における対象点の水平座標をＸＲとし、参照画像における対応点の水平座標をＸＬとする。この場合、視差ｄは、下記の式９により算出される。
ｄ＝｜ＸＲ−ＸＬ｜・・・式９
【００９０】
そして、基準画像撮像部１５１と参照画像撮像部１５２とのそれぞれのレンズ間の間隔をＢＬとし、焦点距離をｆとする。この場合、対象点、対応点、および、被写体がなす三角形と、基準画像撮像部１５１のレンズ、参照画像撮像部１５２のレンズ、および、被写体がなす三角形とは相似である。このため、下記の式１０に示す関係式が成立する。
ｄ：ｆ＝ＢＬ：Ｄ・・・式１０
【００９１】
上記式１０において「Ｄ」は、被写体までの奥行きである。上記式１０を変形することにより、下記の式１１が得られる。
Ｄ＝ＢＬｆ／ｄ・・・式１１
【００９２】
ＢＬおよびｆは、既知の値であるから、検出された視差ｄを上記式１１に代入することにより、奥行きＤが算出される。
【００９３】
［画像処理装置の動作例］
図２２は、第２の実施の形態における画像処理装置３５１の動作の一例を示すフローチャートである。画像処理装置３５１の動作は、ステップＳ９１０の代わりにステップＳ９１１およびＳ９１２を実行する点において第１の実施形態の画像処理装置３５０の動作と異なる。
【００９４】
画像処理装置３５１は、基準画像および奥行き画像から視差を検出する（ステップＳ９１１）。そして、画像処理装置３５１は、上記式１１に基づいて視差から奥行きを算出する（ステップＳ９１２）。
【００９５】
このように、本技術の第２の実施の形態によれば、画像処理装置３５１は、基準画像および参照画像から視差を検出し、その視差に基づいて奥行きを生成する。このため、画像処理装置３５１自身が奥行き情報を生成することができる。
【００９６】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００９７】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【００９８】
なお、本技術は以下のような構成もとることができる。
（１）被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理部と
を具備する画像処理装置。
（２）前記平滑化処理部は、
前記平滑化処理の特性を示す平滑化パラメータを設定する平滑化パラメータ設定部と、
前記設定された平滑化パラメータおよび前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化処理実行部と
を備える前記（１）記載の画像処理装置。
（３）前記平滑化処理実行部は、
前記平滑化パラメータに規定される前記量および前記取得された奥行きに基づいて前記平滑化処理の度合いを算出する算出部と、
前記算出された度合いの前記平滑化処理を実行する平滑化フィルタと
を備える
前記（２）記載の画像処理装置。
（４）前記平滑化パラメータ設定部は、前記所定の方向として前記平滑化処理を実行する方向を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記取得された奥行きに基づいて前記設定された方向において前記平滑化処理を実行する
前記（２）または（３）記載の画像処理装置。
（５）前記平滑化パラメータ設定部は、前記所定の領域として前記平滑化処理を実行しない領域を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記設定された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）前記平滑化パラメータ設定部は、前記所定の領域内の１つ以上の前記画素を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、
前記１つ以上の前記画素に対応する前記奥行きとの差分が所定値以下の前記奥行きに係る前記画素を含む領域を検出する領域検出部と、
前記検出された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化フィルタと
を備える前記（２）乃至（４）のいずれかに記載の画像処理装置。
（７）前記平滑化処理部は、移動平均フィルタを使用して前記平滑化処理を実行する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）前記平滑化処理部は、ガウシアンフィルタを使用して前記平滑化処理を実行する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（９）前記画像は、前記奥行きの生成において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記平滑化処理部は、前記基準画像内の前記所定の領域を除いた領域内の画素を前記対象画素として前記平滑化処理を実行する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
を具備する画像処理装置の制御方法。
（１１）奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【００９９】
１００、１０１ 撮像装置
１５０ 撮像部
１５１ 基準画像撮像部
１５２ 参照画像撮像部
２００ 画像データ記憶部
２５０ 奥行き計測部
３００ 操作部
３５０、３５１ 画像処理装置
３６０、３６１ 奥行き情報取得部
３６２ 視差検出部
３６３ 奥行き生成部
３７０ 平滑化処理部
３７１ 平滑化パラメータ設定部
３７２ 平滑化処理実行部
３７３ 移動体領域検出部
３７４ フィルタ次数算出部
３７５ 平滑化フィルタ
４００ 表示部
【技術分野】
【０００１】
本技術は、画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。詳しくは、平滑化処理を実行する画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、移動する被写体を撮像するときに流し撮りと呼ばれる撮影手法がよく使用されていた。流し撮りとは、移動している被写体がくっきりと写り、背景等の静止している被写体において移動方向に沿ってぼけが生じた画像を撮影するための手法である。このような画像を、以下、「流し撮り画像」と称する。流し撮りにより、移動する被写体の躍動感が表現される。
【０００３】
流し撮りは、シャッタースピードを通常より長く設定した状態で、撮影者が、被写体の移動に追従して撮像装置を動かすことにより行われる。シャッタースピードの設定や撮像装置の移動を適切に行うには比較的高い技量が必要であるため、流し撮り画像の仕上がり具合は、撮影者個人の技量に依存する部分が大きくなる。
【０００４】
そこで、撮影者による撮像装置の動きを検出したときに被写体の移動速度を測定し、その移動速度に応じてシャッタースピードを制御する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置によれば、シャッタースピードが適切な値に設定されるため、流し撮り画像の撮影が容易となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２２９７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の従来技術では、流し撮りを行わずに撮った通常の画像から、流し撮り画像を生成することはできなかった。特許文献１に記載の撮像装置は、シャッタースピードの調整により流し撮りを補助するものの、撮像装置の移動は撮影者自身が行うことを想定している。このため、特許文献１に記載の撮像装置においても、流し撮り画像の仕上がり具合が、依然として、シャッタースピードの設定以外に関する撮影者の技量に依存していた。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、撮影者の技量に依存せずに、流し撮り画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体までの奥行きを上記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得部と、上記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する上記奥行きに応じた度合いの平滑化処理を上記対象画素の画素値に対して所定の方向において実行する平滑化処理部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、奥行きに応じた度合いの平滑化処理が対象画素の画素値に対して所定の方向において実行されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記平滑化処理部は、上記平滑化処理の特性を示す平滑化パラメータを設定する平滑化パラメータ設定部と、上記設定された平滑化パラメータおよび上記取得された奥行きに基づいて上記平滑化処理を実行する平滑化処理実行部と
を備えてもよい。これにより、平滑化パラメータおよび奥行きに基づいて平滑化処理が実行されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記平滑化処理実行部は、上記平滑化パラメータに規定される上記量および上記取得された奥行きに基づいて上記平滑化処理の度合いを算出する算出部と、上記算出された度合いの上記平滑化処理を実行する平滑化フィルタとを備えてもよい。これにより、平滑化パラメータに規定される量および奥行きに基づいて度合いが算出されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記平滑化パラメータ設定部は、上記所定の方向として上記平滑化処理を実行する方向を含む上記平滑化パラメータを設定し、上記平滑化処理実行部は、上記取得された奥行きに基づいて上記設定された方向において上記平滑化処理を実行してもよい。これにより、設定された方向において平滑化処理が実行されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記平滑化パラメータ設定部は、上記所定の領域として上記平滑化処理を実行しない領域を示す情報を含む上記平滑化パラメータを設定し、上記平滑化処理実行部は、上記設定された領域を除いた領域内の画素を上記対象画素として上記取得された奥行きに基づいて上記平滑化処理を実行してもよい。これにより、設定された領域を除いた領域内の画素を対象画素として平滑化処理が実行されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記平滑化パラメータ設定部は、上記所定の領域内の１つ以上の上記画素を示す情報を含む上記平滑化パラメータを設定し、上記平滑化処理実行部は、上記１つ以上の上記画素に対応する上記奥行きとの差分が所定値以下の上記奥行きに係る上記画素を含む領域を検出する領域検出部と、上記検出された領域を除いた領域内の画素を上記対象画素として上記取得された奥行きに基づいて上記平滑化処理を実行する平滑化フィルタとを備えてもよい。これにより、奥行きの差分が所定値以内の領域を除いた領域内の画素を対象画素として平滑化処理が実行されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記平滑化処理部は、移動平均フィルタを使用して上記平滑化処理を実行してもよい。これにより、移動平均フィルタにより平滑化処理が実行されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記平滑化処理部は、ガウシアンフィルタを使用して上記平滑化処理を実行してもよい。これにより、ガウシアンフィルタにより平滑化処理が実行されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記画像は、上記奥行きの生成において基準とされる基準画像と参照される参照画像とを含み、上記奥行き取得部は、上記基準画像内のいずれかの上記画素と当該画素に対応する上記参照画像内の上記画素との間の距離を視差として検出する視差検出部と、上記検出された視差に基づいて上記基準画像内の上記画素に対応付けて上記奥行きを生成する奥行き生成部とを備え、上記平滑化処理部は、上記基準画像内の上記所定の領域を除いた領域内の画素を上記対象画素として上記平滑化処理を実行してもよい。これにより、検出された視差に基づいて奥行きが生成されるという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、通常の画像から流し撮り画像を生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図３】第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。
【図４】第１の実施の形態における平滑化パラメータの設定方法の一例を説明するための図である。
【図５】第１の実施の形態における平滑化パラメータの一例を示す図である。
【図６】第１の実施の形態における移動体領域の検出方法の一例を説明するための図である。
【図７】第１の実施の形態におけるフィルタ次数の一例を示す図である。
【図８】第１の実施の形態における移動方向に基づいて平滑化した被写体の一例である。
【図９】第１の実施の形態におけるフィルタ次数に従って平滑化した被写体の一例である。
【図１０】第１の実施の形態における画素値、奥行き、および、フィルタ次数の一例を示す図である。
【図１１】第１の実施の形態における流し撮りを行った画像の一例を示す図である。
【図１２】第１の実施の形態における平滑化処理の前後の画像の一例を示す図である。
【図１３】第１の実施の形態における正規化係数の一例を示す図である。
【図１４】第１の実施の形態における流し撮り画像の一例を示す図である。
【図１５】第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。
【図１６】第１の実施の形態における平滑化処理の一例を示すフローチャートである。
【図１７】第１の実施の形態における平均化処理の一例を示すフローチャートである。
【図１８】第２の実施の形態における撮像装置の一構成例を示すブロック図である。
【図１９】第２の実施の形態における画像処理装置の一構成例を示すブロック図である。
【図２０】第２の実施の形態における奥行き情報取得部の一構成例を示すブロック図である。
【図２１】第２の実施の形態における視差と奥行きとの関係の一例を示す図である。
【図２２】第２の実施の形態における画像処理装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理：流し撮り画像を生成する例）
２．第２の実施の形態（画像処理：ステレオマッチングを使用する例）
【００２０】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、被写体を撮像して、撮像した被写体の画像から流し撮り画像を生成するものである。撮像装置１００は、撮像部１５０、画像データ記憶部２００、奥行き計測部２５０、操作部３００、画像処理装置３５０、および、表示部４００を備える。
【００２１】
撮像部１５０は、被写体を撮像して画像データを生成するものである。撮像部１５０は、生成した画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００２２】
画像データ記憶部２００は、画像データを記憶するものである。画像データ記憶部２００は、撮像部１５０および画像処理装置３５０のそれぞれが生成した画像データを記憶する。
【００２３】
奥行き計測部２５０は、被写体までの奥行きを計測するものである。例えば、奥行き計測部２５０は、撮像部１５０による撮像と同期して被写体にレーザを照射し、そのレーザの反射光を検出して、照射時刻からの検出時刻の遅延時間に基づいて奥行きを計測する。奥行き計測部２５０は、画像内のそれぞれの画素に対応付けて奥行きを計測し、それらの奥行きを示す奥行き情報を生成する。奥行き計測部２５０は、生成した奥行き情報を画像処理装置３５０に信号線２５１を介して出力する。
【００２４】
操作部３００は、撮像装置１００を操作する操作信号を検出するものである。この操作信号は、平滑化パラメータを設定するための操作信号を含む。平滑化パラメータについては後述する。操作部３００は、検出した操作信号を画像処理装置３５０に信号線３０１を介して出力する。
【００２５】
画像処理装置３５０は、画像データに対して平滑化処理を行うことにより、流し撮り画像データを生成するものである。詳細には、画像処理装置３５０は、まず、操作信号に従って平滑化パラメータを設定する。
【００２６】
ここで、平滑化パラメータは、平滑化処理の特性を示すパラメータであり、移動体位置、移動方向、および、移動量の値を含む。平滑化処理の詳細については後述する。移動体位置は、画像内の被写体のうち、移動しているように見せたい被写体（以下、「移動体」と称する。）が写っている領域内のいずれかの画素の座標である。以下、この移動体が写っている領域を「移動体領域」と称する。移動方向は、その移動体の移動方向として設定される方向であり、この移動方向の逆方向が平滑化処理の方向とされる。移動量は、その移動体の露光時間内の移動量として規定される量である。
【００２７】
平滑化パラメータの設定後、画像処理装置３５０は、移動体領域以外の領域において、移動量と画素に対応する奥行きとに基づいて平滑化の度合いを算出する。例えば、画像処理装置３５０は、下記の式１から平滑化の度合いを算出する。
【数１】
【００２８】
上記式１において、「Ｂ」は、平滑化の度合いであり、例えば、平滑化フィルタのフィルタ次数である。平滑化フィルタの次数に応じて、ぼかし量が増減する。また、「Ｓ」は、移動量であり、単位は、［ｍ］などである。「Ｄ」は、奥行きであり、単位は、［ｍ］などである。「Ａ」は、Ｓ／Ｄの値をＢに換算するための係数である。なお、画像処理装置３５０は、上記式１により、撮像装置１００を移動体の移動方向と平行に移動させた場合のフィルタ次数Ｂ（ぼかし量）を算出しているが、代わりに撮像装置１００を回転させた場合のぼかし量を算出してもよい。撮像装置１００を移動体の移動に追従して回転させた場合のぼかし量は、奥行きによらずに移動量のみにより算出される。この場合のぼかし量は、例えば、上記式１の代わりにＢ＝Ａ×Ｓの式により算出される。
【００２９】
画像処理装置３５０は、算出したフィルタ次数に従って、移動体領域以外の領域内の画素の画素値に対して移動方向の逆方向において平滑化処理を実行する。画像処理装置３５０は、平滑化処理を実行した画像データを流し撮り画像データとして画像データ記憶部２００に信号線３５５を介して出力する。
【００３０】
表示部４００は、画像データ記憶部２００から画像データまたは流し撮り画像データを読み出して表示するものである。
【００３１】
［撮像装置の構成例］
図２は、第１の実施の形態における画像処理装置３５０の一構成例を示すブロック図である。画像処理装置３５０は、奥行き情報取得部３６０および平滑化処理部３７０を備える。
【００３２】
奥行き情報取得部３６０は、奥行き計測部２５０が生成した奥行き情報を取得するものである。奥行き情報取得部３６０は、取得した奥行き情報を平滑化処理部３７０に信号線３６５を介して出力する。
【００３３】
平滑化処理部３７０は、奥行き情報に基づいて画像データに対して平滑化処理を実行するものである。平滑化処理部３７０は、平滑化パラメータ設定部３７１および平滑化処理実行部３７２を備える。
【００３４】
平滑化パラメータ設定部３７１は、操作信号に従って平滑化パラメータを設定するものである。平滑化パラメータ設定部３７１は、設定した平滑化パラメータを平滑化処理実行部３７２に出力する。
【００３５】
平滑化処理実行部３７２は、平滑化パラメータおよび奥行き情報に基づいて平滑化処理を実行するものである。平滑化処理実行部３７２は、移動体領域検出部３７３、フィルタ次数算出部３７４、および、平滑化フィルタ３７５を備える。
【００３６】
移動体領域検出部３７３は、移動体領域を検出するものである。具体的には、移動体領域検出部３７３は、平滑化パラメータに含まれる移動体位置に対応する奥行きを奥行き情報から取得する。そして、移動体領域検出部３７３は、その奥行きとの差分が所定値以内となる奥行きが計測された画素からなる領域を移動体領域として検出する。移動体領域検出部３７３は、検出した移動体領域を示す移動体領域情報を生成する。移動体領域情報は、例えば、移動体領域の輪郭の画素群を示す情報を含む。移動体領域検出部３７３は、生成した移動体領域情報をフィルタ次数算出部３７４に出力する。
【００３７】
フィルタ次数算出部３７４は、移動体領域を除く領域において、奥行き情報および移動量に基づいてフィルタ次数を算出するものである。詳細には、フィルタ次数算出部３７４は、移動体領域検出部３７３が検出した移動体領域を除く領域を、平滑化処理の対象である対象画素とする。フィルタ次数算出部３７４は、平滑化パラメータに含まれる移動量「Ｓ」と、それぞれの対象画素に対応する奥行き「Ｄ」とから上記式１を使用して、それぞれの対象画素についてフィルタ次数「Ｂ」を算出する。ここで、移動体領域内の画素は、平滑化処理の対象ではないため、移動体領域内の画素のフィルタ次数は「１」に設定される。また、算出されたフィルタ次数が１未満であった場合、フィルタ次数は「１」に設定される。フィルタ次数算出部３７４は、それぞれの画素のフィルタ次数を平滑化フィルタ３７５に出力する。
【００３８】
平滑化フィルタ３７５は、フィルタ次数に従って、対象画素に平滑化処理を実行するものである。平滑化フィルタ３７５は、例えば、単純移動平均法を使用して平滑化を行う単純移動平均フィルタである。
【００３９】
単純移動平均法において、平滑化フィルタ３７５は、まず、画像内の全画素について、平滑化後の画素値Ｉ'（ｉ，ｊ）および正規化係数ｎ（ｉ，ｊ）を初期化する。初期化において、例えば、全ての値が０とされる。ここで、ｉは、画素の水平座標であり、ｊは、画素の垂直座標である。画像の水平方向の画素数をＷ、垂直方向の画素数をＨとすると、ｉは、０乃至Ｗ−１の整数であり、ｊは、０乃至Ｈ−１の整数である。また、正規化係数は、正規化を行う場合に乗算すべき係数である。正規化の詳細については後述する。
【００４０】
初期化の後、平滑化フィルタ３７５は、画像内のいずれかの画素に注目して、その画素を注目画素とする。平滑化フィルタ３７５は、その注目画素の画素値Ｉ（ｉ，ｊ）およびフィルタ次数Ｂ（ｉ，ｊ）を取得する。平滑化フィルタ３７５は、注目画素から平滑化処理の方向へ連続するＢ（ｉ，ｊ）個の画素の中に、移動体領域内の画素があるか否かを判断する。移動体領域内の画素があれば、平滑化フィルタ３７５は、注目画素の奥行きが移動体領域内の画素の奥行きより大きい（すなわち、注目画素における被写体が移動体よりも奥に位置する）か否かを判断する。注目画素の奥行きが、移動体領域内の画素の奥行きより大きい場合、平滑化フィルタ３７５は、その画素の平滑化後の画素値にＩ（ｉ，ｊ）／Ｂ（ｉ，ｊ）を加算しない。一方、Ｂ（ｉ，ｊ）個の画素の中に移動体領域内の画素がない場合、または、注目画素の奥行きが移動体領域内の画素の奥行き以下である場合、平滑化フィルタ３７５は、Ｂ（ｉ，ｊ）個の画素の平滑化後の画素値にＩ（ｉ，ｊ）／Ｂ（ｉ，ｊ）を加算する。但し、平滑化フィルタ３７５は、Ｂ（ｉ，ｊ）個の中に移動体領域内の画素があるか否か、また、移動体が手前にあるか否かに関らず、常に、Ｂ（ｉ，ｊ）個の画素の平滑化後の画素値にＩ（ｉ，ｊ）／Ｂ（ｉ，ｊ）を加算してもよい。常に加算する構成とすれば、計算量が削減される。例えば、正規化処理の方向が−Ｘ方向であり、Ｂ（ｉ，ｊ）個の画素群の中に移動体領域内の画素がない場合、注目画素について下記式２の演算が実行される。
【数２】
【００４１】
ここで、「＋＝」は、右辺の値を左辺に加算する演算を意味する。また、ＩｉｊおよびＢｉｊは、Ｉ（ｉ，ｊ）およびＢ（ｉ，ｊ）を省略して表記したものである。
【００４２】
続いて、平滑化フィルタ３７５は、注目画素から平滑化処理の方向へ連続するＢ（ｉ，ｊ）個の画素の中に移動体領域内の画素がない場合、または、移動体領域内の画素があっても注目画素の奥行きが移動体領域内の画素の奥行き以下である場合、正規化係数に１／Ｂ（ｉ，ｊ）を加算する。Ｂ（ｉ，ｊ）個の画素の中に移動体領域内の画素があり、かつ、注目画素の奥行きが移動体領域内の画素の奥行きより大きい場合、平滑化フィルタ３７５は、その画素の正規化係数に１／Ｂ（ｉ，ｊ）を加算しない。例えば、正規化の方向が−Ｘ方向であり、Ｂ（ｉ，ｊ）個の画素群の中に移動体領域内の画素がない場合、注目画素について下記式３の演算が実行される。
【数３】
【００４３】
平滑化フィルタ３７５は、画像内の全ての画素のそれぞれを順に注目画素として、上記式２および式３の演算を実行する。これらの演算の結果、ある注目画素の平滑化後の画素値Ｉ'（ｉ，ｊ）において、その注目画素からＸ方向に連続したＫ個の画素の（平滑化後の画素値）／（フィルタ次数）が加算された場合を想定する。この場合、下記式４に例示するような、平滑化後の画素値が算出される。
【数４】
【００４４】
また、ある画素の正規化係数ｎ（ｉ，ｊ）において、その画素からＸ方向に連続したＫ個の画素の１／（フィルタ次数）が加算された場合、下記式５に例示するような、正規化係数が算出される。
【数５】
【００４５】
なお、上記式４および式５は、平滑化の方向が−Ｘ方向の場合の式であるが、平滑化の方向がＸ方向である場合、上記式４および式５において、（ｉ＋ｋ−１，ｊ）を（ｉ−ｋ＋１，ｊ）に置き換えればよい。また、平滑化の方向が、−Ｙ方向である場合、（ｉ＋ｋ−１，ｊ）が（ｉ，ｊ＋ｋ−１）に置き換えられる。平滑化の方向がＹ方向である場合、（ｉ＋ｋ−１，ｊ）が（ｉ，ｊ−ｋ＋１）に置き換えられる。
【００４６】
ここで、上記式４において、加算回数であるＫの値と、分母の値とが一致すれば、Ｋ個の画素出力値の平均値が算出されるが、加算回数および分母の値が一致しないことがある。例えば、画素（ｉ，ｊ）乃至（ｉ＋４，ｊ）の５画素のフィルタ次数が全て「６」であるのに、６個目の画素（ｉ＋５，ｊ）のフィルタ次数が「５」の場合である。この場合、上記式２に基づいて、画素（ｉ，ｊ）乃至（ｉ＋４，ｊ）の５画素分の値がＩ'（ｉ，ｊ）に加算されるが、６個目のＩ（ｉ＋５，ｊ）／Ｂ（ｉ＋５，ｊ）の値はＩ'（ｉ，ｊ）に加算されない。このため、加算回数の「５」と、分母の「６」とが一致しなくなる。そこで、下記式６の演算が実行される。下記式６の演算を実行することを、以下、「正規化」と称する。
【数６】
【００４７】
正規化により、Ｋ個の画素値の平均値、すなわちＩ'（ｉ，ｊ）が得られる。例えば、画素（ｉ，ｊ）乃至（ｉ＋４，ｊ）とのフィルタ次数が全て「６」で、画素（ｉ＋５，ｊ）のフィルタ次数が「５」である場合、上記式３に基づいてｎ（ｉ，ｊ）の値として「５／６」が算出される。このとき、上記式６の演算により、Ｉ'（ｉ，ｊ）の分母は「５」となり、加算回数と一致する。
【００４８】
平滑化フィルタ３７５は、上述の平滑化処理を施した画像データを流し撮り画像データとして画像データ記憶部２００に出力する。
【００４９】
なお、奥行き情報取得部３６０は、特許請求の範囲に記載の奥行き取得部の一例である。また、フィルタ次数算出部３７４は、特許請求の範囲に記載の算出部の一例である。また、移動体領域検出部３７３は、特許請求の範囲に記載の領域検出部の一例である。
【００５０】
図３は、第１の実施の形態における画像データおよび奥行き情報の一例を示す図である。図３（ａ）は、画像処理装置３５０に入力された画像データ５００の一例である。画像データ５００は、例えば、車およびドライバーからなる被写体５０１、木の被写体５０２、および、家の被写体５０３を含む。例えば、ユーザにより、被写体５０１が移動体として設定される。
【００５１】
図３（ｂ）は、画像データ５００と同期して取得された奥行き情報５１０の一例を示す図である。奥行き情報５１０は、画像データ５００に対応する、それぞれの画素に対応付けて、被写体の奥行きを画素値により示すデータである。例えば、奥行き情報５１０には、奥行きを示す画素値として輝度値が設定され、奥行きが小さいものほど、低い輝度値が設定される。奥行き情報５１０は、画像データ５００における被写体５０１、５０２、５０３に対応する被写体５１１、５１２、５１３を含む。ここで、被写体５１１、被写体５１２、被写体５１３、および、背景のうちの被写体５１１の奥行きが最も小さく、被写体５１２、被写体５１３、背景の順に奥行きが大きくなるものとする。この場合、奥行き情報５１０において、最も手前の被写体５１１の輝度値が最も低く設定される。そして、被写体５１２、被写体５１３、それらの背景の順に奥行きに応じて輝度値が高くなるように設定される。なお、奥行き情報５１０において、奥行きが小さいほど、高い輝度値が設定されてもよい。
【００５２】
図４は、第１の実施の形態における平滑化パラメータの設定方法の一例を説明するための図である。例えば、最初に、撮像装置１００が画像データ５００をタッチパネルに表示し、ユーザの操作の受け付けを開始する。ユーザが、画像データ５００において、指などで、いずれかの画素を指定すると、撮像装置１００は、その画素の位置を平滑化パラメータにおける移動体位置として設定する。続いて、ユーザが、移動体位置から画像内のいずれかの画素へ向けて指などをドラッグすると、撮像装置１００は、移動体位置からドラッグ操作の終点の位置への方向を平滑化パラメータにおける移動方向として設定する。また、撮像装置１００は、移動体位置から終点までの距離を平滑化パラメータにおける移動量として設定する。このように、ユーザは、移動体位置、移動方向、および、移動量を入力することにより、平滑化処理を実行しない領域、平滑化処理の方向、および、ぼかす量を任意に設定することができる。
【００５３】
図５は、第１の実施の形態における平滑化パラメータの一例を示す図である。平滑化パラメータは、例えば、移動ベクトルおよび移動体位置を含む。移動ベクトルは、移動方向および移動量を示すベクトルである。例えば、始点の座標（３００、５００）から終点の座標（３６０，５００）へ向けてドラッグ操作が行われた場合、始点の（３００、５００）が移動体位置として設定され、始点から終点へのベクトル（＋６０、０）が移動ベクトルとして設定される。
【００５４】
図６は、第１の実施の形態における移動体領域の検出方法の一例を説明するための図である。図６（ａ）は、移動体位置が指定された画像データ５００の一例である。図６（ｂ）は、移動体領域が検出された奥行き情報５１０の一例である。図６（ａ）に示すように、移動体位置（３００，５００）が設定された場合、画像処理装置３５０は、奥行き情報を参照し、移動体位置に対応付けられた奥行きＤｔを取得する。そして、画像処理装置３５０は、Ｄｔ±αの範囲内の奥行きに係る画素群を移動体領域として検出する。αは、Ｄｔとの差分として許容される値である。画像処理装置３５０は、検出した移動体領域の輪郭を示す情報を移動体領域として生成する。例えば、図６（ｂ）に示すように、移動体位置を含む被写体５１１の領域が移動体領域として検出された場合、その被写体５１１の輪郭の部分（すなわち、太線の部分）の画素を示す情報が移動体領域情報として生成される。
【００５５】
図７は、第１の実施の形態における、算出されたフィルタ次数の一例を示す図である。例えば、座標（０，０）および（１，０）に対応付けて奥行き２０［ｍ］が取得され、座標（２００，１００）および（２０１，１００）に対応付けて奥行き１０［ｍ］が取得されたものとする。また、移動体領域内の座標（３００，５００）および（３０１，５００）に対応付けて奥行き５［ｍ］が取得されたものとする。移動量は、６０［ｍ］とし、上記式１において、係数Ａは１とする。この場合、座標（０，０）および（１，０）について、上記式１より、フィルタ次数「３」が算出される。また、座標（２００，１００）および（２０１，１００）について、上記（式１）より、フィルタ次数「６」が算出される。移動体領域内の座標（３００，５００）および（３０１，５００）は、平滑化処理の対象でないため、上記式１が適用されず、フィルタ次数は「１」とされる。このように、移動体領域を除く領域において、奥行きが大きいほど、低いフィルタ次数が設定される。この結果、奥行きが大きいほど、ぼかし量が小さくなる。
【００５６】
図８は、第１の実施の形態における、移動方向に基づいて平滑化した（すなわち、ぼかした）被写体の一例である。図８（ａ）は、平滑化前の被写体６００の一例である。図８（ｂ）は、左方向が移動方向として設定された場合において平滑化された被写体６０１の一例である。この場合、被写体６００は、右方向に平滑化される。図８（ｃ）は、右方向が移動方向として設定された場合において平滑化された被写体６０２の一例である。この場合、被写体６００は、左方向に平滑化される。図８（ｄ）は、下方向が移動方向として設定された場合において平滑化された被写体６０３の一例である。この場合、被写体６００は、上方向に平滑化される。図８（ｅ）は、左上方向が移動方向として設定された場合において平滑化された被写体６０４の一例である。この場合、被写体６００は、右下方向に平滑化される。図８（ｂ）乃至（ｅ）に示すように、移動方向と逆方向に被写体が平滑化される。
【００５７】
図９は、第１の実施の形態におけるフィルタ次数に従って平滑化した被写体の一例である。図９（ａ）は、平滑化前の被写体６００の一例である。図９（ｂ）は、フィルタ次数「６」に従って平滑化された被写体６０５の一例である。図９（ｃ）は、フィルタ次数「３」に従って平滑化された被写体６０６の一例である。図９（ｂ）および（ｃ）に示すように、フィルタ次数が大きい被写体６０５のぼかし量の方が、フィルタ次数の小さい被写体６０６のぼかし量よりも大きくなる。
【００５８】
図１０は、第１の実施の形態における画素値、奥行き、および、フィルタ次数の一例を示す図である。図１０（ａ）は、画像データ内の一部の画素群における画素値の一例を示す図である。画像内の座標（ｘ，ｙ）乃至（ｘ＋１０，ｙ）の１１個の画素における画素値を、それぞれＩ（ｘ，ｙ）乃至Ｉ（ｘ＋１０，ｙ）とする。このうち、Ｉ（ｘ，ｙ）乃至Ｉ（ｘ＋４，ｙ）は、移動体領域内の画素群の画素値であり、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋１０，ｙ）は、静止している被写体の領域内の画素値である。
【００５９】
図１０（ｂ）は、奥行き情報における奥行きの一例を示す図である。画像内の座標（ｘ，ｙ）乃至（ｘ＋１０，ｙ）に対応付けて、奥行きＤ（ｘ，ｙ）乃至Ｄ（ｘ＋１０，ｙ）が取得される。図１０（ｃ）は、設定されたフィルタ次数の一例を示す図である。画像内の座標（ｘ，ｙ）乃至（ｘ＋１０，ｙ）に対応付けて、フィルタ次数Ｂ（ｘ，ｙ）乃至Ｂ（ｘ＋１０，ｙ）が取得される。図１０（ｂ）および（ｃ）に例示したように、それぞれの画素について奥行きが取得され、フィルタ次数が設定される。
【００６０】
図１１（ａ）乃至（ｆ）は、第１の実施の形態における流し撮りを行った画像を示す図である。図１１（ａ）乃至（ｆ）は、時刻Ｔ０乃至Ｔ５のそれぞれの時刻にレンズに写る画像における画素群である。時刻Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ４、および、Ｔ５の順で時刻が早いものとする。また、Ｉ（ｘ，ｙ）乃至Ｉ（ｘ＋４，ｙ）は、移動体領域内の画素の画素値であり、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋１０，ｙ）は、移動体の手前に位置する被写体の画素の画素値である。移動体の移動方向は、−Ｘ方向とする。図１１（ａ）に示すように、時刻Ｔ０においては、移動体の手前の被写体に、その移動体が隠された状態である。この移動体は、図１１（ｂ）乃至（ｆ）に示すように、時刻Ｔ１乃至Ｔ５において、徐々に姿を現す。時刻Ｔ０乃至Ｔ５において、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋１０，ｙ）における被写体は、実際には静止しているが、レンズに写る画像内においてはＸ方向に移動する。一方、Ｉ（ｘ，ｙ）乃至Ｉ（ｘ＋４，ｙ）における移動体は、実際には移動しているが、レンズに写る画像内においては移動しない。これは、撮影者が移動体に追従して、移動方向に撮像装置自体を動かすためである。このため、時刻Ｔ０乃至Ｔ５の期間において撮影者がシャッターを開放して撮像すると、移動体には、ぼけが生じず、静止している被写体において移動方向と逆のＸ方向にぼけた流し撮り画像が得られる。撮像装置１００は、このような流し撮り画像を通常の画像から生成することができる。
【００６１】
図１２は、第１の実施の形態における平滑化処理の前後の画像の一例を示す図である。図１２（ａ）の上段の画素値は、平滑化処理前の画像内の画素値である。図１２（ａ）の下段の画素値は、平滑化処理後の画像内の画素値である。図１２において平滑化の方向（ぼかし方向）は、−Ｘ方向とする。また、画素（ｘ，ｙ）乃至（ｘ＋４，ｙ）は移動体領域内の画素であり、画素（ｘ＋５，ｙ）乃至（ｘ＋１０，ｙ）は、静止している被写体の画素である。画素（ｘ＋９，ｙ）のフィルタ次数が６である場合を考える。この場合、上記式２に基づいて、下記式７に示すように、その画素から−Ｘ方向に連続する６個の画素のうち、移動体領域内の画素（ｘ＋４，ｙ）を除く画素の平滑化後の画素値にＩ（ｘ＋９，ｙ）／６が加算される。
【数７】
【００６２】
ここで、画素（ｘ＋５，ｙ）乃至（ｘ＋９，ｙ）のフィルタ次数が全て６であるが、画素（ｘ＋１０，ｙ）のフィルタ次数が５である場合を考える。この場合、図１２（ｂ）に示すように、Ｉ（ｘ＋５，ｙ）／６乃至Ｉ（ｘ＋９，ｙ）／６の値が、Ｉ'（ｘ＋５，ｙ）に加算されるが、６個目のＩ（ｘ＋１０，ｙ）／５の値はＩ'（ｘ＋５，ｙ）に加算されない。このため、Ｉ'（ｘ＋５，ｙ）において、加算回数の５と、分母の６とが一致しなくなる。そこで、正規化係数を演算して正規化を実行する。
【００６３】
図１３は、第１の実施の形態における正規化係数の一例を示す図である。図１３の上段は、それぞれの画素のフィルタ次数であり、下段は、それぞれの画素の正規化係数である。画素（ｘ＋９，ｙ）のフィルタ次数Ｂ（ｘ＋９，ｙ）が６である場合、上記式３に基づいて、下記式８に示すように、その画素から−Ｘ方向に連続する６個の画素のうち、移動体を除く画素の正規化係数に１／６が加算される。
【数８】
【００６４】
画素（ｘ＋５，ｙ）乃至（ｘ＋９，ｙ）のフィルタ次数が６で、画素（ｘ＋１０，ｙ）のフィルタ次数が５である場合、画素（ｘ＋５，ｙ）の正規化係数ｎ（ｘ＋５，ｙ）は５／６となる。このため、Ｉ'（ｘ＋５，ｙ）を正規化係数ｎ（ｘ＋５，ｙ）で除することにより、分母が加算回数に一致し、Ｉ（ｘ＋５，ｙ）乃至Ｉ（ｘ＋９，ｙ）の平均値がＩ'（ｘ＋５，ｙ）として算出される。
【００６５】
図１４は、第１の実施の形態における流し撮り画像５３０の一例を示す図である。図１４に示すように、移動体の被写体５３１は平滑化されず、背景の木の被写体５３２と家の被写体５３３とには平滑化処理が実行される。ここで、被写体５３２は、被写体５３３より手前に位置し、奥行きが小さいものとする。この場合、奥行きに応じて、被写体５３２のフィルタ次数より、被写体５３３のフィルタ次数が小さく設定される。このため、手前の被写体５３２のぼかし量より、遠くに位置する被写体５３３のぼかし量が小さくなる。このように、移動体の被写体５３１にぼけが生じず、背景においては奥行きに応じてぼかし量が変わるため、自然な流し撮り画像が得られる。
【００６６】
［画像処理装置の動作例］
図１５は、第１の実施の形態における画像処理装置３５０の動作の一例を示すフローチャートである。この動作は、画像の撮像とともに奥行きが計測され、平滑化パラメータを設定するための操作信号が入力されたときに開始する。画像処理装置３５０は、奥行き情報を取得する（ステップＳ９１０）。そして、画像処理装置３５０は、平滑化処理を実行する（ステップＳ９２０）。ステップＳ９２０の後、画像処理装置３５０は、画像処理のための動作を終了する。
【００６７】
図１６は、第１の実施の形態における平滑化処理の一例を示すフローチャートである。平滑化処理部３７０は、移動体位置および奥行きから、被写体領域を検出する（ステップＳ９３０）。平滑化処理部３７０は、被写体領域以外の領域において、移動量および奥行きから、対象画素に対応付けてフィルタ次数を算出する（ステップＳ９４０）。平滑化処理部３７０は、移動平均法に基づいて平均化処理を実行する（ステップＳ９５０）。ステップＳ９５０の後、平滑化処理部３７０は、平滑化処理を終了する。
【００６８】
図１７は、第１の実施の形態における平均化処理の一例を示すフローチャートである。平滑化方向は、−Ｘ方向であるものとする。平滑化フィルタ３７５は、まず、全ての平滑化後の画素値と正規化係数とを初期化する（ステップＳ９５１）。そして、平滑化フィルタ３７５は、ｉおよびｊを０に初期化して、ループ処理を開始する。このループ処理において、平滑化フィルタ３７５は、後述するステップＳ９５３乃至９５８を実行して、ｉまたはｊを１つ増分する。そして、平滑化フィルタ３７５は、ｉまたはｊの増分後にｉ＞Ｗ−１かつｊ＞Ｈ−１であればループ処理を終了し、そうでなければステップＳ９５３に戻り、ループ処理を継続する（ステップＳ９５２）。
【００６９】
ループ処理（ステップＳ９５２）において、平滑化フィルタ３７５は、画素（ｉ，ｊ）を注目画素としてする（ステップＳ９５３）。そして、平滑化フィルタ３７５は、ｋの値を１に初期化する。ｋは、１以上の整数である（ステップＳ９５４）。平滑化フィルタ３７５は、平滑化方向において注目画素からｋ番目の画素（ｉ−ｋ＋１，ｊ）の平滑化後の画素値に、Ｉｉｊ／Ｂｉｊを加算する（ステップＳ９５５）。また、平滑化フィルタ３７５は、注目画素からｋ番目の画素（ｉ−ｋ＋１，ｊ）の正規化係数に、１／Ｂｉｊを加算する（ステップＳ９５６）。平滑化フィルタ３７５は、ｋに１を加算する（ステップＳ９５７）。そして、平滑化フィルタ３７５は、画素（ｉ−ｋ＋１，ｊ）が移動体領域内の画素であり、かつ、画素（ｉ−ｋ＋１，ｊ）における被写体が移動体よりも奥に位置するか否かを判断する。被写体が移動体よりも奥に位置するか否かは、画素（ｉ−ｋ＋１，ｊ）の奥行きが移動体領域内の画素の奥行きより大きいか否かにより判断される（ステップＳ９５８）。画素（ｉ−ｋ＋１，ｊ）が移動体領域内の画素であり、かつ、被写体が移動体より奥に位置する場合（ステップＳ９５８：Ｙｅｓ）、平滑化フィルタ３７５は、ステップＳ９５７に戻る。画素（ｉ−ｋ＋１，ｊ）が移動体領域内の画素でない場合、または、被写体が移動体よりも奥に位置しない場合（ステップＳ９５８：Ｎｏ）、平滑化フィルタ３７５は、ｋがＢｉｊより大きいか否かを判断する（ステップＳ９５９）。ｋがＢｉｊ以下であれば（ステップＳ９５９：Ｎｏ）、平滑化フィルタ３７５は、ステップＳ９５４に戻る。ｋがＢｉｊより大きければ（ステップＳ９５９：Ｙｅｓ）、平滑化フィルタ３７５は、ｉまたはｊを１つ増分してループ処理（ステップＳ９５２）の終了判定を行う。ループ処理（ステップＳ９５２）が終了していなければ、平滑化フィルタ３７５は、ステップＳ９５３に戻る。
【００７０】
ループ処理（ステップＳ９５２）が終了したのであれば、平滑化フィルタ３７５は、上記式４を実行して、全ての平滑化後の画素値を正規化する（ステップＳ９６０）。ステップＳ９６０の後、平滑化フィルタ３７５は、平均化処理を終了する。
【００７１】
このように、第１の実施の形態によれば、画像処理装置３５０が、被写体までの奥行きを、画像内の画素に対応付けて取得する。そして、画像処理装置３５０は、移動体領域を除いた領域内の対象画素に対応する奥行きに応じた度合いの平滑化処理を、対象画素の画素値に対して所定の方向において実行して、ぼかしを生じさせる。移動体領域は平滑化されず、それ以外の領域は奥行きに応じた度合いで平滑化されるため、流し撮りを行って得られた画像と同様の画像が、撮影者の技量に依存せずに通常の画像から生成される。
【００７２】
また、平滑化処理部３７０は、移動体位置が設定されると、その移動体位置の奥行きとの差分が所定値以内となる奥行きの画素群を移動体領域として検出する。このため、平滑化処理部３７０は、移動体領域全体が設定されていなくても、移動体位置から、移動体領域を検出することができる。
【００７３】
また、平滑化処理部３７０は、単純移動平均フィルタを使用して前記平滑化処理を実行する。単純移動平均フィルタの使用により、平滑化処理部３７０は、被写体の輪郭を容易にぼかすことができる。
【００７４】
なお、画像処理装置３５０を撮像装置１００に内蔵しているが、画像処理装置３５０を撮像装置１００に内蔵しないで画像処理装置３５０と撮像装置１００とを別々の装置とすることもできる。
【００７５】
また、画像処理装置３５０は、上記式１に基づいて移動量および奥行きからフィルタ次数を算出している。しかし、移動量が大きくなるほどフィルタ次数が大きくなり、奥行きが大きくなるほどフィルタ次数が小さくなるのであれば、フィルタ次数を算出する式は、上記式１に限定されない。例えば、画像処理装置３５０は、移動量Ｓや奥行きＤのｎ乗（ｎは、２以上の整数）に基づいて、フィルタ次数を算出することもできる。
【００７６】
また、平滑化パラメータ設定部３７１は、移動体位置を設定しているが、移動体領域の輪郭をユーザがスタイラスなどでなぞる操作などを検出して、平滑化パラメータ設定部３７１が、移動体領域そのものを設定する構成とすることもできる。
【００７７】
また、画像処理装置３５０は、移動体領域の輪郭の画素を示す情報を移動体領域情報として生成しているが、移動体領域を示す情報であれば、移動体領域情報は、移動体領域の輪郭の画素を示す情報に限定されない。例えば、画像処理装置３５０は、移動体領域内の全ての画素を示す情報を移動体領域情報として生成することもできる。また、画像処理装置３５０は、移動体領域内の全画素を、１および０のうちの一方の値にし、それ以外の領域内の全画素を他方の値にした画像データを移動体領域情報とすることもできる。
【００７８】
また、画像処理装置３５０は、単純移動平均フィルタを使用して平滑化処理を実行しているが、単純移動平均フィルタ以外のフィルタを使用して平滑化処理を実行することもできる。例えば、画像処理装置３５０は、単純移動平均フィルタの代わりに、加重移動平均フィルタや指数移動平均フィルタなどの移動平均フィルタを使用することができる。また、画像処理装置３５０は、これらの移動平均フィルタの代わりに、ガウシアンフィルタなどを使用して平滑化処理を実行することもできる。
【００７９】
また、画像処理装置３５０は、奥行きに応じてフィルタ次数を設定しているが、平滑化の度合いを変更するパラメータであれば、フィルタ次数以外のパラメータを奥行きに応じて設定することもできる。例えば、画像処理装置３５０は、加重平均フィルタを使用する場合に、重み係数を奥行きに応じて設定することもできる。
【００８０】
また、撮像装置１００は、タッチパネルにおけるドラッグ操作を検出して、平均値パラメータを設定しているが、撮像装置１００は、それ以外の操作を検出して平均値パラメータを設定してもよい。例えば、撮像装置１００は、数値をボタンなどで入力する操作を検出して平均値パラメータを設定することもできる。
【００８１】
＜２．第２の実施の形態＞
［撮像装置の構成例］
次に、図１８乃至２２を参照して、本技術の第２の実施の形態について説明する。図１８は、第２の実施の形態における撮像装置１０１の一構成例を示すブロック図である。撮像装置１０１は、ステレオマッチング法により奥行き情報を生成する点において第１の実施の形態の撮像装置１００と異なる。ステレオマッチング法の詳細については後述する。撮像装置１０１は、撮像部１５０の代わりに基準画像撮像部１５１および参照画像撮像部１５２を備え、画像処理装置３５０の代わりに画像処理装置３５１を備え、奥行き計測部２５０を備えない点において撮像装置１００と異なる。
【００８２】
基準画像撮像部１５１は、基準画像を撮像するものである。ここで、基準画像は、奥行きの算出において基準とされる画像である。例えば、撮像装置１０１の右側のレンズで撮像された右画像と左側のレンズで撮像された左画像とのうちの、いずれかが基準画像とされる。基準画像撮像部１５１は、撮像した基準画像を示す基準画像データを画像データ記憶部２００に信号線１５５を介して出力する。
【００８３】
参照画像撮像部１５２は、参照画像を撮像するものである。ここで、参照画像は、基準画像と同期して撮像された画像であり、奥行きの算出において参照される画像である。例えば、右画像および左画像のうちの、基準画像以外の画像が参照画像とされる。参照画像撮像部１５２は、撮像した参照画像を示す参照画像データを画像データ記憶部２００に信号線１５６を介して出力する。
【００８４】
画像処理装置３５１は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。画像処理装置３５１は、基準画像および参照画像からステレオマッチング法を使用して、画素に対応付けて奥行きを算出する。画像処理装置３５１は、平滑化パラメータおよび奥行きに基づいて基準画像に対し、平滑化処理を実行する。
【００８５】
［画像処理装置の構成例］
図１９は、第２の実施の形態における画像処理装置３５１の一構成例を示すブロック図である。画像処理装置３５１は、奥行き情報取得部３６０の代わりに奥行き情報取得部３６１を備える点において第１の実施の形態の画像処理装置３５０と異なる。
【００８６】
図２０は、第２の実施の形態における奥行き情報取得部３６１の一構成例を示すブロック図である。奥行き情報取得部３６１は、視差検出部３６２および奥行き生成部３６３を備える。
【００８７】
視差検出部３６２は、基準画像および参照画像から視差を検出するものである。具体的には、視差検出部３６２は、画像データ記憶部２００から、基準画像データおよび参照画像データを読み出す。視差検出部３６２は、基準画像内のいずれかの画素を対象点とし、参照画像内において、その対象点と対応する対応点を求める。視差検出部３６２は、対象点の水平座標と、対応点の水平座標との間の差分の絶対値を視差として検出する。視差検出部３６２は、全ての画素について、視差を検出して奥行き生成部３６３に出力する。
【００８８】
奥行き生成部３６３は、視差から奥行き情報を生成するものである。視差から奥行きを求める方法については、後述する。奥行き生成部３６３は、画素に対応付けて奥行きを求め、奥行き情報を生成する。奥行き生成部３６３は、奥行き情報を平滑化処理部３７０に出力する。
【００８９】
図２１は、第２の実施の形態における視差と奥行きとの関係の一例を示す図である。基準画像における対象点の水平座標をＸＲとし、参照画像における対応点の水平座標をＸＬとする。この場合、視差ｄは、下記の式９により算出される。
ｄ＝｜ＸＲ−ＸＬ｜・・・式９
【００９０】
そして、基準画像撮像部１５１と参照画像撮像部１５２とのそれぞれのレンズ間の間隔をＢＬとし、焦点距離をｆとする。この場合、対象点、対応点、および、被写体がなす三角形と、基準画像撮像部１５１のレンズ、参照画像撮像部１５２のレンズ、および、被写体がなす三角形とは相似である。このため、下記の式１０に示す関係式が成立する。
ｄ：ｆ＝ＢＬ：Ｄ・・・式１０
【００９１】
上記式１０において「Ｄ」は、被写体までの奥行きである。上記式１０を変形することにより、下記の式１１が得られる。
Ｄ＝ＢＬｆ／ｄ・・・式１１
【００９２】
ＢＬおよびｆは、既知の値であるから、検出された視差ｄを上記式１１に代入することにより、奥行きＤが算出される。
【００９３】
［画像処理装置の動作例］
図２２は、第２の実施の形態における画像処理装置３５１の動作の一例を示すフローチャートである。画像処理装置３５１の動作は、ステップＳ９１０の代わりにステップＳ９１１およびＳ９１２を実行する点において第１の実施形態の画像処理装置３５０の動作と異なる。
【００９４】
画像処理装置３５１は、基準画像および奥行き画像から視差を検出する（ステップＳ９１１）。そして、画像処理装置３５１は、上記式１１に基づいて視差から奥行きを算出する（ステップＳ９１２）。
【００９５】
このように、本技術の第２の実施の形態によれば、画像処理装置３５１は、基準画像および参照画像から視差を検出し、その視差に基づいて奥行きを生成する。このため、画像処理装置３５１自身が奥行き情報を生成することができる。
【００９６】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００９７】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【００９８】
なお、本技術は以下のような構成もとることができる。
（１）被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理部と
を具備する画像処理装置。
（２）前記平滑化処理部は、
前記平滑化処理の特性を示す平滑化パラメータを設定する平滑化パラメータ設定部と、
前記設定された平滑化パラメータおよび前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化処理実行部と
を備える前記（１）記載の画像処理装置。
（３）前記平滑化処理実行部は、
前記平滑化パラメータに規定される前記量および前記取得された奥行きに基づいて前記平滑化処理の度合いを算出する算出部と、
前記算出された度合いの前記平滑化処理を実行する平滑化フィルタと
を備える
前記（２）記載の画像処理装置。
（４）前記平滑化パラメータ設定部は、前記所定の方向として前記平滑化処理を実行する方向を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記取得された奥行きに基づいて前記設定された方向において前記平滑化処理を実行する
前記（２）または（３）記載の画像処理装置。
（５）前記平滑化パラメータ設定部は、前記所定の領域として前記平滑化処理を実行しない領域を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記設定された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）前記平滑化パラメータ設定部は、前記所定の領域内の１つ以上の前記画素を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、
前記１つ以上の前記画素に対応する前記奥行きとの差分が所定値以下の前記奥行きに係る前記画素を含む領域を検出する領域検出部と、
前記検出された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化フィルタと
を備える前記（２）乃至（４）のいずれかに記載の画像処理装置。
（７）前記平滑化処理部は、移動平均フィルタを使用して前記平滑化処理を実行する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）前記平滑化処理部は、ガウシアンフィルタを使用して前記平滑化処理を実行する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（９）前記画像は、前記奥行きの生成において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記平滑化処理部は、前記基準画像内の前記所定の領域を除いた領域内の画素を前記対象画素として前記平滑化処理を実行する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
を具備する画像処理装置の制御方法。
（１１）奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【００９９】
１００、１０１ 撮像装置
１５０ 撮像部
１５１ 基準画像撮像部
１５２ 参照画像撮像部
２００ 画像データ記憶部
２５０ 奥行き計測部
３００ 操作部
３５０、３５１ 画像処理装置
３６０、３６１ 奥行き情報取得部
３６２ 視差検出部
３６３ 奥行き生成部
３７０ 平滑化処理部
３７１ 平滑化パラメータ設定部
３７２ 平滑化処理実行部
３７３ 移動体領域検出部
３７４ フィルタ次数算出部
３７５ 平滑化フィルタ
４００ 表示部
【特許請求の範囲】
【請求項１】
被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理部と
を具備する画像処理装置。
【請求項２】
前記平滑化処理部は、
前記平滑化処理の特性を示す平滑化パラメータを設定する平滑化パラメータ設定部と、
前記設定された平滑化パラメータおよび前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化処理実行部と
を備える請求項１記載の画像処理装置。
【請求項３】
前記平滑化処理実行部は、
前記平滑化パラメータに規定される前記量および前記取得された奥行きに基づいて前記平滑化処理の度合いを算出する算出部と、
前記算出された度合いの前記平滑化処理を実行する平滑化フィルタと
を備える
請求項２記載の画像処理装置。
【請求項４】
前記平滑化パラメータ設定部は、前記所定の方向として前記平滑化処理を実行する方向を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記取得された奥行きに基づいて前記設定された方向において前記平滑化処理を実行する
請求項２記載の画像処理装置。
【請求項５】
前記平滑化パラメータ設定部は、前記所定の領域として前記平滑化処理を実行しない領域を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記設定された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する
請求項２記載の画像処理装置。
【請求項６】
前記平滑化パラメータ設定部は、前記所定の領域内の１つ以上の前記画素を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、
前記１つ以上の前記画素に対応する前記奥行きとの差分が所定値以下の前記奥行きに係る前記画素を含む領域を検出する領域検出部と、
前記検出された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化フィルタと
を備える請求項２記載の画像処理装置。
【請求項７】
前記平滑化処理部は、移動平均フィルタを使用して前記平滑化処理を実行する
請求項１記載の画像処理装置。
【請求項８】
前記平滑化処理部は、ガウシアンフィルタを使用して前記平滑化処理を実行する
請求項１記載の画像処理装置。
【請求項９】
前記画像は、前記奥行きの生成において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記平滑化処理部は、前記基準画像内の前記所定の領域を除いた領域内の画素を前記対象画素として前記平滑化処理を実行する
請求項１記載の画像処理装置。
【請求項１０】
奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
を具備する画像処理装置の制御方法。
【請求項１１】
奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
をコンピュータに実行させるためのプログラム。
【請求項１】
被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得部と、
前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理部と
を具備する画像処理装置。
【請求項２】
前記平滑化処理部は、
前記平滑化処理の特性を示す平滑化パラメータを設定する平滑化パラメータ設定部と、
前記設定された平滑化パラメータおよび前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化処理実行部と
を備える請求項１記載の画像処理装置。
【請求項３】
前記平滑化処理実行部は、
前記平滑化パラメータに規定される前記量および前記取得された奥行きに基づいて前記平滑化処理の度合いを算出する算出部と、
前記算出された度合いの前記平滑化処理を実行する平滑化フィルタと
を備える
請求項２記載の画像処理装置。
【請求項４】
前記平滑化パラメータ設定部は、前記所定の方向として前記平滑化処理を実行する方向を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記取得された奥行きに基づいて前記設定された方向において前記平滑化処理を実行する
請求項２記載の画像処理装置。
【請求項５】
前記平滑化パラメータ設定部は、前記所定の領域として前記平滑化処理を実行しない領域を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、前記設定された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する
請求項２記載の画像処理装置。
【請求項６】
前記平滑化パラメータ設定部は、前記所定の領域内の１つ以上の前記画素を示す情報を含む前記平滑化パラメータを設定し、
前記平滑化処理実行部は、
前記１つ以上の前記画素に対応する前記奥行きとの差分が所定値以下の前記奥行きに係る前記画素を含む領域を検出する領域検出部と、
前記検出された領域を除いた領域内の画素を前記対象画素として前記取得された奥行きに基づいて前記平滑化処理を実行する平滑化フィルタと
を備える請求項２記載の画像処理装置。
【請求項７】
前記平滑化処理部は、移動平均フィルタを使用して前記平滑化処理を実行する
請求項１記載の画像処理装置。
【請求項８】
前記平滑化処理部は、ガウシアンフィルタを使用して前記平滑化処理を実行する
請求項１記載の画像処理装置。
【請求項９】
前記画像は、前記奥行きの生成において基準とされる基準画像と参照される参照画像とを含み、
前記奥行き取得部は、
前記基準画像内のいずれかの前記画素と当該画素に対応する前記参照画像内の前記画素との間の距離を視差として検出する視差検出部と、
前記検出された視差に基づいて前記基準画像内の前記画素に対応付けて前記奥行きを生成する奥行き生成部とを備え、
前記平滑化処理部は、前記基準画像内の前記所定の領域を除いた領域内の画素を前記対象画素として前記平滑化処理を実行する
請求項１記載の画像処理装置。
【請求項１０】
奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
を具備する画像処理装置の制御方法。
【請求項１１】
奥行き取得部が、被写体までの奥行きを前記被写体が撮像された画像内の画素に対応付けて取得する奥行き取得手順と、
平滑化処理部が、前記画像内の所定の領域を除いた領域内の画素を対象画素として当該対象画素に対応する前記奥行きに応じた度合いの平滑化処理を前記対象画素の画素値に対して所定の方向において実行する平滑化処理手順と
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図１４】
【公開番号】特開２０１２−２５３７１３（Ｐ２０１２−２５３７１３Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２７０９８（Ｐ２０１１−１２７０９８）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]