画像処理装置、画像処理方法及び画像処理プログラム
【課題】所定の被写体以外の領域に対して、ぼかし処理を施した画像を生成することができる画像処理装置を提供する。
【解決手段】ぼかし処理すべき元になる画像を入力する画像入力部と、画像に対応する視差情報を入力する視差情報入力部と、画像上の合焦領域となる被写体の位置座標を特定する被写体指定部と、視差情報を参照して、被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析部と、視差値分布情報と被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定部と、視差情報の視差値が合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成部とを備えた。
【解決手段】ぼかし処理すべき元になる画像を入力する画像入力部と、画像に対応する視差情報を入力する視差情報入力部と、画像上の合焦領域となる被写体の位置座標を特定する被写体指定部と、視差情報を参照して、被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析部と、視差値分布情報と被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定部と、視差情報の視差値が合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成部とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の被写体以外の領域に対して、ぼかし処理を施した画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、画面の全体に焦点のあった画像を、奥行き感のある立体的なものとすることができる画像処理装置が知られている（例えば、特許文献１参照）。これは、画像を撮影する際に、画像を複数の領域に区分し、その領域の各々に含まれる被写体までの距離情報を取得し、その距離情報に基づいて領域毎にぼかし度合いを設定し、そのぼかし度合いによって領域毎にぼかし処理を施すことによって、画像内のぼかし度合いの低い領域が浮き上がったボケ味のある画像とすることができるものである。
【０００３】
また、口径の小さいレンズを持つカメラで撮影された画像から、大口径のレンズを備えたカメラで撮影したようなボケ味を持った写真を得ることができる画像処理方法が知られている（例えば、特許文献１参照）。これは、所定の視差を有する一対の撮影レンズを通過して同時撮影された一対の画像と視差情報とを入力し、入力された情報に基づいて画像中の被写体群の距離分布を算出し、撮影レンズの属性に依存するボケ情報を与えるためのボケパラメータを適宜選択し、算出された被写体群の距離分布と、選択されたボケパラメータとに応じて、被写体群に実際の撮影レンズによるものとは異なる光学的ボケを付加した画像を出力するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２９４７８５号公報
【特許文献２】特開平０９−１８１９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の画像処理装置にあっては、顔の領域に対して距離範囲を設定するため、他の対象物では範囲の設定ができず、例えば人が乗り物に乗っている状況などでは、乗り物の中間位置からぼかしてしまうなど状況に応じたフォーカス範囲の設定が困難であるという問題がある。
【０００６】
また、特許文献２に記載の画像処理方法にあっては、ぼけの付加は設定されたレンズのパラメータに従ってぼかし処理を加えるものであるため、予め設定されている以外のぼかし画像の生成はできず、例えば画像によってはある距離範囲にフォーカスを合わせたい場合であっても、指定された処理以外はできないため、ユーザの好みを反映することができないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、所定の被写体以外の領域に対して、ぼかし処理を施した画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部と、前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析部と、前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定部と、前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成部とを備えたことを特徴とする。
【０００９】
本発明は、前記視差値分布解析部は、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする。
【００１０】
本発明は、前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定部は、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする。
【００１１】
本発明は、前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする。
【００１２】
本発明は、ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置における画像処理方法であって、前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップとを有することを特徴とする。
【００１３】
本発明は、前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする。
【００１４】
本発明は、前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする。
【００１５】
本発明は、前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする。
【００１６】
本発明は、ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップとを前記コンピュータに行わせることを特徴とする。
【００１７】
本発明は、前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする。
【００１８】
本発明は、前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする。
【００１９】
本発明は、前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、ぼかし画像を生成する際に、視差情報と対象画像から、主な被写体の視差分布を判定し、その視差値をもとに合焦領域やぼかしの境界領域を設定するようにしたため、ユーザは任意の被写体の一点を選択するだけで選択した被写体の奥行きも考慮してフォーカスを合わせた画像を生成することができるようになるという効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】画像のぼかし処理の原理を示す説明図である。
【図４】画像のぼかし処理の原理を示す説明図である。
【図５】画像のぼかし処理の原理を示す説明図である。
【図６】入力画像の一例を示す図である。
【図７】図６に示す入力画像に対応する視差情報であり、画像表現した例である。
【図８】入力画像に対してのぼかし処理を施した結果を示す説明図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、デジタルカメラ等で構成する撮像部であり、デジタルの画像データを出力する。符号２は、撮像部１と同等のデジタルカメラで構成する撮像部であり、撮像部１と同様にデジタルの画像データを出力する。符号３は、２つの撮像部１、２から出力する画像データを入力し、２つの画像のステレオマッチング処理を行った結果に基づき、視差情報を生成して出力する視差情報生成部である。視差情報とは、２つの撮像部１、２から出力する画像データの各画素においての対応点を探索することで求められる値であり、各データが両眼の視差を表す視差値で定義されるデータである。つまり、２つの画像中に存在する被写体のある特徴点がそれぞれの画像でどの程度ずれた位置にあるのかを示す。視差値が大きければ近くの物体であることを表し、視差値が小さければ遠くの物体であることを表している。すなわち、視差情報は、画像データの各画素について、物体までの距離を表すデータに相当する。視差情報は必ずしも対応する画像と同じ画素数で構成されることは必須ではなく、例えば視差情報が入力画像の１／４サイズである場合は、視差情報を入力画像サイズに拡大して用いたり、入力画像の４画素を視差情報の１画素に対応付けて用いるようにしてもよい。
【００２３】
符号４は、撮像部２から出力する画像データと視差情報生成部３から出力する視差情報とを対応付けて記録する記録部である。符号５は、ユーザが入力操作を行う入力部である。入力部は例えばタッチパネル機能付液晶であったり、表示画面上のカーソルを動かせるボタンであったり、ユーザが表示される画像に対して容易に領域を指定することが可能なものとし、どの領域にフォーカスを合わせたような画像とするかぼかし処理を行うかを指定できる。ここではこのぼかし処理を行わない領域(フォーカスの合った領域)を合焦領域と称する。符号６は、記録部４に記録された画像データと、この画像データに対応する視差情報とを読み出して、入力部５から指定された合焦領域の位置に基づき、合焦領域以外の領域にぼかし処理を施した画像を出力する画像処理部である。符号７は、画像処理部６から出力する画像を表示する表示部である。前述したようにタッチパネル機能付き液晶の場合は入力部６と表示部７が一体となった構成となる。画像処理部６により得られた画像は、表示部７に表示するのに加え、記録部４に記録したり、通信ネットワークを介して他の機器へ出力するようにしてもよい。
【００２４】
ここで、図６、図７を参照して、撮像部２によって撮像した画像（入力画像という）と、視差情報生成部３により生成した視差情報について説明する。図６は、入力画像の一例を示す図である。入力画像は、画像全体に焦点が合っている画像である。ただし、原則として入力画像は画像全体に焦点が合っている画像を対象としているが必ずしもこれに限るものではないとする。図７は、図６に示す入力画像に対応する視差情報であり、画像表現した例である。視差情報は、物体までの距離が遠いほど視差値が小さく、物体までの距離が近くなるにしたがって視差値は大きくなる。一般的に、視差情報をモノクロ画像として表示すると、遠いほど黒く、近いほど白くなる。以下の説明においては、視差値を８ビットで表現するものとして説明する。すなわち、視差値０が無限遠であり、視差値２５５が最も近い距離であるものとする。
【００２５】
次に、図８を参照して、図１に示す画像処理部６が行うぼかし処理について説明する。図８において、符号Ｇ１は、入力画像を表示部７に表示した例であり、符号Ｇ２は近い方の建物のみに焦点が合っているようにぼかし処理した後の画像を表示部７に表示した例である。入力画像は、道路に沿った２つの建物が写っている例である。入力画像Ｇ１において、ユーザは、合焦領域の位置を指定する。図８に示す例では、合焦領域として、ユーザが近い方の建物にフォーカスを合わせた画像を生成させる場合に、近い方の建物の手前の側面の中央部分を指定した例である。画像処理部６は、視差情報を参照して、指定位置の視差値を特定し、この視差値を基準に対象となる被写体が含まれる視差の範囲（距離範囲）を合焦領域とし、この合焦領域以外の領域に対してぼかす処理を施す。これにより、ぼかし処理後画像Ｇ２では、近い方の建物の距離の物体のみに焦点が合っている画像が得られることになる。
【００２６】
次に、図３、図４を参照して、被写体の奥行き判定について説明する。ぼかし画像生成時において、合焦領域の位置を指定した被写体以外の領域を特定してぼかし処理を行う場合に指定した被写体の奥行きを判別する必要がある。判別方法として被写体を含む判定領域を設け、その判定領域内での視差値のヒストグラム（視差値毎の画素数分布）を生成し、判定閾値ｋを基準として、指定された画素Ｓの視差値ｄ（視差情報上でＳ’の位置の画素値）を含む判定値ｋ以上の連続する視差範囲（ひとまとまりの視差範囲）とそれ以外の視差成分を分類し、被写体の視差範囲を推定する。
【００２７】
ここで視差値のヒストグラムは対象となる領域全体での視差値の分布を示したものであり、例えば、入力画像全体に対する視差情報のヒストグラムは図３に示すようなヒストグラムとなる。基本的に画像上に存在するそれぞれの被写体の視差分布はそれぞれほぼ連続的な視差分布で構成される。その中から指定した被写体の視差範囲を求める際には、指定した点の視差値を基準にその視差値を含む連続的な視差範囲の探索を行うことで推定できるが、画像全体でのヒストグラムでは被写体以外の視差値も多く含んでいるため、どの視差範囲に被写体が存在しているのか判別が難しい。そこで、判定領域に制限をかけることで被写体の視差範囲を精度よく求める。以下に判定領域の設定方法と被写体の奥行き判別方法に関して詳細に説明する。
【００２８】
判定領域の設定方法には次の３つの方法がある。（１）指定した点から判定領域を拡大していく方法、（２）指定した領域に対して判定領域を縮小していく方法、（３）ユーザが判定領域を指定する方法である。それぞれの方法の手順について説明する。
【００２９】
始めに、（１）指定した点から判定領域を拡大していく方法について説明する。まず、ユーザが対象の被写体を選択する。そして、指定した点を中心に判定領域を設定し、判定領域内の視差分布（頻度）を解析する。
【００３０】
次に、初期値では判定領域を３×３程度のブロックとして、判定領域を拡大していく。初期値は何でもよいが、小さすぎれば被写体全体まで拡大するための処理時間がかかる場合がある。また、大きすぎても初期値で被写体以上のサイズになるため、判定精度が落ちる可能性がある。したがって、画像サイズと所望の精度や処理時間を加味して初期値を設定すればよい。また、初期値の設定は固定値ではなく入力画像サイズに応じて対応づけても構わない。例えば、１９２０×１０８０の画像の時の初期領域をｎ×ｎとした場合、３８４０×２１６０の入力画像では拡大率に応じて初期領域も拡大し、初期領域を２ｎ×２ｎとする。ここでは、精度に主点をおき、小さめの範囲を設定して判定するものとする。また、指定した点の近傍で同じ色成分の領域を初期判定領域と設定するのでもよい。
【００３１】
次に、領域内の視差値の分布（頻度）をそのつど解析していき、判定を行う。すなわち、指定点の視差値ｄを基準に判定領域内の視差値の頻度（ヒストグラム）によって判定を行う。
【００３２】
次に、初期設定時には基本的には判定領域は指定被写体の中に含まれるためほぼ指定画素に対応した視差値ｄ近傍の視差分布になるが、判定領域を拡大するに従って被写体周辺画素の視差値もカウントされる。つまり判定領域が拡大していくと被写体周辺の背景部分の視差値などが判定領域に入ってくるため視差値ｄが含まれる視差範囲とは異なる視差領域の成分が向上する（図４のヒストグラムのｄ１、ｄ２がこれに相当する）。
【００３３】
最後に、判定値ｋを設定し、他の視差成分がｋ以上になれば判定をストップし、ｄの含まれるひとまとまりの視差領域の両端Ａ、Ｂ（図４参照）を求め、前景側合焦閾値ｄｆ、背景側合焦閾値ｄｂを、ｄｆ≧Ａ、ｄｂ≦Ｂとなる範囲に設定する。ここで合焦閾値とはぼかし領域と合焦領域の境界となる視差値を示し、この合焦閾値を基準にぼかし処理を行うかを決定する。ぼかし画像生成において、設定された合焦閾値ｄｆ、ｄｂからぼかした画像を生成する。ここで、被写体の視差範囲を求める際にひとまとまりの連続する視差領域をどのように判定するかが必要になるが、判定はパラメータΔｄによって定義する。
【００３４】
被写体には凹凸もあることや視差情報の分解能によって完全には連続に視差値が存在しない場合があため、パラメータΔｄを設けて、視差の間隔がΔｄ以下であれば連続する成分とし、Δｄよりも大きな視差値の間隔がある場合は他の視差成分としてその境界を指定した被写体とは異なる視差成分とみなす。このΔｄは画像の解像度や視差情報の分解能によって決める必要がある。例えば、視差情報の最小の視差の間隔が３であったとすると、Δｄを１で設定した場合には同じ被写体であっても異なった視差範囲のものとみなされてしまう。そのため、このような場合にはΔｄは３以上である必要がある。
【００３５】
判定領域を拡大する際には、指定位置を中心に判定領域を拡大していくが特に左右、上方を優先して拡大する方が望ましい。図５（１）のように、被写体全体がフレーム内に入っている際には一般的に被写体は地面に配置されている場合が多く、被写体と地面は視差値が連続しているために判定精度が低下する可能性がある。つまり、拡大するに従って被写体の視差範囲近傍の視差成分の割合も増加するため、被写体の視差範囲を判定する際に判定閾値ｋの設定範囲が狭くなるため、判定精度が低下する可能性がある。ただし、被写体が見きれている状態のように、地面などが写っていない状態では拡大方法による影響は少ない。
【００３６】
一方、図５（２）の場合は、指定位置より左右上方に範囲を広げることで、判定領域内に被写体と近い視差範囲の領域が入りにくくなるため、視差ｄを含む被写体の視差範囲が明確に現れる。このように、判定領域の拡大方向を変えることで被写体近傍の視差成分を低下させ、より判定し易くすることができる。このように、指定した点から判定領域を拡大していき、判定領域内のヒストグラムによって指定被写体の奥行き範囲を推定することが可能となる。
【００３７】
次に、（２）指定した領域に対して判定領域を縮小していく方法について説明する。まず、ユーザが対象の被写体中心付近を選択する。次に、判定領域を画像全体に設定し、指定した点を中心に縮小しながら判定領域内の視差分布（頻度）を解析する。そして、領域内の視差値の分布（頻度）をそのつど解析していき、判定を行う。すなわち、指定点の視差値ｄを基準に判定領域内の視差値の頻度（ヒストグラム）によって判定を行う。
【００３８】
次に、初期設定時にはほぼ全体にわたっての視差値分布が表示されるが、判定領域を縮小するに従って判定値ｋ以上の連続する視差範囲がいくつかのグループ（まとまり）に分割する。さらに被写体中心へと縮小させると視差値ｄを含むひとまとまりの視差範囲近傍にｋを超える視差分布がなくなる。これは判定領域において被写体の占める割合が多くなり、周辺画素が少なくなる状態である。
【００３９】
次に、視差ｄを含む視差範囲近傍の視差値のレベルがｋ以下になった状態において、視差ｄを含むｋ以上の連続する視差範囲を被写体の視差の範囲とする。そして、視差ｄの含まれる視差領域の両端Ａ、Ｂを求め、合焦閾値ｄｆ、ｄｂをｄｆ≧Ａ、ｄｂ≦Ｂとなる範囲に設定する。ぼかし画像生成においては、設定された合焦閾値ｄｆ、ｄｂからぼかした画像を生成する。
【００４０】
次に、（３）ユーザが判定領域を指定する方法について説明する。判定領域の設定は前述した方法により自動で領域を設定していくのでも構わないが、ユーザが被写体を含む範囲を指定するのでもよい。その場合は、指定された範囲を判定領域とし、前述したように判定値ｋ以上の視差値ｄを含む連続する視差範囲で求める。ユーザが指定する場合は、ユーザに被写体の外形部分を大まかになぞらせるように指示するようにするとさらに最適な判定領域を得ることが可能になる。
【００４１】
次に、図２を参照して、図１に示す装置の動作を説明する。図２は、図１に示す装置の動作を示すフローチャートである。まず、ユーザは、入力部５を操作して、ぼかし画像を得るための元になる画像を選択する（ステップＳ１）。画像入力部６１は、記録部４から選択された画像を読み出すとともに、視差情報入力部６３は、画像入力部６１により読み出した画像に対応する視差情報を読み出す（ステップＳ２）。画像入力部６１は、読み出した画像を表示部７に表示する。ユーザは、入力部５を操作して画像が表示された表示部７の画面上で合焦領域の指定位置Ｓを指定する。被写体指定部６２は、合焦領域として指定された画像上の位置座標を特定する（ステップＳ３）。被写体指定部６２は、指定された位置座標情報を視差値分布解析部６４と視差値判定部に出力する。
【００４２】
次に、視差値分布解析部６４は、視差情報入力部６３により読み出した視差情報と被写体指定部６２から受け取った合焦中心を示す位置座標情報を基に判定領域の設定を行う。この時、自動で判定領域を設定する場合は、決められた初期サイズとし、ユーザが判定領域を指定する場合はユーザによって指定された領域を判定領域として設定する。このようにして設定した判定領域において視差値の頻度を示すヒストグラム（視差値分布）を求める（ステップＳ４）。そして、視差値分布解析部６４は、求めたヒストグラムを視差値判定部６５に出力する。
【００４３】
次に、視差値判定部６５は、被写体指定部６２から出力された画素の位置座標情報に基づき、視差値情報上の対応する画素位置の視差値を読み出し、この視差値を指定された位置の視差値とすることにより、合焦領域として指定された画像上の位置の視差値ｄを特定し、判定閾値ｋを基準として視差値の判定を行う。この時、判定値ｋを超える値でｄを含むひとまとまりの視差範囲とそれ以外の視差範囲に分離できない場合は再度視差値分布解析部６４に判定領域を変更する信号を出力する。判定閾値ｋによって被写体の視差範囲が特定できる場合は合焦領域を設定するステップへと進む（ステップＳ５）。
【００４４】
次に、視差値判定部６５は、指定された位置の視差値と視差値のヒストグラムとから合焦範囲を特定するための合焦閾値ｄｆ、ｄｂを設定し、この合焦閾値ｄｆ、ｄｂをぼかし画像生成部６６へ出力する（ステップＳ６）。ぼかし画像生成部６６は、合焦閾値ｄｆ、ｄｂに基づき、画像上において、合焦領域と、合焦領域以外の領域に分離する（ステップＳ７）。
【００４５】
次に、ぼかし画像生成部６６は、合焦領域以外の領域について、フィルタ処理によってぼかし処理を施す（ステップＳ８）。この時、ぼかし量は視差値に応じて変化させ、合焦領域から視差の差が大きいほどぼかし量が大きくなるように平滑化フィルタで処理を行う。そして、ぼかし画像生成部６６は、合焦領域と、ぼかし処理後の合焦領域以外の領域を合成し（ステップＳ９）、合成後の画像を表示部７に表示する（ステップＳ１０）。
【００４６】
以上説明したように、被写体が奥行き（厚み）を持つことを想定し、フォーカスを合わせたい被写体の視差値を基に合焦閾値（どの視差値からぼかし始めるか）を決定するようにする。対象の奥行き判定では視差情報から視差値の頻度分布（ヒストグラム）と指定されたポイントの視差値から被写体の奥行き両端の視差値を判定し、その判定値を基準に合焦閾値を設定し、閾値から視差値に応じたぼかし処理を行うことでユーザは任意の被写体の一点を選択するだけで選択した被写体の奥行きも考慮してフォーカスを合わせた画像を生成することができるようになる。
【００４７】
本実施形態では判定領域内全体の視差値に対するヒストグラムを用いて被写体の視差範囲を判定したが、画像のエッジ成分に対応する視差情報のみのヒストグラムを用いてもよい。この場合、より被写体視差範囲の境界部分を明確にすることができるが、視差分布が離散的な傾向をもつため、連続する視差の範囲を決めるパラメータΔｄを大きくする必要がある。また、この判定領域内全体の視差値に対するヒストグラムとエッジ成分の視差値に対するヒストグラムの２つを組み合わせても構わない。
【００４８】
また、動画においてはフレームごとに同様な処理を実施すればよいが、初めに被写体を指定し、後のフレームに関しては指定した被写体を自動で追跡することで、フレームごとに被写体を指定する手間を省くことで効率よく目的のぼかし画像を得ることができる。例えば、被写体指定部において、顔検出などを用いて、初めに選択した人物を追跡して初回以降は自動的に被写体の座標位置を設定することで、人物の位置が変わってもその人物の視差範囲以外を常にぼかす処理を行い、常に動く指定人物にフォーカスを合わせたかのような映像を得ることが可能となる。また、追跡は顔認識でなくとも、例えば動きベクトルを算出し、初期に指定した被写体の特徴点の動き量に合わせて座標を変化させるものでもよい。このようにすることで、動画でのぼかし画像生成やプレビュー時でのぼかし画像表示において容易に動く被写体に合わせたぼかし表現が可能となる。
【００４９】
画像から合焦領域とする被写体を抽出してその領域の視差値から最大最小を求める場合には正確な被写体抽出が必要となるが、正確に被写体を認識することは処理が複雑になる。また、撮影された画像から視差情報を得る場合、視差情報にはエラーがあることも想定されるため、単純に被写体領域の視差値の最大最少で判定すると間違う場合がある。本発明のように視差値のヒストグラムを用いることによって正確な被写体抽出をすることなく奥行き推定することができ、また、視差の頻度によって視差範囲を判定するためにエラーの影響を少なくすることで精度を向上することができる。また、２つ以上の被写体を選定した場合は、それぞれの被写体の視差範囲を含んだ範囲での最大最小の視差値を用いて閾値を設定すればよい。このように各被写体の厚みも考慮して境界値を設定することで被写体の中間に処理の境界がこないようにしてユーザの扱いやすさと画質の向上を行うことができる。
【００５０】
なお、図１における画像処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像のぼかし処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５２】
得られた画像に対して、画像処理によってぼかし処理を施すことが不可欠な用途に適用できる。
【符号の説明】
【００５３】
１、２・・・撮像部、３・・・視差情報生成部、４・・・記録部、５・・・入力部、６・・・画像処理部、６１・・・画像入力部、６２・・・被写体指定部、６３・・・視差情報入力部、６４・・・視差値分布解析部、６５・・・視差値判定部、６６・・・ぼかし画像生成部、７・・・表示部
【技術分野】
【０００１】
本発明は、所定の被写体以外の領域に対して、ぼかし処理を施した画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、画面の全体に焦点のあった画像を、奥行き感のある立体的なものとすることができる画像処理装置が知られている（例えば、特許文献１参照）。これは、画像を撮影する際に、画像を複数の領域に区分し、その領域の各々に含まれる被写体までの距離情報を取得し、その距離情報に基づいて領域毎にぼかし度合いを設定し、そのぼかし度合いによって領域毎にぼかし処理を施すことによって、画像内のぼかし度合いの低い領域が浮き上がったボケ味のある画像とすることができるものである。
【０００３】
また、口径の小さいレンズを持つカメラで撮影された画像から、大口径のレンズを備えたカメラで撮影したようなボケ味を持った写真を得ることができる画像処理方法が知られている（例えば、特許文献１参照）。これは、所定の視差を有する一対の撮影レンズを通過して同時撮影された一対の画像と視差情報とを入力し、入力された情報に基づいて画像中の被写体群の距離分布を算出し、撮影レンズの属性に依存するボケ情報を与えるためのボケパラメータを適宜選択し、算出された被写体群の距離分布と、選択されたボケパラメータとに応じて、被写体群に実際の撮影レンズによるものとは異なる光学的ボケを付加した画像を出力するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２９４７８５号公報
【特許文献２】特開平０９−１８１９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の画像処理装置にあっては、顔の領域に対して距離範囲を設定するため、他の対象物では範囲の設定ができず、例えば人が乗り物に乗っている状況などでは、乗り物の中間位置からぼかしてしまうなど状況に応じたフォーカス範囲の設定が困難であるという問題がある。
【０００６】
また、特許文献２に記載の画像処理方法にあっては、ぼけの付加は設定されたレンズのパラメータに従ってぼかし処理を加えるものであるため、予め設定されている以外のぼかし画像の生成はできず、例えば画像によってはある距離範囲にフォーカスを合わせたい場合であっても、指定された処理以外はできないため、ユーザの好みを反映することができないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、所定の被写体以外の領域に対して、ぼかし処理を施した画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部と、前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析部と、前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定部と、前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成部とを備えたことを特徴とする。
【０００９】
本発明は、前記視差値分布解析部は、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする。
【００１０】
本発明は、前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定部は、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする。
【００１１】
本発明は、前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする。
【００１２】
本発明は、ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置における画像処理方法であって、前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップとを有することを特徴とする。
【００１３】
本発明は、前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする。
【００１４】
本発明は、前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする。
【００１５】
本発明は、前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする。
【００１６】
本発明は、ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップとを前記コンピュータに行わせることを特徴とする。
【００１７】
本発明は、前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする。
【００１８】
本発明は、前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする。
【００１９】
本発明は、前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、ぼかし画像を生成する際に、視差情報と対象画像から、主な被写体の視差分布を判定し、その視差値をもとに合焦領域やぼかしの境界領域を設定するようにしたため、ユーザは任意の被写体の一点を選択するだけで選択した被写体の奥行きも考慮してフォーカスを合わせた画像を生成することができるようになるという効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】画像のぼかし処理の原理を示す説明図である。
【図４】画像のぼかし処理の原理を示す説明図である。
【図５】画像のぼかし処理の原理を示す説明図である。
【図６】入力画像の一例を示す図である。
【図７】図６に示す入力画像に対応する視差情報であり、画像表現した例である。
【図８】入力画像に対してのぼかし処理を施した結果を示す説明図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、デジタルカメラ等で構成する撮像部であり、デジタルの画像データを出力する。符号２は、撮像部１と同等のデジタルカメラで構成する撮像部であり、撮像部１と同様にデジタルの画像データを出力する。符号３は、２つの撮像部１、２から出力する画像データを入力し、２つの画像のステレオマッチング処理を行った結果に基づき、視差情報を生成して出力する視差情報生成部である。視差情報とは、２つの撮像部１、２から出力する画像データの各画素においての対応点を探索することで求められる値であり、各データが両眼の視差を表す視差値で定義されるデータである。つまり、２つの画像中に存在する被写体のある特徴点がそれぞれの画像でどの程度ずれた位置にあるのかを示す。視差値が大きければ近くの物体であることを表し、視差値が小さければ遠くの物体であることを表している。すなわち、視差情報は、画像データの各画素について、物体までの距離を表すデータに相当する。視差情報は必ずしも対応する画像と同じ画素数で構成されることは必須ではなく、例えば視差情報が入力画像の１／４サイズである場合は、視差情報を入力画像サイズに拡大して用いたり、入力画像の４画素を視差情報の１画素に対応付けて用いるようにしてもよい。
【００２３】
符号４は、撮像部２から出力する画像データと視差情報生成部３から出力する視差情報とを対応付けて記録する記録部である。符号５は、ユーザが入力操作を行う入力部である。入力部は例えばタッチパネル機能付液晶であったり、表示画面上のカーソルを動かせるボタンであったり、ユーザが表示される画像に対して容易に領域を指定することが可能なものとし、どの領域にフォーカスを合わせたような画像とするかぼかし処理を行うかを指定できる。ここではこのぼかし処理を行わない領域(フォーカスの合った領域)を合焦領域と称する。符号６は、記録部４に記録された画像データと、この画像データに対応する視差情報とを読み出して、入力部５から指定された合焦領域の位置に基づき、合焦領域以外の領域にぼかし処理を施した画像を出力する画像処理部である。符号７は、画像処理部６から出力する画像を表示する表示部である。前述したようにタッチパネル機能付き液晶の場合は入力部６と表示部７が一体となった構成となる。画像処理部６により得られた画像は、表示部７に表示するのに加え、記録部４に記録したり、通信ネットワークを介して他の機器へ出力するようにしてもよい。
【００２４】
ここで、図６、図７を参照して、撮像部２によって撮像した画像（入力画像という）と、視差情報生成部３により生成した視差情報について説明する。図６は、入力画像の一例を示す図である。入力画像は、画像全体に焦点が合っている画像である。ただし、原則として入力画像は画像全体に焦点が合っている画像を対象としているが必ずしもこれに限るものではないとする。図７は、図６に示す入力画像に対応する視差情報であり、画像表現した例である。視差情報は、物体までの距離が遠いほど視差値が小さく、物体までの距離が近くなるにしたがって視差値は大きくなる。一般的に、視差情報をモノクロ画像として表示すると、遠いほど黒く、近いほど白くなる。以下の説明においては、視差値を８ビットで表現するものとして説明する。すなわち、視差値０が無限遠であり、視差値２５５が最も近い距離であるものとする。
【００２５】
次に、図８を参照して、図１に示す画像処理部６が行うぼかし処理について説明する。図８において、符号Ｇ１は、入力画像を表示部７に表示した例であり、符号Ｇ２は近い方の建物のみに焦点が合っているようにぼかし処理した後の画像を表示部７に表示した例である。入力画像は、道路に沿った２つの建物が写っている例である。入力画像Ｇ１において、ユーザは、合焦領域の位置を指定する。図８に示す例では、合焦領域として、ユーザが近い方の建物にフォーカスを合わせた画像を生成させる場合に、近い方の建物の手前の側面の中央部分を指定した例である。画像処理部６は、視差情報を参照して、指定位置の視差値を特定し、この視差値を基準に対象となる被写体が含まれる視差の範囲（距離範囲）を合焦領域とし、この合焦領域以外の領域に対してぼかす処理を施す。これにより、ぼかし処理後画像Ｇ２では、近い方の建物の距離の物体のみに焦点が合っている画像が得られることになる。
【００２６】
次に、図３、図４を参照して、被写体の奥行き判定について説明する。ぼかし画像生成時において、合焦領域の位置を指定した被写体以外の領域を特定してぼかし処理を行う場合に指定した被写体の奥行きを判別する必要がある。判別方法として被写体を含む判定領域を設け、その判定領域内での視差値のヒストグラム（視差値毎の画素数分布）を生成し、判定閾値ｋを基準として、指定された画素Ｓの視差値ｄ（視差情報上でＳ’の位置の画素値）を含む判定値ｋ以上の連続する視差範囲（ひとまとまりの視差範囲）とそれ以外の視差成分を分類し、被写体の視差範囲を推定する。
【００２７】
ここで視差値のヒストグラムは対象となる領域全体での視差値の分布を示したものであり、例えば、入力画像全体に対する視差情報のヒストグラムは図３に示すようなヒストグラムとなる。基本的に画像上に存在するそれぞれの被写体の視差分布はそれぞれほぼ連続的な視差分布で構成される。その中から指定した被写体の視差範囲を求める際には、指定した点の視差値を基準にその視差値を含む連続的な視差範囲の探索を行うことで推定できるが、画像全体でのヒストグラムでは被写体以外の視差値も多く含んでいるため、どの視差範囲に被写体が存在しているのか判別が難しい。そこで、判定領域に制限をかけることで被写体の視差範囲を精度よく求める。以下に判定領域の設定方法と被写体の奥行き判別方法に関して詳細に説明する。
【００２８】
判定領域の設定方法には次の３つの方法がある。（１）指定した点から判定領域を拡大していく方法、（２）指定した領域に対して判定領域を縮小していく方法、（３）ユーザが判定領域を指定する方法である。それぞれの方法の手順について説明する。
【００２９】
始めに、（１）指定した点から判定領域を拡大していく方法について説明する。まず、ユーザが対象の被写体を選択する。そして、指定した点を中心に判定領域を設定し、判定領域内の視差分布（頻度）を解析する。
【００３０】
次に、初期値では判定領域を３×３程度のブロックとして、判定領域を拡大していく。初期値は何でもよいが、小さすぎれば被写体全体まで拡大するための処理時間がかかる場合がある。また、大きすぎても初期値で被写体以上のサイズになるため、判定精度が落ちる可能性がある。したがって、画像サイズと所望の精度や処理時間を加味して初期値を設定すればよい。また、初期値の設定は固定値ではなく入力画像サイズに応じて対応づけても構わない。例えば、１９２０×１０８０の画像の時の初期領域をｎ×ｎとした場合、３８４０×２１６０の入力画像では拡大率に応じて初期領域も拡大し、初期領域を２ｎ×２ｎとする。ここでは、精度に主点をおき、小さめの範囲を設定して判定するものとする。また、指定した点の近傍で同じ色成分の領域を初期判定領域と設定するのでもよい。
【００３１】
次に、領域内の視差値の分布（頻度）をそのつど解析していき、判定を行う。すなわち、指定点の視差値ｄを基準に判定領域内の視差値の頻度（ヒストグラム）によって判定を行う。
【００３２】
次に、初期設定時には基本的には判定領域は指定被写体の中に含まれるためほぼ指定画素に対応した視差値ｄ近傍の視差分布になるが、判定領域を拡大するに従って被写体周辺画素の視差値もカウントされる。つまり判定領域が拡大していくと被写体周辺の背景部分の視差値などが判定領域に入ってくるため視差値ｄが含まれる視差範囲とは異なる視差領域の成分が向上する（図４のヒストグラムのｄ１、ｄ２がこれに相当する）。
【００３３】
最後に、判定値ｋを設定し、他の視差成分がｋ以上になれば判定をストップし、ｄの含まれるひとまとまりの視差領域の両端Ａ、Ｂ（図４参照）を求め、前景側合焦閾値ｄｆ、背景側合焦閾値ｄｂを、ｄｆ≧Ａ、ｄｂ≦Ｂとなる範囲に設定する。ここで合焦閾値とはぼかし領域と合焦領域の境界となる視差値を示し、この合焦閾値を基準にぼかし処理を行うかを決定する。ぼかし画像生成において、設定された合焦閾値ｄｆ、ｄｂからぼかした画像を生成する。ここで、被写体の視差範囲を求める際にひとまとまりの連続する視差領域をどのように判定するかが必要になるが、判定はパラメータΔｄによって定義する。
【００３４】
被写体には凹凸もあることや視差情報の分解能によって完全には連続に視差値が存在しない場合があため、パラメータΔｄを設けて、視差の間隔がΔｄ以下であれば連続する成分とし、Δｄよりも大きな視差値の間隔がある場合は他の視差成分としてその境界を指定した被写体とは異なる視差成分とみなす。このΔｄは画像の解像度や視差情報の分解能によって決める必要がある。例えば、視差情報の最小の視差の間隔が３であったとすると、Δｄを１で設定した場合には同じ被写体であっても異なった視差範囲のものとみなされてしまう。そのため、このような場合にはΔｄは３以上である必要がある。
【００３５】
判定領域を拡大する際には、指定位置を中心に判定領域を拡大していくが特に左右、上方を優先して拡大する方が望ましい。図５（１）のように、被写体全体がフレーム内に入っている際には一般的に被写体は地面に配置されている場合が多く、被写体と地面は視差値が連続しているために判定精度が低下する可能性がある。つまり、拡大するに従って被写体の視差範囲近傍の視差成分の割合も増加するため、被写体の視差範囲を判定する際に判定閾値ｋの設定範囲が狭くなるため、判定精度が低下する可能性がある。ただし、被写体が見きれている状態のように、地面などが写っていない状態では拡大方法による影響は少ない。
【００３６】
一方、図５（２）の場合は、指定位置より左右上方に範囲を広げることで、判定領域内に被写体と近い視差範囲の領域が入りにくくなるため、視差ｄを含む被写体の視差範囲が明確に現れる。このように、判定領域の拡大方向を変えることで被写体近傍の視差成分を低下させ、より判定し易くすることができる。このように、指定した点から判定領域を拡大していき、判定領域内のヒストグラムによって指定被写体の奥行き範囲を推定することが可能となる。
【００３７】
次に、（２）指定した領域に対して判定領域を縮小していく方法について説明する。まず、ユーザが対象の被写体中心付近を選択する。次に、判定領域を画像全体に設定し、指定した点を中心に縮小しながら判定領域内の視差分布（頻度）を解析する。そして、領域内の視差値の分布（頻度）をそのつど解析していき、判定を行う。すなわち、指定点の視差値ｄを基準に判定領域内の視差値の頻度（ヒストグラム）によって判定を行う。
【００３８】
次に、初期設定時にはほぼ全体にわたっての視差値分布が表示されるが、判定領域を縮小するに従って判定値ｋ以上の連続する視差範囲がいくつかのグループ（まとまり）に分割する。さらに被写体中心へと縮小させると視差値ｄを含むひとまとまりの視差範囲近傍にｋを超える視差分布がなくなる。これは判定領域において被写体の占める割合が多くなり、周辺画素が少なくなる状態である。
【００３９】
次に、視差ｄを含む視差範囲近傍の視差値のレベルがｋ以下になった状態において、視差ｄを含むｋ以上の連続する視差範囲を被写体の視差の範囲とする。そして、視差ｄの含まれる視差領域の両端Ａ、Ｂを求め、合焦閾値ｄｆ、ｄｂをｄｆ≧Ａ、ｄｂ≦Ｂとなる範囲に設定する。ぼかし画像生成においては、設定された合焦閾値ｄｆ、ｄｂからぼかした画像を生成する。
【００４０】
次に、（３）ユーザが判定領域を指定する方法について説明する。判定領域の設定は前述した方法により自動で領域を設定していくのでも構わないが、ユーザが被写体を含む範囲を指定するのでもよい。その場合は、指定された範囲を判定領域とし、前述したように判定値ｋ以上の視差値ｄを含む連続する視差範囲で求める。ユーザが指定する場合は、ユーザに被写体の外形部分を大まかになぞらせるように指示するようにするとさらに最適な判定領域を得ることが可能になる。
【００４１】
次に、図２を参照して、図１に示す装置の動作を説明する。図２は、図１に示す装置の動作を示すフローチャートである。まず、ユーザは、入力部５を操作して、ぼかし画像を得るための元になる画像を選択する（ステップＳ１）。画像入力部６１は、記録部４から選択された画像を読み出すとともに、視差情報入力部６３は、画像入力部６１により読み出した画像に対応する視差情報を読み出す（ステップＳ２）。画像入力部６１は、読み出した画像を表示部７に表示する。ユーザは、入力部５を操作して画像が表示された表示部７の画面上で合焦領域の指定位置Ｓを指定する。被写体指定部６２は、合焦領域として指定された画像上の位置座標を特定する（ステップＳ３）。被写体指定部６２は、指定された位置座標情報を視差値分布解析部６４と視差値判定部に出力する。
【００４２】
次に、視差値分布解析部６４は、視差情報入力部６３により読み出した視差情報と被写体指定部６２から受け取った合焦中心を示す位置座標情報を基に判定領域の設定を行う。この時、自動で判定領域を設定する場合は、決められた初期サイズとし、ユーザが判定領域を指定する場合はユーザによって指定された領域を判定領域として設定する。このようにして設定した判定領域において視差値の頻度を示すヒストグラム（視差値分布）を求める（ステップＳ４）。そして、視差値分布解析部６４は、求めたヒストグラムを視差値判定部６５に出力する。
【００４３】
次に、視差値判定部６５は、被写体指定部６２から出力された画素の位置座標情報に基づき、視差値情報上の対応する画素位置の視差値を読み出し、この視差値を指定された位置の視差値とすることにより、合焦領域として指定された画像上の位置の視差値ｄを特定し、判定閾値ｋを基準として視差値の判定を行う。この時、判定値ｋを超える値でｄを含むひとまとまりの視差範囲とそれ以外の視差範囲に分離できない場合は再度視差値分布解析部６４に判定領域を変更する信号を出力する。判定閾値ｋによって被写体の視差範囲が特定できる場合は合焦領域を設定するステップへと進む（ステップＳ５）。
【００４４】
次に、視差値判定部６５は、指定された位置の視差値と視差値のヒストグラムとから合焦範囲を特定するための合焦閾値ｄｆ、ｄｂを設定し、この合焦閾値ｄｆ、ｄｂをぼかし画像生成部６６へ出力する（ステップＳ６）。ぼかし画像生成部６６は、合焦閾値ｄｆ、ｄｂに基づき、画像上において、合焦領域と、合焦領域以外の領域に分離する（ステップＳ７）。
【００４５】
次に、ぼかし画像生成部６６は、合焦領域以外の領域について、フィルタ処理によってぼかし処理を施す（ステップＳ８）。この時、ぼかし量は視差値に応じて変化させ、合焦領域から視差の差が大きいほどぼかし量が大きくなるように平滑化フィルタで処理を行う。そして、ぼかし画像生成部６６は、合焦領域と、ぼかし処理後の合焦領域以外の領域を合成し（ステップＳ９）、合成後の画像を表示部７に表示する（ステップＳ１０）。
【００４６】
以上説明したように、被写体が奥行き（厚み）を持つことを想定し、フォーカスを合わせたい被写体の視差値を基に合焦閾値（どの視差値からぼかし始めるか）を決定するようにする。対象の奥行き判定では視差情報から視差値の頻度分布（ヒストグラム）と指定されたポイントの視差値から被写体の奥行き両端の視差値を判定し、その判定値を基準に合焦閾値を設定し、閾値から視差値に応じたぼかし処理を行うことでユーザは任意の被写体の一点を選択するだけで選択した被写体の奥行きも考慮してフォーカスを合わせた画像を生成することができるようになる。
【００４７】
本実施形態では判定領域内全体の視差値に対するヒストグラムを用いて被写体の視差範囲を判定したが、画像のエッジ成分に対応する視差情報のみのヒストグラムを用いてもよい。この場合、より被写体視差範囲の境界部分を明確にすることができるが、視差分布が離散的な傾向をもつため、連続する視差の範囲を決めるパラメータΔｄを大きくする必要がある。また、この判定領域内全体の視差値に対するヒストグラムとエッジ成分の視差値に対するヒストグラムの２つを組み合わせても構わない。
【００４８】
また、動画においてはフレームごとに同様な処理を実施すればよいが、初めに被写体を指定し、後のフレームに関しては指定した被写体を自動で追跡することで、フレームごとに被写体を指定する手間を省くことで効率よく目的のぼかし画像を得ることができる。例えば、被写体指定部において、顔検出などを用いて、初めに選択した人物を追跡して初回以降は自動的に被写体の座標位置を設定することで、人物の位置が変わってもその人物の視差範囲以外を常にぼかす処理を行い、常に動く指定人物にフォーカスを合わせたかのような映像を得ることが可能となる。また、追跡は顔認識でなくとも、例えば動きベクトルを算出し、初期に指定した被写体の特徴点の動き量に合わせて座標を変化させるものでもよい。このようにすることで、動画でのぼかし画像生成やプレビュー時でのぼかし画像表示において容易に動く被写体に合わせたぼかし表現が可能となる。
【００４９】
画像から合焦領域とする被写体を抽出してその領域の視差値から最大最小を求める場合には正確な被写体抽出が必要となるが、正確に被写体を認識することは処理が複雑になる。また、撮影された画像から視差情報を得る場合、視差情報にはエラーがあることも想定されるため、単純に被写体領域の視差値の最大最少で判定すると間違う場合がある。本発明のように視差値のヒストグラムを用いることによって正確な被写体抽出をすることなく奥行き推定することができ、また、視差の頻度によって視差範囲を判定するためにエラーの影響を少なくすることで精度を向上することができる。また、２つ以上の被写体を選定した場合は、それぞれの被写体の視差範囲を含んだ範囲での最大最小の視差値を用いて閾値を設定すればよい。このように各被写体の厚みも考慮して境界値を設定することで被写体の中間に処理の境界がこないようにしてユーザの扱いやすさと画質の向上を行うことができる。
【００５０】
なお、図１における画像処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像のぼかし処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５２】
得られた画像に対して、画像処理によってぼかし処理を施すことが不可欠な用途に適用できる。
【符号の説明】
【００５３】
１、２・・・撮像部、３・・・視差情報生成部、４・・・記録部、５・・・入力部、６・・・画像処理部、６１・・・画像入力部、６２・・・被写体指定部、６３・・・視差情報入力部、６４・・・視差値分布解析部、６５・・・視差値判定部、６６・・・ぼかし画像生成部、７・・・表示部
【特許請求の範囲】
【請求項１】
ぼかし処理すべき元になる画像を入力する画像入力部と、
前記画像に対応する視差情報を入力する視差情報入力部と、
前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部と、
前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析部と、
前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定部と、
前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記視差値分布解析部は、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定部は、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置における画像処理方法であって、
前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、
前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、
前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップと
を有することを特徴とする画像処理方法。
【請求項６】
前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする請求項５または６に記載の画像処理方法。
【請求項８】
前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする請求項５から７のいずれか１項に記載の画像処理方法。
【請求項９】
ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、
前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、
前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、
前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップと
を前記コンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１０】
前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする請求項９に記載の画像処理プログラム。
【請求項１１】
前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする請求項９または１０に記載の画像処理プログラム。
【請求項１２】
前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする請求項９から１１のいずれか１項に記載の画像処理プログラム。
【請求項１】
ぼかし処理すべき元になる画像を入力する画像入力部と、
前記画像に対応する視差情報を入力する視差情報入力部と、
前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部と、
前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析部と、
前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定部と、
前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記視差値分布解析部は、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定部は、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置における画像処理方法であって、
前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、
前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、
前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップと
を有することを特徴とする画像処理方法。
【請求項６】
前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする請求項５または６に記載の画像処理方法。
【請求項８】
前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする請求項５から７のいずれか１項に記載の画像処理方法。
【請求項９】
ぼかし処理すべき元になる画像を入力する画像入力部と、前記画像に対応する視差情報を入力する視差情報入力部と、前記画像上の合焦領域となる被写体の位置座標を特定する被写体指定部とを備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、
前記視差情報を参照して、前記被写体指定部により得られた領域を含む判定領域の視差値分布情報を求める視差値分布解析ステップと、
前記視差値分布情報と前記被写体指定部から得られた領域に対応する視差値から合焦閾値を設定する視差値判定ステップと、
前記視差情報の視差値が前記合焦閾値の範囲内でない画素を特定し、該画素で構成する合焦領域以外の領域に対してぼかし処理を施すぼかし画像生成ステップと
を前記コンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１０】
前記視差値分布解析ステップは、前記被写体指定部により得られた領域を基準に前記視差値分布情報を求める前記判定領域を拡大または縮小させて変化させることにより前記判定領域の視差値分布情報を求めることを特徴とする請求項９に記載の画像処理プログラム。
【請求項１１】
前記被写体指定部により複数の合焦領域を指定された場合、前記視差値判定ステップは、指定されたそれぞれの合焦領域に対応する視差値から前記合焦閾値を設定することを特徴とする請求項９または１０に記載の画像処理プログラム。
【請求項１２】
前記被写体指定部は、被写体の動き量に合わせて被写体の位置座標を特定することを特徴とする請求項９から１１のいずれか１項に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１２４７１２（Ｐ２０１２−１２４７１２Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７３７５５（Ｐ２０１０−２７３７５５）
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]