撮像装置
【課題】２眼カメラにより検出した距離情報を利用して特定被写体の背景をぼかす機能において、２眼カメラの画角差が大きい、または光軸ずれが大きいと共通領域が狭くなり撮影画角が狭くなってしまう。
【解決手段】２眼カメラ画像の共通領域外の距離情報を共通領域の距離情報から推定し、推定できない画素の距離情報値に関しては、背景ぼかし画像の指定領域の距離情報値に比べて大きい値とすることにより、非共通領域を含む広画角の画像の背景ぼかし画像を生成することができる。
【解決手段】２眼カメラ画像の共通領域外の距離情報を共通領域の距離情報から推定し、推定できない画素の距離情報値に関しては、背景ぼかし画像の指定領域の距離情報値に比べて大きい値とすることにより、非共通領域を含む広画角の画像の背景ぼかし画像を生成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２眼カメラから距離情報を取得する機能や、指定した被写体以外の背景をぼかす機能を有する撮像装置関するものである。
【背景技術】
【０００２】
人間の目の間隔程度に離れた光軸間隔を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影することで３Ｄ画像の撮影が可能である。
【０００３】
図５（１）に従来の３Dカメラがついた携帯端末の一例を示す。撮像装置の筐体１に第一カメラ２と第二カメラ３が離れて配置されている。筐体１裏面には、３Ｄ撮影画像を表示するための表示素子５が配置されている。表示素子は例えば、視差バリア方式の裸眼３Ｄ液晶などを用いて３Ｄ表示が可能である。
【０００４】
また、３Ｄカメラの左右画像の視差情報から被写体の距離情報を検出する方法として、例えば特許文献１に記載されている。これは、第一カメラ画像と第二カメラ画像の対応する画素の水平座標の差、すなわち、視差情報から各画素の距離情報（奥行き画像）を得る方法である。
【０００５】
特許文献１に記載されているように、第一カメラと第二カメラの画角が異なる場合には、狭い方の画角の画像に関する距離情報のみが得られる。
【０００６】
さらに、被写体の距離情報を用いて、撮影画像の指定された一部の被写体を除いた部分の背景等をぼかすことで、カメラの焦点深度を小さくしたときと同様の撮影画像が得られ、レンズの交換無しでも被写体を強調した写真撮影ができる。（特許文献２と特許文献３参照）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−１３４１８７号公報
【特許文献２】特開平０６−２３１２７３号公報
【特許文献３】特開平０９−１８１９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の第一カメラと第二カメラからなる二眼カメラによる３Ｄ画像から距離情報を抽出し、その距離情報をもとにユーザが指定した被写体の背景をぼかす機能において、上記２つのカメラの画角が異なる場合や、２つのカメラの光軸がずれている場合には、２つのカメラの画角の共通領域が小さくなり、単眼の２Ｄ画像に比べて画角の狭い背景ぼかし画像となってしまうという課題があった。
【０００９】
本発明は、上述の問題点を解決するためになされたもので、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いて、背景ぼかし画像が得られる撮像装置を実現することを目的とする。
【課題を解決するための手段】
【００１０】
次に、上記の課題を解決するための手段について述べる。
【００１１】
本発明の撮像装置は、第一カメラと第二カメラと、前記第一カメラによる第一カメラ画像と前記第二カメラによる第二カメラ画像の視差情報から前記第一カメラ画像の各画素の距離情報値を推定する距離情報推定手段と、前記第一カメラ画像の指定部分の第一距離情報値よりも小さい、または前記第一距離情報値近傍の距離情報値を持つ指定領域以外の領域をぼかすぼかし手段を有し、前記第一カメラ画像と前記第二カメラ画像の共通領域の共通領域画素の第二距離情報値を、前記視差情報から推定し、前記第一カメラの前記共通領域の外側の非共通領域の非共通領域画素の第三距離情報値を、前記共通領域の前記視差情報から推定し、前記ぼかし手段は、前記非共通領域画素の中で前記視差情報から推定できない非推定領域の非推定領域画素が、前記指定部分でないときには、前記非推定領域をぼかす。
【００１２】
この構成により、２つのカメラ画像の共通領域以外の距離情報を推定することで、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いた背景ぼかし画像が得られる。
【００１３】
また、本発明の撮像装置は、前記非推定領域の第四距離情報値が、前記第一距離情報値よりも大きい距離情報値とする。
【００１４】
この構成により、２つのカメラの共通領域外の距離推定ができなかった部分の距離情報を推定でき、この距離情報から広画角のカメラ画像を用いた背景ぼかし画像が得られる。
【００１５】
また、本発明の撮像装置は、前記非共通領域内の第一画素の近傍に前記共通領域内の参照領域を設定し、前記参照領域内に、色及び輝度が前記第一画素と所定値以下の差である、第二画素が存在するときには、前記第一画素の距離情報値を前記第二画素の距離情報値と等しい値とし、前記第二画素が存在しないときには、前記第一画素の距離情報値を前記第四距離情報値とする。
【００１６】
この構成により、２つのカメラの共通領域外でも正確な距離推定ができる画素が増え、背景ぼかし画像において、上記共通領域と非共通領域の境界線が目立たなくなる。
【発明の効果】
【００１７】
本発明によれば、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いた背景ぼかし機能が実現できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１の撮像装置の概略構造図とブロック構成図
【図２】本発明の実施の形態１の背景ぼかし画像生成方法を示す図
【図３】本発明の実施の形態１の距離推定方法を示す図
【図４】本発明の実施の形態１の背景ぼかし画像生成方法のフローチャート
【図５】従来の背景ぼかし画像の生成方法を示す図
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２０】
（実施の形態１）
図１は、本実施の形態の撮像装置の概略構造図とブロック構成図である。
【００２１】
以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラなど、小型カメラを有する電子機器に装着した場合も同様である。
【００２２】
図１（１）に示すように、携帯端末装置の長方形の筐体１の表示素子５の裏面に第一カメラ２と第二カメラ３からなる２眼の３Ｄカメラ４が配置されている。ここでは、左カメラを第一カメラ、右カメラを第二カメラと仮定するが、逆であっても構わない。
【００２３】
図１（３）は携帯端末装置のブロック構成図を示す。第一カメラ２と第二カメラ３はカメラ制御手段６で制御され、撮影画像を記憶手段７に保存し、表示素子５を用いて撮像画像を表示する。
【００２４】
表示素子５は、例えばバリア液晶を有する裸眼３D液晶であるが、３D表示できない従来の液晶素子であっても構わない。
【００２５】
距離情報推定手段８は、第一カメラ２と第二カメラ３の画像から被写体の視差情報から距離情報を検出して距離情報マップを生成する機能を有する。ここで、距離情報マップとは、撮影画像の各画素に対して、カメラと被写体間距離または、被写体間距離情報を含む一次元量が定義されたマップを指す。
【００２６】
ぼかし手段９は、例えばユーザが指定した被写体以外の背景をぼかす機能を有する。ユーザが指定した指定部分の距離情報値に等しい、または近傍の画素を指定領域として抽出し、その他の距離情報値を持つ画素をぼかす。これにより、カメラの焦点深度を小さくしたときと同様の撮影画像が得られ、レンズの交換無しでも被写体を強調した写真撮影ができる。
【００２７】
なお、指定部分の距離情報値よりも小さい距離情報値をもつ画素をぼかさない指定領域とする選択方法を用いても構わない。
【００２８】
図１（２）は、第一カメラ２の画角と第二カメラ３の画角を示す。第一カメラの画角が第二カメラの画角よりも広いと仮定するが、第二カメラの画角が第一カメラの画角よりも広いと仮定しても構わない。
【００２９】
図５（２）は従来の背景ぼかし画像の例を示す。第一カメラ画像１０と第二カメラ画像１１から、共通領域の画素の視差から距離情報を抽出し、距離情報に基づいて従来の背景ぼかし画像２３を得る。従来の背景ぼかし画像２３は、共通領域において指定部分１８の人物と同じ距離情報をもつ画素を除き、背景をぼかした画像である。
【００３０】
第二カメラの画角が狭い場合には、背景ぼかし画像の画角が第一カメラ画像に比べて非常に狭くなるという課題があった。
【００３１】
上記は第一カメラと第二カメラの画角が異なる場合の課題であるが、２カメラの画角が同じときでも、２カメラの光軸方向がカメラ実装ずれ等の影響でずれていると、２カメラの共通画角が狭くなるという課題が発生する。
【００３２】
本発明の実施の形態では、広画角の第一カメラ画像の画角のままで、背景ぼかし画像を生成する方法について実現方法を述べる。
【００３３】
なお、ここでは、広画角の第一カメラ画像の背景ぼかし画像を想定するが、共通領域より広い画角の画像であれば、第一カメラ画像の一部や、第二カメラの画像であっても構わない。
【００３４】
図２に本実施の形態１の背景ぼかし画像の生成方法を示す。
【００３５】
図２（１）に示すように、第一カメラ画像１０と第二カメラ画像１１から、距離情報推定手段８を用いて、共通領域部分の視差情報から距離情報マップ１２を得る。
【００３６】
第一カメラの画角が第二カメラの画角よりも広いため、得られる距離情報マップ１２の画角は第一カメラ画像よりも狭い。
【００３７】
距離情報マップは、被写体距離を画像の輝度値に置き換えて、白黒画像で表現したものであり、近くにある画素ほど白く、遠くにある画素ほど黒い。
【００３８】
図２（２）に示すように、第一カメラ画角１３は、距離情報マップ１２の画角を共通領域１４と、その外側の非共通領域１５からなる。非共通領域１５の一部の画素の距離情報値を共通領域１４の視差情報から推定し、これにより、図２（２）に示すように、推定できた距離情報マップの範囲が広がる。非共通領域１５の一部の画素の距離情報値の推定方法は、図３で詳しく述べる。
【００３９】
次に、図２（３）に示すように、非共通領域１５で距離情報値の推定が出来なかった画素、すなわち、非推定領域画素２２については、背景ぼかし画像生成において、ぼかさない指定部分１８よりも大きい距離情報値、すなわち、指定部分１８より遠くを意味する距離情報値とする。この距離情報値は無限遠方の値とすることもできる。なお、無限遠方の値でなくても、指定部分１８より大きければ、ぼかし処理でぼかすことができる。
【００４０】
なお、ぼかさない指定部分１８は例えばユーザが設定するものとする。
【００４１】
これにより、第一カメラの広画角での距離情報マップである第一カメラ距離情報マップ１６が完成する。
【００４２】
次に、図２（４）に示すように、第一カメラ距離情報マップ１６を用いて、指定部分１８の距離とほぼ等しい位置にある被写体（図２（４）においては「人物」）を除いて、ぼかし処理を施した第一カメラ背景ぼかし画像１７を得る。
【００４３】
次に、共通領域の視差情報、すわなち、距離情報値から非共通領域の距離情報を推定する方法について、図３を用いて詳しく述べる。
【００４４】
図３（１）に示すように、非共通領域１５の非共通領域画素１９に対して、色及び輝度が近い参照画素２０を共通領域内から探し、参照画素が見つかったときには、参照画素２０の距離情報値を非共通領域画素１９の距離情報値とする。
【００４５】
例えば、非共通領域画素１９の色が所定値以下の差で参照画素２０のそれと一致し、かつ、非共通領域画素１９の輝度が所定値以下の差で参照画素２０のそれと一致したときに、参照画素２０の距離情報値を非共通領域画素１９の距離情報値とする。
【００４６】
参照画素の探索範囲は、例えば図３（３）に示すように、共通領域の周囲に近い部分に限定する。
【００４７】
非共通領域画素１９から、共通領域と非共通領域の境界で最も近い点を点Ｐ、非共通領域画素１９と点Ｐとの距離をＡ１とすると、図３（３）に示すように点Ｐから左右Ａ１の長さと上下Ａ２の長さからなる斜線部分を探索のための参照領域２１とする。
【００４８】
探索範囲を共通領域と非共通領域の境界部分に限定することで、前記境界線で分離された同一被写体に関して、共通領域と非共通領域の対応関係が推定しやすくなるが、限定しなくても構わない。
【００４９】
なお、非共通領域画素１９に対して、色及び輝度が近い参照画素が複数ある場合には、例えば、距離情報値を複数の参照画素の平均とするか、または、境界線に最も近い参照画素の距離情報値を採用すればよい。
【００５０】
図３（２）に、非共通領域の一部の画素の距離情報値を推定したあとの距離情報マップを示す。
【００５１】
図４には、背景ぼかし画像生成方法のフローチャートを示す。
【００５２】
二眼カメラの撮影（Ｓ１）を行ったのち、二眼カメラの視差情報から共通領域の距離情報推定（Ｓ２）を行い、共通領域の第二距離情報値とする。
【００５３】
次に、背景ぼかし画像作成のために、ユーザがぼかさない被写体（指定部分）を指定（Ｓ３）する。指定部分の距離情報値を第一距離情報値とする。
【００５４】
次に、広画角の第一カメラの非共通領域の画素を一つ選択し（Ｓ４）、共通領域内に色及び輝度が類似している参照画素が存在するかどうか探索（Ｓ５）する。参照画素が存在するときには、上記非共通領域画素の距離情報値（第三距離情報値とする）を参照画素と同じになるように決定（Ｓ６）し、参照画素が存在しないときには、その画素を非推定領域画素とし、非推定領域画素の距離情報値を上記の指定部分の第一距離情報値よりも大きい値に設定する（Ｓ７）。
【００５５】
上記のＳ６、Ｓ７の処理を全ての非共通領域の画素に対して行い（Ｓ８）、終了したのちに距離情報値を用いて、指定部分以外をぼかす背景ぼかし画像を生成する（Ｓ９）。
【００５６】
以上により、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いた背景ぼかし機能が実現できる。
【産業上の利用可能性】
【００５７】
本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。
【符号の説明】
【００５８】
１ 筐体
２ 第一カメラ
３ 第二カメラ
４ ３Ｄカメラ
５ 表示素子
６ カメラ制御手段
７ 記憶手段
８ 距離情報推定手段
９ ぼかし手段
１０ 第一カメラ画像
１１ 第二カメラ画像
１２ 距離情報マップ
１３ 第一カメラ画角
１４ 共通領域
１５ 非共通領域
１６ 第一カメラ距離情報マップ
１７ 第一カメラ背景ぼかし画像
１８ 指定部分
１９ 非共通領域画素
２０ 参照画素
２１ 参照領域
２２ 非推定領域画素
２３ 従来の背景ぼかし画像
【技術分野】
【０００１】
本発明は、２眼カメラから距離情報を取得する機能や、指定した被写体以外の背景をぼかす機能を有する撮像装置関するものである。
【背景技術】
【０００２】
人間の目の間隔程度に離れた光軸間隔を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影することで３Ｄ画像の撮影が可能である。
【０００３】
図５（１）に従来の３Dカメラがついた携帯端末の一例を示す。撮像装置の筐体１に第一カメラ２と第二カメラ３が離れて配置されている。筐体１裏面には、３Ｄ撮影画像を表示するための表示素子５が配置されている。表示素子は例えば、視差バリア方式の裸眼３Ｄ液晶などを用いて３Ｄ表示が可能である。
【０００４】
また、３Ｄカメラの左右画像の視差情報から被写体の距離情報を検出する方法として、例えば特許文献１に記載されている。これは、第一カメラ画像と第二カメラ画像の対応する画素の水平座標の差、すなわち、視差情報から各画素の距離情報（奥行き画像）を得る方法である。
【０００５】
特許文献１に記載されているように、第一カメラと第二カメラの画角が異なる場合には、狭い方の画角の画像に関する距離情報のみが得られる。
【０００６】
さらに、被写体の距離情報を用いて、撮影画像の指定された一部の被写体を除いた部分の背景等をぼかすことで、カメラの焦点深度を小さくしたときと同様の撮影画像が得られ、レンズの交換無しでも被写体を強調した写真撮影ができる。（特許文献２と特許文献３参照）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−１３４１８７号公報
【特許文献２】特開平０６−２３１２７３号公報
【特許文献３】特開平０９−１８１９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の第一カメラと第二カメラからなる二眼カメラによる３Ｄ画像から距離情報を抽出し、その距離情報をもとにユーザが指定した被写体の背景をぼかす機能において、上記２つのカメラの画角が異なる場合や、２つのカメラの光軸がずれている場合には、２つのカメラの画角の共通領域が小さくなり、単眼の２Ｄ画像に比べて画角の狭い背景ぼかし画像となってしまうという課題があった。
【０００９】
本発明は、上述の問題点を解決するためになされたもので、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いて、背景ぼかし画像が得られる撮像装置を実現することを目的とする。
【課題を解決するための手段】
【００１０】
次に、上記の課題を解決するための手段について述べる。
【００１１】
本発明の撮像装置は、第一カメラと第二カメラと、前記第一カメラによる第一カメラ画像と前記第二カメラによる第二カメラ画像の視差情報から前記第一カメラ画像の各画素の距離情報値を推定する距離情報推定手段と、前記第一カメラ画像の指定部分の第一距離情報値よりも小さい、または前記第一距離情報値近傍の距離情報値を持つ指定領域以外の領域をぼかすぼかし手段を有し、前記第一カメラ画像と前記第二カメラ画像の共通領域の共通領域画素の第二距離情報値を、前記視差情報から推定し、前記第一カメラの前記共通領域の外側の非共通領域の非共通領域画素の第三距離情報値を、前記共通領域の前記視差情報から推定し、前記ぼかし手段は、前記非共通領域画素の中で前記視差情報から推定できない非推定領域の非推定領域画素が、前記指定部分でないときには、前記非推定領域をぼかす。
【００１２】
この構成により、２つのカメラ画像の共通領域以外の距離情報を推定することで、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いた背景ぼかし画像が得られる。
【００１３】
また、本発明の撮像装置は、前記非推定領域の第四距離情報値が、前記第一距離情報値よりも大きい距離情報値とする。
【００１４】
この構成により、２つのカメラの共通領域外の距離推定ができなかった部分の距離情報を推定でき、この距離情報から広画角のカメラ画像を用いた背景ぼかし画像が得られる。
【００１５】
また、本発明の撮像装置は、前記非共通領域内の第一画素の近傍に前記共通領域内の参照領域を設定し、前記参照領域内に、色及び輝度が前記第一画素と所定値以下の差である、第二画素が存在するときには、前記第一画素の距離情報値を前記第二画素の距離情報値と等しい値とし、前記第二画素が存在しないときには、前記第一画素の距離情報値を前記第四距離情報値とする。
【００１６】
この構成により、２つのカメラの共通領域外でも正確な距離推定ができる画素が増え、背景ぼかし画像において、上記共通領域と非共通領域の境界線が目立たなくなる。
【発明の効果】
【００１７】
本発明によれば、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いた背景ぼかし機能が実現できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１の撮像装置の概略構造図とブロック構成図
【図２】本発明の実施の形態１の背景ぼかし画像生成方法を示す図
【図３】本発明の実施の形態１の距離推定方法を示す図
【図４】本発明の実施の形態１の背景ぼかし画像生成方法のフローチャート
【図５】従来の背景ぼかし画像の生成方法を示す図
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２０】
（実施の形態１）
図１は、本実施の形態の撮像装置の概略構造図とブロック構成図である。
【００２１】
以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラなど、小型カメラを有する電子機器に装着した場合も同様である。
【００２２】
図１（１）に示すように、携帯端末装置の長方形の筐体１の表示素子５の裏面に第一カメラ２と第二カメラ３からなる２眼の３Ｄカメラ４が配置されている。ここでは、左カメラを第一カメラ、右カメラを第二カメラと仮定するが、逆であっても構わない。
【００２３】
図１（３）は携帯端末装置のブロック構成図を示す。第一カメラ２と第二カメラ３はカメラ制御手段６で制御され、撮影画像を記憶手段７に保存し、表示素子５を用いて撮像画像を表示する。
【００２４】
表示素子５は、例えばバリア液晶を有する裸眼３D液晶であるが、３D表示できない従来の液晶素子であっても構わない。
【００２５】
距離情報推定手段８は、第一カメラ２と第二カメラ３の画像から被写体の視差情報から距離情報を検出して距離情報マップを生成する機能を有する。ここで、距離情報マップとは、撮影画像の各画素に対して、カメラと被写体間距離または、被写体間距離情報を含む一次元量が定義されたマップを指す。
【００２６】
ぼかし手段９は、例えばユーザが指定した被写体以外の背景をぼかす機能を有する。ユーザが指定した指定部分の距離情報値に等しい、または近傍の画素を指定領域として抽出し、その他の距離情報値を持つ画素をぼかす。これにより、カメラの焦点深度を小さくしたときと同様の撮影画像が得られ、レンズの交換無しでも被写体を強調した写真撮影ができる。
【００２７】
なお、指定部分の距離情報値よりも小さい距離情報値をもつ画素をぼかさない指定領域とする選択方法を用いても構わない。
【００２８】
図１（２）は、第一カメラ２の画角と第二カメラ３の画角を示す。第一カメラの画角が第二カメラの画角よりも広いと仮定するが、第二カメラの画角が第一カメラの画角よりも広いと仮定しても構わない。
【００２９】
図５（２）は従来の背景ぼかし画像の例を示す。第一カメラ画像１０と第二カメラ画像１１から、共通領域の画素の視差から距離情報を抽出し、距離情報に基づいて従来の背景ぼかし画像２３を得る。従来の背景ぼかし画像２３は、共通領域において指定部分１８の人物と同じ距離情報をもつ画素を除き、背景をぼかした画像である。
【００３０】
第二カメラの画角が狭い場合には、背景ぼかし画像の画角が第一カメラ画像に比べて非常に狭くなるという課題があった。
【００３１】
上記は第一カメラと第二カメラの画角が異なる場合の課題であるが、２カメラの画角が同じときでも、２カメラの光軸方向がカメラ実装ずれ等の影響でずれていると、２カメラの共通画角が狭くなるという課題が発生する。
【００３２】
本発明の実施の形態では、広画角の第一カメラ画像の画角のままで、背景ぼかし画像を生成する方法について実現方法を述べる。
【００３３】
なお、ここでは、広画角の第一カメラ画像の背景ぼかし画像を想定するが、共通領域より広い画角の画像であれば、第一カメラ画像の一部や、第二カメラの画像であっても構わない。
【００３４】
図２に本実施の形態１の背景ぼかし画像の生成方法を示す。
【００３５】
図２（１）に示すように、第一カメラ画像１０と第二カメラ画像１１から、距離情報推定手段８を用いて、共通領域部分の視差情報から距離情報マップ１２を得る。
【００３６】
第一カメラの画角が第二カメラの画角よりも広いため、得られる距離情報マップ１２の画角は第一カメラ画像よりも狭い。
【００３７】
距離情報マップは、被写体距離を画像の輝度値に置き換えて、白黒画像で表現したものであり、近くにある画素ほど白く、遠くにある画素ほど黒い。
【００３８】
図２（２）に示すように、第一カメラ画角１３は、距離情報マップ１２の画角を共通領域１４と、その外側の非共通領域１５からなる。非共通領域１５の一部の画素の距離情報値を共通領域１４の視差情報から推定し、これにより、図２（２）に示すように、推定できた距離情報マップの範囲が広がる。非共通領域１５の一部の画素の距離情報値の推定方法は、図３で詳しく述べる。
【００３９】
次に、図２（３）に示すように、非共通領域１５で距離情報値の推定が出来なかった画素、すなわち、非推定領域画素２２については、背景ぼかし画像生成において、ぼかさない指定部分１８よりも大きい距離情報値、すなわち、指定部分１８より遠くを意味する距離情報値とする。この距離情報値は無限遠方の値とすることもできる。なお、無限遠方の値でなくても、指定部分１８より大きければ、ぼかし処理でぼかすことができる。
【００４０】
なお、ぼかさない指定部分１８は例えばユーザが設定するものとする。
【００４１】
これにより、第一カメラの広画角での距離情報マップである第一カメラ距離情報マップ１６が完成する。
【００４２】
次に、図２（４）に示すように、第一カメラ距離情報マップ１６を用いて、指定部分１８の距離とほぼ等しい位置にある被写体（図２（４）においては「人物」）を除いて、ぼかし処理を施した第一カメラ背景ぼかし画像１７を得る。
【００４３】
次に、共通領域の視差情報、すわなち、距離情報値から非共通領域の距離情報を推定する方法について、図３を用いて詳しく述べる。
【００４４】
図３（１）に示すように、非共通領域１５の非共通領域画素１９に対して、色及び輝度が近い参照画素２０を共通領域内から探し、参照画素が見つかったときには、参照画素２０の距離情報値を非共通領域画素１９の距離情報値とする。
【００４５】
例えば、非共通領域画素１９の色が所定値以下の差で参照画素２０のそれと一致し、かつ、非共通領域画素１９の輝度が所定値以下の差で参照画素２０のそれと一致したときに、参照画素２０の距離情報値を非共通領域画素１９の距離情報値とする。
【００４６】
参照画素の探索範囲は、例えば図３（３）に示すように、共通領域の周囲に近い部分に限定する。
【００４７】
非共通領域画素１９から、共通領域と非共通領域の境界で最も近い点を点Ｐ、非共通領域画素１９と点Ｐとの距離をＡ１とすると、図３（３）に示すように点Ｐから左右Ａ１の長さと上下Ａ２の長さからなる斜線部分を探索のための参照領域２１とする。
【００４８】
探索範囲を共通領域と非共通領域の境界部分に限定することで、前記境界線で分離された同一被写体に関して、共通領域と非共通領域の対応関係が推定しやすくなるが、限定しなくても構わない。
【００４９】
なお、非共通領域画素１９に対して、色及び輝度が近い参照画素が複数ある場合には、例えば、距離情報値を複数の参照画素の平均とするか、または、境界線に最も近い参照画素の距離情報値を採用すればよい。
【００５０】
図３（２）に、非共通領域の一部の画素の距離情報値を推定したあとの距離情報マップを示す。
【００５１】
図４には、背景ぼかし画像生成方法のフローチャートを示す。
【００５２】
二眼カメラの撮影（Ｓ１）を行ったのち、二眼カメラの視差情報から共通領域の距離情報推定（Ｓ２）を行い、共通領域の第二距離情報値とする。
【００５３】
次に、背景ぼかし画像作成のために、ユーザがぼかさない被写体（指定部分）を指定（Ｓ３）する。指定部分の距離情報値を第一距離情報値とする。
【００５４】
次に、広画角の第一カメラの非共通領域の画素を一つ選択し（Ｓ４）、共通領域内に色及び輝度が類似している参照画素が存在するかどうか探索（Ｓ５）する。参照画素が存在するときには、上記非共通領域画素の距離情報値（第三距離情報値とする）を参照画素と同じになるように決定（Ｓ６）し、参照画素が存在しないときには、その画素を非推定領域画素とし、非推定領域画素の距離情報値を上記の指定部分の第一距離情報値よりも大きい値に設定する（Ｓ７）。
【００５５】
上記のＳ６、Ｓ７の処理を全ての非共通領域の画素に対して行い（Ｓ８）、終了したのちに距離情報値を用いて、指定部分以外をぼかす背景ぼかし画像を生成する（Ｓ９）。
【００５６】
以上により、２つのカメラの画角が大きく異なる場合や、２つのカメラの光軸がずれている場合においても、２つのカメラのうち広画角のカメラ画像を用いた背景ぼかし機能が実現できる。
【産業上の利用可能性】
【００５７】
本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。
【符号の説明】
【００５８】
１ 筐体
２ 第一カメラ
３ 第二カメラ
４ ３Ｄカメラ
５ 表示素子
６ カメラ制御手段
７ 記憶手段
８ 距離情報推定手段
９ ぼかし手段
１０ 第一カメラ画像
１１ 第二カメラ画像
１２ 距離情報マップ
１３ 第一カメラ画角
１４ 共通領域
１５ 非共通領域
１６ 第一カメラ距離情報マップ
１７ 第一カメラ背景ぼかし画像
１８ 指定部分
１９ 非共通領域画素
２０ 参照画素
２１ 参照領域
２２ 非推定領域画素
２３ 従来の背景ぼかし画像
【特許請求の範囲】
【請求項１】
第一カメラと第二カメラと、前記第一カメラによる第一カメラ画像と前記第二カメラによる第二カメラ画像の視差情報から前記第一カメラ画像の各画素の距離情報値を推定する距離情報推定手段と、
前記第一カメラ画像の指定部分の第一距離情報値よりも小さい、または前記第一距離情報値の近傍の距離情報値を持つ指定領域以外の領域をぼかすぼかし手段を有し、
前記第一カメラ画像と前記第二カメラ画像の共通領域の共通領域画素の第二距離情報値を、前記視差情報から推定し、
前記第一カメラの前記共通領域の外側の非共通領域の非共通領域画素の第三距離情報値を、前記共通領域の前記視差情報から推定し、
前記ぼかし手段は、前記非共通領域画素の中で前記視差情報から推定できない非推定領域の非推定領域画素が、前記指定部分でないときには、前記非推定領域をぼかす撮像装置。
【請求項２】
前記非推定領域画素の第四距離情報値を、前記第一距離情報値よりも大きい距離情報値とする請求項１に記載の撮像装置。
【請求項３】
前記第四距離情報値を無限遠方の距離情報値とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記非共通領域内の第一画素の近傍に前記共通領域内の参照領域を設定し、前記参照領域内に、色及び輝度が前記第一画素と所定値以下の差である、第二画素が存在するときには、前記第一画素の距離情報値を前記第二画素の距離情報値と等しい値とし、前記第二画素が存在しないときには、前記第一画素の距離情報値を前記第四距離情報値とする前記請求項１から請求項３のいずれかに記載の撮像装置。
【請求項１】
第一カメラと第二カメラと、前記第一カメラによる第一カメラ画像と前記第二カメラによる第二カメラ画像の視差情報から前記第一カメラ画像の各画素の距離情報値を推定する距離情報推定手段と、
前記第一カメラ画像の指定部分の第一距離情報値よりも小さい、または前記第一距離情報値の近傍の距離情報値を持つ指定領域以外の領域をぼかすぼかし手段を有し、
前記第一カメラ画像と前記第二カメラ画像の共通領域の共通領域画素の第二距離情報値を、前記視差情報から推定し、
前記第一カメラの前記共通領域の外側の非共通領域の非共通領域画素の第三距離情報値を、前記共通領域の前記視差情報から推定し、
前記ぼかし手段は、前記非共通領域画素の中で前記視差情報から推定できない非推定領域の非推定領域画素が、前記指定部分でないときには、前記非推定領域をぼかす撮像装置。
【請求項２】
前記非推定領域画素の第四距離情報値を、前記第一距離情報値よりも大きい距離情報値とする請求項１に記載の撮像装置。
【請求項３】
前記第四距離情報値を無限遠方の距離情報値とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記非共通領域内の第一画素の近傍に前記共通領域内の参照領域を設定し、前記参照領域内に、色及び輝度が前記第一画素と所定値以下の差である、第二画素が存在するときには、前記第一画素の距離情報値を前記第二画素の距離情報値と等しい値とし、前記第二画素が存在しないときには、前記第一画素の距離情報値を前記第四距離情報値とする前記請求項１から請求項３のいずれかに記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−８５０１８（Ｐ２０１３−８５０１８Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２１６２２（Ｐ２０１１−２２１６２２）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]