パノラマ撮像装置
【課題】２眼カメラにより撮影した複数の３Ｄ画像から、水平及び垂直方向にも広視野な３Ｄパノラマ撮影を生成する。
【解決手段】３Ｄカメラ（２眼カメラ）により視野を変えて複数の３Ｄ撮影を行い、同一視野の左右画像から距離情報マップを算出する。次に、異なる視野の左（または右）画像の対応する特徴点が一致するように結合した結合画像を生成し、前記結合方法と同じ位置関係で結合した距離情報結合マップを生成することで３Ｄパノラマ撮影を実現する。
【解決手段】３Ｄカメラ（２眼カメラ）により視野を変えて複数の３Ｄ撮影を行い、同一視野の左右画像から距離情報マップを算出する。次に、異なる視野の左（または右）画像の対応する特徴点が一致するように結合した結合画像を生成し、前記結合方法と同じ位置関係で結合した距離情報結合マップを生成することで３Ｄパノラマ撮影を実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視野の異なる複数の撮影画像を結合することによってパノラマ画像を得るパノラマ撮像装置に関するものである。
【背景技術】
【０００２】
人間の目の間隔程度離れた光軸間隔を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影することで３Ｄ画像の撮影が可能である。
【０００３】
図２（１）に従来の３Ｄカメラがついた携帯端末の一例を示す。撮像装置の筐体１に第一カメラ２と第二カメラ３が離れて配置されている。筐体１裏面には、３Ｄ撮影画像を表示するための表示素子５が配置されている。表示素子は例えば、視差バリア方式の裸眼３Ｄ液晶などを用いて３Ｄ表示が可能である。
【０００４】
カメラの画角よりも広い画角の３Ｄのパノラマ画像を得る方法として、例えば特許文献１に記載されている方法がある。
【０００５】
複数のカメラを円周上に外側に向けて並べて撮影することで、水平方向に広画角の全方位パノラマ画像を得る。さらに距離推定用カメラを上記円の中心上部に配置し、水平方向の画像を撮影する。距離測定用カメラは、円の中心軸に対して回転することで、全方位の撮影が可能である。上記水平方向の円周上に並んだ各カメラ画像と距離測定用カメラ画像の被写体の視差から、円周上カメラに写った各被写体の距離情報を得る。これにより、全方位パノラマ画像とその距離情報を取得できる。
【０００６】
一方、２つ（または複数の）異なる方向に向けて撮影した２つの画像の重なり部分に共通する特徴点が一致するように２つの画像を結合することにより、広視野のパノラマ画像合成方法が知られている。（例えば特許文献２）
複数の異なる方向に向けて撮影した第一カメラ画像から上記パノラマ画像合成方法を用いて、第一パノラマ画像を生成することができる。また、複数の第二カメラ画像からも同様に上記パノラマ画像合成方法を用いて、第二パノラマ画像を生成することができる。これにより、第一パノラマ画像と第二パノラマ画像からなる３Dパノラマ画像を得ることができる。
【０００７】
しかし、この方法で３Dパノラマ画像を得るには、３Dカメラの光軸中心を結ぶ基準線１６が傾かないように動かして撮影することが必要である。
【０００８】
なぜなら、図２（２）に示すように、３Dカメラの光軸中心を結ぶ基準線１６が傾くと、第一カメラ画像（B）と第二カメラ画像（B）の被写体の上下ずれ１５が発生するからである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２３９４１６号公報
【特許文献２】特開２００６−２０１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の２眼カメラを複数の異なる方向に向けて３D撮影し、パノラマ画像合成方法により３D画像を合成する方法では、２眼カメラの光軸中心を結ぶ基準線が傾かないように調整しながら、複数の３D画像を撮影する必要があるため、操作性が悪いという課題があった。
【００１１】
また、左右カメラのパノラマ合成をそれぞれ独立に実施し、２つ以上の画像を用いてこの結合を繰り返していくと、左右の合成精度の差が積算されることにより、左右カメラの被写体の上下方向のずれが積算され、３D画像として立体視できない部分が発生するため、広画角のパノラマ３D画像が生成できないという課題も有していた。
【００１２】
また、特許文献１の複数の円筒上に並んだカメラを用いて３Ｄパノラマ撮影する方法は、複数のカメラを必要とすることから、大型で高価なものとなっていた。
【００１３】
本発明は、上述の問題点を解決するためになされたもので、複数のカメラを用いることなく２眼カメラで３Ｄパノラマ画像が撮影でき、２眼カメラの傾きが水平からずれたとして上下ずれのない広画角な３Ｄパノラマ画像の撮影が可能なパノラマ撮像装置を実現することを目的とする。
【課題を解決するための手段】
【００１４】
次に、上記の課題を解決するための手段について述べる。
【００１５】
本発明のパノラマ撮像装置は、第一カメラと第二カメラと、前記第一カメラと前記第二カメラの視差から距離情報マップを生成する距離情報検出手段と、複数画像を各画像の対応する特徴点が一致するように位置合せを行ったのち画像結合する画像結合手段を有し、視野の異なる複数の第一カメラ画像と複数の第二カメラ画像からなる複数の３Ｄ画像を撮影し、前記距離情報検出手段により、複数の前記第一カメラ画像の複数の前記距離情報マップを生成し、複数の前記第一カメラ画像を前記画像結合手段により結合した第一カメラ結合画像を生成し、複数の前記距離情報マップを前記第一カメラ結合画像の結合方法と同じ位置関係で結合した距離情報結合マップを生成する。
【００１６】
この構成により、２眼カメラの複数３Ｄ画像から、距離情報を含むパノラマ画像を得ることができる。
【００１７】
また、本発明のパノラマ撮像装置は、前記第一カメラ画像の第一距離情報マップと隣接して撮影した第二距離情報マップの共通領域の各画素における前記距離情報結合マップの距離情報の値が、前記第一距離情報マップと前記第二距離情報マップの前記距離情報の２つの値の中間値とする。
【００１８】
この構成により、共通領域の画素の距離情報マップの値の精度を上げることが可能となる。
【００１９】
また、本発明のパノラマ撮像装置は、前記距離情報結合マップと前記第一カメラ結合画像から、左用結合画像と右用結合画像からなる、３Ｄパノラマ画像を生成する。
【００２０】
この構成により、３Ｄパノラマ画像を得ることができる。
【００２１】
また、本発明のパノラマ撮像装置は、前記距離情報結合マップと前記第一カメラ結合画像の一部を切り出した切り出しマップ及び切り出し画像から、左用切り出し画像と右用切り出し画像からなる、切り出し３Ｄ画像を生成する。
【００２２】
この構成により、任意の画角で任意の傾きから見たときの３Ｄ画像を生成することができる。
【００２３】
また、本発明のパノラマ撮像装置は、３Ｄ表示手段と姿勢センサを有し、前記３Ｄ表示手段の法線方向の変化を前記姿勢センサで検出し、前記法線方向の変化に応じて、前記切り出し画像の切り出し位置をずらすことによって生成した前記切り出し３Ｄ画像を前記３Ｄ表示手段に表示する。
【００２４】
この構成により、画角の狭い３Ｄ表示ディスプレイを用いて、広画角のパノラマ３Ｄ画像の表示が可能となる。
【発明の効果】
【００２５】
本発明によれば、撮影時に２眼カメラの水平方向の傾きがあったとしても、立体視可能な広画角のパノラマ３Ｄ画像の生成が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態１の３Ｄ撮像装置の概略構造図とブロック構成図
【図２】従来のパノラマ３Ｄ撮像方法の課題の説明図
【図３】本発明の実施の形態１のパノラマ３Ｄ画像生成方法を示す図
【図４】本発明の実施の形態１のパノラマ３Ｄ画像生成方法の続きを示す図
【図５】本発明の実施の形態１の切り出し３Ｄ画像の生成方法を示す図
【図６】本発明の実施の形態１の切り出し位置の決定方法を示す図
【図７】本発明の実施の形態１の切り出し３Ｄ画像の視差方向を示す図
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２８】
（実施の形態１）
図１は、本実施の形態の３Ｄ撮像装置の概略構造図とブロック構成図である。
【００２９】
以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラなど、小型カメラを有する電子機器に装着した場合も同様である。
【００３０】
図１（１）に示すように、携帯端末装置の長方形の筐体１の表示素子５の裏面に第一カメラ２と第二カメラ３からなる２眼の３Ｄカメラ４が配置されている。ここでは、左カメラを第一カメラ、右カメラを第二カメラと仮定するが、逆であっても構わない。
【００３１】
図１（３）は携帯端末装置のブロック構成図を示す。第一カメラ２と第二カメラ３はカメラ制御手段６で制御され、撮影画像を記憶手段７に保存し、表示素子５を用いて撮像画像を表示する。
【００３２】
表示素子５は、例えばバリア液晶を有する裸眼３D液晶であるが、電子シャッタ眼鏡などを用いたフレームシーケンシャル方式の３Ｄ表示素子でも構わない。
【００３３】
距離情報検出手段８は、第一カメラ２と第二カメラ３の画像から被写体の距離情報を検出して距離情報マップを生成する機能を有する。ここで、距離情報マップとは、撮影画像の各画素に対して、カメラと被写体間距離または、被写体間距離情報を含む一次元量が定義されたマップを指す。
【００３４】
画像結合手段９は、複数の画像に対応する特徴点を検出し、その特徴点が一致するように複数の画像を繋ぎ合わせて合成画像を生成する、いわゆるパノラマ合成機能を有する。
【００３５】
さらに、この携帯端末は、加速度センサや方位センサなどからなる姿勢センサ１０を内蔵し、端末の姿勢を検出することができる。
【００３６】
図２は、従来の３Ｄカメラ４の光軸中心間を結ぶ基準線１６が傾いたときに、撮影される画像例を示す。
【００３７】
図２（２）に示すように、従来は、３Dカメラの光軸中心を結ぶ基準線１６が傾くと、第一カメラ画像（B）と第二カメラ画像（B）の被写体の上下ずれ１５が発生する。
【００３８】
図３は本実施の形態１のパノラマ３Ｄ画像生成方法を示す。
【００３９】
図３（１）は第一のシーンの３Ｄ画像（Ａ）１７の第一カメラ画像（Ａ）１１と第二カメラ画像（Ａ）１２から距離情報マップ（Ａ）１９を生成したときの画像の一例を示す。
【００４０】
また、図３（２）は第二のシーンの３Ｄ画像（Ｂ）１８の第一カメラ画像（Ｂ）１３と第二カメラ画像（Ｂ）１４から距離情報マップ（Ｂ）２０を生成したときの画像の一例を示す。
【００４１】
距離情報マップは、被写体距離を画像の輝度値に置き換えて、白黒画像で表現したものであり、近くにある画素ほど白く、遠くにある画素ほど黒い。
【００４２】
図４は本実施の形態１のパノラマ３Ｄ画像生成方法の続きを示す。図４（２）は第一カメラ画像（Ａ）と異なる方向を撮影した第二カメラ画像（Ｂ）から、距離情報検出手段を用いて、パノラマ合成を行いて作成した、第一カメラ結合画像２１とする。
【００４３】
例えば、第一カメラ画像（Ａ）１１の左上の点をＯ１、第一カメラ画像（Ｂ）１３の左上の点をＯ２とすると、点Ｏ１と点Ｏ２の相対位置が水平方向にｘ、垂直方向にｙだけずらし、第一カメラ画像（Ａ）に対する第一カメラ画像（Ｂ）の水平ラインの角度をθとする。
【００４４】
次に、第一カメラ画像（Ａ）１１の距離情報マップ（Ａ）１９と第一カメラ画像（Ｂ）１３の距離情報マップ（Ｂ）２０のパノラマ合成を以下の方法で実施する。
【００４５】
例えば、上記の第一カメラ結合画像２１の場合には、図４（４）に示すように、距離情報マップ（Ａ）の左上の点をＯ３、距離情報マップ（Ｂ）の左上の点をＯ４とすると、点Ｏ３と点Ｏ４の相対位置が水平方向にｘ、垂直方向にｙだけずらし、距離情報マップ（Ａ）に対する距離情報マップ（Ｂ）の水平ラインの角度をθ傾けて画像を結合し、第一カメラ距離情報結合マップ２２を得る。
【００４６】
すなわち、距離情報マップ（Ａ）１９と距離情報マップ（Ｂ）２０の位置関係が第一カメラ画像（Ａ）と第一カメラ画像（Ｂ）の位置関係と同じ位置関係になるように結合する。
【００４７】
距離情報マップ（Ａ）と距離情報マップ（Ｂ）の重なり領域の画素、例えば図４（３）の点Ａ１と点Ａ２に相当する、第一カメラ距離情報結合マップ２２の画素点Ａ３の距離情報は以下のように計算する。
【００４８】
点Ａ１の距離情報をＬ１、点Ａ２の距離情報をＬ２、点Ａ３の距離情報をＬ３とすると、例えば、Ｌ３はＬ１とＬ２の平均値Ｌ３＝（Ｌ１＋Ｌ２）／２ とする。これにより、正確な距離情報Ｌ３を得ることができる。
【００４９】
なお、Ｌ３がＬ１とＬ２の中間の値であれば、平均値でなくても構わない。
【００５０】
さらに、左画像である第一カメラ結合画像２１と第一カメラ距離情報結合マップ２２から、右画像及び左画像のパノラマ画像を得ることで、パノラマ３Ｄ画像２３を得ることができる。
【００５１】
第一カメラ距離情報結合マップ２２の視差情報として右画像を生成しているので、上下ずれのない３Ｄ画像が得られる。すなわち、図２（２）の従来の課題が解決できる。
【００５２】
すなわち、第一カメラと第二カメラの光軸中心間を結ぶ基準線が水平になるように撮影した第一の３Ｄ画像（Ａ）１７と、基準線が水平から傾いた状態で撮影した第二の３Ｄ画像（Ｂ）１８を結合した、パノラマ３Ｄ画像２３において、第一の３Ｄ画像（Ａ）と第二の３Ｄ画像（Ｂ）の共通部分を３Ｄ画像（Ｂ）から除いた非共通部分の３Ｄ画像（Ｂ）の視差方向が前記第一３Ｄ画像の水平方向に完全に等しくなり、上下ずれを無くすことができる。
【００５３】
次に、パノラマ３Ｄ画像の３Ｄ表示方法について述べる。
【００５４】
上述の方法で得られた第一カメラ結合画像２１と第一カメラ距離情報結合マップ２２から一部の画像を切り出し、３Ｄ画像を生成したのち表示素子に表示することで、パノラマ３Ｄ画像の表示を実現する。
【００５５】
図５に示すように、第一カメラ結合画像２１から切り出し画像２４を切り出し、第一カメラ距離情報結合マップ２２から切り出し画像２４に相当する画角の切り出しマップ２５を切り出す。
【００５６】
切り出し画像２４とそれに対応する切り出しマップ２５から、切り出し３Ｄ画像２６を得る。
【００５７】
図６には、第一カメラ結合画像２１からの切り出し画像２４の位置の決定方法を示す。
【００５８】
図６（１）に示すように、表示素子５のディスプレイの法線方向の法線ベクトルの方向に応じて、切り出し画像の左上の位置を変化させる。なお、法線ベクトルは単位ベクトルとする。
【００５９】
法線ベクトルの方向は、携帯端末の筐体１に内蔵された姿勢センサ１０により測定できる。切り出し画像２４を表示しているときの携帯端末の姿勢から算出される法線ベクトルを法線ベクトル２９とする。
【００６０】
携帯端末の向きが変わったときの法線ベクトルを第二法線ベクトル３０とし、このときの切り出し画像を第二切り出し画像２７とすると、切り出し位置の移動量２８は、法線ベクトル２９と第二法線ベクトル３０の変化量を示す法線ベクトルの変化量３１に応じて変化させる。
【００６１】
例えば、左上の切り出し位置の移動量２８ベクトルをＤ１は、法線ベクトルの変化量３１のベクトルをＤ２とすると、Ｄ１＝ａ・Ｄ２（ａは定数）とする。
【００６２】
次に、図６（２）には、携帯端末のディスプレイの水平ラインが傾いたときの切り出し水平ラインの角度の決定方法を示す。
【００６３】
加速度センサなどの姿勢センサ１０から、携帯端末のディスプレイの水平ラインに対する垂直方向がわかる。この垂直方向のベクトルを垂直ベクトル３２とする。
【００６４】
第二切り出し画像２７のときの携帯端末の垂直ベクトルを第二垂直ベクトル３３とする。垂直ベクトル３２と第二垂直ベクトル３３の角度をθとすると、第二切り出し画像２７の水平ラインが切り出し画像２４の水平ラインに対する角度がθとなるように、第二切り出し画像２７を切り出す。
【００６５】
上記の切り出し画像と切り出しマップから３Ｄ画像を生成し、表示素子に表示する。
【００６６】
以上により、切り出し３Ｄ画像を生成し、携帯端末の表示ディスプレイの向きに応じて、表示画像が変化することができ、広画角のパノラマ３Ｄ画像の表示が可能となる。
【００６７】
なお、図７に示すように、切り出し画像２４と切り出しマップ２５から、３Ｄ画像を生成するときの視差の方向は自由に設定可能である。
【００６８】
ユーザの左右の目の水平ライン３７が切り出し画像の水平ラインと平行である場合には、図７（１）に示すように、左右画像の視差が切り出し画像の水平ライン方向となる第二切り出し３Ｄ画像３４とする。
【００６９】
また、ユーザの左右の目の水平ライン３７が重力方向３６に対して垂直である場合には、図７（２）に示すように、重心方向に対して垂直方向に左右画像の視差が付いた第三切り出し３Ｄ画像３５とする。なお、重力方向は、姿勢センサ１０から測定することができる。
【００７０】
以上により、２眼カメラの水平方向の傾きがあったとしても、立体視可能な広画角のパノラマ３Ｄ画像の生成が可能となるとともに、広画角のパノラマ３Ｄ画像の表示も可能となる。
【産業上の利用可能性】
【００７１】
本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。
【符号の説明】
【００７２】
１ 筐体
２ 第一カメラ
３ 第二カメラ
４ ３Ｄカメラ
５ 表示素子
６ カメラ制御手段
７ 記憶手段
８ 距離情報検出手段
９ 画像結合手段
１０ 姿勢センサ
１１ 第一カメラ画像（Ａ）
１２ 第二カメラ画像（Ａ）
１３ 第一カメラ画像（Ｂ）
１４ 第二カメラ画像（Ｂ）
１５ 上下ずれ
１６ 基準線
１７ ３Ｄ画像（Ａ）
１８ ３Ｄ画像（Ｂ）
１９ 距離情報マップ（Ａ）
２０ 距離情報マップ（Ｂ）
２１ 第一カメラ結合画像
２２ 第一カメラ距離情報結合マップ
２３ パノラマ３Ｄ画像
２４ 切り出し画像
２５ 切り出しマップ
２６ 切り出し３Ｄ画像
２７ 第二切り出し画像
２８ 切り出し位置の移動量
２９ 法線ベクトル
３０ 第二法線ベクトル
３１ 法線ベクトルの変化量
３２ 垂直ベクトル
３３ 第二垂直ベクトル
３４ 第二切り出し３Ｄ画像
３５ 第三切り出し３Ｄ画像
３６ 重力方向
３７ 目の水平ライン
【技術分野】
【０００１】
本発明は、視野の異なる複数の撮影画像を結合することによってパノラマ画像を得るパノラマ撮像装置に関するものである。
【背景技術】
【０００２】
人間の目の間隔程度離れた光軸間隔を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影することで３Ｄ画像の撮影が可能である。
【０００３】
図２（１）に従来の３Ｄカメラがついた携帯端末の一例を示す。撮像装置の筐体１に第一カメラ２と第二カメラ３が離れて配置されている。筐体１裏面には、３Ｄ撮影画像を表示するための表示素子５が配置されている。表示素子は例えば、視差バリア方式の裸眼３Ｄ液晶などを用いて３Ｄ表示が可能である。
【０００４】
カメラの画角よりも広い画角の３Ｄのパノラマ画像を得る方法として、例えば特許文献１に記載されている方法がある。
【０００５】
複数のカメラを円周上に外側に向けて並べて撮影することで、水平方向に広画角の全方位パノラマ画像を得る。さらに距離推定用カメラを上記円の中心上部に配置し、水平方向の画像を撮影する。距離測定用カメラは、円の中心軸に対して回転することで、全方位の撮影が可能である。上記水平方向の円周上に並んだ各カメラ画像と距離測定用カメラ画像の被写体の視差から、円周上カメラに写った各被写体の距離情報を得る。これにより、全方位パノラマ画像とその距離情報を取得できる。
【０００６】
一方、２つ（または複数の）異なる方向に向けて撮影した２つの画像の重なり部分に共通する特徴点が一致するように２つの画像を結合することにより、広視野のパノラマ画像合成方法が知られている。（例えば特許文献２）
複数の異なる方向に向けて撮影した第一カメラ画像から上記パノラマ画像合成方法を用いて、第一パノラマ画像を生成することができる。また、複数の第二カメラ画像からも同様に上記パノラマ画像合成方法を用いて、第二パノラマ画像を生成することができる。これにより、第一パノラマ画像と第二パノラマ画像からなる３Dパノラマ画像を得ることができる。
【０００７】
しかし、この方法で３Dパノラマ画像を得るには、３Dカメラの光軸中心を結ぶ基準線１６が傾かないように動かして撮影することが必要である。
【０００８】
なぜなら、図２（２）に示すように、３Dカメラの光軸中心を結ぶ基準線１６が傾くと、第一カメラ画像（B）と第二カメラ画像（B）の被写体の上下ずれ１５が発生するからである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２３９４１６号公報
【特許文献２】特開２００６−２０１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の２眼カメラを複数の異なる方向に向けて３D撮影し、パノラマ画像合成方法により３D画像を合成する方法では、２眼カメラの光軸中心を結ぶ基準線が傾かないように調整しながら、複数の３D画像を撮影する必要があるため、操作性が悪いという課題があった。
【００１１】
また、左右カメラのパノラマ合成をそれぞれ独立に実施し、２つ以上の画像を用いてこの結合を繰り返していくと、左右の合成精度の差が積算されることにより、左右カメラの被写体の上下方向のずれが積算され、３D画像として立体視できない部分が発生するため、広画角のパノラマ３D画像が生成できないという課題も有していた。
【００１２】
また、特許文献１の複数の円筒上に並んだカメラを用いて３Ｄパノラマ撮影する方法は、複数のカメラを必要とすることから、大型で高価なものとなっていた。
【００１３】
本発明は、上述の問題点を解決するためになされたもので、複数のカメラを用いることなく２眼カメラで３Ｄパノラマ画像が撮影でき、２眼カメラの傾きが水平からずれたとして上下ずれのない広画角な３Ｄパノラマ画像の撮影が可能なパノラマ撮像装置を実現することを目的とする。
【課題を解決するための手段】
【００１４】
次に、上記の課題を解決するための手段について述べる。
【００１５】
本発明のパノラマ撮像装置は、第一カメラと第二カメラと、前記第一カメラと前記第二カメラの視差から距離情報マップを生成する距離情報検出手段と、複数画像を各画像の対応する特徴点が一致するように位置合せを行ったのち画像結合する画像結合手段を有し、視野の異なる複数の第一カメラ画像と複数の第二カメラ画像からなる複数の３Ｄ画像を撮影し、前記距離情報検出手段により、複数の前記第一カメラ画像の複数の前記距離情報マップを生成し、複数の前記第一カメラ画像を前記画像結合手段により結合した第一カメラ結合画像を生成し、複数の前記距離情報マップを前記第一カメラ結合画像の結合方法と同じ位置関係で結合した距離情報結合マップを生成する。
【００１６】
この構成により、２眼カメラの複数３Ｄ画像から、距離情報を含むパノラマ画像を得ることができる。
【００１７】
また、本発明のパノラマ撮像装置は、前記第一カメラ画像の第一距離情報マップと隣接して撮影した第二距離情報マップの共通領域の各画素における前記距離情報結合マップの距離情報の値が、前記第一距離情報マップと前記第二距離情報マップの前記距離情報の２つの値の中間値とする。
【００１８】
この構成により、共通領域の画素の距離情報マップの値の精度を上げることが可能となる。
【００１９】
また、本発明のパノラマ撮像装置は、前記距離情報結合マップと前記第一カメラ結合画像から、左用結合画像と右用結合画像からなる、３Ｄパノラマ画像を生成する。
【００２０】
この構成により、３Ｄパノラマ画像を得ることができる。
【００２１】
また、本発明のパノラマ撮像装置は、前記距離情報結合マップと前記第一カメラ結合画像の一部を切り出した切り出しマップ及び切り出し画像から、左用切り出し画像と右用切り出し画像からなる、切り出し３Ｄ画像を生成する。
【００２２】
この構成により、任意の画角で任意の傾きから見たときの３Ｄ画像を生成することができる。
【００２３】
また、本発明のパノラマ撮像装置は、３Ｄ表示手段と姿勢センサを有し、前記３Ｄ表示手段の法線方向の変化を前記姿勢センサで検出し、前記法線方向の変化に応じて、前記切り出し画像の切り出し位置をずらすことによって生成した前記切り出し３Ｄ画像を前記３Ｄ表示手段に表示する。
【００２４】
この構成により、画角の狭い３Ｄ表示ディスプレイを用いて、広画角のパノラマ３Ｄ画像の表示が可能となる。
【発明の効果】
【００２５】
本発明によれば、撮影時に２眼カメラの水平方向の傾きがあったとしても、立体視可能な広画角のパノラマ３Ｄ画像の生成が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態１の３Ｄ撮像装置の概略構造図とブロック構成図
【図２】従来のパノラマ３Ｄ撮像方法の課題の説明図
【図３】本発明の実施の形態１のパノラマ３Ｄ画像生成方法を示す図
【図４】本発明の実施の形態１のパノラマ３Ｄ画像生成方法の続きを示す図
【図５】本発明の実施の形態１の切り出し３Ｄ画像の生成方法を示す図
【図６】本発明の実施の形態１の切り出し位置の決定方法を示す図
【図７】本発明の実施の形態１の切り出し３Ｄ画像の視差方向を示す図
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２８】
（実施の形態１）
図１は、本実施の形態の３Ｄ撮像装置の概略構造図とブロック構成図である。
【００２９】
以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラなど、小型カメラを有する電子機器に装着した場合も同様である。
【００３０】
図１（１）に示すように、携帯端末装置の長方形の筐体１の表示素子５の裏面に第一カメラ２と第二カメラ３からなる２眼の３Ｄカメラ４が配置されている。ここでは、左カメラを第一カメラ、右カメラを第二カメラと仮定するが、逆であっても構わない。
【００３１】
図１（３）は携帯端末装置のブロック構成図を示す。第一カメラ２と第二カメラ３はカメラ制御手段６で制御され、撮影画像を記憶手段７に保存し、表示素子５を用いて撮像画像を表示する。
【００３２】
表示素子５は、例えばバリア液晶を有する裸眼３D液晶であるが、電子シャッタ眼鏡などを用いたフレームシーケンシャル方式の３Ｄ表示素子でも構わない。
【００３３】
距離情報検出手段８は、第一カメラ２と第二カメラ３の画像から被写体の距離情報を検出して距離情報マップを生成する機能を有する。ここで、距離情報マップとは、撮影画像の各画素に対して、カメラと被写体間距離または、被写体間距離情報を含む一次元量が定義されたマップを指す。
【００３４】
画像結合手段９は、複数の画像に対応する特徴点を検出し、その特徴点が一致するように複数の画像を繋ぎ合わせて合成画像を生成する、いわゆるパノラマ合成機能を有する。
【００３５】
さらに、この携帯端末は、加速度センサや方位センサなどからなる姿勢センサ１０を内蔵し、端末の姿勢を検出することができる。
【００３６】
図２は、従来の３Ｄカメラ４の光軸中心間を結ぶ基準線１６が傾いたときに、撮影される画像例を示す。
【００３７】
図２（２）に示すように、従来は、３Dカメラの光軸中心を結ぶ基準線１６が傾くと、第一カメラ画像（B）と第二カメラ画像（B）の被写体の上下ずれ１５が発生する。
【００３８】
図３は本実施の形態１のパノラマ３Ｄ画像生成方法を示す。
【００３９】
図３（１）は第一のシーンの３Ｄ画像（Ａ）１７の第一カメラ画像（Ａ）１１と第二カメラ画像（Ａ）１２から距離情報マップ（Ａ）１９を生成したときの画像の一例を示す。
【００４０】
また、図３（２）は第二のシーンの３Ｄ画像（Ｂ）１８の第一カメラ画像（Ｂ）１３と第二カメラ画像（Ｂ）１４から距離情報マップ（Ｂ）２０を生成したときの画像の一例を示す。
【００４１】
距離情報マップは、被写体距離を画像の輝度値に置き換えて、白黒画像で表現したものであり、近くにある画素ほど白く、遠くにある画素ほど黒い。
【００４２】
図４は本実施の形態１のパノラマ３Ｄ画像生成方法の続きを示す。図４（２）は第一カメラ画像（Ａ）と異なる方向を撮影した第二カメラ画像（Ｂ）から、距離情報検出手段を用いて、パノラマ合成を行いて作成した、第一カメラ結合画像２１とする。
【００４３】
例えば、第一カメラ画像（Ａ）１１の左上の点をＯ１、第一カメラ画像（Ｂ）１３の左上の点をＯ２とすると、点Ｏ１と点Ｏ２の相対位置が水平方向にｘ、垂直方向にｙだけずらし、第一カメラ画像（Ａ）に対する第一カメラ画像（Ｂ）の水平ラインの角度をθとする。
【００４４】
次に、第一カメラ画像（Ａ）１１の距離情報マップ（Ａ）１９と第一カメラ画像（Ｂ）１３の距離情報マップ（Ｂ）２０のパノラマ合成を以下の方法で実施する。
【００４５】
例えば、上記の第一カメラ結合画像２１の場合には、図４（４）に示すように、距離情報マップ（Ａ）の左上の点をＯ３、距離情報マップ（Ｂ）の左上の点をＯ４とすると、点Ｏ３と点Ｏ４の相対位置が水平方向にｘ、垂直方向にｙだけずらし、距離情報マップ（Ａ）に対する距離情報マップ（Ｂ）の水平ラインの角度をθ傾けて画像を結合し、第一カメラ距離情報結合マップ２２を得る。
【００４６】
すなわち、距離情報マップ（Ａ）１９と距離情報マップ（Ｂ）２０の位置関係が第一カメラ画像（Ａ）と第一カメラ画像（Ｂ）の位置関係と同じ位置関係になるように結合する。
【００４７】
距離情報マップ（Ａ）と距離情報マップ（Ｂ）の重なり領域の画素、例えば図４（３）の点Ａ１と点Ａ２に相当する、第一カメラ距離情報結合マップ２２の画素点Ａ３の距離情報は以下のように計算する。
【００４８】
点Ａ１の距離情報をＬ１、点Ａ２の距離情報をＬ２、点Ａ３の距離情報をＬ３とすると、例えば、Ｌ３はＬ１とＬ２の平均値Ｌ３＝（Ｌ１＋Ｌ２）／２ とする。これにより、正確な距離情報Ｌ３を得ることができる。
【００４９】
なお、Ｌ３がＬ１とＬ２の中間の値であれば、平均値でなくても構わない。
【００５０】
さらに、左画像である第一カメラ結合画像２１と第一カメラ距離情報結合マップ２２から、右画像及び左画像のパノラマ画像を得ることで、パノラマ３Ｄ画像２３を得ることができる。
【００５１】
第一カメラ距離情報結合マップ２２の視差情報として右画像を生成しているので、上下ずれのない３Ｄ画像が得られる。すなわち、図２（２）の従来の課題が解決できる。
【００５２】
すなわち、第一カメラと第二カメラの光軸中心間を結ぶ基準線が水平になるように撮影した第一の３Ｄ画像（Ａ）１７と、基準線が水平から傾いた状態で撮影した第二の３Ｄ画像（Ｂ）１８を結合した、パノラマ３Ｄ画像２３において、第一の３Ｄ画像（Ａ）と第二の３Ｄ画像（Ｂ）の共通部分を３Ｄ画像（Ｂ）から除いた非共通部分の３Ｄ画像（Ｂ）の視差方向が前記第一３Ｄ画像の水平方向に完全に等しくなり、上下ずれを無くすことができる。
【００５３】
次に、パノラマ３Ｄ画像の３Ｄ表示方法について述べる。
【００５４】
上述の方法で得られた第一カメラ結合画像２１と第一カメラ距離情報結合マップ２２から一部の画像を切り出し、３Ｄ画像を生成したのち表示素子に表示することで、パノラマ３Ｄ画像の表示を実現する。
【００５５】
図５に示すように、第一カメラ結合画像２１から切り出し画像２４を切り出し、第一カメラ距離情報結合マップ２２から切り出し画像２４に相当する画角の切り出しマップ２５を切り出す。
【００５６】
切り出し画像２４とそれに対応する切り出しマップ２５から、切り出し３Ｄ画像２６を得る。
【００５７】
図６には、第一カメラ結合画像２１からの切り出し画像２４の位置の決定方法を示す。
【００５８】
図６（１）に示すように、表示素子５のディスプレイの法線方向の法線ベクトルの方向に応じて、切り出し画像の左上の位置を変化させる。なお、法線ベクトルは単位ベクトルとする。
【００５９】
法線ベクトルの方向は、携帯端末の筐体１に内蔵された姿勢センサ１０により測定できる。切り出し画像２４を表示しているときの携帯端末の姿勢から算出される法線ベクトルを法線ベクトル２９とする。
【００６０】
携帯端末の向きが変わったときの法線ベクトルを第二法線ベクトル３０とし、このときの切り出し画像を第二切り出し画像２７とすると、切り出し位置の移動量２８は、法線ベクトル２９と第二法線ベクトル３０の変化量を示す法線ベクトルの変化量３１に応じて変化させる。
【００６１】
例えば、左上の切り出し位置の移動量２８ベクトルをＤ１は、法線ベクトルの変化量３１のベクトルをＤ２とすると、Ｄ１＝ａ・Ｄ２（ａは定数）とする。
【００６２】
次に、図６（２）には、携帯端末のディスプレイの水平ラインが傾いたときの切り出し水平ラインの角度の決定方法を示す。
【００６３】
加速度センサなどの姿勢センサ１０から、携帯端末のディスプレイの水平ラインに対する垂直方向がわかる。この垂直方向のベクトルを垂直ベクトル３２とする。
【００６４】
第二切り出し画像２７のときの携帯端末の垂直ベクトルを第二垂直ベクトル３３とする。垂直ベクトル３２と第二垂直ベクトル３３の角度をθとすると、第二切り出し画像２７の水平ラインが切り出し画像２４の水平ラインに対する角度がθとなるように、第二切り出し画像２７を切り出す。
【００６５】
上記の切り出し画像と切り出しマップから３Ｄ画像を生成し、表示素子に表示する。
【００６６】
以上により、切り出し３Ｄ画像を生成し、携帯端末の表示ディスプレイの向きに応じて、表示画像が変化することができ、広画角のパノラマ３Ｄ画像の表示が可能となる。
【００６７】
なお、図７に示すように、切り出し画像２４と切り出しマップ２５から、３Ｄ画像を生成するときの視差の方向は自由に設定可能である。
【００６８】
ユーザの左右の目の水平ライン３７が切り出し画像の水平ラインと平行である場合には、図７（１）に示すように、左右画像の視差が切り出し画像の水平ライン方向となる第二切り出し３Ｄ画像３４とする。
【００６９】
また、ユーザの左右の目の水平ライン３７が重力方向３６に対して垂直である場合には、図７（２）に示すように、重心方向に対して垂直方向に左右画像の視差が付いた第三切り出し３Ｄ画像３５とする。なお、重力方向は、姿勢センサ１０から測定することができる。
【００７０】
以上により、２眼カメラの水平方向の傾きがあったとしても、立体視可能な広画角のパノラマ３Ｄ画像の生成が可能となるとともに、広画角のパノラマ３Ｄ画像の表示も可能となる。
【産業上の利用可能性】
【００７１】
本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。
【符号の説明】
【００７２】
１ 筐体
２ 第一カメラ
３ 第二カメラ
４ ３Ｄカメラ
５ 表示素子
６ カメラ制御手段
７ 記憶手段
８ 距離情報検出手段
９ 画像結合手段
１０ 姿勢センサ
１１ 第一カメラ画像（Ａ）
１２ 第二カメラ画像（Ａ）
１３ 第一カメラ画像（Ｂ）
１４ 第二カメラ画像（Ｂ）
１５ 上下ずれ
１６ 基準線
１７ ３Ｄ画像（Ａ）
１８ ３Ｄ画像（Ｂ）
１９ 距離情報マップ（Ａ）
２０ 距離情報マップ（Ｂ）
２１ 第一カメラ結合画像
２２ 第一カメラ距離情報結合マップ
２３ パノラマ３Ｄ画像
２４ 切り出し画像
２５ 切り出しマップ
２６ 切り出し３Ｄ画像
２７ 第二切り出し画像
２８ 切り出し位置の移動量
２９ 法線ベクトル
３０ 第二法線ベクトル
３１ 法線ベクトルの変化量
３２ 垂直ベクトル
３３ 第二垂直ベクトル
３４ 第二切り出し３Ｄ画像
３５ 第三切り出し３Ｄ画像
３６ 重力方向
３７ 目の水平ライン
【特許請求の範囲】
【請求項１】
第一カメラと第二カメラと、前記第一カメラと前記第二カメラの視差から距離情報マップを生成する距離情報検出手段と、複数画像を各画像の対応する特徴点が一致するように位置合せを行ったのち画像結合する画像結合手段を有し、
視野の異なる複数の第一カメラ画像と複数の第二カメラ画像からなる複数の３Ｄ画像を撮影し、前記距離情報検出手段により、複数の前記第一カメラ画像の複数の前記距離情報マップを生成し、複数の前記第一カメラ画像を前記画像結合手段により結合した第一カメラ結合画像を生成し、複数の前記距離情報マップを前記第一カメラ結合画像の結合方法と同じ位置関係で結合した距離情報結合マップを生成するパノラマ撮像装置。
【請求項２】
前記第一カメラ画像の第一距離情報マップと隣接して撮影した第二距離情報マップの共通領域の各画素における前記距離情報結合マップの距離情報の値が、前記第一距離情報マップと前記第二距離情報マップの前記距離情報の２つの値の中間値である請求項１記載のパノラマ撮像装置。
【請求項３】
前記距離情報結合マップと前記第一カメラ結合画像から、左用結合画像と右用結合画像からなる、３Ｄパノラマ画像を生成する請求項１または請求項２に記載のパノラマ撮像装置。
【請求項４】
前記距離情報結合マップと前記第一カメラ結合画像の一部を切り出した切り出しマップ及び切り出し画像から、左用切り出し画像と右用切り出し画像からなる、切り出し３Ｄ画像を生成する請求項１から請求項３のいずれかに記載のパノラマ撮像装置。
【請求項５】
３Ｄ表示手段と姿勢センサを有し、前記３Ｄ表示手段の法線方向の変化を前記姿勢センサで検出し、前記法線方向の変化に応じて、前記切り出し画像の切り出し位置をずらすことによって生成した前記切り出し３Ｄ画像を前記３Ｄ表示手段に表示する請求項１から請求項４のいずれかに記載のパノラマ撮像装置。
【請求項６】
第一カメラと第二カメラと、前記第一カメラと前記第二カメラの視差から距離情報マップを生成する距離情報検出手段を有し、前記第一カメラと前記第二カメラの光軸中心間を結ぶ基準線が水平になるように撮影した第一３Ｄ画像と、前記基準線が水平から傾いた状態で撮影した第二３Ｄ画像を結合した、第三パノラマ３Ｄ画像において、前記第一３Ｄ画像と前記第二３Ｄ画像の共通部分を前記第二３Ｄ画像から除いた非共通部分の３Ｄ画像部分の視差方向が前記第一３Ｄ画像の水平方向に等しいパノラマ撮像装置。
【請求項１】
第一カメラと第二カメラと、前記第一カメラと前記第二カメラの視差から距離情報マップを生成する距離情報検出手段と、複数画像を各画像の対応する特徴点が一致するように位置合せを行ったのち画像結合する画像結合手段を有し、
視野の異なる複数の第一カメラ画像と複数の第二カメラ画像からなる複数の３Ｄ画像を撮影し、前記距離情報検出手段により、複数の前記第一カメラ画像の複数の前記距離情報マップを生成し、複数の前記第一カメラ画像を前記画像結合手段により結合した第一カメラ結合画像を生成し、複数の前記距離情報マップを前記第一カメラ結合画像の結合方法と同じ位置関係で結合した距離情報結合マップを生成するパノラマ撮像装置。
【請求項２】
前記第一カメラ画像の第一距離情報マップと隣接して撮影した第二距離情報マップの共通領域の各画素における前記距離情報結合マップの距離情報の値が、前記第一距離情報マップと前記第二距離情報マップの前記距離情報の２つの値の中間値である請求項１記載のパノラマ撮像装置。
【請求項３】
前記距離情報結合マップと前記第一カメラ結合画像から、左用結合画像と右用結合画像からなる、３Ｄパノラマ画像を生成する請求項１または請求項２に記載のパノラマ撮像装置。
【請求項４】
前記距離情報結合マップと前記第一カメラ結合画像の一部を切り出した切り出しマップ及び切り出し画像から、左用切り出し画像と右用切り出し画像からなる、切り出し３Ｄ画像を生成する請求項１から請求項３のいずれかに記載のパノラマ撮像装置。
【請求項５】
３Ｄ表示手段と姿勢センサを有し、前記３Ｄ表示手段の法線方向の変化を前記姿勢センサで検出し、前記法線方向の変化に応じて、前記切り出し画像の切り出し位置をずらすことによって生成した前記切り出し３Ｄ画像を前記３Ｄ表示手段に表示する請求項１から請求項４のいずれかに記載のパノラマ撮像装置。
【請求項６】
第一カメラと第二カメラと、前記第一カメラと前記第二カメラの視差から距離情報マップを生成する距離情報検出手段を有し、前記第一カメラと前記第二カメラの光軸中心間を結ぶ基準線が水平になるように撮影した第一３Ｄ画像と、前記基準線が水平から傾いた状態で撮影した第二３Ｄ画像を結合した、第三パノラマ３Ｄ画像において、前記第一３Ｄ画像と前記第二３Ｄ画像の共通部分を前記第二３Ｄ画像から除いた非共通部分の３Ｄ画像部分の視差方向が前記第一３Ｄ画像の水平方向に等しいパノラマ撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７４４７３（Ｐ２０１３−７４４７３Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１２０９８（Ｐ２０１１−２１２０９８）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]