３次元画像生成装置
【課題】３次元画像データを生成するときの演算量を削減することができる技術を提供することを課題とする。
【解決手段】デジタルカメラ１は、複数の２次元画像データから３次元画像データ３０を生成する。メモリカード２０には、撮影画像データ２１〜２４と、撮影画像データ２１〜２４のそれぞれの撮影条件を示す撮影条件情報２１Ａ〜２４Ａが記録される。デジタルカメラ１において、空間情報生成部１５１は、撮影条件情報２１Ａ〜２４Ａを用いて、撮影画像データ２１〜２４の撮影空間を示す撮影空間情報２１Ｂ〜２４Ｂを生成する。使用画像選択部１５２は、撮影空間情報２１Ｂ〜２４Ｂに基づいて、撮影画像データ２１〜２３の撮影空間２１Ｄ〜２３Ｄが互いに重なることを確認する。使用画像選択部１５２は、撮影画像データ２１〜２３を、３次元画像データ３０の生成に用いる使用画像データとして選択する。
【解決手段】デジタルカメラ１は、複数の２次元画像データから３次元画像データ３０を生成する。メモリカード２０には、撮影画像データ２１〜２４と、撮影画像データ２１〜２４のそれぞれの撮影条件を示す撮影条件情報２１Ａ〜２４Ａが記録される。デジタルカメラ１において、空間情報生成部１５１は、撮影条件情報２１Ａ〜２４Ａを用いて、撮影画像データ２１〜２４の撮影空間を示す撮影空間情報２１Ｂ〜２４Ｂを生成する。使用画像選択部１５２は、撮影空間情報２１Ｂ〜２４Ｂに基づいて、撮影画像データ２１〜２３の撮影空間２１Ｄ〜２３Ｄが互いに重なることを確認する。使用画像選択部１５２は、撮影画像データ２１〜２３を、３次元画像データ３０の生成に用いる使用画像データとして選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の２次元画像データから３次元画像データを生成する３次元画像生成装置に関する。
【背景技術】
【０００２】
３次元画像データを生成する方法の一つとして、同一の被写体が撮影された複数の２次元画像データを用いる方法がある。ユーザは、３次元画像データにおいて描画対象となる被写体（建物や彫刻など）を異なる位置から撮影した複数の２次元画像データを用意する必要がある。
【０００３】
複数の２次元画像データから３次元画像データを生成する場合、下記非特許文献１に示すように、２次元画像データごとに建物の頂点などの特徴点を決定する。複数の２次元画像データの間で特徴点を対応付けることによって、対応付けられた特徴点の３次元座標を算出することができる。
【０００４】
２次元画像データにおいて特徴点を決める方法として、ユーザがマウスなどのポインタデバイスを用いて特徴点を指定する方法がある。また、下記非特許文献２に開示されているＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などのアルゴリズムを用いて、２次元画像データの特徴点を自動的に決定する方法がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「写真から作る３次元ＣＧ イメージ・ベースド・モデリング＆レンダリング」，徐 剛著，近代科学社，２００１年１月３０日発行
【非特許文献２】「Ｇｒａｄｉｅｎｔベースの特徴抽出 −ＳＩＦＴとＨＯＧ−」，［online］，藤吉 弘亘著，［２０１０年８月３０日検索］，インターネット＜ＵＲＬ：http://www.vision.cs.chubu.ac.jp/SIFT/PDF/sift_tutorial.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ユーザが複数の２次元画像データの特徴点を指定する場合、２次元画像データの数に比例してユーザが指定する特徴点の数が多くなるため、ユーザにとって負担となる。このため、各２次元画像データの特徴点を自動的に決定することが望ましい。
【０００７】
しかし、特徴点を検出するＳＩＦＴなどのアルゴリズムが複雑なため、１枚の２次元画像データの全ての特徴点を検出するための演算量が非常に多くなる。このため、複数の２次元画像データから３次元画像データの生成処理を自動的に行う場合、多くの時間を要するという問題がある。
【０００８】
そこで、本発明は、前記問題点に鑑み、３次元画像データを生成するときの演算量を削減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１記載の発明は、３次元画像生成装置であって、複数の２次元画像データと、各２次元画像データの撮影条件を示す撮影条件情報とを記憶する記憶部と、各２次元画像データにより撮影された撮影空間を前記撮影条件情報に基づいて特定し、各２次元画像データの撮影空間を示す撮影空間情報を生成する空間情報生成部と、前記複数の２次元画像データのうち、撮影空間が互いに重なる二つの２次元画像データを前記撮影空間情報に基づいて検出した場合、前記二つの２次元画像データを３次元画像データの生成に用いる使用画像データとして選択する使用画像選択部と、を備える。
【００１０】
請求項２記載の発明は、請求項１に記載の３次元画像生成装置において、前記使用画像データは、第１の２次元画像データと、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する第２の２次元画像データと、を含み、前記３次元画像生成装置は、さらに、前記第１の２次元画像データの画像領域において、前記第２の２次元画像データの撮影空間が重複する重複領域を前記撮影空間情報に基づいて特定し、前記重複領域を前記第１の２次元画像データの特徴点を検出する検出領域として設定する検出領域設定部、を備える。
【００１１】
請求項３記載の発明は、請求項２に記載の３次元画像生成装置において、前記使用画像データは、前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、を含み、前記検出領域設定部は、前記グループの中から、前記第１の２次元画像データの撮影位置に近い位置で撮影された近傍画像データを前記撮影空間情報に基づいて特定し、前記近傍画像データの撮影空間情報に基づいて、前記検出領域を設定する。
【００１２】
請求項４記載の発明は、請求項２に記載の３次元画像生成装置において、前記使用画像データは、前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、を含み、前記検出領域設定部は、前記第１の２次元画像データの画像領域において、前記グループを構成する全ての２次元画像データの撮影空間が重なった領域を、前記検出領域として設定する。
【００１３】
請求項５記載の発明は、請求項２に記載の３次元画像生成装置において、前記使用画像データは、前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、を含み、前記検出領域設定部は、前記第１画像データの画像領域のうち、前記グループを構成する少なくとも一つの２次元画像データの撮影空間が含まれる領域を、前記検出領域として設定する。
【００１４】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の３次元画像生成装置において、さらに、被写体を撮影して前記複数の２次元画像データを生成する撮影部と、自装置の位置を検出して位置情報を生成する位置検出部と、自装置の姿勢を検出して撮影方向を示す方向情報を生成する姿勢検出部と、を備え、前記空間情報生成部は、前記被写体の撮影時における位置情報及び方向情報を、前記撮影条件情報として用いる。
【発明の効果】
【００１５】
本発明の３次元画像生成装置は、各撮影画像データの撮影空間を撮影条件情報に基づいて特定し、互いに撮影空間が重なる二つの撮影画像データを、使用画像データとして選択する。これにより、３次元画像データを生成するときに、３次元画像データの描画対象が撮影されていない撮影画像データに対して特徴点の検出処理などを行わなくてもよい。このため、３次元画像データを生成するときの演算量を削減することができる。
【００１６】
本発明の３次元画像生成装置は、第１の２次元画像データにおいて特徴点を検出する検出領域を、第２の２次元画像データの撮影空間情報を用いて設定する。これにより、第１画像データの画像領域の全体にわたって特徴点を検出しなくてもよいため、３次元画像データを生成するときの演算量をさらに削減することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係るデジタルカメラの機能ブロック図である。
【図２】３次元画像データの生成開始前に実行される処理のフローチャートである。
【図３】各撮影画像データの撮影条件情報をテーブルの形式で示す図である。
【図４】撮影空間を示す図である。
【図５】各撮影画像データの撮影空間を２次元平面上に配置した図である。
【図６】撮影画像データに設定された特徴点の検出領域を示す図である。
【図７】撮影画像データに設定された特徴点の検出領域を示す図である。
【図８】撮影画像データから検出された特徴点を示す図である。
【図９】現実空間の注視点の３次元座標を算出する原理を説明する図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。
【００１９】
｛１．デジタルカメラ１の全体構成｝
図１は、本実施の形態に係るデジタルカメラ１の機能ブロック図である。デジタルカメラ１は、被写体を撮影して２次元の撮影画像データを生成するとともに、複数の撮影画像データから３次元画像データを生成する機能を有する。図１に示すように、デジタルカメラ１は、撮影部１１と、位置検出部１２と、撮影方向検出部１３と、画像処理部１４と、３次元画像生成部１５と、メモリカードスロット１６とを備える。
【００２０】
撮影部１１は、図示しないレンズ及びＣＣＤなどの撮像素子を備える。撮像部１１は、レンズを介して入力する被写体像を結像することにより、非圧縮画像データを生成する。
【００２１】
位置検出部１２は、ＧＰＳアンテナなどを備え、ＧＰＳ信号を受信してデジタルカメラ１の現在地を示す位置情報１２Ａを出力する。位置検出部１２は、ＧＰＳアンテナの他に、高度センサなどを備えてもよい。これにより、ＧＰＳよりも、撮影時の高度を精度よく検出することができる。
【００２２】
撮影方向検出部１３は、デジタルカメラ１の姿勢を検出する。撮影方向検出部１３は、地磁気センサあるいはジャイロスコープなどで構成される。撮影方向検出部１３は、デジタルカメラ１の撮影方向を示す姿勢情報１３Ａを出力する。
【００２３】
画像処理部１４は、非圧縮画像データが作成されるたびに、作成された非圧縮画像データに対して色調補正処理、色空間変換、及び符号化処理などを行って撮影画像データ２１〜２４を生成する。画像処理部１４は、撮影時刻に対応する位置情報１２Ａ及び姿勢情報１３Ａに基づいて、撮影条件情報２１Ａ〜２４Ａを撮影画像データ２１〜２４に付加する。撮影条件情報２１Ａ〜２４Ａは、撮影時刻におけるデジタルカメラ１の位置や撮影方向などを記録した情報である。撮影画像データ２１〜２４がＪＰＥＧ形式である場合、撮影条件情報２１Ａ〜２４Ａは、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式で記述される。
【００２４】
３次元画像生成部１５は、撮影画像データ２１〜２４を用いて、３次元画像データ３０を生成する。
【００２５】
メモリカードスロット１６は、フラッシュメモリなどの大容量のメモリカード２０を挿入するためのインタフェースである。撮像画像データ２１〜２４と、撮影空間情報２１Ｂ，２２Ｂ，２３Ｂ，２４Ｂとが、メモリカード２０に記憶される。撮影空間情報２１Ｂ〜２４Ｂについては後述する。
【００２６】
次に、３次元画像生成部１５の構成について説明する。３次元画像生成部１５は、空間情報生成部１５１と、使用画像選択部１５２と、検出領域設定部１５３とを備える。
【００２７】
空間情報生成部１５１は、撮影条件情報２１Ａ〜２４Ａに基づいて、撮影画像データ２１〜２４のそれぞれに対応する撮影空間情報２１Ｂ〜２４Ｂを生成する。たとえば、撮影空間情報２１Ｂは、撮影画像データ２１に画像として記録された空間（撮影空間）を特定することができる情報である。
【００２８】
使用画像選択部１５２は、撮影画像データ２１〜２４の中から３次元画像データ３０の生成に使用する使用画像データを選択する。使用画像データの選択には、撮影空間情報２１Ｂ〜２４Ｂが用いられる。
【００２９】
検出領域設定部１５３は、使用画像データの画像領域において、使用画像データの局所的な特徴を示す特徴点を検出する対象となる検出領域を設定する。
【００３０】
｛２．デジタルカメラ１の動作｝
図２は、デジタルカメラ１において３次元画像データ３０の生成を開始する前に行われる前処理の流れを示すフローチャートである。まず、ユーザが、デジタルカメラ１を用いて、３次元画像データ３０において描画の対象となる被写体を異なる複数の視点から撮影する（ステップＳ１）。これにより、撮影画像データ２１〜２４が生成される。
【００３１】
３次元画像生成部１５は、３次元画像データ３０の生成が指示された場合、生成を開始する前にステップＳ２〜ステップＳ４の処理を実行する。具体的には、空間情報生成部１５１が、撮影画像データ２１〜２４のそれぞれに対応する撮影空間情報２１Ｂ〜２４Ｂを生成する（ステップＳ２）。使用画像選択部１５２が、撮影空間情報２１Ｂ〜２４Ｂを用いて、撮影画像データ２１〜２４の中から使用画像データを選択する（ステップＳ３）。検出領域設定部１５３は、特徴点の検出対象となる検出領域を使用画像データごとに設定する（ステップＳ４）。
【００３２】
ステップＳ４の処理の後に、図示しない３次元画像生成処理が開始される。３次元画像生成部１５は、各使用画像データの特徴点を検出する。３次元画像生成部１５は、複数の使用画像データの間で、互いに対応する特徴点を決定する。対応付けられた特徴点の３次元座標が、使用画像データの位置情報に基づいて決定される。
【００３３】
以下、図２に示すステップＳ１〜Ｓ４について詳しく説明する。
【００３４】
｛２．１．撮影処理（ステップＳ１）｝
ユーザは、デジタルカメラ１を用いて、３次元画像データ３０において描画対象となる被写体（建物や彫刻など）を撮影する。たとえば、ユーザが描画対象の家屋を異なる視点から撮影することにより、デジタルカメラ１は、撮影画像データ２１〜２３を生成する。撮影画像データ２４は、描画対象の家屋を撮影していないとする。
【００３５】
画像処理部１４は、非圧縮画像データから撮影画像データ２１〜２４を生成する際に、撮影条件情報２１Ａ〜２４Ａを撮影画像データ２１〜２４に付加する。図３は、撮影条件情報２１Ａ〜２４Ａに記録された情報をテーブルの形式で示す図である。
【００３６】
図３に示すように、撮影条件情報２１Ａ〜２４Ａには、緯度、経度、方位、仰角／俯角、及び拡大率が記録される。緯度及び経度は、撮影時のデジタルカメラ１の位置を示す情報であり、撮影時刻に対応する位置情報１２Ａに基づいて記録される。
【００３７】
方位及び仰角／俯角は、撮影方向を示す情報であり、撮影時刻に対応する姿勢情報１３Ａに基づいて記録される。方位は、北、南西、東北東などの１６方位で記録される。仰角／俯角は、撮影時刻におけるデジタルカメラ１の傾きを示すパラメータである。仰角／俯角の値がプラスの場合、撮影方向が上方向であることを示す。仰角／俯角の値がマイナスの場合、撮影方向が下方向であることを示す。仰角／俯角の値がゼロの場合、撮影方向が水平方向であることを示す。
【００３８】
拡大率は、撮影時における撮影倍率を示す。撮影条件情報２１Ａのように、拡大率が１００％であれば、撮影画像データ２１の撮影時にズーム撮影が行われていないことを示す。撮影条件情報２２Ａのように、１００％よりも大きい拡大率は、撮影画像データ２２の撮影時にズーム撮影が行われていることを示す。
【００３９】
｛２．２．空間情報の生成（ステップＳ２）｝
ユーザにより３次元画像データ３０の生成が指示された場合、空間情報生成部１５１が、メモリカード２０に記憶されている撮影画像データ２１〜２４のそれぞれに対応する撮影空間情報２１Ｂ〜２４Ｂを生成する（ステップＳ２）。
【００４０】
図４は、撮影画像データ２１の撮影空間２１Ｄを示す情報である。図４を参照しながら、撮影空間情報２１Ｂの生成について説明する。
【００４１】
撮影空間２１Ｄは、撮影画像データ２１に記録される現実の空間である。撮影空間２１Ｄは、撮影画像データ２１Ａの撮影位置Ｐ１を頂点とした四角錐状の形状である。空間情報生成部１５１は、撮影条件情報２１Ａに基づいて、撮影空間２１Ｄを特定することができるパラメータを算出する。
【００４２】
撮影空間２１Ｄを特定するパラメータは、撮影位置Ｐ１、方向ベクトルＶ１、視野角Ａ１，Ａ２、及び距離Ｋ１である。撮影位置Ｐ１は、撮影条件情報２１Ａの緯度及び経度により決定される。方向ベクトルＶ１は、撮影画像データ２１の撮影時におけるデジタルカメラ１の撮影方向を示す。方向ベクトルＶ１は、撮影条件情報２１Ａの方位（北北東）と仰角／俯角の値（０°）とから算出される。
【００４３】
視野角Ａ１，Ａ２は、撮影位置Ｐ１から見た撮影空間２１Ｄの広がりを示す。視野角Ａ１は、撮影画像データ２１の横方向に対応する。視野角Ａ２は、撮影画像データ２１の縦方向に対応する。一般的に、ズーム撮影が行われた場合、拡大率に応じて撮影可能な範囲が狭くなる。このため、拡大率が大きくなるに伴って、撮影空間２１Ｄの広がりは、小さくなる。空間情報生成部１５１は、レンズの焦点距離、レンズの寸法と、撮影条件情報２１Ａの拡大率とから視野角Ａ１，Ａ２を算出する。レンズの焦点距離及び寸法は、空間情報生成部１５１に予め設定されている。
【００４４】
距離Ｋ１は、四角錐の高さに相当するパラメータである。距離Ｋ１を撮影空間情報２１Ｂに設定することにより、撮影空間２１Ｄが際限なく広がることが防止される。距離Ｋ１は、ユーザがデジタルカメラ１を操作して設定してもよいし、予め空間情報生成部１５１に設定されている距離を設定してもよい。
【００４５】
空間情報生成部１５１は、撮影位置Ｐ１、方向ベクトルＶ１、視野角Ａ１，Ａ２、及び距離Ｋ１が設定された撮影空間情報２１Ｂを生成する。同様に、撮影画像データ２２〜２４の撮影空間を特定する撮影空間情報２２Ｂ〜２４Ｂが生成される。撮影空間情報２１Ｄ〜２４Ｄは、メモリカード２０に記憶される。
【００４６】
｛２．３．使用画像データの選択（ステップＳ３）｝
次に、使用画像選択部１５２が、撮影空間情報２１Ｂ〜２４Ｂを用いて、撮影画像データ２１〜２４の中から、３次元画像データ３０の生成に使用する使用画像データを選択する（ステップＳ３）。
【００４７】
図５は、撮影空間２１Ｄ〜２４Ｄを撮影空間情報２１Ｂ〜２４Ｂに基づいて２次元平面上に配置した図である。撮影空間２１Ｄを一点鎖線で示す。撮影空間２２Ｄ，２４Ｄを実線で示す。撮影空間２３Ｄを破線で示す。ここでは、説明を簡単にするために、撮影空間２１Ｄ〜２４Ｄの仰角／俯角は考慮しない。
【００４８】
図５に示すように、撮影空間２１Ｄが、撮影空間２２Ｄと重なっているため、使用画像選択部１５２は、撮影画像データ２１，２２を使用画像データとして決定する。つまり、撮影空間が互いに重なる二つの撮影画像データが、使用画像データとして選択され、３次元画像データ３０の生成に用いられる。
【００４９】
上述したように、３次元画像データ３０の生成には、異なる視点で同一の被写体５０を撮影した複数の撮影画像データが必要である。撮影空間２１Ｄ，２２Ｄが重なっていれば、撮影画像データ２１，２２には、同一の被写体５０が撮影されていると考えることができる。このため、使用画像選択部１５２は、撮影画像データ２１，２２を３次元画像データ３０の生成に使用できると判断して、使用画像データとして選択する。使用画像選択部１５２は、撮影空間２３Ｄが撮影空間２１Ｄ，２２Ｄと互いに重なっているため、撮影画像データ２１，２２と同様に、撮影画像データ２３を使用画像データとして選択する。
【００５０】
撮影画像データ２４の撮影空間２４Ｄは、撮影空間２１Ｄ〜２３Ｄのいずれとも重なっていない。つまり、撮影画像データ２４には、被写体５０が撮影されていないと考えることができる。このため、使用画像選択部１５２は、撮影画像データ２４を使用画像データとして選択しない。
【００５１】
この結果、同一の被写体５０が撮影されている撮影画像データ２１〜２３のみを３次元画像データ３０の生成に用いることができる。３次元画像データ３０における描画対象（被写体５０）が撮影されていない撮影画像データに対して、特徴点検出処理などが行われることがないため、無駄な計算量を削減することが可能となる。
【００５２】
｛２．４．検出領域の設定（ステップＳ４）｝
次に、使用画像データとして選択された撮影画像データ２１〜２３のそれぞれに対して、特徴点の検出領域を設定する。以下、撮影画像データ２２を例にして、検出領域の設定について詳しく説明する。
【００５３】
検出領域設定部１５３は、撮影空間２１Ｄ，２３Ｄのうち、撮影画像データ２２の撮影位置Ｐ２に最も近い撮影位置を有する撮影空間を決定する。図５に示すように、撮影画像データ２１の撮影位置Ｐ１が、撮影画像データ２２の撮影位置Ｐ２に一番近くに位置する。このため、検出領域設定部１５３は、撮影画像データ２２の検出領域の設定に、撮影画像データ２１の撮影空間情報２１Ｂを用いることを決定する。
【００５４】
図６は、撮影画像データ２２の検出領域４０を示す図である。検出領域設定部１５３は、撮影空間情報２１Ｂ，２２Ｂを用いて、撮影画像データ２２の画像領域において撮影空間２１Ｄが含まれる範囲を算出する。算出された範囲が、検出領域４０として設定される。図６において、撮影画像データ２２の検出領域４０を、ハッチングで示す。
【００５５】
図５に示すように、撮影画像データ２２Ｄの撮影位置Ｐ２からベクトルＶ２の方向（撮影画像データ２２の撮影方向）を見た場合、撮影空間２１Ｄが右から左方向へ横切るように配置されていることがわかる。このため、図６では、撮影画像データ２２の検出領域４０は、右から左方向へ広がるように形成される。これにより、撮影画像データ２２の画像領域全体にわたって特徴点を検出しなくて済むため、３次元画像データ３０の生成時の演算量を削減することが可能となる。撮影画像データ２１，２３の検出領域４０も、同様にして設定される。
【００５６】
撮影画像データ２２の検出領域４０の設定において、撮影画像データ２２を除く他の使用画像データ（撮影画像データ２１，２３）の撮影空間２１Ｄ，２３Ｄの両者が重複する範囲を、設定領域４０としてもよい。図７は、撮影画像データ２２において撮影空間２１Ｄ，２３Ｄの両者が重複する範囲を示す図である。図７において、検出領域４０をハッチングで示す。撮影空間２１Ｄを一点鎖線で示す。撮影空間２３Ｄを破線で示す。この場合、設定領域４０が、図６に示す設定領域４０よりも狭くなるため、３次元画像データ３０の生成時の演算量を、さらに削減することができる。
【００５７】
撮影画像データ２２の検出領域４０の設定において、撮影空間２１Ｄ，２３Ｄの少なくともいずれか一つの空間と重複する範囲を、設定領域４０としてしてもよい。この場合、検出領域４０が、図６に示す検出領域４０よりも広くなる。たとえば、撮影画像データ２２において、３次元画像データ３０の描画対象（被写体）の一部が、検出領域４０の外側に位置することを防ぐことできる。
【００５８】
このように、デジタルカメラ１は、撮影画像データ２１〜２４のうち、３次元画像データ３０の生成に用いる使用画像データを、撮影画像データ２１〜２４の撮影空間情報２１Ｂ〜２４Ｂに基づいて決定する。これにより、３次元画像データ３０を生成するときに、撮影画像データ２１〜２４のうち、同一の被写体が撮影されていない撮影画像データ２４の特徴点を検出しなくてもよい。このため、３次元画像データ３０の生成時の演算量を削減することができる。
【００５９】
また、使用画像データとして選択された撮影画像データ２１〜２３のそれぞれに対して、特徴点の検出領域４０を、撮影空間情報２１Ｂ〜２３Ｂを用いて設定する。これにより、撮影画像データ２１〜２３の画像領域の全体にわたって特徴点検出処理を行う必要がないため、３次元画像データ３０の生成時の演算量をさらに削減することができる。
【００６０】
｛３．３次元画像データ３０の生成｝
以下、使用画像データの特徴点を検出してから、各特徴点の３次元座標を算出するまでの流れの概略を説明する。３次元画像生成部１５は、撮影画像データ２１〜２３の検出領域４０内に存在する特徴点を、ＳＩＦＴなどのアルゴリズムを用いて検出する。撮影画像データ２２の特徴点を検出する場合、３次元画像生成部１５は、複数のガウシアンフィルタを用いて、各ガウシアンフィルタに対応する撮影画像データ２２の平滑化画像を生成する。平滑化画像同士の差分により得られるＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）画像から極値を検出する。ＤｏＧ画像において極値が検出された点が、撮影画像データ２２の特徴点となる。特徴点は、１２８次元の特徴量（ベクトル）として表現される。
【００６１】
図８は、図６に示す検出領域４０から検出された特徴点を示す図である。図８において特徴点を黒丸で示す。特徴点は、撮影画像データ２２の検出領域４０の中から検出されており、検出領域４０の外にある太陽や雲からは検出されていないことがわかる。
【００６２】
次に、撮影画像データ２１〜２３において検出された特徴点の対応を求める。つまり、撮影画像データ２１〜２３で検出された特徴点群の中から、現実空間において同一点を示している特徴点（対応点）を抽出する。
【００６３】
たとえば、撮影画像データ２２の特徴点ＣＰ２（図９参照）の対応点を、撮影画像データ２１の特徴点から求めることができる。特徴点ＣＰ２の特徴量と、撮影画像データ２１の各特徴点の特徴量とのユークリッド距離を算出する。ユークリッド距離が最小となる撮影画像データ２１の特徴点が、特徴点ＣＰ２が示す現実空間の点（注視点）と同じ点を指す対応点として同定される。
【００６４】
上述のように、検出領域４０を設定することにより、撮影画像データ２１〜２３において検出される特徴点の数が減少する。このため、ある特徴点に対する対応点を同定する場合にも、演算量（ユークリッド距離の算出回数）を削減することができる。
【００６５】
次に、特徴点ＣＰ２の３次元座標を、撮影画像データ２１，２２の位置情報などを用いて算出する。図９は、特徴点ＣＰ２の３次元座標を算出する原理を説明する図である。図９において、撮影画像データ２１，２２の撮影位置Ｐ１，Ｐ２が、デジタルカメラ１のレンズの焦点に対応する。撮影画像データ２１の特徴点ＣＰ１は、特徴点ＣＰ２の対応点である。レンズの光軸を一点鎖線で示す。光軸は、撮影画像データ２１，２２の画像中心を通過する。
【００６６】
３次元画像生成部１５は、レンズの焦点から見た特徴点ＣＰ１，ＣＰ２のベクトルＤＶ１，ＤＶ２を算出する。特徴点ＣＰ１のベクトルＤＶ１は、撮影画像データ２１の撮影位置Ｐ１から見た注視点Ｍの方向を示す。特徴点ＣＰ２のベクトルＤＶ２は、撮影画像データ２２の撮影位置Ｐ２から見た注視点Ｍの方向を示す。撮影位置Ｐ１，Ｐ２の位置情報と、ベクトルＤＶ１，ＤＶ２とを用いて、三角測量の原理で注視点Ｍの３次元座標を算出することができる。このようにして、各特徴点が指す現実空間の注視点の３次元座標が算出される。３次元画像生成部１５は、算出された注視点の３次元座標に基づいて多角形を構成する。構成された多角形の面に、対応する撮影画像データなどが貼り付けられることにより、３次元画像データ３０が生成される。
【００６７】
本実施の形態では、デジタルカメラ１が３次元画像データ３０を生成する例を説明したが、これに限られない。たとえば、３次元画像データを作成する機能を有するソフトウェアに、空間情報生成部１５１、使用画像選択部１５２、及び検出領域設定部１５３として機能させるプログラムを組み込んでもよい。
【符号の説明】
【００６８】
１ デジタルカメラ
１１ 撮影部
１２ 位置検出部
１３ 撮影方向検出部
１４ 画像処理部
１５ ３次元画像生成部
１６ メモリカードスロット
２０ メモリカード
２１，２２，２３，２４ 撮影画像データ
２１Ａ，２２Ａ，２３Ａ，２４Ａ 撮影条件データ
２１Ｂ，２２Ｂ，２３Ｂ，２４Ｂ 撮影空間情報
３０ ３次元画像データ
４０ 検出領域
１５１ 空間情報生成部
１５２ 使用画像選択部
１５３ 検出領域設定部
【技術分野】
【０００１】
本発明は、複数の２次元画像データから３次元画像データを生成する３次元画像生成装置に関する。
【背景技術】
【０００２】
３次元画像データを生成する方法の一つとして、同一の被写体が撮影された複数の２次元画像データを用いる方法がある。ユーザは、３次元画像データにおいて描画対象となる被写体（建物や彫刻など）を異なる位置から撮影した複数の２次元画像データを用意する必要がある。
【０００３】
複数の２次元画像データから３次元画像データを生成する場合、下記非特許文献１に示すように、２次元画像データごとに建物の頂点などの特徴点を決定する。複数の２次元画像データの間で特徴点を対応付けることによって、対応付けられた特徴点の３次元座標を算出することができる。
【０００４】
２次元画像データにおいて特徴点を決める方法として、ユーザがマウスなどのポインタデバイスを用いて特徴点を指定する方法がある。また、下記非特許文献２に開示されているＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などのアルゴリズムを用いて、２次元画像データの特徴点を自動的に決定する方法がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「写真から作る３次元ＣＧ イメージ・ベースド・モデリング＆レンダリング」，徐 剛著，近代科学社，２００１年１月３０日発行
【非特許文献２】「Ｇｒａｄｉｅｎｔベースの特徴抽出 −ＳＩＦＴとＨＯＧ−」，［online］，藤吉 弘亘著，［２０１０年８月３０日検索］，インターネット＜ＵＲＬ：http://www.vision.cs.chubu.ac.jp/SIFT/PDF/sift_tutorial.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ユーザが複数の２次元画像データの特徴点を指定する場合、２次元画像データの数に比例してユーザが指定する特徴点の数が多くなるため、ユーザにとって負担となる。このため、各２次元画像データの特徴点を自動的に決定することが望ましい。
【０００７】
しかし、特徴点を検出するＳＩＦＴなどのアルゴリズムが複雑なため、１枚の２次元画像データの全ての特徴点を検出するための演算量が非常に多くなる。このため、複数の２次元画像データから３次元画像データの生成処理を自動的に行う場合、多くの時間を要するという問題がある。
【０００８】
そこで、本発明は、前記問題点に鑑み、３次元画像データを生成するときの演算量を削減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１記載の発明は、３次元画像生成装置であって、複数の２次元画像データと、各２次元画像データの撮影条件を示す撮影条件情報とを記憶する記憶部と、各２次元画像データにより撮影された撮影空間を前記撮影条件情報に基づいて特定し、各２次元画像データの撮影空間を示す撮影空間情報を生成する空間情報生成部と、前記複数の２次元画像データのうち、撮影空間が互いに重なる二つの２次元画像データを前記撮影空間情報に基づいて検出した場合、前記二つの２次元画像データを３次元画像データの生成に用いる使用画像データとして選択する使用画像選択部と、を備える。
【００１０】
請求項２記載の発明は、請求項１に記載の３次元画像生成装置において、前記使用画像データは、第１の２次元画像データと、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する第２の２次元画像データと、を含み、前記３次元画像生成装置は、さらに、前記第１の２次元画像データの画像領域において、前記第２の２次元画像データの撮影空間が重複する重複領域を前記撮影空間情報に基づいて特定し、前記重複領域を前記第１の２次元画像データの特徴点を検出する検出領域として設定する検出領域設定部、を備える。
【００１１】
請求項３記載の発明は、請求項２に記載の３次元画像生成装置において、前記使用画像データは、前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、を含み、前記検出領域設定部は、前記グループの中から、前記第１の２次元画像データの撮影位置に近い位置で撮影された近傍画像データを前記撮影空間情報に基づいて特定し、前記近傍画像データの撮影空間情報に基づいて、前記検出領域を設定する。
【００１２】
請求項４記載の発明は、請求項２に記載の３次元画像生成装置において、前記使用画像データは、前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、を含み、前記検出領域設定部は、前記第１の２次元画像データの画像領域において、前記グループを構成する全ての２次元画像データの撮影空間が重なった領域を、前記検出領域として設定する。
【００１３】
請求項５記載の発明は、請求項２に記載の３次元画像生成装置において、前記使用画像データは、前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、を含み、前記検出領域設定部は、前記第１画像データの画像領域のうち、前記グループを構成する少なくとも一つの２次元画像データの撮影空間が含まれる領域を、前記検出領域として設定する。
【００１４】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の３次元画像生成装置において、さらに、被写体を撮影して前記複数の２次元画像データを生成する撮影部と、自装置の位置を検出して位置情報を生成する位置検出部と、自装置の姿勢を検出して撮影方向を示す方向情報を生成する姿勢検出部と、を備え、前記空間情報生成部は、前記被写体の撮影時における位置情報及び方向情報を、前記撮影条件情報として用いる。
【発明の効果】
【００１５】
本発明の３次元画像生成装置は、各撮影画像データの撮影空間を撮影条件情報に基づいて特定し、互いに撮影空間が重なる二つの撮影画像データを、使用画像データとして選択する。これにより、３次元画像データを生成するときに、３次元画像データの描画対象が撮影されていない撮影画像データに対して特徴点の検出処理などを行わなくてもよい。このため、３次元画像データを生成するときの演算量を削減することができる。
【００１６】
本発明の３次元画像生成装置は、第１の２次元画像データにおいて特徴点を検出する検出領域を、第２の２次元画像データの撮影空間情報を用いて設定する。これにより、第１画像データの画像領域の全体にわたって特徴点を検出しなくてもよいため、３次元画像データを生成するときの演算量をさらに削減することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係るデジタルカメラの機能ブロック図である。
【図２】３次元画像データの生成開始前に実行される処理のフローチャートである。
【図３】各撮影画像データの撮影条件情報をテーブルの形式で示す図である。
【図４】撮影空間を示す図である。
【図５】各撮影画像データの撮影空間を２次元平面上に配置した図である。
【図６】撮影画像データに設定された特徴点の検出領域を示す図である。
【図７】撮影画像データに設定された特徴点の検出領域を示す図である。
【図８】撮影画像データから検出された特徴点を示す図である。
【図９】現実空間の注視点の３次元座標を算出する原理を説明する図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。
【００１９】
｛１．デジタルカメラ１の全体構成｝
図１は、本実施の形態に係るデジタルカメラ１の機能ブロック図である。デジタルカメラ１は、被写体を撮影して２次元の撮影画像データを生成するとともに、複数の撮影画像データから３次元画像データを生成する機能を有する。図１に示すように、デジタルカメラ１は、撮影部１１と、位置検出部１２と、撮影方向検出部１３と、画像処理部１４と、３次元画像生成部１５と、メモリカードスロット１６とを備える。
【００２０】
撮影部１１は、図示しないレンズ及びＣＣＤなどの撮像素子を備える。撮像部１１は、レンズを介して入力する被写体像を結像することにより、非圧縮画像データを生成する。
【００２１】
位置検出部１２は、ＧＰＳアンテナなどを備え、ＧＰＳ信号を受信してデジタルカメラ１の現在地を示す位置情報１２Ａを出力する。位置検出部１２は、ＧＰＳアンテナの他に、高度センサなどを備えてもよい。これにより、ＧＰＳよりも、撮影時の高度を精度よく検出することができる。
【００２２】
撮影方向検出部１３は、デジタルカメラ１の姿勢を検出する。撮影方向検出部１３は、地磁気センサあるいはジャイロスコープなどで構成される。撮影方向検出部１３は、デジタルカメラ１の撮影方向を示す姿勢情報１３Ａを出力する。
【００２３】
画像処理部１４は、非圧縮画像データが作成されるたびに、作成された非圧縮画像データに対して色調補正処理、色空間変換、及び符号化処理などを行って撮影画像データ２１〜２４を生成する。画像処理部１４は、撮影時刻に対応する位置情報１２Ａ及び姿勢情報１３Ａに基づいて、撮影条件情報２１Ａ〜２４Ａを撮影画像データ２１〜２４に付加する。撮影条件情報２１Ａ〜２４Ａは、撮影時刻におけるデジタルカメラ１の位置や撮影方向などを記録した情報である。撮影画像データ２１〜２４がＪＰＥＧ形式である場合、撮影条件情報２１Ａ〜２４Ａは、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式で記述される。
【００２４】
３次元画像生成部１５は、撮影画像データ２１〜２４を用いて、３次元画像データ３０を生成する。
【００２５】
メモリカードスロット１６は、フラッシュメモリなどの大容量のメモリカード２０を挿入するためのインタフェースである。撮像画像データ２１〜２４と、撮影空間情報２１Ｂ，２２Ｂ，２３Ｂ，２４Ｂとが、メモリカード２０に記憶される。撮影空間情報２１Ｂ〜２４Ｂについては後述する。
【００２６】
次に、３次元画像生成部１５の構成について説明する。３次元画像生成部１５は、空間情報生成部１５１と、使用画像選択部１５２と、検出領域設定部１５３とを備える。
【００２７】
空間情報生成部１５１は、撮影条件情報２１Ａ〜２４Ａに基づいて、撮影画像データ２１〜２４のそれぞれに対応する撮影空間情報２１Ｂ〜２４Ｂを生成する。たとえば、撮影空間情報２１Ｂは、撮影画像データ２１に画像として記録された空間（撮影空間）を特定することができる情報である。
【００２８】
使用画像選択部１５２は、撮影画像データ２１〜２４の中から３次元画像データ３０の生成に使用する使用画像データを選択する。使用画像データの選択には、撮影空間情報２１Ｂ〜２４Ｂが用いられる。
【００２９】
検出領域設定部１５３は、使用画像データの画像領域において、使用画像データの局所的な特徴を示す特徴点を検出する対象となる検出領域を設定する。
【００３０】
｛２．デジタルカメラ１の動作｝
図２は、デジタルカメラ１において３次元画像データ３０の生成を開始する前に行われる前処理の流れを示すフローチャートである。まず、ユーザが、デジタルカメラ１を用いて、３次元画像データ３０において描画の対象となる被写体を異なる複数の視点から撮影する（ステップＳ１）。これにより、撮影画像データ２１〜２４が生成される。
【００３１】
３次元画像生成部１５は、３次元画像データ３０の生成が指示された場合、生成を開始する前にステップＳ２〜ステップＳ４の処理を実行する。具体的には、空間情報生成部１５１が、撮影画像データ２１〜２４のそれぞれに対応する撮影空間情報２１Ｂ〜２４Ｂを生成する（ステップＳ２）。使用画像選択部１５２が、撮影空間情報２１Ｂ〜２４Ｂを用いて、撮影画像データ２１〜２４の中から使用画像データを選択する（ステップＳ３）。検出領域設定部１５３は、特徴点の検出対象となる検出領域を使用画像データごとに設定する（ステップＳ４）。
【００３２】
ステップＳ４の処理の後に、図示しない３次元画像生成処理が開始される。３次元画像生成部１５は、各使用画像データの特徴点を検出する。３次元画像生成部１５は、複数の使用画像データの間で、互いに対応する特徴点を決定する。対応付けられた特徴点の３次元座標が、使用画像データの位置情報に基づいて決定される。
【００３３】
以下、図２に示すステップＳ１〜Ｓ４について詳しく説明する。
【００３４】
｛２．１．撮影処理（ステップＳ１）｝
ユーザは、デジタルカメラ１を用いて、３次元画像データ３０において描画対象となる被写体（建物や彫刻など）を撮影する。たとえば、ユーザが描画対象の家屋を異なる視点から撮影することにより、デジタルカメラ１は、撮影画像データ２１〜２３を生成する。撮影画像データ２４は、描画対象の家屋を撮影していないとする。
【００３５】
画像処理部１４は、非圧縮画像データから撮影画像データ２１〜２４を生成する際に、撮影条件情報２１Ａ〜２４Ａを撮影画像データ２１〜２４に付加する。図３は、撮影条件情報２１Ａ〜２４Ａに記録された情報をテーブルの形式で示す図である。
【００３６】
図３に示すように、撮影条件情報２１Ａ〜２４Ａには、緯度、経度、方位、仰角／俯角、及び拡大率が記録される。緯度及び経度は、撮影時のデジタルカメラ１の位置を示す情報であり、撮影時刻に対応する位置情報１２Ａに基づいて記録される。
【００３７】
方位及び仰角／俯角は、撮影方向を示す情報であり、撮影時刻に対応する姿勢情報１３Ａに基づいて記録される。方位は、北、南西、東北東などの１６方位で記録される。仰角／俯角は、撮影時刻におけるデジタルカメラ１の傾きを示すパラメータである。仰角／俯角の値がプラスの場合、撮影方向が上方向であることを示す。仰角／俯角の値がマイナスの場合、撮影方向が下方向であることを示す。仰角／俯角の値がゼロの場合、撮影方向が水平方向であることを示す。
【００３８】
拡大率は、撮影時における撮影倍率を示す。撮影条件情報２１Ａのように、拡大率が１００％であれば、撮影画像データ２１の撮影時にズーム撮影が行われていないことを示す。撮影条件情報２２Ａのように、１００％よりも大きい拡大率は、撮影画像データ２２の撮影時にズーム撮影が行われていることを示す。
【００３９】
｛２．２．空間情報の生成（ステップＳ２）｝
ユーザにより３次元画像データ３０の生成が指示された場合、空間情報生成部１５１が、メモリカード２０に記憶されている撮影画像データ２１〜２４のそれぞれに対応する撮影空間情報２１Ｂ〜２４Ｂを生成する（ステップＳ２）。
【００４０】
図４は、撮影画像データ２１の撮影空間２１Ｄを示す情報である。図４を参照しながら、撮影空間情報２１Ｂの生成について説明する。
【００４１】
撮影空間２１Ｄは、撮影画像データ２１に記録される現実の空間である。撮影空間２１Ｄは、撮影画像データ２１Ａの撮影位置Ｐ１を頂点とした四角錐状の形状である。空間情報生成部１５１は、撮影条件情報２１Ａに基づいて、撮影空間２１Ｄを特定することができるパラメータを算出する。
【００４２】
撮影空間２１Ｄを特定するパラメータは、撮影位置Ｐ１、方向ベクトルＶ１、視野角Ａ１，Ａ２、及び距離Ｋ１である。撮影位置Ｐ１は、撮影条件情報２１Ａの緯度及び経度により決定される。方向ベクトルＶ１は、撮影画像データ２１の撮影時におけるデジタルカメラ１の撮影方向を示す。方向ベクトルＶ１は、撮影条件情報２１Ａの方位（北北東）と仰角／俯角の値（０°）とから算出される。
【００４３】
視野角Ａ１，Ａ２は、撮影位置Ｐ１から見た撮影空間２１Ｄの広がりを示す。視野角Ａ１は、撮影画像データ２１の横方向に対応する。視野角Ａ２は、撮影画像データ２１の縦方向に対応する。一般的に、ズーム撮影が行われた場合、拡大率に応じて撮影可能な範囲が狭くなる。このため、拡大率が大きくなるに伴って、撮影空間２１Ｄの広がりは、小さくなる。空間情報生成部１５１は、レンズの焦点距離、レンズの寸法と、撮影条件情報２１Ａの拡大率とから視野角Ａ１，Ａ２を算出する。レンズの焦点距離及び寸法は、空間情報生成部１５１に予め設定されている。
【００４４】
距離Ｋ１は、四角錐の高さに相当するパラメータである。距離Ｋ１を撮影空間情報２１Ｂに設定することにより、撮影空間２１Ｄが際限なく広がることが防止される。距離Ｋ１は、ユーザがデジタルカメラ１を操作して設定してもよいし、予め空間情報生成部１５１に設定されている距離を設定してもよい。
【００４５】
空間情報生成部１５１は、撮影位置Ｐ１、方向ベクトルＶ１、視野角Ａ１，Ａ２、及び距離Ｋ１が設定された撮影空間情報２１Ｂを生成する。同様に、撮影画像データ２２〜２４の撮影空間を特定する撮影空間情報２２Ｂ〜２４Ｂが生成される。撮影空間情報２１Ｄ〜２４Ｄは、メモリカード２０に記憶される。
【００４６】
｛２．３．使用画像データの選択（ステップＳ３）｝
次に、使用画像選択部１５２が、撮影空間情報２１Ｂ〜２４Ｂを用いて、撮影画像データ２１〜２４の中から、３次元画像データ３０の生成に使用する使用画像データを選択する（ステップＳ３）。
【００４７】
図５は、撮影空間２１Ｄ〜２４Ｄを撮影空間情報２１Ｂ〜２４Ｂに基づいて２次元平面上に配置した図である。撮影空間２１Ｄを一点鎖線で示す。撮影空間２２Ｄ，２４Ｄを実線で示す。撮影空間２３Ｄを破線で示す。ここでは、説明を簡単にするために、撮影空間２１Ｄ〜２４Ｄの仰角／俯角は考慮しない。
【００４８】
図５に示すように、撮影空間２１Ｄが、撮影空間２２Ｄと重なっているため、使用画像選択部１５２は、撮影画像データ２１，２２を使用画像データとして決定する。つまり、撮影空間が互いに重なる二つの撮影画像データが、使用画像データとして選択され、３次元画像データ３０の生成に用いられる。
【００４９】
上述したように、３次元画像データ３０の生成には、異なる視点で同一の被写体５０を撮影した複数の撮影画像データが必要である。撮影空間２１Ｄ，２２Ｄが重なっていれば、撮影画像データ２１，２２には、同一の被写体５０が撮影されていると考えることができる。このため、使用画像選択部１５２は、撮影画像データ２１，２２を３次元画像データ３０の生成に使用できると判断して、使用画像データとして選択する。使用画像選択部１５２は、撮影空間２３Ｄが撮影空間２１Ｄ，２２Ｄと互いに重なっているため、撮影画像データ２１，２２と同様に、撮影画像データ２３を使用画像データとして選択する。
【００５０】
撮影画像データ２４の撮影空間２４Ｄは、撮影空間２１Ｄ〜２３Ｄのいずれとも重なっていない。つまり、撮影画像データ２４には、被写体５０が撮影されていないと考えることができる。このため、使用画像選択部１５２は、撮影画像データ２４を使用画像データとして選択しない。
【００５１】
この結果、同一の被写体５０が撮影されている撮影画像データ２１〜２３のみを３次元画像データ３０の生成に用いることができる。３次元画像データ３０における描画対象（被写体５０）が撮影されていない撮影画像データに対して、特徴点検出処理などが行われることがないため、無駄な計算量を削減することが可能となる。
【００５２】
｛２．４．検出領域の設定（ステップＳ４）｝
次に、使用画像データとして選択された撮影画像データ２１〜２３のそれぞれに対して、特徴点の検出領域を設定する。以下、撮影画像データ２２を例にして、検出領域の設定について詳しく説明する。
【００５３】
検出領域設定部１５３は、撮影空間２１Ｄ，２３Ｄのうち、撮影画像データ２２の撮影位置Ｐ２に最も近い撮影位置を有する撮影空間を決定する。図５に示すように、撮影画像データ２１の撮影位置Ｐ１が、撮影画像データ２２の撮影位置Ｐ２に一番近くに位置する。このため、検出領域設定部１５３は、撮影画像データ２２の検出領域の設定に、撮影画像データ２１の撮影空間情報２１Ｂを用いることを決定する。
【００５４】
図６は、撮影画像データ２２の検出領域４０を示す図である。検出領域設定部１５３は、撮影空間情報２１Ｂ，２２Ｂを用いて、撮影画像データ２２の画像領域において撮影空間２１Ｄが含まれる範囲を算出する。算出された範囲が、検出領域４０として設定される。図６において、撮影画像データ２２の検出領域４０を、ハッチングで示す。
【００５５】
図５に示すように、撮影画像データ２２Ｄの撮影位置Ｐ２からベクトルＶ２の方向（撮影画像データ２２の撮影方向）を見た場合、撮影空間２１Ｄが右から左方向へ横切るように配置されていることがわかる。このため、図６では、撮影画像データ２２の検出領域４０は、右から左方向へ広がるように形成される。これにより、撮影画像データ２２の画像領域全体にわたって特徴点を検出しなくて済むため、３次元画像データ３０の生成時の演算量を削減することが可能となる。撮影画像データ２１，２３の検出領域４０も、同様にして設定される。
【００５６】
撮影画像データ２２の検出領域４０の設定において、撮影画像データ２２を除く他の使用画像データ（撮影画像データ２１，２３）の撮影空間２１Ｄ，２３Ｄの両者が重複する範囲を、設定領域４０としてもよい。図７は、撮影画像データ２２において撮影空間２１Ｄ，２３Ｄの両者が重複する範囲を示す図である。図７において、検出領域４０をハッチングで示す。撮影空間２１Ｄを一点鎖線で示す。撮影空間２３Ｄを破線で示す。この場合、設定領域４０が、図６に示す設定領域４０よりも狭くなるため、３次元画像データ３０の生成時の演算量を、さらに削減することができる。
【００５７】
撮影画像データ２２の検出領域４０の設定において、撮影空間２１Ｄ，２３Ｄの少なくともいずれか一つの空間と重複する範囲を、設定領域４０としてしてもよい。この場合、検出領域４０が、図６に示す検出領域４０よりも広くなる。たとえば、撮影画像データ２２において、３次元画像データ３０の描画対象（被写体）の一部が、検出領域４０の外側に位置することを防ぐことできる。
【００５８】
このように、デジタルカメラ１は、撮影画像データ２１〜２４のうち、３次元画像データ３０の生成に用いる使用画像データを、撮影画像データ２１〜２４の撮影空間情報２１Ｂ〜２４Ｂに基づいて決定する。これにより、３次元画像データ３０を生成するときに、撮影画像データ２１〜２４のうち、同一の被写体が撮影されていない撮影画像データ２４の特徴点を検出しなくてもよい。このため、３次元画像データ３０の生成時の演算量を削減することができる。
【００５９】
また、使用画像データとして選択された撮影画像データ２１〜２３のそれぞれに対して、特徴点の検出領域４０を、撮影空間情報２１Ｂ〜２３Ｂを用いて設定する。これにより、撮影画像データ２１〜２３の画像領域の全体にわたって特徴点検出処理を行う必要がないため、３次元画像データ３０の生成時の演算量をさらに削減することができる。
【００６０】
｛３．３次元画像データ３０の生成｝
以下、使用画像データの特徴点を検出してから、各特徴点の３次元座標を算出するまでの流れの概略を説明する。３次元画像生成部１５は、撮影画像データ２１〜２３の検出領域４０内に存在する特徴点を、ＳＩＦＴなどのアルゴリズムを用いて検出する。撮影画像データ２２の特徴点を検出する場合、３次元画像生成部１５は、複数のガウシアンフィルタを用いて、各ガウシアンフィルタに対応する撮影画像データ２２の平滑化画像を生成する。平滑化画像同士の差分により得られるＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）画像から極値を検出する。ＤｏＧ画像において極値が検出された点が、撮影画像データ２２の特徴点となる。特徴点は、１２８次元の特徴量（ベクトル）として表現される。
【００６１】
図８は、図６に示す検出領域４０から検出された特徴点を示す図である。図８において特徴点を黒丸で示す。特徴点は、撮影画像データ２２の検出領域４０の中から検出されており、検出領域４０の外にある太陽や雲からは検出されていないことがわかる。
【００６２】
次に、撮影画像データ２１〜２３において検出された特徴点の対応を求める。つまり、撮影画像データ２１〜２３で検出された特徴点群の中から、現実空間において同一点を示している特徴点（対応点）を抽出する。
【００６３】
たとえば、撮影画像データ２２の特徴点ＣＰ２（図９参照）の対応点を、撮影画像データ２１の特徴点から求めることができる。特徴点ＣＰ２の特徴量と、撮影画像データ２１の各特徴点の特徴量とのユークリッド距離を算出する。ユークリッド距離が最小となる撮影画像データ２１の特徴点が、特徴点ＣＰ２が示す現実空間の点（注視点）と同じ点を指す対応点として同定される。
【００６４】
上述のように、検出領域４０を設定することにより、撮影画像データ２１〜２３において検出される特徴点の数が減少する。このため、ある特徴点に対する対応点を同定する場合にも、演算量（ユークリッド距離の算出回数）を削減することができる。
【００６５】
次に、特徴点ＣＰ２の３次元座標を、撮影画像データ２１，２２の位置情報などを用いて算出する。図９は、特徴点ＣＰ２の３次元座標を算出する原理を説明する図である。図９において、撮影画像データ２１，２２の撮影位置Ｐ１，Ｐ２が、デジタルカメラ１のレンズの焦点に対応する。撮影画像データ２１の特徴点ＣＰ１は、特徴点ＣＰ２の対応点である。レンズの光軸を一点鎖線で示す。光軸は、撮影画像データ２１，２２の画像中心を通過する。
【００６６】
３次元画像生成部１５は、レンズの焦点から見た特徴点ＣＰ１，ＣＰ２のベクトルＤＶ１，ＤＶ２を算出する。特徴点ＣＰ１のベクトルＤＶ１は、撮影画像データ２１の撮影位置Ｐ１から見た注視点Ｍの方向を示す。特徴点ＣＰ２のベクトルＤＶ２は、撮影画像データ２２の撮影位置Ｐ２から見た注視点Ｍの方向を示す。撮影位置Ｐ１，Ｐ２の位置情報と、ベクトルＤＶ１，ＤＶ２とを用いて、三角測量の原理で注視点Ｍの３次元座標を算出することができる。このようにして、各特徴点が指す現実空間の注視点の３次元座標が算出される。３次元画像生成部１５は、算出された注視点の３次元座標に基づいて多角形を構成する。構成された多角形の面に、対応する撮影画像データなどが貼り付けられることにより、３次元画像データ３０が生成される。
【００６７】
本実施の形態では、デジタルカメラ１が３次元画像データ３０を生成する例を説明したが、これに限られない。たとえば、３次元画像データを作成する機能を有するソフトウェアに、空間情報生成部１５１、使用画像選択部１５２、及び検出領域設定部１５３として機能させるプログラムを組み込んでもよい。
【符号の説明】
【００６８】
１ デジタルカメラ
１１ 撮影部
１２ 位置検出部
１３ 撮影方向検出部
１４ 画像処理部
１５ ３次元画像生成部
１６ メモリカードスロット
２０ メモリカード
２１，２２，２３，２４ 撮影画像データ
２１Ａ，２２Ａ，２３Ａ，２４Ａ 撮影条件データ
２１Ｂ，２２Ｂ，２３Ｂ，２４Ｂ 撮影空間情報
３０ ３次元画像データ
４０ 検出領域
１５１ 空間情報生成部
１５２ 使用画像選択部
１５３ 検出領域設定部
【特許請求の範囲】
【請求項１】
複数の２次元画像データと、各２次元画像データの撮影条件を示す撮影条件情報とを記憶する記憶部と、
各２次元画像データにより撮影された撮影空間を前記撮影条件情報に基づいて特定し、各２次元画像データの撮影空間を示す撮影空間情報を生成する空間情報生成部と、
前記複数の２次元画像データのうち、撮影空間が互いに重なる二つの２次元画像データを前記撮影空間情報に基づいて検出した場合、前記二つの２次元画像データを３次元画像データの生成に用いる使用画像データとして選択する使用画像選択部と、
を備える３次元画像生成装置。
【請求項２】
請求項１に記載の３次元画像生成装置において、
前記使用画像データは、
第１の２次元画像データと、
前記第１の２次元画像データの撮影空間と重なる撮影空間を有する第２の２次元画像データと、
を含み、
前記３次元画像生成装置は、さらに、
前記第１の２次元画像データの画像領域において、前記第２の２次元画像データの撮影空間が重複する重複領域を前記撮影空間情報に基づいて特定し、前記重複領域を前記第１の２次元画像データの特徴点を検出する検出領域として設定する検出領域設定部、
を備える３次元画像生成装置。
【請求項３】
請求項２に記載の３次元画像生成装置において、
前記使用画像データは、
前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、
を含み、
前記検出領域設定部は、前記グループの中から、前記第１の２次元画像データの撮影位置に近い位置で撮影された近傍画像データを前記撮影空間情報に基づいて特定し、前記近傍画像データの撮影空間情報に基づいて、前記検出領域を設定する３次元画像生成装置。
【請求項４】
請求項２に記載の３次元画像生成装置において、
前記使用画像データは、
前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、
を含み、
前記検出領域設定部は、前記第１の２次元画像データの画像領域において、前記グループを構成する全ての２次元画像データの撮影空間が重なった領域を、前記検出領域として設定する３次元画像生成装置。
【請求項５】
請求項２に記載の３次元画像生成装置において、
前記使用画像データは、
前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、
を含み、
前記検出領域設定部は、前記第１画像データの画像領域のうち、前記グループを構成する少なくとも一つの２次元画像データの撮影空間が含まれる領域を、前記検出領域として設定する３次元画像生成装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の３次元画像生成装置において、さらに、
被写体を撮影して前記複数の２次元画像データを生成する撮影部と、
自装置の位置を検出して位置情報を生成する位置検出部と、
自装置の姿勢を検出して撮影方向を示す方向情報を生成する姿勢検出部と、
を備え、
前記空間情報生成部は、前記被写体の撮影時における位置情報及び方向情報を、前記撮影条件情報として用いる３次元画像生成装置。
【請求項１】
複数の２次元画像データと、各２次元画像データの撮影条件を示す撮影条件情報とを記憶する記憶部と、
各２次元画像データにより撮影された撮影空間を前記撮影条件情報に基づいて特定し、各２次元画像データの撮影空間を示す撮影空間情報を生成する空間情報生成部と、
前記複数の２次元画像データのうち、撮影空間が互いに重なる二つの２次元画像データを前記撮影空間情報に基づいて検出した場合、前記二つの２次元画像データを３次元画像データの生成に用いる使用画像データとして選択する使用画像選択部と、
を備える３次元画像生成装置。
【請求項２】
請求項１に記載の３次元画像生成装置において、
前記使用画像データは、
第１の２次元画像データと、
前記第１の２次元画像データの撮影空間と重なる撮影空間を有する第２の２次元画像データと、
を含み、
前記３次元画像生成装置は、さらに、
前記第１の２次元画像データの画像領域において、前記第２の２次元画像データの撮影空間が重複する重複領域を前記撮影空間情報に基づいて特定し、前記重複領域を前記第１の２次元画像データの特徴点を検出する検出領域として設定する検出領域設定部、
を備える３次元画像生成装置。
【請求項３】
請求項２に記載の３次元画像生成装置において、
前記使用画像データは、
前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、
を含み、
前記検出領域設定部は、前記グループの中から、前記第１の２次元画像データの撮影位置に近い位置で撮影された近傍画像データを前記撮影空間情報に基づいて特定し、前記近傍画像データの撮影空間情報に基づいて、前記検出領域を設定する３次元画像生成装置。
【請求項４】
請求項２に記載の３次元画像生成装置において、
前記使用画像データは、
前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、
を含み、
前記検出領域設定部は、前記第１の２次元画像データの画像領域において、前記グループを構成する全ての２次元画像データの撮影空間が重なった領域を、前記検出領域として設定する３次元画像生成装置。
【請求項５】
請求項２に記載の３次元画像生成装置において、
前記使用画像データは、
前記第２の２次元画像データを含み、前記第１の２次元画像データの撮影空間と重なる撮影空間を有する２次元画像データのグループ、
を含み、
前記検出領域設定部は、前記第１画像データの画像領域のうち、前記グループを構成する少なくとも一つの２次元画像データの撮影空間が含まれる領域を、前記検出領域として設定する３次元画像生成装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の３次元画像生成装置において、さらに、
被写体を撮影して前記複数の２次元画像データを生成する撮影部と、
自装置の位置を検出して位置情報を生成する位置検出部と、
自装置の姿勢を検出して撮影方向を示す方向情報を生成する姿勢検出部と、
を備え、
前記空間情報生成部は、前記被写体の撮影時における位置情報及び方向情報を、前記撮影条件情報として用いる３次元画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−５９０４２（Ｐ２０１２−５９０４２Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０２０２０（Ｐ２０１０−２０２０２０）
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]