全方位三次元計測装置
【課題】 １台のカメラによりステレオ計測の原理で全方位三次元計測を行うこと。
【解決手段】 本発明は、上記の問題を解決するために、１台のカメラと、該カメラの光軸に沿って前方に配置した２枚の平板状の反射鏡と、前記カメラおよび前記反射鏡を回転させる回転テーブルとを具備し、前記カメラおよび反射鏡を回転させて、全方位の画像を生成し三次元計測を行う。
【解決手段】 本発明は、上記の問題を解決するために、１台のカメラと、該カメラの光軸に沿って前方に配置した２枚の平板状の反射鏡と、前記カメラおよび前記反射鏡を回転させる回転テーブルとを具備し、前記カメラおよび反射鏡を回転させて、全方位の画像を生成し三次元計測を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを計測する三次元計測装置に関する。
【背景技術】
【０００２】
従来、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを測定するために、所謂画像モザイキングを利用した方法がある。この方法では、カメラを回転台に載置、固定して、回転台を回転させてカメラにより全方位を撮影し、得られた画像をつなぎ合わせることによりパノラマ画像が生成される。このようにして２枚以上のパノラマ画像を取得し、ステレオ計測の原理で三次元計測が行われる。この方法は、比較的高い解像度のパノラマ画像が得られるので、高い測定密度の三次元計測が行える。
【０００３】
三次元計測を行うためには、２枚以上のパノラマ画像を取得しなければならないが、２枚のパノラマ画像を１台の回転カメラを用いて取得することが、非特許文献１〜３に開示されている。図１に従来技術によるパノラマ画像撮影装置を示す。
【０００４】
この方法では、図１５に示すように、先ず、１台のカメラ１０を回転中心Ｏに関して半径方向外方へ向けて、回転中心Ｏ回りに回転自在の回転台１２に取付ける。このとき、カメラ１０は、その光軸が回転中心Ｏを通るように配置される。次いで、回転台１２を回転させて、カメラ１０により撮影する。こうして得られた撮影された画像データを、図１６に示すように、回転角度毎に順次並べて、左右対称の２つのスリットを通して画像データを抽出し、２枚のパノラマ画像を生成する。ただし、カメラの光学中心の位置が回転中心と一致していると、得られる２枚のパノラマ画像に視差が生じないため奥行きは推定できない。よって、カメラ配置は、光学中心の位置を回転中心からずらしておく必要がある。
【０００５】
この方法は、カメラを１台しか利用しないことに加え、ステレオ計測の際に行われる対応点探索が、パノラマの水平軸（θ軸）に限定されるため、画像間のマッチング計算が簡単（エピポーラ拘束が単純）であるという利点を持つ。
【０００６】
然しながら一方で、(1)ステレオ計測の精度に影響するベースラインが短く推定精度が悪い、(2)１組のステレオペアのみを利用しているため画像ノイズやオクルージョン（隠れ）に弱い、という２つの問題がある。
【０００７】
まず、(1)のベースラインについて説明する。
この従来技術による方法では、図１７に示すように、空間内の点Ｐが左右のスリットに観測されたとき、点Ｐの奥行きλが計算できるという原理を利用して三次元計測が行われる。すなわち、パノラマ間の対応点が得られれば、角度方向の視差（２Δθ）が得られ、既知の回転半径ｒとスリット間画角ψから以下の式（１）により奥行きλが得られる。
【数１】
【０００８】
このとき、ステレオ計測における無限遠方の測定対象点に対するベースライン長は、図１８において長さＢで示され、以下の式（２）により得られる。
Ｂ＝２ｒｓｉｎθ …（２）
【０００９】
この長さが大きいほど、ステレオ計測の際の奥行き推定精度が高くなることが知られている。然しながら、このベースライン長は、スリットの画角ψに制限されており、一般的なカメラではψは高々２０°程度であるため、Ｂはカメラの回転半径ｒの７０％程度とかなり小さくなってしまう。
【００１０】
また、パノラマ画像を２枚しか利用しない場合、撮影時に画像中にノイズが入ったり、オクルージョンによって見えない部分が存在したりした場合、正しい対応点が得られないことがある。これが(2)の問題であり、この問題を解決するためには、より多くのパノラマ画像を取得して利用することが望ましい。
【００１１】
その他の従来技術による方法として、２枚以上のパノラマ画像を、複数の回転カメラから取得する方法が非特許文献４、５に開示されている。非特許文献４では、画像ノイズの問題を低減するために、複数のカメラを利用している。また、非特許文献５の方法では、ベースラインを大幅に向上することが可能である。然しながら、複数カメラを利用するこれらの方法の場合、カメラ間の配置に関するキャリブレーションや、カメラ特性の違いによって生じる画像の明るさや色ずれなどのキャリブレーションを正確に行わなければならないという問題が生じる。
【００１２】
【非特許文献１】H. Ishiguro, M. Yamamoto, and S. Tsuji,“Omni-Directional Stereo”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, pp. 257-262, February 1992
【非特許文献２】S. Peleg, M. Ben-Ezra, and Y. Pritch,“Omnistereo: Panoramic Depth Imaging”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 3, pp. 279-290, March 2001
【非特許文献３】P. Peer and F. Solina,“Panoramic Depth Imaging: Single Standard Camera Approach”, International Journal of Computer Vision, Vol. 47, No. 1-3, pp. 149-160, June 2002
【非特許文献４】Y. Li, H-Y Shum, C-K Tang, and R. Szeliski,“Stereo Reconstruction from Multiperspective Panoramas”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 1, pp. 45-62, January 2004
【非特許文献５】姜 偉、杉本茂樹、奥富正敏、“ステレオマルチパースペクティブパノラマによる全方位三次元再構成”、電子情報通信学会ＰＲＭＵ研究会発表資料 ２００４年１月２２、２３日 大阪府立大学 学術交流会館 信学技報 Vol. 103, No. 585, pp. 77-82, PRMU2003-211
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、複数のカメラを用いたときに発生するカメラキャリブレーション等の問題を回避するために、複数のカメラを用いることなく１台のカメラによる全方位三次元計測を可能とする全方位三次元計測装置を提供することを目的とする。
【００１４】
更に、本発明は、１台のカメラを用いて、ステレオ計測におけるベースライン長を増大すること、ステレオ計測における簡単なエピポーラ拘束を実現すること、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減することを目的としている。
【課題を解決するための手段】
【００１５】
請求項１に記載の本発明は、所定の軸線に関して所定の角度を以て交差するように光軸を前記軸線を中心として回転自在に設けられたカメラと、前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置を要旨とする。
【発明の効果】
【００１６】
本発明によれば、１台のカメラと、該カメラの前方に配置した一対の反射鏡と、前記カメラおよび反射鏡を回転させるための回転台によって複数のカメラを用いることなく全方位三次元計測が可能となる。
【００１７】
前記カメラを反射鏡と共に回転して撮影することにより得られた画像をモザイキングすることにより全方位パノラマ画像を生成し、ステレオ計測の原理を利用して三次元計測がなされる。この方法により、全方位画像センサを利用したときと比較して計測密度の高い全方位三次元計測が可能となる。
【００１８】
反射鏡の配置を調節することにより、実カメラの回転半径より格段に大きなベースライン長を実現可能である。
また、反射鏡の配置を調節することにより、仮想的な対称配置の２台のカメラによる簡単なエピポーラ拘束が実現可能である。
【００１９】
一対の反射鏡間に隙間を設けて画像を撮影することにより、ステレオ計測における基準パノラマ画像が取得される。また、反射鏡の配置を調節することにより、この基準パノラマ画像に対して左右対称となる、仮想カメラに撮影された画像と同等の参照パノラマ画像を得ることが可能となる。基準パノラマ画像と、２枚の参照パノラマ画像を利用して三次元計測を行うことにより、画像ノイズ、オクルージョン、繰り返しパターンの影響が低減される。
【００２０】
画像ノイズ、オクルージョン、繰り返しパターンの影響を低減するための別の方法として、上記装置を回転させることにより得られる画像全体を利用して、時空間画像中の軌跡を抽出することにより、三次元計測を行う。これにより、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明による全方位三次元計測装置の好ましい実施形態を説明する。
先ず、図１を参照すると、全方位三次元計測装置１００は、回転中心Ｏｒを形成する鉛直軸線を中心として回転自在に設けられた回転台１０２と、該回転台１０２の周縁部に取付けられたカメラ１０４と、該カメラ１０４の前方または半径方向外側に配設された平板状の一対の反射鏡１０６ａ、１０６ｂとを主要な構成要素として具備している。カメラ１０４は、デジタルカメラであることが好ましい。然しながら、通常のカメラを用いて写真フィルムにシーンを撮影し、該フィルムを現像した後に、ネガフィルムまたは印画紙上に形成された画像を走査して、デジタル処理してもよい。
【００２２】
カメラ１０４は、その光軸ａが回転中心Ｏｒを通り、かつ前記鉛直軸線に対して垂直となるように回転台１００に固定されている。一対の反射鏡１０６ａ、１０６ｂはカメラの前方に配置され、各反射鏡１０６ａ、１０６ｂの各々の平面の法線が、前記鉛直軸線に対して垂直となるように配置される。反射鏡１０６ａ、１０６ｂの反射面はカメラ側にある。こうして、反射鏡１０６ａ、１０６ｂは、該反射鏡１０６ａ、１０６ｂで反射した光はカメラ１０４の対物レンズに入射できるように、回転中心Ｏｒに関する半径方向沿いにカメラ１０４の前方に、光軸Ｏｒに関して所定の角度αを以て配向される。また、一対の反射鏡１０６ａ、１０６ｂは、両者間に隙間ｇが形成されるように配置される。この構成により、カメラ１０４によって撮影される画像は、図２に示すように、左右一対の反射鏡１０６ａ、１０６ｂおよび隙間ｇに対応した３つの領域に分割される。こうした構成によって、回転台１０２を回転中心Ｏｒ回りに回転し、所定の回転角度θ毎に全方位３６０°に渡ってシーンを撮影する。そして、得られた画像を用いてステレオ計測の原理で三次元計測を行う。
【００２３】
この装置のように一対の反射鏡１０６ａ、１０６ｂによって視野分割を行うことにより、１台のカメラは、２台の仮想的なカメラの役割をも同時になし、結果として３台のカメラの役割を果たす。１台の実カメラと仮想的な２台の仮装的なカメラについて詳しく説明する。図３は、左の反射鏡１０６ａに対応する仮想カメラ１１０を示している。実カメラ１０４の回転半径ｒと、左の反射鏡１０６ａの位置と、角度αが正確にわかっている場合、図３に示した左反射鏡１０６ａに対応する仮想カメラ１１０の光学中心Ｃ1と、その光軸ａ′の方向は演算により得ることができる。また、仮想カメラ１１０の回転半径Ｒは以下の式（３）により得られる。
【数２】
【数３】
【００２４】
ここで、
Ｒ：仮想カメラの回転半径
ｒ：実カメラの回転半径
α：実カメラの光軸と反射鏡の平面がなす角度
Ｌ：光軸ａと反射鏡の平面の交点と回転中心との間の距離
である。
【００２５】
反射鏡１０６ａは実カメラ１０４の前方に配置されているので、Ｌ＞ｒである。従って、仮想カメラ１１０の回転半径Ｒは、実カメラ１０４の回転半径ｒよりも大きくなる。ただし、この左の反射鏡１０６ａに対応する仮想カメラ１１０は、右側半分以下の視界しか持たない。同様に、右の反射鏡１０６ｂに対応する仮想カメラも考えることができ、その仮想カメラは左半分以下の視界しか持たない。
【００２６】
反射鏡の配置を決定する距離Ｌは、実カメラの回転半径ｒと該実カメラの大きさを加えた長さよりも十分大きくとる。また、反射鏡の角度αは実カメラの画角に依存し、仮想円１１２の接線方向からの光線反射が実カメラの視野領域に入るように調整する。
【００２７】
次に、上述した装置を用いたパノラマ画像の生成方法を説明する。
先ず、回転台１０２を回転させて、カメラ１０４により回転中心Ｏｒ回りに全方位３６０°にわたって所定の角度θ毎に複数の画像を撮影する。次いで、各θにおいて得られる画像を、図５に示すように、撮影の順にθ方向へ並べて３６０°に渡る時空間画像１３０を生成する。時空間画像１３０は、左の反射鏡１０６ａで反射してカメラ１０４により撮影された左画像領域１３２と、右の反射鏡１０６ｂで反射してカメラ１０４により撮影された右画像領域１３４と、中央の隙間ｇを通過してカメラ１０４により撮影された中央画像領域１３６とから成る。
【００２８】
時空間画像１３０の左画像領域１３２の縦スリット１３２ａによって得られる部分を、回転角θ毎に順に抽出して左パノラマ画像１３２ｂが生成され、同様に、右画像領域１３４の縦スリット１３４ａから右パノラマ画像１３４ｂが生成され、中央画像領域１３６の縦スリット１３６ａから中央パノラマ画像１３６ａが生成される（図６参照）。時空間画像１３０を生成することなく、回転角θ毎に撮影された画像データ中の縦スリット１３４ａ、１３４ｂ、１３６ｂに相当する画像データを蓄積して左右および中央のパノラマ画像１３２ｂ、１３４ｂ、１３６ｂを生成してもよい。こうして得られた３枚のパノラマ画像、つまり左パノラマ画像、中央パノラマ画像、右パノラマ画像の例を図６に示す。
【００２９】
ここで、縦スリット１３２ａ、１３４ａ、１３６ａは、回転中心Ｏｒを決定する軸線に平行に定義される。また、左右領域の縦スリット１３２ａ、１３４ａは、好ましくは、対応するカメラ視線が回転半径Ｒによって定まる円の接線方向になるように決定される。このとき、反射鏡１０６ａ、１０６ｂの角度αは、円の接線方向からの光線反射が実カメラ１０４の視野領域内に入るように調整しなければならない。
【００３０】
以下、これらのパノラマ画像を利用して、ステレオ計測の原理で三次元計測を行う方法を説明する。
本発明の第１の実施形態による三次元計測方法では、左パノラマ画像１３２ｂと、右パノラマ画像１３４ｂの２枚のみを利用して三次元計測を行う。なお、以下の説明では、左パノラマ画像１３２ｂを基準パノラマ画像とし、右パノラマ画像１３４ｂを参照画像とする。
【００３１】
先ず、左パノラマ画像１３２ｂにおいて、奥行きを求めたい注目画素を選択し、その注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、右パノラマ画像１３４ｂ中の画素座標が計算できる。次いで、左パノラマ画像１３２ｂ上の注目画素と、右パノラマ画像１３４ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を、あらかじめ設定したウィンドウに関して計算し、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、ＳＳＤは小さくなる。こうして、λを変化させてＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、左パノラマ画像１３２ｂ上の全ての画素に対して行い、全方位の三次元計測結果とする。
【００３２】
この方法の場合、ステレオ計測におけるベースライン長は、図７中のＢ1で示すように、仮想カメラの回転直径となる。このベースライン長は、１台のカメラを利用した従来技術による方法におけるベースライン長よりも格段に大きくなる。また、ステレオ計測におけるエピポーラ拘束は、１台のカメラを利用した従来技術による方法と同様に非常に単純である。
【００３３】
次に、第２の実施形態による三次元計測方法を説明する。
第２の実施形態では、第１の実施形態で用いた左右のパノラマ画像１３２ｂ、１３４ｂに加えて、中央領域のパノラマ画像１３６ｂを用いて各画素の奥行きを求める。すなわち、中央パノラマ画像１３６ｂが基準パノラマ画像となり、左右のパノラマ画像１３２ｂ、１３４ｂが参照画像となる。第１の実施形態と同様に、基準パノラマ画像において、奥行きを求めたい注目画素を選択する。また、その注目画素に対する奥行きの候補λを決定する。λが定まると、その注目画素の位置に対応する、左パノラマ画像１３２ｂ中の画素座標が計算できる。次いで、基準パノラマ画像上の注目画素と、左パノラマ画像１３２ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を計算する。同様に、右パノラマ画像１３４ｂに対してもＳＳＤを計算する。
【００３４】
こうして得られた２つのＳＳＤを加算してＳＳＳＤ(Sum of SSD)を求め、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、左右パノラマ画像１３２ｂ、１３４ｂの各々のＳＳＤは小さくなり、得られるＳＳＳＤも小さくなる。よって、λを変化させてＳＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。
【００３５】
ここで、本実施形態におけるステレオ計測におけるベースライン長は、図７中のＢ2で示すように、仮想カメラの回転半径Ｒとなる。この回転半径Ｒは、第１の実施形態のベースライン長Ｂ1、および実カメラ１０４の回転半径ｒよりも大きい。従って、本実施形態におけるベースライン長は、第１の実施形態による方法および１台のカメラを利用した従来技術による方法におけるベースライン長よりも大幅に大きくなる。
【００３６】
また、３枚のパノラマを利用した場合では、右パノラマ画像１３２ｂ中に画像ノイズが存在した場合に、基準パノラマ画像（中央パノラマ画像１３６ｂ）と右パノラマ画像１３２ｂ間のＳＳＤ値が小さくならないことが生じ得る。然しながら、本実施形態では、左パノラマ画像１３４ｂで得られたＳＳＤも同様に利用するため、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、画像ノイズの影響を低減できる。
【００３７】
更に、右パノラマ画像１３２ｂ中でオクルージョンが発生した場合も、基準パノラマ画像１３６ｂと右パノラマ画像１３２ｂ間のＳＳＤ値は小さくならない。然しながら、一般に、右パノラマ画像１３２ｂと左パノラマ画像１３４ｂで同時にオクルージョンが発生することは少ないので、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、オクルージョンの影響も低減できる。
【００３８】
次に、本発明の第３の実施形態による三次元計測方法を説明する。本実施形態では、特定のパノラマ画像間のＳＳＤを計算するのではなく、図５に示した時空間画像１３０全体から軌跡を抽出することにより三次元計測を行う。本実施形態では、第２の実施形態と同様に中央パノラマ画像１３６ｂを基準パノラマ画像とする。
【００３９】
まず、基準パノラマ画像である中央パノラマ画像１３６ｂにおいて、奥行きを求めたい注目画素を選択し、該注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、左画像領域１３２中の対応点の軌跡が計算できる。そこで、中央パノラマ画像１３６ｂ中の注目画素と、左画像領域１３２において対応する対応画素の濃淡値の差の二乗和（ＳＳＤ）を、対応点の軌跡に渡って加算しＳＳＳＤを求める。同様に、右画像領域１３４中の対応点の軌跡に関してもＳＳＳＤを計算する。この２つのＳＳＳＤを、異なるλについて全て計算する。例えば、合計Ｎ個のλについてＳＳＳＤを計算すると、合計２×Ｎ個のＳＳＳＤが得られる。このＳＳＳＤの中で、最も小さいＳＳＳＤに対応するλを、注目画素に対する奥行き推定結果λとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。
【００４０】
第２の実施形態では、中央パノラマ画像１３６ｂを基準パノラマ画像とし、左右パノラマ画像１３２ｂ、１３４ｂを２枚の参照画像として利用して奥行き推定を行っているが、第３の実施形態では、より多くの参照画像を利用して奥行きを推定しているのと等価である。つまり、第３の実施形態では、左画像領域１３２に注目すると、左画像領域１３２全ての縦スリットで構成されるパノラマ画像を利用してＳＳＳＤを計算することと等価である。よって、左画像領域１３２だけで画像ノイズの影響を低減した三次元計測ができる。このとき、各縦スリットに対応するベースライン長が存在する。よって、第３の実施形態では、複数の異なるベースライン長のステレオ計測を利用した三次元計測となり、そのベースライン長の最大値は、第２の実施形態で述べたＢ2と同じになる。同様に、右画像領域１３４のみを利用して三次元計測ができるが、一方の反射鏡の領域でオクルージョンが発生した場合、その領域全体に渡って注目画素に対応する対応点の軌跡が失われる可能性があるため、それぞれの反射鏡領域のＳＳＳＤを別々に評価する。これにより、オクルージョンの影響を低減できる。さらに、多くのパノラマ画像を利用する効果として、画像に含まれる繰り返しパターンによる誤対応の問題も改善することができる。
【００４１】
既述した第１から第３の実施形態による方法によれば、１台のカメラを利用した従来技術による方法のものよりも大きなベースライン長を利用できる。例えば、図４においてα＝４５°、Ｌ＝２ｒとすると、(1)第１の実施形態では、Ｂ1＝２Ｒ＝２ｒ５1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約６．５４倍のベースラインを持ち、(2)第２の実施形態では、Ｂ2＝Ｒ＝ｒ５1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約３．２７倍のベースラインを持ち、(3)第３の実施形態では、複数のベースラインを持つステレオ計測の組み合わせになるが、その最大ベースライン長は第２の実施形態と同じである。
【００４２】
また、第２と第３の実施形態による方法では、画像ノイズに対する影響を低減でき、その効果は第３の実施形態による方法において最も高い。さらに、第２と第３の実施形態による方法では、オクルージョンに対する影響を低減でき、その効果は第３の実施形態による方法において最も効果的である。
【実施例】
【００４３】
以下、シミュレーション実験を行った結果を示す。ＣＧを利用して一辺が２．５メートル四方の部屋を作成し、壁にテクスチャを貼り付けたものを生成した。また、部屋の中にボールと円柱を配置した。
【００４４】
図４に示したパラメータについて、それぞれ、ｒ＝１３３．３［mm］、Ｌ＝２００［mm］、α＝４７．９°として、第３の実施形態による方法を利用して三次元形状復元を行った。このとき仮想カメラ１１０の回転半径はＲ＝２１２．９［mm］であった。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。
【００４５】
図８は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図９は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、近くの点ほど白く表示されるように表示してある。図１０は、２つの方法による三次元奥行き推定結果を断面図として表示したものである。これらの結果において、本発明システムを用いた第３の実施形態による方法の奥行き推定結果が、従来方法よりも良好であることがわかる。図１１は、このようにして得られた奥行き推定結果に、テクスチャを貼り付けたものである。
【００４６】
次に、実画像実験をおこなった結果を示す。
図４に示したパラメータについて、それぞれ、ｒ＝１９８．３４３［mm］、Ｌ＝２３０．０［mm］、左反射鏡のα＝４６．７２５°、右反射鏡のα＝４８．６８８°として、第３の実施形態による方法を利用して三次元形状復元を行った。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。
【００４７】
図１２は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図１３は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、既述のものと同様に、近くの点ほど白く表示されるように表示している。図１４は、三次元奥行き推定結果を断面図として表示したものである。発明システムを用いた方法が、従来方法よりも良好な結果が得られていることがわかる。
【図面の簡単な説明】
【００４８】
【図１】本発明の好ましい実施形態による三次元計測装置の概略図平面図である。
【図２】図１の装置により撮影された画像の一例である。
【図３】図１の装置における左の反射鏡に対応する仮想カメラを説明するための説明図である。
【図４】図１の装置における左の反射鏡に対応する仮想カメラを説明するための説明図である。
【図５】時空間画像を説明するための説明図である。
【図６】パノラマ画像の一例を示す図である。
【図７】本発明による三次元計測装置におけるベースライン長を説明するための説明図である。
【図８】従来技術と本発明による実験結果を比較するためのパノラマ画像の一例を示す図である。
【図９】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１０】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１１】実験に用いて三次元モデルを示す図である。
【図１２】従来技術と本発明による実験結果を比較するためのパノラマ画像の一例を示す図である。
【図１３】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１４】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１５】従来技術によるパノラマ画像撮影装置の略示斜視図である。
【図１６】従来技術によるパノラマ画像生成方法を説明するための説明図である。
【図１７】従来技術による計測方法を説明するための説明図である。
【図１８】従来技術におけるベースライン長を説明するための説明図である。
【符号の説明】
【００４９】
１００ 三次元計測装置
１０２ 回転台
１０４ カメラ
１０６ａ 反射鏡
１０６ｂ 反射鏡
【技術分野】
【０００１】
本発明は、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを計測する三次元計測装置に関する。
【背景技術】
【０００２】
従来、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを測定するために、所謂画像モザイキングを利用した方法がある。この方法では、カメラを回転台に載置、固定して、回転台を回転させてカメラにより全方位を撮影し、得られた画像をつなぎ合わせることによりパノラマ画像が生成される。このようにして２枚以上のパノラマ画像を取得し、ステレオ計測の原理で三次元計測が行われる。この方法は、比較的高い解像度のパノラマ画像が得られるので、高い測定密度の三次元計測が行える。
【０００３】
三次元計測を行うためには、２枚以上のパノラマ画像を取得しなければならないが、２枚のパノラマ画像を１台の回転カメラを用いて取得することが、非特許文献１〜３に開示されている。図１に従来技術によるパノラマ画像撮影装置を示す。
【０００４】
この方法では、図１５に示すように、先ず、１台のカメラ１０を回転中心Ｏに関して半径方向外方へ向けて、回転中心Ｏ回りに回転自在の回転台１２に取付ける。このとき、カメラ１０は、その光軸が回転中心Ｏを通るように配置される。次いで、回転台１２を回転させて、カメラ１０により撮影する。こうして得られた撮影された画像データを、図１６に示すように、回転角度毎に順次並べて、左右対称の２つのスリットを通して画像データを抽出し、２枚のパノラマ画像を生成する。ただし、カメラの光学中心の位置が回転中心と一致していると、得られる２枚のパノラマ画像に視差が生じないため奥行きは推定できない。よって、カメラ配置は、光学中心の位置を回転中心からずらしておく必要がある。
【０００５】
この方法は、カメラを１台しか利用しないことに加え、ステレオ計測の際に行われる対応点探索が、パノラマの水平軸（θ軸）に限定されるため、画像間のマッチング計算が簡単（エピポーラ拘束が単純）であるという利点を持つ。
【０００６】
然しながら一方で、(1)ステレオ計測の精度に影響するベースラインが短く推定精度が悪い、(2)１組のステレオペアのみを利用しているため画像ノイズやオクルージョン（隠れ）に弱い、という２つの問題がある。
【０００７】
まず、(1)のベースラインについて説明する。
この従来技術による方法では、図１７に示すように、空間内の点Ｐが左右のスリットに観測されたとき、点Ｐの奥行きλが計算できるという原理を利用して三次元計測が行われる。すなわち、パノラマ間の対応点が得られれば、角度方向の視差（２Δθ）が得られ、既知の回転半径ｒとスリット間画角ψから以下の式（１）により奥行きλが得られる。
【数１】
【０００８】
このとき、ステレオ計測における無限遠方の測定対象点に対するベースライン長は、図１８において長さＢで示され、以下の式（２）により得られる。
Ｂ＝２ｒｓｉｎθ …（２）
【０００９】
この長さが大きいほど、ステレオ計測の際の奥行き推定精度が高くなることが知られている。然しながら、このベースライン長は、スリットの画角ψに制限されており、一般的なカメラではψは高々２０°程度であるため、Ｂはカメラの回転半径ｒの７０％程度とかなり小さくなってしまう。
【００１０】
また、パノラマ画像を２枚しか利用しない場合、撮影時に画像中にノイズが入ったり、オクルージョンによって見えない部分が存在したりした場合、正しい対応点が得られないことがある。これが(2)の問題であり、この問題を解決するためには、より多くのパノラマ画像を取得して利用することが望ましい。
【００１１】
その他の従来技術による方法として、２枚以上のパノラマ画像を、複数の回転カメラから取得する方法が非特許文献４、５に開示されている。非特許文献４では、画像ノイズの問題を低減するために、複数のカメラを利用している。また、非特許文献５の方法では、ベースラインを大幅に向上することが可能である。然しながら、複数カメラを利用するこれらの方法の場合、カメラ間の配置に関するキャリブレーションや、カメラ特性の違いによって生じる画像の明るさや色ずれなどのキャリブレーションを正確に行わなければならないという問題が生じる。
【００１２】
【非特許文献１】H. Ishiguro, M. Yamamoto, and S. Tsuji,“Omni-Directional Stereo”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, pp. 257-262, February 1992
【非特許文献２】S. Peleg, M. Ben-Ezra, and Y. Pritch,“Omnistereo: Panoramic Depth Imaging”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 3, pp. 279-290, March 2001
【非特許文献３】P. Peer and F. Solina,“Panoramic Depth Imaging: Single Standard Camera Approach”, International Journal of Computer Vision, Vol. 47, No. 1-3, pp. 149-160, June 2002
【非特許文献４】Y. Li, H-Y Shum, C-K Tang, and R. Szeliski,“Stereo Reconstruction from Multiperspective Panoramas”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 1, pp. 45-62, January 2004
【非特許文献５】姜 偉、杉本茂樹、奥富正敏、“ステレオマルチパースペクティブパノラマによる全方位三次元再構成”、電子情報通信学会ＰＲＭＵ研究会発表資料 ２００４年１月２２、２３日 大阪府立大学 学術交流会館 信学技報 Vol. 103, No. 585, pp. 77-82, PRMU2003-211
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、複数のカメラを用いたときに発生するカメラキャリブレーション等の問題を回避するために、複数のカメラを用いることなく１台のカメラによる全方位三次元計測を可能とする全方位三次元計測装置を提供することを目的とする。
【００１４】
更に、本発明は、１台のカメラを用いて、ステレオ計測におけるベースライン長を増大すること、ステレオ計測における簡単なエピポーラ拘束を実現すること、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減することを目的としている。
【課題を解決するための手段】
【００１５】
請求項１に記載の本発明は、所定の軸線に関して所定の角度を以て交差するように光軸を前記軸線を中心として回転自在に設けられたカメラと、前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置を要旨とする。
【発明の効果】
【００１６】
本発明によれば、１台のカメラと、該カメラの前方に配置した一対の反射鏡と、前記カメラおよび反射鏡を回転させるための回転台によって複数のカメラを用いることなく全方位三次元計測が可能となる。
【００１７】
前記カメラを反射鏡と共に回転して撮影することにより得られた画像をモザイキングすることにより全方位パノラマ画像を生成し、ステレオ計測の原理を利用して三次元計測がなされる。この方法により、全方位画像センサを利用したときと比較して計測密度の高い全方位三次元計測が可能となる。
【００１８】
反射鏡の配置を調節することにより、実カメラの回転半径より格段に大きなベースライン長を実現可能である。
また、反射鏡の配置を調節することにより、仮想的な対称配置の２台のカメラによる簡単なエピポーラ拘束が実現可能である。
【００１９】
一対の反射鏡間に隙間を設けて画像を撮影することにより、ステレオ計測における基準パノラマ画像が取得される。また、反射鏡の配置を調節することにより、この基準パノラマ画像に対して左右対称となる、仮想カメラに撮影された画像と同等の参照パノラマ画像を得ることが可能となる。基準パノラマ画像と、２枚の参照パノラマ画像を利用して三次元計測を行うことにより、画像ノイズ、オクルージョン、繰り返しパターンの影響が低減される。
【００２０】
画像ノイズ、オクルージョン、繰り返しパターンの影響を低減するための別の方法として、上記装置を回転させることにより得られる画像全体を利用して、時空間画像中の軌跡を抽出することにより、三次元計測を行う。これにより、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明による全方位三次元計測装置の好ましい実施形態を説明する。
先ず、図１を参照すると、全方位三次元計測装置１００は、回転中心Ｏｒを形成する鉛直軸線を中心として回転自在に設けられた回転台１０２と、該回転台１０２の周縁部に取付けられたカメラ１０４と、該カメラ１０４の前方または半径方向外側に配設された平板状の一対の反射鏡１０６ａ、１０６ｂとを主要な構成要素として具備している。カメラ１０４は、デジタルカメラであることが好ましい。然しながら、通常のカメラを用いて写真フィルムにシーンを撮影し、該フィルムを現像した後に、ネガフィルムまたは印画紙上に形成された画像を走査して、デジタル処理してもよい。
【００２２】
カメラ１０４は、その光軸ａが回転中心Ｏｒを通り、かつ前記鉛直軸線に対して垂直となるように回転台１００に固定されている。一対の反射鏡１０６ａ、１０６ｂはカメラの前方に配置され、各反射鏡１０６ａ、１０６ｂの各々の平面の法線が、前記鉛直軸線に対して垂直となるように配置される。反射鏡１０６ａ、１０６ｂの反射面はカメラ側にある。こうして、反射鏡１０６ａ、１０６ｂは、該反射鏡１０６ａ、１０６ｂで反射した光はカメラ１０４の対物レンズに入射できるように、回転中心Ｏｒに関する半径方向沿いにカメラ１０４の前方に、光軸Ｏｒに関して所定の角度αを以て配向される。また、一対の反射鏡１０６ａ、１０６ｂは、両者間に隙間ｇが形成されるように配置される。この構成により、カメラ１０４によって撮影される画像は、図２に示すように、左右一対の反射鏡１０６ａ、１０６ｂおよび隙間ｇに対応した３つの領域に分割される。こうした構成によって、回転台１０２を回転中心Ｏｒ回りに回転し、所定の回転角度θ毎に全方位３６０°に渡ってシーンを撮影する。そして、得られた画像を用いてステレオ計測の原理で三次元計測を行う。
【００２３】
この装置のように一対の反射鏡１０６ａ、１０６ｂによって視野分割を行うことにより、１台のカメラは、２台の仮想的なカメラの役割をも同時になし、結果として３台のカメラの役割を果たす。１台の実カメラと仮想的な２台の仮装的なカメラについて詳しく説明する。図３は、左の反射鏡１０６ａに対応する仮想カメラ１１０を示している。実カメラ１０４の回転半径ｒと、左の反射鏡１０６ａの位置と、角度αが正確にわかっている場合、図３に示した左反射鏡１０６ａに対応する仮想カメラ１１０の光学中心Ｃ1と、その光軸ａ′の方向は演算により得ることができる。また、仮想カメラ１１０の回転半径Ｒは以下の式（３）により得られる。
【数２】
【数３】
【００２４】
ここで、
Ｒ：仮想カメラの回転半径
ｒ：実カメラの回転半径
α：実カメラの光軸と反射鏡の平面がなす角度
Ｌ：光軸ａと反射鏡の平面の交点と回転中心との間の距離
である。
【００２５】
反射鏡１０６ａは実カメラ１０４の前方に配置されているので、Ｌ＞ｒである。従って、仮想カメラ１１０の回転半径Ｒは、実カメラ１０４の回転半径ｒよりも大きくなる。ただし、この左の反射鏡１０６ａに対応する仮想カメラ１１０は、右側半分以下の視界しか持たない。同様に、右の反射鏡１０６ｂに対応する仮想カメラも考えることができ、その仮想カメラは左半分以下の視界しか持たない。
【００２６】
反射鏡の配置を決定する距離Ｌは、実カメラの回転半径ｒと該実カメラの大きさを加えた長さよりも十分大きくとる。また、反射鏡の角度αは実カメラの画角に依存し、仮想円１１２の接線方向からの光線反射が実カメラの視野領域に入るように調整する。
【００２７】
次に、上述した装置を用いたパノラマ画像の生成方法を説明する。
先ず、回転台１０２を回転させて、カメラ１０４により回転中心Ｏｒ回りに全方位３６０°にわたって所定の角度θ毎に複数の画像を撮影する。次いで、各θにおいて得られる画像を、図５に示すように、撮影の順にθ方向へ並べて３６０°に渡る時空間画像１３０を生成する。時空間画像１３０は、左の反射鏡１０６ａで反射してカメラ１０４により撮影された左画像領域１３２と、右の反射鏡１０６ｂで反射してカメラ１０４により撮影された右画像領域１３４と、中央の隙間ｇを通過してカメラ１０４により撮影された中央画像領域１３６とから成る。
【００２８】
時空間画像１３０の左画像領域１３２の縦スリット１３２ａによって得られる部分を、回転角θ毎に順に抽出して左パノラマ画像１３２ｂが生成され、同様に、右画像領域１３４の縦スリット１３４ａから右パノラマ画像１３４ｂが生成され、中央画像領域１３６の縦スリット１３６ａから中央パノラマ画像１３６ａが生成される（図６参照）。時空間画像１３０を生成することなく、回転角θ毎に撮影された画像データ中の縦スリット１３４ａ、１３４ｂ、１３６ｂに相当する画像データを蓄積して左右および中央のパノラマ画像１３２ｂ、１３４ｂ、１３６ｂを生成してもよい。こうして得られた３枚のパノラマ画像、つまり左パノラマ画像、中央パノラマ画像、右パノラマ画像の例を図６に示す。
【００２９】
ここで、縦スリット１３２ａ、１３４ａ、１３６ａは、回転中心Ｏｒを決定する軸線に平行に定義される。また、左右領域の縦スリット１３２ａ、１３４ａは、好ましくは、対応するカメラ視線が回転半径Ｒによって定まる円の接線方向になるように決定される。このとき、反射鏡１０６ａ、１０６ｂの角度αは、円の接線方向からの光線反射が実カメラ１０４の視野領域内に入るように調整しなければならない。
【００３０】
以下、これらのパノラマ画像を利用して、ステレオ計測の原理で三次元計測を行う方法を説明する。
本発明の第１の実施形態による三次元計測方法では、左パノラマ画像１３２ｂと、右パノラマ画像１３４ｂの２枚のみを利用して三次元計測を行う。なお、以下の説明では、左パノラマ画像１３２ｂを基準パノラマ画像とし、右パノラマ画像１３４ｂを参照画像とする。
【００３１】
先ず、左パノラマ画像１３２ｂにおいて、奥行きを求めたい注目画素を選択し、その注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、右パノラマ画像１３４ｂ中の画素座標が計算できる。次いで、左パノラマ画像１３２ｂ上の注目画素と、右パノラマ画像１３４ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を、あらかじめ設定したウィンドウに関して計算し、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、ＳＳＤは小さくなる。こうして、λを変化させてＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、左パノラマ画像１３２ｂ上の全ての画素に対して行い、全方位の三次元計測結果とする。
【００３２】
この方法の場合、ステレオ計測におけるベースライン長は、図７中のＢ1で示すように、仮想カメラの回転直径となる。このベースライン長は、１台のカメラを利用した従来技術による方法におけるベースライン長よりも格段に大きくなる。また、ステレオ計測におけるエピポーラ拘束は、１台のカメラを利用した従来技術による方法と同様に非常に単純である。
【００３３】
次に、第２の実施形態による三次元計測方法を説明する。
第２の実施形態では、第１の実施形態で用いた左右のパノラマ画像１３２ｂ、１３４ｂに加えて、中央領域のパノラマ画像１３６ｂを用いて各画素の奥行きを求める。すなわち、中央パノラマ画像１３６ｂが基準パノラマ画像となり、左右のパノラマ画像１３２ｂ、１３４ｂが参照画像となる。第１の実施形態と同様に、基準パノラマ画像において、奥行きを求めたい注目画素を選択する。また、その注目画素に対する奥行きの候補λを決定する。λが定まると、その注目画素の位置に対応する、左パノラマ画像１３２ｂ中の画素座標が計算できる。次いで、基準パノラマ画像上の注目画素と、左パノラマ画像１３２ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を計算する。同様に、右パノラマ画像１３４ｂに対してもＳＳＤを計算する。
【００３４】
こうして得られた２つのＳＳＤを加算してＳＳＳＤ(Sum of SSD)を求め、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、左右パノラマ画像１３２ｂ、１３４ｂの各々のＳＳＤは小さくなり、得られるＳＳＳＤも小さくなる。よって、λを変化させてＳＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。
【００３５】
ここで、本実施形態におけるステレオ計測におけるベースライン長は、図７中のＢ2で示すように、仮想カメラの回転半径Ｒとなる。この回転半径Ｒは、第１の実施形態のベースライン長Ｂ1、および実カメラ１０４の回転半径ｒよりも大きい。従って、本実施形態におけるベースライン長は、第１の実施形態による方法および１台のカメラを利用した従来技術による方法におけるベースライン長よりも大幅に大きくなる。
【００３６】
また、３枚のパノラマを利用した場合では、右パノラマ画像１３２ｂ中に画像ノイズが存在した場合に、基準パノラマ画像（中央パノラマ画像１３６ｂ）と右パノラマ画像１３２ｂ間のＳＳＤ値が小さくならないことが生じ得る。然しながら、本実施形態では、左パノラマ画像１３４ｂで得られたＳＳＤも同様に利用するため、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、画像ノイズの影響を低減できる。
【００３７】
更に、右パノラマ画像１３２ｂ中でオクルージョンが発生した場合も、基準パノラマ画像１３６ｂと右パノラマ画像１３２ｂ間のＳＳＤ値は小さくならない。然しながら、一般に、右パノラマ画像１３２ｂと左パノラマ画像１３４ｂで同時にオクルージョンが発生することは少ないので、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、オクルージョンの影響も低減できる。
【００３８】
次に、本発明の第３の実施形態による三次元計測方法を説明する。本実施形態では、特定のパノラマ画像間のＳＳＤを計算するのではなく、図５に示した時空間画像１３０全体から軌跡を抽出することにより三次元計測を行う。本実施形態では、第２の実施形態と同様に中央パノラマ画像１３６ｂを基準パノラマ画像とする。
【００３９】
まず、基準パノラマ画像である中央パノラマ画像１３６ｂにおいて、奥行きを求めたい注目画素を選択し、該注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、左画像領域１３２中の対応点の軌跡が計算できる。そこで、中央パノラマ画像１３６ｂ中の注目画素と、左画像領域１３２において対応する対応画素の濃淡値の差の二乗和（ＳＳＤ）を、対応点の軌跡に渡って加算しＳＳＳＤを求める。同様に、右画像領域１３４中の対応点の軌跡に関してもＳＳＳＤを計算する。この２つのＳＳＳＤを、異なるλについて全て計算する。例えば、合計Ｎ個のλについてＳＳＳＤを計算すると、合計２×Ｎ個のＳＳＳＤが得られる。このＳＳＳＤの中で、最も小さいＳＳＳＤに対応するλを、注目画素に対する奥行き推定結果λとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。
【００４０】
第２の実施形態では、中央パノラマ画像１３６ｂを基準パノラマ画像とし、左右パノラマ画像１３２ｂ、１３４ｂを２枚の参照画像として利用して奥行き推定を行っているが、第３の実施形態では、より多くの参照画像を利用して奥行きを推定しているのと等価である。つまり、第３の実施形態では、左画像領域１３２に注目すると、左画像領域１３２全ての縦スリットで構成されるパノラマ画像を利用してＳＳＳＤを計算することと等価である。よって、左画像領域１３２だけで画像ノイズの影響を低減した三次元計測ができる。このとき、各縦スリットに対応するベースライン長が存在する。よって、第３の実施形態では、複数の異なるベースライン長のステレオ計測を利用した三次元計測となり、そのベースライン長の最大値は、第２の実施形態で述べたＢ2と同じになる。同様に、右画像領域１３４のみを利用して三次元計測ができるが、一方の反射鏡の領域でオクルージョンが発生した場合、その領域全体に渡って注目画素に対応する対応点の軌跡が失われる可能性があるため、それぞれの反射鏡領域のＳＳＳＤを別々に評価する。これにより、オクルージョンの影響を低減できる。さらに、多くのパノラマ画像を利用する効果として、画像に含まれる繰り返しパターンによる誤対応の問題も改善することができる。
【００４１】
既述した第１から第３の実施形態による方法によれば、１台のカメラを利用した従来技術による方法のものよりも大きなベースライン長を利用できる。例えば、図４においてα＝４５°、Ｌ＝２ｒとすると、(1)第１の実施形態では、Ｂ1＝２Ｒ＝２ｒ５1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約６．５４倍のベースラインを持ち、(2)第２の実施形態では、Ｂ2＝Ｒ＝ｒ５1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約３．２７倍のベースラインを持ち、(3)第３の実施形態では、複数のベースラインを持つステレオ計測の組み合わせになるが、その最大ベースライン長は第２の実施形態と同じである。
【００４２】
また、第２と第３の実施形態による方法では、画像ノイズに対する影響を低減でき、その効果は第３の実施形態による方法において最も高い。さらに、第２と第３の実施形態による方法では、オクルージョンに対する影響を低減でき、その効果は第３の実施形態による方法において最も効果的である。
【実施例】
【００４３】
以下、シミュレーション実験を行った結果を示す。ＣＧを利用して一辺が２．５メートル四方の部屋を作成し、壁にテクスチャを貼り付けたものを生成した。また、部屋の中にボールと円柱を配置した。
【００４４】
図４に示したパラメータについて、それぞれ、ｒ＝１３３．３［mm］、Ｌ＝２００［mm］、α＝４７．９°として、第３の実施形態による方法を利用して三次元形状復元を行った。このとき仮想カメラ１１０の回転半径はＲ＝２１２．９［mm］であった。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。
【００４５】
図８は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図９は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、近くの点ほど白く表示されるように表示してある。図１０は、２つの方法による三次元奥行き推定結果を断面図として表示したものである。これらの結果において、本発明システムを用いた第３の実施形態による方法の奥行き推定結果が、従来方法よりも良好であることがわかる。図１１は、このようにして得られた奥行き推定結果に、テクスチャを貼り付けたものである。
【００４６】
次に、実画像実験をおこなった結果を示す。
図４に示したパラメータについて、それぞれ、ｒ＝１９８．３４３［mm］、Ｌ＝２３０．０［mm］、左反射鏡のα＝４６．７２５°、右反射鏡のα＝４８．６８８°として、第３の実施形態による方法を利用して三次元形状復元を行った。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。
【００４７】
図１２は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図１３は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、既述のものと同様に、近くの点ほど白く表示されるように表示している。図１４は、三次元奥行き推定結果を断面図として表示したものである。発明システムを用いた方法が、従来方法よりも良好な結果が得られていることがわかる。
【図面の簡単な説明】
【００４８】
【図１】本発明の好ましい実施形態による三次元計測装置の概略図平面図である。
【図２】図１の装置により撮影された画像の一例である。
【図３】図１の装置における左の反射鏡に対応する仮想カメラを説明するための説明図である。
【図４】図１の装置における左の反射鏡に対応する仮想カメラを説明するための説明図である。
【図５】時空間画像を説明するための説明図である。
【図６】パノラマ画像の一例を示す図である。
【図７】本発明による三次元計測装置におけるベースライン長を説明するための説明図である。
【図８】従来技術と本発明による実験結果を比較するためのパノラマ画像の一例を示す図である。
【図９】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１０】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１１】実験に用いて三次元モデルを示す図である。
【図１２】従来技術と本発明による実験結果を比較するためのパノラマ画像の一例を示す図である。
【図１３】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１４】従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。
【図１５】従来技術によるパノラマ画像撮影装置の略示斜視図である。
【図１６】従来技術によるパノラマ画像生成方法を説明するための説明図である。
【図１７】従来技術による計測方法を説明するための説明図である。
【図１８】従来技術におけるベースライン長を説明するための説明図である。
【符号の説明】
【００４９】
１００ 三次元計測装置
１０２ 回転台
１０４ カメラ
１０６ａ 反射鏡
１０６ｂ 反射鏡
【特許請求の範囲】
【請求項１】
所定の軸線に関して所定の角度を以て交差するように光軸を前記軸線を中心として回転自在に設けられたカメラと、
前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置。
【請求項２】
請求項１に記載の全方位三次元計測装置を用いて、前記軸線回りに所定の角度毎に撮影された画像に基づき、基準パノラマ画像と、参照パノラマ画像とを生成し、
基準パノラマ画像中の注目画素の奥行きの候補を定め、
前記注目画素に対応した参照パノラマ画像中の対応画素を求め、
基準パノラマ画像上の注目画素と、参照パノラマ画像中の対応画素の濃淡値の差が最小となる奥行き候補を前記注目画素の奥行きとして決定するようにした全方位三次元計測装置。
【請求項３】
前記基準パノラマ画像は、前記一対の反射鏡の一方により反射された光線を撮影して生成された画像に基づいて生成され、前記参照パノラマ画像は、他方の反射鏡により反射された光線を撮影して生成された画像に基づいて生成される請求項１に記載の装置。
【請求項４】
前記基準パノラマ画像は、前記一対の反射鏡の間隙を通過した光線を撮影して生成された画像に基づいて生成され、前記参照パノラマ画像は、前記一対の反射鏡により反射された光線を撮影して生成された画像に基づいて生成される請求項１に記載の装置。
【請求項１】
所定の軸線に関して所定の角度を以て交差するように光軸を前記軸線を中心として回転自在に設けられたカメラと、
前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置。
【請求項２】
請求項１に記載の全方位三次元計測装置を用いて、前記軸線回りに所定の角度毎に撮影された画像に基づき、基準パノラマ画像と、参照パノラマ画像とを生成し、
基準パノラマ画像中の注目画素の奥行きの候補を定め、
前記注目画素に対応した参照パノラマ画像中の対応画素を求め、
基準パノラマ画像上の注目画素と、参照パノラマ画像中の対応画素の濃淡値の差が最小となる奥行き候補を前記注目画素の奥行きとして決定するようにした全方位三次元計測装置。
【請求項３】
前記基準パノラマ画像は、前記一対の反射鏡の一方により反射された光線を撮影して生成された画像に基づいて生成され、前記参照パノラマ画像は、他方の反射鏡により反射された光線を撮影して生成された画像に基づいて生成される請求項１に記載の装置。
【請求項４】
前記基準パノラマ画像は、前記一対の反射鏡の間隙を通過した光線を撮影して生成された画像に基づいて生成され、前記参照パノラマ画像は、前記一対の反射鏡により反射された光線を撮影して生成された画像に基づいて生成される請求項１に記載の装置。
【図１】
【図３】
【図４】
【図５】
【図７】
【図１０】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図３】
【図４】
【図５】
【図７】
【図１０】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−７８２９１（Ｐ２００６−７８２９１Ａ）
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願番号】特願２００４−２６１５７１（Ｐ２００４−２６１５７１）
【出願日】平成１６年９月８日（２００４．９．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年３月８日 社団法人電子情報通信学会発行の「ＥｉＣ電子情報通信学会２００４年総合大会講演論文集」に発表
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願日】平成１６年９月８日（２００４．９．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年３月８日 社団法人電子情報通信学会発行の「ＥｉＣ電子情報通信学会２００４年総合大会講演論文集」に発表
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]