ステレオ３次元計測システム
【課題】静止物体を低価格で簡易に且つ高精度にステレオ３次元計測できるようにした、インタラクティブなステレオ３次元計測システムを提供する。
【解決手段】ステレオ画像間の対応位置を探索することにより、静止物体である計測対象の３次元計測を行うステレオ３次元計測システムであって、撮像装置と、空間的にも時間的にも変化するアクティブ照明を発生させるアクティブ照明手段と、３次元計測処理装置と、表示装置とを備え、アクティブ照明で計測対象を照らしつつ、撮像装置を用いて時系列のステレオ画像を撮影し、撮影されたステレオ画像は、３次元計測処理装置に入力され、３次元計測処理装置では、時間方向に複数のフレームを使ってステレオ画像間の対応位置を探索することにより、計測対象までの距離を計測し、計測して得られた計測結果を表示装置に表示させ、更に、最新のステレオ画像を用いて逐次的に計測処理を行い、実時間に計測結果を表示装置に表示させる。
【解決手段】ステレオ画像間の対応位置を探索することにより、静止物体である計測対象の３次元計測を行うステレオ３次元計測システムであって、撮像装置と、空間的にも時間的にも変化するアクティブ照明を発生させるアクティブ照明手段と、３次元計測処理装置と、表示装置とを備え、アクティブ照明で計測対象を照らしつつ、撮像装置を用いて時系列のステレオ画像を撮影し、撮影されたステレオ画像は、３次元計測処理装置に入力され、３次元計測処理装置では、時間方向に複数のフレームを使ってステレオ画像間の対応位置を探索することにより、計測対象までの距離を計測し、計測して得られた計測結果を表示装置に表示させ、更に、最新のステレオ画像を用いて逐次的に計測処理を行い、実時間に計測結果を表示装置に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ３次元計測技術に関し、特に、静止物体の３次元形状計測を行うためのステレオ３次元計測システムに関する。
【背景技術】
【０００２】
従来、静止物体の３次元形状計測を行うために、２台以上のステレオカメラを用いたステレオ計測法が多く利用されている（非特許文献１、非特許文献２を参照）。
【０００３】
カメラのみを用いる「パッシブステレオ計測法」では、ステレオ対応点探索（stereo correspondence）、つまり、ステレオマッチング（stereo matching）において、空間方向ウィンドウを利用するのが一般的である。
【０００４】
「パッシブステレオ計測法」を用いて静止物体の３次元形状計測を行う場合、計測対象である静止物体の表面に適切なテクスチャが存在しないときに、ステレオ対応点探索（以下、単に「対応位置探索」とも言う。）が、できずに計測ができなかったという問題点がある。
【０００５】
また、計測対象である静止物体の表面に適切なテクスチャがあっても、ステレオ画像間の対応位置探索のためには、ローカルサポートと呼ばれる「領域」、即ち、「空間方向ウィンドウ」を利用する必要があり、このために、奥行きを平滑化してしまったり、空間方向ウィンドウ内に奥行きが急激に変化する部分を含む部分について、正しく奥行きを推定することができず、つまり、計測結果が不正確であるといった問題がある。
【０００６】
ステレオ画像間での対応の曖昧さを排除するために、複数のステレオカメラのうち、１台のカメラを光源に置き換えた「アクティブステレオ計測法」も多く利用されている。「アクティブステレオ計測法」の具体例として、例えば、非特許文献３に開示された「スリット光投影法」や、非特許文献４に開示された「パターン光投影法」がある。
【０００７】
非特許文献３及び非特許文献４に開示されたステレオ計測法は、ステレオカメラの内の１台をプロジェクタに置き換えたアクティブステレオ計測法であることから、カメラよりも高価なＰＣプロジェクタを利用するために、これらの計測方法によっては簡易で低価格なステレオ３次元計測装置を実現できなかったという問題点がある。
【非特許文献１】エム. オクトミ（M. Okutomi）、ティー. カナデ（T. Kanade）共著,「ア マルチプル ベースライン ステレオ（A Multiple-Baseline Stereo）」,パターン アナリシス アンド マシーン インテリジェンス（Pattern Analysis and Machine Intelligence）,第15巻,第4号,p.353-363,1993年
【非特許文献２】ディー. スチャステイン（D. Scharstein）、アール. スゼルリスキ（R. Szeliski）共著,「ア タックスオミ アンド エバリュエーション オフ デンス トゥーフレーム ステレオ コレスポンデンス アルゴリズムズ（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,第47巻,第1号,p.7-42,2002年
【非特許文献３】ジェー. サルビ（J. Salvi）、ジェー. パジェス（J. Pages）、ジェー. バテル（J. Batlle）共著,「パターン コディフィケーション ストラテジース イン ストラクチャイド ライト システムズ（Pattern Codification Strategies in Structured Light Systems）」,パターン レコグニション（Pattern Recognition）,第37巻,p.827-849,2004年
【非特許文献４】ピー. ジェー. ベスル（P.J. Besl）著,「アクティブ, オプティカル レンジ イメージング センサス（Active, Optical Range Imaging Sensors）」,マシーン ビジョン アンド アプリケイションズ（Machine Vision and Applications）,第1巻,第2号,p.127-152,1988年
【非特許文献５】ジェー. デイビス（J. Davis）、アール. ラマムーアシ（R. Ramamoorthi）、エス. ルシンキエブィズ（S. Rusinkiewicz）共著,「スペースタイム ステレオ： ア ユニファイング フレームワーク フォー デプス フロム トライアンギュレション（Spacetime Stereo: A Unifying Framework for Depth from Triangulation）」,イン コンピュータ ビジョン アンド パターン レコグニション（In Computer Vision and Pattern Recognition）,第2巻,p.359-366,2003年
【非特許文献６】エル. チャン（L. Zhang）、ビー. キュレス（B. Curless）、エス. エム サイツ（S.M Seitz）共著,「スペースタイム ステレオ： シェイプ リカバリー フォー ダイナミック シーンス（Spacetime Stereo: Shape Recovery for Dynamic Scenes）」,イン コンピュータ ビジョン アンド パターン レコグニション（In Computer Vision and Pattern Recognition）,第2巻,p.367-374,2003年
【非特許文献７】エヌ. アヤチェ（N. Ayache）、シー. ハンセン（C. Hansen）共著,「レクティフィケーション オフ イメージズ フォー バイノキュラー アンド トリノキュラー ステレオビジョン（Rectification of Images for Binocular and Trinocular Stereovision）」,イン 9th インターナショナル カンファレンス オン パターン レコグニション（In 9th International Conference on Pattern Recognition）,p.11-16,1988年
【非特許文献８】エイ. フシエロ（A. Fusiello）、イー. トルコ（E. Trucco）、エイ. ベリ（A. Verri）共著,「ア コンパクト アルゴリズム フォー レクティフィケーション オフ ステレオ ペーアズ（A compact algorithm for rectification of stereo pairs）」,マシーン ビジョン アンド アプリケーションズ（Machine Vision and Appications）,第12巻,第1号,p.16-22,2000年
【発明の開示】
【発明が解決しようとする課題】
【０００８】
一方、図１に示すように、ステレオカメラで撮影して得られた時系列画像（基準画像と参照画像）を用いて、時間方向のウィンドウ（以下、単に「時間方向ウィンドウ」という。）を利用し、即ち、時間方向での画素値の変化を利用することにより、基準画像と参照画像との間の対応位置探索を行う、「spacetime stereo（時空間ステレオ）」と呼ばれるステレオ計測法も提案されている（非特許文献５、非特許文献６を参照）。
【０００９】
このspacetime stereo計測法では、計測対象である静止物体に対して、変化する照明を当てたときに、対応位置では時間的な画素値変化も同一であることを利用して、基準画像と参照画像との間の対応を求める。この照明変化は、例えば非特許文献３及び非特許文献４に開示されたようなアクティブステレオ計測法に使用されている「構造化照明」とは異なり、懐中電灯や影などの簡易な照明を任意に変化させることで実現できる。
【００１０】
また、spacetime stereo計測法では、通常の「パッシブステレオ計測法」で行うキャリブレーションだけを行えばよく、そして、簡易な照明を使用するので、通常の「アクティブステレオ計測法」のように、構造化照明も、構造化照明に対するキャリブレーションも不要となる。
【００１１】
しかし、spacetime stereo計測法では、照明変化を与えた計測対象を撮影して得られた時系列画像をすべて入力した後に、入力された全ての時系列画像を一括してステレオ計測処理を行うようにしているため、計測対象に適切な照明変化を与えたか否かを、時系列画像の撮影時に判断できなかったという問題点がある。
【００１２】
つまり、非特許文献５及び非特許文献６に開示されている「spacetime stereo計測法」では、「簡易な照明による照明変化を計測対象に与え、ステレオカメラで計測対象の時系列画像を撮影し、複数フレームを使って空間方向及び時間（フレーム）方向に注目領域を設定してステレオ画像間での対応位置を探索する」ことが述べられているだけで、（１）どのような照明変化を与えれば計測結果がよくなるのか、（２）いつまで計測すれば十分な計測結果になるのか、が判断できないため、満足できる計測結果が得られる保証がなく、計測者は無用に長時間の計測を強いられていたとの問題がある。
【００１３】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、細かな部分があり、且つテクスチャを持たない可能性のある静止物体を、低価格で簡易に且つ高精度にステレオ３次元計測できるようにした、インタラクティブなステレオ３次元計測システムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、ステレオ画像間の対応位置を探索することにより、静止物体である計測対象の３次元計測を行う、ステレオ３次元計測システムに関し、本発明の上記目的は、撮像装置と、空間的にも時間的にも変化するアクティブ照明を発生させるアクティブ照明手段と、３次元計測処理装置と、表示装置とを備え、前記アクティブ照明手段から発生された前記アクティブ照明で前記計測対象を照らしつつ、前記撮像装置を用いて時系列のステレオ画像を撮影し、撮影されたステレオ画像は、前記３次元計測処理装置に入力され、前記３次元計測処理装置では、時間方向に複数のフレームを使ってステレオ画像間の対応位置を探索することにより、前記計測対象までの距離を計測し、計測して得られた計測結果を前記表示装置に表示させ、更に、最新のステレオ画像が入力される毎に逐次的に計測処理を行い、計測結果を前記表示装置に表示させることによって効果的に達成される。
【００１５】
また、本発明の上記目的は、ステレオ画像間の対応位置を探索するときの空間方向領域が１×１[画素]であることにより、或いは、前記３次元計測処理装置は、ステレオ画像間のオクルージョンを検出する機能を備え、検出したオクルージョンをも前記表示装置に表示させることにより、或いは、前記撮像装置はステレオ画像を撮影するための同期した２台のステレオカメラ、即ち、基準画像を撮影するための基準カメラと、参照画像を撮影するための参照カメラから構成され、前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求めることによってより効果的に達成される。
【００１６】
更に、本発明の上記目的は、前記撮像装置はステレオ画像を撮影するための同期した３台以上のステレオカメラ、即ち、基準画像を撮影するための１台の基準カメラと、参照画像を撮影するための２台以上の参照カメラから構成され、前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求めることによってより効果的に達成される。
【発明の効果】
【００１７】
本発明に係るステレオ３次元計測システムによるステレオ計測とは、静止物体のステレオ３次元計測を行うために、計測対象である静止物体への簡易なアクティブ照明と、同期した２台以上のステレオカメラで撮影した時系列画像を用い、時間方向ウィンドウを利用した、インタラクティブなステレオ計測である。
【００１８】
本発明で使用される「簡易なアクティブ照明」は、例えば、懐中電灯や棒の影を計測対象上で移動させるだけでよい。また、本発明では、ステレオ画像間の対応点を検出するために、時間方向の画素値変化を利用する。
【００１９】
このため、本発明によれば、従来の「パッシブステレオ計測法」にとって必要である、ステレオ画像間の対応を求めるときに利用される、「空間方向ウィンドウ」が不要になり、時間方向ウィンドウを利用することにより、画素ごと（１×１[pixel]の空間方向ウィンドウ）に、ステレオ画像間の対応点を正確に求めることができ、よって静止物体のステレオ３次元計測を高精度に行うことができるといった優れた効果を奏する。
【００２０】
また、本発明に係るステレオ３次元計測システムにおいて、従来の「アクティブステレオ計測法」では必要となる、高価なＰＣプロジェクタや「構造化照明」も不要となり、よって静止物体のステレオ３次元計測を低価格で簡易に行うことができるといった顕著な効果を奏する。
【００２１】
更に、本発明に係るステレオ３次元計測システムを用いて、静止物体のステレオ３次元計測を行う際に、つまり、計測中に、入力画像（ステレオカメラで静止物体を撮影して得られたステレオ画像）を逐次的に処理し、処理して得られた計測結果をリアルタイムに表示するようにしているので、満足できる計測結果を得るために、計測者は、計測結果を確認しながら、簡易なアクティブ照明を当てる位置や強度、照明の方向などをインタラクティブに調整することが可能となり、リアルタイムに計測結果を表示する、インタラクティブな３次元計測システムを構築することができる。
【００２２】
要するに、本発明によれば、最新のステレオ画像を入力するごとに、今までの計測結果を最新の計測結果に更新して、その最新の計測結果をディスプレイ等の表示部に表示することにより、最新の計測結果を計測者にフィードバックすることで、計測者が計測対象への簡易なアクティブ照明の当て方などをインタラクティブに調整できるという優れた効果を奏する。
【発明を実施するための最良の形態】
【００２３】
最初に、本発明の着眼点及び概要について述べる。
【００２４】
ステレオ画像間での対応位置を探索するために、通常は注目位置の周囲の画素を同時に利用して、小領域ごとの対応位置を探索していた。この小領域は「空間方向ウィンドウ」と呼ばれ、空間方向ウィンドウ内の計測対象までの距離が均一で、対応する空間方向ウィンドウ間には変形がないものと仮定していた。
【００２５】
このため、背景技術でも述べたように、計測対象のエッジなど距離が不連続な部分では、計測結果が不正確になるという問題点があった。
【００２６】
そこで、本発明では、この「空間方向ウィンドウ」の概念を廃止し、画素ごとにステレオ画像間での対応位置を探索することを考えた。
【００２７】
このとき、同期した２台のステレオカメラ（基準カメラと参照カメラ）を用いてステレオ計測を行う場合、一対のステレオ画像（即ち、基準カメラで撮影して得られた１枚の基準画像と、参照カメラで撮影して得られた１枚の参照画像）では、ステレオ画像間の対応が一意に決定することができないので、３次元計測は不可能である。
【００２８】
しかし、空間的にも時間的にも変化する照明（以下、このような照明を単に「アクティブ照明」とも言う。）で計測対象を照らしながら、撮影した複数対のステレオ画像（以下、単に「複数のステレオ画像」という。）を利用すれば、ステレオ画像間で対応する画素は、時間方向にも同じ明るさの変化をするはずである。このため、時間方向に複数のステレオ画像を使うことで、「空間方向ウィンドウ」と同様の効果を期待することができる。
【００２９】
通常、「空間方向ウィンドウ」では、１１×１１[画素]程度の大きさの小領域として設定される。すなわち、１１×１１＝１２１[画素]の画素値に対応する、もう一方の画像中の領域を探索している。これを時系列画像で実現するためには、１２１フレーム、すなわち、３０ＦＰＳで画像を撮影しているときには、約４秒間に撮影した画像を利用するだけで、１１×１１[画素]の大きさを有する「空間方向ウィンドウ」と同様の効果を期待することができる。
【００３０】
このときに計測対象に与える「アクティブ照明」は、できるだけ簡単で低価格に実現できるものが利用できることが望ましい。実際には、このような「簡易なアクティブ照明」は、例えば、手持ちの懐中電灯で実現することができる。しかし、計測対象に対して「どこを」、「どれだけ」照明すれば、満足できる３次元計測結果が得られるのかが不明である。
【００３１】
そこで、本発明では、新たな（最新の）ステレオ画像を撮影して入力したら、入力された最新のステレオ画像を計測して得られた計測結果を今までの計測結果に加えて、最新の計測結果を生成し、生成された最新の計測結果をリアルタイムに表示することで、計測者はリアルタイムに表示された最新の計測結果を確認しながら、「アクティブ照明」を当てる位置や強度を調整し、満足できる計測結果が得られたら直ちに計測を終了し、或いは、所定の条件（例えば、予め決められた計測時間等）を満たしたら、計測を終了するようにした、インタラクティブなステレオ３次元計測システムを提案した。
【００３２】
要するに、本発明に係るステレオ３次元計測システムとは、計測対象である静止物体への簡易なアクティブ照明と、同期した２台以上のステレオカメラで撮影した時系列画像を用いて、３次元計測を行い、その計測結果をリアルタイムに確認可能なステレオ３次元計測システムである。
【００３３】
以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。
【００３４】
図２（Ａ）は、本発明に係るステレオ３次元計測システムの実施構成例を示すブロック図である。図２（Ａ）に示されたように、本発明のステレオ３次元計測システム１は、撮像装置１０と、アクティブ照明手段２０と、３次元計測処理装置３０と、表示装置４０とを備えている。
【００３５】
まず、撮像装置１０は、計測対象である静止物体の時系列画像を撮影するための装置であり、その一例としては、図２（Ａ）に示されたように、同期した２台のステレオカメラ（基準画像を撮影するための基準カメラ１１と、参照画像を撮影するための参照カメラ１２）から構成されている。
【００３６】
アクティブ照明手段２０は、計測対象である静止物体へのアクティブ照明を発生させる手段である。本発明でいう「アクティブ照明」とは、空間的にも時間的にも変化する照明を意味する。
【００３７】
アクティブ照明手段２０で計測対象である静止物体を照らす具体例の一例としては、例えば、懐中電灯や棒の影を計測対象上で移動させるだけでよい。
【００３８】
本発明では、アクティブ照明手段２０による照明変化を計測対象に与え、そして、本実施例では、撮像装置１０を構成する、基準カメラ１１及び参照カメラ１２を用いて、計測対象の時系列画像（基準画像及び参照画像）を撮影する。撮影された時系列画像（基準画像及び参照画像）は、３次元計測処理装置３０に入力される。
【００３９】
一方、３次元計測処理装置３０では、入力された時系列画像（基準画像及び参照画像）を用いて、３次元計測処理を行い、生成した計測結果を表示装置４０に表示する。
【００４０】
３次元計測処理装置３０として、例えば、メモリを有するＣＰＵ（Central Processing Unit）を用いることができる。また、表示装置４０として、例えば、液晶ディスプレイなどのディスプレイを用いることができる。
【００４１】
図２（Ｂ）は、図２（Ａ）の構成を備えるステレオ３次元計測システム１を用いて、計測対象のステレオ３次元計測を実際に行う場合のイメージ的な概念図である。
【００４２】
図２（Ｂ）に概念的に示されたように、本発明のステレオ３次元計測システムは、インタラクティブな計測システムであって、３次元計測を行う際に、まず、アクティブ照明手段２０による照明変化を計測対象２３に与えながら、同期した基準カメラ１１及び参照カメラ１２を用いて、計測対象２３の時系列画像（基準画像及び参照画像）を撮影する。本実施例では、アクティブ照明手段２０によるアクティブ照明とは、計測者２１は、自分が持っている懐中電灯２２を、計測対象２３に当てながら移動することを意味する。
【００４３】
撮影された時系列画像（基準画像及び参照画像）は、３次元計測処理装置３０に入力され、３次元計測処理装置３０での３次元計測処理によって生成された計測結果は、表示装置４０にリアルタイムに表示される。計測者２１は、表示装置４０にリアルタイムに表示された計測結果を確認しながら、計測対象である静止物体の表面に適切なテクスチャが存在しない箇所、すなわち、懐中電灯２２の照明が不足している位置を、集中して照明する。
【００４４】
そして、同期した基準カメラ１１及び参照カメラ１２を用いて撮影された新たな時系列画像（基準画像及び参照画像）は、３次元計測処理装置３０に入力され、入力された新たな時系列画像（基準画像及び参照画像）に基づき、３次元計測処理が行われ、生成された計測結果は表示装置４０にリアルタイムに表示される。
【００４５】
上述したように、本発明のステレオ３次元計測システムによるステレオ３次元計測は、計測結果をフィードバックして利用しながら、計測対象に照明変化を与える３次元計測である。例えば、計測結果が不完全な箇所（計測対象である静止物体の表面に適切なテクスチャが存在しない箇所）に集中的に照明変化を与えたり、計測対象である静止物体が鏡面反射成分を持つ場合にはアクティブ照明の角度を調整するなどのインタラクションを行ったりすることができる。また、計測者が計測結果に満足できた時点で計測を終了することができる。
【００４６】
本発明のステレオ３次元計測システムでは、撮影した時系列画像間での対応位置を探索するために、空間的に１×１[画素]、時間的に必要なだけの枚数の画像を利用する。すなわち、本発明では、画像の画素ごとに対応位置を探索する。本発明では、時間的に必要なだけの枚数の画像が入力されたことを判断するために、計測結果をリアルタイムに表示する。また、リアルタイムに表示するために、ステレオ画像を１組入力するごとに最新の計測結果を更新して表示する。
【００４７】
次に、図３は、本発明に係るステレオ３次元計測システムによる３次元計測処理、即ち図２に示された３次元計測処理装置３０（以下、単に「３次元計測処理装置」と言う。）で行われる「３次元計測処理」の流れを示すフローチャートである。
【００４８】
図３に示されたように、本発明では、まず、同期した基準カメラ１１及び参照カメラ１２で撮影したステレオ画像（基準画像と参照画像）は、３次元計測処理装置に入力される（ステップＳ１）。
【００４９】
そして、３次元計測処理装置では、新しいステレオ画像が入力される毎に、入力されたステレオ画像（以下、単に「入力画像」という。）に対して、まず、レンズ歪曲収差の除去とレクティフィケーション(平行化)（非特許文献７、非特許文献８を参照）を行う（ステップＳ２、ステップＳ３）。
【００５０】
次に、下記数１に示されたように、フレーム間差分を行った上で（ステップＳ５）、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ:Squared Difference)を計算する（ステップ６）。
【００５１】
【数１】
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表す。また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値である。
【００５２】
ここで、フレーム間差分を行う理由は、画像間での明るさの差による影響を低減するためである。また、フレーム間差分を行うために、３次元計測処理装置のフレームメモリにおいて、１フレーム遅延を行う（ステップＳ４）。
【００５３】
次に、下記数２に示されたように、ステレオ画像間の対応候補画素の画素値の差の２乗、即ち、数１により算出されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を積算し、図４に示すように、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間に配置する（ステップＳ７）。
【００５４】
【数２】
次に、ステレオ画像間の対応位置は、図４に示されたように、このＳＳＤ空間における視差ｄ方向の最小値探索によって求める（ステップＳ８）。
【００５５】
ここで、実際の計測では、時系列画像の全てのフレームにおいて照明変化があるわけではない。例えば、アクティブ照明手段２０による照明変化として、手持ちの懐中電灯を考えると、画像中のほとんどの部分には懐中電灯の照明が当たらず画素値が変化しない。
【００５６】
そこで、変化しない画素値は対応点探索に寄与しないため、実際の計算では、数１を計算するときに、基準画像のフレーム間差分値を一定のしきい値と比較し、基準画像のフレーム間差分値がしきい値以上のときだけ、数１により算出されたＳＤを、数２によってＳＳＤ空間に積算している（図５を参照）。この処理によって、アクティブ照明手段２０が懐中電灯照明の場合に、視差の計算時間を約１／３に短縮できた。
【００５７】
次に、本発明のステレオ３次元計測システムでは、オクルージョンを検出するために、バックマッチングを利用し、即ち、通常の探索で得られた視差と、基準画像と参照画像を交換して得られた視差の差の絶対値が、所定のしきい値以上であれば、オクルージョンと判定する（ステップＳ９）。
【００５８】
次に、上記の処理により得られた計測結果（視差マップとオクルージョン検出結果）を表示装置４０に表示する（ステップＳ１０）。
【００５９】
次に、例えば、アクティブ照明手段２０によるアクティブ照明は、計測者２１が持っている懐中電灯２２である場合、計測者２１は、表示装置４０に表示された計測結果（視差マップとオクルージョン検出結果）を確認しながら、懐中電灯を動かして計測対象を照明する。計測結果が不完全な箇所には、集中的に照明変化を与えることで、効率的に計測が行える。計測者２１が計測結果に満足できた時点で計測を終了する（ステップＳ１１）。
【００６０】
上述したように、３次元計測処理装置３０では、撮像装置１０（基準カメラ及び参照カメラ）により取得された新しいステレオ画像が入力される毎に、ステップＳ２〜ステップＳ１０の処理を行い、換言すれば、逐次的計測結果を更新し、満足できた計測結果が得られた場合、ステレオ３次元計測処理を終了する。
【００６１】
ここで、本発明のステレオ３次元計測システムにより計測され、表示装置４０に表示された計測結果の一例を図６に示す。
【００６２】
図６（Ａ）〜図６（Ｃ）から、計測結果（視差マップとオクルージョン検出結果）が徐々に生成されていく様子が良く分かる。
【００６３】
最終的な計測結果を図６（Ｄ）に示す。図６（Ｄ）の下段は２台のステレオカメラ（基準カメラと参照カメラ）で撮影した基準画像と参照画像を示す。また、図６（Ｄ）の上段左は推定した視差マップを、図６（Ｄ）の上段右は検出したオクルージョン領域（白）をそれぞれ示す。オクルージョン検出のためのしきい値は、オクルージョン検出結果を確認しながら調整できるようにした。
【００６４】
計測者は、視差マップとオクルージョン検出結果を確認しながら、懐中電灯などを動かして計測対象を照明する。計測結果が不完全な箇所には、集中的に照明変化を与えることで、効率的に計測が行える。
【００６５】
上記のように、本発明のステレオ３次元計測システムの実施例を説明したが、本発明のステレオ３次元計測システムにおける撮像装置１０は、同期した２台のステレオカメラに限定されずに、多眼ステレオカメラ、即ち、同期した３台以上のステレオカメラ（基準画像を撮影するための１台の基準カメラと、参照画像を撮影するための２台以上の参照カメラ）を用いることが可能であることは言うまでもない。同期した３台以上のステレオカメラを撮像装置１０とすることによって、ステレオ画像間対応位置の曖昧性と、遮蔽領域（オクルージョン）を低減することができる。
【００６６】
次に、本発明のステレオ３次元計測システムを用いて、複雑な形状や細かな形状を持つ静止物体を計測対象とした計測実験を行い、本発明の有効性を確認した。
【００６７】
撮像装置としてはPoint Grey Research社のFlea２というカメラを用い、そのカメラで６４０×４８０[pixel]のグレースケール画像を撮影した。アクティブ照明として、計測時間を短縮するために、図６（Ｄ）の撮影画像中に示すように、ランダムストライプパターンの静止画をＰＣプロジェクタに入力し、プロジェクタを手に持って計測対象を照明した。また、レーザーポインタも利用した。静止画投影は、懐中電灯を改造したものやスライドプロジェクタといった低コストな照明でも十分実現できる。視差推定は、画素単位で行った。
【００６８】
図７に撮影画像（基準画像と参照画像）と視差マップを示す。図７（Ｃ）に示された視差マップ中の黒い領域は、オクルージョンとして検出された領域を示す。計測対象は、複雑な形状をもつ花で、奥行き不連続な領域やオクルージョン領域を多く含んでいるが、図７から分かるように、良好な計測結果が得られている。また、花の左側の平面領域（１５９×３４２[pixel]、９０×２００[ｍｍ]に対応）を用いて、推定した３次元位置に対して平面をフィッティングし奥行きの標準偏差を計算したところ、０.４５[ｍｍ]であった。なお、ベースライン長（基線長）は、２５４[ｍｍ]、カメラから平面までの距離は約６４０[ｍｍ]である。表示速度は約３[ｆｐｓ]であった。
【００６９】
図８に別の計測結果を示す。計測対象には、ラケットのガットのような非常に細かな形状が含まれるが、図８から分かるように、良好な視差推定が行われている。また、後ろの平面領域でのガット部によるオクルージョン領域も検出されていることが確認できる。ラケットのフレーム部において、誤ってオクルージョンとして検出されている領域は、色が黒く反射率が低い部分である。
【図面の簡単な説明】
【００７０】
【図１】従来の「spacetime stereo」ステレオ計測を説明するための概念図である。
【図２】図２（Ａ）は、本発明に係るステレオ３次元計測システムの実施構成例を示すブロック図である。図２（Ｂ）は、図２（Ａ）の構成を備えるステレオ３次元計測システム１を用いて、計測対象のステレオ３次元計測を実際に行う場合のイメージ的な概念図である。
【図３】本発明に係るステレオ３次元計測システムによる３次元計測処理の流れを示すフローチャートである。
【図４】本発明に係るステレオ３次元計測システムおいて、ＳＳＤ空間と最小値探索を説明するための模式図である。
【図５】本発明に係るステレオ３次元計測システムおいて、積算フレームの選択を説明するための模式図である。
【図６】本発明に係るステレオ３次元計測システムによる計測結果の表示例を示す図である。
【図７】本発明に係るステレオ３次元計測システムによる計測結果（花）を示す図である。
【図８】本発明に係るステレオ３次元計測システムによる計測結果（ラケット）を示す図である。
【技術分野】
【０００１】
本発明は、ステレオ３次元計測技術に関し、特に、静止物体の３次元形状計測を行うためのステレオ３次元計測システムに関する。
【背景技術】
【０００２】
従来、静止物体の３次元形状計測を行うために、２台以上のステレオカメラを用いたステレオ計測法が多く利用されている（非特許文献１、非特許文献２を参照）。
【０００３】
カメラのみを用いる「パッシブステレオ計測法」では、ステレオ対応点探索（stereo correspondence）、つまり、ステレオマッチング（stereo matching）において、空間方向ウィンドウを利用するのが一般的である。
【０００４】
「パッシブステレオ計測法」を用いて静止物体の３次元形状計測を行う場合、計測対象である静止物体の表面に適切なテクスチャが存在しないときに、ステレオ対応点探索（以下、単に「対応位置探索」とも言う。）が、できずに計測ができなかったという問題点がある。
【０００５】
また、計測対象である静止物体の表面に適切なテクスチャがあっても、ステレオ画像間の対応位置探索のためには、ローカルサポートと呼ばれる「領域」、即ち、「空間方向ウィンドウ」を利用する必要があり、このために、奥行きを平滑化してしまったり、空間方向ウィンドウ内に奥行きが急激に変化する部分を含む部分について、正しく奥行きを推定することができず、つまり、計測結果が不正確であるといった問題がある。
【０００６】
ステレオ画像間での対応の曖昧さを排除するために、複数のステレオカメラのうち、１台のカメラを光源に置き換えた「アクティブステレオ計測法」も多く利用されている。「アクティブステレオ計測法」の具体例として、例えば、非特許文献３に開示された「スリット光投影法」や、非特許文献４に開示された「パターン光投影法」がある。
【０００７】
非特許文献３及び非特許文献４に開示されたステレオ計測法は、ステレオカメラの内の１台をプロジェクタに置き換えたアクティブステレオ計測法であることから、カメラよりも高価なＰＣプロジェクタを利用するために、これらの計測方法によっては簡易で低価格なステレオ３次元計測装置を実現できなかったという問題点がある。
【非特許文献１】エム. オクトミ（M. Okutomi）、ティー. カナデ（T. Kanade）共著,「ア マルチプル ベースライン ステレオ（A Multiple-Baseline Stereo）」,パターン アナリシス アンド マシーン インテリジェンス（Pattern Analysis and Machine Intelligence）,第15巻,第4号,p.353-363,1993年
【非特許文献２】ディー. スチャステイン（D. Scharstein）、アール. スゼルリスキ（R. Szeliski）共著,「ア タックスオミ アンド エバリュエーション オフ デンス トゥーフレーム ステレオ コレスポンデンス アルゴリズムズ（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,第47巻,第1号,p.7-42,2002年
【非特許文献３】ジェー. サルビ（J. Salvi）、ジェー. パジェス（J. Pages）、ジェー. バテル（J. Batlle）共著,「パターン コディフィケーション ストラテジース イン ストラクチャイド ライト システムズ（Pattern Codification Strategies in Structured Light Systems）」,パターン レコグニション（Pattern Recognition）,第37巻,p.827-849,2004年
【非特許文献４】ピー. ジェー. ベスル（P.J. Besl）著,「アクティブ, オプティカル レンジ イメージング センサス（Active, Optical Range Imaging Sensors）」,マシーン ビジョン アンド アプリケイションズ（Machine Vision and Applications）,第1巻,第2号,p.127-152,1988年
【非特許文献５】ジェー. デイビス（J. Davis）、アール. ラマムーアシ（R. Ramamoorthi）、エス. ルシンキエブィズ（S. Rusinkiewicz）共著,「スペースタイム ステレオ： ア ユニファイング フレームワーク フォー デプス フロム トライアンギュレション（Spacetime Stereo: A Unifying Framework for Depth from Triangulation）」,イン コンピュータ ビジョン アンド パターン レコグニション（In Computer Vision and Pattern Recognition）,第2巻,p.359-366,2003年
【非特許文献６】エル. チャン（L. Zhang）、ビー. キュレス（B. Curless）、エス. エム サイツ（S.M Seitz）共著,「スペースタイム ステレオ： シェイプ リカバリー フォー ダイナミック シーンス（Spacetime Stereo: Shape Recovery for Dynamic Scenes）」,イン コンピュータ ビジョン アンド パターン レコグニション（In Computer Vision and Pattern Recognition）,第2巻,p.367-374,2003年
【非特許文献７】エヌ. アヤチェ（N. Ayache）、シー. ハンセン（C. Hansen）共著,「レクティフィケーション オフ イメージズ フォー バイノキュラー アンド トリノキュラー ステレオビジョン（Rectification of Images for Binocular and Trinocular Stereovision）」,イン 9th インターナショナル カンファレンス オン パターン レコグニション（In 9th International Conference on Pattern Recognition）,p.11-16,1988年
【非特許文献８】エイ. フシエロ（A. Fusiello）、イー. トルコ（E. Trucco）、エイ. ベリ（A. Verri）共著,「ア コンパクト アルゴリズム フォー レクティフィケーション オフ ステレオ ペーアズ（A compact algorithm for rectification of stereo pairs）」,マシーン ビジョン アンド アプリケーションズ（Machine Vision and Appications）,第12巻,第1号,p.16-22,2000年
【発明の開示】
【発明が解決しようとする課題】
【０００８】
一方、図１に示すように、ステレオカメラで撮影して得られた時系列画像（基準画像と参照画像）を用いて、時間方向のウィンドウ（以下、単に「時間方向ウィンドウ」という。）を利用し、即ち、時間方向での画素値の変化を利用することにより、基準画像と参照画像との間の対応位置探索を行う、「spacetime stereo（時空間ステレオ）」と呼ばれるステレオ計測法も提案されている（非特許文献５、非特許文献６を参照）。
【０００９】
このspacetime stereo計測法では、計測対象である静止物体に対して、変化する照明を当てたときに、対応位置では時間的な画素値変化も同一であることを利用して、基準画像と参照画像との間の対応を求める。この照明変化は、例えば非特許文献３及び非特許文献４に開示されたようなアクティブステレオ計測法に使用されている「構造化照明」とは異なり、懐中電灯や影などの簡易な照明を任意に変化させることで実現できる。
【００１０】
また、spacetime stereo計測法では、通常の「パッシブステレオ計測法」で行うキャリブレーションだけを行えばよく、そして、簡易な照明を使用するので、通常の「アクティブステレオ計測法」のように、構造化照明も、構造化照明に対するキャリブレーションも不要となる。
【００１１】
しかし、spacetime stereo計測法では、照明変化を与えた計測対象を撮影して得られた時系列画像をすべて入力した後に、入力された全ての時系列画像を一括してステレオ計測処理を行うようにしているため、計測対象に適切な照明変化を与えたか否かを、時系列画像の撮影時に判断できなかったという問題点がある。
【００１２】
つまり、非特許文献５及び非特許文献６に開示されている「spacetime stereo計測法」では、「簡易な照明による照明変化を計測対象に与え、ステレオカメラで計測対象の時系列画像を撮影し、複数フレームを使って空間方向及び時間（フレーム）方向に注目領域を設定してステレオ画像間での対応位置を探索する」ことが述べられているだけで、（１）どのような照明変化を与えれば計測結果がよくなるのか、（２）いつまで計測すれば十分な計測結果になるのか、が判断できないため、満足できる計測結果が得られる保証がなく、計測者は無用に長時間の計測を強いられていたとの問題がある。
【００１３】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、細かな部分があり、且つテクスチャを持たない可能性のある静止物体を、低価格で簡易に且つ高精度にステレオ３次元計測できるようにした、インタラクティブなステレオ３次元計測システムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、ステレオ画像間の対応位置を探索することにより、静止物体である計測対象の３次元計測を行う、ステレオ３次元計測システムに関し、本発明の上記目的は、撮像装置と、空間的にも時間的にも変化するアクティブ照明を発生させるアクティブ照明手段と、３次元計測処理装置と、表示装置とを備え、前記アクティブ照明手段から発生された前記アクティブ照明で前記計測対象を照らしつつ、前記撮像装置を用いて時系列のステレオ画像を撮影し、撮影されたステレオ画像は、前記３次元計測処理装置に入力され、前記３次元計測処理装置では、時間方向に複数のフレームを使ってステレオ画像間の対応位置を探索することにより、前記計測対象までの距離を計測し、計測して得られた計測結果を前記表示装置に表示させ、更に、最新のステレオ画像が入力される毎に逐次的に計測処理を行い、計測結果を前記表示装置に表示させることによって効果的に達成される。
【００１５】
また、本発明の上記目的は、ステレオ画像間の対応位置を探索するときの空間方向領域が１×１[画素]であることにより、或いは、前記３次元計測処理装置は、ステレオ画像間のオクルージョンを検出する機能を備え、検出したオクルージョンをも前記表示装置に表示させることにより、或いは、前記撮像装置はステレオ画像を撮影するための同期した２台のステレオカメラ、即ち、基準画像を撮影するための基準カメラと、参照画像を撮影するための参照カメラから構成され、前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求めることによってより効果的に達成される。
【００１６】
更に、本発明の上記目的は、前記撮像装置はステレオ画像を撮影するための同期した３台以上のステレオカメラ、即ち、基準画像を撮影するための１台の基準カメラと、参照画像を撮影するための２台以上の参照カメラから構成され、前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求めることによってより効果的に達成される。
【発明の効果】
【００１７】
本発明に係るステレオ３次元計測システムによるステレオ計測とは、静止物体のステレオ３次元計測を行うために、計測対象である静止物体への簡易なアクティブ照明と、同期した２台以上のステレオカメラで撮影した時系列画像を用い、時間方向ウィンドウを利用した、インタラクティブなステレオ計測である。
【００１８】
本発明で使用される「簡易なアクティブ照明」は、例えば、懐中電灯や棒の影を計測対象上で移動させるだけでよい。また、本発明では、ステレオ画像間の対応点を検出するために、時間方向の画素値変化を利用する。
【００１９】
このため、本発明によれば、従来の「パッシブステレオ計測法」にとって必要である、ステレオ画像間の対応を求めるときに利用される、「空間方向ウィンドウ」が不要になり、時間方向ウィンドウを利用することにより、画素ごと（１×１[pixel]の空間方向ウィンドウ）に、ステレオ画像間の対応点を正確に求めることができ、よって静止物体のステレオ３次元計測を高精度に行うことができるといった優れた効果を奏する。
【００２０】
また、本発明に係るステレオ３次元計測システムにおいて、従来の「アクティブステレオ計測法」では必要となる、高価なＰＣプロジェクタや「構造化照明」も不要となり、よって静止物体のステレオ３次元計測を低価格で簡易に行うことができるといった顕著な効果を奏する。
【００２１】
更に、本発明に係るステレオ３次元計測システムを用いて、静止物体のステレオ３次元計測を行う際に、つまり、計測中に、入力画像（ステレオカメラで静止物体を撮影して得られたステレオ画像）を逐次的に処理し、処理して得られた計測結果をリアルタイムに表示するようにしているので、満足できる計測結果を得るために、計測者は、計測結果を確認しながら、簡易なアクティブ照明を当てる位置や強度、照明の方向などをインタラクティブに調整することが可能となり、リアルタイムに計測結果を表示する、インタラクティブな３次元計測システムを構築することができる。
【００２２】
要するに、本発明によれば、最新のステレオ画像を入力するごとに、今までの計測結果を最新の計測結果に更新して、その最新の計測結果をディスプレイ等の表示部に表示することにより、最新の計測結果を計測者にフィードバックすることで、計測者が計測対象への簡易なアクティブ照明の当て方などをインタラクティブに調整できるという優れた効果を奏する。
【発明を実施するための最良の形態】
【００２３】
最初に、本発明の着眼点及び概要について述べる。
【００２４】
ステレオ画像間での対応位置を探索するために、通常は注目位置の周囲の画素を同時に利用して、小領域ごとの対応位置を探索していた。この小領域は「空間方向ウィンドウ」と呼ばれ、空間方向ウィンドウ内の計測対象までの距離が均一で、対応する空間方向ウィンドウ間には変形がないものと仮定していた。
【００２５】
このため、背景技術でも述べたように、計測対象のエッジなど距離が不連続な部分では、計測結果が不正確になるという問題点があった。
【００２６】
そこで、本発明では、この「空間方向ウィンドウ」の概念を廃止し、画素ごとにステレオ画像間での対応位置を探索することを考えた。
【００２７】
このとき、同期した２台のステレオカメラ（基準カメラと参照カメラ）を用いてステレオ計測を行う場合、一対のステレオ画像（即ち、基準カメラで撮影して得られた１枚の基準画像と、参照カメラで撮影して得られた１枚の参照画像）では、ステレオ画像間の対応が一意に決定することができないので、３次元計測は不可能である。
【００２８】
しかし、空間的にも時間的にも変化する照明（以下、このような照明を単に「アクティブ照明」とも言う。）で計測対象を照らしながら、撮影した複数対のステレオ画像（以下、単に「複数のステレオ画像」という。）を利用すれば、ステレオ画像間で対応する画素は、時間方向にも同じ明るさの変化をするはずである。このため、時間方向に複数のステレオ画像を使うことで、「空間方向ウィンドウ」と同様の効果を期待することができる。
【００２９】
通常、「空間方向ウィンドウ」では、１１×１１[画素]程度の大きさの小領域として設定される。すなわち、１１×１１＝１２１[画素]の画素値に対応する、もう一方の画像中の領域を探索している。これを時系列画像で実現するためには、１２１フレーム、すなわち、３０ＦＰＳで画像を撮影しているときには、約４秒間に撮影した画像を利用するだけで、１１×１１[画素]の大きさを有する「空間方向ウィンドウ」と同様の効果を期待することができる。
【００３０】
このときに計測対象に与える「アクティブ照明」は、できるだけ簡単で低価格に実現できるものが利用できることが望ましい。実際には、このような「簡易なアクティブ照明」は、例えば、手持ちの懐中電灯で実現することができる。しかし、計測対象に対して「どこを」、「どれだけ」照明すれば、満足できる３次元計測結果が得られるのかが不明である。
【００３１】
そこで、本発明では、新たな（最新の）ステレオ画像を撮影して入力したら、入力された最新のステレオ画像を計測して得られた計測結果を今までの計測結果に加えて、最新の計測結果を生成し、生成された最新の計測結果をリアルタイムに表示することで、計測者はリアルタイムに表示された最新の計測結果を確認しながら、「アクティブ照明」を当てる位置や強度を調整し、満足できる計測結果が得られたら直ちに計測を終了し、或いは、所定の条件（例えば、予め決められた計測時間等）を満たしたら、計測を終了するようにした、インタラクティブなステレオ３次元計測システムを提案した。
【００３２】
要するに、本発明に係るステレオ３次元計測システムとは、計測対象である静止物体への簡易なアクティブ照明と、同期した２台以上のステレオカメラで撮影した時系列画像を用いて、３次元計測を行い、その計測結果をリアルタイムに確認可能なステレオ３次元計測システムである。
【００３３】
以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。
【００３４】
図２（Ａ）は、本発明に係るステレオ３次元計測システムの実施構成例を示すブロック図である。図２（Ａ）に示されたように、本発明のステレオ３次元計測システム１は、撮像装置１０と、アクティブ照明手段２０と、３次元計測処理装置３０と、表示装置４０とを備えている。
【００３５】
まず、撮像装置１０は、計測対象である静止物体の時系列画像を撮影するための装置であり、その一例としては、図２（Ａ）に示されたように、同期した２台のステレオカメラ（基準画像を撮影するための基準カメラ１１と、参照画像を撮影するための参照カメラ１２）から構成されている。
【００３６】
アクティブ照明手段２０は、計測対象である静止物体へのアクティブ照明を発生させる手段である。本発明でいう「アクティブ照明」とは、空間的にも時間的にも変化する照明を意味する。
【００３７】
アクティブ照明手段２０で計測対象である静止物体を照らす具体例の一例としては、例えば、懐中電灯や棒の影を計測対象上で移動させるだけでよい。
【００３８】
本発明では、アクティブ照明手段２０による照明変化を計測対象に与え、そして、本実施例では、撮像装置１０を構成する、基準カメラ１１及び参照カメラ１２を用いて、計測対象の時系列画像（基準画像及び参照画像）を撮影する。撮影された時系列画像（基準画像及び参照画像）は、３次元計測処理装置３０に入力される。
【００３９】
一方、３次元計測処理装置３０では、入力された時系列画像（基準画像及び参照画像）を用いて、３次元計測処理を行い、生成した計測結果を表示装置４０に表示する。
【００４０】
３次元計測処理装置３０として、例えば、メモリを有するＣＰＵ（Central Processing Unit）を用いることができる。また、表示装置４０として、例えば、液晶ディスプレイなどのディスプレイを用いることができる。
【００４１】
図２（Ｂ）は、図２（Ａ）の構成を備えるステレオ３次元計測システム１を用いて、計測対象のステレオ３次元計測を実際に行う場合のイメージ的な概念図である。
【００４２】
図２（Ｂ）に概念的に示されたように、本発明のステレオ３次元計測システムは、インタラクティブな計測システムであって、３次元計測を行う際に、まず、アクティブ照明手段２０による照明変化を計測対象２３に与えながら、同期した基準カメラ１１及び参照カメラ１２を用いて、計測対象２３の時系列画像（基準画像及び参照画像）を撮影する。本実施例では、アクティブ照明手段２０によるアクティブ照明とは、計測者２１は、自分が持っている懐中電灯２２を、計測対象２３に当てながら移動することを意味する。
【００４３】
撮影された時系列画像（基準画像及び参照画像）は、３次元計測処理装置３０に入力され、３次元計測処理装置３０での３次元計測処理によって生成された計測結果は、表示装置４０にリアルタイムに表示される。計測者２１は、表示装置４０にリアルタイムに表示された計測結果を確認しながら、計測対象である静止物体の表面に適切なテクスチャが存在しない箇所、すなわち、懐中電灯２２の照明が不足している位置を、集中して照明する。
【００４４】
そして、同期した基準カメラ１１及び参照カメラ１２を用いて撮影された新たな時系列画像（基準画像及び参照画像）は、３次元計測処理装置３０に入力され、入力された新たな時系列画像（基準画像及び参照画像）に基づき、３次元計測処理が行われ、生成された計測結果は表示装置４０にリアルタイムに表示される。
【００４５】
上述したように、本発明のステレオ３次元計測システムによるステレオ３次元計測は、計測結果をフィードバックして利用しながら、計測対象に照明変化を与える３次元計測である。例えば、計測結果が不完全な箇所（計測対象である静止物体の表面に適切なテクスチャが存在しない箇所）に集中的に照明変化を与えたり、計測対象である静止物体が鏡面反射成分を持つ場合にはアクティブ照明の角度を調整するなどのインタラクションを行ったりすることができる。また、計測者が計測結果に満足できた時点で計測を終了することができる。
【００４６】
本発明のステレオ３次元計測システムでは、撮影した時系列画像間での対応位置を探索するために、空間的に１×１[画素]、時間的に必要なだけの枚数の画像を利用する。すなわち、本発明では、画像の画素ごとに対応位置を探索する。本発明では、時間的に必要なだけの枚数の画像が入力されたことを判断するために、計測結果をリアルタイムに表示する。また、リアルタイムに表示するために、ステレオ画像を１組入力するごとに最新の計測結果を更新して表示する。
【００４７】
次に、図３は、本発明に係るステレオ３次元計測システムによる３次元計測処理、即ち図２に示された３次元計測処理装置３０（以下、単に「３次元計測処理装置」と言う。）で行われる「３次元計測処理」の流れを示すフローチャートである。
【００４８】
図３に示されたように、本発明では、まず、同期した基準カメラ１１及び参照カメラ１２で撮影したステレオ画像（基準画像と参照画像）は、３次元計測処理装置に入力される（ステップＳ１）。
【００４９】
そして、３次元計測処理装置では、新しいステレオ画像が入力される毎に、入力されたステレオ画像（以下、単に「入力画像」という。）に対して、まず、レンズ歪曲収差の除去とレクティフィケーション(平行化)（非特許文献７、非特許文献８を参照）を行う（ステップＳ２、ステップＳ３）。
【００５０】
次に、下記数１に示されたように、フレーム間差分を行った上で（ステップＳ５）、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ:Squared Difference)を計算する（ステップ６）。
【００５１】
【数１】
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表す。また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値である。
【００５２】
ここで、フレーム間差分を行う理由は、画像間での明るさの差による影響を低減するためである。また、フレーム間差分を行うために、３次元計測処理装置のフレームメモリにおいて、１フレーム遅延を行う（ステップＳ４）。
【００５３】
次に、下記数２に示されたように、ステレオ画像間の対応候補画素の画素値の差の２乗、即ち、数１により算出されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を積算し、図４に示すように、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間に配置する（ステップＳ７）。
【００５４】
【数２】
次に、ステレオ画像間の対応位置は、図４に示されたように、このＳＳＤ空間における視差ｄ方向の最小値探索によって求める（ステップＳ８）。
【００５５】
ここで、実際の計測では、時系列画像の全てのフレームにおいて照明変化があるわけではない。例えば、アクティブ照明手段２０による照明変化として、手持ちの懐中電灯を考えると、画像中のほとんどの部分には懐中電灯の照明が当たらず画素値が変化しない。
【００５６】
そこで、変化しない画素値は対応点探索に寄与しないため、実際の計算では、数１を計算するときに、基準画像のフレーム間差分値を一定のしきい値と比較し、基準画像のフレーム間差分値がしきい値以上のときだけ、数１により算出されたＳＤを、数２によってＳＳＤ空間に積算している（図５を参照）。この処理によって、アクティブ照明手段２０が懐中電灯照明の場合に、視差の計算時間を約１／３に短縮できた。
【００５７】
次に、本発明のステレオ３次元計測システムでは、オクルージョンを検出するために、バックマッチングを利用し、即ち、通常の探索で得られた視差と、基準画像と参照画像を交換して得られた視差の差の絶対値が、所定のしきい値以上であれば、オクルージョンと判定する（ステップＳ９）。
【００５８】
次に、上記の処理により得られた計測結果（視差マップとオクルージョン検出結果）を表示装置４０に表示する（ステップＳ１０）。
【００５９】
次に、例えば、アクティブ照明手段２０によるアクティブ照明は、計測者２１が持っている懐中電灯２２である場合、計測者２１は、表示装置４０に表示された計測結果（視差マップとオクルージョン検出結果）を確認しながら、懐中電灯を動かして計測対象を照明する。計測結果が不完全な箇所には、集中的に照明変化を与えることで、効率的に計測が行える。計測者２１が計測結果に満足できた時点で計測を終了する（ステップＳ１１）。
【００６０】
上述したように、３次元計測処理装置３０では、撮像装置１０（基準カメラ及び参照カメラ）により取得された新しいステレオ画像が入力される毎に、ステップＳ２〜ステップＳ１０の処理を行い、換言すれば、逐次的計測結果を更新し、満足できた計測結果が得られた場合、ステレオ３次元計測処理を終了する。
【００６１】
ここで、本発明のステレオ３次元計測システムにより計測され、表示装置４０に表示された計測結果の一例を図６に示す。
【００６２】
図６（Ａ）〜図６（Ｃ）から、計測結果（視差マップとオクルージョン検出結果）が徐々に生成されていく様子が良く分かる。
【００６３】
最終的な計測結果を図６（Ｄ）に示す。図６（Ｄ）の下段は２台のステレオカメラ（基準カメラと参照カメラ）で撮影した基準画像と参照画像を示す。また、図６（Ｄ）の上段左は推定した視差マップを、図６（Ｄ）の上段右は検出したオクルージョン領域（白）をそれぞれ示す。オクルージョン検出のためのしきい値は、オクルージョン検出結果を確認しながら調整できるようにした。
【００６４】
計測者は、視差マップとオクルージョン検出結果を確認しながら、懐中電灯などを動かして計測対象を照明する。計測結果が不完全な箇所には、集中的に照明変化を与えることで、効率的に計測が行える。
【００６５】
上記のように、本発明のステレオ３次元計測システムの実施例を説明したが、本発明のステレオ３次元計測システムにおける撮像装置１０は、同期した２台のステレオカメラに限定されずに、多眼ステレオカメラ、即ち、同期した３台以上のステレオカメラ（基準画像を撮影するための１台の基準カメラと、参照画像を撮影するための２台以上の参照カメラ）を用いることが可能であることは言うまでもない。同期した３台以上のステレオカメラを撮像装置１０とすることによって、ステレオ画像間対応位置の曖昧性と、遮蔽領域（オクルージョン）を低減することができる。
【００６６】
次に、本発明のステレオ３次元計測システムを用いて、複雑な形状や細かな形状を持つ静止物体を計測対象とした計測実験を行い、本発明の有効性を確認した。
【００６７】
撮像装置としてはPoint Grey Research社のFlea２というカメラを用い、そのカメラで６４０×４８０[pixel]のグレースケール画像を撮影した。アクティブ照明として、計測時間を短縮するために、図６（Ｄ）の撮影画像中に示すように、ランダムストライプパターンの静止画をＰＣプロジェクタに入力し、プロジェクタを手に持って計測対象を照明した。また、レーザーポインタも利用した。静止画投影は、懐中電灯を改造したものやスライドプロジェクタといった低コストな照明でも十分実現できる。視差推定は、画素単位で行った。
【００６８】
図７に撮影画像（基準画像と参照画像）と視差マップを示す。図７（Ｃ）に示された視差マップ中の黒い領域は、オクルージョンとして検出された領域を示す。計測対象は、複雑な形状をもつ花で、奥行き不連続な領域やオクルージョン領域を多く含んでいるが、図７から分かるように、良好な計測結果が得られている。また、花の左側の平面領域（１５９×３４２[pixel]、９０×２００[ｍｍ]に対応）を用いて、推定した３次元位置に対して平面をフィッティングし奥行きの標準偏差を計算したところ、０.４５[ｍｍ]であった。なお、ベースライン長（基線長）は、２５４[ｍｍ]、カメラから平面までの距離は約６４０[ｍｍ]である。表示速度は約３[ｆｐｓ]であった。
【００６９】
図８に別の計測結果を示す。計測対象には、ラケットのガットのような非常に細かな形状が含まれるが、図８から分かるように、良好な視差推定が行われている。また、後ろの平面領域でのガット部によるオクルージョン領域も検出されていることが確認できる。ラケットのフレーム部において、誤ってオクルージョンとして検出されている領域は、色が黒く反射率が低い部分である。
【図面の簡単な説明】
【００７０】
【図１】従来の「spacetime stereo」ステレオ計測を説明するための概念図である。
【図２】図２（Ａ）は、本発明に係るステレオ３次元計測システムの実施構成例を示すブロック図である。図２（Ｂ）は、図２（Ａ）の構成を備えるステレオ３次元計測システム１を用いて、計測対象のステレオ３次元計測を実際に行う場合のイメージ的な概念図である。
【図３】本発明に係るステレオ３次元計測システムによる３次元計測処理の流れを示すフローチャートである。
【図４】本発明に係るステレオ３次元計測システムおいて、ＳＳＤ空間と最小値探索を説明するための模式図である。
【図５】本発明に係るステレオ３次元計測システムおいて、積算フレームの選択を説明するための模式図である。
【図６】本発明に係るステレオ３次元計測システムによる計測結果の表示例を示す図である。
【図７】本発明に係るステレオ３次元計測システムによる計測結果（花）を示す図である。
【図８】本発明に係るステレオ３次元計測システムによる計測結果（ラケット）を示す図である。
【特許請求の範囲】
【請求項１】
ステレオ画像間の対応位置を探索することにより、静止物体である計測対象の３次元計測を行う、ステレオ３次元計測システムであって、
撮像装置と、空間的にも時間的にも変化するアクティブ照明を発生させるアクティブ照明手段と、３次元計測処理装置と、表示装置とを備え、
前記アクティブ照明手段から発生された前記アクティブ照明で前記計測対象を照らしつつ、前記撮像装置を用いて時系列のステレオ画像を撮影し、撮影されたステレオ画像は、前記３次元計測処理装置に入力され、
前記３次元計測処理装置では、時間方向に複数のフレームを使ってステレオ画像間の対応位置を探索することにより、前記計測対象までの距離を計測し、計測して得られた計測結果を前記表示装置に表示させ、更に、最新のステレオ画像が入力される毎に逐次的に計測処理を行い、計測結果を前記表示装置に表示させることを特徴とするステレオ３次元計測システム。
【請求項２】
ステレオ画像間の対応位置を探索するときの空間方向領域が１×１[画素]である請求項１に記載のステレオ３次元計測システム。
【請求項３】
前記３次元計測処理装置は、ステレオ画像間のオクルージョンを検出する機能を備え、検出したオクルージョンをも前記表示装置に表示させる請求項１又は請求項２に記載のステレオ３次元計測システム。
【請求項４】
前記撮像装置はステレオ画像を撮影するための同期した２台のステレオカメラ、即ち、基準画像を撮影するための基準カメラと、参照画像を撮影するための参照カメラから構成され、
前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、
次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求める請求項１乃至請求項３のいずれかに記載のステレオ３次元計測システム。
【請求項５】
前記撮像装置はステレオ画像を撮影するための同期した３台以上のステレオカメラ、即ち、基準画像を撮影するための１台の基準カメラと、参照画像を撮影するための２台以上の参照カメラから構成され、
前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、
次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求める請求項１乃至請求項３のいずれかに記載のステレオ３次元計測システム。
【請求項１】
ステレオ画像間の対応位置を探索することにより、静止物体である計測対象の３次元計測を行う、ステレオ３次元計測システムであって、
撮像装置と、空間的にも時間的にも変化するアクティブ照明を発生させるアクティブ照明手段と、３次元計測処理装置と、表示装置とを備え、
前記アクティブ照明手段から発生された前記アクティブ照明で前記計測対象を照らしつつ、前記撮像装置を用いて時系列のステレオ画像を撮影し、撮影されたステレオ画像は、前記３次元計測処理装置に入力され、
前記３次元計測処理装置では、時間方向に複数のフレームを使ってステレオ画像間の対応位置を探索することにより、前記計測対象までの距離を計測し、計測して得られた計測結果を前記表示装置に表示させ、更に、最新のステレオ画像が入力される毎に逐次的に計測処理を行い、計測結果を前記表示装置に表示させることを特徴とするステレオ３次元計測システム。
【請求項２】
ステレオ画像間の対応位置を探索するときの空間方向領域が１×１[画素]である請求項１に記載のステレオ３次元計測システム。
【請求項３】
前記３次元計測処理装置は、ステレオ画像間のオクルージョンを検出する機能を備え、検出したオクルージョンをも前記表示装置に表示させる請求項１又は請求項２に記載のステレオ３次元計測システム。
【請求項４】
前記撮像装置はステレオ画像を撮影するための同期した２台のステレオカメラ、即ち、基準画像を撮影するための基準カメラと、参照画像を撮影するための参照カメラから構成され、
前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、
次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求める請求項１乃至請求項３のいずれかに記載のステレオ３次元計測システム。
【請求項５】
前記撮像装置はステレオ画像を撮影するための同期した３台以上のステレオカメラ、即ち、基準画像を撮影するための１台の基準カメラと、参照画像を撮影するための２台以上の参照カメラから構成され、
前記３次元計測処理装置は、新しいステレオ画像が入力される毎に、入力されたステレオ画像に対し、レンズ歪曲収差の除去を行った後に、次の数式に基づき、フレーム間差分を行った上で、ステレオ画像間の対応候補画素の画素値の差の２乗(ＳＤ)を計算し、
ただし、（ｕｂ,ｖｂ）は基準画像座標を表し、ｄは視差を表し、また、Ｉｂ（ｕ,ｖ,ｔ）とＩｒ（ｕ,ｖ,ｔ）は、それぞれ基準画像と参照画像の位置（ｕ,ｖ）におけるフレーム番号ｔでの画素値であり、
次に、フレーム間差分値が一定値以上のとき、次の数式に基づき、計算されたＳＤ（ｕｂ,ｖｂ,ｄ,ｔ）を、基準画像座標（ｕｂ,ｖｂ）と視差ｄを軸に持つＳＳＤ空間へ積算し、
前記ＳＳＤ空間における視差ｄ方向の最小値探索によって、ステレオ画像間の対応位置を求める請求項１乃至請求項３のいずれかに記載のステレオ３次元計測システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−２７５３６６（Ｐ２００８−２７５３６６Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１１６７４８（Ｐ２００７−１１６７４８）
【出願日】平成１９年４月２６日（２００７．４．２６）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年４月２６日（２００７．４．２６）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]