ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
【課題】ステレオ画像対の対応の画素をリアルタイムで正確にマッチングする装置を提供する。
【解決手段】補正されたステレオ画像対の画素対をマッチングする装置は、レンジカメラ画像内の画素をステレオカメラシステムの左右の画像中の画素にマッピングし、レンジカメラ画像内の画素の画素値をしきい値と比較するための前景／背景マッピングモジュール１４６と、前景／背景マッピングモジュール１４６に応答して、比較手段の比較結果により、第１の画像内の画素に対応する第２の画像内の画素について、第１のディスパリティ探索又は第２のディスパリティ探索を選択的に行うためのディスパリティ探索モジュール１４８とを含む。
【解決手段】補正されたステレオ画像対の画素対をマッチングする装置は、レンジカメラ画像内の画素をステレオカメラシステムの左右の画像中の画素にマッピングし、レンジカメラ画像内の画素の画素値をしきい値と比較するための前景／背景マッピングモジュール１４６と、前景／背景マッピングモジュール１４６に応答して、比較手段の比較結果により、第１の画像内の画素に対応する第２の画像内の画素について、第１のディスパリティ探索又は第２のディスパリティ探索を選択的に行うためのディスパリティ探索モジュール１４８とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はステレオ画像のリアルタイムディスパリティ推定のための装置及びコンピュータプログラムに関し、特に、２Ｄ／３Ｄ頭部姿勢検出、認識、３Ｄゲーム開発、アニメーション、放送及び通信のための、ステレオ画像対のリアルタイムの、フレームごとの画素のマッチングのための装置及びプログラムに関する。
【背景技術】
【０００２】
メディア放送コンテンツにおいて、本物らしい感じを達成するために、送信及び音声―映像マルチメディア技術が速いペースで進展している。視聴者に本物らしさを感じさせるためには、視聴者に対し、超現実的な音声及び映像コンテンツを配信しなければならない。この発明では、３次元（３Ｄ）視覚コンテンツ獲得に焦点を当てる。
【０００３】
長年にわたって、周知の赤／緑立体視眼鏡に基づく表示、容積表示（非特許文献１）、自動立体視表示（非特許文献２、３）等の様々な種類の３Ｄ表示技術が開発されてきた。赤／緑立体視眼鏡に基づく表示は２つのカメラからの入力を必要とするが、処理はほとんど不要である。ただし視聴者は特別な眼鏡をかけなければならない。自動立体視３Ｄ表示では特別な眼鏡は必要ないが、コンテンツは３Ｄでキャプチャし３Ｄで配信しなければならない。自然なシーンの３Ｄによるコンテンツの獲得で、既存のテレビジョン放送の品質に達するには、依然としてかなりの困難がある。
【０００４】
従来の２Ｄテレビジョンと対照的に、自動立体視３Ｄテレビジョンはあるシーンの視覚的外観だけでなく、そのシーンの密度の濃い深度マップ情報を必要とする。このため、主に２つの科学的課題がある。すなわち、シーンの視覚的外観と深度マップとをリアルタイムで獲得することと、結果として得られる３Ｄテレビジョン上の３Ｄ外観が、そのシーンの元の視覚的外観とマッチしていなければならない（本物らしさ）ということと、である。
【０００５】
これまで、３Ｄのシーンキャプチャに多くの技術が提案されてきた。極端なものの一つでは、従来の較正済立体視カメラを用いた画像ベースのアプローチによって、深度マップを推定している。別の極端な例では、赤外光の飛行時間（Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ：ＴＯＦ）を用いた光学ベースのカメラを用いて深度を獲得している。
【０００６】
ＴＯＦ３Ｄカメラは正弦波変調された赤外光信号を射出する（非特許文献４）。光が測定システムを出て対象物に至り、システムに戻るまでの移動に必要な時間が測定され、画像中の各画素の深度が計算される。達成可能な最良の距離精度は、深度距離によるが数センチメートルのオーダであって、動作範囲の制限があり、範囲外の測定値は信頼性が低い。このため、ＴＤＦカメラによる獲得アプローチは３Ｄテレビジョン放送には向いていない。
【０００７】
従来の、較正済立体視に基づくアプローチ（非特許文献５、６）は、画像処理アルゴリズム、すなわちテンプレートマッチングを用いて、左右のカメラ画像からのシーンの深度マップを計算する。これはカメラを較正して、内部及び外部のカメラパラメータを推定することを必要とする。深度マップ推定処理は、同期キャプチャ、較正パラメータを用いた補正、及び左右のカメラ画像の画素間のディスパリティ推定のためのテンプレートマッチングを含む。テンプレートマッチングアルゴリズムは通常、正規化相互相関ベースの類似尺度を用いる。
【非特許文献１】Ｂ．ブランデル及びＡ．Ｊ．シュワルツ、「容積表示システムの分類：画像空間の特性及び予測可能性」ＩＥＥＥ視覚化及びコンピュータグラフィックトランザクション、第８巻、第１号、６６−７６ページ、２００２年（B. Blundell and A.J. Schwarz, "The classification of volumetric display systems: Characteristics and predictability of the image space," IEEE Transactions on Visualization and Computer Graphics, vol. 8, no. 1, pp. 66-76, 2002.）
【非特許文献２】フィリップスリサーチ、「マルチビュー自動立体視表示」、［ｏｎｌｉｎｅ］、平成１９年１２月３日検索、インターネット＜ＵＲＬ：http://www.research.philips.com/technologies/display/ov_3ddisp.html＞（Philips Research, "Multi-view autostereoscopic displays," in http://www.research.philips.com/technologies /display/ov_3ddisp.html）
【非特許文献３】Ｒ．ボルナー、Ｂ．ダックスタイン、Ｏ．マチウ、Ｒ．ラダー、Ｔ．シニング及びＴ．シコラ、「頭部トラッキング能力を備えた単一ユーザの自動立体視表示のファミリー」ＩＥＥＥビデオ技術のための回路及びシステムトランザクション、第１０巻、第２号、２３４−２４３ページ、２０００年（R. Borner, B. Duckstein, O. Machui, R. Rder, T. Sinning, and T. Sikora, "A family of single-user autostereoscopic displays with head-tracking capabilities," IEEE Transactions on Circuits and Systems for Video Technology, vol. 10, no. 2, pp. 234-243, 2000.）
【非特許文献４】Ｂ．ブットゲン、Ｔ．オジヤ、及びＭ．レーマン、「レンジ画像化のためのＣｃｄ／ｃｍｏｓロックイン画素：課題、限界と現状」レンジ画像化研究第１日、予稿集、２１−２３ページ、インゲンサンド／カールマン（編）、チューリッヒ、２００５年（B. Buttgen, T. Oggier, and M. Lehmann, "Ccd/cmos lock-in pixel for range imaging: challenges, limitations and state-of-the-art," in Proceedings of 1st range imaging research day, pp.21-32, Ingensand/Kahlmann (eds.), Zurich, 2005.）
【非特許文献５】Ｋ．コーノリヒ、「スモールビジョンシステム：ハードウェア及び実現」ロボティクス研究に関する第８回国際シンポジウム、ハヤマ、日本、１９９７年（K. Konolige, "Small vision systems: Hardware and implementation," in Eighth International Symposium on Robotics Research, Hayama, Japan, 1997.）
【非特許文献６】Ｃ．サン、「矩形サブ領域化及び３ｄ最大面積技術を用いた高速ステレオマッチング」コンピュータビジョン国際ジャーナル、第４７巻、第１／２／３巻、９９−１１７ページ、２００２年（C. Sun, "Fast stereo matching using rectangular sub-regioning and 3d maximum-surface techniques," International Journal of Computer Vision, vol. 47, no. 1/2/3, pp. 99-117, 2002.）
【非特許文献７】Ｇ．Ｒ．グリメット及びＤ．Ｒ．スチルゼーカ、確率とランダム処理、第２版、クラレンドンプレス、オックスフォード。ＩＳＢＮ０−１９−８５３６６５０８、１９９２年（G.R. Grimmett and D.R. Stirzaker, Probability and Random Processes, 2nd Edition, Clarendon Press, Oxford. ISBN 0-19-853665-8, 1992.）
【非特許文献８】Ｐ．ヴィオラ及びＭ．ジョーンズ、「頑健なリアルタイムの物体検出」視覚モデリング、学習、計算及びサンプリングの統計及び計算理論に関する第２回国際ワークショップ、バンクーバー、カナダ、２００１年（P. Viola and M. Jones, "Robust real-time object detection," in 2nd International Workshop on Statistical and Computational Theories of Vision-Modeling, Learning, Computing, and Sampling, Vancouver, Canada, 2001.）
【非特許文献９】Ｒ．Ｊ．シャルコフ、ディジタル画像処理及びコンピュータビジョン、ジョンワイリーアンドサンズ社、１９８９年（R.J. Schalkoff, Digital Image Processing and Computer Vision, John Wiley and Sons, Inc., 1989.）
【非特許文献１０】Ｔ．オジヤ、Ｒ．カウフマン、Ｍ．レーマン、Ｐ．メツラー、Ｇ．ラング、Ｍ．シュバイツァー、Ｍ．リヒター、Ｂ．ブットゲン、Ｎ．ブランク、Ｋ．グリースバッハ、Ｂ．ウルマン、Ｋ−Ｈ．ステージマン及びＣ．エルマー、「小型化された光学レンジカメラでのリアルタイム３ｄイメージング」ニュルンベルグ光学会議、ＤＥ２００４年（ T Oggier, R. Kaufmann, M. Lehmann, P. Metzler, G. Lang, M. Schweizer, M. Richter, B. Bttgen, N. Blanc, K. Griesbach, B. Uhlmann, K.-H. Stegemann, and C. Ellmers, "3d-imaging in real-time with miniaturized optical range camera," in Opto Conference Nurnberg, DE., 2004.）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、従来のステレオベースの３Ｄ再構築アプローチは、多くの場合正確に３Ｄ情報を計算することができない。なぜなら、ステレオ画像中の画素の場所によっては、特に、ステレオディスパリティ探索アルゴリズムのための探索範囲が未知である場合は、対応のマッチングのための独自の情報を提供しないことがあるからである。さらに、テンプレートマッチングアルゴリズムは画像にノイズがある場合、しばしば、正確にディスパリティを計算することができない。
【０００９】
従って、この発明の目的の１つは、ステレオ画像対の対応の画素をリアルタイムで正確にマッチングする装置を提供することである。
【００１０】
この発明の別の目的は、ステレオ画像対の対応の画素をリアルタイムで正確かつ頑健にマッチングする装置を提供することである。
【００１１】
この発明のさらに別の目的は、左画像のテンプレートを右画像の対応するブロックと正確にマッチングしてステレオ画像対の画素マッチングを向上させる装置を提供することである。
【課題を解決するための手段】
【００１２】
この発明の第１の局面は、補正したステレオ画像対において、対応する画素対をマッチングするための装置に関する。この装置は、ステレオカメラ及びレンジカメラに接続され、それぞれ補正されたステレオ画像対とレンジカメラ画像とを受けることができる。ステレオ画像対は第１の画像と第２の画像とを含む。この装置は、前記レンジカメラ画像中の画素を前記第１の画像中の画素と前記第２の画像中の画素とにマッピングするための第１のマッピング手段と、前記レンジカメラ画像中の前記画素の強度をしきい値と比較するための比較手段と、前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索する手段と、を含む。
【００１３】
好ましくは、探索手段は、前記比較手段が、前記画素の前記強度が前記しきい値より高いと判定したことに応答する第１の探索手段と、前記比較手段が、前記画素の前記強度が前記しきい値以下であると判定したことに応答する第２の探索手段と、を含む。第１の探索手段の探索範囲は前記第２の探索手段の探索範囲より短い。
【００１４】
さらに好ましくは、前記第１の探索手段は、前記比較手段が、前記画素の前記強度が前記しきい値より高いと判定したことに応答して、前記レンジカメラ画像の前記画素を前記第２の画像にマッピングするための第２のマッピング手段と、前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の両側に延在する第１の探索範囲を規定する、第１の探索範囲規定手段と、前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第１の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第１の類似度計算手段と、前記第２の画像中の前記ブロックのうち、最も高い類似尺度を有するものを選択するための第１のブロック選択手段と、前記第１のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための、第１の画素選択手段と、を含む。ここで、「包含する」とは、このブロックが予め定められた位置の画素、例えば、ブロックが矩形であるとすればブロックの中心の画素、を含むことを意味する。
【００１５】
さらに好ましくは、前記第２の探索手段は、前記第１の探索範囲より長い第２の探索範囲を規定するための、第２の探索範囲規定手段を含み、前記第２の探索範囲は前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の一方側のみに延在し、前記第２の探索手段はさらに、前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第２の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第２の類似度計算手段と、前記第２の画像中の前記ブロックのうち、前記第２の類似手段によって計算された最も高い類似尺度を有するものを選択するための第２のブロック選択手段と、前記第２のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための、第２の画素選択手段と、を含む。
【００１６】
前記第１の類似度計算手段は、前記第１の画像中の前記ブロックと前記第２の画像中の前記ブロックとの各々を、同じ形状の複数のサブブロックに分割するための手段と、前記第２の画像中の前記ブロックの各々と、前記第１の画像中の前記ブロックとの平均画素値を計算するための手段と、前記サブブロックの各々の画素の画素値から前記平均画素値を減算するための手段と、前記サブブロックの各々の画素の平均画素値を計算するための手段と、前記第１の画像のサブブロックの平均画素値と、前記第２の画像のブロックの各々のサブブロックのそれぞれの平均画素値との二乗誤差の合計を計算するための手段と、を含んでもよい。前記二乗誤差の合計が前記類似尺度である。
【００１７】
この発明の第２の局面は、ステレオカメラ及びレンジカメラに接続されてそれぞれ補正されたステレオ画像対とレンジカメラ像とを受けることができるコンピュータで実行可能なコンピュータプログラムに関する。ステレオ画像対は第１の画像と第２の画像とを含む。前記コンピュータプログラムは、前記コンピュータ上で実行されると、コンピュータを、前記レンジカメラ画像中の画素を前記第１の画像中の画素にマッピングするための第１のマッピング手段と、前記レンジカメラ画像中の前記画素の画素値をしきい値と比較するための比較手段と、前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索する手段と、として動作させる。
【発明を実施するための最良の形態】
【００１８】
深度マップ推定アルゴリズム
ステレオカメラベースの深度マップ推定アルゴリズムはしばしば、補正及び探索メカニズムに依存する。図７はディスパリティ推定のための補正されたステレオ画像対テンプレート探索処理を表す。左カメラ画像２４０Ｌにおいて対象点２５０（ｘ,ｙ）を含む矩形のテンプレートウィンドウ２５２が、右カメラ画像２４０Ｒ内の、左カメラ画像２４０Ｌ中のエピポーラ線２４２Ｌと同じ高さにあるエピポーラ線２４２Ｒ上の同じサイズのブロック２６２と、二乗誤差又はゼロ平均正規化相関法等の様々な類似尺度を用いて比較される。類似尺度が最も高いブロックが、右カメラ画像２４０Ｒ中の画素２６０（ｘ＋ｕ，ｙ）を規定する。この画素２６０と左画像中の画素２５０とは、同じ対象点の画像であると考えられる。
【００１９】
マッチングアルゴリズムは、左カメラ画像２４０Ｌ内の２ＤテンプレートウィンドウＡ２５２の、右カメラ画像２４０Ｒ内のサイズｗ×ｈの２ＤブロックＢ２６２に対する類似尺度を計算する必要がある。一般に、補正誤差とガウスノイズの存在下で、Ａ及びＢを以下のように表すことができる。
【００２０】
【数１】
ここでθは、補正誤差による、ウィンドウデータＡに対するウィンドウデータＢの相対的回転である。γ及びΓはそれぞれ左及び右カメラの任意のスケール値（利得要素）を表す。Ｘ―（ここで―は式中文字の上に付されるものである）は平均値を表し、Ｘ〜（ここで〜は式中文字の上に付されるものである）はウィンドウデータの固有の形状又はテクスチャ特性を表すものである。Ｎ（μ,σ２）は、平均μ及び分散σ２≧０の時の任意のガウスノイズを表し、ここで画像とノイズデータとは独立である。すなわち、一般に、理想的な条件下では、ウィンドウデータの両方が同じ対象パッチに属し、θがゼロであり、ステレオ画像が完璧に補正されたときのみ、以下が成立する。
【００２１】
【数２】
しかし、一般に、我々がアクセスできるのは式１及び式２のＡ及びＢの観察のみであり、画像は、較正誤差、映像ノイズ、又はＡ〜及びＢ〜が独自の情報を担持していない場合に独自の固有形状特性がないことにより、画像を完璧にマッチングすることはできないであろう。映像ノイズは、レンズ焦点の違い、視野角の違い、及び左右のカメラ上での照明効果のむら等のために生ずる。
【００２２】
ＴＯＦカメラ
この実施の形態では、失敗又はマッチングの間違いの数を減じるために、ＴＯＦカメラの３Ｄ測定値をオンザフライで左右のカメラ画像２４０Ｌ及び２４０Ｒの両方に逆投影することで、画像画素の３Ｄの場所を推定する。従って、ディスパリティアルゴリズムの探索範囲は各画素に制限される。制限アルゴリズムは後述する。
【００２３】
ＴＯＦカメラは振幅変調された不可視赤外光を射出し、この光はシーンの対象物によって反射されてイメージセンサ上に後方散乱する。イメージセンサ上の各画素は入来する光信号を復調し、正弦波関数を回復して位相遅延を推定する。この場合、位相遅延は対象物のカメラへの距離に直接比例する（非特許文献７）。
【００２４】
実務的観点からは、ＴＯＦカメラには様々な課題と制限がある。例えば、距離測定の標準偏差は変調周波数と逆比例の挙動をする（非特許文献４）。このため、正確な距離測定を目標とする場合は、高い変調周波数が好ましい。一方、一義的な測定範囲は変調周波数と逆比例する。例えば、変調周波数が２０ＭＨｚの場合、一義的な測定範囲は７．５メートルである。このため、多義的な範囲（７．５メートル超）に属する測定値は不正確に推定される。
【００２５】
射出された赤外光は逆二乗の法則に従うため、入来する画素値の振幅しきい値を設定すればノイズのある画素をフィルタ除去することができる。基本的に、これは、前景の対象物の範囲測定値は入手できるが、背景の対象物については入手できないと考えることができる。従って、この実施の形態では、この情報を、従来のステレオ再構築処理において前景及び背景領域のマスキングに利用する。
【００２６】
レンジカメラからステレオカメラへのマッピング
ＴＯＦカメラからの一組の３Ｄ測定値とステレオ画像中のそれらに対応する画像点とが、レンジカメラからステレオカメラへのマッピングパラメータＡ＝［ａｉｊ］を与える。均質座標での各カメラに対する、レンジカメラからステレオカメラへのマッピング式は、以下の、周知のカメラ較正手順として書くことができる（非特許文献８）。
【００２７】
【数３】
ここで［ｘ０ｙ０ｚｏ］ＴはＴＯＦカメラからの３Ｄ測定値であり、［ｘｉｙｉ］Ｔはその対応の画像点であり、ｗｉは非ゼロのファクタである。ａが以下のようなベクトルの形のマッピングパラメータの組を表すものとする。
【００２８】
ａ＝［ａ11 ａ12 ａ13 ａ14 ａ21 ａ22 ａ23 ａ24 ａ31 ａ32 ａ33］Ｔ．
ａ34＝１．０と設定することで、式３をスケーリングすることができ、いくつかの代数操作を行なうと、対応の３Ｄ−２Ｄ点の対の各々がａijパラメータにおいて線形である２つの式を与える。すなわち
【００２９】
【数４】
上の式を以下のように定式化することができる。
【００３０】
【数５】
こうして、３Ｄ−２Ｄの点の対１つから２つの式と１１の未知数が与えられ、ここでＱはその行が式３の形である２×１１の行列であり、ａは式４の未知のマッピングパラメータのベクトルである。式３中の２つの式は線形独立でなければならないので、ここから、同一平面上にないマッピング点の最小数がｎ＝６であることがわかる。実際には、ｎ＞＞６を選択してＱ−Ｒ分解により式４を解く。上述の処理の結果、レンジカメラからステレオカメラへの２個のマッピング行列ＡＬ及びＡＲを、左右のステレオカメラそれぞれについてオフラインで得ることができる。図１５はＴＯＦカメラからステレオ画像へのマッピングの画面をキャプチャしたものであって、マッピングされた画素が左右のカメラ画像に重ねられている。
【００３１】
ディスパリティ探索範囲を各画素対に限定できるよう、ＴＯＦカメラでキャプチャされた３Ｄレンジデータをオンザフライで左右のステレオ画像にマッピングしたい。いずれの３Ｄ−２Ｄ対についてもｗｉ≠０なので、式３は次の形に書換えることができる。
【００３２】
【数６】
ここで［ｘ０ｙ０ｚ０］ＴはＴＯＦカメラからの画素の場所についての３Ｄ測定値であり、以下はそれぞれ、これに対応する左右のステレオカメラ画像の画像座標値である。
【００３３】
【数７】
ＴＯＦカメラ自体に誤差があるので、右カメラ上で実際に対応する画素の場所は以下の通りとなり、ここでステレオカメラ画像は補正されており、δは前景対象物に対するあらたな探索範囲を表す定数（この実現例では８）である。
【００３４】
【数８】
テンプレートマッチングのための正規化された相互相関類似尺度
立体視ディスパリティ探索アルゴリズム等の様々なパターンマッチングアルゴリズムにおいて、２個の画像ブロック間の類似度を測定するのに、相互相関値が利用される。これは、第２のカメラ画像内の一組のブロックを、一つづつ第１のカメラ画像からの既知のものと比較することによって、その一組のブロックのうちからマッチするものを見出すのに慣用される。ブロックのＤ．Ｃ．値は形状情報を担持していないので、式１及び式２から各ブロックの平均を除去する。これによって以下が得られる。
【００３５】
【数９】
式６及び式７の個々の分散はウィンドウデータ及びノイズデータの分散の和に等しい。というのも、画像データ（あるシーンの視覚的外観）と画像ノイズとは独立だからである。したがって、分散は以下のように表すことができる。
【００３６】
【数１０】
そうでなければ、Ａ〜とＢ〜とはなんら独自の形状情報を担持しない。式６と式７との正規化相互相関式は次のように書くことができる。
【００３７】
【数１１】
ここでｕは第２の画像のエピポーラ線上の場所（ｘ＋ｕ）に対応するウィンドウＡの前もって仮定された変位値であり、θは一般に、画像が補正されている場合は０であると仮定される。従って、以下の式ではパラメータθを無視することができる。
【００３８】
式１０をよりよく分析するために、式６−７及び式８−９を式１０に代入し、これを拡張すると、以下のようになる。
【００３９】
【数１２】
ここでＮ（０，σ２）（ｘ,ｙ）は、Ｎ（０，σ２）分布からくる画素の場所（ｘ,ｙ）でのノイズデータを表す。
【００４０】
明らかに、画像中にノイズがあるときには式１１が与える類似尺度の信頼性は低くなる。従って、間違ったマッチングを減じるために、パターンマッチングの課題においては類似尺度からノイズ効果を除去しなければならない。
【００４１】
テンプレートマッチングのためのｍノイズに対し頑健な新規な類似尺度
以下では、テンプレートマッチング課題のための、新たな、ノイズに対し頑健な類似尺度（ｎｏｉｓｅ ｒｏｂｕｓｔ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ：ＮＲＳＭ）アルゴリズムを説明する。式６及び式７のブロックデータＡ＾及びＢ＾（ここで＾の符号は式中文字の上に付されるものである）をサブブロックに分割する。これは図１３に示すとおりであり、以下で表される。
【００４２】
【数１３】
なぜなら、これらブロックの強度値は平均からの偏差だからである。各サブブロックを次の式に従ってシーンとノイズとに分解することができる。
【００４３】
【数１４】
新たな係数の組を以下のように規定することによって、上述のノイズ項を除去する。
【００４４】
【数１５】
これによって次の式が得られる。
【００４５】
ａ＝［ａ１，ａ２，．．．，ａＮ］，（１５）
ｂ＝［ｂ１，ｂ２，．．．，ｂＮ］，（１６）
式６及び式７では、ノイズ項Ｎ（０，σ２）は独立かつ同一に配分された（ｉｎｄｅｐｅｎｄｅｎｔ ａｎｄ ｉｄｅｎｔｉｃａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ：ｉ．ｉ．ｄ）ランダム変数から来る。従って、大数の法則により、ａｖｇ（Ａ＾k-noise）→０が成立つ。一方で、以下のシーン項ａｖｇ（Ａ＾k-scene）はシーンパターンからくるもので、その形状特性により、必ずしもゼロに近似しなくてもよいが、テンプレートとの独自のマッチングのためには、少なくとも１個のサブブロックが非ゼロの平均値を生成する必要がある。そうでなければ、形状情報が入手できないと考えられる。
【００４６】
上述の処理のために、アルゴリズムは、ブロックサイズに依存せず非常に高速で輪を算出するための、「統合画像」（非特許文献９）と呼ばれる入力画像の中間表現を計算する。簡潔に言えば、統合画像は、画像の各画素について、その画素を包含する任意サイズの矩形内の画素値を合計し、その結果得られる和をその画素に割当てることによって得られる。
【００４７】
さて、ａｋとｂｋとはノイズの影響から解放されたが、左右のカメラスケールファクタ、それぞれγ及びΓからは解放されていない。スケールファクタを除去するために、新たな組の正規化記述子を以下のように規定することとする。
【００４８】
【数１６】
ここでａｋ＞０，ｂｋ＞０であり、かつ１≦ｋ≦Ｎである。最大の絶対値係数、ａｋ及びｂｋを正規化のために選択することで、（もし残っていても）正規化記述子上のノイズ効果をさらに低減することができる。その後、差分平方和(ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ ｍｅｔｈｏｄ）の方法を用いて、以下のように正規化記述子の組を比較する。
【００４９】
【数１７】
正規化相互相関ベースの類似尺度アルゴリズムが生成する結果は、ノイズがある場合には信頼性が低くなることを、数学的に示した。他方で、提案されたＮＲＳＭアルゴリズムは、画像のノイズ効果を低減又は除去する。予備的な実験結果は、理論が実践と一致することを示した。
【００５０】
システム設定
［構造］
上述の通り、この実施の形態では、リアルタイムのディスパリティデータ獲得のために、ＴＯＦカメラによって性能を高めた立体視ベースのディスパリティ探索アルゴリズムを利用する。この実施の形態は、観察されるＴＯＦカメラ画像内の各画素の３Ｄ場所情報を利用して、ディスパリティアルゴリズムの探索ドメインを制限し、ディスパリティ探索範囲を選択する。
【００５１】
図１はこの実施の形態のディスパリティ推定システム４０の全体構造を示す図である。図１を参照して、ディスパリティ推定システム４０は、ステレオカメラ６０とＴＯＦカメラ６２とを含むカメラアセンブリ５２と、３Ｄモニタ５４と、通常のモニタ７４と、ステレオカメラ６０からのステレオ画像ストリームと、ＴＯＦカメラ６２からのＴＯＦ画像ストリームとから、左右のカメラ画像の画素対の各々のディスパリティを計算するリアルタイムディスパリティ計算装置５０と、を含む。３Ｄモニタ５４は２Ｄから３Ｄへの変換が可能である。すなわち、２Ｄ画像のストリームと対応するディスパリティ画像のストリームとを与えられると、３Ｄモニタ５４は与えられた画像に基づいて右画像を計算する。３Ｄモニタ５４の表示スクリーン上には傾斜レンチキュラーレンズが配置され、３Ｄモニタ５４は、レンチキュラーレンズが異なる画素からの光を予め規定された方向に焦点合わせして、見る人にある絵の異なる側を見せるように、左右の画像を交互に表示する。
【００５２】
図２は、コンピュータで実現されたこの実施の形態のリアルタイムディスパリティ計算装置５０のハードウェアブロック図である。図２を参照して、ディスパリティ計算装置５０は、３Ｄモニタ５４及びモニタ７４に加えて、コンピュータ７０と、マウス８２と、キーボード８０と、を含む。マウス８２と、キーボード８０と、モニタ５４及び７４とは、全てコンピュータ７０に接続される。
【００５３】
さらに図２を参照して、コンピュータ７０は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）９０と、ＣＰＵ９０に接続された双方向データ及びアドレスバス９２と、バス９２に接続された読出専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）９４と、バス９２に接続されたランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）９６と、バス９２に接続されたハードディスクドライブ９８と、バス９２に接続されＤＶＤメディア１０８を駆動するためのディジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ：ＤＶＤ）ドライブ１２８と、バス９２に接続され、ステレオカメラ６０からのステレオ画像ストリームを受け、さらにＴＯＦカメラ６２からのＴＯＦ画像ストリームを受けるためのビデオキャプチャボード１０２と、バス９２に接続され、半導体メモリ１１０を駆動するための半導体メモリドライブ１０６と、バス９２、３Ｄモニタ５４及びモニタ７４に接続されたグラフィック処理ユニット（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）１０４と、を含む。コンピュータ７０のこれらの構成要素は全てバス９２に接続され、相互にアクセス可能である。
【００５４】
別の局面では、リアルタイムディスパリティ計算装置５０の機能はコンピュータ７０上で実行されるソフトウェアで実現される。図３はリアルタイムディスパリティ計算装置５０の機能ブロック図である。
【００５５】
図３を参照して、機能的には、リアルタイムディスパリティ計算装置５０は、ＴＯＦカメラ６２の予備較正の間にＴＯＦカメラ６２からの画像を記憶するための較正フレームメモリ１３８と、ステレオカメラ６０を較正し、ステレオカメラ６０の較正パラメータを出力するための較正ソフトウェア１３０と、較正ソフトウェア１３０によって出力された較正パラメータを記憶するための較正パラメータメモリ１３２と、較正パラメータメモリ１３２に記憶された較正パラメータを利用して、ステレオカメラ６０からのステレオ画像対を補正するための補正ソフトウェア１３４と、補正ソフトウェア１３４によって出力される左右の画像を記憶するためのフレームメモリ１３６と、を含む。較正の間、較正ソフトウェア１３０はフレームメモリ１３６に記憶された、補正ソフトウェア１３４によって補正されていない画像を読出し、ステレオカメラ６０の較正パラメータを計算する。
【００５６】
リアルタイムディスパリティ計算装置５０はさらに、前景対象物の、較正フレームメモリ１３８に記憶されたＴＯＦカメラ測定値を、補正ソフトウェア１３４によって補正されフレームメモリ１３６に記憶された左右の画像にマッピングするためのマッピング行列を計算する予備較正ソフトウェア１４０と、予備較正ソフトウェア１４０によって計算されたマッピング行列のパラメータを記憶するＴＯＦマッピングパラメータメモリ１４２と、較正フレームメモリ１３８内のＴＯＦ画像の各画素について、ＴＯＦマッピングパラメータメモリ１４２に記憶されたマッピング行列によって、左右の画像内の対応の２Ｄ画素の場所を計算し、選択されたＴＯＦ画素の画素値が予め定められた画素値のしきい値より高ければハイレベルとなりそうでなければローレベルとなる前景／背景（ｆｏｒｅｇｒｏｕｎｄ／ｂａｃｋｇｒｏｕｎｄ：Ｆ／Ｇ）信号１７６を出力するための、前景／背景マッピングモジュール１４６と、前景／背景マッピングモジュール１４６で用いられる画素値のしきい値を記憶するためのしきい値記憶部１４４と、を含む。
【００５７】
上述のとおり、ＴＯＦカメラ６２から射出された赤外光は逆二乗の法則に従う。従って、入来するしきい値を設定することで、背景の（ＴＯＦカメラ６２から遠い）ノイズを含んだ画素をフィルタ除去することができる。
【００５８】
リアルタイムディスパリティ計算装置５０はさらに、Ｆ／Ｇ信号１７６とフレームメモリ１３６に記憶された画像とを受けるように接続され、右カメラ画像中の画素で左カメラ画像の各画素に対応するものを探索し、左右の画素の画素間のディスパリティを計算するためのディスパリティ探索モジュール１４８と、ディスパリティ探索モジュール１４８によって計算されたディスパリティを、左カメラ画像の画素に対応するアドレスに記憶するためのディスパリティメモリ１５０と、較正フレームメモリ１３８、フレームメモリ１３６に記憶された画像、若しくはディスパリティメモリ１５０に記憶されたディスパリティ画像、又はこれら画像の任意の組合せを、３Ｄモニタ５４及びモニタ７４に選択的に出力するためのグラフィック出力ユニット１５２とを含む。左カメラの２Ｄ画像とその対応のディスパリティ画像とのストリームが与えられると、３Ｄモニタ５４は２Ｄ画像とディスパリティ画像とを３Ｄ画像のストリームに変換し、これを表示する。
【００５９】
リアルタイムディスパリティ計算装置５０はさらに、リアルタイムディスパリティ計算装置５０内のモジュールの動作全体を制御するコントローラ１２２を含む。予備較正ソフトウェア１４０、較正ソフトウェア１３０、補正ソフトウェア１３４、前景／背景マッピングモジュール１４６、ディスパリティ探索モジュール１４８及びコントローラ１２２の機能は全て、コンピュータ７０上で実行されるソフトウェアで実現される。図３には示さないが、これら構成要素のソフトウェア及びモジュールはコントローラ１２２と通信し、動作においてモニタ７４上の好適なＧＵＩを利用する。グラフィック出力ユニット１５２の機能はＣＰＵ９０及びＣＰＵ１０４で実行されるソフトウェアの組合せで実現される。
【００６０】
この実施の形態では、較正ソフトウェア１３０はオフラインで用いられてステレオカメラ６０の較正パラメータＡ１及びＡ２を計算する。較正は、半径方向の歪、レンズの偏心、焦点距離、画素のアスペクト比、ベースライン、並びにカメラ６０Ｌ及びカメラ６０Ｒの各々の配向を修正するために行なわれる。較正パラメータは較正パラメータメモリ１３２に記憶される。この実施の形態の較正処理では、ユーザは予め規定されたパターンをステレオカメラ６０に提示する。較正ソフトウェア１３０はステレオカメラ６０の出力を利用してパラメータを計算する。較正のためのソフトウェアは商業的に入手可能である。例えば、ＳＲＩインターナショナルが頒布するスモールビジョンシステム（Ｓｍａｌｌ Ｖｉｓｉｏｎ ＳｙｓｔｅｍＴＭ：ＳＶＳＴＭ）ソフトウェアを利用することができる。
【００６１】
補正ソフトウェア１３４はステレオカメラ６０の出力ステレオ画像を補正するのに用いられる。ここで補正とは、ステレオカメラ６０からの左右の画像の対応するエピポーラ線をそろえることである。この処理を図６に示す。
【００６２】
図６を参照して、ステレオカメラ６０の左右の画像２３０Ｌ及び２３０Ｒが線２３２Ｌと対応の線２３２Ｒとをそれぞれ含むと仮定する。レンズのディストーションとレンズ配向の差のために、左右の画像では、視差を別にしても、同じ線の画像が異なる位置で異なる形状となる。
【００６３】
画像を補正することにより、対応の線２３２Ｌと２３２Ｒとが画像の行と整列し、較正された左右のカメラ像２４０Ｌ及び２４０Ｒのエピポーラ線２４２Ｌ及び２４２Ｒとなる。補正なしでは、リアルタイムのディスパリティ探索はほとんど不可能である。補正は所定の計算によって実行される。この計算では、較正パラメータメモリ１３２に記憶された較正パラメータが用いられる。補正ソフトウェアも商業的に入手可能である。
【００６４】
通常の動作では、ステレオカメラ６０からの画像が補正ソフトウェア１３４で補正され、フレームメモリ１３６に記憶される。
【００６５】
予備較正ソフトウェア１４０はＴＯＦカメラ６２からの画像とステレオカメラ６０の補正された画像との予備較正のためにオフラインで用いられる。この処理は図１１及び図１２を参照して説明する。
【００６６】
ＴＯＦカメラ６２からステレオ画像へのマッピング行列を推定するために、グラフィカルユーザインターフェイスが実現される。ユーザは図１１に示す予め規定されたパターン３４０をＴＯＦカメラ６２及びステレオカメラ６０に提示する。パターン３４０の面には複数個のマーカ３４４Ａ、３４４Ｂ、３４４Ｃ、３３４Ｄ及び３４４Ｅがある。図１２（Ａ）を参照して、ＴＯＦカメラ６２上のパターン３４０の画像３６０が最初にモニタ７４に表示される。ユーザはポインタ３７０をマーカのうち一つにあて、マウスボタンをクリックする。クリックされた位置のｘ−ｙ座標がメモリに記憶される。次に、左カメラ画像中のパターン３４０の画像３６２Ｌがモニタ７４上に表示され、図１２（Ｂ）に示すように、ユーザはポインタ３７０を同じマーカにあて、マウスボタンをクリックする。クリックされた位置のｘ−ｙ座標がメモリに記憶される。同様に、図１２（Ｃ）に示すように、右カメラ画像のパターン３４０の画像３６２Ｒについても同じポイント―クリック動作が行なわれ、ｘ−ｙ座標値がメモリに記憶される。
【００６７】
こうして、グラフィカルユーザインタフェィスによってユーザはオフラインでｎ個（ｎ＞＞６）の対象画像点の三つ組を選択することができ、Ｑ−Ｒ分解により式４が解かれる。この結果、左右のステレオカメラについて２個のマッピング行列ＡＬとＡＲとがそれぞれ得られる。行列ＡＬは、ＴＯＦカメラ画像中の画素を、左カメラ画像の対応の画素にマッピングするのに用いられる。行列ＡＲは、画素を右カメラ画像の対応の画素にマッピングするのに用いられる。ＡＬとＡＲとを規定するパラメータはＴＯＦマッピングパラメータメモリ１４２に記憶される。
【００６８】
ビデオキャプチャの間に、前景対象物のＴＯＦカメラ測定値がステレオ画像にマッピングされ、ステレオディスパリティアルゴリズムの探索範囲をオンザフライで制限する。
【００６９】
図４は前景／背景マッピングモジュール１４６の全体構造を示す。図４を参照して、前景／背景マッピングモジュール１４６は、ＴＯＦカメラ画像の左上から右下へ向かう順に画素を選択する画素選択部１７０と、画素選択部１７０の出力を受けるように接続され、画素選択部１７０によって選択され較正フレームメモリ１３８に記憶されたＴＯＦカメラ６２の画像中の画素からの画素値（強度）を読出すための画素読出部１７２と、ＴＯＦマッピングパラメータメモリ１４２に記憶されたパラメータを用いて、マッピング行列ＡＬをｘ及びｙにそれぞれ適用することによって、選択された画素のｘ−ｙ座標値を左カメラ画像内の座標値ｘＬ及びｙＬにそれぞれマッピングするための左マッピング部１７４と、マッピング行列ＡＲをｘ及びｙにそれぞれ適用することによって、選択された画素のｘ−ｙ座標値を右カメラ画像内の座標値ｘＲ及びｙＲにそれぞれマッピングするための右マッピング部１７８と、画素読出部１７２からの選択された画素の画素値としきい値記憶部１４４からのしきい値強度とを受けるように接続され、Ｆ／Ｇ信号１７６を出力するための、比較器１８０とを含む。上述の通り、Ｆ／Ｇ信号１７６は画素選択部１７０によって選択された画素の強度がしきい値より高ければハイレベルとなり、そうでなければローレベルとなる。
【００７０】
図５は、図３に示したディスパリティ探索モジュール１４８の全体構造を示す。図５を参照して、ディスパリティ探索モジュール１４８は、前景／背景マッピングモジュール１４６からのｘＬ及びｙＬを受けるように接続され、フレームメモリ１３６に記憶された左画像の（ｘＬ,ｙＬ）の画素を読出すための左ブロック読出モジュール２００と、Ｆ／Ｇ信号１７６を受けるように接続され、左ブロック読出モジュール２００の出力に接続された入力と、２つの出力２０２ａ及び２０２ｂとを有し、左ブロック読出モジュール２００から受けた画素値をＦ／Ｇ信号１７６のレベルに依存して出力２０２ａ又は２０２ｂのいずれかに選択的に出力するための選択部２０２と、入力が選択部２０２の出力２０２ａに接続され、右カメラ画像中の画素であって左ブロック読出モジュール２００から読出された左画素に対応するものを、前景ディスパリティ探索アルゴリズムを利用して探索し、左右の画素間のディスパリティ値を出力するための前景ディスパリティ探索モジュール２０８と、右カメラ画像中の画素であって左ブロック読出モジュール２００から読出された左画素に対応するものを、背景ディスパリティ探索アルゴリズムを利用して探索し、左右の画素間のディスパリティ値を出力するための背景ディスパリティ探索モジュール２１０と、Ｆ／Ｇ信号のレベルに依存して、前景ディスパリティ探索モジュール２０８及び背景ディスパリティ探索モジュール２１０の出力の一方を選択する選択部２１２と、を含む。選択部２１２の出力はディスパリティメモリ１５０のデータ入力ポートに接続される。
【００７１】
ディスパリティ探索モジュールはさらに、前景ディスパリティ探索アルゴリズムにおいてディスパリティの探索に用いられる間隔の長さを記憶する前景間隔メモリ２０４と、背景ディスパリティ探索アルゴリズムにおいてディスパリティの探索に用いられる間隔の長さを記憶する背景間隔メモリ２０６と、選択部２１２によって選択されたディスパリティ値がディスパリティメモリ１５０のそれぞれの左画素アドレスに記憶されるように、図３に示すディスパリティメモリ１５０を制御するためのディスパリティメモリ制御部２１４と、を含む。ある画素のディスパリティの計算が完了すると、前景ディスパリティ探索モジュール２０８又は背景ディスパリティ探索モジュール２１０のいずれかが探索終了を示す信号を出力し、これは選択部２１２によって選択され、前景／背景マッピングモジュール１４６の画素選択部１７０に与えられ、こうして画素選択部１７０は次の画素を選択する。
【００７２】
再び図７を参照して、ディスパリティ探索アルゴリズムは一般に、以下のステップを含む。すなわち、左カメラ画像２４０Ｌ内の画素２５０（ｘ,ｙ）を選択するステップと、左カメラ画像２４０Ｌ内で対象の画素２５０（ｘ,ｙ）を含む矩形テンプレートウィンドウ２５０を規定するステップと、右カメラ画像２４０Ｒ内で（ｘ＋ｕ,ｙ）の画素２６０を選択するステップと、上述の類似度尺度を用いて、右カメラ画像２４０Ｒ内のエピポーラ線２４２Ｒ上のその中心に画素２６０を含む、同じサイズのブロック２６２と矩形テンプレートウィンドウ２５２とを比較するステップと、予め定められた間隔内で値ｕを変化させて矩形テンプレートウィンドウ２５２と同じサイズのブロック２６２との類似尺度を計算するステップと、画素２６０が予め定められた間隔内で最も左の位置から最も右の位置まで移動するまで、変化させつつ計算するステップを繰返すステップと、右カメラ画像２４０Ｒ中で最も高い類似尺度を有するブロックを選択するステップと、選択されたブロック中の画素２６０を画素２５０に対応する画素として選択するステップと、を含む。
【００７３】
図８を参照して、左カメラ画像２４０Ｌ内の画素２５０Ｌと、右カメラ画像２４０Ｒ内の対応の画素２５０Ｒとの距離が、ディスパリティＤを規定する。
【００７４】
対象物が前景にある場合、その左右カメラ画像間のディスパリティは背景にある対称物のそれよりも大きくなるはずである。従って、探索の間隔を長くしなければならない。探索間隔が長くなると、探索に必要な時間も長くなり、リアルタイムでのディスパリティ探索が困難になる。
【００７５】
しかし、この実施の形態のディスパリティ推定システム４０でディスパリティの計算に必要とされる時間はかなり短い。これは、ディスパリティ推定システム４０がＴＯＦカメラ６２を用いるからである。図９（Ａ）及び図９（Ｂ）を参照して、ＴＯＦカメラ画像中の画素が、左マッピング行列ＡＬによって選択され左カメラ画像２４０Ｌ内の画素２５０Ｌにマッピングされる。ＴＯＦカメラ画像中の選択された画素の画素値に基づいて、画素が前景の対象物に属するか否かが判定される。
【００７６】
画素が前景の対象物に属する場合、右カメラ画像２４０Ｒの対応の画素２６０Ｒの座標値がマッピング行列ＡＲを用いて推定される。推定された画素２６０Ｒを包含するように、探索間隔２７０が規定される。一般に、画素２５０Ｌと２６０Ｒとのｘ座標値は互いに異なる。これらは図９（Ａ）において距離ＤＬ及びＤＲとしてそれぞれ示される。この実施の形態では、探索間隔２７０は推定された画素２６０Ｒが探索間隔２７０の中央にくるように選択される。表現を変えれば、もし画素２５０Ｌのｘ軸座標がｘＬなら、右カメラ画像２４０Ｒ中の対応の画素は[ｘＲ−δ,ｘＲ＋δ]の間隔内で探索され、ここでδは定数（この実現例では８）であり、ｘＲは行列ＡＲによってマッピングされた画素のｘ座標である。
【００７７】
画素が背景にある対象物に属する場合、右カメラ画像２４０Ｒ中で、対象の画素２５０Ｌと同じ位置にある画素２６０Ｒが選択される。この場合探索間隔２７２は、画素２６０Ｒの右側の間隔２７２として規定される。表現を変えれば、ｘＬが左カメラ画像のｘ軸座標値であれば、右カメラの実際の対応の画素の場所が[ｘＬ,ｘＬ＋Ｌ]の間隔で探索されればよく、ここでステレオカメラ画像は補正され、Ｌは背景対象物の探索範囲を表す定数（この実現例では４０）である。
【００７８】
ＴＯＦカメラ画像の画素をステレオ画像にマッピングするマッピング行列のために、左右の画像中の対応の画素がおおよそわかっているので、探索範囲は制限される。さらに、画素が前景の対象物に属するか否かがわかっているので、前景又は背景の対象物の画素に好適な探索アルゴリズムを選択することもできる。アルゴリズムの各々について、好ましい探索範囲が予め規定されている。特に、背景画素のための探索間隔は前景画素のものに比べてかなり制限されるので、計算コストは低く、間違ったマッチングが生じる可能性はかなり低い。従って、ディスパリティを計算するにあたって（もしあれば）誤差を訂正することができる。
【００７９】
３ＤでのＸ,Ｙ座標値がディスパリティ探索範囲になんの影響も持たないことに注意されたい。影響があるのはＺ座標のみである。Ｚ座標値はＴＯＦカメラ６２によって大まかに測定され、探索範囲を規定するのに用いられる。
【００８０】
予備較正アルゴリズム
図１０は図３に示した予備較正ソフトウェア１４０を実現するコンピュータプログラムのフロー図である。図１０を参照して、プログラムはステップ３００で開始し、ここで変数ｉがゼロに設定される。変数ｉはＴＯＦカメラ６２の予備較正のためにユーザによって選択された点の数を示す。
【００８１】
プログラムはステップ３００に続いてステップ３０２を含む。ここで変数ｉが定数ＭＡＸより大きいか否かが判定され、その判定に応じて、制御フローが２つの方向に分岐する。定数ＭＡＸは予備較正に用いられる点（画素）の数であり、予め定められる。明細書の他の箇所で言及したように、ＭＡＸは＞＞６でなければならない。
【００８２】
プログラムはさらに以下のステップを含む。ステップ３０２での判定がＮＯである場合に実行され、ＴＯＦカメラ画像内でユーザによって選択された画素の座標（ｘｏｉ，ｙｏｉ，ｚｏｉ）を検出するステップ３０４と、ＲＡＭ９６内の記憶領域Ｒａｎｇｅ［ｉ］に座標（ｘｏｉ，ｙｏｉ，ｚｏｉ）を記憶するステップ３０６と、左カメラ画像中でユーザによって選択された画素の座標（ｘＬｉ，ｙＬｉ）を検出するステップ３０８と、ＲＡＭ９６内の記憶領域Ｌｅｆｔ［ｉ］に座標（ｘＬｉ，ｙＬｉ）を記憶するステップ３１０と、右カメラ画像内でユーザによって選択された画素の座標値（ｘＲｉ，ｙＲｉ）を検出するステップ３１２と、ＲＡＭ９６内の記憶領域Ｒｉｇｈｔ［ｉ］に座標（ｘＲｉ，ｙＲｉ）を記憶するステップ３１４と、変数ｉを１だけ増分するステップ３１６とを含む。ステップ３１６の後、制御フローはステップ３０２に戻る。
【００８３】
プログラムはさらに、ステップ３０２の判定がＹＥＳであるときに実行され、ＴＯＦカメラ画像の画素を左右のカメラ画像にそれぞれマッピングするマッピング行列ＡＬ及びＡＲを計算するステップ３１８と、ステップ３１８に続いて、図２に示すＲＡＭ９６内のＴＯＦマッピングパラメータメモリ１４２内にマッピング行列ＡＬ及びＡＲのパラメータを記憶するステップ３２０とを含む。ステップ３１８で、行列ＡＬ及びＡＲが、式４をＱ−Ｒ分解を利用して解くことによって計算される。
【００８４】
ディスパリティ探索アルゴリズム
図１４は図３に示すディスパリティ探索モジュール１４８を実現するソフトウェアのフロー図である。図１４を参照して、プログラムは、全てのＴＯＦ画素について、ＴＯＦ画素を左カメラ画像の画素にマッピングするステップ４００と、ＴＯＦ画素が前景にあるか否かを判定し、制御フローの２方向への分岐を引起すステップ４０１と、ステップ４０１での判定がＮＯの場合に実行され、通常の背景探索を行なうステップ４０２と、ステップ４０１での判定がＹＥＳの場合に実行されＴＯＦ画素に対応する右カメラ画像の場所を推定するステップ４０４と、ステップ４０４に続いて、左カメラ画像の画素に対応する画素を右カメラ画像中で探索する制限された前景探索を行なうステップ４０６と、を繰返し行なう。
【００８５】
ステップ４０１は比較器１８０（図４を参照）のソフトウェア実現例であり、強度がしきい値より大きければ、画素は前景に属するものと判定され、そうでなければ、背景に属するものと判定される。
【００８６】
通常の背景探索では、図９（Ｂ）を参照して説明した探索方法が行なわれる。制限された背景探索では、図９（Ａ）を参照して説明した探索方法が行なわれる。制限された探索は計算コストを大幅に削減するので、アルゴリズムは左右のカメラ画像間のディスパリティをリアルタイムで見出すことができる。
【００８７】
[動作]
図１から図１４を参照して、上述のディスパリティ推定システム４０は以下のように動作する。図１を参照して、ステレオカメラ６０の較正が最初にオフラインで行なわれる。較正プロセスでは、予め定められたパターンプレートがステレオカメラ６０に提示される。較正ソフトウェア１３０は較正パラメータを計算する。パラメータは較正パラメータメモリ１３２に記憶される。
【００８８】
次に、ＴＯＦカメラ６が予備較正ソフトウェア１４０によってオフラインで較正される。予備較正プロセスでは、予め定められたパターン３４０がステレオカメラ６０及びＴＯＦカメラ６２に提示される。予備較正プロセスでは、ステレオ画像は補正ソフトウェア１３４によって補正され、フレームメモリ１３６に記憶される。図１０に示すように、予備較正ソフトウェア１４０はＴＯＦカメラ画像と補正されたステレオ画像とを、較正フレームメモリ１３８とフレームメモリ１３６とから、それぞれ読出す。３つ組の画像（ＴＯＦカメラ画像と左右の画像）が３Ｄモニタ５４に順に示され、ユーザはＧＵＩによってこれら画像の対応の画素を繰返し選択する。パターン３４０を移動させ選択プロセスを繰返すことによって、式（４）を解くに足る充分な数の画素（＞＞６）が収集される。式４をＱ−Ｒ分解を用いて解くことによってマッピング行列ＡＬ及びＡＲが得られる。マッピング行列はＴＯＦマッピングパラメータメモリ１４２に記憶される。
【００８９】
ステレオカメラ６０の較正とＴＯＦカメラ６２の予備較正が完了すると、ディスパリティ推定システム４０は３Ｄシーンをキャプチャしてディスパリティメモリ１５０にディスパリティ画像のストリームを生成する準備が整ったことになる。
【００９０】
動作において、ディスパリティ推定システム４０はステレオカメラ６０からのステレオ画像のストリームを獲得する。キャプチャされた画像は較正パラメータメモリ１３２に記憶された較正パラメータを用いて補正ソフトウェア１３４によって補正され、エピポーラ線が画像の行に対応するようになる。補正された画像はフレームメモリ１３６に記憶される。同時に、ディスパリティ推定システム４０はＴＯＦカメラ６２からＴＯＦ画像のストリームを獲得する。
【００９１】
ＴＯＦカメラ画像の各フレームの各画素について、前景／背景マッピングモジュール１４６が画素を左カメラ画像にマッピングする。その後、モジュール１４６はＴＯＦカメラ画像の画素の強度を調べ、画素が前景の対象物に属するか、背景に属するかを判定する。もし画素が前景にあれば、モジュール１４６はハイレベルのＦ／Ｇ信号１７６をディスパリティ探索モジュール１４８に送る。そうでなければ、モジュール１４６はローレベルのＦ／Ｇ信号１７６をディスパリティ探索モジュール１４８に送る。
【００９２】
ハイレベルのＦ／Ｇ信号１７６に応答して、ディスパリティ探索モジュール１４８はＴＯＦカメラ画像内の興味ある画素を右カメラ画像にマッピングすることによって右カメラ画像の画素を推定する。その後、ディスパリティ探索モジュール１４８は、制限された探索範囲で前景探索アルゴリズムを利用して、左右のカメラ画像のディスパリティを判定する。
【００９３】
ローレベルのＦ／Ｇ信号１７６に応答して、ディスパリティ探索モジュール１４８は左画素と同じｘ−ｙ座標値を有する右カメラ画像中の画素の場所とつきとめ、より長い探索範囲で背景ディスパリティ探索アルゴリズムを利用して、ディスパリティを判定する。対応の画素の探索が終了すると、ディスパリティが計算され、ディスパリティ探索モジュール１４８は、ＴＯＦ画像の次の画素を選択するよう、前景／背景マッピングモジュール１４６に信号を送る。各画素について、ディスパリティ探索モジュール１４８はディスパリティを、ディスパリティメモリ１５０の左カメラ画像のその画素のアドレスに書込む。
【００９４】
ディスパリティ画像が完成すると、グラフィック出力ユニット１５２はフレームメモリ１３６に記憶された左カメラ画像とディスパリティメモリ１５０に記憶されたディスパリティ画像とを選択し、これらを３Ｄモニタ５４に与える。同時に、グラフィック出力ユニット１５２はＴＯＦ画像、ステレオ画像及びディスパリティ画像のいずれかの組合せをコントローラ１２２の指示に従って選択し、これをモニタ７４に与える。
【００９５】
３Ｄモニタ５４は左カメラ画像と対応するディスパリティ画像とに基づいてステレオ表示を生成する能力を有するので、ユーザは３Ｄモニタ５４上に３Ｄ画像を見ることができる。
【００９６】
[実験的セットアップ]
ＶｉｄｅｒｅＴＭステレオビジョンハードウェアとＳＶＳソフトウェアがこの実現に利用される。カメラのキャリブレーション及び補正はＳＶＳライブラリを用いて自動的に行なわれる。ＳＶＳソフトウェアはステレオビデオシーケンスをキャプチャすることができ、ステレオ対の３Ｄデータを３２０×２４０の全画像解像度で３０Ｈｚで再構築する。しかし、３Ｄの再構築にとって興味ある領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）はこの実験においてユーザの顔区域であるので、ディスパリティ探索区域を、上述の説明の通り、顔のホロプタ周辺に限定した。したがって、顔の外側で深さの異なる再構築された３Ｄデータは、図２３（Ｃ）に示すように３Ｄ推定が不正確である。
【００９７】
図１に示すように、システムはＳｗｉｓｓｒａｎｇｅｒＴＭ製の飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ：ＴＯＦ）レンジカメラ（略してＴＯＦカメラ）と、ＶｉｄｅｒｅＴＭ製の従来のＣＣＤステレオカメラから構成され、密なステレオ再構築アルゴリズムのディスパリティ計算を改良する、実質的に並列な画像チャネルを可能にする。ＳＲＩインターナショナル（ＳＲＩ ＩｎｔｅｒｎａｔｉｏｎａｌＴＭ）のＳＶＳＴＭソフトウェアを利用して、ステレオ画像のキャプチャ、カメラ較正及び補正を行なう。システムはステレオビデオシーケンスをキャプチャすることができ、ステレオ対の３Ｄデータを３２０×２４０の画像解像度で毎秒３０フレームで再構築する。
【００９８】
再構築された３Ｄ座標値は、予め規定された世界座標系に対するものである。この実現例での世界座標系（原点）は左カメラの焦点となるように規定され、右手の座標系である。
【００９９】
図１５はＴＯＦレンジカメラからステレオ画像へのマッピングのためのスクリーンキャプチャであり、ここでＴＯＦカメラ画像４３０からマッピングされた画素は左右のカメラ画像４３２及び４３４上に重ねられる。
【０１００】
図１６は左カメラ４５０の画像フレーム、ディスパリティ画像４５２、及び再構築された３ＤデータのオープンＧＬ（Ｏｐｅｎ ＧＬ）プロット４５４をそれぞれ示す。ＴＯＦカメラからの範囲情報で、背景の対象物に対する３Ｄ再構築が改良される。
【０１０１】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０２】
【図１】この発明の一実施の形態に従ったディスパリティ推定システム４０のシステム構成要素を示す図である。
【図２】この発明の実施の形態の、コンピュータによって実現されたディスパリティ計算装置５０のハードウェアブロック図である。
【図３】ディスパリティ計算装置５０の全体の機能ブロック図である。
【図４】前景／背景マッピングモジュール１４６の詳細を示す図である。
【図５】ディスパリティ探索モジュール１４８の詳細を示す図である。
【図６】ステレオ画像の補正を示す図である。
【図７】ディスパリティ推定のための、補正されたステレオ画像対テンプレート探索プロセスを示す図である。
【図８】左カメラ画像２４０Ｌの画素２５０Ｌのディスパリティをどのように計算するかを示す図である。
【図９】（Ａ）は前景ディスパリティ探索を示し、（Ｂ）は背景ディスパリティ探索を示す図である。
【図１０】ＴＯＦカメラ６２の予備較正の全体のプロセスステップを示すフロー図である。
【図１１】予備較正プロセスで用いられるパターン３４０を示す図である。
【図１２】予備較正プロセスにおいて、ユーザがどのようにＴＯＦカメラ及びステレオカメラの画素を選択するかを示す図である。
【図１３】「左」カメラ画像２４０Ｌ及び「右」カメラ画像２４０Ｒ内のブロックがどのようにサブブロックに分割されるかを示す図である。
【図１４】ディスパリティ探索アルゴリズムのフロー図である。
【図１５】ＴＯＦカメラからステレオ画像へのマッピングのためのスクリーンキャプチャを示す図である。
【図１６】左カメラ４５０の画像フレーム、ディスパリティ画像４５２及び３Ｄ再構築データのＯｐｅｎ ＧＬプロット４５４をそれぞれ示す図である。
【符号の説明】
【０１０３】
４０ ディスパリティ推定システム
５０ ディスパリティ計算装置
５４ ３Ｄモニタ
６０ ステレオカメラ
６２ ＴＯＦカメラ
７０ コンピュータ
７４ モニタ
８０ キーボード
８２ マウス
９０ ＣＰＵ
９４ ＲＯＭ
９６ ＲＡＭ
９８ ハードディスクドライブ
１３０ 較正ソフトウェア
１３２ 較正パラメータメモリ
１３４ 補正ソフトウェア
１３６ フレームメモリ
１３８ 較正フレームメモリ
１４０ 予備較正ソフトウェア
【技術分野】
【０００１】
この発明はステレオ画像のリアルタイムディスパリティ推定のための装置及びコンピュータプログラムに関し、特に、２Ｄ／３Ｄ頭部姿勢検出、認識、３Ｄゲーム開発、アニメーション、放送及び通信のための、ステレオ画像対のリアルタイムの、フレームごとの画素のマッチングのための装置及びプログラムに関する。
【背景技術】
【０００２】
メディア放送コンテンツにおいて、本物らしい感じを達成するために、送信及び音声―映像マルチメディア技術が速いペースで進展している。視聴者に本物らしさを感じさせるためには、視聴者に対し、超現実的な音声及び映像コンテンツを配信しなければならない。この発明では、３次元（３Ｄ）視覚コンテンツ獲得に焦点を当てる。
【０００３】
長年にわたって、周知の赤／緑立体視眼鏡に基づく表示、容積表示（非特許文献１）、自動立体視表示（非特許文献２、３）等の様々な種類の３Ｄ表示技術が開発されてきた。赤／緑立体視眼鏡に基づく表示は２つのカメラからの入力を必要とするが、処理はほとんど不要である。ただし視聴者は特別な眼鏡をかけなければならない。自動立体視３Ｄ表示では特別な眼鏡は必要ないが、コンテンツは３Ｄでキャプチャし３Ｄで配信しなければならない。自然なシーンの３Ｄによるコンテンツの獲得で、既存のテレビジョン放送の品質に達するには、依然としてかなりの困難がある。
【０００４】
従来の２Ｄテレビジョンと対照的に、自動立体視３Ｄテレビジョンはあるシーンの視覚的外観だけでなく、そのシーンの密度の濃い深度マップ情報を必要とする。このため、主に２つの科学的課題がある。すなわち、シーンの視覚的外観と深度マップとをリアルタイムで獲得することと、結果として得られる３Ｄテレビジョン上の３Ｄ外観が、そのシーンの元の視覚的外観とマッチしていなければならない（本物らしさ）ということと、である。
【０００５】
これまで、３Ｄのシーンキャプチャに多くの技術が提案されてきた。極端なものの一つでは、従来の較正済立体視カメラを用いた画像ベースのアプローチによって、深度マップを推定している。別の極端な例では、赤外光の飛行時間（Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ：ＴＯＦ）を用いた光学ベースのカメラを用いて深度を獲得している。
【０００６】
ＴＯＦ３Ｄカメラは正弦波変調された赤外光信号を射出する（非特許文献４）。光が測定システムを出て対象物に至り、システムに戻るまでの移動に必要な時間が測定され、画像中の各画素の深度が計算される。達成可能な最良の距離精度は、深度距離によるが数センチメートルのオーダであって、動作範囲の制限があり、範囲外の測定値は信頼性が低い。このため、ＴＤＦカメラによる獲得アプローチは３Ｄテレビジョン放送には向いていない。
【０００７】
従来の、較正済立体視に基づくアプローチ（非特許文献５、６）は、画像処理アルゴリズム、すなわちテンプレートマッチングを用いて、左右のカメラ画像からのシーンの深度マップを計算する。これはカメラを較正して、内部及び外部のカメラパラメータを推定することを必要とする。深度マップ推定処理は、同期キャプチャ、較正パラメータを用いた補正、及び左右のカメラ画像の画素間のディスパリティ推定のためのテンプレートマッチングを含む。テンプレートマッチングアルゴリズムは通常、正規化相互相関ベースの類似尺度を用いる。
【非特許文献１】Ｂ．ブランデル及びＡ．Ｊ．シュワルツ、「容積表示システムの分類：画像空間の特性及び予測可能性」ＩＥＥＥ視覚化及びコンピュータグラフィックトランザクション、第８巻、第１号、６６−７６ページ、２００２年（B. Blundell and A.J. Schwarz, "The classification of volumetric display systems: Characteristics and predictability of the image space," IEEE Transactions on Visualization and Computer Graphics, vol. 8, no. 1, pp. 66-76, 2002.）
【非特許文献２】フィリップスリサーチ、「マルチビュー自動立体視表示」、［ｏｎｌｉｎｅ］、平成１９年１２月３日検索、インターネット＜ＵＲＬ：http://www.research.philips.com/technologies/display/ov_3ddisp.html＞（Philips Research, "Multi-view autostereoscopic displays," in http://www.research.philips.com/technologies /display/ov_3ddisp.html）
【非特許文献３】Ｒ．ボルナー、Ｂ．ダックスタイン、Ｏ．マチウ、Ｒ．ラダー、Ｔ．シニング及びＴ．シコラ、「頭部トラッキング能力を備えた単一ユーザの自動立体視表示のファミリー」ＩＥＥＥビデオ技術のための回路及びシステムトランザクション、第１０巻、第２号、２３４−２４３ページ、２０００年（R. Borner, B. Duckstein, O. Machui, R. Rder, T. Sinning, and T. Sikora, "A family of single-user autostereoscopic displays with head-tracking capabilities," IEEE Transactions on Circuits and Systems for Video Technology, vol. 10, no. 2, pp. 234-243, 2000.）
【非特許文献４】Ｂ．ブットゲン、Ｔ．オジヤ、及びＭ．レーマン、「レンジ画像化のためのＣｃｄ／ｃｍｏｓロックイン画素：課題、限界と現状」レンジ画像化研究第１日、予稿集、２１−２３ページ、インゲンサンド／カールマン（編）、チューリッヒ、２００５年（B. Buttgen, T. Oggier, and M. Lehmann, "Ccd/cmos lock-in pixel for range imaging: challenges, limitations and state-of-the-art," in Proceedings of 1st range imaging research day, pp.21-32, Ingensand/Kahlmann (eds.), Zurich, 2005.）
【非特許文献５】Ｋ．コーノリヒ、「スモールビジョンシステム：ハードウェア及び実現」ロボティクス研究に関する第８回国際シンポジウム、ハヤマ、日本、１９９７年（K. Konolige, "Small vision systems: Hardware and implementation," in Eighth International Symposium on Robotics Research, Hayama, Japan, 1997.）
【非特許文献６】Ｃ．サン、「矩形サブ領域化及び３ｄ最大面積技術を用いた高速ステレオマッチング」コンピュータビジョン国際ジャーナル、第４７巻、第１／２／３巻、９９−１１７ページ、２００２年（C. Sun, "Fast stereo matching using rectangular sub-regioning and 3d maximum-surface techniques," International Journal of Computer Vision, vol. 47, no. 1/2/3, pp. 99-117, 2002.）
【非特許文献７】Ｇ．Ｒ．グリメット及びＤ．Ｒ．スチルゼーカ、確率とランダム処理、第２版、クラレンドンプレス、オックスフォード。ＩＳＢＮ０−１９−８５３６６５０８、１９９２年（G.R. Grimmett and D.R. Stirzaker, Probability and Random Processes, 2nd Edition, Clarendon Press, Oxford. ISBN 0-19-853665-8, 1992.）
【非特許文献８】Ｐ．ヴィオラ及びＭ．ジョーンズ、「頑健なリアルタイムの物体検出」視覚モデリング、学習、計算及びサンプリングの統計及び計算理論に関する第２回国際ワークショップ、バンクーバー、カナダ、２００１年（P. Viola and M. Jones, "Robust real-time object detection," in 2nd International Workshop on Statistical and Computational Theories of Vision-Modeling, Learning, Computing, and Sampling, Vancouver, Canada, 2001.）
【非特許文献９】Ｒ．Ｊ．シャルコフ、ディジタル画像処理及びコンピュータビジョン、ジョンワイリーアンドサンズ社、１９８９年（R.J. Schalkoff, Digital Image Processing and Computer Vision, John Wiley and Sons, Inc., 1989.）
【非特許文献１０】Ｔ．オジヤ、Ｒ．カウフマン、Ｍ．レーマン、Ｐ．メツラー、Ｇ．ラング、Ｍ．シュバイツァー、Ｍ．リヒター、Ｂ．ブットゲン、Ｎ．ブランク、Ｋ．グリースバッハ、Ｂ．ウルマン、Ｋ−Ｈ．ステージマン及びＣ．エルマー、「小型化された光学レンジカメラでのリアルタイム３ｄイメージング」ニュルンベルグ光学会議、ＤＥ２００４年（ T Oggier, R. Kaufmann, M. Lehmann, P. Metzler, G. Lang, M. Schweizer, M. Richter, B. Bttgen, N. Blanc, K. Griesbach, B. Uhlmann, K.-H. Stegemann, and C. Ellmers, "3d-imaging in real-time with miniaturized optical range camera," in Opto Conference Nurnberg, DE., 2004.）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、従来のステレオベースの３Ｄ再構築アプローチは、多くの場合正確に３Ｄ情報を計算することができない。なぜなら、ステレオ画像中の画素の場所によっては、特に、ステレオディスパリティ探索アルゴリズムのための探索範囲が未知である場合は、対応のマッチングのための独自の情報を提供しないことがあるからである。さらに、テンプレートマッチングアルゴリズムは画像にノイズがある場合、しばしば、正確にディスパリティを計算することができない。
【０００９】
従って、この発明の目的の１つは、ステレオ画像対の対応の画素をリアルタイムで正確にマッチングする装置を提供することである。
【００１０】
この発明の別の目的は、ステレオ画像対の対応の画素をリアルタイムで正確かつ頑健にマッチングする装置を提供することである。
【００１１】
この発明のさらに別の目的は、左画像のテンプレートを右画像の対応するブロックと正確にマッチングしてステレオ画像対の画素マッチングを向上させる装置を提供することである。
【課題を解決するための手段】
【００１２】
この発明の第１の局面は、補正したステレオ画像対において、対応する画素対をマッチングするための装置に関する。この装置は、ステレオカメラ及びレンジカメラに接続され、それぞれ補正されたステレオ画像対とレンジカメラ画像とを受けることができる。ステレオ画像対は第１の画像と第２の画像とを含む。この装置は、前記レンジカメラ画像中の画素を前記第１の画像中の画素と前記第２の画像中の画素とにマッピングするための第１のマッピング手段と、前記レンジカメラ画像中の前記画素の強度をしきい値と比較するための比較手段と、前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索する手段と、を含む。
【００１３】
好ましくは、探索手段は、前記比較手段が、前記画素の前記強度が前記しきい値より高いと判定したことに応答する第１の探索手段と、前記比較手段が、前記画素の前記強度が前記しきい値以下であると判定したことに応答する第２の探索手段と、を含む。第１の探索手段の探索範囲は前記第２の探索手段の探索範囲より短い。
【００１４】
さらに好ましくは、前記第１の探索手段は、前記比較手段が、前記画素の前記強度が前記しきい値より高いと判定したことに応答して、前記レンジカメラ画像の前記画素を前記第２の画像にマッピングするための第２のマッピング手段と、前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の両側に延在する第１の探索範囲を規定する、第１の探索範囲規定手段と、前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第１の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第１の類似度計算手段と、前記第２の画像中の前記ブロックのうち、最も高い類似尺度を有するものを選択するための第１のブロック選択手段と、前記第１のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための、第１の画素選択手段と、を含む。ここで、「包含する」とは、このブロックが予め定められた位置の画素、例えば、ブロックが矩形であるとすればブロックの中心の画素、を含むことを意味する。
【００１５】
さらに好ましくは、前記第２の探索手段は、前記第１の探索範囲より長い第２の探索範囲を規定するための、第２の探索範囲規定手段を含み、前記第２の探索範囲は前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の一方側のみに延在し、前記第２の探索手段はさらに、前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第２の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第２の類似度計算手段と、前記第２の画像中の前記ブロックのうち、前記第２の類似手段によって計算された最も高い類似尺度を有するものを選択するための第２のブロック選択手段と、前記第２のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための、第２の画素選択手段と、を含む。
【００１６】
前記第１の類似度計算手段は、前記第１の画像中の前記ブロックと前記第２の画像中の前記ブロックとの各々を、同じ形状の複数のサブブロックに分割するための手段と、前記第２の画像中の前記ブロックの各々と、前記第１の画像中の前記ブロックとの平均画素値を計算するための手段と、前記サブブロックの各々の画素の画素値から前記平均画素値を減算するための手段と、前記サブブロックの各々の画素の平均画素値を計算するための手段と、前記第１の画像のサブブロックの平均画素値と、前記第２の画像のブロックの各々のサブブロックのそれぞれの平均画素値との二乗誤差の合計を計算するための手段と、を含んでもよい。前記二乗誤差の合計が前記類似尺度である。
【００１７】
この発明の第２の局面は、ステレオカメラ及びレンジカメラに接続されてそれぞれ補正されたステレオ画像対とレンジカメラ像とを受けることができるコンピュータで実行可能なコンピュータプログラムに関する。ステレオ画像対は第１の画像と第２の画像とを含む。前記コンピュータプログラムは、前記コンピュータ上で実行されると、コンピュータを、前記レンジカメラ画像中の画素を前記第１の画像中の画素にマッピングするための第１のマッピング手段と、前記レンジカメラ画像中の前記画素の画素値をしきい値と比較するための比較手段と、前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索する手段と、として動作させる。
【発明を実施するための最良の形態】
【００１８】
深度マップ推定アルゴリズム
ステレオカメラベースの深度マップ推定アルゴリズムはしばしば、補正及び探索メカニズムに依存する。図７はディスパリティ推定のための補正されたステレオ画像対テンプレート探索処理を表す。左カメラ画像２４０Ｌにおいて対象点２５０（ｘ,ｙ）を含む矩形のテンプレートウィンドウ２５２が、右カメラ画像２４０Ｒ内の、左カメラ画像２４０Ｌ中のエピポーラ線２４２Ｌと同じ高さにあるエピポーラ線２４２Ｒ上の同じサイズのブロック２６２と、二乗誤差又はゼロ平均正規化相関法等の様々な類似尺度を用いて比較される。類似尺度が最も高いブロックが、右カメラ画像２４０Ｒ中の画素２６０（ｘ＋ｕ，ｙ）を規定する。この画素２６０と左画像中の画素２５０とは、同じ対象点の画像であると考えられる。
【００１９】
マッチングアルゴリズムは、左カメラ画像２４０Ｌ内の２ＤテンプレートウィンドウＡ２５２の、右カメラ画像２４０Ｒ内のサイズｗ×ｈの２ＤブロックＢ２６２に対する類似尺度を計算する必要がある。一般に、補正誤差とガウスノイズの存在下で、Ａ及びＢを以下のように表すことができる。
【００２０】
【数１】
ここでθは、補正誤差による、ウィンドウデータＡに対するウィンドウデータＢの相対的回転である。γ及びΓはそれぞれ左及び右カメラの任意のスケール値（利得要素）を表す。Ｘ―（ここで―は式中文字の上に付されるものである）は平均値を表し、Ｘ〜（ここで〜は式中文字の上に付されるものである）はウィンドウデータの固有の形状又はテクスチャ特性を表すものである。Ｎ（μ,σ２）は、平均μ及び分散σ２≧０の時の任意のガウスノイズを表し、ここで画像とノイズデータとは独立である。すなわち、一般に、理想的な条件下では、ウィンドウデータの両方が同じ対象パッチに属し、θがゼロであり、ステレオ画像が完璧に補正されたときのみ、以下が成立する。
【００２１】
【数２】
しかし、一般に、我々がアクセスできるのは式１及び式２のＡ及びＢの観察のみであり、画像は、較正誤差、映像ノイズ、又はＡ〜及びＢ〜が独自の情報を担持していない場合に独自の固有形状特性がないことにより、画像を完璧にマッチングすることはできないであろう。映像ノイズは、レンズ焦点の違い、視野角の違い、及び左右のカメラ上での照明効果のむら等のために生ずる。
【００２２】
ＴＯＦカメラ
この実施の形態では、失敗又はマッチングの間違いの数を減じるために、ＴＯＦカメラの３Ｄ測定値をオンザフライで左右のカメラ画像２４０Ｌ及び２４０Ｒの両方に逆投影することで、画像画素の３Ｄの場所を推定する。従って、ディスパリティアルゴリズムの探索範囲は各画素に制限される。制限アルゴリズムは後述する。
【００２３】
ＴＯＦカメラは振幅変調された不可視赤外光を射出し、この光はシーンの対象物によって反射されてイメージセンサ上に後方散乱する。イメージセンサ上の各画素は入来する光信号を復調し、正弦波関数を回復して位相遅延を推定する。この場合、位相遅延は対象物のカメラへの距離に直接比例する（非特許文献７）。
【００２４】
実務的観点からは、ＴＯＦカメラには様々な課題と制限がある。例えば、距離測定の標準偏差は変調周波数と逆比例の挙動をする（非特許文献４）。このため、正確な距離測定を目標とする場合は、高い変調周波数が好ましい。一方、一義的な測定範囲は変調周波数と逆比例する。例えば、変調周波数が２０ＭＨｚの場合、一義的な測定範囲は７．５メートルである。このため、多義的な範囲（７．５メートル超）に属する測定値は不正確に推定される。
【００２５】
射出された赤外光は逆二乗の法則に従うため、入来する画素値の振幅しきい値を設定すればノイズのある画素をフィルタ除去することができる。基本的に、これは、前景の対象物の範囲測定値は入手できるが、背景の対象物については入手できないと考えることができる。従って、この実施の形態では、この情報を、従来のステレオ再構築処理において前景及び背景領域のマスキングに利用する。
【００２６】
レンジカメラからステレオカメラへのマッピング
ＴＯＦカメラからの一組の３Ｄ測定値とステレオ画像中のそれらに対応する画像点とが、レンジカメラからステレオカメラへのマッピングパラメータＡ＝［ａｉｊ］を与える。均質座標での各カメラに対する、レンジカメラからステレオカメラへのマッピング式は、以下の、周知のカメラ較正手順として書くことができる（非特許文献８）。
【００２７】
【数３】
ここで［ｘ０ｙ０ｚｏ］ＴはＴＯＦカメラからの３Ｄ測定値であり、［ｘｉｙｉ］Ｔはその対応の画像点であり、ｗｉは非ゼロのファクタである。ａが以下のようなベクトルの形のマッピングパラメータの組を表すものとする。
【００２８】
ａ＝［ａ11 ａ12 ａ13 ａ14 ａ21 ａ22 ａ23 ａ24 ａ31 ａ32 ａ33］Ｔ．
ａ34＝１．０と設定することで、式３をスケーリングすることができ、いくつかの代数操作を行なうと、対応の３Ｄ−２Ｄ点の対の各々がａijパラメータにおいて線形である２つの式を与える。すなわち
【００２９】
【数４】
上の式を以下のように定式化することができる。
【００３０】
【数５】
こうして、３Ｄ−２Ｄの点の対１つから２つの式と１１の未知数が与えられ、ここでＱはその行が式３の形である２×１１の行列であり、ａは式４の未知のマッピングパラメータのベクトルである。式３中の２つの式は線形独立でなければならないので、ここから、同一平面上にないマッピング点の最小数がｎ＝６であることがわかる。実際には、ｎ＞＞６を選択してＱ−Ｒ分解により式４を解く。上述の処理の結果、レンジカメラからステレオカメラへの２個のマッピング行列ＡＬ及びＡＲを、左右のステレオカメラそれぞれについてオフラインで得ることができる。図１５はＴＯＦカメラからステレオ画像へのマッピングの画面をキャプチャしたものであって、マッピングされた画素が左右のカメラ画像に重ねられている。
【００３１】
ディスパリティ探索範囲を各画素対に限定できるよう、ＴＯＦカメラでキャプチャされた３Ｄレンジデータをオンザフライで左右のステレオ画像にマッピングしたい。いずれの３Ｄ−２Ｄ対についてもｗｉ≠０なので、式３は次の形に書換えることができる。
【００３２】
【数６】
ここで［ｘ０ｙ０ｚ０］ＴはＴＯＦカメラからの画素の場所についての３Ｄ測定値であり、以下はそれぞれ、これに対応する左右のステレオカメラ画像の画像座標値である。
【００３３】
【数７】
ＴＯＦカメラ自体に誤差があるので、右カメラ上で実際に対応する画素の場所は以下の通りとなり、ここでステレオカメラ画像は補正されており、δは前景対象物に対するあらたな探索範囲を表す定数（この実現例では８）である。
【００３４】
【数８】
テンプレートマッチングのための正規化された相互相関類似尺度
立体視ディスパリティ探索アルゴリズム等の様々なパターンマッチングアルゴリズムにおいて、２個の画像ブロック間の類似度を測定するのに、相互相関値が利用される。これは、第２のカメラ画像内の一組のブロックを、一つづつ第１のカメラ画像からの既知のものと比較することによって、その一組のブロックのうちからマッチするものを見出すのに慣用される。ブロックのＤ．Ｃ．値は形状情報を担持していないので、式１及び式２から各ブロックの平均を除去する。これによって以下が得られる。
【００３５】
【数９】
式６及び式７の個々の分散はウィンドウデータ及びノイズデータの分散の和に等しい。というのも、画像データ（あるシーンの視覚的外観）と画像ノイズとは独立だからである。したがって、分散は以下のように表すことができる。
【００３６】
【数１０】
そうでなければ、Ａ〜とＢ〜とはなんら独自の形状情報を担持しない。式６と式７との正規化相互相関式は次のように書くことができる。
【００３７】
【数１１】
ここでｕは第２の画像のエピポーラ線上の場所（ｘ＋ｕ）に対応するウィンドウＡの前もって仮定された変位値であり、θは一般に、画像が補正されている場合は０であると仮定される。従って、以下の式ではパラメータθを無視することができる。
【００３８】
式１０をよりよく分析するために、式６−７及び式８−９を式１０に代入し、これを拡張すると、以下のようになる。
【００３９】
【数１２】
ここでＮ（０，σ２）（ｘ,ｙ）は、Ｎ（０，σ２）分布からくる画素の場所（ｘ,ｙ）でのノイズデータを表す。
【００４０】
明らかに、画像中にノイズがあるときには式１１が与える類似尺度の信頼性は低くなる。従って、間違ったマッチングを減じるために、パターンマッチングの課題においては類似尺度からノイズ効果を除去しなければならない。
【００４１】
テンプレートマッチングのためのｍノイズに対し頑健な新規な類似尺度
以下では、テンプレートマッチング課題のための、新たな、ノイズに対し頑健な類似尺度（ｎｏｉｓｅ ｒｏｂｕｓｔ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ：ＮＲＳＭ）アルゴリズムを説明する。式６及び式７のブロックデータＡ＾及びＢ＾（ここで＾の符号は式中文字の上に付されるものである）をサブブロックに分割する。これは図１３に示すとおりであり、以下で表される。
【００４２】
【数１３】
なぜなら、これらブロックの強度値は平均からの偏差だからである。各サブブロックを次の式に従ってシーンとノイズとに分解することができる。
【００４３】
【数１４】
新たな係数の組を以下のように規定することによって、上述のノイズ項を除去する。
【００４４】
【数１５】
これによって次の式が得られる。
【００４５】
ａ＝［ａ１，ａ２，．．．，ａＮ］，（１５）
ｂ＝［ｂ１，ｂ２，．．．，ｂＮ］，（１６）
式６及び式７では、ノイズ項Ｎ（０，σ２）は独立かつ同一に配分された（ｉｎｄｅｐｅｎｄｅｎｔ ａｎｄ ｉｄｅｎｔｉｃａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ：ｉ．ｉ．ｄ）ランダム変数から来る。従って、大数の法則により、ａｖｇ（Ａ＾k-noise）→０が成立つ。一方で、以下のシーン項ａｖｇ（Ａ＾k-scene）はシーンパターンからくるもので、その形状特性により、必ずしもゼロに近似しなくてもよいが、テンプレートとの独自のマッチングのためには、少なくとも１個のサブブロックが非ゼロの平均値を生成する必要がある。そうでなければ、形状情報が入手できないと考えられる。
【００４６】
上述の処理のために、アルゴリズムは、ブロックサイズに依存せず非常に高速で輪を算出するための、「統合画像」（非特許文献９）と呼ばれる入力画像の中間表現を計算する。簡潔に言えば、統合画像は、画像の各画素について、その画素を包含する任意サイズの矩形内の画素値を合計し、その結果得られる和をその画素に割当てることによって得られる。
【００４７】
さて、ａｋとｂｋとはノイズの影響から解放されたが、左右のカメラスケールファクタ、それぞれγ及びΓからは解放されていない。スケールファクタを除去するために、新たな組の正規化記述子を以下のように規定することとする。
【００４８】
【数１６】
ここでａｋ＞０，ｂｋ＞０であり、かつ１≦ｋ≦Ｎである。最大の絶対値係数、ａｋ及びｂｋを正規化のために選択することで、（もし残っていても）正規化記述子上のノイズ効果をさらに低減することができる。その後、差分平方和(ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ ｍｅｔｈｏｄ）の方法を用いて、以下のように正規化記述子の組を比較する。
【００４９】
【数１７】
正規化相互相関ベースの類似尺度アルゴリズムが生成する結果は、ノイズがある場合には信頼性が低くなることを、数学的に示した。他方で、提案されたＮＲＳＭアルゴリズムは、画像のノイズ効果を低減又は除去する。予備的な実験結果は、理論が実践と一致することを示した。
【００５０】
システム設定
［構造］
上述の通り、この実施の形態では、リアルタイムのディスパリティデータ獲得のために、ＴＯＦカメラによって性能を高めた立体視ベースのディスパリティ探索アルゴリズムを利用する。この実施の形態は、観察されるＴＯＦカメラ画像内の各画素の３Ｄ場所情報を利用して、ディスパリティアルゴリズムの探索ドメインを制限し、ディスパリティ探索範囲を選択する。
【００５１】
図１はこの実施の形態のディスパリティ推定システム４０の全体構造を示す図である。図１を参照して、ディスパリティ推定システム４０は、ステレオカメラ６０とＴＯＦカメラ６２とを含むカメラアセンブリ５２と、３Ｄモニタ５４と、通常のモニタ７４と、ステレオカメラ６０からのステレオ画像ストリームと、ＴＯＦカメラ６２からのＴＯＦ画像ストリームとから、左右のカメラ画像の画素対の各々のディスパリティを計算するリアルタイムディスパリティ計算装置５０と、を含む。３Ｄモニタ５４は２Ｄから３Ｄへの変換が可能である。すなわち、２Ｄ画像のストリームと対応するディスパリティ画像のストリームとを与えられると、３Ｄモニタ５４は与えられた画像に基づいて右画像を計算する。３Ｄモニタ５４の表示スクリーン上には傾斜レンチキュラーレンズが配置され、３Ｄモニタ５４は、レンチキュラーレンズが異なる画素からの光を予め規定された方向に焦点合わせして、見る人にある絵の異なる側を見せるように、左右の画像を交互に表示する。
【００５２】
図２は、コンピュータで実現されたこの実施の形態のリアルタイムディスパリティ計算装置５０のハードウェアブロック図である。図２を参照して、ディスパリティ計算装置５０は、３Ｄモニタ５４及びモニタ７４に加えて、コンピュータ７０と、マウス８２と、キーボード８０と、を含む。マウス８２と、キーボード８０と、モニタ５４及び７４とは、全てコンピュータ７０に接続される。
【００５３】
さらに図２を参照して、コンピュータ７０は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）９０と、ＣＰＵ９０に接続された双方向データ及びアドレスバス９２と、バス９２に接続された読出専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）９４と、バス９２に接続されたランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）９６と、バス９２に接続されたハードディスクドライブ９８と、バス９２に接続されＤＶＤメディア１０８を駆動するためのディジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ：ＤＶＤ）ドライブ１２８と、バス９２に接続され、ステレオカメラ６０からのステレオ画像ストリームを受け、さらにＴＯＦカメラ６２からのＴＯＦ画像ストリームを受けるためのビデオキャプチャボード１０２と、バス９２に接続され、半導体メモリ１１０を駆動するための半導体メモリドライブ１０６と、バス９２、３Ｄモニタ５４及びモニタ７４に接続されたグラフィック処理ユニット（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）１０４と、を含む。コンピュータ７０のこれらの構成要素は全てバス９２に接続され、相互にアクセス可能である。
【００５４】
別の局面では、リアルタイムディスパリティ計算装置５０の機能はコンピュータ７０上で実行されるソフトウェアで実現される。図３はリアルタイムディスパリティ計算装置５０の機能ブロック図である。
【００５５】
図３を参照して、機能的には、リアルタイムディスパリティ計算装置５０は、ＴＯＦカメラ６２の予備較正の間にＴＯＦカメラ６２からの画像を記憶するための較正フレームメモリ１３８と、ステレオカメラ６０を較正し、ステレオカメラ６０の較正パラメータを出力するための較正ソフトウェア１３０と、較正ソフトウェア１３０によって出力された較正パラメータを記憶するための較正パラメータメモリ１３２と、較正パラメータメモリ１３２に記憶された較正パラメータを利用して、ステレオカメラ６０からのステレオ画像対を補正するための補正ソフトウェア１３４と、補正ソフトウェア１３４によって出力される左右の画像を記憶するためのフレームメモリ１３６と、を含む。較正の間、較正ソフトウェア１３０はフレームメモリ１３６に記憶された、補正ソフトウェア１３４によって補正されていない画像を読出し、ステレオカメラ６０の較正パラメータを計算する。
【００５６】
リアルタイムディスパリティ計算装置５０はさらに、前景対象物の、較正フレームメモリ１３８に記憶されたＴＯＦカメラ測定値を、補正ソフトウェア１３４によって補正されフレームメモリ１３６に記憶された左右の画像にマッピングするためのマッピング行列を計算する予備較正ソフトウェア１４０と、予備較正ソフトウェア１４０によって計算されたマッピング行列のパラメータを記憶するＴＯＦマッピングパラメータメモリ１４２と、較正フレームメモリ１３８内のＴＯＦ画像の各画素について、ＴＯＦマッピングパラメータメモリ１４２に記憶されたマッピング行列によって、左右の画像内の対応の２Ｄ画素の場所を計算し、選択されたＴＯＦ画素の画素値が予め定められた画素値のしきい値より高ければハイレベルとなりそうでなければローレベルとなる前景／背景（ｆｏｒｅｇｒｏｕｎｄ／ｂａｃｋｇｒｏｕｎｄ：Ｆ／Ｇ）信号１７６を出力するための、前景／背景マッピングモジュール１４６と、前景／背景マッピングモジュール１４６で用いられる画素値のしきい値を記憶するためのしきい値記憶部１４４と、を含む。
【００５７】
上述のとおり、ＴＯＦカメラ６２から射出された赤外光は逆二乗の法則に従う。従って、入来するしきい値を設定することで、背景の（ＴＯＦカメラ６２から遠い）ノイズを含んだ画素をフィルタ除去することができる。
【００５８】
リアルタイムディスパリティ計算装置５０はさらに、Ｆ／Ｇ信号１７６とフレームメモリ１３６に記憶された画像とを受けるように接続され、右カメラ画像中の画素で左カメラ画像の各画素に対応するものを探索し、左右の画素の画素間のディスパリティを計算するためのディスパリティ探索モジュール１４８と、ディスパリティ探索モジュール１４８によって計算されたディスパリティを、左カメラ画像の画素に対応するアドレスに記憶するためのディスパリティメモリ１５０と、較正フレームメモリ１３８、フレームメモリ１３６に記憶された画像、若しくはディスパリティメモリ１５０に記憶されたディスパリティ画像、又はこれら画像の任意の組合せを、３Ｄモニタ５４及びモニタ７４に選択的に出力するためのグラフィック出力ユニット１５２とを含む。左カメラの２Ｄ画像とその対応のディスパリティ画像とのストリームが与えられると、３Ｄモニタ５４は２Ｄ画像とディスパリティ画像とを３Ｄ画像のストリームに変換し、これを表示する。
【００５９】
リアルタイムディスパリティ計算装置５０はさらに、リアルタイムディスパリティ計算装置５０内のモジュールの動作全体を制御するコントローラ１２２を含む。予備較正ソフトウェア１４０、較正ソフトウェア１３０、補正ソフトウェア１３４、前景／背景マッピングモジュール１４６、ディスパリティ探索モジュール１４８及びコントローラ１２２の機能は全て、コンピュータ７０上で実行されるソフトウェアで実現される。図３には示さないが、これら構成要素のソフトウェア及びモジュールはコントローラ１２２と通信し、動作においてモニタ７４上の好適なＧＵＩを利用する。グラフィック出力ユニット１５２の機能はＣＰＵ９０及びＣＰＵ１０４で実行されるソフトウェアの組合せで実現される。
【００６０】
この実施の形態では、較正ソフトウェア１３０はオフラインで用いられてステレオカメラ６０の較正パラメータＡ１及びＡ２を計算する。較正は、半径方向の歪、レンズの偏心、焦点距離、画素のアスペクト比、ベースライン、並びにカメラ６０Ｌ及びカメラ６０Ｒの各々の配向を修正するために行なわれる。較正パラメータは較正パラメータメモリ１３２に記憶される。この実施の形態の較正処理では、ユーザは予め規定されたパターンをステレオカメラ６０に提示する。較正ソフトウェア１３０はステレオカメラ６０の出力を利用してパラメータを計算する。較正のためのソフトウェアは商業的に入手可能である。例えば、ＳＲＩインターナショナルが頒布するスモールビジョンシステム（Ｓｍａｌｌ Ｖｉｓｉｏｎ ＳｙｓｔｅｍＴＭ：ＳＶＳＴＭ）ソフトウェアを利用することができる。
【００６１】
補正ソフトウェア１３４はステレオカメラ６０の出力ステレオ画像を補正するのに用いられる。ここで補正とは、ステレオカメラ６０からの左右の画像の対応するエピポーラ線をそろえることである。この処理を図６に示す。
【００６２】
図６を参照して、ステレオカメラ６０の左右の画像２３０Ｌ及び２３０Ｒが線２３２Ｌと対応の線２３２Ｒとをそれぞれ含むと仮定する。レンズのディストーションとレンズ配向の差のために、左右の画像では、視差を別にしても、同じ線の画像が異なる位置で異なる形状となる。
【００６３】
画像を補正することにより、対応の線２３２Ｌと２３２Ｒとが画像の行と整列し、較正された左右のカメラ像２４０Ｌ及び２４０Ｒのエピポーラ線２４２Ｌ及び２４２Ｒとなる。補正なしでは、リアルタイムのディスパリティ探索はほとんど不可能である。補正は所定の計算によって実行される。この計算では、較正パラメータメモリ１３２に記憶された較正パラメータが用いられる。補正ソフトウェアも商業的に入手可能である。
【００６４】
通常の動作では、ステレオカメラ６０からの画像が補正ソフトウェア１３４で補正され、フレームメモリ１３６に記憶される。
【００６５】
予備較正ソフトウェア１４０はＴＯＦカメラ６２からの画像とステレオカメラ６０の補正された画像との予備較正のためにオフラインで用いられる。この処理は図１１及び図１２を参照して説明する。
【００６６】
ＴＯＦカメラ６２からステレオ画像へのマッピング行列を推定するために、グラフィカルユーザインターフェイスが実現される。ユーザは図１１に示す予め規定されたパターン３４０をＴＯＦカメラ６２及びステレオカメラ６０に提示する。パターン３４０の面には複数個のマーカ３４４Ａ、３４４Ｂ、３４４Ｃ、３３４Ｄ及び３４４Ｅがある。図１２（Ａ）を参照して、ＴＯＦカメラ６２上のパターン３４０の画像３６０が最初にモニタ７４に表示される。ユーザはポインタ３７０をマーカのうち一つにあて、マウスボタンをクリックする。クリックされた位置のｘ−ｙ座標がメモリに記憶される。次に、左カメラ画像中のパターン３４０の画像３６２Ｌがモニタ７４上に表示され、図１２（Ｂ）に示すように、ユーザはポインタ３７０を同じマーカにあて、マウスボタンをクリックする。クリックされた位置のｘ−ｙ座標がメモリに記憶される。同様に、図１２（Ｃ）に示すように、右カメラ画像のパターン３４０の画像３６２Ｒについても同じポイント―クリック動作が行なわれ、ｘ−ｙ座標値がメモリに記憶される。
【００６７】
こうして、グラフィカルユーザインタフェィスによってユーザはオフラインでｎ個（ｎ＞＞６）の対象画像点の三つ組を選択することができ、Ｑ−Ｒ分解により式４が解かれる。この結果、左右のステレオカメラについて２個のマッピング行列ＡＬとＡＲとがそれぞれ得られる。行列ＡＬは、ＴＯＦカメラ画像中の画素を、左カメラ画像の対応の画素にマッピングするのに用いられる。行列ＡＲは、画素を右カメラ画像の対応の画素にマッピングするのに用いられる。ＡＬとＡＲとを規定するパラメータはＴＯＦマッピングパラメータメモリ１４２に記憶される。
【００６８】
ビデオキャプチャの間に、前景対象物のＴＯＦカメラ測定値がステレオ画像にマッピングされ、ステレオディスパリティアルゴリズムの探索範囲をオンザフライで制限する。
【００６９】
図４は前景／背景マッピングモジュール１４６の全体構造を示す。図４を参照して、前景／背景マッピングモジュール１４６は、ＴＯＦカメラ画像の左上から右下へ向かう順に画素を選択する画素選択部１７０と、画素選択部１７０の出力を受けるように接続され、画素選択部１７０によって選択され較正フレームメモリ１３８に記憶されたＴＯＦカメラ６２の画像中の画素からの画素値（強度）を読出すための画素読出部１７２と、ＴＯＦマッピングパラメータメモリ１４２に記憶されたパラメータを用いて、マッピング行列ＡＬをｘ及びｙにそれぞれ適用することによって、選択された画素のｘ−ｙ座標値を左カメラ画像内の座標値ｘＬ及びｙＬにそれぞれマッピングするための左マッピング部１７４と、マッピング行列ＡＲをｘ及びｙにそれぞれ適用することによって、選択された画素のｘ−ｙ座標値を右カメラ画像内の座標値ｘＲ及びｙＲにそれぞれマッピングするための右マッピング部１７８と、画素読出部１７２からの選択された画素の画素値としきい値記憶部１４４からのしきい値強度とを受けるように接続され、Ｆ／Ｇ信号１７６を出力するための、比較器１８０とを含む。上述の通り、Ｆ／Ｇ信号１７６は画素選択部１７０によって選択された画素の強度がしきい値より高ければハイレベルとなり、そうでなければローレベルとなる。
【００７０】
図５は、図３に示したディスパリティ探索モジュール１４８の全体構造を示す。図５を参照して、ディスパリティ探索モジュール１４８は、前景／背景マッピングモジュール１４６からのｘＬ及びｙＬを受けるように接続され、フレームメモリ１３６に記憶された左画像の（ｘＬ,ｙＬ）の画素を読出すための左ブロック読出モジュール２００と、Ｆ／Ｇ信号１７６を受けるように接続され、左ブロック読出モジュール２００の出力に接続された入力と、２つの出力２０２ａ及び２０２ｂとを有し、左ブロック読出モジュール２００から受けた画素値をＦ／Ｇ信号１７６のレベルに依存して出力２０２ａ又は２０２ｂのいずれかに選択的に出力するための選択部２０２と、入力が選択部２０２の出力２０２ａに接続され、右カメラ画像中の画素であって左ブロック読出モジュール２００から読出された左画素に対応するものを、前景ディスパリティ探索アルゴリズムを利用して探索し、左右の画素間のディスパリティ値を出力するための前景ディスパリティ探索モジュール２０８と、右カメラ画像中の画素であって左ブロック読出モジュール２００から読出された左画素に対応するものを、背景ディスパリティ探索アルゴリズムを利用して探索し、左右の画素間のディスパリティ値を出力するための背景ディスパリティ探索モジュール２１０と、Ｆ／Ｇ信号のレベルに依存して、前景ディスパリティ探索モジュール２０８及び背景ディスパリティ探索モジュール２１０の出力の一方を選択する選択部２１２と、を含む。選択部２１２の出力はディスパリティメモリ１５０のデータ入力ポートに接続される。
【００７１】
ディスパリティ探索モジュールはさらに、前景ディスパリティ探索アルゴリズムにおいてディスパリティの探索に用いられる間隔の長さを記憶する前景間隔メモリ２０４と、背景ディスパリティ探索アルゴリズムにおいてディスパリティの探索に用いられる間隔の長さを記憶する背景間隔メモリ２０６と、選択部２１２によって選択されたディスパリティ値がディスパリティメモリ１５０のそれぞれの左画素アドレスに記憶されるように、図３に示すディスパリティメモリ１５０を制御するためのディスパリティメモリ制御部２１４と、を含む。ある画素のディスパリティの計算が完了すると、前景ディスパリティ探索モジュール２０８又は背景ディスパリティ探索モジュール２１０のいずれかが探索終了を示す信号を出力し、これは選択部２１２によって選択され、前景／背景マッピングモジュール１４６の画素選択部１７０に与えられ、こうして画素選択部１７０は次の画素を選択する。
【００７２】
再び図７を参照して、ディスパリティ探索アルゴリズムは一般に、以下のステップを含む。すなわち、左カメラ画像２４０Ｌ内の画素２５０（ｘ,ｙ）を選択するステップと、左カメラ画像２４０Ｌ内で対象の画素２５０（ｘ,ｙ）を含む矩形テンプレートウィンドウ２５０を規定するステップと、右カメラ画像２４０Ｒ内で（ｘ＋ｕ,ｙ）の画素２６０を選択するステップと、上述の類似度尺度を用いて、右カメラ画像２４０Ｒ内のエピポーラ線２４２Ｒ上のその中心に画素２６０を含む、同じサイズのブロック２６２と矩形テンプレートウィンドウ２５２とを比較するステップと、予め定められた間隔内で値ｕを変化させて矩形テンプレートウィンドウ２５２と同じサイズのブロック２６２との類似尺度を計算するステップと、画素２６０が予め定められた間隔内で最も左の位置から最も右の位置まで移動するまで、変化させつつ計算するステップを繰返すステップと、右カメラ画像２４０Ｒ中で最も高い類似尺度を有するブロックを選択するステップと、選択されたブロック中の画素２６０を画素２５０に対応する画素として選択するステップと、を含む。
【００７３】
図８を参照して、左カメラ画像２４０Ｌ内の画素２５０Ｌと、右カメラ画像２４０Ｒ内の対応の画素２５０Ｒとの距離が、ディスパリティＤを規定する。
【００７４】
対象物が前景にある場合、その左右カメラ画像間のディスパリティは背景にある対称物のそれよりも大きくなるはずである。従って、探索の間隔を長くしなければならない。探索間隔が長くなると、探索に必要な時間も長くなり、リアルタイムでのディスパリティ探索が困難になる。
【００７５】
しかし、この実施の形態のディスパリティ推定システム４０でディスパリティの計算に必要とされる時間はかなり短い。これは、ディスパリティ推定システム４０がＴＯＦカメラ６２を用いるからである。図９（Ａ）及び図９（Ｂ）を参照して、ＴＯＦカメラ画像中の画素が、左マッピング行列ＡＬによって選択され左カメラ画像２４０Ｌ内の画素２５０Ｌにマッピングされる。ＴＯＦカメラ画像中の選択された画素の画素値に基づいて、画素が前景の対象物に属するか否かが判定される。
【００７６】
画素が前景の対象物に属する場合、右カメラ画像２４０Ｒの対応の画素２６０Ｒの座標値がマッピング行列ＡＲを用いて推定される。推定された画素２６０Ｒを包含するように、探索間隔２７０が規定される。一般に、画素２５０Ｌと２６０Ｒとのｘ座標値は互いに異なる。これらは図９（Ａ）において距離ＤＬ及びＤＲとしてそれぞれ示される。この実施の形態では、探索間隔２７０は推定された画素２６０Ｒが探索間隔２７０の中央にくるように選択される。表現を変えれば、もし画素２５０Ｌのｘ軸座標がｘＬなら、右カメラ画像２４０Ｒ中の対応の画素は[ｘＲ−δ,ｘＲ＋δ]の間隔内で探索され、ここでδは定数（この実現例では８）であり、ｘＲは行列ＡＲによってマッピングされた画素のｘ座標である。
【００７７】
画素が背景にある対象物に属する場合、右カメラ画像２４０Ｒ中で、対象の画素２５０Ｌと同じ位置にある画素２６０Ｒが選択される。この場合探索間隔２７２は、画素２６０Ｒの右側の間隔２７２として規定される。表現を変えれば、ｘＬが左カメラ画像のｘ軸座標値であれば、右カメラの実際の対応の画素の場所が[ｘＬ,ｘＬ＋Ｌ]の間隔で探索されればよく、ここでステレオカメラ画像は補正され、Ｌは背景対象物の探索範囲を表す定数（この実現例では４０）である。
【００７８】
ＴＯＦカメラ画像の画素をステレオ画像にマッピングするマッピング行列のために、左右の画像中の対応の画素がおおよそわかっているので、探索範囲は制限される。さらに、画素が前景の対象物に属するか否かがわかっているので、前景又は背景の対象物の画素に好適な探索アルゴリズムを選択することもできる。アルゴリズムの各々について、好ましい探索範囲が予め規定されている。特に、背景画素のための探索間隔は前景画素のものに比べてかなり制限されるので、計算コストは低く、間違ったマッチングが生じる可能性はかなり低い。従って、ディスパリティを計算するにあたって（もしあれば）誤差を訂正することができる。
【００７９】
３ＤでのＸ,Ｙ座標値がディスパリティ探索範囲になんの影響も持たないことに注意されたい。影響があるのはＺ座標のみである。Ｚ座標値はＴＯＦカメラ６２によって大まかに測定され、探索範囲を規定するのに用いられる。
【００８０】
予備較正アルゴリズム
図１０は図３に示した予備較正ソフトウェア１４０を実現するコンピュータプログラムのフロー図である。図１０を参照して、プログラムはステップ３００で開始し、ここで変数ｉがゼロに設定される。変数ｉはＴＯＦカメラ６２の予備較正のためにユーザによって選択された点の数を示す。
【００８１】
プログラムはステップ３００に続いてステップ３０２を含む。ここで変数ｉが定数ＭＡＸより大きいか否かが判定され、その判定に応じて、制御フローが２つの方向に分岐する。定数ＭＡＸは予備較正に用いられる点（画素）の数であり、予め定められる。明細書の他の箇所で言及したように、ＭＡＸは＞＞６でなければならない。
【００８２】
プログラムはさらに以下のステップを含む。ステップ３０２での判定がＮＯである場合に実行され、ＴＯＦカメラ画像内でユーザによって選択された画素の座標（ｘｏｉ，ｙｏｉ，ｚｏｉ）を検出するステップ３０４と、ＲＡＭ９６内の記憶領域Ｒａｎｇｅ［ｉ］に座標（ｘｏｉ，ｙｏｉ，ｚｏｉ）を記憶するステップ３０６と、左カメラ画像中でユーザによって選択された画素の座標（ｘＬｉ，ｙＬｉ）を検出するステップ３０８と、ＲＡＭ９６内の記憶領域Ｌｅｆｔ［ｉ］に座標（ｘＬｉ，ｙＬｉ）を記憶するステップ３１０と、右カメラ画像内でユーザによって選択された画素の座標値（ｘＲｉ，ｙＲｉ）を検出するステップ３１２と、ＲＡＭ９６内の記憶領域Ｒｉｇｈｔ［ｉ］に座標（ｘＲｉ，ｙＲｉ）を記憶するステップ３１４と、変数ｉを１だけ増分するステップ３１６とを含む。ステップ３１６の後、制御フローはステップ３０２に戻る。
【００８３】
プログラムはさらに、ステップ３０２の判定がＹＥＳであるときに実行され、ＴＯＦカメラ画像の画素を左右のカメラ画像にそれぞれマッピングするマッピング行列ＡＬ及びＡＲを計算するステップ３１８と、ステップ３１８に続いて、図２に示すＲＡＭ９６内のＴＯＦマッピングパラメータメモリ１４２内にマッピング行列ＡＬ及びＡＲのパラメータを記憶するステップ３２０とを含む。ステップ３１８で、行列ＡＬ及びＡＲが、式４をＱ−Ｒ分解を利用して解くことによって計算される。
【００８４】
ディスパリティ探索アルゴリズム
図１４は図３に示すディスパリティ探索モジュール１４８を実現するソフトウェアのフロー図である。図１４を参照して、プログラムは、全てのＴＯＦ画素について、ＴＯＦ画素を左カメラ画像の画素にマッピングするステップ４００と、ＴＯＦ画素が前景にあるか否かを判定し、制御フローの２方向への分岐を引起すステップ４０１と、ステップ４０１での判定がＮＯの場合に実行され、通常の背景探索を行なうステップ４０２と、ステップ４０１での判定がＹＥＳの場合に実行されＴＯＦ画素に対応する右カメラ画像の場所を推定するステップ４０４と、ステップ４０４に続いて、左カメラ画像の画素に対応する画素を右カメラ画像中で探索する制限された前景探索を行なうステップ４０６と、を繰返し行なう。
【００８５】
ステップ４０１は比較器１８０（図４を参照）のソフトウェア実現例であり、強度がしきい値より大きければ、画素は前景に属するものと判定され、そうでなければ、背景に属するものと判定される。
【００８６】
通常の背景探索では、図９（Ｂ）を参照して説明した探索方法が行なわれる。制限された背景探索では、図９（Ａ）を参照して説明した探索方法が行なわれる。制限された探索は計算コストを大幅に削減するので、アルゴリズムは左右のカメラ画像間のディスパリティをリアルタイムで見出すことができる。
【００８７】
[動作]
図１から図１４を参照して、上述のディスパリティ推定システム４０は以下のように動作する。図１を参照して、ステレオカメラ６０の較正が最初にオフラインで行なわれる。較正プロセスでは、予め定められたパターンプレートがステレオカメラ６０に提示される。較正ソフトウェア１３０は較正パラメータを計算する。パラメータは較正パラメータメモリ１３２に記憶される。
【００８８】
次に、ＴＯＦカメラ６が予備較正ソフトウェア１４０によってオフラインで較正される。予備較正プロセスでは、予め定められたパターン３４０がステレオカメラ６０及びＴＯＦカメラ６２に提示される。予備較正プロセスでは、ステレオ画像は補正ソフトウェア１３４によって補正され、フレームメモリ１３６に記憶される。図１０に示すように、予備較正ソフトウェア１４０はＴＯＦカメラ画像と補正されたステレオ画像とを、較正フレームメモリ１３８とフレームメモリ１３６とから、それぞれ読出す。３つ組の画像（ＴＯＦカメラ画像と左右の画像）が３Ｄモニタ５４に順に示され、ユーザはＧＵＩによってこれら画像の対応の画素を繰返し選択する。パターン３４０を移動させ選択プロセスを繰返すことによって、式（４）を解くに足る充分な数の画素（＞＞６）が収集される。式４をＱ−Ｒ分解を用いて解くことによってマッピング行列ＡＬ及びＡＲが得られる。マッピング行列はＴＯＦマッピングパラメータメモリ１４２に記憶される。
【００８９】
ステレオカメラ６０の較正とＴＯＦカメラ６２の予備較正が完了すると、ディスパリティ推定システム４０は３Ｄシーンをキャプチャしてディスパリティメモリ１５０にディスパリティ画像のストリームを生成する準備が整ったことになる。
【００９０】
動作において、ディスパリティ推定システム４０はステレオカメラ６０からのステレオ画像のストリームを獲得する。キャプチャされた画像は較正パラメータメモリ１３２に記憶された較正パラメータを用いて補正ソフトウェア１３４によって補正され、エピポーラ線が画像の行に対応するようになる。補正された画像はフレームメモリ１３６に記憶される。同時に、ディスパリティ推定システム４０はＴＯＦカメラ６２からＴＯＦ画像のストリームを獲得する。
【００９１】
ＴＯＦカメラ画像の各フレームの各画素について、前景／背景マッピングモジュール１４６が画素を左カメラ画像にマッピングする。その後、モジュール１４６はＴＯＦカメラ画像の画素の強度を調べ、画素が前景の対象物に属するか、背景に属するかを判定する。もし画素が前景にあれば、モジュール１４６はハイレベルのＦ／Ｇ信号１７６をディスパリティ探索モジュール１４８に送る。そうでなければ、モジュール１４６はローレベルのＦ／Ｇ信号１７６をディスパリティ探索モジュール１４８に送る。
【００９２】
ハイレベルのＦ／Ｇ信号１７６に応答して、ディスパリティ探索モジュール１４８はＴＯＦカメラ画像内の興味ある画素を右カメラ画像にマッピングすることによって右カメラ画像の画素を推定する。その後、ディスパリティ探索モジュール１４８は、制限された探索範囲で前景探索アルゴリズムを利用して、左右のカメラ画像のディスパリティを判定する。
【００９３】
ローレベルのＦ／Ｇ信号１７６に応答して、ディスパリティ探索モジュール１４８は左画素と同じｘ−ｙ座標値を有する右カメラ画像中の画素の場所とつきとめ、より長い探索範囲で背景ディスパリティ探索アルゴリズムを利用して、ディスパリティを判定する。対応の画素の探索が終了すると、ディスパリティが計算され、ディスパリティ探索モジュール１４８は、ＴＯＦ画像の次の画素を選択するよう、前景／背景マッピングモジュール１４６に信号を送る。各画素について、ディスパリティ探索モジュール１４８はディスパリティを、ディスパリティメモリ１５０の左カメラ画像のその画素のアドレスに書込む。
【００９４】
ディスパリティ画像が完成すると、グラフィック出力ユニット１５２はフレームメモリ１３６に記憶された左カメラ画像とディスパリティメモリ１５０に記憶されたディスパリティ画像とを選択し、これらを３Ｄモニタ５４に与える。同時に、グラフィック出力ユニット１５２はＴＯＦ画像、ステレオ画像及びディスパリティ画像のいずれかの組合せをコントローラ１２２の指示に従って選択し、これをモニタ７４に与える。
【００９５】
３Ｄモニタ５４は左カメラ画像と対応するディスパリティ画像とに基づいてステレオ表示を生成する能力を有するので、ユーザは３Ｄモニタ５４上に３Ｄ画像を見ることができる。
【００９６】
[実験的セットアップ]
ＶｉｄｅｒｅＴＭステレオビジョンハードウェアとＳＶＳソフトウェアがこの実現に利用される。カメラのキャリブレーション及び補正はＳＶＳライブラリを用いて自動的に行なわれる。ＳＶＳソフトウェアはステレオビデオシーケンスをキャプチャすることができ、ステレオ対の３Ｄデータを３２０×２４０の全画像解像度で３０Ｈｚで再構築する。しかし、３Ｄの再構築にとって興味ある領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）はこの実験においてユーザの顔区域であるので、ディスパリティ探索区域を、上述の説明の通り、顔のホロプタ周辺に限定した。したがって、顔の外側で深さの異なる再構築された３Ｄデータは、図２３（Ｃ）に示すように３Ｄ推定が不正確である。
【００９７】
図１に示すように、システムはＳｗｉｓｓｒａｎｇｅｒＴＭ製の飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ：ＴＯＦ）レンジカメラ（略してＴＯＦカメラ）と、ＶｉｄｅｒｅＴＭ製の従来のＣＣＤステレオカメラから構成され、密なステレオ再構築アルゴリズムのディスパリティ計算を改良する、実質的に並列な画像チャネルを可能にする。ＳＲＩインターナショナル（ＳＲＩ ＩｎｔｅｒｎａｔｉｏｎａｌＴＭ）のＳＶＳＴＭソフトウェアを利用して、ステレオ画像のキャプチャ、カメラ較正及び補正を行なう。システムはステレオビデオシーケンスをキャプチャすることができ、ステレオ対の３Ｄデータを３２０×２４０の画像解像度で毎秒３０フレームで再構築する。
【００９８】
再構築された３Ｄ座標値は、予め規定された世界座標系に対するものである。この実現例での世界座標系（原点）は左カメラの焦点となるように規定され、右手の座標系である。
【００９９】
図１５はＴＯＦレンジカメラからステレオ画像へのマッピングのためのスクリーンキャプチャであり、ここでＴＯＦカメラ画像４３０からマッピングされた画素は左右のカメラ画像４３２及び４３４上に重ねられる。
【０１００】
図１６は左カメラ４５０の画像フレーム、ディスパリティ画像４５２、及び再構築された３ＤデータのオープンＧＬ（Ｏｐｅｎ ＧＬ）プロット４５４をそれぞれ示す。ＴＯＦカメラからの範囲情報で、背景の対象物に対する３Ｄ再構築が改良される。
【０１０１】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０２】
【図１】この発明の一実施の形態に従ったディスパリティ推定システム４０のシステム構成要素を示す図である。
【図２】この発明の実施の形態の、コンピュータによって実現されたディスパリティ計算装置５０のハードウェアブロック図である。
【図３】ディスパリティ計算装置５０の全体の機能ブロック図である。
【図４】前景／背景マッピングモジュール１４６の詳細を示す図である。
【図５】ディスパリティ探索モジュール１４８の詳細を示す図である。
【図６】ステレオ画像の補正を示す図である。
【図７】ディスパリティ推定のための、補正されたステレオ画像対テンプレート探索プロセスを示す図である。
【図８】左カメラ画像２４０Ｌの画素２５０Ｌのディスパリティをどのように計算するかを示す図である。
【図９】（Ａ）は前景ディスパリティ探索を示し、（Ｂ）は背景ディスパリティ探索を示す図である。
【図１０】ＴＯＦカメラ６２の予備較正の全体のプロセスステップを示すフロー図である。
【図１１】予備較正プロセスで用いられるパターン３４０を示す図である。
【図１２】予備較正プロセスにおいて、ユーザがどのようにＴＯＦカメラ及びステレオカメラの画素を選択するかを示す図である。
【図１３】「左」カメラ画像２４０Ｌ及び「右」カメラ画像２４０Ｒ内のブロックがどのようにサブブロックに分割されるかを示す図である。
【図１４】ディスパリティ探索アルゴリズムのフロー図である。
【図１５】ＴＯＦカメラからステレオ画像へのマッピングのためのスクリーンキャプチャを示す図である。
【図１６】左カメラ４５０の画像フレーム、ディスパリティ画像４５２及び３Ｄ再構築データのＯｐｅｎ ＧＬプロット４５４をそれぞれ示す図である。
【符号の説明】
【０１０３】
４０ ディスパリティ推定システム
５０ ディスパリティ計算装置
５４ ３Ｄモニタ
６０ ステレオカメラ
６２ ＴＯＦカメラ
７０ コンピュータ
７４ モニタ
８０ キーボード
８２ マウス
９０ ＣＰＵ
９４ ＲＯＭ
９６ ＲＡＭ
９８ ハードディスクドライブ
１３０ 較正ソフトウェア
１３２ 較正パラメータメモリ
１３４ 補正ソフトウェア
１３６ フレームメモリ
１３８ 較正フレームメモリ
１４０ 予備較正ソフトウェア
【特許請求の範囲】
【請求項１】
補正したステレオ画像対において、対応する画素対をマッチングするための装置であって、前記装置はステレオカメラ及びレンジカメラに接続されてそれぞれ補正されたステレオ画像対とレンジカメラ画像とを受けることができ、前記ステレオ画像対は第１の画像と第２の画像とを含み、前記装置は
前記レンジカメラ画像中の画素を前記第１の画像中の画素と前記第２の画像中の画素とにマッピングするための第１のマッピング手段と、
前記レンジカメラ画像中の前記画素の画素値をしきい値と比較するための比較手段と、
前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索するための手段とを含む、装置。
【請求項２】
前記探索手段は、
前記比較手段が、前記画素の前記画素値が前記しきい値より高いと判定したことに応答する第１の探索手段と、
前記比較手段が、前記画素の前記画素値が前記しきい値以下であると判定したことに応答する第２の探索手段とを含み、
前記第１の探索手段の探索範囲は前記第２の探索手段の探索範囲より短い、請求項１に記載の装置。
【請求項３】
前記第１の探索手段は、
前記比較手段が、前記画素の前記画素値が前記しきい値より高いと判定したことに応答して、前記レンジカメラ画像の前記画素を前記第２の画像にマッピングするための第２のマッピング手段と、
前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の両側に延在する第１の探索範囲を規定する、第１の探索範囲規定手段と、
前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第１の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第１の類似度計算手段と、
前記第２の画像中の前記ブロックのうち、最も高い類似尺度を有するものを選択するための第１のブロック選択手段と、
前記第１のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための第１の画素選択手段とを含む、請求項２に記載の装置。
【請求項４】
前記第２の探索手段は、
前記第１の探索範囲より長い第２の探索範囲を規定するための、第２の探索範囲規定手段を含み、前記第２の探索範囲は前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の一方側のみに延在し、
前記第２の探索手段はさらに
前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第２の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第２の類似度計算手段と、
前記第２の画像中の前記ブロックのうち、前記第２の類似手段によって計算された最も高い類似尺度を有するものを選択するための第２のブロック選択手段と、
前記第２のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための第２の画素選択手段とを含む、請求項３に記載の装置。
【請求項５】
前記第１の類似度計算手段は、
前記第１の画像中の前記ブロックと前記第２の画像中の前記ブロックとの各々を、同じ形状の複数のサブブロックに分割するための手段と、
前記第２の画像中の前記ブロックの各々と、前記第１の画像中の前記ブロックとの平均の画素値を計算するための手段と、
前記サブブロックの各々の画素の画素値から前記平均画素値を減算するための手段と、
前記サブブロックの各々の画素の平均画素値を計算するための手段と、
前記第１の画像のサブブロックの平均画素値と、前記第２の画像のブロックの各々のサブブロックのそれぞれの平均画素値との二乗誤差の合計を計算するための手段とを含み、
前記二乗誤差の合計が前記類似尺度である、請求項３に記載の装置。
【請求項６】
ステレオカメラ及びレンジカメラに接続されてそれぞれ補正されたステレオ画像対とレンジカメラ像とを受けることができるコンピュータで実行可能なコンピュータプログラムであって、前記ステレオ画像対は第１の画像と第２の画像とを含み、前記コンピュータプログラムは、前記コンピュータ上で実行されると、コンピュータを
前記レンジカメラ画像中の画素を前記第１の画像中の画素にマッピングするための第１のマッピング手段と、
前記レンジカメラ画像中の前記画素の画素値をしきい値と比較するための比較手段と、
前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索する手段と、として動作させる、コンピュータプログラム。
【請求項１】
補正したステレオ画像対において、対応する画素対をマッチングするための装置であって、前記装置はステレオカメラ及びレンジカメラに接続されてそれぞれ補正されたステレオ画像対とレンジカメラ画像とを受けることができ、前記ステレオ画像対は第１の画像と第２の画像とを含み、前記装置は
前記レンジカメラ画像中の画素を前記第１の画像中の画素と前記第２の画像中の画素とにマッピングするための第１のマッピング手段と、
前記レンジカメラ画像中の前記画素の画素値をしきい値と比較するための比較手段と、
前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索するための手段とを含む、装置。
【請求項２】
前記探索手段は、
前記比較手段が、前記画素の前記画素値が前記しきい値より高いと判定したことに応答する第１の探索手段と、
前記比較手段が、前記画素の前記画素値が前記しきい値以下であると判定したことに応答する第２の探索手段とを含み、
前記第１の探索手段の探索範囲は前記第２の探索手段の探索範囲より短い、請求項１に記載の装置。
【請求項３】
前記第１の探索手段は、
前記比較手段が、前記画素の前記画素値が前記しきい値より高いと判定したことに応答して、前記レンジカメラ画像の前記画素を前記第２の画像にマッピングするための第２のマッピング手段と、
前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の両側に延在する第１の探索範囲を規定する、第１の探索範囲規定手段と、
前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第１の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第１の類似度計算手段と、
前記第２の画像中の前記ブロックのうち、最も高い類似尺度を有するものを選択するための第１のブロック選択手段と、
前記第１のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための第１の画素選択手段とを含む、請求項２に記載の装置。
【請求項４】
前記第２の探索手段は、
前記第１の探索範囲より長い第２の探索範囲を規定するための、第２の探索範囲規定手段を含み、前記第２の探索範囲は前記第２のマッピング手段によってマッピングされた前記第２の画像のエピポーラ線上の前記画素の一方側のみに延在し、
前記第２の探索手段はさらに
前記第１の画像中の前記画素を包含する予め定められたサイズの予め規定されたブロックと、前記第２の探索範囲内のそれぞれの画素を包含する前記第２の画像中の予め定められたサイズのブロックとの、予め定められた類似尺度を計算するための第２の類似度計算手段と、
前記第２の画像中の前記ブロックのうち、前記第２の類似手段によって計算された最も高い類似尺度を有するものを選択するための第２のブロック選択手段と、
前記第２のブロック選択手段によって選択された前記ブロックの中心の画素を、前記第１の画像の前記画素にマッチするものとして選択するための第２の画素選択手段とを含む、請求項３に記載の装置。
【請求項５】
前記第１の類似度計算手段は、
前記第１の画像中の前記ブロックと前記第２の画像中の前記ブロックとの各々を、同じ形状の複数のサブブロックに分割するための手段と、
前記第２の画像中の前記ブロックの各々と、前記第１の画像中の前記ブロックとの平均の画素値を計算するための手段と、
前記サブブロックの各々の画素の画素値から前記平均画素値を減算するための手段と、
前記サブブロックの各々の画素の平均画素値を計算するための手段と、
前記第１の画像のサブブロックの平均画素値と、前記第２の画像のブロックの各々のサブブロックのそれぞれの平均画素値との二乗誤差の合計を計算するための手段とを含み、
前記二乗誤差の合計が前記類似尺度である、請求項３に記載の装置。
【請求項６】
ステレオカメラ及びレンジカメラに接続されてそれぞれ補正されたステレオ画像対とレンジカメラ像とを受けることができるコンピュータで実行可能なコンピュータプログラムであって、前記ステレオ画像対は第１の画像と第２の画像とを含み、前記コンピュータプログラムは、前記コンピュータ上で実行されると、コンピュータを
前記レンジカメラ画像中の画素を前記第１の画像中の画素にマッピングするための第１のマッピング手段と、
前記レンジカメラ画像中の前記画素の画素値をしきい値と比較するための比較手段と、
前記比較手段に応答して、前記比較手段による比較結果に依存して第１のディスパリティ探索と第２のディスパリティ探索とを選択的に行なって、前記第２の画像中の画素であって前記第１の画像中の前記画素にマッチするものを探索する手段と、として動作させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１３９９９５（Ｐ２００９−１３９９９５Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【外国語出願】
【出願番号】特願２００７−３１２４２８（Ｐ２００７−３１２４２８）
【出願日】平成１９年１２月３日（２００７．１２．３）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１２４２８（Ｐ２００７−３１２４２８）
【出願日】平成１９年１２月３日（２００７．１２．３）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]