距離計測装置及び距離計測方法
【課題】
非平行で完全平面ではない反射板に映る２重像を１台の撮像装置で撮影して得られた１枚の画像に基づいて安価な装置構成及び短い計測時間で高精度な距離計測を行い得るようにした距離計測装置を提供する。
【解決手段】
反射板に写る位置ずれのある２重像を撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、反射板の形状、姿勢、屈折率及び撮像手段のカメラ光学中心から反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、外部パラメータと計測対象を２重像として撮影した１枚の画像から計測対象までの距離を算出する距離算出部とを備え、反射板を局所的に非平行な平面で近似し、キャリブレーション処理部で推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つ。
非平行で完全平面ではない反射板に映る２重像を１台の撮像装置で撮影して得られた１枚の画像に基づいて安価な装置構成及び短い計測時間で高精度な距離計測を行い得るようにした距離計測装置を提供する。
【解決手段】
反射板に写る位置ずれのある２重像を撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、反射板の形状、姿勢、屈折率及び撮像手段のカメラ光学中心から反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、外部パラメータと計測対象を２重像として撮影した１枚の画像から計測対象までの距離を算出する距離算出部とを備え、反射板を局所的に非平行な平面で近似し、キャリブレーション処理部で推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受動的な手法を用いる距離計測技術に関し、特に、透明板又は両面ハーフミラー板に映る２重像を、１台の撮像装置で撮影して得られた１枚の画像に基づいて、距離計測を行う距離計測装置及び距離計測方法に関する。
【背景技術】
【０００２】
一般的に、距離計測方法を能動的な手法を用いる方法と、受動的な手法を用いる方法に分けることができる。能動的な距離計測方法では、レーザ光源や空間的光コーディングなどを利用しているので、大がかりな装置が必要で高価なシステムになり、また、計測時間も比較的に長い。
【０００３】
これに対し、２台又は２台以上のカメラを利用したステレオ距離計測は、受動的検出だけを利用した受動的な距離計測方法として古くから利用されてきた。コンピュータビジョン分野では、３次元幾何学が解析され、この結果を基に多くのバリエーションが提案されてきた。例えば、マルチカメラ（非特許文献１参照）やマルチベースライン（非特許文献２参照）は、システムのコストがあまり問題にならない場合には、対応付けの曖昧さを大きく減少する手法として有効である。
【０００４】
しかし、２台又は２台以上のカメラを利用したステレオ距離計測方法では、複数台のカメラと撮影レンズが必要なので、計測装置が高価になる。また、カメラ台数分のキャリブレーションを行う必要があるので、計測準備としてかなりの手間を必要とした。さらに、実際の計測では、カメラ台数分の画像をコンピュータに取り込む必要があり、コンピュータ内にはその台数分に相当する画像用メモリを確保する必要がある。また、カメラ間は同期して時間的に同時に画像を撮影する必要があった。
【０００５】
ところで、最近では、ＩＴＳ分野での交通計測（非特許文献３参照）や歩行者検出（非特許文献４参照）、セキュリティ分野でのセンサとしても、距離計測が利用されるようになり、計測精度や信頼性、ロバスト性だけでなく、コスト面での考慮が必要になってきた。
【０００６】
距離計測におけるコストは、使用するカメラ台数が多くなるほど高くなる。このときのコストは、カメラと撮影レンズだけではなく、画像キャプチャや画像処理で必要とするメモリや計算量も含まれている。このため、１台のカメラによるステレオ距離計測方法が提案されてきた。１台の固定カメラによるステレオ距離計測方法（以下、単に、「単眼距離計測方法」とも言う。）は、画像分割法、複数画像法、複数露出法の３種類に分類することができる。
【非特許文献１】エス.ビー.カン（S.B.Kang）・アール.スゼリスキ（R.Szeliski）・ジェー.チャイ（J.Chai）共著,「ハンドリング オクルジョン イン デンス マルチビュー ステレオ （Handling Occlusions in Dense Multi-View Stereo）」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション （Proc. On Computer Vision and Pattern Recognition）,第I巻,p.103-110,2001年12月
【非特許文献２】エム.オクトミ（M. Okutomi）・ティー.カナデ（T. Kanade）共著,「ア マルチプルーベースライン ステレオ （A Multiple-Baseline Stereo）,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシン インテリジェンス （IEEE Trans. On Pattern Analysis and Machine Intelligence）,第15巻,第4号,p.353-363,1993年4月
【非特許文献３】ゼッド.サン（Z. Sun）・ジー.ベビス（G. Bebis）・アール.ミラー（R. Miller）共著,「オンーロード ビヒクル デテクション ユージング オプティカル センサズ： ア レビュー （On-Road Vehicle Detection using Optical Sensors: A Review）」,プロク. オン ＩＥＥＥ インテリジェント トランスポーテイション システムズ コンファレンス （Proc. On IEEE Intelligent Transportation Systems Conference）,米国,2004年10月
【非特許文献４】ジー.グラッブ（G.Grubb）・エイ.ゼリンスキー（A.Zelinsky）・エル.ニルソン（L.Nilsson）・エム.リルベ（M.Rilbe）共著,「３Ｄ ビジョン センシング フォー インプルーブド ペデストリアン セイフティ （3D Vision Sensing for Improved Pedestrian Safety）」,プロク. オン ＩＥＥＥ インテリジェント ビヒクルズ シンポジウム （Proc. On IEEE Intelligent Vehicles Symposium）,p.19-24,2004年6月
【非特許文献５】ジェー.エム.グラックマン（J.M.Gluckman）・エス.ケイ.ナイヤル（S.K.Nayar）共著,「プレーナー カタディオプトリック ステレオ： ジオメトリー アンド キャリブレーション （Planar Catadioptric Stereo: Geometry and Calibration）」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション （Proc. On Computer Vision and Pattern Recognition）,第1巻,p.22-28,1999年6月
【非特許文献６】エイチ.シム（H.Shim）著,「ライト ウエイト マルチビュー キャプチャーイング プロジェクトズ（Light Weight Multi-View Capturing Projects）」,http://amp.ece.cmu.edu/projects/MIRRORARRAY/
【非特許文献７】ディー.エイチ.リー（D.H. Lee）・アイ.エス.クウィーオン（I.S. Kweon）共著,「ア ノベル ステレオ カメラ システム バイ ア バイプリズム （A Novel Stereo Camera System by a Biprism）」,ＩＥＥＥ トランス. オン ロボッチック アンド オートメイション （IEEE Trans. On Robotics and Automation）,第16巻,第5号,p.528-541,2000年10月
【非特許文献８】ワイ.ニシモト（Y.Nishimoto）・ワイ.シライ（Y,Shirai）共著,「ア フィーチャーベーセド ステレオ モデル ユージング スモール ディスパリティス （A Feature-Based Stereo Model using Small Disparities）」,プロク. オン ＩＥＥＥ インターナショナル ワークショップ オン インダストリアル アプリケーションズ オフ マシン ビジョン アンド マシン インテリジェンス （Proc. On IEEE International Workshop on Industrial Applications of Machine Vision and Machine Intelligence）,セイケイ シンポジウム（Seikei Symposium）,p.192-196,日本,1987年2月
【非特許文献９】シー.ガオ（C. Gao）・エヌ.アフジァ（N. Ahuja）共著,「シングル カメラ ステレオ ユージング プレーナー パラレル プレート （Single Camera Stereo using Planar Parallel Plate）」,プロク. オン インターナショナル コンファレンス オン パターン レコグニション （Proc. On International Conference on Pattern Recognition）,第IV巻,p.108-111,イギリス,2004年8月
【非特許文献１０】イー.エイチ.アデルソン（E.H.Adelson）・ジェー.ワイ.エイ.ワン（J.Y.A. Wang）共著,「シングル レンズ ステレオ ウィズ ア プレノピチック カメラ （Single Lens Stereo with a Plenoptic Camera）」,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシン インテリジェンス （IEEE Trans. On Pattern Analysis and Machine Intelligence）,第14巻,第2号,p.99-106,1992年2月
【非特許文献１１】エム.アムトン（M. Amtoun）・ビー.ブーファマ（B. Boufama）共著,「マルチベースライン ステレオ ユージング ア シングルーレンズ カメラ （Multibaseline Stereo using a Single-Lens Camera）」,プロク. オン インターナショナル コンファレンス オン イメージ プロセシング （Proc. On International Conference on Image Processing）,第1巻,p.401-404,2003年9月
【非特許文献１２】エス.ヒウラ（S.Hiura）・ティー.マツヤマ（T.Matsuyama）共著,「デプス メジャーメント バイ ザ マルチフォーカス カメラ （Depth Measurement by the Multi-Focus Camera）」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション （Proc. On Computer Vision and Pattern Recognition）,p.953-959,1998年6月
【非特許文献１３】イー.ピー.シモンセリ（E.P. Simoncelli）・エイチ.ファリード（H. Farid）共著,「ダイレクト デファレンシャル レンジ エスティメイション ユージング オプティカル マスクズ （Direct Differential Range Estimation using Optical Masks）」,プロク. オン ヨーロッピアン コンファレンス オン コンピュータ ビジョン （Proc. On European Conference on Computer Vision）,第2巻,p.82-93,イギリス,1996年4月
【非特許文献１４】山田憲嗣・高橋秀也・志水英二共著，「符号化開口法を用いた３次元形状検出手法」，電子情報通信学会論文誌,第J80-D-II巻,第11号,p.2986-2994,1997年11月
【非特許文献１５】清原將裕・数井誠人・池田光二共著，「１台のカメラとレンズアレイとを用いた距離計測」,画像の認識・理解シンポジウム（MIRU2004）論文集，第I巻，p.392-397,2004年7月
【非特許文献１６】清水雅夫・奥富正敏共著，「透明板に映る２重像を用いた１台のカメラによる距離計測手法」，情報処理学会CVIM論文誌，第47巻，第SIG10 (CVIM15)号,p.131-142,2006年7月
【非特許文献１７】清水雅夫・奥富正敏共著，「両面ハーフミラー板透過画像を用いた１台のカメラによる距離計測」,第９回画像の認識・理解シンポジウム(MIRU2006)講演論文集,p.788-793,2006年7月
【非特許文献１８】清水雅夫・奥富正敏共著，「透過型リフレクションステレオ−両面ハーフミラー板透過像を使った単眼距離計測−」,第１３回画像センシングシンポジウム(SSII2007)講演論文集,p.IN1-10-1-8,2007年6月
【非特許文献１９】ティー.ワイテド（T.Whitted）著,「アン インプルーブド イルミネイション モデル フォー シェイデド ディスプレイ（An Improved Illumination Model for Shaded Display）」, コミューニケイションズ オフ ザ ＡＣＭ（Communications of the ACM）,第23巻,第6号,p.343-349,1980年6月
【非特許文献２０】ジェー.ワイ.ブーゲット（J.Y.Bouguet）著,「カメラ キャリブレーション ツールボックス フォー マットラブ （Camera Calibration Toolbox for Matlab）」,http://www.vision.caltech.edu/bouguetj/calib_doc/index.html,2007年2月
【非特許文献２１】ゼッド.チャン（Z.Zhang）著,「フレキシブル カメラ キャリブレーション バイ ビューイング ア プレーン フロム アンノーン オリエンテイションズ（Flexible Camera Calibration by Viewing a Plane from Unknown Orientations）」,プロック. オン インターナショナル カンファレンス オン コンピュータ ビジョン（Proc. On International Conference on Computer Vision）,第1巻,p.666-673,ギリシャ,1999年9月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
画像分割法とは、ミラー（非特許文献５、非特許文献６参照）やプリズム（非特許文献７参照）などの光学的な手段を利用して画像を複数の領域に分割することで、つまり、基本的には複数台分のカメラの画像を１台のカメラで同時に撮影できるように工夫したものであり、位置や向きが異なる複数のカメラで撮影した画像を１枚の画像に映し込む手法である。
【０００８】
画像分割法では、カメラ間での画像濃度やコントラスト、色彩などの差がない。また、時間的に完全に同期した複数の画像を利用するので、動的な対象にも適用でき、リアルタイムのアプリケーションにも応用できる。しかし、１台のカメラの画素数を分割利用するため（つまり、１つの視点からの画像に相当する分割画像の画素数は小さくなるため）、計測精度が低下する問題があった。また、複数台のカメラを利用したステレオ距離計測と同様に、カメラの外部パラメータのキャリブレーションを行う必要がある。
【０００９】
また、複数画像法とは、光学的な手段を利用して１台のカメラの位置を等価的に移動しながら複数枚の画像を撮影し、対象までの距離を推定する手法である。例えば、カメラ光軸上に配置した平行平面透明板の光軸に対する角度を変更する（非特許文献８参照）ことや、透明板の角度は一定のままでカメラ光軸に沿って回転する（非特許文献９参照）ことで、カメラ位置の精密な平行移動を実現している。
【００１０】
複数画像法では、カメラは平行移動するため、外部パラメータを推定する必要はなく、距離計算が容易である。しかし、複数画像を撮影した後で対象までの距離を求めるため、移動物体に対する距離計測を行うことは原理的に不可能である。また、光学的手段は作動部材を含む機構で構成されているので、その製造のために結果的に高価なシステムになり、調整のために手間のかかる計測になっていた。
【００１１】
そして、複数露出法とは、単一レンズの開口（非特許文献１０、非特許文献１１参照）や、符号化開口（非特許文献１２、非特許文献１３、非特許文献１４参照）、レンズアレイ（非特許文献１５参照）を利用し、異なる位置を通過する光線を１枚の画像に撮影して距離情報を得る手法である。
【００１２】
複数露出法では、複数の開口を設けるために光量に対する使用効率が低下し、レンズ開口でベースライン長が制限される。また、レンズアレイを使った撮影画像における対応点探索の曖昧さに起因する計測精度の低さや、原理的にピンホールによる撮影である符号化開口を使った撮影画像におけるコントラストの低さなどの問題がある。
【００１３】
本発明の発明者らは、上述した従来の問題点を解決するために、複数露出法に属する単眼距離計測方法として、透明板の反射像（表面反射像と裏面反射像で構成され、位置ずれがある２重像）を利用する単眼距離計測方法（以下、単に、「反射型リフレクションステレオ」とも言う。）（非特許文献１６を参照）、及び、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板の透過像（直接像と内部反射像で構成され、位置ずれがある２重像）を利用する単眼距離計測方法（以下、単に、「透過型リフレクションステレオ」とも言う。）（非特許文献１７を参照）を提案した。
【００１４】
以下では、本発明の発明者らが提案した非特許文献１６及び非特許文献１７に開示された「反射型リフレクションステレオ」と「透過型リフレクションステレオ」のことを、単に「リフレクションステレオ（Reflection Stereo）」とも言う。
【００１５】
本発明の発明者らにより提案された「リフレクションステレオ」には、可動機構や特殊な光学部材を必要とせず、透明板又は両面ハーフミラー板に映る２重像を、可動機構（可動部）を持たない１台の撮像装置（カメラ）で撮影して得られた一枚の画像に基づいて、安価な装置構成及び短い計測時間で距離計測を行い得るという特徴がある。
【００１６】
ただし、本発明の発明者らが提案した「リフレクションステレオ」では、両面が平行平面で構成される透明板又は両面ハーフミラー板（以下、まとめて「反射板」と呼ぶこともある。）、即ち、理想的な平行平面反射板を通して撮影した１枚の画像を用いて距離計測を行うようにしており、また、リフレクションステレオのキャリブレーションを行う際には、十分に遠方の物体（風景など）を撮影し、その２重像間変位から反射板の非平行度を推定し、そして、近距離の十分なテクスチャを持った対象（カーペットや壁面など）を撮影し、拘束直線の方向を推定した。推定したキャリブレーションパラメータ（反射板とカメラで構成される距離計測装置の外部パラメータ）は、画像上の位置によらず一定と仮定していた。
【００１７】
しかし、市販品として容易に入手でき且つ安価なアクリル透明板やガラス板を反射板として利用したときに、そのアクリル透明板やガラス板は、理想的な平行平面反射板でないため、つまり、建築物の窓ガラスの反射などを観察すれば分かる通り、アクリル透明板やガラス板の表面は完全に平面でもなく、また両表面は完全に平行ではないため、リフレクションステレオによる距離計測を行う際に、画像上の位置に対して不変な外部パラメータを利用していることから、計測結果に誤差が含まれ、距離計測の精度が限られているとの問題が生じる。
【００１８】
そこで、本発明の発明者らは、この問題を解決するため、自らが提案した「リフレクションステレオ」に基づいて本発明を発明した。
【００１９】
要するに、本発明は、上述のような事情よりなされたものであり、本発明の目的は、うねりのある（非平行で完全平面ではない）透明板又は両面ハーフミラー板に映る２重像を、１台の撮像装置で撮影して得られた１枚の画像に基づいて、安価な装置構成及び短い計測時間で、高精度な距離計測を行い得るようにした距離計測装置及び距離計測方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、距離計測装置に関し、本発明の上記目的は、非平行で完全平面ではない１枚の反射板と、１台の撮像手段と、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出部とを備え、前記反射板を局所的に非平行な平面で近似し、前記キャリブレーション処理部で推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことによって効果的に達成される。
【００２１】
また、本発明の上記目的は、距離計測装置であって、非平行で完全平面ではない１枚の反射板と、１台の撮像手段と、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、前記２重像間変位算出部が既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理部と、前記２重像間変位算出部が未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出部とを備え、２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、前記キャリブレーション処理部で推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出部では、注目点に応じて異なる値を持つ外部パラメータを利用することにより、或いは、前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板であることにより、或いは、前記撮像手段は固体撮像素子を用いる撮像装置であることにより、或いは、前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成されることにより、或いは、前記キャリブレーション処理部では、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求めることにより、或いは、前記距離算出部では、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とすることにより、或いは、前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、算出した前記絶対距離を用い、前記キャリブレーション処理部にて、再び前記外部パラメータを推定することによってより効果的に達成される。
【００２２】
更に、本発明は、非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法に関し、本発明の上記目的は、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理ステップと、推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出ステップとを有し、前記反射板を局所的に非平行な平面で近似し、前記キャリブレーション処理ステップで推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことによって効果的に達成される。
【００２３】
また、本発明の上記目的は、非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法であって、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、前記２重像間変位算出ステップにより既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理ステップと、前記２重像間変位算出ステップにより未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出ステップとを有し、２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、前記キャリブレーション処理ステップにより推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出ステップでは、注目点に応じて異なる値を持つ外部パラメータを利用することにより、或いは、前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板であることにより、或いは、前記撮像手段は固体撮像素子を用いる撮像装置であることにより、或いは、前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成されることにより、或いは、前記キャリブレーション処理ステップでは、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求めることにより、或いは、前記距離算出ステップでは、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とすることにより、或いは、前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、算出した前記絶対距離を用い、前記キャリブレーション処理ステップにより、再び前記外部パラメータを推定することによってより効果的に達成される。
【発明の効果】
【００２４】
本発明によれば、１台の撮像装置とうねりのある市販の安価なアクリル透明板やガラス板などの反射板を使い、「うねりのある反射板」を「反射板の分割平面モデル」で非平行度を持つ平面板で近似することにより、更に、画像上位置によって変化する外部パラメータを利用することにより、安価な装置構成で短い計測時間で高精度な距離計測が可能になるだけでなく、２重像間変位の誤検出を減少させることもできるという独自な優れた効果を奏する。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら、リフレクションステレオによる距離計測原理及び本発明を実施するための最良の形態について説明する。
＜１＞リフレクションステレオによる距離計測原理
まず、ここで、両面が平面で完全平行な透明板又は両面ハーフミラー板（以下、まとめて「反射板」と呼ぶこともある。）と、１台の撮像装置（その一例として、ＣＣＤカメラ、以下、単に「カメラ」と言う。）で構成する、本発明の発明者らが提案した「リフレクションステレオ」による距離計測原理を簡単に説明する（非特許文献１６及び非特許文献１７を参照）。
【００２６】
つまり、以下では、透明板や両面ハーフミラー板の反射像や透過像が２重像になること、２重像間変位が対象（計測対象）までの距離によって変化すること、及び２重像間変位には拘束があることについて述べる。
【００２７】
なお、リフレクションステレオで使用される撮像装置として、固体撮像素子を用いる撮像装置であれば良いので、ＣＣＤカメラに限定する必要がなく、例えば、ＣＭＯＳイメージセンサを用いるＣＭＯＳカメラを用いるようにしても良い。
【００２８】
また、本発明で言う「対象（計測対象）までの距離」とは、視線に沿った対象までの距離を意味する。具体的に、反射型リフレクションステレオによる距離計測を行う場合には、透明板表面で視線が反射するが、「対象（計測対象）までの距離」とは、反射した視線に沿った対象までの距離を意味する。一方、透過型リフレクションステレオによる距離計測を行う場合には、視線が両面ハーフミラー板で屈折するため、「対象（計測対象）までの距離」とは、撮像装置（カメラ）の光学中心から両面ハーフミラー板までの視線の方向に沿った対象までの距離を意味する。
＜１−１＞反射型リフレクションステレオ
ここで、まず、反射型リフレクションステレオによる距離計測原理について説明する。
【００２９】
図１は、透明板の反射像（表面反射像と裏面反射像で構成され、位置ずれがある２重像）を利用する反射型リフレクションステレオによる距離計測原理を説明するための模式図である。
【００３０】
図１に示すように、表面反射像Ｉｓと裏面反射像Ｉｒとの間の角度視差θｓは、空気に対する透明板の相対屈折率ｎ、透明板の厚さ（以下、単に「板厚」とも言う。）ｄ、表面反射像の入射角θｉ、及び透明板から計測対象（物体）までの距離Ｄｏによって変化する。
【００３１】
計測対象とカメラ光学中心（レンズ光学中心）、及び透明板の法線ベクトルを通る平面（入射面）上での光線を考えることで、表面反射像Ｉｓと裏面反射像Ｉｒとの間の角度視差θｓ（２重像間の角度視差）と計測対象までの距離との基本的な関係を説明する。この平面（入射面）は透明板の法線ベクトルを含むので、計測対象から来る光線の反射や屈折は、入射面上で記述することができる。
【００３２】
計測対象からの光線が透明板上で反射する位置を原点とする座標系（ξ,υ）を設定する。計測対象の位置を（−Ｄｏsinθｉ,Ｄｏcosθｉ）とし、また、カメラ光学中心の位置を（Ｄｃsinθｉ,Ｄｃcosθｉ）とする。
【００３３】
反射型リフレクションステレオにおいて、視線方向に沿った計測対象までの距離（Ｄｏ＋Ｄｃ）は、表面反射と裏面反射の経路をξ軸に投影すると長さが等しくなることから、下記数１で表すことができる。
【００３４】
【数１】
なお、透明板の２重像を撮影した画像上で２重像間の対応位置（以下、単に「２重像間変位」とも言う。）を計測すれば、角度視差θｓを求めることができる。また、２重像は、ある拘束直線上を変位するために、エピポーラ拘束を利用するステレオビジョンと同様に、１次元の探索を行えばよい。また、視線に沿った計測対象までの距離（Ｄｏ＋Ｄｃ）が無限大のときには、θｓ＝０となり、表面反射像Ｉｓと裏面反射像Ｉｒは完全に一致する。
＜１−２＞透過型リフレクションステレオ
次に、透過型リフレクションステレオによる距離計測原理について説明する。
【００３５】
図２は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板（以下、単に「両面ハーフミラー板」と言う。）の透過像（直接像と内部反射像で構成され、位置ずれがある２重像）を利用する透過型リフレクションステレオによる距離計測原理を説明するための模式図である。
【００３６】
図２に示すように、直接像Ｉｄと第１次内部反射像Ｉｉ１との間の角度視差θｓは、反射型リフレクションステレオと同様に、空気に対する両面ハーフミラー板の相対屈折率ｎ、両面ハーフミラー板の板厚ｄ、直接像の入射角度θｉ、及び両面ハーフミラー板から計測対象までの距離Ｄｏによって変化する。
【００３７】
反射型リフレクションステレオと同様に、入射面上での光線を考えることで、直接像Ｉｄと第１次内部反射像Ｉｉ１との間の角度視差θｓ（２重像間の角度視差）と計測対象までの距離との基本的な関係を説明する。
【００３８】
直接像の射出位置を原点とする座標系（ξ,υ）を設定する。カメラ光学中心の位置を（Ｄｃsinθｉ,Ｄｃcosθｉ）とする。
【００３９】
透過型リフレクションステレオにおいて、視線方向に沿った計測対象までの距離（Ｄｏ＋Ｄｉ＋Ｄｃ）は、直接像と第１次内部反射像の経路をξ軸に投影すると長さが等しくなることから、下記数２で表すことができる。
【００４０】
【数２】
なお、両面ハーフミラー板の２重像を撮影した画像上で２重像間の対応位置（２重像間変位）を計測すれば、角度視差θｓを求めることができる。また、２重像は、ある拘束直線上を変位するために、エピポーラ拘束を利用するステレオビジョンと同様に、１次元の探索を行えばよい。
＜１−３＞計測対象までの距離の求め方
上記＜１−１＞で述べた反射型リフレクションステレオ、及び上記＜１−２＞で述べた透過型リフレクションステレオにおいて、２重像間変位から計測対象までの距離を求めるためには、カメラのレンズ焦点距離ｆ／δの他に、ステレオビジョンにおける外部パラメータに相当する次の５個のパラメータ（以下、単に、「リフレクションステレオの外部パラメータ」又は「従来の外部パラメータ」と言う。）が必要である。ただし、既存手法で推定したカメラ内部パラメータを使って、２重像を撮影した画像からレンズ歪曲収差と画像中心位置は、補正されているとする。
【００４１】
「リフレクションステレオの外部パラメータ」として、
反射板（透明板又は両面ハーフミラー板）の法線ベクトル
（即ち、パラメータｎ１,ｎ２）、
カメラ光学中心から反射板（透明板又は両面ハーフミラー板）までの光軸に沿った距離Ｄｃｏ（即ち、パラメータＤｃｏ）、
反射板（透明板又は両面ハーフミラー板）の板厚ｄ（即ち、パラメータｄ）、
反射板（透明板又は両面ハーフミラー板）の空気に対する相対屈折率ｎ（即ち、パラメータｎ）がある。
【００４２】
これら５個の従来の外部パラメータを使えば、次のように、２重像間変位から計測対象までの距離を算出することができる。
【００４３】
図３に示すように、カメラ光学中心を原点Ｏとするカメラ座標系を設定する。反射板（透明板又は両面ハーフミラー板）の法線ベクトルを
とし、また、ＣＣＤの画素間隔を単位とするレンズ焦点距離（原点Ｏと画像面との距離）をｆ／δとする。
【００４４】
画像面上の点（以下、単に「注目点」とも言う。）
に対応する２重像の位置
を、単位方向ベクトル
の拘束直線上で探索した結果、注目点
からの変位（２重像間変位）
の位置に見つかったとする。ただし、
は、拘束直線の交点位置を表す。また、Δは注目点
から拘束直線に沿った距離[画素]を表す。このとき、図１及び図２における２重像間の角度視差θｓは、下記数３により求めることができる。
【００４５】
【数３】
また、注目点
に対する反射板（透明板又は両面ハーフミラー板）への入射角度θｉ（図１と図２を参照）は、下記数４により求めることができる。
【００４６】
【数４】
数３により得られた２重像間の角度視差θｓと数４により得られた入射角度θｉを、それぞれ数１と数２に用いることで、２重像間変位
から計測対象までの距離を求めることができる。
【００４７】
２重像は、位置ずれのあるほぼ同じ画像（信号）が重なったものと考えることができる。このような画像（信号）の自己相関関数は、原点における極大の他に、画像（信号）間の位置ずれに対応した位置でも極大を持つ。
【００４８】
従って、２重像を撮影した画像にエッジや特徴点がなくても、何らかのパターンがあれば、自己相関関数の２次極大位置からこの位置ずれを求めることができる。また、透過型リフレクションステレオの場合には、２重像間で明るさが異なるため、２次極大位置付近の特徴なども利用して、２重像間変位を検出する（非特許文献１８を参照）。
＜２＞本発明に係る距離計測装置及び距離計測方法
以下、本発明を実施するための最良の形態について詳細に説明する。
【００４９】
本発明は、非平行で完全平面ではない透明板又は両面ハーフミラー板（以下、説明の便宜上、「非平行で完全平面ではない透明板又は両面ハーフミラー板」を単に、「うねりのある反射板」とも称する）に映る２重像を、１台の撮像装置で撮影して得られた１枚の画像に基づいて、安価な装置構成及び短い計測時間で、高精度な距離計測を行い得るようにした距離計測装置及び距離計測方法に関するものである。
【００５０】
本発明に係る距離計測装置の機能を、キャリブレーション処理機能と距離計測機能とに大きく分けることができる。キャリブレーション処理機能とは、複数の既知の距離にある平面（キャリブレーション平面）を２重像として撮影し、それらの２重像を利用して距離計測装置の外部パラメータ（以下、単に「外部パラメータ」とも言う。）を推定する機能である。
【００５１】
また、距離計測機能（距離算出機能）とは、キャリブレーション処理機能で推定された外部パラメータと、未知の距離にある計測対象を２重像として撮影して得られた１枚の画像（画像データ）とに基づき、計測対象までの距離を算出（計測）する機能である。
【００５２】
そして、本発明に係る距離計測装置では、切り替え信号により、キャリブレーション処理機能と距離計測機能（距離算出機能）とを切り替えるようにしている。
【００５３】
換言すれば、本発明に係る距離計測装置を用いて、実際に計測対象までの距離を計測する前に、まず、距離計測装置のキャリブレーションを行う必要があり、つまり、距離計測装置の外部パラメータを推定する必要がある。そして、距離計測装置のキャリブレーションが済んだ後に（外部パラメータが得られた後に）、本発明の距離計測装置を用いて、実際に距離計測を行う。
【００５４】
図４は、本発明に係る距離計測装置の一実施形態を示すブロック構成図である。図４に示されたように、本発明の距離計測装置１は、反射板１０と、撮像手段２０と、２重像間変位算出部３０と、キャリブレーション処理部４０と、距離算出部５０とから構成され、そして、２重像間変位算出部３０で算出された２重像間変位は、切り替え信号により、キャリブレーション処理部４０に入力され、又は、距離算出部５０に入力されるようになっている。なお、図示されていないが、本発明の距離計測装置１は、例えばメモリのような記憶手段を備えている。
【００５５】
本発明では、反射板１０として、１枚の非平行で完全平面ではない透明板又は両面ハーフミラー板を用いる。本実施例では、反射板１０として、市販の安価なアクリル透明板を用いる。
【００５６】
また、撮像手段２０として、１台の撮像装置を用いる。本実施例では、ＣＣＤイメージセンサを搭載したＣＣＤカメラ（以下、単に「カメラ」と言う。）を撮像手段２０として用いる。ただし、本発明で用いる撮像手段２０として、固体撮像素子を用いる撮像装置であれば良いので、ＣＣＤカメラに限定される必要がなく、例えば、ＣＭＯＳイメージセンサを搭載したＣＭＯＳカメラを用いるようにしても良い。
【００５７】
本発明の距離計測装置１では、距離計測装置１自身のキャリブレーションを行う場合に、まず、複数の既知の距離にある平面（キャリブレーション平面）が反射板１０に映る２重像を撮像手段２０で撮影して得られた画像（画像データ）を２重像間変位算出部３０に入力し、次に、２重像間変位算出部３０で算出された２重像間変位を、切り替え信号（キャリブレーション処理部への切り替え信号）により、キャリブレーション処理部４０に入力し、そして、２重像間変位と既知の距離（真の距離）とに基づき、キャリブレーション処理部４０が外部パラメータを推定し、推定した外部パラメータを距離算出部５０に入力する。このようにして、距離計測装置１のキャリブレーション処理が終了する。つまり、本発明の距離計測装置におけるキャリブレーション方法は、上記のような手順で行われる。
【００５８】
そして、キャリブレーション済みの距離計測装置１を用いて、未知の距離にある計測対象までの距離を計測する場合に、距離計測装置１では、まず、未知の距離にある計測対象が反射板１０に映る２重像を撮像手段２０で撮影して得られた１枚の画像（画像データ）を２重像間変位算出部３０に入力し、次に、２重像間変位算出部３０で算出された２重像間変位を、切り替え信号（距離算出部への切り替え信号）により、距離算出部５０に入力し、そして、２重像間変位と外部パラメータとに基づき、距離算出部５０が計測対象までの距離を算出（計測）する。このようにして、距離計測装置１の距離計測が終了する。つまり、本発明に係る距離計測方法は、上記のような手順で行われる。
【００５９】
なお、本発明の距離計測装置１では、キャリブレーション処理部４０が推定した外部パラメータを、距離算出部５０に入力せず、距離計測装置１自身が備えた記憶手段（メモリ）に格納しておくようにしても良い。そうした場合には、距離算出部５０は、計測対象までの距離を算出（計測）する前に、記憶手段（メモリ）に格納された外部パラメータを読み出す必要があることは言うまでもない。
＜３＞本発明に係る距離計測装置における反射板及び距離計測方法について
＜２＞でも述べたように、本発明に係る距離計測装置では、反射板として、非平行で完全平面ではない透明板又は両面ハーフミラー板、即ち、うねりのある透明板又は両面ハーフミラー板を用いる。以下、「うねりのある透明板又は両面ハーフミラー板」を単に「うねりのある反射板」とも言う。
【００６０】
本発明に係る距離計測装置の反射板として、市販の安価なアクリル透明板やガラス板を用いる。このような入手性の良いアクリル透明板やガラス板の表面には、「うねり」が存在する。つまり、アクリル透明板やガラス板の表面は完全に平面ではなく、そして、アクリル透明板やガラス板の両表面は平行でもない。
【００６１】
本発明では、うねりのある反射板を局所的に平面で近似し（即ち、うねりのある反射板の分割平面モデルを用い）、光線追跡法（非特許文献１９を参照）の原理（アルゴリズム）を利用して、計測対象までの距離を短時間で高精度に計測することを特徴としている。
＜３−１＞反射板の分割平面モデル
以下、説明の便宜上、「うねりのある反射板」を単に「反射板」とも言う。
【００６２】
本発明の最大な特徴とも言える「反射板の分割平面モデル」とは、２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似することを意味する。
【００６３】
図５は、本発明における反射板の分割平面モデルを説明するための模式図である。なお、図５において、反射板として透明板を用いるが、本発明はそれに限定されることはなく、両面ハーフミラー板を反射板として用いることは可能であることは言うまでもない。
【００６４】
図５に示すように、画像上の注目点
付近に対応する反射板（透明板）を、非平行度を持つ平面板で近似する。即ち、本発明では、画像上のある注目点に対応する２重像を形成するために必要な反射板上（透明板上）の領域（即ち、図５の分割平面領域）は、その注目点と同じ外部パラメータで表現できると仮定する。
【００６５】
本発明の外部パラメータには、＜１−３＞で述べた従来の外部パラメータと比較して、次のように、反射板の両表面に対してそれぞれ法線ベクトルがある。
【００６６】
つまり、本発明に係る距離計測装置の外部パラメータとして、
反射板の両表面に対する法線ベクトル
（即ち、パラメータｎR1,ｎR2,ｎS1,ｎS2）、
カメラ光学中心から反射板までの光軸に沿った距離Ｄｃｏ（即ち、パラメータＤｃｏ）、
反射板の板厚ｄ（即ち、パラメータｄ）、
反射板の空気に対する相対屈折率ｎ（即ち、パラメータｎ）がある。
【００６７】
これら７個の外部パラメータは、画像上の注目点
に応じて異なる値
を持つ。
【００６８】
注目点付近に対応する反射板を非平行度を持つ平面板で近似することは、うねりを持つ反射板の表面形状を１次近似することに相当する。
【００６９】
実験に使用した透過型構成を有する（両面ハーフミラー板を用いた）本発明の距離計測装置（＜５−１＞で述べる）では、画像全体を反射板（両面ハーフミラー板）に投影したときに約４５×４０［ｍｍ］である。画像サイズが６４０×４８０[画素]で、注目領域サイズ（注目点）が２０×２０[画素]で、２重像間変位が１０[画素]である場合に、注目領域（注目点）に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は約１.４×２.５［ｍｍ］である。市販のアクリル透明板やガラス板でも、このような小さな面積を有する領域（約１.４×２.５［ｍｍ］の分割平面領域）に対してならば、表面形状を１次近似することができる。
＜３−２＞光線追跡法
本発明では、「反射板の分割平面モデル」を用い、「うねりのある反射板」を、非平行度を持つ平面板で近似することにした。
【００７０】
このように、本発明では、非平行度を持つ反射板を使用しているため、＜１＞で述べたような従来のリフレクションステレオに使用される解析的な距離算出方法（距離計測方法）を用いても、計測対象までの距離算出（距離計測）が困難である。
【００７１】
そこで、本発明では、光線追跡法を利用して、注目点に対応する視線と、注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線（求めた２直線）の交点位置までの距離を、計測対象までの距離とする。
【００７２】
ここでは、＜３−３＞で述べる本発明における距離計測方法の準備として、光線追跡法の計算方法を述べる。
【００７３】
光線追跡法（非特許文献１９を参照）では、次の３種類の計算要素を使うことで、カメラ光学中心に向かってくる光線がたどってきた経路を追跡することができる。
計算要素その１：光線と平面との交点
図６に示すように、点
を通る方向ベクトル
の向きの直線と、点
を含む単位法線ベクトル
の平面との交点
は、下記数５で表すことができる。
【００７４】
【数５】
計算要素その２：平面での正反射ベクトル
図６に示すように、単位法線ベクトル
の平面に入射した方向ベクトル
の正反射方向ベクトル
は、下記数６で表すことができる。
【００７５】
【数６】
計算要素その３：平面での屈折ベクトル
図６に示すように、単位法線ベクトル
の平面に入射した方向ベクトル
に対する、相対屈折率ｎの物質内部への屈折方向ベクトル
は、下記数７で表すことができる。
【００７６】
【数７】
ただし、
また、ｋｆ＜１のときには、空気からガラスに入射して屈折するような状況を表している。
＜３−３＞本発明における距離計測方法
ここで、本発明における距離計測方法について詳細に説明する。つまり、局所的に平面で近似された反射板を使った（反射板の分割平面モデルを用いた）本発明の距離計測装置における計測対象までの距離算出方法について詳細に説明する。
【００７７】
要するに、本発明では、ある注目点
に対する外部パラメータ
が得られた場合、２重像間変位（２重像間の位置ずれ）を計測（算出）することにより、＜３−３−１＞及び＜３−３−２＞で詳細に述べるように、光線追跡法を使って、計測対象までの距離をこれらの関数（外部パラメータ
及び２重像間変位の関数）として計測（算出）するようにしている。
＜３−３−１＞反射型構成を有する本発明の距離計測装置を用いた場合
ここで、反射型構成を有する本発明の距離計測装置とは、反射板として透明板を用いた本発明の距離計測装置のことを意味する。
【００７８】
反射型構成を有する本発明の距離計測装置を用いた場合に、計測対象までの距離は次のように算出される。
【００７９】
図７(Ａ)に示すように、画像面上の注目点
に表面反射像として撮影された計測対象は、ｔＳを媒介変数とする下記数８で表す直線
上に存在する。
【００８０】
【数８】
ただし、
が成立する。また、
は、それぞれ透明板表面上の点と透明板表面の単位法線ベクトルであり、
は原点（カメラ光学中心）である。そして、
は外部パラメータ
に含まれる
を使って
と表せる。
【００８１】
同じ計測対象が、図７(Ｂ)に示すように、注目点
に対する変位
を検出できたとき、裏面反射像として撮影された計測対象は、ｔＲを媒介変数とする下記数９で表す直線
上に存在する。
【００８２】
【数９】
ただし、
が成立する。また、
は、それぞれ透明板裏面上の点と透明板裏面の単位法線ベクトルであり、
は原点（カメラ光学中心）である。そして、
は外部パラメータ
に含まれる
を使って
と表せる。
との交点位置、つまり、下記数１０で表すように、２直線
までの距離の２乗和が最小になる位置が、計測対象の位置
である。
【００８３】
【数１０】
ただし、
が成立する。
【００８４】
上記数１０で表す計測対象の位置
は、カメラ座標系での計測対象の３次元座標を表しており、そのＹ座標
は計測対象までの距離である。
【００８５】
よって、反射型構成を有する本発明の距離計測装置では、上記のようにして計測対象までの距離を算出（計測）している。
＜３−３−２＞透過型構成を有する本発明の距離計測装置を用いた場合
ここで、透過型構成を有する本発明の距離計測装置とは、反射板として両面ハーフミラー板を用いた本発明の距離計測装置のことを意味する。
【００８６】
透過型構成を有する本発明の距離計測装置を用いた場合に、計測対象までの距離は次のように算出される。
【００８７】
図８(Ａ)に示すように、画像面上の注目点
の直接像に対応する計測対象は、ｔＤを媒介変数とする下記数１１で表す直線
上に存在する。
【００８８】
【数１１】
ただし、
が成立する。また、
はそれぞれ両面ハーフミラー板の射出光側と入射光側の表面上の点であり、
はそれぞれ両面ハーフミラー板の射出光側と入射光側の表面の単位法線ベクトルである。
は原点（カメラ光学中心）である。そして、
は、外部パラメータ
に含まれる
を使って、それぞれ
と表せる。
【００８９】
直接像に対応する内部反射像が、図８(Ｂ)に示すように、注目点
に対する変位
を検出できたとき、内部反射像に対応する計測対象は、ｔＩ１を媒介変数とする下記数１２で表す直線
上に存在する。
【００９０】
【数１２】
ただし、
が成立する。また、
は原点（カメラ光学中心）である。
との交点位置、つまり、下記数１３で表すように、２直線
での距離の２乗和が最小になる位置が、計測対象の位置
である。
【００９１】
【数１３】
ただし、
が成立する。
【００９２】
上記数１３で表す計測対象の位置
は、カメラ座標系での計測対象の３次元座標を表しており、そのＺ座標
は計測対象までの距離である。
【００９３】
よって、透過型構成を有する本発明の距離計測装置では、上記のようにして計測対象までの距離を算出（計測）している。
＜３−４＞本発明の距離計測装置における２重像間の変位拘束
本発明の距離計測装置における２重像間の変位拘束は、従来のリフレクションステレオにおける２重像間の変位拘束と異なる。
【００９４】
つまり、数９の
と数１２の
を求める際に用いた変位
は、即ち、図７(Ｂ)と図８(Ｂ)に示した変位（２重像間変位）
は、＜１−３＞及び図３に示した従来のリフレクションステレオにおける２重像間変位
とは異なる。
【００９５】
本発明では、反射板の分割平面モデルを用いたため、即ち、注目点
付近に対応する反射板が非平行であるために、
の拘束がある。
【００９６】
ただし、
は注目点
における計測対象までの距離が無限のときの変位を表し、
は拘束直線の単位方向ベクトルを表す。また、Δは位置
から拘束直線に沿った距離[画素]を表す。そして、
は、次のように外部パラメータ
から求める。
【００９７】
透過型構成を有する本発明の距離計測装置を用いた場合では、ある注目点
について、外部パラメータ
と２重像間変位
から、計測対象までの距離
を求めることができる。逆に、計測対象までの距離
に対する２重像間変位
は、１パラメータ最適化問題として求めることができる。
【００９８】
計測対象までの距離
を次第に大きくして、それに対する２重像間変位
の変化が十分小さくなったときの変位を、無限遠距離に対応する２重像間変位
とする。また、複数の距離に対応する２重像間変位から、拘束直線の単位方向ベクトル
を求める。
【００９９】
同様に、反射型構成を有する本発明の距離計測装置を用いた場合でも、透過型構成を有する本発明の距離計測装置と同じように、
を求めることができる。ただし、計測対象までの距離として、計測対象の３次元座標のＹ座標、即ち、
を用いる。
【０１００】
なお、注目点
に対する外部パラメータ
は、＜４＞で述べる本発明の距離計測装置におけるキャリブレーション方法（外部パラメータ推定方法）を用いて求める。
＜４＞本発明の距離計測装置におけるキャリブレーション方法
ここでは、本発明の距離計測装置におけるキャリブレーション方法（外部パラメータ推定方法）、及び外部パラメータの関数表現について詳細に説明する。
＜４−１＞外部パラメータ推定方法
＜２＞で既に述べたように、本発明の距離計測装置において、キャリブレーション処理部が２重像間変位と既知の距離とに基づき、外部パラメータを推定するようにしており、即ち、キャリブレーション処理部が距離計測装置のキャリブレーション（キャリブレーション処理）を行っている訳である。
【０１０１】
本発明の距離計測装置におけるキャリブレーション方法、即ち、外部パラメータ推定方法は次のような手順で行われる。
【０１０２】
まず、本発明では、外部パラメータを推定するために、平面（以下、単に「キャリブレーション平面」とも言う。）までの既知の距離と、このキャリブレーション平面が反射板に映る２重像を撮像手段で撮影して得られた画像上における２重像間変位とを利用する。
【０１０３】
キャリブレーション平面までの距離Ｄは、反射型構成を有する本発明の距離計測装置では、カメラ光学中心からキャリブレーション平面までのＹ軸に沿った距離Ｄｙとなり、透過型構成を有する本発明の距離計測装置では、カメラ光学中心からキャリブレーション平面までのＺ軸に沿った距離Ｄｚとなる。
【０１０４】
以下では、透過型構成を有する本発明の距離計測装置におけるキャリブレーション方法（外部パラメータ推定方法）について説明する。
【０１０５】
画像上のある注目点
について、キャリブレーション平面までの距離Ｄｚとそれに対応する２重像間変位
がＭ組求まれば、つまり、
が求まれば、一般的なカメラキャリブレーション手法（非特許文献２１を参照）と同様に、次のように外部パラメータ
を推定することができる。
【０１０６】
【数１４】
ただし、
は外部パラメータ推定値である。また、非線形目的関数
の第２項は、推定する外部パラメータが外部パラメータの設計値
から遠く外れないようにするための安定化項である。重み係数αは、できるだけ小さな値に実験的に決定する。外部パラメータの各要素は互いに影響し合っているため、ほとんどの場合、安定化項と適切な初期値を与えないと、安定に収束しない。そして、この非線形目的関数
の最小化には、外部パラメータの設計値を初期値として共役勾配法を利用した。
【０１０７】
２重像間変位
は、キャリブレーション平面に十分な密度の適切なテクスチャがあれば、２重像間の変位拘束を全く利用せずに、正規化自己相関関数の２次極大位置として計測することができる。この２重像間変位
は２自由度なので、７個の外部パラメータを推定するためには、Ｍ≧４の観測（撮影及び２重像間変位算出）が必要である。
＜４−２＞本発明に外部パラメータの関数表現
うねりのある市販のアクリル透明板やガラス板は、製品の性能上では平行平面板として設計されているため、本発明では、そのようなアクリル透明板やガラス板に映る２重像を撮影した画像上の注目点（注目点位置）が変化しても、外部パラメータの変化は微小で、また、注目点（注目点位置）の変化に対して、外部パラメータの変化が連続であるとする。
【０１０８】
このような外部パラメータの連続的な変化を考慮すると、画像上の特定の位置（以下、単に「画像位置」とも言う。）に対して推定した外部パラメータをそのまま、距離計測装置の記憶手段（メモリ）に格納するのは効率が低い。
【０１０９】
そこで、本発明では、外部パラメータを関数で表現するようにし、つまり、下記数１５のように、外部パラメータを画像位置
に対する２次元３次関数で近似する。
【０１１０】
【数１５】
ただし、Φｊ（ｊ＝１,２,…,１０）は７個の外部パラメータに対応した７要素の係数ベクトルである。これらの係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、下記数１６のように、重み付き最小二乗法で求める。
【０１１１】
【数１６】
ただし、数１６では、数１４を用いて外部パラメータを推定したときの残差
の逆数を重みとすることで、残差の大きな画像位置のキャリブレーション結果の影響を小さくする。
【０１１２】
なお、無限遠距離に対応する２重像間変位
と拘束直線の単位方向ベクトル
は、推定した外部パラメータを使って、＜３−４＞で述べた方法で予め計算しておく。そして、外部パラメータと同様に、その計算結果
も関数で表現するようにし、つまり、その計算結果
を画像位置に対する２次元３次関数で近似する。距離算出部５０で行う距離算出処理では、近似関数の係数ベクトルを利用する。
【０１１３】
また、本発明は、外部パラメータを画像位置に対する２次元３次関数で近似することに限定されることはなく、例えば、外部パラメータをフーリエ級数展開することも可能であるが、例えば、反射板全体の厚さに関して、厚みを０次で、全体の非平行度を１次でという表現は、直感的でわかりやすい。実際には、２次までの近似で外部パラメータをほぼ表現でき、３次の係数はかなり小さい。また、このような近似を行ったときの数１６の残差は十分に小さいことを確認している。
＜４−３＞本発明におけるキャリブレーション方法と従来のリフレクションステレオにおけるキャリブレーション方法との比較
従来のリフレクションステレオにおけるキャリブレーション方法（非特許文献１６を参照）では、画像上の位置に対して不変な７個の外部パラメータを利用していた。反射型リフレクションステレオを用いた場合に、画像中央部分から透明板の両表面の法線ベクトルの差
又は、透過型リフレクションステレオを用いた場合に、画像中央部分から両面ハーフミラー板の両表面の法線ベクトルの差
を推定し、両表面の法線ベクトルの平均、及びＤｃｏ、ｄ、ｎは、設計値をそのまま利用していた。
【０１１４】
また、従来のリフレクションステレオにおけるキャリブレーション方法（以下、単に「従来のキャリブレーション方法」とも言う。）では、無限遠距離に対応する２重像間変位は、画像中央部分から求めて反射板の両表面の法線ベクトルの差を得るためにも利用した。拘束直線は画像面上の一点（ただし画像の外部）で交差すると近似して、この交点位置を画像から求めていた。
【０１１５】
これに対して、本発明に係るキャリブレーション方法では、画像上位置によって変化する外部パラメータを推定し、推定した外部パラメータから２重像間の変位拘束を得ている。このため、本発明によれば、距離計測精度が向上するだけでなく、より正確な２重像間の変位拘束を利用できるために、２重像間変位の誤検出を減少させることもできる。
以上のように、本発明に係る距離計測装置及び距離計測方法について詳細に説明したが、本発明の距離計測装置における２重像間変位算出部、キャリブレーション処理部（キャリブレーション方法）、及び距離算出部（距離計測方法）は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。
＜５＞実験結果
ここでは、実画像を使ったキャリブレーション実験を行い、本発明の有効性を示す。つまり、従来のキャリブレーション方法に対して、本発明に係るキャリブレーション方法の有効性を検討した。＜５−１＞から＜５−３＞では、透過型構成を有する本発明の距離計測装置を使用し、そして、＜５−４＞では、反射型構成を有する本発明の距離計測装置を使用した。
＜５−１＞透過型構成を有する本発明の距離計測装置の装置構成
図９に示すように、両面ハーフミラー板をカメラ光軸に対して４５[度]に固定して筐体に取り付けた。ハーフミラーの反射率は、両表面ともに７５％である。カメラには、PointGray社製Flea（グレースケールＶＧＡ）を利用した。両面ハーフミラー板の設計値は、Ｄｃｏ＝６６.２［ｍｍ］、ｄ＝１２.０［ｍｍ］、ｎ＝１.４９である。両面ハーフミラー板は、画像上で右上の厚みが約０.２６［ｍｍ］大きくなるような細工をした。
【０１１６】
また、カメラを筐体に組み込む前に、公開されているキャリブレーションツール（非特許文献２０を参照）を利用して、カメラ内部パラメータを求めた。ＣＣＤ画素間隔で測ったレンズ焦点距離はｆ／δ＝１２５５.７である。同時に求まる歪曲収差パラメータを使って、画像から歪曲歪みを取り除いた。
＜５−２＞本発明におけるキャリブレーション
図１０は、図９の透過型構成を有する本発明の距離計測装置に対して、キャリブレーションを行う際の様子を示す図である。
【０１１７】
図１０に示すように、透過型構成を有する本発明の距離計測装置を平行移動ステージに取り付けて５０［ｍｍ］間隔で移動しながら、レンズ光軸と直交するキャリブレーション平面を撮影した。このキャリブレーション平面には、正規化自己相関関数の２次極大位置を検出しやすいように、十分な密度のランダムテクスチャを貼り付けた。
【０１１８】
図１１に２重像に対する正規化自己相関関数の例を示す。図１１から分かるように、２次極大は原点を対称として２個現れるが、内部反射像の変位方向は簡単な予備実験で知ることができるため、この中の一方の変位を２重像間変位として利用した。
【０１１９】
キャリブレーション平面を撮影した画像全体に対して、２４×１８（＝４３２）箇所に３５×３５[画素]の注目領域を設定し、それらの注目領域に対して２重像間変位を求めた。注目領域の数（４３２箇所）は、数１５の１０個のパラメータを重み付き最小二乗法で求めるのに、十分な数である。注目領域のサイズは、大きいほど安定に自己相関関数の２次極大を検出することができる。
【０１２０】
しかし、直接像に対して内部反射像はわずかに変形しているため、極端に大きな注目領域サイズはかえって２次極大値を小さくする。以上を考慮の上で、注目領域サイズを実験的に決定した。テクスチャが偶然に少ないなどの原因で、設定した全ての注目領域に対して２重像間変位が求まるとは限らない。このため、求まった２重像間変位の方向と大きさを周囲と比較し、誤りと判断された２重像間変位は使用せず、離散的な位置で求まった２重像間変位を数１５と同様に２次元３次関数で近似し、２重像間変位検出誤差をある意味で平滑化した。
【０１２１】
キャリブレーション平面までの距離は、約４００［ｍｍ］から約１０００［ｍｍ］まで、５０［ｍｍ］ごとに大きくした。本発明の距離計測装置を取り付けた平行移動ステージによって、キャリブレーション平面に対する距離の変化（５０［ｍｍ］）を正確に制御することができる。
【０１２２】
しかし、筐体に組み込んだカメラの撮影レンズの光学中心位置（カメラ光学中心）を正確に知ることは困難なので、キャリブレーション平面に対する絶対距離を正確に知ることはできない。
【０１２３】
そこで、本発明では、数１４におけるキャリブレーション平面までの距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ＝４００＋５０ｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を下記数１７のように求めた。
【０１２４】
【数１７】
数１７に基づいて求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を下記数１８のように推定した。
【０１２５】
【数１８】
今回行った実験では、
となった。
【０１２６】
そして、推定した絶対距離の誤差
とキャリブレーション平面までの既知の距離とに基づき、カメラ光学中心からキャリブレーション平面までの絶対距離を算出する。算出した絶対距離を用い、本発明の距離計測装置のキャリブレーション処理部にて、再び外部パラメータを推定する。
【０１２７】
図１２に、本発明のキャリブレーションによって推定された両面ハーフミラー板の板厚分布と屈折率分布を示す。図１２において、グラフ中の黒丸は画像上の位置に対して推定した外部パラメータ（両面ハーフミラー板の板厚と屈折率）を示し、また、グラフ中のメッシュは、数１５の関数による近似された外部パラメータ（両面ハーフミラー板の板厚と屈折率）を示す。
【０１２８】
図１２から分かるように、水平位置−１６０[画素]付近で、推定した外部パラメータと関数で近似された外部パラメータの差が大きいのは、この付近で数１４の残差が大きく、数１６の重み付き最小二乗法に対する影響が小さかったためである。数１４の残差は、２重像間変位推定における誤差によるものと考えられる。図１２(Ａ)の板厚分布に注目すると、右上部分の板厚が約０.２５［ｍｍ］大きくなっており、意図的に変形した形状が正確に推定できていることは明らかである。
＜５−３＞本発明におけるキャリブレーション平面までの距離計測
本発明では、推定した外部パラメータを使って、キャリブレーション平面までの距離を再計測した。
【０１２９】
図１３(Ａ)と図１３(Ｂ)に、キャリブレーション平面までの真の距離に対する距離計測結果の平均（●印で示す）と標準偏差（バーで示す）を示し、また、図１３(Ｃ)と図１３(Ｄ)に距離７００［ｍｍ］に対する距離マップを示す。
【０１３０】
従来手法（図１３(Ａ)と図１３(Ｃ)）では、距離に応じた偏差があり、標準偏差も大きい。これは、２重像間の変位拘束が不正確なために、２重像間変位の誤検出が多いためである。これに対して、本発明（図１３(Ｂ)と図１３(Ｄ)）では、偏差がなく、しかも標準偏差が小さくなっていることが良く分かる。
＜５−４＞反射型構成を有する本発明の距離計測装置によるキャリブレーションと形状計測
この実験では、反射型構成を有する本発明の距離計測装置を用いた。反射型構成を有する本発明の距離計測装置では、表面に反射率５０％のハーフミラー、裏面に反射率１００％のミラーを用いた反射板を利用した。コーティングのない透明板を反射板として利用するのに対して、表面に反射率５０％のハーフミラー、裏面に反射率１００％のミラーを用いた反射板（以下、単に「反射板」という。）の反射像が明るくなる特徴がある。
【０１３１】
反射板はカメラ光軸に対して４５[度]に固定し、設計値はＤｃｏ＝２６.２［ｍｍ］、ｄ＝１２.０［ｍｍ］、ｎ＝１.４９である。使用したカメラと内部パラメータは、＜５−１＞で使用したカメラとその内部パラメータと同じである。
【０１３２】
図１４に、反射型構成を有する本発明の距離計測装置におけるキャリブレーションによって推定された反射板の板厚分布と屈折率分布を示す。図１４において、グラフ中の黒丸は画像上の位置に対して推定した外部パラメータ（反射板の板厚と屈折率）を示し、また、グラフ中のメッシュは、数１５の関数による近似された外部パラメータ（反射板の板厚と屈折率）を示す。図１２(Ａ)の板厚分布と比較すると、変形がなく平坦である。
【０１３３】
図１２と同様に、図１４では、推定した外部パラメータと関数で近似された外部パラメータの差が大きい部分があるが、これは、数１４の残差が大きいために、数１６の重み付き最小二乗法に対する影響が小さいためである。
【０１３４】
図１５(Ａ)と図１５(Ｂ)に、キャリブレーション平面までの真の距離に対する計測結果の平均（●印で示す）と標準偏差（バーで示す）を示し、また、図１５(Ｃ)と図１５(Ｄ)に距離７００［ｍｍ］に対する距離マップを示す。
【０１３５】
従来手法（図１５(Ａ)と図１５(Ｃ)）では、図１３と同様に、距離に応じた偏差があり、標準偏差も大きい。これは、２重像間の変位拘束が不正確なために、２重像間変位の誤検出が多いためである。これに対して、本発明（図１５(Ｂ)と図１５(Ｄ)）では、偏差がなく、しかも標準偏差が小さくなっていることが良く分かる。
【０１３６】
図１６に、従来方法と本発明（反射型構成を有する距離計測装置）により計測された形状計測結果を示す。図１６(Ａ)に距離計測に用いた計測対象を示し、図１６(Ｂ)は撮影した２重像である。反射型構成を有する本発明の距離計測装置では、カメラが撮影する画像は上下反転する。ちなみに、図１６(Ｂ)に示すこの２重像は、撮影装置全体（カメラ全体）を上下逆に三脚に取り付けて撮影したものである。図１６(Ｃ)と図１６(Ｄ)に距離マップを示し、また、図１６(Ｅ)と図１６(Ｆ)に鳥瞰図を示す。
【０１３７】
従来手法（図１６(Ｃ)と図１６(Ｅ)）では、特に背景の形状が計測できていないとの問題点がある。また、計測対象までの距離の真値は不明だが、本発明（図１６(Ｄ)と図１６(Ｆ)）とは計測された距離が異なっている。これに対して、本発明では、背景の形状も計測できており、計測した形状の高さは真値に近い。
【図面の簡単な説明】
【０１３８】
【図１】反射型リフレクションステレオによる距離計測原理を説明するための模式図である。
【図２】透過型リフレクションステレオによる距離計測原理を説明するための模式図である。
【図３】リフレクションステレオにおける拘束平面と拘束直線を説明するための模式図である。
【図４】本発明に係る距離計測装置の一実施形態を示すブロック構成図である。
【図５】本発明における反射板の分割平面モデルを説明するための模式図である。
【図６】本発明に用いる光線追跡法を説明するための模式図である。
【図７】反射型構成を有する本発明の距離計測装置における距離計測方法を説明するための模式図である。
【図８】透過型構成を有する本発明の距離計測装置における距離計測方法を説明するための模式図である。
【図９】透過型構成を有する本発明の距離計測装置の外観図の一例を示す図である。
【図１０】図９の透過型構成を有する本発明の距離計測装置に対して、キャリブレーションを行う際の様子を示す図である。
【図１１】２重像に対する正規化自己相関関数の一例を示す図である。
【図１２】図１０に示す本発明のキャリブレーションによって推定された両面ハーフミラー板の板厚分布と屈折率分布を示すグラフである。
【図１３】従来方法と本発明（図９の透過型構成を有する距離計測装置）により計測された、キャリブレーション平面までの距離計測結果の平均と標準偏差と距離マップを示す図である。
【図１４】反射型構成を有する本発明の距離計測装置におけるキャリブレーションによって推定された両面ハーフミラー板の板厚分布と屈折率分布を示すグラフである。
【図１５】従来方法と本発明（反射型構成を有する距離計測装置）により計測された、キャリブレーション平面までの距離計測結果の平均と標準偏差と距離マップを示す図である。
【図１６】従来方法と本発明（反射型構成を有する距離計測装置）により計測された形状計測結果を示す図である。
【符号の説明】
【０１３９】
１ 距離計測装置
１０ 反射板（透明板又は両面ハーフミラー板）
２０ 撮像手段
３０ ２重像間変位算出部
４０ キャリブレーション処理部
５０ 距離算出部
【技術分野】
【０００１】
本発明は、受動的な手法を用いる距離計測技術に関し、特に、透明板又は両面ハーフミラー板に映る２重像を、１台の撮像装置で撮影して得られた１枚の画像に基づいて、距離計測を行う距離計測装置及び距離計測方法に関する。
【背景技術】
【０００２】
一般的に、距離計測方法を能動的な手法を用いる方法と、受動的な手法を用いる方法に分けることができる。能動的な距離計測方法では、レーザ光源や空間的光コーディングなどを利用しているので、大がかりな装置が必要で高価なシステムになり、また、計測時間も比較的に長い。
【０００３】
これに対し、２台又は２台以上のカメラを利用したステレオ距離計測は、受動的検出だけを利用した受動的な距離計測方法として古くから利用されてきた。コンピュータビジョン分野では、３次元幾何学が解析され、この結果を基に多くのバリエーションが提案されてきた。例えば、マルチカメラ（非特許文献１参照）やマルチベースライン（非特許文献２参照）は、システムのコストがあまり問題にならない場合には、対応付けの曖昧さを大きく減少する手法として有効である。
【０００４】
しかし、２台又は２台以上のカメラを利用したステレオ距離計測方法では、複数台のカメラと撮影レンズが必要なので、計測装置が高価になる。また、カメラ台数分のキャリブレーションを行う必要があるので、計測準備としてかなりの手間を必要とした。さらに、実際の計測では、カメラ台数分の画像をコンピュータに取り込む必要があり、コンピュータ内にはその台数分に相当する画像用メモリを確保する必要がある。また、カメラ間は同期して時間的に同時に画像を撮影する必要があった。
【０００５】
ところで、最近では、ＩＴＳ分野での交通計測（非特許文献３参照）や歩行者検出（非特許文献４参照）、セキュリティ分野でのセンサとしても、距離計測が利用されるようになり、計測精度や信頼性、ロバスト性だけでなく、コスト面での考慮が必要になってきた。
【０００６】
距離計測におけるコストは、使用するカメラ台数が多くなるほど高くなる。このときのコストは、カメラと撮影レンズだけではなく、画像キャプチャや画像処理で必要とするメモリや計算量も含まれている。このため、１台のカメラによるステレオ距離計測方法が提案されてきた。１台の固定カメラによるステレオ距離計測方法（以下、単に、「単眼距離計測方法」とも言う。）は、画像分割法、複数画像法、複数露出法の３種類に分類することができる。
【非特許文献１】エス.ビー.カン（S.B.Kang）・アール.スゼリスキ（R.Szeliski）・ジェー.チャイ（J.Chai）共著,「ハンドリング オクルジョン イン デンス マルチビュー ステレオ （Handling Occlusions in Dense Multi-View Stereo）」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション （Proc. On Computer Vision and Pattern Recognition）,第I巻,p.103-110,2001年12月
【非特許文献２】エム.オクトミ（M. Okutomi）・ティー.カナデ（T. Kanade）共著,「ア マルチプルーベースライン ステレオ （A Multiple-Baseline Stereo）,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシン インテリジェンス （IEEE Trans. On Pattern Analysis and Machine Intelligence）,第15巻,第4号,p.353-363,1993年4月
【非特許文献３】ゼッド.サン（Z. Sun）・ジー.ベビス（G. Bebis）・アール.ミラー（R. Miller）共著,「オンーロード ビヒクル デテクション ユージング オプティカル センサズ： ア レビュー （On-Road Vehicle Detection using Optical Sensors: A Review）」,プロク. オン ＩＥＥＥ インテリジェント トランスポーテイション システムズ コンファレンス （Proc. On IEEE Intelligent Transportation Systems Conference）,米国,2004年10月
【非特許文献４】ジー.グラッブ（G.Grubb）・エイ.ゼリンスキー（A.Zelinsky）・エル.ニルソン（L.Nilsson）・エム.リルベ（M.Rilbe）共著,「３Ｄ ビジョン センシング フォー インプルーブド ペデストリアン セイフティ （3D Vision Sensing for Improved Pedestrian Safety）」,プロク. オン ＩＥＥＥ インテリジェント ビヒクルズ シンポジウム （Proc. On IEEE Intelligent Vehicles Symposium）,p.19-24,2004年6月
【非特許文献５】ジェー.エム.グラックマン（J.M.Gluckman）・エス.ケイ.ナイヤル（S.K.Nayar）共著,「プレーナー カタディオプトリック ステレオ： ジオメトリー アンド キャリブレーション （Planar Catadioptric Stereo: Geometry and Calibration）」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション （Proc. On Computer Vision and Pattern Recognition）,第1巻,p.22-28,1999年6月
【非特許文献６】エイチ.シム（H.Shim）著,「ライト ウエイト マルチビュー キャプチャーイング プロジェクトズ（Light Weight Multi-View Capturing Projects）」,http://amp.ece.cmu.edu/projects/MIRRORARRAY/
【非特許文献７】ディー.エイチ.リー（D.H. Lee）・アイ.エス.クウィーオン（I.S. Kweon）共著,「ア ノベル ステレオ カメラ システム バイ ア バイプリズム （A Novel Stereo Camera System by a Biprism）」,ＩＥＥＥ トランス. オン ロボッチック アンド オートメイション （IEEE Trans. On Robotics and Automation）,第16巻,第5号,p.528-541,2000年10月
【非特許文献８】ワイ.ニシモト（Y.Nishimoto）・ワイ.シライ（Y,Shirai）共著,「ア フィーチャーベーセド ステレオ モデル ユージング スモール ディスパリティス （A Feature-Based Stereo Model using Small Disparities）」,プロク. オン ＩＥＥＥ インターナショナル ワークショップ オン インダストリアル アプリケーションズ オフ マシン ビジョン アンド マシン インテリジェンス （Proc. On IEEE International Workshop on Industrial Applications of Machine Vision and Machine Intelligence）,セイケイ シンポジウム（Seikei Symposium）,p.192-196,日本,1987年2月
【非特許文献９】シー.ガオ（C. Gao）・エヌ.アフジァ（N. Ahuja）共著,「シングル カメラ ステレオ ユージング プレーナー パラレル プレート （Single Camera Stereo using Planar Parallel Plate）」,プロク. オン インターナショナル コンファレンス オン パターン レコグニション （Proc. On International Conference on Pattern Recognition）,第IV巻,p.108-111,イギリス,2004年8月
【非特許文献１０】イー.エイチ.アデルソン（E.H.Adelson）・ジェー.ワイ.エイ.ワン（J.Y.A. Wang）共著,「シングル レンズ ステレオ ウィズ ア プレノピチック カメラ （Single Lens Stereo with a Plenoptic Camera）」,ＩＥＥＥ トランス. オン パターン アナリシス アンド マシン インテリジェンス （IEEE Trans. On Pattern Analysis and Machine Intelligence）,第14巻,第2号,p.99-106,1992年2月
【非特許文献１１】エム.アムトン（M. Amtoun）・ビー.ブーファマ（B. Boufama）共著,「マルチベースライン ステレオ ユージング ア シングルーレンズ カメラ （Multibaseline Stereo using a Single-Lens Camera）」,プロク. オン インターナショナル コンファレンス オン イメージ プロセシング （Proc. On International Conference on Image Processing）,第1巻,p.401-404,2003年9月
【非特許文献１２】エス.ヒウラ（S.Hiura）・ティー.マツヤマ（T.Matsuyama）共著,「デプス メジャーメント バイ ザ マルチフォーカス カメラ （Depth Measurement by the Multi-Focus Camera）」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション （Proc. On Computer Vision and Pattern Recognition）,p.953-959,1998年6月
【非特許文献１３】イー.ピー.シモンセリ（E.P. Simoncelli）・エイチ.ファリード（H. Farid）共著,「ダイレクト デファレンシャル レンジ エスティメイション ユージング オプティカル マスクズ （Direct Differential Range Estimation using Optical Masks）」,プロク. オン ヨーロッピアン コンファレンス オン コンピュータ ビジョン （Proc. On European Conference on Computer Vision）,第2巻,p.82-93,イギリス,1996年4月
【非特許文献１４】山田憲嗣・高橋秀也・志水英二共著，「符号化開口法を用いた３次元形状検出手法」，電子情報通信学会論文誌,第J80-D-II巻,第11号,p.2986-2994,1997年11月
【非特許文献１５】清原將裕・数井誠人・池田光二共著，「１台のカメラとレンズアレイとを用いた距離計測」,画像の認識・理解シンポジウム（MIRU2004）論文集，第I巻，p.392-397,2004年7月
【非特許文献１６】清水雅夫・奥富正敏共著，「透明板に映る２重像を用いた１台のカメラによる距離計測手法」，情報処理学会CVIM論文誌，第47巻，第SIG10 (CVIM15)号,p.131-142,2006年7月
【非特許文献１７】清水雅夫・奥富正敏共著，「両面ハーフミラー板透過画像を用いた１台のカメラによる距離計測」,第９回画像の認識・理解シンポジウム(MIRU2006)講演論文集,p.788-793,2006年7月
【非特許文献１８】清水雅夫・奥富正敏共著，「透過型リフレクションステレオ−両面ハーフミラー板透過像を使った単眼距離計測−」,第１３回画像センシングシンポジウム(SSII2007)講演論文集,p.IN1-10-1-8,2007年6月
【非特許文献１９】ティー.ワイテド（T.Whitted）著,「アン インプルーブド イルミネイション モデル フォー シェイデド ディスプレイ（An Improved Illumination Model for Shaded Display）」, コミューニケイションズ オフ ザ ＡＣＭ（Communications of the ACM）,第23巻,第6号,p.343-349,1980年6月
【非特許文献２０】ジェー.ワイ.ブーゲット（J.Y.Bouguet）著,「カメラ キャリブレーション ツールボックス フォー マットラブ （Camera Calibration Toolbox for Matlab）」,http://www.vision.caltech.edu/bouguetj/calib_doc/index.html,2007年2月
【非特許文献２１】ゼッド.チャン（Z.Zhang）著,「フレキシブル カメラ キャリブレーション バイ ビューイング ア プレーン フロム アンノーン オリエンテイションズ（Flexible Camera Calibration by Viewing a Plane from Unknown Orientations）」,プロック. オン インターナショナル カンファレンス オン コンピュータ ビジョン（Proc. On International Conference on Computer Vision）,第1巻,p.666-673,ギリシャ,1999年9月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
画像分割法とは、ミラー（非特許文献５、非特許文献６参照）やプリズム（非特許文献７参照）などの光学的な手段を利用して画像を複数の領域に分割することで、つまり、基本的には複数台分のカメラの画像を１台のカメラで同時に撮影できるように工夫したものであり、位置や向きが異なる複数のカメラで撮影した画像を１枚の画像に映し込む手法である。
【０００８】
画像分割法では、カメラ間での画像濃度やコントラスト、色彩などの差がない。また、時間的に完全に同期した複数の画像を利用するので、動的な対象にも適用でき、リアルタイムのアプリケーションにも応用できる。しかし、１台のカメラの画素数を分割利用するため（つまり、１つの視点からの画像に相当する分割画像の画素数は小さくなるため）、計測精度が低下する問題があった。また、複数台のカメラを利用したステレオ距離計測と同様に、カメラの外部パラメータのキャリブレーションを行う必要がある。
【０００９】
また、複数画像法とは、光学的な手段を利用して１台のカメラの位置を等価的に移動しながら複数枚の画像を撮影し、対象までの距離を推定する手法である。例えば、カメラ光軸上に配置した平行平面透明板の光軸に対する角度を変更する（非特許文献８参照）ことや、透明板の角度は一定のままでカメラ光軸に沿って回転する（非特許文献９参照）ことで、カメラ位置の精密な平行移動を実現している。
【００１０】
複数画像法では、カメラは平行移動するため、外部パラメータを推定する必要はなく、距離計算が容易である。しかし、複数画像を撮影した後で対象までの距離を求めるため、移動物体に対する距離計測を行うことは原理的に不可能である。また、光学的手段は作動部材を含む機構で構成されているので、その製造のために結果的に高価なシステムになり、調整のために手間のかかる計測になっていた。
【００１１】
そして、複数露出法とは、単一レンズの開口（非特許文献１０、非特許文献１１参照）や、符号化開口（非特許文献１２、非特許文献１３、非特許文献１４参照）、レンズアレイ（非特許文献１５参照）を利用し、異なる位置を通過する光線を１枚の画像に撮影して距離情報を得る手法である。
【００１２】
複数露出法では、複数の開口を設けるために光量に対する使用効率が低下し、レンズ開口でベースライン長が制限される。また、レンズアレイを使った撮影画像における対応点探索の曖昧さに起因する計測精度の低さや、原理的にピンホールによる撮影である符号化開口を使った撮影画像におけるコントラストの低さなどの問題がある。
【００１３】
本発明の発明者らは、上述した従来の問題点を解決するために、複数露出法に属する単眼距離計測方法として、透明板の反射像（表面反射像と裏面反射像で構成され、位置ずれがある２重像）を利用する単眼距離計測方法（以下、単に、「反射型リフレクションステレオ」とも言う。）（非特許文献１６を参照）、及び、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板の透過像（直接像と内部反射像で構成され、位置ずれがある２重像）を利用する単眼距離計測方法（以下、単に、「透過型リフレクションステレオ」とも言う。）（非特許文献１７を参照）を提案した。
【００１４】
以下では、本発明の発明者らが提案した非特許文献１６及び非特許文献１７に開示された「反射型リフレクションステレオ」と「透過型リフレクションステレオ」のことを、単に「リフレクションステレオ（Reflection Stereo）」とも言う。
【００１５】
本発明の発明者らにより提案された「リフレクションステレオ」には、可動機構や特殊な光学部材を必要とせず、透明板又は両面ハーフミラー板に映る２重像を、可動機構（可動部）を持たない１台の撮像装置（カメラ）で撮影して得られた一枚の画像に基づいて、安価な装置構成及び短い計測時間で距離計測を行い得るという特徴がある。
【００１６】
ただし、本発明の発明者らが提案した「リフレクションステレオ」では、両面が平行平面で構成される透明板又は両面ハーフミラー板（以下、まとめて「反射板」と呼ぶこともある。）、即ち、理想的な平行平面反射板を通して撮影した１枚の画像を用いて距離計測を行うようにしており、また、リフレクションステレオのキャリブレーションを行う際には、十分に遠方の物体（風景など）を撮影し、その２重像間変位から反射板の非平行度を推定し、そして、近距離の十分なテクスチャを持った対象（カーペットや壁面など）を撮影し、拘束直線の方向を推定した。推定したキャリブレーションパラメータ（反射板とカメラで構成される距離計測装置の外部パラメータ）は、画像上の位置によらず一定と仮定していた。
【００１７】
しかし、市販品として容易に入手でき且つ安価なアクリル透明板やガラス板を反射板として利用したときに、そのアクリル透明板やガラス板は、理想的な平行平面反射板でないため、つまり、建築物の窓ガラスの反射などを観察すれば分かる通り、アクリル透明板やガラス板の表面は完全に平面でもなく、また両表面は完全に平行ではないため、リフレクションステレオによる距離計測を行う際に、画像上の位置に対して不変な外部パラメータを利用していることから、計測結果に誤差が含まれ、距離計測の精度が限られているとの問題が生じる。
【００１８】
そこで、本発明の発明者らは、この問題を解決するため、自らが提案した「リフレクションステレオ」に基づいて本発明を発明した。
【００１９】
要するに、本発明は、上述のような事情よりなされたものであり、本発明の目的は、うねりのある（非平行で完全平面ではない）透明板又は両面ハーフミラー板に映る２重像を、１台の撮像装置で撮影して得られた１枚の画像に基づいて、安価な装置構成及び短い計測時間で、高精度な距離計測を行い得るようにした距離計測装置及び距離計測方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、距離計測装置に関し、本発明の上記目的は、非平行で完全平面ではない１枚の反射板と、１台の撮像手段と、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出部とを備え、前記反射板を局所的に非平行な平面で近似し、前記キャリブレーション処理部で推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことによって効果的に達成される。
【００２１】
また、本発明の上記目的は、距離計測装置であって、非平行で完全平面ではない１枚の反射板と、１台の撮像手段と、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、前記２重像間変位算出部が既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理部と、前記２重像間変位算出部が未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出部とを備え、２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、前記キャリブレーション処理部で推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出部では、注目点に応じて異なる値を持つ外部パラメータを利用することにより、或いは、前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板であることにより、或いは、前記撮像手段は固体撮像素子を用いる撮像装置であることにより、或いは、前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成されることにより、或いは、前記キャリブレーション処理部では、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求めることにより、或いは、前記距離算出部では、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とすることにより、或いは、前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、算出した前記絶対距離を用い、前記キャリブレーション処理部にて、再び前記外部パラメータを推定することによってより効果的に達成される。
【００２２】
更に、本発明は、非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法に関し、本発明の上記目的は、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理ステップと、推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出ステップとを有し、前記反射板を局所的に非平行な平面で近似し、前記キャリブレーション処理ステップで推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことによって効果的に達成される。
【００２３】
また、本発明の上記目的は、非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法であって、前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、前記２重像間変位算出ステップにより既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理ステップと、前記２重像間変位算出ステップにより未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出ステップとを有し、２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、前記キャリブレーション処理ステップにより推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出ステップでは、注目点に応じて異なる値を持つ外部パラメータを利用することにより、或いは、前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板であることにより、或いは、前記撮像手段は固体撮像素子を用いる撮像装置であることにより、或いは、前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成されることにより、或いは、前記キャリブレーション処理ステップでは、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求めることにより、或いは、前記距離算出ステップでは、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とすることにより、或いは、前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、算出した前記絶対距離を用い、前記キャリブレーション処理ステップにより、再び前記外部パラメータを推定することによってより効果的に達成される。
【発明の効果】
【００２４】
本発明によれば、１台の撮像装置とうねりのある市販の安価なアクリル透明板やガラス板などの反射板を使い、「うねりのある反射板」を「反射板の分割平面モデル」で非平行度を持つ平面板で近似することにより、更に、画像上位置によって変化する外部パラメータを利用することにより、安価な装置構成で短い計測時間で高精度な距離計測が可能になるだけでなく、２重像間変位の誤検出を減少させることもできるという独自な優れた効果を奏する。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら、リフレクションステレオによる距離計測原理及び本発明を実施するための最良の形態について説明する。
＜１＞リフレクションステレオによる距離計測原理
まず、ここで、両面が平面で完全平行な透明板又は両面ハーフミラー板（以下、まとめて「反射板」と呼ぶこともある。）と、１台の撮像装置（その一例として、ＣＣＤカメラ、以下、単に「カメラ」と言う。）で構成する、本発明の発明者らが提案した「リフレクションステレオ」による距離計測原理を簡単に説明する（非特許文献１６及び非特許文献１７を参照）。
【００２６】
つまり、以下では、透明板や両面ハーフミラー板の反射像や透過像が２重像になること、２重像間変位が対象（計測対象）までの距離によって変化すること、及び２重像間変位には拘束があることについて述べる。
【００２７】
なお、リフレクションステレオで使用される撮像装置として、固体撮像素子を用いる撮像装置であれば良いので、ＣＣＤカメラに限定する必要がなく、例えば、ＣＭＯＳイメージセンサを用いるＣＭＯＳカメラを用いるようにしても良い。
【００２８】
また、本発明で言う「対象（計測対象）までの距離」とは、視線に沿った対象までの距離を意味する。具体的に、反射型リフレクションステレオによる距離計測を行う場合には、透明板表面で視線が反射するが、「対象（計測対象）までの距離」とは、反射した視線に沿った対象までの距離を意味する。一方、透過型リフレクションステレオによる距離計測を行う場合には、視線が両面ハーフミラー板で屈折するため、「対象（計測対象）までの距離」とは、撮像装置（カメラ）の光学中心から両面ハーフミラー板までの視線の方向に沿った対象までの距離を意味する。
＜１−１＞反射型リフレクションステレオ
ここで、まず、反射型リフレクションステレオによる距離計測原理について説明する。
【００２９】
図１は、透明板の反射像（表面反射像と裏面反射像で構成され、位置ずれがある２重像）を利用する反射型リフレクションステレオによる距離計測原理を説明するための模式図である。
【００３０】
図１に示すように、表面反射像Ｉｓと裏面反射像Ｉｒとの間の角度視差θｓは、空気に対する透明板の相対屈折率ｎ、透明板の厚さ（以下、単に「板厚」とも言う。）ｄ、表面反射像の入射角θｉ、及び透明板から計測対象（物体）までの距離Ｄｏによって変化する。
【００３１】
計測対象とカメラ光学中心（レンズ光学中心）、及び透明板の法線ベクトルを通る平面（入射面）上での光線を考えることで、表面反射像Ｉｓと裏面反射像Ｉｒとの間の角度視差θｓ（２重像間の角度視差）と計測対象までの距離との基本的な関係を説明する。この平面（入射面）は透明板の法線ベクトルを含むので、計測対象から来る光線の反射や屈折は、入射面上で記述することができる。
【００３２】
計測対象からの光線が透明板上で反射する位置を原点とする座標系（ξ,υ）を設定する。計測対象の位置を（−Ｄｏsinθｉ,Ｄｏcosθｉ）とし、また、カメラ光学中心の位置を（Ｄｃsinθｉ,Ｄｃcosθｉ）とする。
【００３３】
反射型リフレクションステレオにおいて、視線方向に沿った計測対象までの距離（Ｄｏ＋Ｄｃ）は、表面反射と裏面反射の経路をξ軸に投影すると長さが等しくなることから、下記数１で表すことができる。
【００３４】
【数１】
なお、透明板の２重像を撮影した画像上で２重像間の対応位置（以下、単に「２重像間変位」とも言う。）を計測すれば、角度視差θｓを求めることができる。また、２重像は、ある拘束直線上を変位するために、エピポーラ拘束を利用するステレオビジョンと同様に、１次元の探索を行えばよい。また、視線に沿った計測対象までの距離（Ｄｏ＋Ｄｃ）が無限大のときには、θｓ＝０となり、表面反射像Ｉｓと裏面反射像Ｉｒは完全に一致する。
＜１−２＞透過型リフレクションステレオ
次に、透過型リフレクションステレオによる距離計測原理について説明する。
【００３５】
図２は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板（以下、単に「両面ハーフミラー板」と言う。）の透過像（直接像と内部反射像で構成され、位置ずれがある２重像）を利用する透過型リフレクションステレオによる距離計測原理を説明するための模式図である。
【００３６】
図２に示すように、直接像Ｉｄと第１次内部反射像Ｉｉ１との間の角度視差θｓは、反射型リフレクションステレオと同様に、空気に対する両面ハーフミラー板の相対屈折率ｎ、両面ハーフミラー板の板厚ｄ、直接像の入射角度θｉ、及び両面ハーフミラー板から計測対象までの距離Ｄｏによって変化する。
【００３７】
反射型リフレクションステレオと同様に、入射面上での光線を考えることで、直接像Ｉｄと第１次内部反射像Ｉｉ１との間の角度視差θｓ（２重像間の角度視差）と計測対象までの距離との基本的な関係を説明する。
【００３８】
直接像の射出位置を原点とする座標系（ξ,υ）を設定する。カメラ光学中心の位置を（Ｄｃsinθｉ,Ｄｃcosθｉ）とする。
【００３９】
透過型リフレクションステレオにおいて、視線方向に沿った計測対象までの距離（Ｄｏ＋Ｄｉ＋Ｄｃ）は、直接像と第１次内部反射像の経路をξ軸に投影すると長さが等しくなることから、下記数２で表すことができる。
【００４０】
【数２】
なお、両面ハーフミラー板の２重像を撮影した画像上で２重像間の対応位置（２重像間変位）を計測すれば、角度視差θｓを求めることができる。また、２重像は、ある拘束直線上を変位するために、エピポーラ拘束を利用するステレオビジョンと同様に、１次元の探索を行えばよい。
＜１−３＞計測対象までの距離の求め方
上記＜１−１＞で述べた反射型リフレクションステレオ、及び上記＜１−２＞で述べた透過型リフレクションステレオにおいて、２重像間変位から計測対象までの距離を求めるためには、カメラのレンズ焦点距離ｆ／δの他に、ステレオビジョンにおける外部パラメータに相当する次の５個のパラメータ（以下、単に、「リフレクションステレオの外部パラメータ」又は「従来の外部パラメータ」と言う。）が必要である。ただし、既存手法で推定したカメラ内部パラメータを使って、２重像を撮影した画像からレンズ歪曲収差と画像中心位置は、補正されているとする。
【００４１】
「リフレクションステレオの外部パラメータ」として、
反射板（透明板又は両面ハーフミラー板）の法線ベクトル
（即ち、パラメータｎ１,ｎ２）、
カメラ光学中心から反射板（透明板又は両面ハーフミラー板）までの光軸に沿った距離Ｄｃｏ（即ち、パラメータＤｃｏ）、
反射板（透明板又は両面ハーフミラー板）の板厚ｄ（即ち、パラメータｄ）、
反射板（透明板又は両面ハーフミラー板）の空気に対する相対屈折率ｎ（即ち、パラメータｎ）がある。
【００４２】
これら５個の従来の外部パラメータを使えば、次のように、２重像間変位から計測対象までの距離を算出することができる。
【００４３】
図３に示すように、カメラ光学中心を原点Ｏとするカメラ座標系を設定する。反射板（透明板又は両面ハーフミラー板）の法線ベクトルを
とし、また、ＣＣＤの画素間隔を単位とするレンズ焦点距離（原点Ｏと画像面との距離）をｆ／δとする。
【００４４】
画像面上の点（以下、単に「注目点」とも言う。）
に対応する２重像の位置
を、単位方向ベクトル
の拘束直線上で探索した結果、注目点
からの変位（２重像間変位）
の位置に見つかったとする。ただし、
は、拘束直線の交点位置を表す。また、Δは注目点
から拘束直線に沿った距離[画素]を表す。このとき、図１及び図２における２重像間の角度視差θｓは、下記数３により求めることができる。
【００４５】
【数３】
また、注目点
に対する反射板（透明板又は両面ハーフミラー板）への入射角度θｉ（図１と図２を参照）は、下記数４により求めることができる。
【００４６】
【数４】
数３により得られた２重像間の角度視差θｓと数４により得られた入射角度θｉを、それぞれ数１と数２に用いることで、２重像間変位
から計測対象までの距離を求めることができる。
【００４７】
２重像は、位置ずれのあるほぼ同じ画像（信号）が重なったものと考えることができる。このような画像（信号）の自己相関関数は、原点における極大の他に、画像（信号）間の位置ずれに対応した位置でも極大を持つ。
【００４８】
従って、２重像を撮影した画像にエッジや特徴点がなくても、何らかのパターンがあれば、自己相関関数の２次極大位置からこの位置ずれを求めることができる。また、透過型リフレクションステレオの場合には、２重像間で明るさが異なるため、２次極大位置付近の特徴なども利用して、２重像間変位を検出する（非特許文献１８を参照）。
＜２＞本発明に係る距離計測装置及び距離計測方法
以下、本発明を実施するための最良の形態について詳細に説明する。
【００４９】
本発明は、非平行で完全平面ではない透明板又は両面ハーフミラー板（以下、説明の便宜上、「非平行で完全平面ではない透明板又は両面ハーフミラー板」を単に、「うねりのある反射板」とも称する）に映る２重像を、１台の撮像装置で撮影して得られた１枚の画像に基づいて、安価な装置構成及び短い計測時間で、高精度な距離計測を行い得るようにした距離計測装置及び距離計測方法に関するものである。
【００５０】
本発明に係る距離計測装置の機能を、キャリブレーション処理機能と距離計測機能とに大きく分けることができる。キャリブレーション処理機能とは、複数の既知の距離にある平面（キャリブレーション平面）を２重像として撮影し、それらの２重像を利用して距離計測装置の外部パラメータ（以下、単に「外部パラメータ」とも言う。）を推定する機能である。
【００５１】
また、距離計測機能（距離算出機能）とは、キャリブレーション処理機能で推定された外部パラメータと、未知の距離にある計測対象を２重像として撮影して得られた１枚の画像（画像データ）とに基づき、計測対象までの距離を算出（計測）する機能である。
【００５２】
そして、本発明に係る距離計測装置では、切り替え信号により、キャリブレーション処理機能と距離計測機能（距離算出機能）とを切り替えるようにしている。
【００５３】
換言すれば、本発明に係る距離計測装置を用いて、実際に計測対象までの距離を計測する前に、まず、距離計測装置のキャリブレーションを行う必要があり、つまり、距離計測装置の外部パラメータを推定する必要がある。そして、距離計測装置のキャリブレーションが済んだ後に（外部パラメータが得られた後に）、本発明の距離計測装置を用いて、実際に距離計測を行う。
【００５４】
図４は、本発明に係る距離計測装置の一実施形態を示すブロック構成図である。図４に示されたように、本発明の距離計測装置１は、反射板１０と、撮像手段２０と、２重像間変位算出部３０と、キャリブレーション処理部４０と、距離算出部５０とから構成され、そして、２重像間変位算出部３０で算出された２重像間変位は、切り替え信号により、キャリブレーション処理部４０に入力され、又は、距離算出部５０に入力されるようになっている。なお、図示されていないが、本発明の距離計測装置１は、例えばメモリのような記憶手段を備えている。
【００５５】
本発明では、反射板１０として、１枚の非平行で完全平面ではない透明板又は両面ハーフミラー板を用いる。本実施例では、反射板１０として、市販の安価なアクリル透明板を用いる。
【００５６】
また、撮像手段２０として、１台の撮像装置を用いる。本実施例では、ＣＣＤイメージセンサを搭載したＣＣＤカメラ（以下、単に「カメラ」と言う。）を撮像手段２０として用いる。ただし、本発明で用いる撮像手段２０として、固体撮像素子を用いる撮像装置であれば良いので、ＣＣＤカメラに限定される必要がなく、例えば、ＣＭＯＳイメージセンサを搭載したＣＭＯＳカメラを用いるようにしても良い。
【００５７】
本発明の距離計測装置１では、距離計測装置１自身のキャリブレーションを行う場合に、まず、複数の既知の距離にある平面（キャリブレーション平面）が反射板１０に映る２重像を撮像手段２０で撮影して得られた画像（画像データ）を２重像間変位算出部３０に入力し、次に、２重像間変位算出部３０で算出された２重像間変位を、切り替え信号（キャリブレーション処理部への切り替え信号）により、キャリブレーション処理部４０に入力し、そして、２重像間変位と既知の距離（真の距離）とに基づき、キャリブレーション処理部４０が外部パラメータを推定し、推定した外部パラメータを距離算出部５０に入力する。このようにして、距離計測装置１のキャリブレーション処理が終了する。つまり、本発明の距離計測装置におけるキャリブレーション方法は、上記のような手順で行われる。
【００５８】
そして、キャリブレーション済みの距離計測装置１を用いて、未知の距離にある計測対象までの距離を計測する場合に、距離計測装置１では、まず、未知の距離にある計測対象が反射板１０に映る２重像を撮像手段２０で撮影して得られた１枚の画像（画像データ）を２重像間変位算出部３０に入力し、次に、２重像間変位算出部３０で算出された２重像間変位を、切り替え信号（距離算出部への切り替え信号）により、距離算出部５０に入力し、そして、２重像間変位と外部パラメータとに基づき、距離算出部５０が計測対象までの距離を算出（計測）する。このようにして、距離計測装置１の距離計測が終了する。つまり、本発明に係る距離計測方法は、上記のような手順で行われる。
【００５９】
なお、本発明の距離計測装置１では、キャリブレーション処理部４０が推定した外部パラメータを、距離算出部５０に入力せず、距離計測装置１自身が備えた記憶手段（メモリ）に格納しておくようにしても良い。そうした場合には、距離算出部５０は、計測対象までの距離を算出（計測）する前に、記憶手段（メモリ）に格納された外部パラメータを読み出す必要があることは言うまでもない。
＜３＞本発明に係る距離計測装置における反射板及び距離計測方法について
＜２＞でも述べたように、本発明に係る距離計測装置では、反射板として、非平行で完全平面ではない透明板又は両面ハーフミラー板、即ち、うねりのある透明板又は両面ハーフミラー板を用いる。以下、「うねりのある透明板又は両面ハーフミラー板」を単に「うねりのある反射板」とも言う。
【００６０】
本発明に係る距離計測装置の反射板として、市販の安価なアクリル透明板やガラス板を用いる。このような入手性の良いアクリル透明板やガラス板の表面には、「うねり」が存在する。つまり、アクリル透明板やガラス板の表面は完全に平面ではなく、そして、アクリル透明板やガラス板の両表面は平行でもない。
【００６１】
本発明では、うねりのある反射板を局所的に平面で近似し（即ち、うねりのある反射板の分割平面モデルを用い）、光線追跡法（非特許文献１９を参照）の原理（アルゴリズム）を利用して、計測対象までの距離を短時間で高精度に計測することを特徴としている。
＜３−１＞反射板の分割平面モデル
以下、説明の便宜上、「うねりのある反射板」を単に「反射板」とも言う。
【００６２】
本発明の最大な特徴とも言える「反射板の分割平面モデル」とは、２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似することを意味する。
【００６３】
図５は、本発明における反射板の分割平面モデルを説明するための模式図である。なお、図５において、反射板として透明板を用いるが、本発明はそれに限定されることはなく、両面ハーフミラー板を反射板として用いることは可能であることは言うまでもない。
【００６４】
図５に示すように、画像上の注目点
付近に対応する反射板（透明板）を、非平行度を持つ平面板で近似する。即ち、本発明では、画像上のある注目点に対応する２重像を形成するために必要な反射板上（透明板上）の領域（即ち、図５の分割平面領域）は、その注目点と同じ外部パラメータで表現できると仮定する。
【００６５】
本発明の外部パラメータには、＜１−３＞で述べた従来の外部パラメータと比較して、次のように、反射板の両表面に対してそれぞれ法線ベクトルがある。
【００６６】
つまり、本発明に係る距離計測装置の外部パラメータとして、
反射板の両表面に対する法線ベクトル
（即ち、パラメータｎR1,ｎR2,ｎS1,ｎS2）、
カメラ光学中心から反射板までの光軸に沿った距離Ｄｃｏ（即ち、パラメータＤｃｏ）、
反射板の板厚ｄ（即ち、パラメータｄ）、
反射板の空気に対する相対屈折率ｎ（即ち、パラメータｎ）がある。
【００６７】
これら７個の外部パラメータは、画像上の注目点
に応じて異なる値
を持つ。
【００６８】
注目点付近に対応する反射板を非平行度を持つ平面板で近似することは、うねりを持つ反射板の表面形状を１次近似することに相当する。
【００６９】
実験に使用した透過型構成を有する（両面ハーフミラー板を用いた）本発明の距離計測装置（＜５−１＞で述べる）では、画像全体を反射板（両面ハーフミラー板）に投影したときに約４５×４０［ｍｍ］である。画像サイズが６４０×４８０[画素]で、注目領域サイズ（注目点）が２０×２０[画素]で、２重像間変位が１０[画素]である場合に、注目領域（注目点）に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は約１.４×２.５［ｍｍ］である。市販のアクリル透明板やガラス板でも、このような小さな面積を有する領域（約１.４×２.５［ｍｍ］の分割平面領域）に対してならば、表面形状を１次近似することができる。
＜３−２＞光線追跡法
本発明では、「反射板の分割平面モデル」を用い、「うねりのある反射板」を、非平行度を持つ平面板で近似することにした。
【００７０】
このように、本発明では、非平行度を持つ反射板を使用しているため、＜１＞で述べたような従来のリフレクションステレオに使用される解析的な距離算出方法（距離計測方法）を用いても、計測対象までの距離算出（距離計測）が困難である。
【００７１】
そこで、本発明では、光線追跡法を利用して、注目点に対応する視線と、注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線（求めた２直線）の交点位置までの距離を、計測対象までの距離とする。
【００７２】
ここでは、＜３−３＞で述べる本発明における距離計測方法の準備として、光線追跡法の計算方法を述べる。
【００７３】
光線追跡法（非特許文献１９を参照）では、次の３種類の計算要素を使うことで、カメラ光学中心に向かってくる光線がたどってきた経路を追跡することができる。
計算要素その１：光線と平面との交点
図６に示すように、点
を通る方向ベクトル
の向きの直線と、点
を含む単位法線ベクトル
の平面との交点
は、下記数５で表すことができる。
【００７４】
【数５】
計算要素その２：平面での正反射ベクトル
図６に示すように、単位法線ベクトル
の平面に入射した方向ベクトル
の正反射方向ベクトル
は、下記数６で表すことができる。
【００７５】
【数６】
計算要素その３：平面での屈折ベクトル
図６に示すように、単位法線ベクトル
の平面に入射した方向ベクトル
に対する、相対屈折率ｎの物質内部への屈折方向ベクトル
は、下記数７で表すことができる。
【００７６】
【数７】
ただし、
また、ｋｆ＜１のときには、空気からガラスに入射して屈折するような状況を表している。
＜３−３＞本発明における距離計測方法
ここで、本発明における距離計測方法について詳細に説明する。つまり、局所的に平面で近似された反射板を使った（反射板の分割平面モデルを用いた）本発明の距離計測装置における計測対象までの距離算出方法について詳細に説明する。
【００７７】
要するに、本発明では、ある注目点
に対する外部パラメータ
が得られた場合、２重像間変位（２重像間の位置ずれ）を計測（算出）することにより、＜３−３−１＞及び＜３−３−２＞で詳細に述べるように、光線追跡法を使って、計測対象までの距離をこれらの関数（外部パラメータ
及び２重像間変位の関数）として計測（算出）するようにしている。
＜３−３−１＞反射型構成を有する本発明の距離計測装置を用いた場合
ここで、反射型構成を有する本発明の距離計測装置とは、反射板として透明板を用いた本発明の距離計測装置のことを意味する。
【００７８】
反射型構成を有する本発明の距離計測装置を用いた場合に、計測対象までの距離は次のように算出される。
【００７９】
図７(Ａ)に示すように、画像面上の注目点
に表面反射像として撮影された計測対象は、ｔＳを媒介変数とする下記数８で表す直線
上に存在する。
【００８０】
【数８】
ただし、
が成立する。また、
は、それぞれ透明板表面上の点と透明板表面の単位法線ベクトルであり、
は原点（カメラ光学中心）である。そして、
は外部パラメータ
に含まれる
を使って
と表せる。
【００８１】
同じ計測対象が、図７(Ｂ)に示すように、注目点
に対する変位
を検出できたとき、裏面反射像として撮影された計測対象は、ｔＲを媒介変数とする下記数９で表す直線
上に存在する。
【００８２】
【数９】
ただし、
が成立する。また、
は、それぞれ透明板裏面上の点と透明板裏面の単位法線ベクトルであり、
は原点（カメラ光学中心）である。そして、
は外部パラメータ
に含まれる
を使って
と表せる。
との交点位置、つまり、下記数１０で表すように、２直線
までの距離の２乗和が最小になる位置が、計測対象の位置
である。
【００８３】
【数１０】
ただし、
が成立する。
【００８４】
上記数１０で表す計測対象の位置
は、カメラ座標系での計測対象の３次元座標を表しており、そのＹ座標
は計測対象までの距離である。
【００８５】
よって、反射型構成を有する本発明の距離計測装置では、上記のようにして計測対象までの距離を算出（計測）している。
＜３−３−２＞透過型構成を有する本発明の距離計測装置を用いた場合
ここで、透過型構成を有する本発明の距離計測装置とは、反射板として両面ハーフミラー板を用いた本発明の距離計測装置のことを意味する。
【００８６】
透過型構成を有する本発明の距離計測装置を用いた場合に、計測対象までの距離は次のように算出される。
【００８７】
図８(Ａ)に示すように、画像面上の注目点
の直接像に対応する計測対象は、ｔＤを媒介変数とする下記数１１で表す直線
上に存在する。
【００８８】
【数１１】
ただし、
が成立する。また、
はそれぞれ両面ハーフミラー板の射出光側と入射光側の表面上の点であり、
はそれぞれ両面ハーフミラー板の射出光側と入射光側の表面の単位法線ベクトルである。
は原点（カメラ光学中心）である。そして、
は、外部パラメータ
に含まれる
を使って、それぞれ
と表せる。
【００８９】
直接像に対応する内部反射像が、図８(Ｂ)に示すように、注目点
に対する変位
を検出できたとき、内部反射像に対応する計測対象は、ｔＩ１を媒介変数とする下記数１２で表す直線
上に存在する。
【００９０】
【数１２】
ただし、
が成立する。また、
は原点（カメラ光学中心）である。
との交点位置、つまり、下記数１３で表すように、２直線
での距離の２乗和が最小になる位置が、計測対象の位置
である。
【００９１】
【数１３】
ただし、
が成立する。
【００９２】
上記数１３で表す計測対象の位置
は、カメラ座標系での計測対象の３次元座標を表しており、そのＺ座標
は計測対象までの距離である。
【００９３】
よって、透過型構成を有する本発明の距離計測装置では、上記のようにして計測対象までの距離を算出（計測）している。
＜３−４＞本発明の距離計測装置における２重像間の変位拘束
本発明の距離計測装置における２重像間の変位拘束は、従来のリフレクションステレオにおける２重像間の変位拘束と異なる。
【００９４】
つまり、数９の
と数１２の
を求める際に用いた変位
は、即ち、図７(Ｂ)と図８(Ｂ)に示した変位（２重像間変位）
は、＜１−３＞及び図３に示した従来のリフレクションステレオにおける２重像間変位
とは異なる。
【００９５】
本発明では、反射板の分割平面モデルを用いたため、即ち、注目点
付近に対応する反射板が非平行であるために、
の拘束がある。
【００９６】
ただし、
は注目点
における計測対象までの距離が無限のときの変位を表し、
は拘束直線の単位方向ベクトルを表す。また、Δは位置
から拘束直線に沿った距離[画素]を表す。そして、
は、次のように外部パラメータ
から求める。
【００９７】
透過型構成を有する本発明の距離計測装置を用いた場合では、ある注目点
について、外部パラメータ
と２重像間変位
から、計測対象までの距離
を求めることができる。逆に、計測対象までの距離
に対する２重像間変位
は、１パラメータ最適化問題として求めることができる。
【００９８】
計測対象までの距離
を次第に大きくして、それに対する２重像間変位
の変化が十分小さくなったときの変位を、無限遠距離に対応する２重像間変位
とする。また、複数の距離に対応する２重像間変位から、拘束直線の単位方向ベクトル
を求める。
【００９９】
同様に、反射型構成を有する本発明の距離計測装置を用いた場合でも、透過型構成を有する本発明の距離計測装置と同じように、
を求めることができる。ただし、計測対象までの距離として、計測対象の３次元座標のＹ座標、即ち、
を用いる。
【０１００】
なお、注目点
に対する外部パラメータ
は、＜４＞で述べる本発明の距離計測装置におけるキャリブレーション方法（外部パラメータ推定方法）を用いて求める。
＜４＞本発明の距離計測装置におけるキャリブレーション方法
ここでは、本発明の距離計測装置におけるキャリブレーション方法（外部パラメータ推定方法）、及び外部パラメータの関数表現について詳細に説明する。
＜４−１＞外部パラメータ推定方法
＜２＞で既に述べたように、本発明の距離計測装置において、キャリブレーション処理部が２重像間変位と既知の距離とに基づき、外部パラメータを推定するようにしており、即ち、キャリブレーション処理部が距離計測装置のキャリブレーション（キャリブレーション処理）を行っている訳である。
【０１０１】
本発明の距離計測装置におけるキャリブレーション方法、即ち、外部パラメータ推定方法は次のような手順で行われる。
【０１０２】
まず、本発明では、外部パラメータを推定するために、平面（以下、単に「キャリブレーション平面」とも言う。）までの既知の距離と、このキャリブレーション平面が反射板に映る２重像を撮像手段で撮影して得られた画像上における２重像間変位とを利用する。
【０１０３】
キャリブレーション平面までの距離Ｄは、反射型構成を有する本発明の距離計測装置では、カメラ光学中心からキャリブレーション平面までのＹ軸に沿った距離Ｄｙとなり、透過型構成を有する本発明の距離計測装置では、カメラ光学中心からキャリブレーション平面までのＺ軸に沿った距離Ｄｚとなる。
【０１０４】
以下では、透過型構成を有する本発明の距離計測装置におけるキャリブレーション方法（外部パラメータ推定方法）について説明する。
【０１０５】
画像上のある注目点
について、キャリブレーション平面までの距離Ｄｚとそれに対応する２重像間変位
がＭ組求まれば、つまり、
が求まれば、一般的なカメラキャリブレーション手法（非特許文献２１を参照）と同様に、次のように外部パラメータ
を推定することができる。
【０１０６】
【数１４】
ただし、
は外部パラメータ推定値である。また、非線形目的関数
の第２項は、推定する外部パラメータが外部パラメータの設計値
から遠く外れないようにするための安定化項である。重み係数αは、できるだけ小さな値に実験的に決定する。外部パラメータの各要素は互いに影響し合っているため、ほとんどの場合、安定化項と適切な初期値を与えないと、安定に収束しない。そして、この非線形目的関数
の最小化には、外部パラメータの設計値を初期値として共役勾配法を利用した。
【０１０７】
２重像間変位
は、キャリブレーション平面に十分な密度の適切なテクスチャがあれば、２重像間の変位拘束を全く利用せずに、正規化自己相関関数の２次極大位置として計測することができる。この２重像間変位
は２自由度なので、７個の外部パラメータを推定するためには、Ｍ≧４の観測（撮影及び２重像間変位算出）が必要である。
＜４−２＞本発明に外部パラメータの関数表現
うねりのある市販のアクリル透明板やガラス板は、製品の性能上では平行平面板として設計されているため、本発明では、そのようなアクリル透明板やガラス板に映る２重像を撮影した画像上の注目点（注目点位置）が変化しても、外部パラメータの変化は微小で、また、注目点（注目点位置）の変化に対して、外部パラメータの変化が連続であるとする。
【０１０８】
このような外部パラメータの連続的な変化を考慮すると、画像上の特定の位置（以下、単に「画像位置」とも言う。）に対して推定した外部パラメータをそのまま、距離計測装置の記憶手段（メモリ）に格納するのは効率が低い。
【０１０９】
そこで、本発明では、外部パラメータを関数で表現するようにし、つまり、下記数１５のように、外部パラメータを画像位置
に対する２次元３次関数で近似する。
【０１１０】
【数１５】
ただし、Φｊ（ｊ＝１,２,…,１０）は７個の外部パラメータに対応した７要素の係数ベクトルである。これらの係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、下記数１６のように、重み付き最小二乗法で求める。
【０１１１】
【数１６】
ただし、数１６では、数１４を用いて外部パラメータを推定したときの残差
の逆数を重みとすることで、残差の大きな画像位置のキャリブレーション結果の影響を小さくする。
【０１１２】
なお、無限遠距離に対応する２重像間変位
と拘束直線の単位方向ベクトル
は、推定した外部パラメータを使って、＜３−４＞で述べた方法で予め計算しておく。そして、外部パラメータと同様に、その計算結果
も関数で表現するようにし、つまり、その計算結果
を画像位置に対する２次元３次関数で近似する。距離算出部５０で行う距離算出処理では、近似関数の係数ベクトルを利用する。
【０１１３】
また、本発明は、外部パラメータを画像位置に対する２次元３次関数で近似することに限定されることはなく、例えば、外部パラメータをフーリエ級数展開することも可能であるが、例えば、反射板全体の厚さに関して、厚みを０次で、全体の非平行度を１次でという表現は、直感的でわかりやすい。実際には、２次までの近似で外部パラメータをほぼ表現でき、３次の係数はかなり小さい。また、このような近似を行ったときの数１６の残差は十分に小さいことを確認している。
＜４−３＞本発明におけるキャリブレーション方法と従来のリフレクションステレオにおけるキャリブレーション方法との比較
従来のリフレクションステレオにおけるキャリブレーション方法（非特許文献１６を参照）では、画像上の位置に対して不変な７個の外部パラメータを利用していた。反射型リフレクションステレオを用いた場合に、画像中央部分から透明板の両表面の法線ベクトルの差
又は、透過型リフレクションステレオを用いた場合に、画像中央部分から両面ハーフミラー板の両表面の法線ベクトルの差
を推定し、両表面の法線ベクトルの平均、及びＤｃｏ、ｄ、ｎは、設計値をそのまま利用していた。
【０１１４】
また、従来のリフレクションステレオにおけるキャリブレーション方法（以下、単に「従来のキャリブレーション方法」とも言う。）では、無限遠距離に対応する２重像間変位は、画像中央部分から求めて反射板の両表面の法線ベクトルの差を得るためにも利用した。拘束直線は画像面上の一点（ただし画像の外部）で交差すると近似して、この交点位置を画像から求めていた。
【０１１５】
これに対して、本発明に係るキャリブレーション方法では、画像上位置によって変化する外部パラメータを推定し、推定した外部パラメータから２重像間の変位拘束を得ている。このため、本発明によれば、距離計測精度が向上するだけでなく、より正確な２重像間の変位拘束を利用できるために、２重像間変位の誤検出を減少させることもできる。
以上のように、本発明に係る距離計測装置及び距離計測方法について詳細に説明したが、本発明の距離計測装置における２重像間変位算出部、キャリブレーション処理部（キャリブレーション方法）、及び距離算出部（距離計測方法）は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。
＜５＞実験結果
ここでは、実画像を使ったキャリブレーション実験を行い、本発明の有効性を示す。つまり、従来のキャリブレーション方法に対して、本発明に係るキャリブレーション方法の有効性を検討した。＜５−１＞から＜５−３＞では、透過型構成を有する本発明の距離計測装置を使用し、そして、＜５−４＞では、反射型構成を有する本発明の距離計測装置を使用した。
＜５−１＞透過型構成を有する本発明の距離計測装置の装置構成
図９に示すように、両面ハーフミラー板をカメラ光軸に対して４５[度]に固定して筐体に取り付けた。ハーフミラーの反射率は、両表面ともに７５％である。カメラには、PointGray社製Flea（グレースケールＶＧＡ）を利用した。両面ハーフミラー板の設計値は、Ｄｃｏ＝６６.２［ｍｍ］、ｄ＝１２.０［ｍｍ］、ｎ＝１.４９である。両面ハーフミラー板は、画像上で右上の厚みが約０.２６［ｍｍ］大きくなるような細工をした。
【０１１６】
また、カメラを筐体に組み込む前に、公開されているキャリブレーションツール（非特許文献２０を参照）を利用して、カメラ内部パラメータを求めた。ＣＣＤ画素間隔で測ったレンズ焦点距離はｆ／δ＝１２５５.７である。同時に求まる歪曲収差パラメータを使って、画像から歪曲歪みを取り除いた。
＜５−２＞本発明におけるキャリブレーション
図１０は、図９の透過型構成を有する本発明の距離計測装置に対して、キャリブレーションを行う際の様子を示す図である。
【０１１７】
図１０に示すように、透過型構成を有する本発明の距離計測装置を平行移動ステージに取り付けて５０［ｍｍ］間隔で移動しながら、レンズ光軸と直交するキャリブレーション平面を撮影した。このキャリブレーション平面には、正規化自己相関関数の２次極大位置を検出しやすいように、十分な密度のランダムテクスチャを貼り付けた。
【０１１８】
図１１に２重像に対する正規化自己相関関数の例を示す。図１１から分かるように、２次極大は原点を対称として２個現れるが、内部反射像の変位方向は簡単な予備実験で知ることができるため、この中の一方の変位を２重像間変位として利用した。
【０１１９】
キャリブレーション平面を撮影した画像全体に対して、２４×１８（＝４３２）箇所に３５×３５[画素]の注目領域を設定し、それらの注目領域に対して２重像間変位を求めた。注目領域の数（４３２箇所）は、数１５の１０個のパラメータを重み付き最小二乗法で求めるのに、十分な数である。注目領域のサイズは、大きいほど安定に自己相関関数の２次極大を検出することができる。
【０１２０】
しかし、直接像に対して内部反射像はわずかに変形しているため、極端に大きな注目領域サイズはかえって２次極大値を小さくする。以上を考慮の上で、注目領域サイズを実験的に決定した。テクスチャが偶然に少ないなどの原因で、設定した全ての注目領域に対して２重像間変位が求まるとは限らない。このため、求まった２重像間変位の方向と大きさを周囲と比較し、誤りと判断された２重像間変位は使用せず、離散的な位置で求まった２重像間変位を数１５と同様に２次元３次関数で近似し、２重像間変位検出誤差をある意味で平滑化した。
【０１２１】
キャリブレーション平面までの距離は、約４００［ｍｍ］から約１０００［ｍｍ］まで、５０［ｍｍ］ごとに大きくした。本発明の距離計測装置を取り付けた平行移動ステージによって、キャリブレーション平面に対する距離の変化（５０［ｍｍ］）を正確に制御することができる。
【０１２２】
しかし、筐体に組み込んだカメラの撮影レンズの光学中心位置（カメラ光学中心）を正確に知ることは困難なので、キャリブレーション平面に対する絶対距離を正確に知ることはできない。
【０１２３】
そこで、本発明では、数１４におけるキャリブレーション平面までの距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ＝４００＋５０ｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を下記数１７のように求めた。
【０１２４】
【数１７】
数１７に基づいて求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を下記数１８のように推定した。
【０１２５】
【数１８】
今回行った実験では、
となった。
【０１２６】
そして、推定した絶対距離の誤差
とキャリブレーション平面までの既知の距離とに基づき、カメラ光学中心からキャリブレーション平面までの絶対距離を算出する。算出した絶対距離を用い、本発明の距離計測装置のキャリブレーション処理部にて、再び外部パラメータを推定する。
【０１２７】
図１２に、本発明のキャリブレーションによって推定された両面ハーフミラー板の板厚分布と屈折率分布を示す。図１２において、グラフ中の黒丸は画像上の位置に対して推定した外部パラメータ（両面ハーフミラー板の板厚と屈折率）を示し、また、グラフ中のメッシュは、数１５の関数による近似された外部パラメータ（両面ハーフミラー板の板厚と屈折率）を示す。
【０１２８】
図１２から分かるように、水平位置−１６０[画素]付近で、推定した外部パラメータと関数で近似された外部パラメータの差が大きいのは、この付近で数１４の残差が大きく、数１６の重み付き最小二乗法に対する影響が小さかったためである。数１４の残差は、２重像間変位推定における誤差によるものと考えられる。図１２(Ａ)の板厚分布に注目すると、右上部分の板厚が約０.２５［ｍｍ］大きくなっており、意図的に変形した形状が正確に推定できていることは明らかである。
＜５−３＞本発明におけるキャリブレーション平面までの距離計測
本発明では、推定した外部パラメータを使って、キャリブレーション平面までの距離を再計測した。
【０１２９】
図１３(Ａ)と図１３(Ｂ)に、キャリブレーション平面までの真の距離に対する距離計測結果の平均（●印で示す）と標準偏差（バーで示す）を示し、また、図１３(Ｃ)と図１３(Ｄ)に距離７００［ｍｍ］に対する距離マップを示す。
【０１３０】
従来手法（図１３(Ａ)と図１３(Ｃ)）では、距離に応じた偏差があり、標準偏差も大きい。これは、２重像間の変位拘束が不正確なために、２重像間変位の誤検出が多いためである。これに対して、本発明（図１３(Ｂ)と図１３(Ｄ)）では、偏差がなく、しかも標準偏差が小さくなっていることが良く分かる。
＜５−４＞反射型構成を有する本発明の距離計測装置によるキャリブレーションと形状計測
この実験では、反射型構成を有する本発明の距離計測装置を用いた。反射型構成を有する本発明の距離計測装置では、表面に反射率５０％のハーフミラー、裏面に反射率１００％のミラーを用いた反射板を利用した。コーティングのない透明板を反射板として利用するのに対して、表面に反射率５０％のハーフミラー、裏面に反射率１００％のミラーを用いた反射板（以下、単に「反射板」という。）の反射像が明るくなる特徴がある。
【０１３１】
反射板はカメラ光軸に対して４５[度]に固定し、設計値はＤｃｏ＝２６.２［ｍｍ］、ｄ＝１２.０［ｍｍ］、ｎ＝１.４９である。使用したカメラと内部パラメータは、＜５−１＞で使用したカメラとその内部パラメータと同じである。
【０１３２】
図１４に、反射型構成を有する本発明の距離計測装置におけるキャリブレーションによって推定された反射板の板厚分布と屈折率分布を示す。図１４において、グラフ中の黒丸は画像上の位置に対して推定した外部パラメータ（反射板の板厚と屈折率）を示し、また、グラフ中のメッシュは、数１５の関数による近似された外部パラメータ（反射板の板厚と屈折率）を示す。図１２(Ａ)の板厚分布と比較すると、変形がなく平坦である。
【０１３３】
図１２と同様に、図１４では、推定した外部パラメータと関数で近似された外部パラメータの差が大きい部分があるが、これは、数１４の残差が大きいために、数１６の重み付き最小二乗法に対する影響が小さいためである。
【０１３４】
図１５(Ａ)と図１５(Ｂ)に、キャリブレーション平面までの真の距離に対する計測結果の平均（●印で示す）と標準偏差（バーで示す）を示し、また、図１５(Ｃ)と図１５(Ｄ)に距離７００［ｍｍ］に対する距離マップを示す。
【０１３５】
従来手法（図１５(Ａ)と図１５(Ｃ)）では、図１３と同様に、距離に応じた偏差があり、標準偏差も大きい。これは、２重像間の変位拘束が不正確なために、２重像間変位の誤検出が多いためである。これに対して、本発明（図１５(Ｂ)と図１５(Ｄ)）では、偏差がなく、しかも標準偏差が小さくなっていることが良く分かる。
【０１３６】
図１６に、従来方法と本発明（反射型構成を有する距離計測装置）により計測された形状計測結果を示す。図１６(Ａ)に距離計測に用いた計測対象を示し、図１６(Ｂ)は撮影した２重像である。反射型構成を有する本発明の距離計測装置では、カメラが撮影する画像は上下反転する。ちなみに、図１６(Ｂ)に示すこの２重像は、撮影装置全体（カメラ全体）を上下逆に三脚に取り付けて撮影したものである。図１６(Ｃ)と図１６(Ｄ)に距離マップを示し、また、図１６(Ｅ)と図１６(Ｆ)に鳥瞰図を示す。
【０１３７】
従来手法（図１６(Ｃ)と図１６(Ｅ)）では、特に背景の形状が計測できていないとの問題点がある。また、計測対象までの距離の真値は不明だが、本発明（図１６(Ｄ)と図１６(Ｆ)）とは計測された距離が異なっている。これに対して、本発明では、背景の形状も計測できており、計測した形状の高さは真値に近い。
【図面の簡単な説明】
【０１３８】
【図１】反射型リフレクションステレオによる距離計測原理を説明するための模式図である。
【図２】透過型リフレクションステレオによる距離計測原理を説明するための模式図である。
【図３】リフレクションステレオにおける拘束平面と拘束直線を説明するための模式図である。
【図４】本発明に係る距離計測装置の一実施形態を示すブロック構成図である。
【図５】本発明における反射板の分割平面モデルを説明するための模式図である。
【図６】本発明に用いる光線追跡法を説明するための模式図である。
【図７】反射型構成を有する本発明の距離計測装置における距離計測方法を説明するための模式図である。
【図８】透過型構成を有する本発明の距離計測装置における距離計測方法を説明するための模式図である。
【図９】透過型構成を有する本発明の距離計測装置の外観図の一例を示す図である。
【図１０】図９の透過型構成を有する本発明の距離計測装置に対して、キャリブレーションを行う際の様子を示す図である。
【図１１】２重像に対する正規化自己相関関数の一例を示す図である。
【図１２】図１０に示す本発明のキャリブレーションによって推定された両面ハーフミラー板の板厚分布と屈折率分布を示すグラフである。
【図１３】従来方法と本発明（図９の透過型構成を有する距離計測装置）により計測された、キャリブレーション平面までの距離計測結果の平均と標準偏差と距離マップを示す図である。
【図１４】反射型構成を有する本発明の距離計測装置におけるキャリブレーションによって推定された両面ハーフミラー板の板厚分布と屈折率分布を示すグラフである。
【図１５】従来方法と本発明（反射型構成を有する距離計測装置）により計測された、キャリブレーション平面までの距離計測結果の平均と標準偏差と距離マップを示す図である。
【図１６】従来方法と本発明（反射型構成を有する距離計測装置）により計測された形状計測結果を示す図である。
【符号の説明】
【０１３９】
１ 距離計測装置
１０ 反射板（透明板又は両面ハーフミラー板）
２０ 撮像手段
３０ ２重像間変位算出部
４０ キャリブレーション処理部
５０ 距離算出部
【特許請求の範囲】
【請求項１】
非平行で完全平面ではない１枚の反射板と、
１台の撮像手段と、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、
既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、
推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出部と、
を備え、
前記反射板を局所的に非平行な平面で近似し、
前記キャリブレーション処理部で推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことを特徴とする距離計測装置。
【請求項２】
距離計測装置であって、
非平行で完全平面ではない１枚の反射板と、
１台の撮像手段と、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、
前記２重像間変位算出部が既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理部と、
前記２重像間変位算出部が未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出部と、
を備え、
２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、
前記キャリブレーション処理部で推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出部では、注目点に応じて異なる値を持つ外部パラメータを利用することを特徴とする距離計測装置。
【請求項３】
前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板である請求項２に記載の距離計測装置。
【請求項４】
前記撮像手段は固体撮像素子を用いる撮像装置である請求項２又は請求項３に記載の距離計測装置。
【請求項５】
前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成される請求項２乃至請求項４のいずれかに記載の距離計測装置。
【請求項６】
前記キャリブレーション処理部では、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求める請求項５に記載の距離計測装置。
【請求項７】
前記距離算出部では、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とする請求項５又は請求項６に記載の距離計測装置。
【請求項８】
前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、
前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、
推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、
算出した前記絶対距離を用い、前記キャリブレーション処理部にて、再び前記外部パラメータを推定する請求項５乃至請求項７のいずれかに記載の距離計測装置。
【請求項９】
非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法であって、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、
既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理ステップと、
推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出ステップと、
を有し、
前記反射板を局所的に非平行な平面で近似し、
前記キャリブレーション処理ステップで推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことを特徴とする距離計測方法。
【請求項１０】
非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法であって、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、
前記２重像間変位算出ステップにより既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理ステップと、
前記２重像間変位算出ステップにより未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出ステップと、
を有し、
２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、
前記キャリブレーション処理ステップにより推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出ステップでは、注目点に応じて異なる値を持つ外部パラメータを利用することを特徴とする距離計測方法。
【請求項１１】
前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板である請求項１０に記載の距離計測方法。
【請求項１２】
前記撮像手段は固体撮像素子を用いる撮像装置である請求項１０又は請求項１１に記載の距離計測方法。
【請求項１３】
前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成される請求項１０乃至請求項１２のいずれかに記載の距離計測方法。
【請求項１４】
前記キャリブレーション処理ステップでは、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求める請求項１３に記載の距離計測方法。
【請求項１５】
前記距離算出ステップでは、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とする請求項１３又は請求項１４に記載の距離計測方法。
【請求項１６】
前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、
前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、
推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、
算出した前記絶対距離を用い、前記キャリブレーション処理ステップにより、再び前記外部パラメータを推定する請求項１３乃至請求項１５のいずれかに記載の距離計測方法。
【請求項１】
非平行で完全平面ではない１枚の反射板と、
１台の撮像手段と、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、
既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、
推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出部と、
を備え、
前記反射板を局所的に非平行な平面で近似し、
前記キャリブレーション処理部で推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことを特徴とする距離計測装置。
【請求項２】
距離計測装置であって、
非平行で完全平面ではない１枚の反射板と、
１台の撮像手段と、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出部と、
前記２重像間変位算出部が既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理部と、
前記２重像間変位算出部が未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出部と、
を備え、
２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、
前記キャリブレーション処理部で推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出部では、注目点に応じて異なる値を持つ外部パラメータを利用することを特徴とする距離計測装置。
【請求項３】
前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板である請求項２に記載の距離計測装置。
【請求項４】
前記撮像手段は固体撮像素子を用いる撮像装置である請求項２又は請求項３に記載の距離計測装置。
【請求項５】
前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成される請求項２乃至請求項４のいずれかに記載の距離計測装置。
【請求項６】
前記キャリブレーション処理部では、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求める請求項５に記載の距離計測装置。
【請求項７】
前記距離算出部では、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とする請求項５又は請求項６に記載の距離計測装置。
【請求項８】
前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、
前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、
推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、
算出した前記絶対距離を用い、前記キャリブレーション処理部にて、再び前記外部パラメータを推定する請求項５乃至請求項７のいずれかに記載の距離計測装置。
【請求項９】
非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法であって、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、
既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理ステップと、
推定された前記外部パラメータと、未知の距離にある計測対象を２重像として撮影した１枚の画像から、前記計測対象までの距離を算出する距離算出ステップと、
を有し、
前記反射板を局所的に非平行な平面で近似し、
前記キャリブレーション処理ステップで推定された外部パラメータは、２重像を撮影した画像上の注目点に応じて異なる値を持つことを特徴とする距離計測方法。
【請求項１０】
非平行で完全平面ではない１枚の反射板と、１台の撮像手段とから構成される距離計測装置における距離計測方法であって、
前記反射板に写る位置ずれのある２重像を前記撮像手段で撮影して得られた画像から、２重像間変位を算出する２重像間変位算出ステップと、
前記２重像間変位算出ステップにより既知の距離にある複数のキャリブレーション平面を２重像として撮影した複数の画像を用いて算出した２重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理ステップと、
前記２重像間変位算出ステップにより未知の距離にある計測対象を２重像として撮影した１枚の画像を用いて算出した２重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出ステップと、
を有し、
２重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する２重像を形成するために必要な反射板上の領域（分割平面領域）は、その注目点と同じ値の外部パラメータを持ち、
前記キャリブレーション処理ステップにより推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出ステップでは、注目点に応じて異なる値を持つ外部パラメータを利用することを特徴とする距離計測方法。
【請求項１１】
前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板である請求項１０に記載の距離計測方法。
【請求項１２】
前記撮像手段は固体撮像素子を用いる撮像装置である請求項１０又は請求項１１に記載の距離計測方法。
【請求項１３】
前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成される請求項１０乃至請求項１２のいずれかに記載の距離計測方法。
【請求項１４】
前記キャリブレーション処理ステップでは、次の数式のように、外部パラメータを画像位置
に対する２次元３次関数で近似し
ただし、Φｊ（ｊ＝１,２,…,１０）は外部パラメータに対応した７要素の係数ベクトルであり、係数ベクトルΦｊは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求める請求項１３に記載の距離計測方法。
【請求項１５】
前記距離算出ステップでは、ある注目点に対する２重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する２重像の位置に対応する視線をそれぞれ求め、求めた２つの視線の交点位置までの距離を、前記計測対象までの距離とする請求項１３又は請求項１４に記載の距離計測方法。
【請求項１６】
前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、
前記キャリブレーション平面の前記既知の距離Ｄｚｉを、Ｄｚｉ＝Ｄｉ＋Ｄｅ［ｍｍ］（ｉ＝０，１，・・・，１２、また、Ｄｉはｉ番目のキャリブレーション平面までの既知の距離を表す。）とおき、３通りの絶対距離の誤差Ｄｅ＝０，±２５［ｍｍ］を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ｅｄ（Ｄｅ）を次の数式のように求め、
求めた残差の総和Ｅｄ（−２５）、Ｅｄ（０）、Ｅｄ（２５）を２次関数に当てはめ、Ｅｄ（Ｄｅ）を最小にする絶対距離の誤差
を
に基づいて推定し、
推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、
算出した前記絶対距離を用い、前記キャリブレーション処理ステップにより、再び前記外部パラメータを推定する請求項１３乃至請求項１５のいずれかに記載の距離計測方法。
【図４】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１８０５６２（Ｐ２００９−１８０５６２Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−１８１８９（Ｐ２００８−１８１８９）
【出願日】平成２０年１月２９日（２００８．１．２９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行所：画像情報学フォーラム 発行日：平成１９年７月２９日 刊行物名：画像の認識・理解シンポジウム（ＭＩＲＵ２００７）ダイジェスト
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年１月２９日（２００８．１．２９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行所：画像情報学フォーラム 発行日：平成１９年７月２９日 刊行物名：画像の認識・理解シンポジウム（ＭＩＲＵ２００７）ダイジェスト
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]