距離計測装置、距離計測方法、およびプログラム
【課題】計測時間の長時間化や特殊な撮像素子を用いることなく、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大する。
【解決手段】計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光の二次元位置ごとに所定の輝度値範囲で変調させる変調部と、変調部により変調されたパターン光を計測対象物に対して投影する投影部と、投影部によりパターン光が投影された計測対象物を撮像する撮像部と、撮像部により撮像された撮像画像に基づいて計測対象物までの距離を算出する距離算出部と、を備える。
【解決手段】計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光の二次元位置ごとに所定の輝度値範囲で変調させる変調部と、変調部により変調されたパターン光を計測対象物に対して投影する投影部と、投影部によりパターン光が投影された計測対象物を撮像する撮像部と、撮像部により撮像された撮像画像に基づいて計測対象物までの距離を算出する距離算出部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象物の三次元的な距離を非接触で計測する距離計測装置、距離計測方法、およびプログラムに関し、特に、パターン光投影を用いる距離計測装置、距離計測方法、およびプログラムに関する。
【背景技術】
【０００２】
距離計測法としては種々の手法が提案されている。大きく分類すると、照明装置を用いずに撮像装置だけで距離計測を行うパッシブ型と、照明装置と撮像装置を組み合わせて用いるアクティブ型がある。アクティブ型では照明装置によりパターン光を計測対象物に投影し、撮像装置で画像撮像をする。計測対象物の表面テクスチャが少ない場合でもパターン光を手がかりにして形状計測を行うことができる。アクティブ型の距離計測法としては空間符号化法、位相シフト法、グリッドパターン投影法、光切断法など種々の手法が提案されている。これらの手法は三角測量法に基づくため、パターン光の投影装置からの出射方向を得ることができれば距離計測を行うことができる。
【０００３】
空間符号化法は、複数本のライン光から成るパターン光を計測対象物に投影する。複数本のライン光を識別するために各種符号化法を用いる。符号化法としてはグレイコード法が知られている。グレイコード法では周期の異なる２値パターン光を順番に計測対象物に投影し、復号することでライン光を識別し、出射方向を得る。
【０００４】
位相シフト法は、正弦波状パターン光の位相をシフトさせながら計測対象物に複数回投影する。複数枚の撮影画像を利用して各画素での正弦波の位相を算出する。必要に応じて位相接続を行いパターン光の出射方向を一意に特定する。
【０００５】
光切断法は、パターン光としてライン光を使用する。ライン光を走査させながら画像撮像を繰り返す。パターン光の出射方向は走査光学系などから得ることができる。
【０００６】
グリッドパターン投影法は、Ｍ系列やｄｅ Ｂｒｕｉｊｎ系列などの符号化情報が埋め込まれた２次元格子状のパターンを計測対象物に投影する。撮影画像から符号化情報を復号することにより、少ない投影枚数で投影光の出射方向を得ることができる手法である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７１５３０号公報
【特許文献２】特許４３３７２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のようにアクティブ型の距離計測装置には種々の手法が提案されているが、輝度ダイナミックレンジに制限があるという課題がある。主な理由は２つあり、パターン光が投影された計測対象物の撮影画像輝度が計測対象物の反射率に依存すること、撮像装置の輝度ダイナミックレンジに制限があることである。以下、具体的に説明する。
【０００９】
反射率が高い計測対象物ではパターン光の画像輝度は明るくなる。一方、反射率が低い対象物ではパターン光の画像輝度は暗くなる。また、計測対象物の反射率には一般に角度特性があるので、パターン光の入射角と撮像装置の取り込み角にも依存する。撮像装置と投影装置に対して計測対象物の表面が正対している場合、パターン光の画像輝度は相対的に明るくなる。一方、対象物の表面が正対している状態から外れるほどパターン光の画像輝度は相対的に暗くなる。
【００１０】
撮像装置に使用される撮像素子の輝度ダイナミックレンジは有限である。これは撮像素子に使われるフォトダイオードの蓄積電荷量に制限があるためである。そのため、パターン光の画像輝度が明るすぎる場合にはパターン光の画像輝度は飽和する。このような状況下ではパターン光のピーク位置を正しく算出することができないため、距離計測精度が低下する。また、空間符号化法においてはパターン光の誤識別をすることもあり、距離計測に大きな誤差を生じる。
【００１１】
パターン光の画像輝度が暗すぎる場合には、パターン光の画像輝度は信号として検出できないレベルまで低下する。また、撮像素子のノイズに埋もれることもある。このような状況下では、距離計測精度が低下する。さらに、パターン光の検出ができない場合には、距離計測自体が不可能になる。
【００１２】
以上、説明したようにアクティブ型の距離計測装置では、輝度ダイナミックレンジが制限される。そのため、同時に距離計測可能な計測対象物の反射率範囲と角度範囲が制限される。
【００１３】
このような課題に対し、従来の距離計測装置では、露光条件の異なる撮像を複数回行い、それらを統合することで課題解決を図っているものがある（特許文献１参照）。ただし、この手法では撮像回数分だけ、計測時間が長くなるという問題がある。
【００１４】
また、撮像素子のラインごと、あるいは、画素ごとに増幅率や透過率を変えることで課題解決を図っているものがある（特許文献２参照）。特許文献２では、奇数ラインと偶数ラインで増幅率を変えることで、輝度ダイナミックレンジの拡大を行う。ただし、この手法では奇数ラインと偶数ラインで増幅率の異なる特殊な撮像素子を用いる必要がある。
【００１５】
上記の課題に鑑み、本発明は、計測時間の長時間化や特殊な撮像素子を用いることなく、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することを目的とする。
【課題を解決するための手段】
【００１６】
上記の目的を達成する本発明に係る距離計測装置は、
計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光の二次元位置ごとに所定の輝度値範囲で変調させる変調手段と、
前記変調手段により変調された前記パターン光を前記計測対象物に対して投影する投影手段と、
前記投影手段により前記パターン光が投影された前記計測対象物を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像に基づいて前記計測対象物までの距離を算出する距離算出手段と、
を備えることを特徴とする距離計測装置。
【発明の効果】
【００１７】
本発明によれば、計測時間の長時間化や特殊な撮像素子を用いることなく、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態の距離計測装置の概略構成図。
【図２】従来の空間符号化法の投影パターンを示す図。
【図３】従来の空間符号化法の投影パターンの撮影画像輝度値を示す図。
【図４】計測精度と撮影画像輝度値差の関係性の説明図。
【図５】第１実施形態の投影パターンを示す図。
【図６】投影パターンの高輝度部における撮影画像輝度値を示す図。
【図７】投影パターンの中輝度部における撮影画像輝度値を示す図。
【図８】投影パターンの低輝度部における撮影画像輝度値を示す図。
【図９】第１実施形態の処理の手順を示すフローチャート。
【図１０】第２実施形態の投影パターンを示す図。
【図１１】第３実施形態の投影パターンを示す図。
【図１２】第３実施形態の処理の手順を示すフローチャート。
【図１３】第４実施形態の投影パターンを示す図。
【図１４】第５実施形態の投影パターンを示す図。
【図１５】第５実施形態の処理の手順を示すフローチャート。
【発明を実施するための形態】
【００１９】
（第１実施形態）
図１を参照して、第１実施形態に係る距離計測装置１００の概略構成を説明する。第１実施形態では空間符号化法に基づく距離計測を行う。距離計測装置１００は、投影部１と、撮像部２と、制御・計算処理部３とを備える。投影部１は、パターン光を計測対象物５に投影する。撮像部２は、パターン光が投影された計測対象物５を撮像する。制御・計算処理部３は、投影部１と撮像部２とを制御し、撮像された画像データを計算処理して計測対象物５までの距離を計測する。
【００２０】
投影部１は、光源１１と、照明光学系１２と、表示素子１３と、投影光学系１４とを備える。光源１１は、ハロゲンランプ、ＬＥＤなど各種の発光素子である。照明光学系１２は、光源１１から出射した光を表示素子１３へと導く機能を有する。このとき、光源１１から出射した光を表示素子１３上で照度が均一になるように導く。そのため、例えば、ケーラー照明や拡散板など照度の均一化に適した光学系が用いられる。表示素子１３には、透過型ＬＣＤや反射型のＬＣＯＳ・ＤＭＤなどが用いられる。表示素子１３は、照明光学系１２からの光を投影光学系１４に導く際に、透過率、または、反射率を空間的に制御する機能を有する。投影光学系１４は、表示素子１３を計測対象物５の特定位置に結像させるように構成された光学系である。本実施形態では、表示素子１３と投影光学系１４とを備える構成を示したが、スポット光と２次元走査光学系とを備える構成を有する投影装置を用いることも可能である。さらには、ライン光と１次元走査光学系とを備える構成を有する投影装置を用いることも可能である。
【００２１】
撮像部２は、撮像レンズ２１と、撮像素子２２とを備える。撮像レンズ２１は、計測対象物５の特定位置を撮像素子２２上に結像させるように構成された光学系である。撮像素子２２には、ＣＭＯＳセンサ、ＣＣＤセンサなど各種光電変換素子を用いることができる。
【００２２】
制御・計算処理部３は、投影パターン制御部３１と、画像取得部３２と、距離算出部３３と、パラメータ記憶部３４と、二値化処理部３５と、境界位置算出部３６と、信頼度算出部３７と、グレイコード算出部３８と、変換処理部３９とを備える。なお、位相算出部４０、位相接続部４１、ライン抽出部４２、および要素情報抽出部４３の各処理部は第１実施形態には必須の構成ではなく、距離計測方法が異なる後述の実施形態において用いられる。これらの機能については後述する。
【００２３】
制御・計算処理部３のハードウェアは、ＣＰＵ、メモリ、ハードディスクなどの記憶装置、入出力用の各種インタフェース等を具備する汎用のコンピュータにより構成される。また、制御・計算処理部３のソフトウェアは、本発明にかかる距離計測方法をコンピュータに実行させる距離計測プログラムで構成される。
【００２４】
前述した距離計測プログラムをＣＰＵで実行することにより、投影パターン制御部３１、画像取得部３２、距離算出部３３、パラメータ記憶部３４、二値化処理部３５、境界位置算出部３６、信頼度算出部３７、グレイコード算出部３８、および変換処理部３９の各処理部を実現している。
【００２５】
投影パターン制御部３１は、後述する投影パターンを生成して、記憶装置に予め記憶する。また、必要に応じて記憶した投影パターンのデータを読み出し、例えば、ＤＶＩのような汎用的なディスプレイ用インタフェースを介して投影パターンのデータを投影部１に伝送する。さらにＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して投影部１の動作を制御する機能を有している。なお、投影パターン制御部３１は、投影パターンデータに基づいて投影部１が備える表示素子１３に投影パターンを表示する。
【００２６】
画像取得部３２は、撮像部２で標本化ならびに量子化されたディジタルの画像信号を取り込む。さらに、取り込んだ画像信号から各画素の輝度値で表される画像データを取得してメモリに記憶する機能を有する。なお、画像取得部３２は、ＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して撮像部２の動作（撮像のタイミングなど）を制御する機能を有する。
【００２７】
画像取得部３２と投影パターン制御部３１とは互いに連携して動作する。表示素子１３へのパターン表示が完了すると、投影パターン制御部３１は、画像取得部３２に信号を送る。画像取得部３２は、投影パターン制御部３１から信号を受信すると撮像部２を動作させ、画像撮像を実施する。画像撮像が完了すると、画像取得部３２は、投影パターン制御部３１に信号を送る。投影パターン制御部３１は、画像取得部３２から信号を受信すると、表示素子１３に表示する投影パターンを次の投影パターンに切り替える。これを順次繰り返すことで、全ての投影パターンの撮像を実施する。距離算出部３３は、投影パターンの撮像画像と、パラメータ記憶部３４に格納されているパラメータとを用いて計測対象物までの距離を算出する。
【００２８】
パラメータ記憶部３４には、三次元的な距離を算出するのに必要なパラメータが格納される。パラメータとしては、投影部１と撮像部と２の機器パラメータ、投影部１と撮像部２との内部パラメータ、投影部１と撮像部２との外部パラメータなどがある。
【００２９】
機器パラメータは、表示素子の画素数、撮像素子の画素数などである。投影部１と撮像部２の内部パラメータは、焦点距離、画像中心、ディストーションによる画像歪みの係数などである。投影部１と撮像部２の外部パラメータは、投影部１と撮像部２の相対位置関係を表す並進行列と回転行列などである。二値化処理部３５は、空間符号化法において、ポジティブパターンの撮像画像の画素とネガティブパターンの撮像画像の画素とで輝度値の比較を行い、ポジティブパターンの撮像画像の輝度値がネガティブパターンの撮像画像の輝度値以上であればバイナリ値として１を、そうでなければ０を与えて二値化する。
【００３０】
境界位置算出部３６は、バイナリ値が０から１、または、１から０に切り替わる位置を境界位置として算出する。
【００３１】
信頼度算出部３７は、各種信頼度を算出する。信頼度の算出の詳細については、後述する。グレイコード算出部３８は、二値化処理部３５により算出された各ビットにおけるバイナリ値を結合し、グレイコードを算出する。変換処理部３９は、グレイコード算出部３８により算出されたグレイコードを投影部１の表示素子座標の値に変換する。
【００３２】
計測対象物５は、反射率が高い高反射率領域５１、反射率が中程度の中反射率領域５２、および、反射率が低い低反射率領域５３の３つの領域を有するものとした。以上が第１実施形態の距離計測装置の基本構成に関する説明である。次に、空間符号化法の原理を説明する。図２は、従来の空間符号化法で用いる投影パターンの例を示す。図２（ａ）が投影パターン輝度であり、図２（ｂ）乃至（ｄ）がグレイコードパターン光である。図２（ｂ）が１ｂｉｔ、図２（ｃ）が２ｂｉｔ、図２（ｄ）が３ｂｉｔのグレイコードパターンを示している。４ｂｉｔ以降のグレイコードパターンについては省略する。
【００３３】
図２（ａ）の横軸は投影パターン輝度を表し、縦軸は投影パターンのｙ座標を表している。図２（ａ）中の輝度Ｉｂは、図２（ｂ）乃至（ｄ）の明領域の垂直線Ｌｂの投影パターン輝度を表している。また、図２（ａ）中の輝度Ｉｄは、図２（ｂ）乃至（ｄ）の暗領域の垂直線Ｌｄの輝度を表している。従来の空間符号化法で用いる投影パターンは、輝度Ｉｂ、Ｉｄがともにｙ座標方向に一定である。
【００３４】
空間符号化法では、図２（ｂ）乃至（ｄ）のグレイコードパターンを順番に投影しながら画像撮像を行う。そして、各ビットでバイナリ値を算出する。具体的には、各ビットで撮像画像の画像輝度が閾値以上であれば、その領域のバイナリ値を１とする。撮影画像の画像輝度が閾値未満であれば、その領域のバイナリ値を０とする。各ビットでのバイナリ値を順に並べ、その領域のグレイコードとする。グレイコードを空間コードに変換し、距離計測を行う。
【００３５】
閾値の決定方法としては、平均値法と相補パターン投影法が知られている。平均値法では、全領域が明パターンの撮影画像と、全領域が暗パターンの撮影画像を予め取得しておく。そして、２つの画像輝度の平均値を閾値とする方法である。一方、相補パターン投影法は、各ビットのグレイコードパターン（ポジティブパターン）の明位置と暗位置を反転させたネガティブパターン（第２のグレイコードパターン）を投影し、画像撮像する。そして、ネガティブパターンの画像輝度値を閾値とする手法である。
【００３６】
通常、空間符号化法では最下位ビットの幅の分だけ位置の曖昧さを持つ。しかし、バイナリ値が０から１、あるいは、バイナリ値が１から０に切り替わる境界位置を撮影画像上で検出することで、ビット幅よりも曖昧さを低下させることができ、距離計測精度は高まる。本発明は平均値法と相補パターン投影法のいずれの手法にも適用可能であるが、以下では相補パターン投影法を適用した場合を例として説明する。
【００３７】
次に、図３を参照して、従来の空間符号化法における問題点を説明する。図３（ａ）、図３（ｂ）で表現される投影パターンを計測対象物５に投影したときの撮影画像輝度値を模式的に表したものを図３（ｃ）乃至（ｅ）に示す。図３（ａ）は図２（ａ）と、図３（ｂ）は図２（ｄ）と同一の図である。通常、撮像素子面に入射する光の物理量は照度である。撮像素子面上の照度は、撮像素子の各画素のフォトダイオードで光電変換された後に、Ａ／Ｄ変換され、量子化された値となる。図３（ｃ）乃至（ｅ）に示される撮像画像輝度値は、この量子化された値に対応する。
【００３８】
前述したように、計測対象物５には、反射率が高い高反射率領域５１、反射率が中程度の中反射率領域５２、反射率が低い低反射率領域５３の３つの領域が存在する。図３（ｃ）乃至（ｅ）は、撮像画像の画像輝度を縦軸とし、ｘ座標を横軸としたものである。図３（ｃ）が高反射率領域、図３（ｄ）が中反射率領域、図３（ｅ）が低反射率領域の画像輝度に対応する。撮像素子で受光される輝度は、一般に投影パターン輝度、撮像対象物の反射率、露光時間に比例する。ただし、撮像素子で有効な信号として受光可能な輝度は撮像素子の輝度ダイナミックレンジにより制限される。撮像素子の輝度ダイナミックレンジＤＲｃは撮像素子で受光可能な最大輝度をＩｃｍａｘ、最低輝度をＩｃｍｉｎとすると以下の式（１）で記述される。
【００３９】
ＤＲｃ ＝ ２０ｌｏｇ（Ｉｃｍａｘ／Ｉｃｍｉｎ） ・・・ （１）
上記式（１）で算出される輝度ダイナミックレンジＤＲｃの単位はｄＢ（デシベル）単位であり、一般的な撮像素子では６０ｄＢ程度とされる。つまり、最大輝度と最低輝度との比が１０００程度までしか信号として検出することができないことになる。言い換えると、撮像対象物の反射率比が１０００倍以上あるシーンの撮影ができないことになる。
【００４０】
図３（ｃ）の高反射率領域では、反射率が高いため、撮像画像輝度値が飽和する。Ｗｐｈはポジティブパターンの画像輝度波形、Ｗｎｈはネガティブパターンの画像輝度波形である。画像輝度が飽和すると、検出されるパターン境界位置Ｂｅと真のパターン境界位置Ｂｔの間にずれが生じる。ずれにより計測誤差が発生する。さらに、ずれ量がパターンの最小ビット幅よりも大きくなると符号値誤りが発生し、大きな計測誤差を発生させる。
【００４１】
図３（ｄ）の中反射率領域では、撮像画像輝度値は適切となる。Ｗｐｃはポジティブパターンの画像輝度波形、Ｗｎｃはネガティブパターンの画像輝度波形である。画像輝度の飽和が起こらないため、検出されるパターン境界位置Ｂｅと真のパターン境界位置Ｂｔの間に大きなずれが生じない。また、投影パターンのコントラストを高く撮像しているため、境界位置の推定精度は高い。一般に境界位置の推定精度は、境界位置近傍の画像輝度値の差に依存する。
【００４２】
ここで、図４を参照して、これらの関係を説明する。図４は横軸にｘ座標、縦軸に撮像画像輝度値をとったものである。ディジタル画像として撮像されていることを明示するために、画素による空間方向の量子化と、輝度方向の量子化を格子で表現している。空間方向の量子化誤差値はΔｘ、輝度方向の量子化画素値はΔＩである。ポジティブパターンの波形Ｗｐｃとネガティブパターンの波形Ｗｎｃはアナログの波形として図示した。ポジティブパターン波形Ｗｐｃにおいて、境界位置において隣接する左側の画像輝度値をＩＬｐ、右側の画像輝度値をＩＲｐとする。このとき境界位置は以下の式（２）で求められる曖昧さΔＢｅで推定される。
【００４３】
ΔＢｅ＝ΔＩ・Δｘ／ａｂｓ（ＩＬｐ−ＩＲｐ）・・・（２）
ここで、ａｂｓ（）は（）内の絶対値を出力する関数である。上記式（２）は画像ノイズが実効的に無視できる場合の式である。ノイズが存在する場合にはΔＮだけの曖昧さが輝度方向に加算されるため、境界位置の曖昧さΔＢｅは以下の式（３）ように増加する。
【００４４】
ΔＢｅ＝（ΔＩ＋ΔＮ）・Δｘ／ａｂｓ（ＩＬｐ−ＩＲｐ）・・・（３）
式（２）、式（３）から、境界位置近傍の２画素間での画像輝度値の差が大きいほど境界位置推定の曖昧さΔＢｅは小さくなり、計測精度も高くなる。
【００４５】
図３（ｅ）の低反射率領域では、撮像画像輝度値は低レベルとなる。Ｗｐｌはポジティブパターンの画像輝度波形、Ｗｎｌはネガティブパターンの画像輝度波形である。パターン光を低コントラストな波形でしか取得できないため、境界位置近傍の２画素間での画像輝度の差が小さくなる。つまり、境界位置の曖昧さΔＢｅが大きくなり、低精度となる。計測対象物５の反射率がさらに低い場合には、パターン光を信号として受光できなくなり、距離計測不能となる。
【００４６】
このように従来の空間符号化法パターンでは、撮像素子の輝度ダイナミックレンジの制約により、高精度に計測可能な反射率範囲が限られる。
【００４７】
次に、本発明の説明を行う。図５は、第１実施形態で用いる投影パターンの例を示す。第１実施形態では、基本となるグレイコードパターンの投影パターン輝度を投影部１と撮像部２とを結ぶ基線方向と略垂直な方向に変える（輝度変調する）。すなわち、計測対象物に対して投影されるパターン光の輝度値を、当該パターン光が投影される二次元位置ごとに所定の輝度値範囲で変調させる。これにより、撮像素子でパターン光として受光可能な計測対象物５の反射率の範囲を拡大することができる。さらに、パターン光の撮像素子上でのコントラストを調整する作用もあるため、計測精度を向上させることもできる。
【００４８】
図５のパターンは、図２で示した従来の空間符号化で用いる投影パターンをｙ座標方向の１次元方向に対して所定の輝度値範囲で輝度変調させたものである。図５（ａ）と図５（ｂ）が計測用パターンに対する輝度変調の波形を表している。図５（ａ）の横軸は投影パターン輝度であり、縦軸は投影パターンのｙ座標である。図５（ｂ）の横軸はｘ座標であり、縦軸はｙ座標である。図５（ｃ）乃至（ｅ）が図５（ａ）と図５（ｂ）の輝度変調波形で輝度変調したグレイコードパターンである。図５（ｃ）が１ｂｉｔ、図５（ｄ）が２ｂｉｔ、図５（ｅ）が３ｂｉｔのグレイコードパターンである。４ｂｉｔ以降のグレイコードパターンについては省略する。
【００４９】
ここで、表示素子のｙ座標方向は投影部１と撮像部２とを結ぶ基線方向に対して、略垂直な方向に対応する。輝度変調を行う方向は、投影部１と撮像部２と計測対象物５との空間的な配置関係から決まるエピポーラライン方向と垂直なときに最大の性能が得られる。ただし、輝度変調方向がエピポーラライン方向と垂直でない場合でも本発明の効果は十分に得られる。
【００５０】
また、図５では輝度変調の波形が、所定の輝度値周期として、三角波形状である例を示したが、輝度変調波形は三角波に限られない。ステップ波形状、正弦波形状、ノコギリ波（鋸波）形状のような三角波以外の周期性を有する輝度変調波形を適用しても構わない。さらには、必ずしも周期性を有する必要はなく、ランダム性を有した輝度変調波形であっても構わない。
【００５１】
周期性を有する輝度変調波形の場合には、変調の周期を計測対象物５のサイズに応じて適切に選択するとよい。例えば計測対象物５の短辺の長さをＳ、撮像距離をＺ、投影光学系の焦点距離をｆｐとすると表示素子上での１周期の幅ｗが以下の式（４）を満たすように設定する。
【００５２】
ｗ ＜ Ｓ・ｆｐ／Ｚ・・・（４）
上記式（４）を満たすことで計測対象物５の少なくとも１点は計測可能となる。輝度変調の振幅により、輝度ダイナミックレンジ拡大の効果を調整できる。輝度変調の最大輝度をＩｍｍａｘ、最小輝度をＩｍｍｉｎとするとダイナミックレンジの拡大幅ＤＲｍは以下の式（５）で表される。
【００５３】
ＤＲｍ ＝ ２０ｌｏｇ（Ｉｍｍａｘ／Ｉｍｍｉｎ） ・・・（５）
本発明によるトータルのダイナミックレンジＤＲは前述した撮像素子の輝度ダイナミックレンジＤＲｃを用いると以下の式（６）で表される。
【００５４】
ＤＲ ＝ ＤＲｃ＋ＤＲｍ ・・・ （６）
図６乃至図８を参照して、図５の投影パターンによりダイナミックレンジを拡大する原理を模式的に説明する。
【００５５】
図６（ａ）、図７（ａ）、および図８（ａ）は、それぞれ図５（ａ）と同一の図である。また、図６（ｂ）、図７（ｂ）、および図８（ｂ）は、図５（ｅ）と同一の図である。図６（ｃ）、図７（ｃ）、および図８（ｃ）が高反射率領域、図６（ｄ）、図７（ｄ）、および図８（ｄ）が中反射率領域、図６（ｅ）、図７（ｅ）、および図８（ｅ）が低反射率領域の撮像画像輝度値を示している。さらに、図６は投影パターン輝度の高輝度部、図７は中輝度部、図８は低輝度部の撮像画像輝度値にそれぞれ対応する。
【００５６】
図６のように投影パターン輝度が高輝度部である場合、図６（ｃ）に示す高反射率領域では、ポジティブパターン波形Ｗｐｈとネガティブパターン波形Ｗｎｈとが飽和する。また、図６（ｄ）に示す中反射率領域でもポジティブパターン波形Ｗｐｃとネガティブパターン波形Ｗｎｃが飽和する。そのため、高反射率領域、中反射率領域ともに計測誤差が大きくなる。図６（ｅ）に示す低反射率領域ではポジティブパターン波形Ｗｐｌとネガティブパターン波形Ｗｎｌとが高コントラストな波形となるため、高精度な計測が可能となる。図７のように投影パターン輝度が中輝度部である場合、図７（ｃ）に示す高反射率領域では、ポジティブパターン波形Ｗｐｈとネガティブパターン波形Ｗｎｈとが飽和する。そのため、計測誤差が大きくなる。図７（ｄ）に示す中反射率領域ではポジティブパターン波形Ｗｐｃとネガティブパターン波形Ｗｎｃが高コントラストな波形となるため、高精度な計測が可能となる。図７（ｅ）に示す低反射率領域ではポジティブパターン波形Ｗｐｌとネガティブパターン波形Ｗｎｌとが低コントラストな波形となるため、計測精度は低い。
【００５７】
図８のように投影パターン輝度が低輝度部である場合、図８（ｃ）に示す高反射率領域ではポジティブパターン波形Ｗｐｈとネガティブパターン波形Ｗｎｈとが高コントラストな波形となるため、高精度計測が可能となる。図８（ｄ）に示す中反射率領域ではポジティブパターン波形Ｗｐｃとネガティブパターン波形Ｗｎｃが低コントラストな波形となるため、計測精度は低い。また、図８（ｅ）に示す低反射率領域では、ポジティブパターン波形Ｗｐｌとネガティブパターン波形Ｗｎｌとがさらに低コントラストな波形となるため、計測精度はさらに低くなる。
【００５８】
以上をまとめると表１のようになる。従来の空間符号化法では高精度な計測が可能な反射率が中反射率領域に限定される。それに対し、本発明では基本となる計測用パターンの輝度を場所によって変えることにより、低反射率領域、中反射率領域、高反射率領域の全ての反射率領域で高精度な計測が可能なことがわかる。
【００５９】
【表１】
【００６０】
以上が本発明により距離計測の輝度ダイナミックレンジを拡大する原理の説明である。
【００６１】
次に、図９のフローチャートを参照して、第１実施形態の処理の手順を説明する。第１実施形態では、Ｎビットのグレイコードパターンの投影を行うこととする。
【００６２】
Ｓ１０１において、投影パターン制御部３１は、ビット数ｎを初期化するために、ｎに１を代入する。Ｓ１０２において、投影部１は、ｎビットのポジティブパターンを投影する。
【００６３】
Ｓ１０３において、撮像部２は、ｎビットのポジティブパターンが投影された計測対象物５の画像撮像を行う。Ｓ１０４において、投影部１は、ｎビットのネガティブパターンを投影する。Ｓ１０５において、撮像部２は、ｎビットのネガティブパターンが投影された計測対象物５の画像撮像を行う。
【００６４】
Ｓ１０６において、二値化処理部３５は、バイナリ値の算出のために、２値化処理を行う。具体的には、ポジティブパターンの撮像画像の画素とネガティブパターンの撮像画像の画素とで輝度値の比較を行う。ポジティブパターンの撮像画像の輝度値がネガティブパターンの撮像画像の輝度値以上であればバイナリ値として１を、そうでなければ０を与える。
【００６５】
Ｓ１０７において、境界位置算出部３６は、境界位置の算出を行う。バイナリ値が０から１、または、１から０に切り替わる位置を境界位置として算出する。境界位置をサブピクセル精度で求めたい場合には、境界位置近傍の撮像画像輝度値から直線フィッティングや高次の関数フィッティングなどにより求めることができる。
【００６６】
Ｓ１０８において、信頼度算出部３７は、各境界位置における信頼度を算出する。信頼度としては、例えば式（２）または式（３）を用いて算出される境界位置の曖昧さΔＢｅに基づいて算出することができる。境界位置の曖昧さΔＢｅが大きいほど、信頼度は低いと考えられるので信頼度の算出にはその逆数をとった以下の式（７）を用いることができる。
【００６７】
Ｃｆ ＝ １／ΔＢｅ ・・・ （７）
境界位置が存在しない画素については信頼度を０としてもよい。
【００６８】
Ｓ１０９において、投影パターン制御部３１は、ビット数ｎがＮビットに達しているか否かの判定を行う。Ｎビットに達していないと判定された場合（Ｓ１０９；ＹＥＳ）、Ｓ１１０に進み、ｎに１を加算する。一方、Ｎビットに達していると判定された場合（Ｓ１０９；ＮＯ）、Ｓ１１１に進む。
【００６９】
Ｓ１１１において、グレイコード算出部３８は、Ｓ１０６で算出された各ビットにおけるバイナリ値を結合し、グレイコードを算出する。Ｓ１１２において、変換処理部３９は、グレイコードを投影部１の表示素子座標の値に変換する。投影部１の表示素子座標に変換されると投影部１からの出射方向がわかるため、距離計測を行うことができるようになる。
【００７０】
Ｓ１１３において、信頼度算出部３７は、撮像画像の画素ごとに信頼度が閾値よりも大きいか否かの判定を行う。信頼度が閾値よりも大きいと判定された場合（Ｓ１１３；ＹＥＳ）、Ｓ１１４に進む。一方、信頼度が閾値より以下であると判定された場合（Ｓ１１３；ＮＯ）、Ｓ１１５に進む。
【００７１】
Ｓ１１４において、距離算出部３３は、三角測量法により距離計測処理を適用する。その後、処理を終了する。Ｓ１１５において、距離算出部３３は距離計測処理を適用せずに処理を終了する。
【００７２】
信頼度の閾値は、例えば距離計測装置が保証する計測精度を信頼度に換算することで決定できる。以上が第１実施形態の処理手順の説明である。
【００７３】
信頼度が閾値よりも低く、距離計測されなかった領域に関しては信頼度の高い領域の距離計測結果を補間処理することで穴埋めすることもできる。以上が本発明の第１実施形態に関する説明である。
【００７４】
第１実施形態によれば、計測時間の長時間化をもたらすことなく、また特殊な撮像素子を用いることなく、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することが可能となる。
【００７５】
（第２実施形態）
本発明の第２実施形態に係る距離計測装置の概略構成は第１実施形態の概略構成である図１と同様である。
【００７６】
第１実施形態では、投影パターンの輝度を変調する方向をｙ座標方向のみとしていた。そのため、計測可能な反射率範囲が１次元的に分布していた。第２実施形態では、パターンをｘ座標方向とｙ座標方向の２次元方向に変調させることで、計測可能な反射率範囲を２次元的に分布させる。
【００７７】
図１０は、第２実施形態で用いる投影パターンを示す。第２実施形態では、図１０（ａ）乃至（ｃ）に示すように、ｘ座標方向とｙ座標方向との２次元方向に輝度変調させた輝度変調波形で計測用パターンを変調する。これにより、計測可能な反射率範囲を２次元的に分布させることが可能になる。図１０（ａ）の横軸は投影パターン輝度を表しており、縦軸は投影パターンのｙ座標を表している。図１０（ｂ）は横軸をｘ座標、縦軸をｙ座標とした投影パターンである。図１０（ｃ）は横軸をｘ座標、縦軸を投影パターン輝度としたグラフである。図１０（ｄ）、（ｅ）、（ｆ）はそれぞれ第２実施形態で用いる１ビット、２ビット、３ビットのグレイコードパターンに対応する。４ｂｉｔ以降のグレイコードパターンについては省略する。
【００７８】
図１０（ｂ）中の垂直線Ｌｍｂｙ１とＬｍｂｙ２とのそれぞれの投影パターン輝度が図１０（ａ）中の波形Ｉｍｂｙ１とＩｍｂｙ２とのそれぞれに対応している。また、図１０（ｂ）中の水平線Ｌｍｂｘ１とＬｍｂｘ２とのそれぞれの投影パターン輝度が図１０（ｃ）の波形Ｉｍｂｘ１とＩｍｂｘ２とのそれぞれに対応している。ｘ座標方向とｙ座標方向との２次元方向に投影パターンを輝度変調させていることがわかる。
【００７９】
第２実施形態の処理の手順は、図９で示した第１実施形態の処理の手順と同一である。そのため、処理手順の説明は省略する。以上が第２実施形態に関する説明である。
【００８０】
第２実施形態によれば、パターンをｘ座標方向とｙ座標方向の２次元方向に変調させることにより、計測可能な反射率範囲を２次元的に分布させ、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することが可能となる。
【００８１】
（第３実施形態）
本発明の第３実施形態に係る距離計測装置の概略構成は、第１実施形態の概略構成である図１と同様である。ただし、第３実施形態では、図１における位相算出部４０と、位相接続部４１とが機能する。各処理部の機能については後述する。第１実施形態および第２実施形態では、距離計測手法として空間符号化法を用いた。一方、第３実施形態では距離計測手法として４ステップの位相シフト法を用いる。位相シフト法では正弦波形状のパターン（正弦波パターン光）を投影する。４ステップの位相シフト法では、正弦波の位相をπ／２ずつシフトさせた４枚のパターンを投影する。第３実施形態の投影パターンを図１１に示す。図１１（ａ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。図１１（ｂ）、（ｄ）、（ｆ）、および（ｈ）は横軸をｘ座標、縦座標をｙ軸とした投影パターンである。図１１（ｃ）、（ｅ）、（ｇ）、および（ｉ）は横軸をｘ座標、縦軸を投影パターン輝度として描画したグラフである。
【００８２】
図１１（ｂ）および（ｃ）は位相シフト量が０、図１１（ｄ）および（ｅ）は位相シフト量がπ／２、図１１（ｆ）および（ｇ）は位相シフト量がπ、図１１（ｈ）および（ｉ）は位相シフト量が３π／２の投影パターンである。
【００８３】
図１１（ｂ）の垂直線Ｌｓｂｙ１１とＬｓｂｙ２１とは、図１１（ａ）の波形Ｉｓｂｙ１１とＩｓｂｙ２１にそれぞれ対応する。第２実施形態では位相シフト法の正弦波パターンをｙ座標方向の１次元方向に三角波形状で輝度変調させている。図１１（ｂ）、（ｄ）、（ｆ）、および（ｈ）の水平線Ｌｓｂｘ１１、Ｌｓｂｘ１２、Ｌｓｂｘ１３、およびＬｓｂｘ１４は、図１１（ｃ）、（ｅ）、（ｇ）、および（ｉ）の波形Ｉｓｂｘ１１、Ｉｓｂｘ１２、Ｉｓｂｘ１３、およびＩｓｂｘ１４に対応している。また、図１１（ｂ）、（ｄ）、（ｆ）、および（ｈ）の水平線Ｌｓｂｘ２１、Ｌｓｂｘ２２、Ｌｓｂｘ２３、およびＬｓｂｘ２４は、図１１（ｃ）、（ｅ）、（ｇ）、および（ｉ）の波形Ｉｓｂｘ２１、Ｉｓｂｘ２２、Ｉｓｂｘ２３、およびＩｓｂｘ２４に対応している。これらのｘ座標方向の波形から正弦波の位相をπ／２ずつシフトさせていることがわかる。また、ｙ座標位置に応じて正弦波の振幅が異なることもわかる。
【００８４】
次に、図１２を参照して、第３実施形態の処理の手順を説明する。
【００８５】
Ｓ３０１において、投影パターン制御部３１は、位相シフト量Ｐｓの初期化のために、Ｐｓに０を代入する。
【００８６】
Ｓ３０２において、投影部１は、位相シフト量Ｐｓのパターン投影を行う。Ｓ３０３において、撮像部２は、位相シフト量Ｐｓのパターンが投影された計測対象物５の画像撮像を行う。
【００８７】
Ｓ３０４において、投影パターン制御部３１は、位相シフト量Ｐｓが３π／２に達しているか否かの判定を行う。Ｐｓが３π／２に達していると判定された場合（Ｓ３０４；ＹＥＳ）、Ｓ３０６に進む。一方、Ｐｓが３π／２に達していないと判定された場合（Ｓ３０４；ＮＯ）、Ｓ３０５に進み、Ｐｓにπ／２を加算する。その後、Ｓ３０２へ戻る。Ｓ３０６において、位相算出部４０は、位相の算出を行う。各画素で以下の式（８）の演算を行い、位相φを算出する。
【００８８】
φ＝ｔａｎ−１（（Ｉ３−Ｉ１）／（Ｉ０−Ｉ２）） ・・・ （８）
ここで、Ｉ０はＰｓ＝０のときの画像輝度値、Ｉ１はＰｓ＝π／２のときの画像輝度値、Ｉ２はＰｓ＝πのときの画像輝度値、Ｉ４はＰｓ＝３π／２のときの画像輝度値である。
【００８９】
Ｓ３０７において、信頼度算出部３７は、信頼度の算出を行う。位相シフト法では画像信号として受光される正弦波の振幅が大きいほど算出される位相の算出精度が高い。従って、正弦波の振幅を計算する以下の式（９）で信頼度Ｃｆを算出することができる。
【００９０】
Ｃｆ ＝ （Ｉ０−Ｉ２）／２ｃｏｓφ・・・ （９）
また、４枚の撮像画像のいずれかが飽和している、あるいは、低レベルであると波形が正弦波から崩れるため、位相の算出精度が低下する。そこで、そのような場合にはＣｆを０とすると良い。
【００９１】
Ｓ３０８において、位相接続部４１は、算出された位相に基づいて位相接続を行う。位相接続には種々の手法が提案されている。例えば表面の連続性を利用した方法、空間符号化法を併用する方法などを用いることができる。
【００９２】
Ｓ３０９において、変換処理部３９は、位相接続された位相に基づいて投影部１の表示素子座標へ変換する。投影部１の表示素子座標に変換されると投影部１からの出射方向がわかるため、距離計測を行うことができるようになる。
【００９３】
Ｓ３１０において、信頼度算出部３７は、撮像画像の画素ごとに信頼度が閾値よりも大きいか否かの判定を行う。信頼度が閾値よりも大きいと判定された場合（Ｓ３１０；ＹＥＳ）、Ｓ３１１に進む。一方、信頼度が閾値以下であると判定された場合（Ｓ３１０；ＮＯ）、Ｓ３１２に進む。
【００９４】
Ｓ３１１において、距離算出部３３は、距離計測処理を適用する。その後、処理を終了する。
【００９５】
Ｓ３１２において、距離算出部３３は、距離計測処理を適用せずに処理を終了する。閾値は、例えば距離計測装置が保証する計測精度を信頼度に換算することで決定できる。以上が第３実施形態の処理手順の説明である。
【００９６】
第３実施形態によれば、位相シフト法の投影パターンを１次元方向に輝度変調することで、計測可能な輝度ダイナミックレンジを拡大することができる。
【００９７】
（第４実施形態）
本発明の第４実施形態に係る距離計測装置の概略構成は、第１実施形態の概略構成である図１と同様である。第４実施形態では距離計測手法として第３実施形態と同様に４ステップの位相シフト法を用いる。第４実施形態では位相シフト法の投影パターンとしてランダムに変調させた投影パターンを用いる。
【００９８】
図１３は、第４実施形態の投影パターンを示す。図１３（ａ）がランダムな輝度変調パターンを示したものである。ここでは、投影パターンを矩形領域に区切り、それぞれの矩形領域で輝度をランダムに設定している。図１の概略構成のように投影部１に表示素子を用いる場合、矩形領域のサイズは表示素子の１画素以上であれば良い。矩形領域ごとに輝度が異なるため、輝度が明るい矩形領域は暗い計測対象物に適している。一方、輝度が暗い矩形領域は明るい計測対象物に適している。第４実施形態では、輝度がランダムに設定されているので、計測可能な計測対象物の反射率の分布を空間的に均一化することができる。
【００９９】
図１３（ｂ）乃至（ｆ）に、位相シフト法の投影パターンの位相シフト量が０の場合の例を示す。図１３（ｂ）および（ｃ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。図１３（ｄ）は横軸をｘ座標、縦軸をｙ座標とした投影パターンである。図１３（ｅ）および（ｆ）は横軸をｘ座標、縦軸を投影パターン輝度として描画したグラフである。
【０１００】
図１３（ｄ）の垂直線Ｌｓｒｙ１１とＬｓｒｙ２１とは、図１３（ｂ）の波形Ｉｓｒｙ１１と図１３（ｃ）の波形Ｉｓｒｙ２１とにそれぞれ対応している。図１３（ｄ）の水平線Ｌｓｒｘ１１とＬｓｒｘ２１とは、図１３（ｅ）の波形Ｉｓｒｘ１１と図１３（ｆ）の波形Ｉｓｒｘ２１とにそれぞれ対応している。第４実施形態では、位相シフト法の正弦波パターンを矩形領域に区切り、それぞれの矩形領域で輝度をランダムに設定し、輝度変調させていることがわかる。図１３（ｅ）と（ｆ）とから、ｘ座標方向には正弦波を領域ごとにランダムに設定した輝度で、輝度変調していることがわかる。
【０１０１】
図１３では位相シフト量がπ／２、π、および３π／２の投影パターンの図示は省略したが、図１３と同様に輝度変調させた投影パターンを用意しておく。そして、図１２のフローチャートを参照して説明した第３実施形態と同様の処理手順で距離計測を行う。処理手順の説明は、図１２の説明と同一であるため省略する。以上が第４実施形態に関する説明である。
【０１０２】
第４実施形態によれば、位相シフト法の投影パターンとしてランダムに変調させた投影パターンを用いて、位相シフト法の投影パターンを２次元方向に輝度変調することにより、計測可能な輝度ダイナミックレンジを拡大することができる。
【０１０３】
（第５実施形態）
本発明の第５実施形態に係る距離計測装置の概略構成は、第１実施形態の概略構成である図１と同様である。ただし、第５実施形態では、図１におけるライン抽出部４２と、要素情報抽出部４３とが機能する。各処理部の機能については後述する。第５実施形態では、距離計測手法としてグリッドパターン投影法を用いる。そして、グリッドパターン投影法の投影パターンを矩形領域に区切り、領域ごとに輝度変調させた投影パターンを用いる。
【０１０４】
図１４は、第５実施形態で用いるグリッドパターン投影法のパターンを示す。図１４（ａ）は従来のグリッドパターン法で用いる投影パターンの一例である。グリッドパターン投影法では縦ラインおよび横ラインの有無を、Ｍ系列やｄｅ Ｂｒｕｉｊｎ系列などに基づいて決定し、符号化する方式である。図１４（ａ）は、Ｍ系列に基づくグリッド状パターン光の例を示している。ｘ座標方向は４次のＭ系列であり、ｙ座標方向は３次のＭ系列である。Ｍ系列がｎ次の場合、ｎビット分の系列情報を抽出すると、その並びの系列は、系列中に１度しか発生しない。その性質を利用して、ｎビット分の系列情報の抽出により、表示素子中の座標を一意に特定する。図１４（ａ）中では、要素が０の場合はライン無しとし、要素が１の場合はライン有りとしている。要素１が隣り合う場合を明確に区別できるように、それぞれの要素間に０と同一輝度の領域を設けている。
【０１０５】
図１４（ｂ）は、図１４（ａ）の投影パターンに対する輝度変調パターンを示したものである。図１４（ｂ）では、矩形領域ごとに輝度を変えている。矩形領域のサイズはｘ座標とｙ座標ともにｎビット分の系列情報を同一矩形領域に含むように設定する必要がある。図１４（ｂ）では、それぞれの矩形領域がｘ座標方向に４ビット分の系列情報を、ｙ座標方向に３ビット分の系列情報を含むように設定している。図１４（ｃ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。図１４（ｂ）の垂直線Ｌｓｇｙ１１が図１４（ｃ）の波形Ｉｓｇｙ１１に対応する。図１４（ｃ）から、矩形領域ごとに輝度を変えているため、ステップ波形状で輝度変調していることがわかる。
【０１０６】
図１４（ｄ）が第５実施形態で用いる投影パターンであり、図１４（ｂ）の輝度変調パターンにより図１４（ａ）の投影パターンを輝度変調したものである。図１４（ｅ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。投影パターンの輝度が矩形領域ごとに異なることがわかる。このように領域に応じて投影パターン輝度を変調させることで、領域内で計測可能な計測対象物の反射率を任意に設定することができる。また、矩形領域のサイズをＭ系列の次数に対応するビットを含むように設定しているので、距離計測処理が破綻することもない。
【０１０７】
次に、図１５のフローチャートを参照して、第５実施形態の処理手順を説明する。Ｓ５０１において、投影部１は、図１４（ｄ）で示した投影パターンを計測対象物に投影する。Ｓ５０２において、撮像部２は、投影パターンが投影された計測対象物の画像撮像を行う。その後、Ｓ５０３およびＳ５０７へ進む。
【０１０８】
Ｓ５０３において、ライン抽出部４２は、撮像画像から横ラインを抽出する。横ラインの抽出にはＳｏｂｅｌフィルタなどの各種エッジ検出フィルタを用いる。Ｓ５０４において、信頼度算出部３７は、ラインの抽出時に用いたフィルタの出力値に応じて信頼度を算出する。通常、撮像画像のパターンのコントラストが高いほど、フィルタの出力値が高くなるため、フィルタの出力値を信頼度として用いることができる。
【０１０９】
Ｓ５０５において、要素情報抽出部４３は、要素情報を抽出する。画像の各部位ごとにラインの有無に基づいて１と０の値を割り当てる。
【０１１０】
Ｓ５０６において、変換処理部３９は、抽出された要素情報から表示素子のｙ座標への変換を行う。要素情報が抽出され、Ｍ系列の次数分だけつなげると、それぞれの要素が全系列中のどの位置に対応するのかを一意に特定できる。これにより、表示素子のｙ座標へ変換することができる。Ｓ５０７において、ライン抽出部４２は、撮像画像から縦ラインを抽出する。縦ラインの抽出にはＳｏｂｅｌフィルタなどの各種エッジ検出フィルタを用いる。
【０１１１】
Ｓ５０８において、信頼度算出部３７は、ラインの検出時に用いたフィルタの出力値に応じて信頼度を算出する。通常、撮影画像のパターンのコントラストが高いほど、フィルタの出力値が高くなるため、フィルタの出力値を信頼度として用いることができる。
【０１１２】
Ｓ５０９において、要素情報抽出部４３は、要素情報を抽出する。画像の各部位ごとにラインの有無に基づいて１と０の値を割り当てる。Ｓ５１０において、変換処理部３９は、抽出された要素情報から表示素子のｘ座標への変換を行う。要素情報が抽出され、Ｍ系列の次数分だけつなげると、それぞれの要素が全系列中のどの位置に対応するのかを一意に特定できる。これにより、表示素子のｘ座標へ変換することができる。
【０１１３】
Ｓ５１１において、信頼度算出部３７は、算出された縦ラインと横ラインとののいずれかの信頼度が閾値以上であるか否かを判定する。縦ラインと横ラインのいずれかの信頼度が閾値よりも大きいと判定された場合（Ｓ５１１；ＹＥＳ）、Ｓ５１２に進む。一方、縦ラインおよび横ラインの信頼度がともに閾値以下であると判定された場合（Ｓ５１１；ＮＯ）、Ｓ５１３に進む。
【０１１４】
Ｓ５１２において、距離算出部３３は、表示素子のｘ座標、または、ｙ座標に基づいて三角測量法で距離計測を行う。その後、処理を終了する。Ｓ５１３において、距離算出部３３は、距離計測処理を適用せずに、処理を終了する。
【０１１５】
以上が第５実施形態の処理手順の説明である。第５実施形態では、Ｍ系列に基づくグリッドパターン投影法に本発明を適用した例を説明した。ただし、本発明はｄｅ Ｂｒｕｊｉｎ系列を含む他の系列に基づくグリッドパターン投影法にも適用できる。
【０１１６】
第５実施形態によれば、グリッドパターン投影法の投影パターンを矩形領域に区切り、領域ごとに輝度変調させた投影パターンを用いることにより、計測可能な輝度ダイナミックレンジを拡大することができる。
【０１１７】
以上、第１実施形態および第２実施形態では、本発明を空間符号化法に適用した例を、第３実施形態および第４実施形態では、本発明を位相シフト法に適用した例を説明した。また、第５実施形態では、本発明をグリッドパターン投影法に適用した例を説明した。ただし、本発明が適用できるのは各実施形態で説明した３手法に限られるものではなく、光切断法を含む各種パターン投影法に適用可能である。
【０１１８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、計測対象物の三次元的な距離を非接触で計測する距離計測装置、距離計測方法、およびプログラムに関し、特に、パターン光投影を用いる距離計測装置、距離計測方法、およびプログラムに関する。
【背景技術】
【０００２】
距離計測法としては種々の手法が提案されている。大きく分類すると、照明装置を用いずに撮像装置だけで距離計測を行うパッシブ型と、照明装置と撮像装置を組み合わせて用いるアクティブ型がある。アクティブ型では照明装置によりパターン光を計測対象物に投影し、撮像装置で画像撮像をする。計測対象物の表面テクスチャが少ない場合でもパターン光を手がかりにして形状計測を行うことができる。アクティブ型の距離計測法としては空間符号化法、位相シフト法、グリッドパターン投影法、光切断法など種々の手法が提案されている。これらの手法は三角測量法に基づくため、パターン光の投影装置からの出射方向を得ることができれば距離計測を行うことができる。
【０００３】
空間符号化法は、複数本のライン光から成るパターン光を計測対象物に投影する。複数本のライン光を識別するために各種符号化法を用いる。符号化法としてはグレイコード法が知られている。グレイコード法では周期の異なる２値パターン光を順番に計測対象物に投影し、復号することでライン光を識別し、出射方向を得る。
【０００４】
位相シフト法は、正弦波状パターン光の位相をシフトさせながら計測対象物に複数回投影する。複数枚の撮影画像を利用して各画素での正弦波の位相を算出する。必要に応じて位相接続を行いパターン光の出射方向を一意に特定する。
【０００５】
光切断法は、パターン光としてライン光を使用する。ライン光を走査させながら画像撮像を繰り返す。パターン光の出射方向は走査光学系などから得ることができる。
【０００６】
グリッドパターン投影法は、Ｍ系列やｄｅ Ｂｒｕｉｊｎ系列などの符号化情報が埋め込まれた２次元格子状のパターンを計測対象物に投影する。撮影画像から符号化情報を復号することにより、少ない投影枚数で投影光の出射方向を得ることができる手法である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７１５３０号公報
【特許文献２】特許４３３７２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のようにアクティブ型の距離計測装置には種々の手法が提案されているが、輝度ダイナミックレンジに制限があるという課題がある。主な理由は２つあり、パターン光が投影された計測対象物の撮影画像輝度が計測対象物の反射率に依存すること、撮像装置の輝度ダイナミックレンジに制限があることである。以下、具体的に説明する。
【０００９】
反射率が高い計測対象物ではパターン光の画像輝度は明るくなる。一方、反射率が低い対象物ではパターン光の画像輝度は暗くなる。また、計測対象物の反射率には一般に角度特性があるので、パターン光の入射角と撮像装置の取り込み角にも依存する。撮像装置と投影装置に対して計測対象物の表面が正対している場合、パターン光の画像輝度は相対的に明るくなる。一方、対象物の表面が正対している状態から外れるほどパターン光の画像輝度は相対的に暗くなる。
【００１０】
撮像装置に使用される撮像素子の輝度ダイナミックレンジは有限である。これは撮像素子に使われるフォトダイオードの蓄積電荷量に制限があるためである。そのため、パターン光の画像輝度が明るすぎる場合にはパターン光の画像輝度は飽和する。このような状況下ではパターン光のピーク位置を正しく算出することができないため、距離計測精度が低下する。また、空間符号化法においてはパターン光の誤識別をすることもあり、距離計測に大きな誤差を生じる。
【００１１】
パターン光の画像輝度が暗すぎる場合には、パターン光の画像輝度は信号として検出できないレベルまで低下する。また、撮像素子のノイズに埋もれることもある。このような状況下では、距離計測精度が低下する。さらに、パターン光の検出ができない場合には、距離計測自体が不可能になる。
【００１２】
以上、説明したようにアクティブ型の距離計測装置では、輝度ダイナミックレンジが制限される。そのため、同時に距離計測可能な計測対象物の反射率範囲と角度範囲が制限される。
【００１３】
このような課題に対し、従来の距離計測装置では、露光条件の異なる撮像を複数回行い、それらを統合することで課題解決を図っているものがある（特許文献１参照）。ただし、この手法では撮像回数分だけ、計測時間が長くなるという問題がある。
【００１４】
また、撮像素子のラインごと、あるいは、画素ごとに増幅率や透過率を変えることで課題解決を図っているものがある（特許文献２参照）。特許文献２では、奇数ラインと偶数ラインで増幅率を変えることで、輝度ダイナミックレンジの拡大を行う。ただし、この手法では奇数ラインと偶数ラインで増幅率の異なる特殊な撮像素子を用いる必要がある。
【００１５】
上記の課題に鑑み、本発明は、計測時間の長時間化や特殊な撮像素子を用いることなく、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することを目的とする。
【課題を解決するための手段】
【００１６】
上記の目的を達成する本発明に係る距離計測装置は、
計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光の二次元位置ごとに所定の輝度値範囲で変調させる変調手段と、
前記変調手段により変調された前記パターン光を前記計測対象物に対して投影する投影手段と、
前記投影手段により前記パターン光が投影された前記計測対象物を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像に基づいて前記計測対象物までの距離を算出する距離算出手段と、
を備えることを特徴とする距離計測装置。
【発明の効果】
【００１７】
本発明によれば、計測時間の長時間化や特殊な撮像素子を用いることなく、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態の距離計測装置の概略構成図。
【図２】従来の空間符号化法の投影パターンを示す図。
【図３】従来の空間符号化法の投影パターンの撮影画像輝度値を示す図。
【図４】計測精度と撮影画像輝度値差の関係性の説明図。
【図５】第１実施形態の投影パターンを示す図。
【図６】投影パターンの高輝度部における撮影画像輝度値を示す図。
【図７】投影パターンの中輝度部における撮影画像輝度値を示す図。
【図８】投影パターンの低輝度部における撮影画像輝度値を示す図。
【図９】第１実施形態の処理の手順を示すフローチャート。
【図１０】第２実施形態の投影パターンを示す図。
【図１１】第３実施形態の投影パターンを示す図。
【図１２】第３実施形態の処理の手順を示すフローチャート。
【図１３】第４実施形態の投影パターンを示す図。
【図１４】第５実施形態の投影パターンを示す図。
【図１５】第５実施形態の処理の手順を示すフローチャート。
【発明を実施するための形態】
【００１９】
（第１実施形態）
図１を参照して、第１実施形態に係る距離計測装置１００の概略構成を説明する。第１実施形態では空間符号化法に基づく距離計測を行う。距離計測装置１００は、投影部１と、撮像部２と、制御・計算処理部３とを備える。投影部１は、パターン光を計測対象物５に投影する。撮像部２は、パターン光が投影された計測対象物５を撮像する。制御・計算処理部３は、投影部１と撮像部２とを制御し、撮像された画像データを計算処理して計測対象物５までの距離を計測する。
【００２０】
投影部１は、光源１１と、照明光学系１２と、表示素子１３と、投影光学系１４とを備える。光源１１は、ハロゲンランプ、ＬＥＤなど各種の発光素子である。照明光学系１２は、光源１１から出射した光を表示素子１３へと導く機能を有する。このとき、光源１１から出射した光を表示素子１３上で照度が均一になるように導く。そのため、例えば、ケーラー照明や拡散板など照度の均一化に適した光学系が用いられる。表示素子１３には、透過型ＬＣＤや反射型のＬＣＯＳ・ＤＭＤなどが用いられる。表示素子１３は、照明光学系１２からの光を投影光学系１４に導く際に、透過率、または、反射率を空間的に制御する機能を有する。投影光学系１４は、表示素子１３を計測対象物５の特定位置に結像させるように構成された光学系である。本実施形態では、表示素子１３と投影光学系１４とを備える構成を示したが、スポット光と２次元走査光学系とを備える構成を有する投影装置を用いることも可能である。さらには、ライン光と１次元走査光学系とを備える構成を有する投影装置を用いることも可能である。
【００２１】
撮像部２は、撮像レンズ２１と、撮像素子２２とを備える。撮像レンズ２１は、計測対象物５の特定位置を撮像素子２２上に結像させるように構成された光学系である。撮像素子２２には、ＣＭＯＳセンサ、ＣＣＤセンサなど各種光電変換素子を用いることができる。
【００２２】
制御・計算処理部３は、投影パターン制御部３１と、画像取得部３２と、距離算出部３３と、パラメータ記憶部３４と、二値化処理部３５と、境界位置算出部３６と、信頼度算出部３７と、グレイコード算出部３８と、変換処理部３９とを備える。なお、位相算出部４０、位相接続部４１、ライン抽出部４２、および要素情報抽出部４３の各処理部は第１実施形態には必須の構成ではなく、距離計測方法が異なる後述の実施形態において用いられる。これらの機能については後述する。
【００２３】
制御・計算処理部３のハードウェアは、ＣＰＵ、メモリ、ハードディスクなどの記憶装置、入出力用の各種インタフェース等を具備する汎用のコンピュータにより構成される。また、制御・計算処理部３のソフトウェアは、本発明にかかる距離計測方法をコンピュータに実行させる距離計測プログラムで構成される。
【００２４】
前述した距離計測プログラムをＣＰＵで実行することにより、投影パターン制御部３１、画像取得部３２、距離算出部３３、パラメータ記憶部３４、二値化処理部３５、境界位置算出部３６、信頼度算出部３７、グレイコード算出部３８、および変換処理部３９の各処理部を実現している。
【００２５】
投影パターン制御部３１は、後述する投影パターンを生成して、記憶装置に予め記憶する。また、必要に応じて記憶した投影パターンのデータを読み出し、例えば、ＤＶＩのような汎用的なディスプレイ用インタフェースを介して投影パターンのデータを投影部１に伝送する。さらにＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して投影部１の動作を制御する機能を有している。なお、投影パターン制御部３１は、投影パターンデータに基づいて投影部１が備える表示素子１３に投影パターンを表示する。
【００２６】
画像取得部３２は、撮像部２で標本化ならびに量子化されたディジタルの画像信号を取り込む。さらに、取り込んだ画像信号から各画素の輝度値で表される画像データを取得してメモリに記憶する機能を有する。なお、画像取得部３２は、ＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して撮像部２の動作（撮像のタイミングなど）を制御する機能を有する。
【００２７】
画像取得部３２と投影パターン制御部３１とは互いに連携して動作する。表示素子１３へのパターン表示が完了すると、投影パターン制御部３１は、画像取得部３２に信号を送る。画像取得部３２は、投影パターン制御部３１から信号を受信すると撮像部２を動作させ、画像撮像を実施する。画像撮像が完了すると、画像取得部３２は、投影パターン制御部３１に信号を送る。投影パターン制御部３１は、画像取得部３２から信号を受信すると、表示素子１３に表示する投影パターンを次の投影パターンに切り替える。これを順次繰り返すことで、全ての投影パターンの撮像を実施する。距離算出部３３は、投影パターンの撮像画像と、パラメータ記憶部３４に格納されているパラメータとを用いて計測対象物までの距離を算出する。
【００２８】
パラメータ記憶部３４には、三次元的な距離を算出するのに必要なパラメータが格納される。パラメータとしては、投影部１と撮像部と２の機器パラメータ、投影部１と撮像部２との内部パラメータ、投影部１と撮像部２との外部パラメータなどがある。
【００２９】
機器パラメータは、表示素子の画素数、撮像素子の画素数などである。投影部１と撮像部２の内部パラメータは、焦点距離、画像中心、ディストーションによる画像歪みの係数などである。投影部１と撮像部２の外部パラメータは、投影部１と撮像部２の相対位置関係を表す並進行列と回転行列などである。二値化処理部３５は、空間符号化法において、ポジティブパターンの撮像画像の画素とネガティブパターンの撮像画像の画素とで輝度値の比較を行い、ポジティブパターンの撮像画像の輝度値がネガティブパターンの撮像画像の輝度値以上であればバイナリ値として１を、そうでなければ０を与えて二値化する。
【００３０】
境界位置算出部３６は、バイナリ値が０から１、または、１から０に切り替わる位置を境界位置として算出する。
【００３１】
信頼度算出部３７は、各種信頼度を算出する。信頼度の算出の詳細については、後述する。グレイコード算出部３８は、二値化処理部３５により算出された各ビットにおけるバイナリ値を結合し、グレイコードを算出する。変換処理部３９は、グレイコード算出部３８により算出されたグレイコードを投影部１の表示素子座標の値に変換する。
【００３２】
計測対象物５は、反射率が高い高反射率領域５１、反射率が中程度の中反射率領域５２、および、反射率が低い低反射率領域５３の３つの領域を有するものとした。以上が第１実施形態の距離計測装置の基本構成に関する説明である。次に、空間符号化法の原理を説明する。図２は、従来の空間符号化法で用いる投影パターンの例を示す。図２（ａ）が投影パターン輝度であり、図２（ｂ）乃至（ｄ）がグレイコードパターン光である。図２（ｂ）が１ｂｉｔ、図２（ｃ）が２ｂｉｔ、図２（ｄ）が３ｂｉｔのグレイコードパターンを示している。４ｂｉｔ以降のグレイコードパターンについては省略する。
【００３３】
図２（ａ）の横軸は投影パターン輝度を表し、縦軸は投影パターンのｙ座標を表している。図２（ａ）中の輝度Ｉｂは、図２（ｂ）乃至（ｄ）の明領域の垂直線Ｌｂの投影パターン輝度を表している。また、図２（ａ）中の輝度Ｉｄは、図２（ｂ）乃至（ｄ）の暗領域の垂直線Ｌｄの輝度を表している。従来の空間符号化法で用いる投影パターンは、輝度Ｉｂ、Ｉｄがともにｙ座標方向に一定である。
【００３４】
空間符号化法では、図２（ｂ）乃至（ｄ）のグレイコードパターンを順番に投影しながら画像撮像を行う。そして、各ビットでバイナリ値を算出する。具体的には、各ビットで撮像画像の画像輝度が閾値以上であれば、その領域のバイナリ値を１とする。撮影画像の画像輝度が閾値未満であれば、その領域のバイナリ値を０とする。各ビットでのバイナリ値を順に並べ、その領域のグレイコードとする。グレイコードを空間コードに変換し、距離計測を行う。
【００３５】
閾値の決定方法としては、平均値法と相補パターン投影法が知られている。平均値法では、全領域が明パターンの撮影画像と、全領域が暗パターンの撮影画像を予め取得しておく。そして、２つの画像輝度の平均値を閾値とする方法である。一方、相補パターン投影法は、各ビットのグレイコードパターン（ポジティブパターン）の明位置と暗位置を反転させたネガティブパターン（第２のグレイコードパターン）を投影し、画像撮像する。そして、ネガティブパターンの画像輝度値を閾値とする手法である。
【００３６】
通常、空間符号化法では最下位ビットの幅の分だけ位置の曖昧さを持つ。しかし、バイナリ値が０から１、あるいは、バイナリ値が１から０に切り替わる境界位置を撮影画像上で検出することで、ビット幅よりも曖昧さを低下させることができ、距離計測精度は高まる。本発明は平均値法と相補パターン投影法のいずれの手法にも適用可能であるが、以下では相補パターン投影法を適用した場合を例として説明する。
【００３７】
次に、図３を参照して、従来の空間符号化法における問題点を説明する。図３（ａ）、図３（ｂ）で表現される投影パターンを計測対象物５に投影したときの撮影画像輝度値を模式的に表したものを図３（ｃ）乃至（ｅ）に示す。図３（ａ）は図２（ａ）と、図３（ｂ）は図２（ｄ）と同一の図である。通常、撮像素子面に入射する光の物理量は照度である。撮像素子面上の照度は、撮像素子の各画素のフォトダイオードで光電変換された後に、Ａ／Ｄ変換され、量子化された値となる。図３（ｃ）乃至（ｅ）に示される撮像画像輝度値は、この量子化された値に対応する。
【００３８】
前述したように、計測対象物５には、反射率が高い高反射率領域５１、反射率が中程度の中反射率領域５２、反射率が低い低反射率領域５３の３つの領域が存在する。図３（ｃ）乃至（ｅ）は、撮像画像の画像輝度を縦軸とし、ｘ座標を横軸としたものである。図３（ｃ）が高反射率領域、図３（ｄ）が中反射率領域、図３（ｅ）が低反射率領域の画像輝度に対応する。撮像素子で受光される輝度は、一般に投影パターン輝度、撮像対象物の反射率、露光時間に比例する。ただし、撮像素子で有効な信号として受光可能な輝度は撮像素子の輝度ダイナミックレンジにより制限される。撮像素子の輝度ダイナミックレンジＤＲｃは撮像素子で受光可能な最大輝度をＩｃｍａｘ、最低輝度をＩｃｍｉｎとすると以下の式（１）で記述される。
【００３９】
ＤＲｃ ＝ ２０ｌｏｇ（Ｉｃｍａｘ／Ｉｃｍｉｎ） ・・・ （１）
上記式（１）で算出される輝度ダイナミックレンジＤＲｃの単位はｄＢ（デシベル）単位であり、一般的な撮像素子では６０ｄＢ程度とされる。つまり、最大輝度と最低輝度との比が１０００程度までしか信号として検出することができないことになる。言い換えると、撮像対象物の反射率比が１０００倍以上あるシーンの撮影ができないことになる。
【００４０】
図３（ｃ）の高反射率領域では、反射率が高いため、撮像画像輝度値が飽和する。Ｗｐｈはポジティブパターンの画像輝度波形、Ｗｎｈはネガティブパターンの画像輝度波形である。画像輝度が飽和すると、検出されるパターン境界位置Ｂｅと真のパターン境界位置Ｂｔの間にずれが生じる。ずれにより計測誤差が発生する。さらに、ずれ量がパターンの最小ビット幅よりも大きくなると符号値誤りが発生し、大きな計測誤差を発生させる。
【００４１】
図３（ｄ）の中反射率領域では、撮像画像輝度値は適切となる。Ｗｐｃはポジティブパターンの画像輝度波形、Ｗｎｃはネガティブパターンの画像輝度波形である。画像輝度の飽和が起こらないため、検出されるパターン境界位置Ｂｅと真のパターン境界位置Ｂｔの間に大きなずれが生じない。また、投影パターンのコントラストを高く撮像しているため、境界位置の推定精度は高い。一般に境界位置の推定精度は、境界位置近傍の画像輝度値の差に依存する。
【００４２】
ここで、図４を参照して、これらの関係を説明する。図４は横軸にｘ座標、縦軸に撮像画像輝度値をとったものである。ディジタル画像として撮像されていることを明示するために、画素による空間方向の量子化と、輝度方向の量子化を格子で表現している。空間方向の量子化誤差値はΔｘ、輝度方向の量子化画素値はΔＩである。ポジティブパターンの波形Ｗｐｃとネガティブパターンの波形Ｗｎｃはアナログの波形として図示した。ポジティブパターン波形Ｗｐｃにおいて、境界位置において隣接する左側の画像輝度値をＩＬｐ、右側の画像輝度値をＩＲｐとする。このとき境界位置は以下の式（２）で求められる曖昧さΔＢｅで推定される。
【００４３】
ΔＢｅ＝ΔＩ・Δｘ／ａｂｓ（ＩＬｐ−ＩＲｐ）・・・（２）
ここで、ａｂｓ（）は（）内の絶対値を出力する関数である。上記式（２）は画像ノイズが実効的に無視できる場合の式である。ノイズが存在する場合にはΔＮだけの曖昧さが輝度方向に加算されるため、境界位置の曖昧さΔＢｅは以下の式（３）ように増加する。
【００４４】
ΔＢｅ＝（ΔＩ＋ΔＮ）・Δｘ／ａｂｓ（ＩＬｐ−ＩＲｐ）・・・（３）
式（２）、式（３）から、境界位置近傍の２画素間での画像輝度値の差が大きいほど境界位置推定の曖昧さΔＢｅは小さくなり、計測精度も高くなる。
【００４５】
図３（ｅ）の低反射率領域では、撮像画像輝度値は低レベルとなる。Ｗｐｌはポジティブパターンの画像輝度波形、Ｗｎｌはネガティブパターンの画像輝度波形である。パターン光を低コントラストな波形でしか取得できないため、境界位置近傍の２画素間での画像輝度の差が小さくなる。つまり、境界位置の曖昧さΔＢｅが大きくなり、低精度となる。計測対象物５の反射率がさらに低い場合には、パターン光を信号として受光できなくなり、距離計測不能となる。
【００４６】
このように従来の空間符号化法パターンでは、撮像素子の輝度ダイナミックレンジの制約により、高精度に計測可能な反射率範囲が限られる。
【００４７】
次に、本発明の説明を行う。図５は、第１実施形態で用いる投影パターンの例を示す。第１実施形態では、基本となるグレイコードパターンの投影パターン輝度を投影部１と撮像部２とを結ぶ基線方向と略垂直な方向に変える（輝度変調する）。すなわち、計測対象物に対して投影されるパターン光の輝度値を、当該パターン光が投影される二次元位置ごとに所定の輝度値範囲で変調させる。これにより、撮像素子でパターン光として受光可能な計測対象物５の反射率の範囲を拡大することができる。さらに、パターン光の撮像素子上でのコントラストを調整する作用もあるため、計測精度を向上させることもできる。
【００４８】
図５のパターンは、図２で示した従来の空間符号化で用いる投影パターンをｙ座標方向の１次元方向に対して所定の輝度値範囲で輝度変調させたものである。図５（ａ）と図５（ｂ）が計測用パターンに対する輝度変調の波形を表している。図５（ａ）の横軸は投影パターン輝度であり、縦軸は投影パターンのｙ座標である。図５（ｂ）の横軸はｘ座標であり、縦軸はｙ座標である。図５（ｃ）乃至（ｅ）が図５（ａ）と図５（ｂ）の輝度変調波形で輝度変調したグレイコードパターンである。図５（ｃ）が１ｂｉｔ、図５（ｄ）が２ｂｉｔ、図５（ｅ）が３ｂｉｔのグレイコードパターンである。４ｂｉｔ以降のグレイコードパターンについては省略する。
【００４９】
ここで、表示素子のｙ座標方向は投影部１と撮像部２とを結ぶ基線方向に対して、略垂直な方向に対応する。輝度変調を行う方向は、投影部１と撮像部２と計測対象物５との空間的な配置関係から決まるエピポーラライン方向と垂直なときに最大の性能が得られる。ただし、輝度変調方向がエピポーラライン方向と垂直でない場合でも本発明の効果は十分に得られる。
【００５０】
また、図５では輝度変調の波形が、所定の輝度値周期として、三角波形状である例を示したが、輝度変調波形は三角波に限られない。ステップ波形状、正弦波形状、ノコギリ波（鋸波）形状のような三角波以外の周期性を有する輝度変調波形を適用しても構わない。さらには、必ずしも周期性を有する必要はなく、ランダム性を有した輝度変調波形であっても構わない。
【００５１】
周期性を有する輝度変調波形の場合には、変調の周期を計測対象物５のサイズに応じて適切に選択するとよい。例えば計測対象物５の短辺の長さをＳ、撮像距離をＺ、投影光学系の焦点距離をｆｐとすると表示素子上での１周期の幅ｗが以下の式（４）を満たすように設定する。
【００５２】
ｗ ＜ Ｓ・ｆｐ／Ｚ・・・（４）
上記式（４）を満たすことで計測対象物５の少なくとも１点は計測可能となる。輝度変調の振幅により、輝度ダイナミックレンジ拡大の効果を調整できる。輝度変調の最大輝度をＩｍｍａｘ、最小輝度をＩｍｍｉｎとするとダイナミックレンジの拡大幅ＤＲｍは以下の式（５）で表される。
【００５３】
ＤＲｍ ＝ ２０ｌｏｇ（Ｉｍｍａｘ／Ｉｍｍｉｎ） ・・・（５）
本発明によるトータルのダイナミックレンジＤＲは前述した撮像素子の輝度ダイナミックレンジＤＲｃを用いると以下の式（６）で表される。
【００５４】
ＤＲ ＝ ＤＲｃ＋ＤＲｍ ・・・ （６）
図６乃至図８を参照して、図５の投影パターンによりダイナミックレンジを拡大する原理を模式的に説明する。
【００５５】
図６（ａ）、図７（ａ）、および図８（ａ）は、それぞれ図５（ａ）と同一の図である。また、図６（ｂ）、図７（ｂ）、および図８（ｂ）は、図５（ｅ）と同一の図である。図６（ｃ）、図７（ｃ）、および図８（ｃ）が高反射率領域、図６（ｄ）、図７（ｄ）、および図８（ｄ）が中反射率領域、図６（ｅ）、図７（ｅ）、および図８（ｅ）が低反射率領域の撮像画像輝度値を示している。さらに、図６は投影パターン輝度の高輝度部、図７は中輝度部、図８は低輝度部の撮像画像輝度値にそれぞれ対応する。
【００５６】
図６のように投影パターン輝度が高輝度部である場合、図６（ｃ）に示す高反射率領域では、ポジティブパターン波形Ｗｐｈとネガティブパターン波形Ｗｎｈとが飽和する。また、図６（ｄ）に示す中反射率領域でもポジティブパターン波形Ｗｐｃとネガティブパターン波形Ｗｎｃが飽和する。そのため、高反射率領域、中反射率領域ともに計測誤差が大きくなる。図６（ｅ）に示す低反射率領域ではポジティブパターン波形Ｗｐｌとネガティブパターン波形Ｗｎｌとが高コントラストな波形となるため、高精度な計測が可能となる。図７のように投影パターン輝度が中輝度部である場合、図７（ｃ）に示す高反射率領域では、ポジティブパターン波形Ｗｐｈとネガティブパターン波形Ｗｎｈとが飽和する。そのため、計測誤差が大きくなる。図７（ｄ）に示す中反射率領域ではポジティブパターン波形Ｗｐｃとネガティブパターン波形Ｗｎｃが高コントラストな波形となるため、高精度な計測が可能となる。図７（ｅ）に示す低反射率領域ではポジティブパターン波形Ｗｐｌとネガティブパターン波形Ｗｎｌとが低コントラストな波形となるため、計測精度は低い。
【００５７】
図８のように投影パターン輝度が低輝度部である場合、図８（ｃ）に示す高反射率領域ではポジティブパターン波形Ｗｐｈとネガティブパターン波形Ｗｎｈとが高コントラストな波形となるため、高精度計測が可能となる。図８（ｄ）に示す中反射率領域ではポジティブパターン波形Ｗｐｃとネガティブパターン波形Ｗｎｃが低コントラストな波形となるため、計測精度は低い。また、図８（ｅ）に示す低反射率領域では、ポジティブパターン波形Ｗｐｌとネガティブパターン波形Ｗｎｌとがさらに低コントラストな波形となるため、計測精度はさらに低くなる。
【００５８】
以上をまとめると表１のようになる。従来の空間符号化法では高精度な計測が可能な反射率が中反射率領域に限定される。それに対し、本発明では基本となる計測用パターンの輝度を場所によって変えることにより、低反射率領域、中反射率領域、高反射率領域の全ての反射率領域で高精度な計測が可能なことがわかる。
【００５９】
【表１】
【００６０】
以上が本発明により距離計測の輝度ダイナミックレンジを拡大する原理の説明である。
【００６１】
次に、図９のフローチャートを参照して、第１実施形態の処理の手順を説明する。第１実施形態では、Ｎビットのグレイコードパターンの投影を行うこととする。
【００６２】
Ｓ１０１において、投影パターン制御部３１は、ビット数ｎを初期化するために、ｎに１を代入する。Ｓ１０２において、投影部１は、ｎビットのポジティブパターンを投影する。
【００６３】
Ｓ１０３において、撮像部２は、ｎビットのポジティブパターンが投影された計測対象物５の画像撮像を行う。Ｓ１０４において、投影部１は、ｎビットのネガティブパターンを投影する。Ｓ１０５において、撮像部２は、ｎビットのネガティブパターンが投影された計測対象物５の画像撮像を行う。
【００６４】
Ｓ１０６において、二値化処理部３５は、バイナリ値の算出のために、２値化処理を行う。具体的には、ポジティブパターンの撮像画像の画素とネガティブパターンの撮像画像の画素とで輝度値の比較を行う。ポジティブパターンの撮像画像の輝度値がネガティブパターンの撮像画像の輝度値以上であればバイナリ値として１を、そうでなければ０を与える。
【００６５】
Ｓ１０７において、境界位置算出部３６は、境界位置の算出を行う。バイナリ値が０から１、または、１から０に切り替わる位置を境界位置として算出する。境界位置をサブピクセル精度で求めたい場合には、境界位置近傍の撮像画像輝度値から直線フィッティングや高次の関数フィッティングなどにより求めることができる。
【００６６】
Ｓ１０８において、信頼度算出部３７は、各境界位置における信頼度を算出する。信頼度としては、例えば式（２）または式（３）を用いて算出される境界位置の曖昧さΔＢｅに基づいて算出することができる。境界位置の曖昧さΔＢｅが大きいほど、信頼度は低いと考えられるので信頼度の算出にはその逆数をとった以下の式（７）を用いることができる。
【００６７】
Ｃｆ ＝ １／ΔＢｅ ・・・ （７）
境界位置が存在しない画素については信頼度を０としてもよい。
【００６８】
Ｓ１０９において、投影パターン制御部３１は、ビット数ｎがＮビットに達しているか否かの判定を行う。Ｎビットに達していないと判定された場合（Ｓ１０９；ＹＥＳ）、Ｓ１１０に進み、ｎに１を加算する。一方、Ｎビットに達していると判定された場合（Ｓ１０９；ＮＯ）、Ｓ１１１に進む。
【００６９】
Ｓ１１１において、グレイコード算出部３８は、Ｓ１０６で算出された各ビットにおけるバイナリ値を結合し、グレイコードを算出する。Ｓ１１２において、変換処理部３９は、グレイコードを投影部１の表示素子座標の値に変換する。投影部１の表示素子座標に変換されると投影部１からの出射方向がわかるため、距離計測を行うことができるようになる。
【００７０】
Ｓ１１３において、信頼度算出部３７は、撮像画像の画素ごとに信頼度が閾値よりも大きいか否かの判定を行う。信頼度が閾値よりも大きいと判定された場合（Ｓ１１３；ＹＥＳ）、Ｓ１１４に進む。一方、信頼度が閾値より以下であると判定された場合（Ｓ１１３；ＮＯ）、Ｓ１１５に進む。
【００７１】
Ｓ１１４において、距離算出部３３は、三角測量法により距離計測処理を適用する。その後、処理を終了する。Ｓ１１５において、距離算出部３３は距離計測処理を適用せずに処理を終了する。
【００７２】
信頼度の閾値は、例えば距離計測装置が保証する計測精度を信頼度に換算することで決定できる。以上が第１実施形態の処理手順の説明である。
【００７３】
信頼度が閾値よりも低く、距離計測されなかった領域に関しては信頼度の高い領域の距離計測結果を補間処理することで穴埋めすることもできる。以上が本発明の第１実施形態に関する説明である。
【００７４】
第１実施形態によれば、計測時間の長時間化をもたらすことなく、また特殊な撮像素子を用いることなく、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することが可能となる。
【００７５】
（第２実施形態）
本発明の第２実施形態に係る距離計測装置の概略構成は第１実施形態の概略構成である図１と同様である。
【００７６】
第１実施形態では、投影パターンの輝度を変調する方向をｙ座標方向のみとしていた。そのため、計測可能な反射率範囲が１次元的に分布していた。第２実施形態では、パターンをｘ座標方向とｙ座標方向の２次元方向に変調させることで、計測可能な反射率範囲を２次元的に分布させる。
【００７７】
図１０は、第２実施形態で用いる投影パターンを示す。第２実施形態では、図１０（ａ）乃至（ｃ）に示すように、ｘ座標方向とｙ座標方向との２次元方向に輝度変調させた輝度変調波形で計測用パターンを変調する。これにより、計測可能な反射率範囲を２次元的に分布させることが可能になる。図１０（ａ）の横軸は投影パターン輝度を表しており、縦軸は投影パターンのｙ座標を表している。図１０（ｂ）は横軸をｘ座標、縦軸をｙ座標とした投影パターンである。図１０（ｃ）は横軸をｘ座標、縦軸を投影パターン輝度としたグラフである。図１０（ｄ）、（ｅ）、（ｆ）はそれぞれ第２実施形態で用いる１ビット、２ビット、３ビットのグレイコードパターンに対応する。４ｂｉｔ以降のグレイコードパターンについては省略する。
【００７８】
図１０（ｂ）中の垂直線Ｌｍｂｙ１とＬｍｂｙ２とのそれぞれの投影パターン輝度が図１０（ａ）中の波形Ｉｍｂｙ１とＩｍｂｙ２とのそれぞれに対応している。また、図１０（ｂ）中の水平線Ｌｍｂｘ１とＬｍｂｘ２とのそれぞれの投影パターン輝度が図１０（ｃ）の波形Ｉｍｂｘ１とＩｍｂｘ２とのそれぞれに対応している。ｘ座標方向とｙ座標方向との２次元方向に投影パターンを輝度変調させていることがわかる。
【００７９】
第２実施形態の処理の手順は、図９で示した第１実施形態の処理の手順と同一である。そのため、処理手順の説明は省略する。以上が第２実施形態に関する説明である。
【００８０】
第２実施形態によれば、パターンをｘ座標方向とｙ座標方向の２次元方向に変調させることにより、計測可能な反射率範囲を２次元的に分布させ、アクティブ型の距離計測装置における輝度ダイナミックレンジを拡大することが可能となる。
【００８１】
（第３実施形態）
本発明の第３実施形態に係る距離計測装置の概略構成は、第１実施形態の概略構成である図１と同様である。ただし、第３実施形態では、図１における位相算出部４０と、位相接続部４１とが機能する。各処理部の機能については後述する。第１実施形態および第２実施形態では、距離計測手法として空間符号化法を用いた。一方、第３実施形態では距離計測手法として４ステップの位相シフト法を用いる。位相シフト法では正弦波形状のパターン（正弦波パターン光）を投影する。４ステップの位相シフト法では、正弦波の位相をπ／２ずつシフトさせた４枚のパターンを投影する。第３実施形態の投影パターンを図１１に示す。図１１（ａ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。図１１（ｂ）、（ｄ）、（ｆ）、および（ｈ）は横軸をｘ座標、縦座標をｙ軸とした投影パターンである。図１１（ｃ）、（ｅ）、（ｇ）、および（ｉ）は横軸をｘ座標、縦軸を投影パターン輝度として描画したグラフである。
【００８２】
図１１（ｂ）および（ｃ）は位相シフト量が０、図１１（ｄ）および（ｅ）は位相シフト量がπ／２、図１１（ｆ）および（ｇ）は位相シフト量がπ、図１１（ｈ）および（ｉ）は位相シフト量が３π／２の投影パターンである。
【００８３】
図１１（ｂ）の垂直線Ｌｓｂｙ１１とＬｓｂｙ２１とは、図１１（ａ）の波形Ｉｓｂｙ１１とＩｓｂｙ２１にそれぞれ対応する。第２実施形態では位相シフト法の正弦波パターンをｙ座標方向の１次元方向に三角波形状で輝度変調させている。図１１（ｂ）、（ｄ）、（ｆ）、および（ｈ）の水平線Ｌｓｂｘ１１、Ｌｓｂｘ１２、Ｌｓｂｘ１３、およびＬｓｂｘ１４は、図１１（ｃ）、（ｅ）、（ｇ）、および（ｉ）の波形Ｉｓｂｘ１１、Ｉｓｂｘ１２、Ｉｓｂｘ１３、およびＩｓｂｘ１４に対応している。また、図１１（ｂ）、（ｄ）、（ｆ）、および（ｈ）の水平線Ｌｓｂｘ２１、Ｌｓｂｘ２２、Ｌｓｂｘ２３、およびＬｓｂｘ２４は、図１１（ｃ）、（ｅ）、（ｇ）、および（ｉ）の波形Ｉｓｂｘ２１、Ｉｓｂｘ２２、Ｉｓｂｘ２３、およびＩｓｂｘ２４に対応している。これらのｘ座標方向の波形から正弦波の位相をπ／２ずつシフトさせていることがわかる。また、ｙ座標位置に応じて正弦波の振幅が異なることもわかる。
【００８４】
次に、図１２を参照して、第３実施形態の処理の手順を説明する。
【００８５】
Ｓ３０１において、投影パターン制御部３１は、位相シフト量Ｐｓの初期化のために、Ｐｓに０を代入する。
【００８６】
Ｓ３０２において、投影部１は、位相シフト量Ｐｓのパターン投影を行う。Ｓ３０３において、撮像部２は、位相シフト量Ｐｓのパターンが投影された計測対象物５の画像撮像を行う。
【００８７】
Ｓ３０４において、投影パターン制御部３１は、位相シフト量Ｐｓが３π／２に達しているか否かの判定を行う。Ｐｓが３π／２に達していると判定された場合（Ｓ３０４；ＹＥＳ）、Ｓ３０６に進む。一方、Ｐｓが３π／２に達していないと判定された場合（Ｓ３０４；ＮＯ）、Ｓ３０５に進み、Ｐｓにπ／２を加算する。その後、Ｓ３０２へ戻る。Ｓ３０６において、位相算出部４０は、位相の算出を行う。各画素で以下の式（８）の演算を行い、位相φを算出する。
【００８８】
φ＝ｔａｎ−１（（Ｉ３−Ｉ１）／（Ｉ０−Ｉ２）） ・・・ （８）
ここで、Ｉ０はＰｓ＝０のときの画像輝度値、Ｉ１はＰｓ＝π／２のときの画像輝度値、Ｉ２はＰｓ＝πのときの画像輝度値、Ｉ４はＰｓ＝３π／２のときの画像輝度値である。
【００８９】
Ｓ３０７において、信頼度算出部３７は、信頼度の算出を行う。位相シフト法では画像信号として受光される正弦波の振幅が大きいほど算出される位相の算出精度が高い。従って、正弦波の振幅を計算する以下の式（９）で信頼度Ｃｆを算出することができる。
【００９０】
Ｃｆ ＝ （Ｉ０−Ｉ２）／２ｃｏｓφ・・・ （９）
また、４枚の撮像画像のいずれかが飽和している、あるいは、低レベルであると波形が正弦波から崩れるため、位相の算出精度が低下する。そこで、そのような場合にはＣｆを０とすると良い。
【００９１】
Ｓ３０８において、位相接続部４１は、算出された位相に基づいて位相接続を行う。位相接続には種々の手法が提案されている。例えば表面の連続性を利用した方法、空間符号化法を併用する方法などを用いることができる。
【００９２】
Ｓ３０９において、変換処理部３９は、位相接続された位相に基づいて投影部１の表示素子座標へ変換する。投影部１の表示素子座標に変換されると投影部１からの出射方向がわかるため、距離計測を行うことができるようになる。
【００９３】
Ｓ３１０において、信頼度算出部３７は、撮像画像の画素ごとに信頼度が閾値よりも大きいか否かの判定を行う。信頼度が閾値よりも大きいと判定された場合（Ｓ３１０；ＹＥＳ）、Ｓ３１１に進む。一方、信頼度が閾値以下であると判定された場合（Ｓ３１０；ＮＯ）、Ｓ３１２に進む。
【００９４】
Ｓ３１１において、距離算出部３３は、距離計測処理を適用する。その後、処理を終了する。
【００９５】
Ｓ３１２において、距離算出部３３は、距離計測処理を適用せずに処理を終了する。閾値は、例えば距離計測装置が保証する計測精度を信頼度に換算することで決定できる。以上が第３実施形態の処理手順の説明である。
【００９６】
第３実施形態によれば、位相シフト法の投影パターンを１次元方向に輝度変調することで、計測可能な輝度ダイナミックレンジを拡大することができる。
【００９７】
（第４実施形態）
本発明の第４実施形態に係る距離計測装置の概略構成は、第１実施形態の概略構成である図１と同様である。第４実施形態では距離計測手法として第３実施形態と同様に４ステップの位相シフト法を用いる。第４実施形態では位相シフト法の投影パターンとしてランダムに変調させた投影パターンを用いる。
【００９８】
図１３は、第４実施形態の投影パターンを示す。図１３（ａ）がランダムな輝度変調パターンを示したものである。ここでは、投影パターンを矩形領域に区切り、それぞれの矩形領域で輝度をランダムに設定している。図１の概略構成のように投影部１に表示素子を用いる場合、矩形領域のサイズは表示素子の１画素以上であれば良い。矩形領域ごとに輝度が異なるため、輝度が明るい矩形領域は暗い計測対象物に適している。一方、輝度が暗い矩形領域は明るい計測対象物に適している。第４実施形態では、輝度がランダムに設定されているので、計測可能な計測対象物の反射率の分布を空間的に均一化することができる。
【００９９】
図１３（ｂ）乃至（ｆ）に、位相シフト法の投影パターンの位相シフト量が０の場合の例を示す。図１３（ｂ）および（ｃ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。図１３（ｄ）は横軸をｘ座標、縦軸をｙ座標とした投影パターンである。図１３（ｅ）および（ｆ）は横軸をｘ座標、縦軸を投影パターン輝度として描画したグラフである。
【０１００】
図１３（ｄ）の垂直線Ｌｓｒｙ１１とＬｓｒｙ２１とは、図１３（ｂ）の波形Ｉｓｒｙ１１と図１３（ｃ）の波形Ｉｓｒｙ２１とにそれぞれ対応している。図１３（ｄ）の水平線Ｌｓｒｘ１１とＬｓｒｘ２１とは、図１３（ｅ）の波形Ｉｓｒｘ１１と図１３（ｆ）の波形Ｉｓｒｘ２１とにそれぞれ対応している。第４実施形態では、位相シフト法の正弦波パターンを矩形領域に区切り、それぞれの矩形領域で輝度をランダムに設定し、輝度変調させていることがわかる。図１３（ｅ）と（ｆ）とから、ｘ座標方向には正弦波を領域ごとにランダムに設定した輝度で、輝度変調していることがわかる。
【０１０１】
図１３では位相シフト量がπ／２、π、および３π／２の投影パターンの図示は省略したが、図１３と同様に輝度変調させた投影パターンを用意しておく。そして、図１２のフローチャートを参照して説明した第３実施形態と同様の処理手順で距離計測を行う。処理手順の説明は、図１２の説明と同一であるため省略する。以上が第４実施形態に関する説明である。
【０１０２】
第４実施形態によれば、位相シフト法の投影パターンとしてランダムに変調させた投影パターンを用いて、位相シフト法の投影パターンを２次元方向に輝度変調することにより、計測可能な輝度ダイナミックレンジを拡大することができる。
【０１０３】
（第５実施形態）
本発明の第５実施形態に係る距離計測装置の概略構成は、第１実施形態の概略構成である図１と同様である。ただし、第５実施形態では、図１におけるライン抽出部４２と、要素情報抽出部４３とが機能する。各処理部の機能については後述する。第５実施形態では、距離計測手法としてグリッドパターン投影法を用いる。そして、グリッドパターン投影法の投影パターンを矩形領域に区切り、領域ごとに輝度変調させた投影パターンを用いる。
【０１０４】
図１４は、第５実施形態で用いるグリッドパターン投影法のパターンを示す。図１４（ａ）は従来のグリッドパターン法で用いる投影パターンの一例である。グリッドパターン投影法では縦ラインおよび横ラインの有無を、Ｍ系列やｄｅ Ｂｒｕｉｊｎ系列などに基づいて決定し、符号化する方式である。図１４（ａ）は、Ｍ系列に基づくグリッド状パターン光の例を示している。ｘ座標方向は４次のＭ系列であり、ｙ座標方向は３次のＭ系列である。Ｍ系列がｎ次の場合、ｎビット分の系列情報を抽出すると、その並びの系列は、系列中に１度しか発生しない。その性質を利用して、ｎビット分の系列情報の抽出により、表示素子中の座標を一意に特定する。図１４（ａ）中では、要素が０の場合はライン無しとし、要素が１の場合はライン有りとしている。要素１が隣り合う場合を明確に区別できるように、それぞれの要素間に０と同一輝度の領域を設けている。
【０１０５】
図１４（ｂ）は、図１４（ａ）の投影パターンに対する輝度変調パターンを示したものである。図１４（ｂ）では、矩形領域ごとに輝度を変えている。矩形領域のサイズはｘ座標とｙ座標ともにｎビット分の系列情報を同一矩形領域に含むように設定する必要がある。図１４（ｂ）では、それぞれの矩形領域がｘ座標方向に４ビット分の系列情報を、ｙ座標方向に３ビット分の系列情報を含むように設定している。図１４（ｃ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。図１４（ｂ）の垂直線Ｌｓｇｙ１１が図１４（ｃ）の波形Ｉｓｇｙ１１に対応する。図１４（ｃ）から、矩形領域ごとに輝度を変えているため、ステップ波形状で輝度変調していることがわかる。
【０１０６】
図１４（ｄ）が第５実施形態で用いる投影パターンであり、図１４（ｂ）の輝度変調パターンにより図１４（ａ）の投影パターンを輝度変調したものである。図１４（ｅ）は横軸を投影パターン輝度、縦軸をｙ座標として描画したグラフである。投影パターンの輝度が矩形領域ごとに異なることがわかる。このように領域に応じて投影パターン輝度を変調させることで、領域内で計測可能な計測対象物の反射率を任意に設定することができる。また、矩形領域のサイズをＭ系列の次数に対応するビットを含むように設定しているので、距離計測処理が破綻することもない。
【０１０７】
次に、図１５のフローチャートを参照して、第５実施形態の処理手順を説明する。Ｓ５０１において、投影部１は、図１４（ｄ）で示した投影パターンを計測対象物に投影する。Ｓ５０２において、撮像部２は、投影パターンが投影された計測対象物の画像撮像を行う。その後、Ｓ５０３およびＳ５０７へ進む。
【０１０８】
Ｓ５０３において、ライン抽出部４２は、撮像画像から横ラインを抽出する。横ラインの抽出にはＳｏｂｅｌフィルタなどの各種エッジ検出フィルタを用いる。Ｓ５０４において、信頼度算出部３７は、ラインの抽出時に用いたフィルタの出力値に応じて信頼度を算出する。通常、撮像画像のパターンのコントラストが高いほど、フィルタの出力値が高くなるため、フィルタの出力値を信頼度として用いることができる。
【０１０９】
Ｓ５０５において、要素情報抽出部４３は、要素情報を抽出する。画像の各部位ごとにラインの有無に基づいて１と０の値を割り当てる。
【０１１０】
Ｓ５０６において、変換処理部３９は、抽出された要素情報から表示素子のｙ座標への変換を行う。要素情報が抽出され、Ｍ系列の次数分だけつなげると、それぞれの要素が全系列中のどの位置に対応するのかを一意に特定できる。これにより、表示素子のｙ座標へ変換することができる。Ｓ５０７において、ライン抽出部４２は、撮像画像から縦ラインを抽出する。縦ラインの抽出にはＳｏｂｅｌフィルタなどの各種エッジ検出フィルタを用いる。
【０１１１】
Ｓ５０８において、信頼度算出部３７は、ラインの検出時に用いたフィルタの出力値に応じて信頼度を算出する。通常、撮影画像のパターンのコントラストが高いほど、フィルタの出力値が高くなるため、フィルタの出力値を信頼度として用いることができる。
【０１１２】
Ｓ５０９において、要素情報抽出部４３は、要素情報を抽出する。画像の各部位ごとにラインの有無に基づいて１と０の値を割り当てる。Ｓ５１０において、変換処理部３９は、抽出された要素情報から表示素子のｘ座標への変換を行う。要素情報が抽出され、Ｍ系列の次数分だけつなげると、それぞれの要素が全系列中のどの位置に対応するのかを一意に特定できる。これにより、表示素子のｘ座標へ変換することができる。
【０１１３】
Ｓ５１１において、信頼度算出部３７は、算出された縦ラインと横ラインとののいずれかの信頼度が閾値以上であるか否かを判定する。縦ラインと横ラインのいずれかの信頼度が閾値よりも大きいと判定された場合（Ｓ５１１；ＹＥＳ）、Ｓ５１２に進む。一方、縦ラインおよび横ラインの信頼度がともに閾値以下であると判定された場合（Ｓ５１１；ＮＯ）、Ｓ５１３に進む。
【０１１４】
Ｓ５１２において、距離算出部３３は、表示素子のｘ座標、または、ｙ座標に基づいて三角測量法で距離計測を行う。その後、処理を終了する。Ｓ５１３において、距離算出部３３は、距離計測処理を適用せずに、処理を終了する。
【０１１５】
以上が第５実施形態の処理手順の説明である。第５実施形態では、Ｍ系列に基づくグリッドパターン投影法に本発明を適用した例を説明した。ただし、本発明はｄｅ Ｂｒｕｊｉｎ系列を含む他の系列に基づくグリッドパターン投影法にも適用できる。
【０１１６】
第５実施形態によれば、グリッドパターン投影法の投影パターンを矩形領域に区切り、領域ごとに輝度変調させた投影パターンを用いることにより、計測可能な輝度ダイナミックレンジを拡大することができる。
【０１１７】
以上、第１実施形態および第２実施形態では、本発明を空間符号化法に適用した例を、第３実施形態および第４実施形態では、本発明を位相シフト法に適用した例を説明した。また、第５実施形態では、本発明をグリッドパターン投影法に適用した例を説明した。ただし、本発明が適用できるのは各実施形態で説明した３手法に限られるものではなく、光切断法を含む各種パターン投影法に適用可能である。
【０１１８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光の二次元位置ごとに所定の輝度値範囲で変調させる変調手段と、
前記変調手段により変調された前記パターン光を前記計測対象物に対して投影する投影手段と、
前記投影手段により前記パターン光が投影された前記計測対象物を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像に基づいて前記計測対象物までの距離を算出する距離算出手段と、
を備えることを特徴とする距離計測装置。
【請求項２】
前記変調手段は、前記パターン光の輝度値を、当該パターン光が投影される二次元位置ごとに所定の輝度値範囲で、前記投影手段と前記撮像手段とを結ぶ基線方向とは異なる方向に変調させることを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記変調手段は、所定の輝度値周期で、前記基線方向とは異なる方向に前記パターン光の輝度値を変調させることを特徴とする請求項２に記載の距離計測装置。
【請求項４】
前記所定の輝度値周期は、三角波、ステップ波、および鋸波のうちの何れか１つの輝度値周期であることを特徴とする請求項３に記載の距離計測装置。
【請求項５】
前記変調手段は、前記パターン光の輝度値をランダムに変調させることを特徴とする請求項２に記載の距離計測装置。
【請求項６】
前記基線方向とは異なる方向は、前記基線方向と垂直な方向であることを特徴とする請求項２乃至５の何れか１項に記載の距離計測装置。
【請求項７】
前記基線方向は、前記投影手段と前記撮像手段と前記計測対象物との空間的な配置関係により決定されるエピポーラライン方向であることを特徴とする請求項２乃至５の何れか１項に記載の距離計測装置。
【請求項８】
前記計測用のパターン光は、グレイコードパターン光であり、
前記距離算出手段は、前記撮像画像に基づいて、空間符号化法を用いて距離を算出することを特徴とする請求項１に記載の距離計測装置。
【請求項９】
前記計測用のパターン光は、正弦波パターン光であり、
前記距離算出手段は、前記撮像画像に基づいて、位相シフト法を用いて距離を算出することを特徴とする請求項１に記載の距離計測装置。
【請求項１０】
前記計測用のパターン光は、グリッド状パターンであり、
前記距離算出手段は、前記撮像画像に基づいて、グリッドパターン投影法を用いて距離を算出することを特徴とする請求項１に記載の距離計測装置。
【請求項１１】
変調手段と、投影手段と、撮像手段と、距離算出手段とを備える距離計測装置における距離計測方法であって、
前記変調手段が、計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光が投影される二次元位置ごとに所定の輝度値範囲で変調させる変調工程と、
前記投影手段が、前記変調工程により変調された前記パターン光を前記計測対象物に対して投影する投影工程と、
前記撮像手段が、前記投影工程により前記パターン光が投影された前記計測対象物を撮像する撮像工程と、
前記距離算出手段が、前記撮像工程により撮像された撮像画像に基づいて前記計測対象物までの距離を算出する距離算出工程と、
を備えることを特徴とする距離計測方法。
【請求項１２】
請求項１１に記載の距離計測方法における各工程をコンピュータに実行させるためのプログラム。
【請求項１】
計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光の二次元位置ごとに所定の輝度値範囲で変調させる変調手段と、
前記変調手段により変調された前記パターン光を前記計測対象物に対して投影する投影手段と、
前記投影手段により前記パターン光が投影された前記計測対象物を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像に基づいて前記計測対象物までの距離を算出する距離算出手段と、
を備えることを特徴とする距離計測装置。
【請求項２】
前記変調手段は、前記パターン光の輝度値を、当該パターン光が投影される二次元位置ごとに所定の輝度値範囲で、前記投影手段と前記撮像手段とを結ぶ基線方向とは異なる方向に変調させることを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記変調手段は、所定の輝度値周期で、前記基線方向とは異なる方向に前記パターン光の輝度値を変調させることを特徴とする請求項２に記載の距離計測装置。
【請求項４】
前記所定の輝度値周期は、三角波、ステップ波、および鋸波のうちの何れか１つの輝度値周期であることを特徴とする請求項３に記載の距離計測装置。
【請求項５】
前記変調手段は、前記パターン光の輝度値をランダムに変調させることを特徴とする請求項２に記載の距離計測装置。
【請求項６】
前記基線方向とは異なる方向は、前記基線方向と垂直な方向であることを特徴とする請求項２乃至５の何れか１項に記載の距離計測装置。
【請求項７】
前記基線方向は、前記投影手段と前記撮像手段と前記計測対象物との空間的な配置関係により決定されるエピポーラライン方向であることを特徴とする請求項２乃至５の何れか１項に記載の距離計測装置。
【請求項８】
前記計測用のパターン光は、グレイコードパターン光であり、
前記距離算出手段は、前記撮像画像に基づいて、空間符号化法を用いて距離を算出することを特徴とする請求項１に記載の距離計測装置。
【請求項９】
前記計測用のパターン光は、正弦波パターン光であり、
前記距離算出手段は、前記撮像画像に基づいて、位相シフト法を用いて距離を算出することを特徴とする請求項１に記載の距離計測装置。
【請求項１０】
前記計測用のパターン光は、グリッド状パターンであり、
前記距離算出手段は、前記撮像画像に基づいて、グリッドパターン投影法を用いて距離を算出することを特徴とする請求項１に記載の距離計測装置。
【請求項１１】
変調手段と、投影手段と、撮像手段と、距離算出手段とを備える距離計測装置における距離計測方法であって、
前記変調手段が、計測対象物に対して投影される計測用のパターン光の輝度値を、当該パターン光が投影される二次元位置ごとに所定の輝度値範囲で変調させる変調工程と、
前記投影手段が、前記変調工程により変調された前記パターン光を前記計測対象物に対して投影する投影工程と、
前記撮像手段が、前記投影工程により前記パターン光が投影された前記計測対象物を撮像する撮像工程と、
前記距離算出手段が、前記撮像工程により撮像された撮像画像に基づいて前記計測対象物までの距離を算出する距離算出工程と、
を備えることを特徴とする距離計測方法。
【請求項１２】
請求項１１に記載の距離計測方法における各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図９】
【図１２】
【図１５】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図９】
【図１２】
【図１５】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【公開番号】特開２０１２−１２７８２１（Ｐ２０１２−１２７８２１Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９８７５（Ｐ２０１０−２７９８７５）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]