三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
【課題】少ない投影パターン数で、形状変化が急激な計測対象や不連続な計測対象の高精度な形状計測を可能とする。
【解決手段】三次元形状計測装置は、明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、パターンが投影された計測空間を撮影する撮像手段とを備え、計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置であって、撮影手段により得られた撮影画像のパターンの明るさ変化からパターンの局所的な配置情報を算出する局所配置情報算出手段と、撮影画像におけるパターンのボケ量を算出するボケ量算出手段と、局所配置情報とボケ量とに基づき、計測対象の三次元形状を算出する三次元形状算出手段とをさらに備える。
【解決手段】三次元形状計測装置は、明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、パターンが投影された計測空間を撮影する撮像手段とを備え、計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置であって、撮影手段により得られた撮影画像のパターンの明るさ変化からパターンの局所的な配置情報を算出する局所配置情報算出手段と、撮影画像におけるパターンのボケ量を算出するボケ量算出手段と、局所配置情報とボケ量とに基づき、計測対象の三次元形状を算出する三次元形状算出手段とをさらに備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元形状測定装置、三次元形状測定方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
三次元形状計測法としては種々の手法が提案されている。大まかに分類すると、照明装置を用いずに撮像装置だけで形状計測を行うパッシブ型と、照明装置と撮像装置を組み合わせて用いるアクティブ型がある。アクティブ型はパッシブ型に比べ、計測対象に対するロバスト性が高く、高精度な距離計測が可能である。アクティブ型では、計測対象の表面テクスチャ情報が少ない場合でも投影された照明パターンを手がかりにして形状計測を行うため、表面テクスチャ情報に影響されにくい。アクティブ型の代表例として、三角測量に基づく手法、位相情報変化に基づく手法、投影パターンのデフォーカス情報に基づく手法がある。
【０００３】
このうち、パターンの位相情報変化を利用した手法は、縞パターン投影法と呼ばれ、代表的手法の１つにフーリエ変換法（非特許文献１を参照）がある。しかし、この方法は、計測できる位相変化が特定範囲に限定されるため、範囲外の形状変化が起こると位相の折り返しが生じ、位相接続をする必要がある。よって、滑らかな形状をした計測対象であれば、位相の連続性を用いて位相接続は比較的容易に実現できるが、形状変化が急激な計測対象や不連続な計測対象の場合、位相接続が困難になる。
【０００４】
また、投影パターンのデフォーカス情報に基づく手法として、撮像光学系によるデフォーカスを利用した形状計測手法（特許文献１を参照）や投影光学系によるデフォーカスを利用した形状計測手法（非特許文献２を参照）がある。後者では、撮像光学系がパンフォーカスである場合、投影光学系の焦点位置からのずれ量に比例してボケ量が大きくなる。このボケを画像上でのパターンの広がりとして評価し形状を計測する。具体的には、矩形状の投影パターンを細かくシフトさせた２４種類のパターンを投影し、撮像する。デフォーカス量は、画像の各画素の輝度値をパターンごとに時系列的に並べて輝度値の変動で算出する。この手法では、奥行きの絶対値が算出可能なものの、パターンの投影数を多くする必要があるため、実時間の計測には向かない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３４８１６３１号公報
【非特許文献】
【０００６】
【非特許文献１】M.Takeda and K.Mutoh, "Fourier transform profilometry for automatic measurement of 3-D object shapes," Appl.Opt. Vol. 22, No. 24, P. 3977〜3982(1983).
【非特許文献２】Li Zhang and Shree Nayar, "Projection defocus analysis for scene capture and image display," ACM Trans. on Graphics, Vol. 25, 3, P. 907〜915 (July 2006).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のように、形状変化が急激な計測対象や不連続な計測対象を少ない投影パターン数で詳細な形状まで計測可能な三次元形状計測技術は提案されていない。そこで、本発明は、少ない投影パターン数で、形状変化が急激な計測対象や不連続な計測対象の高精度な形状計測を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明は、明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、前記パターンが投影された計測空間を撮影する撮像手段とを備え、前記計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置であって、前記撮影手段により得られた撮影画像の前記パターンの明るさ変化から前記パターンの局所的な配置情報を算出する局所配置情報算出手段と、前記撮影画像における前記パターンのボケ量を算出するボケ量算出手段と、前記局所配置情報と前記ボケ量とに基づき、前記計測対象の三次元形状を算出する三次元形状算出手段とをさらに備える。
【発明の効果】
【０００９】
本発明によれば、少ない投影パターン数で、形状変化が急激な計測対象や不連続な計測対象の高精度な形状計測が可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１の三次元形状計測装置１００の構成例を示す図。
【図２】実施形態１のパターン投影部１の投影パターン例を示す図。
【図３】パターン投影部１にパターンを表示せずにシーン撮影した例を示す図。
【図４】図３の状況でパターン投影した場合の撮影画像の一例を示す図。
【図５】投影パターンのデフォーカス量を説明するための図。
【図６】キャリブレーションを行う場合の装置の構成例を示す図。
【図７】キャリブレーションボードの一例を示す図。
【図８】キャリブレーション処理の一例を示すフローチャート。
【図９】パターン投影されたキャリブレーションボードの撮影例を示す図。
【図１０】コントラスト値と撮影部２からの奥行き値の対応例を示すグラフ。
【図１１】詳細なキャリブレーションを行う場合の構成例を示す図。
【図１２】実施形態１における三次元形状計測処理の一例を示すフローチャート。
【図１３】フーリエ変換法の原理を説明するための図。
【図１４】折りたたまれた位相φｗ（ｘ、ｙ）の算出結果例を示す図。
【図１５】コントラスト値及び標準偏差値の算出結果の一例を示す図。
【図１６】位相情報φ（ｘ、ｙ）算出の過程を説明するための図。
【図１７】位相情報の補正方法を説明するための図。
【図１８】実施形態２の三次元形状計測装置２００の構成例を示す図。
【図１９】実施形態２のパターン投影部１の投影パターン例を示す図。
【図２０】実施形態２における三次元形状計測処理の一例を示すフローチャート。
【図２１】位相シフト法による位相算出の原理を説明するための図。
【図２２】実施形態３の投影パターンと、位相φｗ（ｘ、ｙ）の算出結果を示す図。
【図２３】実施形態４の投影パターンと、位相φｗ（ｘ、ｙ）の算出結果を示す図。
【図２４】実施形態５の三次元形状計測装置３００の構成例を示す図。
【図２５】実施形態５の投影パターン、および、局所配置情報の算出方法を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１２】
［実施形態１］
図１に本発明の実施形態１に係る形状計測装置１００の概略上面図を示す。撮影部２の光学中心Ｏが世界座標系（Ｘ、Ｙ、Ｚ）の原点になるように配置している。また、Ｚ軸を撮影部２の光軸と一致させ、水平方向右向きにＸ軸を、鉛直方向下向きにＹ軸をとる。実施形態１ではパターン投影部１の光軸と撮影部２の光軸が平行になるように配置する。パターン投影部１の光学中心Ｃは撮影部２の光学中心ＯからＸ軸上で距離Ｄだけ離れた位置に配置される。パターン投影部１の水平半画角をθＸ、垂直半画角をθＹとした。また、撮影部２の水平半画角をψＸ、垂直半画角をψＹとした。図１において、計測対象は撮影部２の光学中心Ｏから距離Ｚ１の位置にある円柱４１と、撮影部の光学中心Ｏから距離Ｚ２の距離にある角柱４２である。
【００１３】
パターン投影部１は画像表示素子１１、投影光学系１２を含む。パターン投影部１には液晶プロジェクターなどの特定の位置に、周期性を有するパターンを結像可能な、結像光学系を有する投影装置を用いる。パターン投影部１の焦点はシーンの基準面３に合わせている。パターン投影部１の光学中心Ｃから基準面３の距離はＬである。基準面３は計測範囲の最も後方に設定することが望ましい。これは、基準面よりも手前と奥の両方に計測対象が存在する場合、投影パターンのボケが合焦位置より手前にあるために生じたのか、奥にあるために生じたのかを見分けることができなくなるためである。奥行き計測可能な計測空間はパターン投影部１の投影範囲、撮影部２の撮影範囲、基準面よりも撮影部側の３つの範囲が重なる太実線で示した範囲４０で規定される。ただし、物体によるオクルージョンが発生する部位は範囲内であっても計測可能ではない。
【００１４】
パターン投影部１で投影するパターンの一例を図２に示す。図２（ａ）に示すように、投影パターンは、照明の強度が正弦波状に最大強度Ｉｍａｘと最小強度Ｉｍｉｎとの間で変動するような周期性を有するパターンである。実施形態１では、パターン投影部１が１種類のパターンを投影する場合を説明する。基準面３上でピッチがｐとなるよう調整されている。基準面３からずれた位置での正弦波状のパターンの例は図２（ｂ）に示す通りである。投影光学系の焦点位置である基準面３からの位置ずれの影響により、ボケが発生する。ボケの発生量はデフォーカス量に依存するため、実施形態１では、ボケ量の基準量としてデフォーカス量を用い、ボケ量算出のためにデフォーカス量を算出する。デフォーカスの発生により、最大強度Ｉｍａｘが低下し、最小強度Ｉｍｉｎが増加する。すなわち、以下の式（１）で記述されるコントラストＣが低下する。
Ｃ＝（Ｉmax - Ｉmin）／（Ｉmax＋Ｉmin）・・・式（１）
また、デフォーカスの発生量が大きいほど、投影パターンはグレーに近づくため、画像輝度の標準偏差も小さくなる。標準偏差ＳＤは以下の式（２）で記述される。
ここで、Ｎはある画像領域内における画素の総数、Ｉaveはある画像領域内での画像輝度の平均値、Ｉｉは画像領域内の各画素の輝度である。
【００１５】
図１の説明に戻り、撮影部２は撮像素子２１、撮影レンズ２２を含む。撮像素子２１にはＣＭＯＳセンサやＣＣＤなどの光電変換素子を用いることができる。撮影レンズ２２の焦点距離をＦｃとする。歪曲収差などの各種カメラパラメータは予めキャリブレーションしてあるものとする。パターン投影部１の投影光学系によるデフォーカスと撮影部２の撮像光学系によるデフォーカスを分離するため、撮像光学系のデフォーカスを無視できるような条件で撮影する必要がある。具体的には、撮影部２の絞りを十分に絞り、被写界深度を深くしておく必要がある。ただし、絞りを絞りすぎると回折の影響により、像は逆にボケてしまうため注意が必要である。
【００１６】
撮影部２の前方被写界深度と後方被写界深度はそれぞれ以下の式（３）と式（４）から計算される。
φr×Ｆｎｏ×Ｚs2／（Ｆｃ2＋φr×Ｆｎｏ×Ｚs）・・・式（３）
φｒ×Ｆｎｏ×Ｚs2／（Ｆｃ2−φr×Ｆｎｏ×Ｚs）・・・式（４）
ここで、φrは許容錯乱円径、ＦｎｏはＦ値（絞り値）、Ｚsは被写体距離、Ｆｃは撮像光学系の焦点距離である。前方被写界深度と後方被写界深度の和が撮像光学系の被写界深度である。
【００１７】
例えば、１／２インチ、ＶＧＡ、焦点距離16mmのレンズからなるカメラを用いて、１ｍ離れた３０cmの奥行き範囲のシーンを撮影する場合を考える。許容錯乱円径φrが撮像素子のピクセルピッチが0.01mmであるとすると、Ｆ値は４よりも大きく設定する必要がある。一方、回折によるボケの限界は以下のエアリーの式（５）で計算される。
１．２２×λ×Ｆｎｏ・・・式（５）
ここでλは光の波長である。可視光において最も長波長だと言われる780nmで計算すると、撮像素子のピクセルピッチが0.01mmであればＦ値はＦ１１よりも小さくすれば回折による影響はなくなる。つまり、上記条件ではＦ値をＦ４〜Ｆ８の間に設定する必要がある。
【００１８】
パターン投影部１にパターンを表示せずに、円柱４１、角柱４２からなるシーンを撮影すると図３の撮影画像６０のようになる。画像６０は円柱６１、角柱６２を含む。画像座標のｘ軸は基準面３に向かって右方向、ｙ軸は同様に下方向にとる。また、画像座標の原点oは左上とする。
【００１９】
次に、パターン投影部１により、図２のパターンを投影すると図４の画像６３に示すようになる。画像６３は円柱６４、角柱６５を含む。ただし、図４ではパターン投影部１の光学系によるデフォーカスは考慮していない。また、正弦波状の強度変動も簡略化して２値で示している。実際には投影光学系のデフォーカスにより、パターンのコントラストは低下する。
【００２０】
ここで、パターン投影部１により投影された投影パターンのデフォーカス量は、焦点位置からの位置ずれ量と、投影光学系の開口径に依存する。これを図５を用いて説明する。図５（ａ）に開口径がＡ１、図５（ｂ）に開口径がＡ２であるときの投影光学系と投影像の模式図を示す。Ａ１とＡ２の関係はＡ１＞Ａ２である。図５（ａ）において、画像表示素子１１の実像が１３である。簡単のために、投影光学系１２は一つのレンズで示した。投影光学系１２の焦点距離をＦｐ、画像表示素子１１と投影光学系１２との距離をｄとした。以下の式（６）で表される結像公式を変形した式（７）により、レンズから結像面Ｐｆまでの距離ｄｉが導かれる。
１／Ｆｐ＝１／ｄ＋１／ｄｉ・・・式（６）
ｄｉ＝ｄ・Ｆｐ／（ｄ−Ｆｐ）・・・式（７）
結像面Ｐｆよりもαだけ手前の平面Ｐ１では像が広がる。開口径をＡとするとこの像の広がりＢは幾何光学的に以下の式（８）で記述される。
【００２１】
Ｂ＝α・Ａ／ｄｉ・・・式（８）
結像位置からの位置ずれ量αが大きいほど、像の広がりＢ、すなわち、デフォーカス量が増大することがわかる。簡単のために幾何光学的に算出される関係を記述した。しかし、波動光学的に考えると像の広がりは回折の影響を考慮する必要があるが、ここでは省略する。つまり、パターン投影部１による投影パターンのデフォーカス量を評価することで基準面３からの計測対象までの距離を推定できる。一方、式（８）から開口径Ａが大きくなる程、デフォーカス量も増加することがわかる。図５（ａ）に開口径Ａ１のときの像の広がりＢ１を、図５（ｂ）に開口径Ａ２のときの像の広がりＢ２を示したが、Ｂ１＞Ｂ２である。
【００２２】
開口径が大きい程、位置ずれに対するデフォーカス変化が大きくなるため、距離の推定精度が向上する。ただし、デフォーカス量がある一定量を超えると、位置ずれによる変化分を算出することができなくなるため、デフォーカス量を推定可能な距離範囲には制限がある。この距離範囲は開口径が小さい程広い。したがって、計測可能な距離範囲を広くとりたい場合には、開口径をある程度小さくする必要がある。ただし、距離範囲を広くとると位置ずれに対するデフォーカス量変化が小さくなるため感度が下がり、物体の詳細な形状を計測することはできなくなる。
【００２３】
実施形態１の形状計測装置１００では形状計測を行う前に、デフォーカス量と奥行き位置の関係を取得するためのキャリブレーションが必要になる。まず、図６乃至図１０を用いて簡易なキャリブレーションの方法を述べる。図６（ａ）にキャリブレーションを行うための装置の概略上面図を、図６（ｂ）に概略側面図を示す。パターン投影部１の焦点は図１の構成と同様、基準面３に合わせる。撮影部２から撮影可能範囲の最近点までの距離をＺｏとする。キャリブレーションボード５０はキャリブレーション用に使用するボードであって、図７に示すように平面板でできており、一定間隔でドットが描かれている。また、キャリブレーションボード５０は図６（ｂ）に示すように傾いて配置されており、各ドットの世界座標値（Ｘ、Ｙ、Ｚ）は既知であるものとする。これは公知のカメラキャリブレーション手法を用いることで実現される。
【００２４】
図８を参照して、形状計測装置１００におけるキャリブレーション処理を説明する。まず、Ｓ０１では、パターン投影部１がパターン投影を行う。具体的に、図２に示すような正弦波的に強度が変化するパターンをキャリブレーションボード５０に投影する。次にＳ０２では、撮影部２がパターンが投影されたキャリブレーションボード５０を撮影する。このとき、例えば図９に示すような撮影画像５１が得られる。画像５１は、キャリブレーションボード５０を含む。図９では簡単のために、パターンの本数を少なく描いたが、撮影部２に近い画像の下部ほど、投影パターンのデフォーカスが大きくなる。次にＳ０３では、デフォーカス量算出部８が投影パターンのデフォーカス量を算出する。デフォーカス量の算出にはコントラスト値、または、標準偏差値を使用する。
【００２５】
まず、コントラスト値の計算方法について説明する。キャリブレーションボード５０を図６（ｂ）に示すように配置しているため、画像の同一ｙ座標での奥行き値は等しいと考えられる。そこで画像５１中の領域５３Ａのような複数周期のパターンを含む領域を考える。その領域の中で画像輝度から上記式（１）によりコントラストＣを計算する。式（１）でＩｍａｘは画像領域内での最大輝度、Ｉｍｉｎは画像領域内での最低輝度である。例えば画像領域５３Ｂのように領域をｙ方向にシフトさせながら全てのｙ座標に対して計算を行う。ただし、画像領域中にキャリブレーションボードのドットを含む場合にはノイズの原因となるため、その領域が除外した方が良い。
【００２６】
次に標準偏差値の計算方法について説明する。コントラスト値と同様、領域５３Ａのような複数周期のパターンを含む領域を考える。標準偏差値の場合は、その領域の中で上記式（２）により、ＳＤ値を計算する。この領域をｙ方向にシフトさせながら全てのｙ座標に対して計算を行う。
【００２７】
図８の説明に戻り、Ｓ０４では奥行き補間処理を行う。具体的には、キャリブレーションボード５０が平面であると仮定し、ドット間の奥行き値を補間処理により算出する。キャリブレーションボード５０が略平面であれば、線形補間で算出可能である。多少の歪みがある場合には、非線形な補間の方が好適な場合もある。次に、Ｓ０５では、奥行き値とデフォーカス量のテーブル作成を行う。具体的に、Ｓ０３で算出したデフォーカス量と、補間処理により求めたキャリブレーションボード５０の奥行き値の対応関係を求める。例えば、基準面３に近い奥行きでは撮影画像のコントラスト値Ｃは高く、撮影部２に近づくにつれて、撮影画像のコントラスト値は低下するため、図１０に示す曲線が描かれる。図１０では、デフォーカス量としてコントラスト値を用いた場合を示している。曲線は最小二乗法などを用いて関数近似しても良い。
【００２８】
この手法では画像の画面全体でデフォーカスが変動しないという仮定を置いている。この過程が成立するのは、プロジェクターの収差による影響が小さく、投影パターンの位置に応じたデフォーカス量の変動が無視できる場合である。像面湾曲の影響が大きい場合には、投影画像の中心部と周辺部でデフォーカス量が変わるため、厳密なキャリブレーションが必要になることもある。厳密にキャリブレーションするためには、画像のピクセルごとに個別にデフォーカス量と奥行き値の関係を求める必要がある。
【００２９】
図１１を用いてこれを説明する。この手法ではキャリブレーションボード５０をＹ軸方向に動かすため、図１１に示すようにキャリブレーションボード移動部５４が必要になる。キャリブレーションボード５０を動作させる幅がＹｓ、シフトさせる回数をＮ回とすると、シフトピッチＳｐは以下の式（９）で記述される。
Ｓｐ＝Ｙｓ／Ｎ・・・式（９）
キャリブレーションボード５０のシフトピッチＳｐが小さいほど、キャリブレーションの精度は向上する。この場合の厳密なキャリブレーションの処理では、図８に示したフローに対応する処理の前後に追加の処理を行う。まず、Ｓ０１のパターン撮影の前にキャリブレーションボード５０を初期位置に移動する。その後、図８のＳ０１からＳ０５を実行する。厳密なキャリブレーションの場合、撮影回数をカウントしておき、Ｓ０５の処理が完了するたびに撮影回数がキャリブレーションを終了すべき所定回数Ｎ回に達したかどうかを判定する。もし、撮影回数が所定回数Ｎ回に満たなければ、キャリブレーションボード５０をシフトピッチＳｐだけ移動させた後、Ｓ０１乃至Ｓ０６を繰り返す。撮影回数が所定回数Ｎ回となった場合は、キャリブレーションを終了する。このような処理に寄れば、画像の全画素に対してデフォーカス量と奥行き位置の対応関係が求まるため、キャリブレーションの精度が向上する。
【００３０】
次に、実施形態１の形状計測装置１００による形状計測の手順を説明する。形状計測は図１２に示すフローチャートに沿って行われる。該フローチャートに対応する処理は、パターン投影部１、撮影部２、位相情報算出部７、デフォーカス量算出部８及び三次元形状算出部９が、対応する処理プログラムを実行することにより実現される。
【００３１】
まず、Ｓ１０では、パターン投影（Ｓ１１）と画像撮影（Ｓ１２）からなる画像撮影工程が実施される。Ｓ１０のパターン投影ではパターン投影部１により撮影対象シーンにパターンを投影する。Ｓ１２では撮影部２により撮影対象シーンを画像撮影する。続いて、Ｓ２０では、フーリエ変換（Ｓ２１）、基本周波数成分抽出（Ｓ２２）、原点へのシフト（Ｓ２３）、逆フーリエ変換（Ｓ２４）、位相情報抽出（Ｓ２５）からなる位相情報算出工程が位相情報算出部７により実施される。
【００３２】
実施形態１の位相情報の算出はフーリエ変換法に基づいている。そのため、非特許文献１で開示されるフーリエ変換法の原理について図１３を参照して説明する。図１３では、パターン投影部１と撮影部２が平行な場合の光学的な配置を示す。パターン投影部１の光軸ＣからＬだけ離れた位置に基準面３がある。また、パターン投影部１の光軸ＣからＺｓだけ離れた位置に物体面Ｍがあるとする。基準面３から物体面Ｍまでの距離をＨとする。投影部により、基準面上にはピッチｐで周期的に変動する正弦波状のパターンが投影される。撮像面上での観察される像gB(x,y)はフーリエ級数で式（１０）のように表現される。
ここでｆ0は観察される縞パターンの基本周波数であり、以下の式（１１）で記述される。
ｆ０＝１／ｐ・・・式（１１）
ｐは基準面上でのパターンのピッチ、Ａｎは強度の最大振幅である。シーンに計測対象がある場合、基準面から計測対象までの距離に応じて観測される縞の位相は変化する。例えば、基準面上ではＢの位置に投影され、像面に結像される点があるとする。ここで、物体が基準面から距離Ｈだけ離れているとすると、点Ｍに投影されるため、像面上では距離ＳＭだけずれた状態で観測される。この距離はｘとｙに依存して変化するため、式（１０）は以下の式（１２）のように修正される。
ここで、φ（x,y） ＝ ２πｆ0Ｓ（x,y） である。また、物体表面の反射率ｒ（ｘ、ｙ）の変動も考慮する必要がある。したがって、式（１２）は以下の式（１３）のように変形される。
式（１３）で与えられる歪んだパターン像は、次のように解釈することができる。位相φ（ｘ、ｙ）と振幅ｒ（ｘ、ｙ）と空間搬送周波数ｎｆｏを有する多次元信号である。位相が三次元形状の情報を有しているため、不均一な反射振幅ｒ（ｘ、ｙ）を分離して、φ（ｘ、ｙ）をいかにして求めるかという問題になる。
式（１３）を以下の式（１４）のように書き直す。
ここで、ｑn（x,y） ＝ Ａnｒ(x,y)・exp(inφ(x,y))である。ＦＦＴアルゴリズムにより、ｙを固定にして、式（１４）の１次元のフーリエ変換を計算すると以下の式（１５）になる。
ここで、Ｇ（ｆ、ｙ）とＱn（ｆ、ｙ）は、ｇ（ｘ、ｙ）とｑn（ｘ、ｙ）のｙを固定して変数ｘに関するそれぞれフーリエスペクトルである。ほとんどの場合、すべてのスペクトルＱn（ｆ−ｎｆ０、ｙ）は基本周波数ｆ０によって互いに分離される。
そこで、ｎ＝１のときのスペクトル成分Ｑ１（ｆ−ｎｆ０ｙ）を選び、逆フーリエ変換を行い、以下の式（１６）で記述される複素信号を得る。
また、基準面上での複素信号は式（１０）より、以下で与えられる。
式（１６）、式（１７）から以下の式（１８）が与えられる。
ここで、*は複素共役を表す。式（１８）の|Ａ１|２ｒ（ｘ、ｙ）は実関数であるため、複素ロガリズムを計算すると、以下の式（１９）になる。
このような演算により、不要な成分である物体表面の反射率ｒ（ｘ、ｙ）と抽出すべき位相情報φ（ｘ、ｙ）を分離することができる。
【００３３】
次に抽出した位相情報から高さに変換する方法について述べる。図１３の△ＢＣＯと△ＢＭＢ’の相似の関係から、以下の式（２０）の関係が成り立つ。
ＳM＝Ｄ・Ｈ／（Ｈ＋Ｚs）・・・式（２０）
また、式（１２）のφ（ｘ、ｙ）＝２πｆ0Ｓ（ｘ、ｙ）に式（２０）を代入すると、以下の式（２１）が成り立つ。
Ｈ＝Ｚｓφ（ｘ、ｙ）／｛２πｆ０Ｄ−φ（ｘ、ｙ）｝・・・式（２１）
ただし、観測できる位相情報は−π〜＋πに折りたたまれているφw（ｘ、ｙ）である。位相の連続性を利用するなどして、位相接続を実施する必要がある。これは以下の式（２１）の次数ｍを決定することに対応する。
φ（ｘ、ｙ） ＝ ２π・ｍ ＋ φw（ｘ、ｙ）・・・式（２１）
通常の位相接続では形状の連続性を仮定して行う。しかし、図１に示すように複数物体が存在するシーンでは、物体の形状が不連続であるため、その仮定が成り立たず、正しく位相接続を行うことができない。以上が、フーリエ変換法による位相情報の算出と奥行き計測の原理である。
【００３４】
上記、フーリエ変換法の原理に基づく位相情報算出工程（Ｓ２０）の処理を説明する。Ｓ２１のフーリエ変換では、撮影した画像を走査線毎にフーリエ変換する。Ｓ２２の基本周波数成分抽出では、フーリエ変換後のデータのうち周波数領域で基本周波数ｆ0付近のデータのみをフィルタリングにより抽出する。基本周波数ｆ0は投影した縦縞のパターンの基準面上でのピッチｐから式（１１）で求める。Ｓ２３の原点へのシフトでは、抽出したｆ０付近のデータを原点へシフトさせる。原点シフトさせたｆ０付近のデータをＳ２４で逆フーリエ変換し、Ｓ２５の位相情報抽出で位相情報を抽出する。
【００３５】
図５のパターン投影された撮影画像６３をもとにして、折りたたまれた位相情報φw（ｘ、ｙｉ）を算出した結果の例を図１４に示す。画像の走査線ｙｉ上のデータからの位相情報を下のグラフに示した。円柱６４と角柱６５の位相情報からは詳細な形状変化が得られているが、物体の位置が不連続であるため、位相を接続することができないことがわかる。
【００３６】
次に、Ｓ３０では、デフォーカス量算出（Ｓ３１）、デフォーカス量信頼度算出（Ｓ３２）からなるデフォーカス量算出工程を実行する。Ｓ３１のデフォーカス量算出では、デフォーカス量の算出には、注目画素の近傍領域内のコントラスト値、または、標準偏差値を用いる。
【００３７】
図１５（ａ）にコントラスト値の場合の算出方法と結果を示す。注目画素近傍の所定範囲内の領域６６がコントラスト値の計算領域の例である。このデフォーカス量計算領域内で式（１）のコントラスト値を計算する。計算領域をラスタ走査していき画像の全領域内でコントラスト値を算出する。ただし、コントラストの計算領域は基準面における投影パターンピッチｐよりも広い範囲で行う必要がある。上記条件を満たさないと領域内に輝度の最大値、輝度の最小値を含まない可能性があるため正しくコントラストを評価できないためである。図１５（ａ）では、画像のｙ座標がｙｉの位置でのコントラストの計算結果を下のグラフに記述した。合焦領域である基準面上ではパターンが結像関係にあるため、コントラストは高くなる。手前にある角柱６４とさらに手前にある円柱６４ではデフォーカスが発生するため、コントラストが低下する。手前にある円柱６４の方がパターンのデフォーカスが大きいため、コントラスト値はより低くなる。
【００３８】
一方、図１５（ｂ）に標準偏差値の場合の算出方法と結果を示す。図中の注目画素近傍の所定範囲内の領域６７が標準偏差値の計算領域である。この標準偏差値計算領域内で式（２）の標準偏差値を計算する。計算領域をラスタ走査していき画像の全領域内で標準偏差値を算出する。ただし、標準偏差値の計算領域は基準面における投影パターンピッチｐよりも広い範囲で行う必要がある。上記条件を満たさないと領域内の輝度のばらつきを正しく評価できない可能性があるためである。標準偏差値の計算結果を下のグラフに記述した。合焦領域である基準面上ではパターンが結像関係にあるため、画像輝度のばらつきは大きくなり、標準偏差値は高くなる。手前にある角柱６５とさらに手前にある円柱６４ではデフォーカスが発生するため、画像輝度のばらつきは小さくなり、標準偏差値は低下する。手前にある円柱６４の方がデフォーカス量が大きいため、標準偏差値はより低くなる。
【００３９】
コントラスト値と標準偏差値いずれを用いる場合でも物体と物体の境界、あるいは、表面の方向が急激に変わる部分ではコントラスト値と標準偏差値が本来の奥行きに対応する値よりも高くなる。この原因は３つ考えられる。１つ目は物体の表面方向の違いに起因する反射率の違い、２つ目は投影部から物体までの距離の違い、３つ目は物体から撮影部２までの距離の違いである。
【００４０】
まず、第一の理由である物体の表面方向の違いに起因する反射率の違いについて述べる。投影部からの光の物体への入射方向と撮影部２の方向が正反射角に近いほど表面は明るくなる。逆に、正反射方向から遠いほど表面は暗くなる。物体表面が完全拡散であればこのようなことは起きないが、それ以外の表面ではこの現象が発生する。次に投影部から物体までの距離の違いについて述べる。投影部からの光の強度は距離に比例して減衰する。このため、投影部から物体までの距離が小さいほど、入射光強度が高いため、物体表面は明るくなる。逆に、投影部から物体までの距離が大きいほど、入射光強度が低いため、物体表面は暗くなる。
【００４１】
次に物体から撮影部２までの距離の違いについて述べる。物体からの反射光強度も距離に比例して減衰する。物体から撮影部２までの距離が小さいほど、物体表面は明るくなる。一方、物体から撮影部２までの距離が大きいほど、物体表面は暗くなる。
実際のシーンではこれら３つの現象が複合して発生する。このような部分はデフォーカス量の算出結果の信頼性が低いと考えられる。そこで、Ｓ３２のデフォーカス量信頼度算出において信頼度の評価を行う。
【００４２】
デフォーカス量信頼度Ｐ（ｘ、ｙ）の算出は以下の式（２２）を用いる。
Ｐ（ｘ、ｙ）＝Ｄｆ（ｘ、ｙ）−Ｄｆ（ｘ−１、ｙ）・・・式（２２）
Ｄｆ（ｘ、ｙ）はｘ＝ｘ、ｙ＝ｙにおけるデフォーカス値が格納されている。上記式（２２）はデフォーカス値の差分（微分）をとることに対応する。すなわち、デフォーカス値の変化量が大きいところはＰ（ｘ、ｙ）の絶対値が大きくなる。Ｐ（ｘ、ｙ）の絶対値が所定の閾値以下ならば信頼性が高いとし、デフォーカス量をそのまま用いる。一方、閾値よりも大きければ信頼性が低いとし、補正処理を行う。以下では、この閾値をＰｔで表し、信頼性を評価する基準となる。補正処理はＳ４０の位相接続工程の位相情報補正（Ｓ４３）で行う。詳細は後で記述する。
【００４３】
図１６（ｂ）、（ｃ）に画像６３におけるデフォーカス値Ｄｆの算出結果とデフォーカス信頼度Ｐ（ｘ、ｙ）の算出結果をグラフ化したものを示す。デフォーカス値の変化が大きい領域では、デフォーカス信頼度の絶対値が大きくなり、デフォーカス値の信頼性は下がる。
【００４４】
Ｓ４０では、位相の次数算出（Ｓ４１）、位相接続（Ｓ４２）、位相情報補正（Ｓ４３）からなる位相接続工程を三次元形状算出部９が実行する。Ｓ４１の位相の次数算出では、まず事前に実施したキャリブレーションの結果からデフォーカス量Ｄｆ（ｘ、ｙ）を奥行き値Ｚ（ｘ、ｙ）に変換する。奥行き値Ｚ（ｘ、ｙ）から式（２１）を変形した以下の式（２３）を用いて位相φ（ｘ、ｙ）を求める（Ｚ＝Ｌ−Ｈの関係を用いた）。
φ（ｘ、ｙ）＝２πｆ０Ｄ（１−Ｚ（ｘ、ｙ）／Ｌ）・・・式（２３）
求めたφ（ｘ、ｙ）から以下の式（２４）を用いて次数ｍを算出する。
ｍ＝Ｉｎｔ［φ（ｘ、ｙ）／２π］・・・式（２４）
ここで、Ｉｎｔ［］は少数点以下を切り捨てることを意味する。図１６（ｄ）に算出した次数ｍをグラフ化したものを示す。デフォーカス値の信頼性が基準よりも低い領域は、位相の次数は算出しない。グラフでは斜線で示す領域である。Ｓ４２の位相接続では算出した位相の次数ｍと、Ｓ２５における位相情報抽出の結果φw（ｘ、ｙ）に基づき、位相を接続する。具体的には以下の式（２５）を用いる。
φｍ（ｘ、ｙ） ＝ ２π・ｍ ＋ φｗ（ｘ、ｙ）・・・式（２５）
式（２５）は式（２１）と同じ形だが、デフォーカス値の信頼性が基準よりも低い領域を含むため、本来のφ（ｘ、ｙ）とは異なる。区別するために、デフォーカス値の信頼性が基準よりも低い領域を含む場合の位相をφｍ（ｘ、ｙ）と表記した。
【００４５】
図１６（ｅ）にφｍ（ｘ、ｙ）の算出結果をグラフ化したものを示す。デフォーカス値の信頼性が基準よりも低い領域を斜線で示した。Ｓ４３の位相情報補正ではφｍ（ｘ、ｙ）のデフォーカス値の信頼性が基準よりも低い領域の欠落した情報を補正して本来のφ（ｘ、ｙ）を求める。欠落情報の補正は接続前の位相φｗの連続性を用いる。なお、図１６（ｆ）は、図１６（ｅ）に次数ｍを反映させて示したグラフである。
【００４６】
次に、補正方法を、図１７を用いて具体的に説明する。図１７（ａ）は、図１６（ｅ）に対応する接続前の位相を示すグラフである。図１７（ｂ）には、位相φｗ（ｘ、ｙｉ）と、位相φｗ（ｘ、ｙｉ）の微分値（差分値）であるｄφw（ｘ、ｙｉ）／ｄｘのグラフを示す。位相の微分値の絶対値が大きい位置、ｘ＝ｘV1、ｘV2、ｘV3では位相の不連続が発生する。また、位相の微分値の正負が逆転する位置ｘ＝ｘI1では面の傾きが変化する。これらの点を位相変化の特異点と呼ぶことにする。
【００４７】
位相変化が小さい特異点以外の領域では位相の不連続が生じないため、形状の連続性は保証される。したがって、φm（ｘ、ｙｉ）の欠落した領域を位相φw（ｘ、ｙｉ）の連続性を利用して補正することが可能になる。図１７（ｃ）のφm（ｘ、ｙｉ）のグラフではデフォーカス値の信頼性が基準よりも低い領域のグラフを描かなかったので空白になっている。このような場合、空白の近傍から特異点に向かってφwの連続性を利用して補正する。具体的には図中の矢印方向に特異点と交わるまでこの操作を続ける。補正後の位相を図１７（ｄ）に補正した位相φ（ｘ、ｙｉ）として示す。
【００４８】
最後にＳ５０の形状算出工程で、三次元形状算出部９が形状の算出を行う。形状算出工程は形状情報算出（Ｓ５１）からなる。Ｓ５１の形状情報算出では式（２３）を変形した以下の式（２６）に基づき、位相情報φ（ｘ、ｙ）を奥行き情報Ｚ（ｘ、ｙ）に変換する。
Ｚ（ｘ、ｙ）＝Ｌ（１−φ（ｘ、ｙ）／（２πｆ０Ｄ））・・・式（２６）
図１７（ｅ）に最終的に計算された形状情報を示す。不連続な奥行きにある物体に対しても１回のパターン投影のみで詳細な形状計測が可能になることがわかる。以上のようにして、本実施形態では、形状情報を算出することができる。
【００４９】
［実施形態２］
図１８に発明の実施形態２に係る形状計測装置２００の概略図を示す。図１に示した実施形態１の構成と比較して投影パターン切換部１４が追加された構成である。実施形態２では位相情報の取得に位相シフト法を用いる。位相シフト法では図２に示す正弦波状のパターンの位相をずらしながら３種類以上投影する必要がある。実施形態２では、正弦波状のパターンをπ／２ずつ位相をずらしながら４種類投影することにする。
【００５０】
この４種類のパターンの例は図１９に示す通りである。図１９では、位相シフト量が０、π／２、π、３π／２の場合をそれぞれ示している。このような位相の異なる４種類のパターンを投影することで、対象のテクスチャに影響されにくい位相情報の取得が可能になるという効果が得られる。さらに、デフォーカス量算出部８におけるデフォーカス量の算出では、信頼性の高いデフォーカス量算出が可能になる。ただし、投影するパターンが４種類であるため、パターンを切り換えて撮影している最中に被写体が動く可能性がある。したがって、動きの速い被写体に対応するためには、高速にパターンの切り換えが可能な投影部と、フレームレートが高速な撮影部２が必要になる。
【００５１】
高速にパターンの切り換えが可能な投影部としては、ＤＭＤを表示素子として用いたプロジェクター、高速応答性のある液晶表示素子を用いたプロジェクターなどが考えられる。フレームレートが高速な撮影部２としては、市販されている高速カメラを用いればよい。高速カメラを用いれば１００ｆｐｓや１０００ｆｐｓでの画像取得も可能である。また、フーリエ変換法と同様に観測できる位相は０〜２πであるため、それを超える位相変化が発生した場合には位相接続が必要になる。事前のキャリブレーションは実施形態１の形状計測装置１００と同様の操作をするため説明を省略する。デフォーカス量と奥行き位置の関係はキャリブレーションにより、取得されているものとする。
【００５２】
実施形態２の形状計測装置２００による形状計測の手順を説明する。形状計測は図２６に示すフローチャートに沿って行われる。該フローチャートに対応する処理は、パターン投影部１、撮影部２、位相情報算出部７、デフォーカス量算出部８、三次元形状算出部９及び投影パターン切換部１４が、対応する処理プログラムを実行することにより実現される。
【００５３】
Ｓ１０’の画像撮影工程は、パターン投影（Ｓ１１）、画像撮影（Ｓ１２）、撮影枚数判定（Ｓ１３）、パターン位相のπ／２シフト（Ｓ１４）からなる。Ｓ１０’の画像撮影工程は実施形態１の画像撮影工程と比較して、Ｓ１３における撮影枚数判定、Ｓ１４のパターン位相のπ／２シフトが追加された点で異なる。
【００５４】
Ｓ１１では投影部１により、基準となる位相パターンを投影する。Ｓ１２の画像撮影では撮影部２により撮影対象シーンを画像撮影する。Ｓ１３では撮影枚数が４枚未満か否かの判定を行う。撮影枚数が４枚以上であれば、次の位相情報算出工程（Ｓ２０’）とデフォーカス量算出工程（Ｓ３０’）に進む。撮影枚数が４枚未満であれば、Ｓ１４に進む。Ｓ１４では、投影パターン切換部１４を用いてパターンの位相をπ／２シフトさせる。その後、Ｓ１１におけるパターン投影とＳ１２の画像撮影とを行う。このようにしてＳ１０’の画像撮影工程では、投影パターンの位相がπ／２ずつ異なる画像が４枚得られる。
【００５５】
続いて行うＳ２０’の位相情報算出工程は、位相シフト画像による位相情報算出（Ｓ２６）からなる。Ｓ２６で行う処理を図２１を用いて説明する。図２１は横軸に位相を縦軸に画像輝度値をとったものである。ここでは、位相シフト量が０、π／２、π、３π／２の各撮影画像について同一座標位置（ｘ、ｙ）の画素の輝度値を抽出し、対応する位置にプロットする。画像座標が（ｘ、ｙ）のときの０、π／２、π、３π／２のときの輝度値をそれぞれＩ0（ｘ、ｙ）、Ｉπ／２（ｘ、ｙ）、Ｉπ（ｘ、ｙ）Ｉ３π／２（ｘ、ｙ）とする。このとき、画像座標（ｘ、ｙ）の位置での位相情報φw（ｘ、ｙ）は以下の式（２７）で算出することができる。
φw（ｘ、ｙ）＝ｔａｎ-1｛Ｉ３π／２（ｘ、ｙ）−Ｉπ／２（ｘ、ｙ）｝／｛Ｉ０（ｘ、ｙ）−Ｉπ（ｘ、ｙ）｝・・・式（２７）
フーリエ変換法では注目画素の投影パターンの変化に応じた輝度変動のみで処理が完結するため、対象のテクスチャの変動に強い位相算出が可能になる。
【００５６】
続くＳ３０’では、デフォーカス量算出（Ｓ３１）、デフォーカス量信頼度算出（Ｓ３２）、処理枚数判定（Ｓ３３）、画像変更（Ｓ３４）、結果統合（Ｓ３５）からなるのデフォーカス量算出工程が、デフォーカス量算出部８により実施される。Ｓ３１のデフォーカス量算出工程では、実施形態１と同様、デフォーカス量の算出に注目画素の近傍領域内のコントラスト値、または、標準偏差値を用いるので説明は省略する。Ｓ３２のデフォーカス量信頼度算出も実施形態１と同様、デフォーカス値の差分（微分）を算出するので説明は省略する。
【００５７】
Ｓ３３の処理枚数判定Ｓ３３では、処理枚数が４枚未満か否かの判定を行う。処理枚数が４枚以上の場合には、Ｓ３５の結果統合に進む。処理枚数が４枚未満の場合、Ｓ３４の画像変更に進む。Ｓ３４では処理の対象をデフォーカス量算出を実施していない投影パターンの撮影画像に変更する。Ｓ３５では異なる投影パターンで実施したデフォーカス量の算出結果と、デフォーカス信頼度の算出結果を統合する。
【００５８】
ここでは、位相シフト量が０の画像を初期画像とし、デフォーカス信頼度が基準よりも低い領域を抽出する。位相シフト量が異なる画像でこの領域のデフォーカス信頼度が基準以上の場合には、そのときのデフォーカス値を初期画像の結果に上書きする。これを位相シフト量が異なる画像に対して繰り返して、デフォーカス信頼度が基準以上のデフォーカス量を統合することで、デフォーカス信頼度が基準よりも低い領域が小さくなる。複数パターンの撮影画像の結果を統合することで、デフォーカス信頼度の高い領域のデータを選定することができるため、精度の高いデフォーカス量算出が可能になる。なお、Ｓ４０の位相接続工程とＳ５０の形状情報算出工程に関しては実施形態１と同様の操作をするため説明を省略する。
【００５９】
以上の実施形態２により、撮影枚数が４枚に増加するものの、テクスチャの変動に強い位相算出と、信頼度の高いデフォーカス量算出が可能になる。
【００６０】
[実施形態３］
発明の実施形態３に係る形状計測装置は図１８に示した実施形態２と同様の構成を有する。パターン投影部１で投影するパターンは図２２（ａ）、（ｂ）に示す２種類の矩形波パターンである。矩形波パターンの周期をｐとし、図２２（ａ）の矩形波を基準位相とすると、図２２（ｂ）のパターンはｐ／２だけ位相をずらしたものである。投影パターン切換部１４でパターン投影部１で投影するパターンを切り替えながら、撮像部２でそれぞれのパターンが投影された撮影対象シーンの画像を撮像する。
【００６１】
デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値等を用いて計算する。
【００６２】
次に、本実施形態における位相情報算出部７による、図２０のＳ２０'における位相情報の算出方法について説明する。ここでは、図２２（ａ）のパターンを投影し、撮影したときの画像をＩＲｐ（ｘ、ｙ）、図２２（ｂ）のパターンを投影し、撮影したときの画像をＩＲｎ（ｘ、ｙ）とする。
【００６３】
まず、ＩＲｐ（ｘ、ｙ）とＩＲｎ（ｘ、ｙ）の大小比較をし、２値化画像Ｂ（ｘ、ｙ）を生成する。ＩＲｐ（ｘ、ｙ）＞＝ＩＲｎ（ｘ、ｙ）のときＢ（ｘ、ｙ）＝１とし、ＩＲｐ（ｘ、ｙ）＜ＩＲｎ（ｘ、ｙ）のときＢ（ｘ、ｙ）＝０とする。図２２（ｃ）に２値化画像Ｂ（ｘ、ｙ）の生成例を示す。
【００６４】
次に２値化画像Ｂ（ｘ、ｙ）から以下の式（２８）により、エッジ画像Ｅを生成する。
【００６５】
Ｅ（ｘ、ｙ）＝Ｂ（ｘ、ｙ）―Ｂ（ｘ＋１、ｙ）・・・式（２８）
式（２８）の計算により、エッジ位置には１、または、−１の値が与えられる。次に注目画素ｘの両端のエッジ位置を探索する。これはエッジ画像Ｅ上で、最も近接する１、または、−１の値を探索することにより成される。探索された左側のエッジ位置をＥｌ、右側のエッジ位置をＥｒとすると、位相φｗ（ｘ、ｙ）は以下の式（２９）で計算される。
【００６６】
φｗ（ｘ）＝２π・（ｘ―Ｅｌ）／（Ｅｒ―Ｅｌ）―π・・・式（２９）
これを全てのｙ座標に対して計算することで位相情報φｗ（ｘ、ｙ）が求められる。
【００６７】
三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相情報φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。必要に応じて位相補正を行い、式（２６）を用いて奥行き情報Ｚ（ｘ、ｙ）を計算し、被写体の三次元形状情報を求める。
【００６８】
以上の実施形態３により、撮影枚数が２枚に増加するものの、被写体が有するテクスチャ変動に強い位相算出が可能になる。
【００６９】
［実施形態４］
発明の実施形態４に係る形状計測装置は図１８に示した実施形態２と同様の構成を有する。但し、本実施形態においてパターン投影部１が投影するパターンは図２３（ａ）、（ｂ）に示す２種類の三角波である。図２３（ｂ）の三角波は図２３（ａ）の明るさを反転させたものである。投影パターン切換部１４でパターン投影部１で投影するパターンを切り替えながら、撮像部２でそれぞれのパターンが投影された撮影対象シーンの画像を撮像する。
【００７０】
デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値などを用いて計算する。
【００７１】
次に、本実施形態における位相情報算出部７による、図２０のＳ２０'における位相情報の算出方法について説明する。ここでは、図２３（ａ）のパターンで撮影したときの撮影画像をＩＴｐ（ｘ、ｙ）、図２３（ｂ）のパターンで撮影したときの撮影画像をＩＴｎ（ｘ、ｙ）とする。このとき強度比画像Ｉｒａｔｉｏは以下の式（３０）で計算される。
【００７２】
Ｉｒａｔｉｏ＝ＩＴｐ（ｘ、ｙ）／ＩＴｎ（ｘ、ｙ）・・・式（３０）
強度比画像Ｉｒａｔｉｏの計算結果を図２３（ｃ）に示す。三角波の周期をｐとすると位相情報φｗ（ｘ、ｙ）は以下の式（３１）で計算される。
【００７３】
φｗ（ｘ、ｙ）＝２π・Ｉｒａｔｉｏ・（１−ｘ／ｐ−ｉｎｔ（ｘ／ｐ））−π・・・式（３１）
ここでｉｎｔ（）は小数点以下を切り捨てるという演算を意味する。式（３１）により強度比画像Ｉｒａｔｉｏの値が−π〜πの間で線形に変化するように正規化される。φｗ（ｘ、ｙ）の計算結果の例を図２３（ｄ）に示す。三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相情報φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。
【００７４】
必要に応じて位相補正を行い、式（２６）を用いて奥行き情報Ｚ（ｘ、ｙ）を計算し、被写体の三次元形状情報を求める。
【００７５】
以上の実施形態４により、撮影枚数が２枚に増加するものの、被写体が有するテクスチャ変動に強い位相算出が可能になる。
【００７６】
［実施形態５］
発明の実施形態５に係る形状計測装置３００の概略上面図を図２４に示す。図１で示した実施形態１の構成との違いは、位相情報算出部７の代わりに、撮影画像のパターンの明るさ変化からパターンの局所的な配置情報を算出する局所配置情報算出部７１が使われる点である。
【００７７】
パターン投影部１で投影するパターンは図２５に示すランダム性を有するパターン（ランダムパターン）である。撮像部２で図２５（ａ）に示すランダム性を有するパターンが投影された撮影対象シーンの画像を撮像する。このときの撮影画像をＩＲａｎｄ（ｘ、ｙ）とする。
【００７８】
局所配置情報算出部７１では、２値化処理、符号化処理、相関演算処理、候補選択処理という４つの処理が行われる。２値化処理では、撮影画像ＩＲａｎｄ（ｘ、ｙ）が画像の明暗に応じた閾値処理により２値化される。符号化処理では、２値化処理の結果に基づいて符合化画像Ｃｏｄｅ（ｘ、ｙ）が生成される。明部に対して符合「１」が、暗部に対して符号「０」がそれぞれ割り与えられる。相関演算処理では、まず、図２５（ｂ）に示すように符号化画像の注目画素近傍の所定範囲（−Ｒｃ〜＋Ｒｃ）が切り出される。そして、以下の式（３２）により、切り出された領域に対してランダムパターンＲａｎｄＣｏｄｅ（ｘ）との相関演算が行われる。
上記演算式によれば、相関値Ｃｏｒｒｅ（ｘ）が小さいほど、相関が高くなることを意味する。図２５（ｃ）に相関演算の結果の一例を示す。候補選択処理では、相関演算結果に基づいて複数の候補を選択する。図２５（ｃ）に示す例ではＭｉｎ１、Ｍｉｎ２という２つ候補が選択される。このような場合には、複数の候補が選択されたため、奥行きを一意に求めることができない。
【００７９】
そこで、候補を絞り込むために、デフォーカス量算出部８により求められたデフォーカス量を用いる。デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値等を用いて計算する。撮影画像上の位置とデフォーカス量、投影パターン上の位置の関係は事前のキャリブレーションにより求められている。そのため、図２５（ｃ）に示す例では、点線枠で囲んだ領域Ｃａｎｄに絞られる。これにより、２つの候補から１つの候補Ｍｉｎ１を選択し、奥行きを求める。上記処理を画像の全範囲に対して実施することで、撮影対象シーンの奥行き情報Ｚ（ｘ、ｙ）を計算する。
【００８０】
以上の実施形態５により、投影するパターンが周期的なパターンでなくても被写体の三次元形状計測が可能となる。
【００８１】
［実施形態６］
発明の実施形態６に係る形状計測装置の構成は、実施形態１の構成である図１と同一である。実施形態１乃至５ではパターン投影部１の焦点を基準面３に合わせ、投影光学系１２によるボケを利用してデフォーカス量を算出した。しかし、実施形態６では撮像部２の結像光学系を用いて焦点を基準面３に合わせ、撮像光学系によるボケを利用してデフォーカス量を算出する。
【００８２】
撮像部２の撮像光学系によるデフォーカスと、パターン投影部１の投影光学系によるデフォーカスを分離するために、投影光学系のデフォーカスを無視できるような条件で投影する必要がある。具体的にはパターン投影部１の絞りを十分に絞り、被写界深度を深くしておく必要がある。計測範囲に応じて、被写界深度の計算式（３）、（４）、および、回折によるボケの限界の算出式（５）を使用して投影光学系のＦ値を適切に設定する。
【００８３】
撮像部２の焦点を基準面３に合わせたので、基準面から手前に離れるほど、デフォーカス量は大きくなる。デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値などを用いて計算する。位相情報算出部７では実施形態１と同様に正弦波が投影された被写体の撮影画像から、フーリエ変換法により位相情報φｗ（ｘ、ｙ）を算出する。
【００８４】
三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。本実施形態６では投影パターンとして正弦波を１パターン投影し、フーリエ変換法により、位相を算出する方法を例に挙げて説明した。しかし、構成を実施形態５と同一にし、ランダムパターンを投影する方法も用いることができる。また、パターン切換部を追加した実施形態２乃至４と同一の構成にして、位相の異なる複数の正弦波を投影する方法、矩形波を投影する方法、三角波を投影する方法なども用いることができる。
【００８５】
以上の実施形態６により、撮像光学系がパンフォーカス条件を満たさなくても三次元形状計測が可能になる。
【００８６】
［実施形態７］
発明の実施形態７に係る形状計測装置の構成は、実施形態１の構成である図１と同一である。実施形態１乃至５ではパターン投影部１の焦点を基準面３に合わせ、投影光学系１２によるボケを利用してデフォーカス量を算出した。また、実施形態６では撮像部２の焦点を基準面３に合わせ、撮像レンズ２２によるボケを利用してデフォーカス量を算出した。しかし、実施形態７では、パターン投影部１の投影光学系によるボケと撮像部２の撮像光学系によるボケの両者を合わせた複合ボケを利用してデフォーカス量を算出する。
【００８７】
パターン投影部１と撮像部２の焦点は基準面３、または、基準面３よりも後方に合わせる。このようにすることで、基準面から手前に離れるほど、複合ボケは大きくなるため、パターン投影部１と撮像部２のボケを分離してデフォーカス量を算出する必要がなくなる。デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値などを用いて計算する。位相情報算出部７では実施形態１と同様に正弦波が投影された被写体の撮影画像から、フーリエ変換法により位相情報φｗ（ｘ、ｙ）を算出する。
【００８８】
三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相情報φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。本実施形態７では投影パターンとして正弦波を１パターン投影し、フーリエ変換法により、位相を算出する方法を例に挙げて説明した。しかし、構成を実施形態５と同一にし、ランダムパターンを投影する方法も用いることができる。また、パターン切換部を追加した実施形態２乃至４と同一の構成にして、位相の異なる複数の正弦波を投影する方法、矩形波を投影する方法、三角波を投影する方法なども用いることができる。
【００８９】
以上の実施形態７により、撮像光学系、および、投影光学系がパンフォーカス条件を満たさなくても三次元形状計測が可能になる。
【００９０】
本発明による三次元形状計測装置は様々な応用に利用できる。ＣＧなどの分野では実在する物体のモデリングを行うことができる。これにより従来は手動で実施していたモデリングを自動化することができ、ＣＧ製作の効率化が期待できる。少ないパターン数で精度の高い距離算出が可能なため、高速な応答が要求されるロボットハンド用のビジョンとして用いることもできる。また、比較的少ないパターンでの形状計測が可能なため、動いている被写体に対しても形状計測を実施できる。小型のプロジェクターと組み合わせれば、ディジタルカメラなどの小型の撮像デバイスにも搭載でき、三次元形状を用いた高度な処理のための入力情報として用いることができる。
【００９１】
また、本発明は、実施形態１乃至７と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１及び図１８のブロック７乃至９及び１４等の構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【００９２】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、三次元形状測定装置、三次元形状測定方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
三次元形状計測法としては種々の手法が提案されている。大まかに分類すると、照明装置を用いずに撮像装置だけで形状計測を行うパッシブ型と、照明装置と撮像装置を組み合わせて用いるアクティブ型がある。アクティブ型はパッシブ型に比べ、計測対象に対するロバスト性が高く、高精度な距離計測が可能である。アクティブ型では、計測対象の表面テクスチャ情報が少ない場合でも投影された照明パターンを手がかりにして形状計測を行うため、表面テクスチャ情報に影響されにくい。アクティブ型の代表例として、三角測量に基づく手法、位相情報変化に基づく手法、投影パターンのデフォーカス情報に基づく手法がある。
【０００３】
このうち、パターンの位相情報変化を利用した手法は、縞パターン投影法と呼ばれ、代表的手法の１つにフーリエ変換法（非特許文献１を参照）がある。しかし、この方法は、計測できる位相変化が特定範囲に限定されるため、範囲外の形状変化が起こると位相の折り返しが生じ、位相接続をする必要がある。よって、滑らかな形状をした計測対象であれば、位相の連続性を用いて位相接続は比較的容易に実現できるが、形状変化が急激な計測対象や不連続な計測対象の場合、位相接続が困難になる。
【０００４】
また、投影パターンのデフォーカス情報に基づく手法として、撮像光学系によるデフォーカスを利用した形状計測手法（特許文献１を参照）や投影光学系によるデフォーカスを利用した形状計測手法（非特許文献２を参照）がある。後者では、撮像光学系がパンフォーカスである場合、投影光学系の焦点位置からのずれ量に比例してボケ量が大きくなる。このボケを画像上でのパターンの広がりとして評価し形状を計測する。具体的には、矩形状の投影パターンを細かくシフトさせた２４種類のパターンを投影し、撮像する。デフォーカス量は、画像の各画素の輝度値をパターンごとに時系列的に並べて輝度値の変動で算出する。この手法では、奥行きの絶対値が算出可能なものの、パターンの投影数を多くする必要があるため、実時間の計測には向かない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３４８１６３１号公報
【非特許文献】
【０００６】
【非特許文献１】M.Takeda and K.Mutoh, "Fourier transform profilometry for automatic measurement of 3-D object shapes," Appl.Opt. Vol. 22, No. 24, P. 3977〜3982(1983).
【非特許文献２】Li Zhang and Shree Nayar, "Projection defocus analysis for scene capture and image display," ACM Trans. on Graphics, Vol. 25, 3, P. 907〜915 (July 2006).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のように、形状変化が急激な計測対象や不連続な計測対象を少ない投影パターン数で詳細な形状まで計測可能な三次元形状計測技術は提案されていない。そこで、本発明は、少ない投影パターン数で、形状変化が急激な計測対象や不連続な計測対象の高精度な形状計測を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明は、明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、前記パターンが投影された計測空間を撮影する撮像手段とを備え、前記計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置であって、前記撮影手段により得られた撮影画像の前記パターンの明るさ変化から前記パターンの局所的な配置情報を算出する局所配置情報算出手段と、前記撮影画像における前記パターンのボケ量を算出するボケ量算出手段と、前記局所配置情報と前記ボケ量とに基づき、前記計測対象の三次元形状を算出する三次元形状算出手段とをさらに備える。
【発明の効果】
【０００９】
本発明によれば、少ない投影パターン数で、形状変化が急激な計測対象や不連続な計測対象の高精度な形状計測が可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１の三次元形状計測装置１００の構成例を示す図。
【図２】実施形態１のパターン投影部１の投影パターン例を示す図。
【図３】パターン投影部１にパターンを表示せずにシーン撮影した例を示す図。
【図４】図３の状況でパターン投影した場合の撮影画像の一例を示す図。
【図５】投影パターンのデフォーカス量を説明するための図。
【図６】キャリブレーションを行う場合の装置の構成例を示す図。
【図７】キャリブレーションボードの一例を示す図。
【図８】キャリブレーション処理の一例を示すフローチャート。
【図９】パターン投影されたキャリブレーションボードの撮影例を示す図。
【図１０】コントラスト値と撮影部２からの奥行き値の対応例を示すグラフ。
【図１１】詳細なキャリブレーションを行う場合の構成例を示す図。
【図１２】実施形態１における三次元形状計測処理の一例を示すフローチャート。
【図１３】フーリエ変換法の原理を説明するための図。
【図１４】折りたたまれた位相φｗ（ｘ、ｙ）の算出結果例を示す図。
【図１５】コントラスト値及び標準偏差値の算出結果の一例を示す図。
【図１６】位相情報φ（ｘ、ｙ）算出の過程を説明するための図。
【図１７】位相情報の補正方法を説明するための図。
【図１８】実施形態２の三次元形状計測装置２００の構成例を示す図。
【図１９】実施形態２のパターン投影部１の投影パターン例を示す図。
【図２０】実施形態２における三次元形状計測処理の一例を示すフローチャート。
【図２１】位相シフト法による位相算出の原理を説明するための図。
【図２２】実施形態３の投影パターンと、位相φｗ（ｘ、ｙ）の算出結果を示す図。
【図２３】実施形態４の投影パターンと、位相φｗ（ｘ、ｙ）の算出結果を示す図。
【図２４】実施形態５の三次元形状計測装置３００の構成例を示す図。
【図２５】実施形態５の投影パターン、および、局所配置情報の算出方法を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１２】
［実施形態１］
図１に本発明の実施形態１に係る形状計測装置１００の概略上面図を示す。撮影部２の光学中心Ｏが世界座標系（Ｘ、Ｙ、Ｚ）の原点になるように配置している。また、Ｚ軸を撮影部２の光軸と一致させ、水平方向右向きにＸ軸を、鉛直方向下向きにＹ軸をとる。実施形態１ではパターン投影部１の光軸と撮影部２の光軸が平行になるように配置する。パターン投影部１の光学中心Ｃは撮影部２の光学中心ＯからＸ軸上で距離Ｄだけ離れた位置に配置される。パターン投影部１の水平半画角をθＸ、垂直半画角をθＹとした。また、撮影部２の水平半画角をψＸ、垂直半画角をψＹとした。図１において、計測対象は撮影部２の光学中心Ｏから距離Ｚ１の位置にある円柱４１と、撮影部の光学中心Ｏから距離Ｚ２の距離にある角柱４２である。
【００１３】
パターン投影部１は画像表示素子１１、投影光学系１２を含む。パターン投影部１には液晶プロジェクターなどの特定の位置に、周期性を有するパターンを結像可能な、結像光学系を有する投影装置を用いる。パターン投影部１の焦点はシーンの基準面３に合わせている。パターン投影部１の光学中心Ｃから基準面３の距離はＬである。基準面３は計測範囲の最も後方に設定することが望ましい。これは、基準面よりも手前と奥の両方に計測対象が存在する場合、投影パターンのボケが合焦位置より手前にあるために生じたのか、奥にあるために生じたのかを見分けることができなくなるためである。奥行き計測可能な計測空間はパターン投影部１の投影範囲、撮影部２の撮影範囲、基準面よりも撮影部側の３つの範囲が重なる太実線で示した範囲４０で規定される。ただし、物体によるオクルージョンが発生する部位は範囲内であっても計測可能ではない。
【００１４】
パターン投影部１で投影するパターンの一例を図２に示す。図２（ａ）に示すように、投影パターンは、照明の強度が正弦波状に最大強度Ｉｍａｘと最小強度Ｉｍｉｎとの間で変動するような周期性を有するパターンである。実施形態１では、パターン投影部１が１種類のパターンを投影する場合を説明する。基準面３上でピッチがｐとなるよう調整されている。基準面３からずれた位置での正弦波状のパターンの例は図２（ｂ）に示す通りである。投影光学系の焦点位置である基準面３からの位置ずれの影響により、ボケが発生する。ボケの発生量はデフォーカス量に依存するため、実施形態１では、ボケ量の基準量としてデフォーカス量を用い、ボケ量算出のためにデフォーカス量を算出する。デフォーカスの発生により、最大強度Ｉｍａｘが低下し、最小強度Ｉｍｉｎが増加する。すなわち、以下の式（１）で記述されるコントラストＣが低下する。
Ｃ＝（Ｉmax - Ｉmin）／（Ｉmax＋Ｉmin）・・・式（１）
また、デフォーカスの発生量が大きいほど、投影パターンはグレーに近づくため、画像輝度の標準偏差も小さくなる。標準偏差ＳＤは以下の式（２）で記述される。
ここで、Ｎはある画像領域内における画素の総数、Ｉaveはある画像領域内での画像輝度の平均値、Ｉｉは画像領域内の各画素の輝度である。
【００１５】
図１の説明に戻り、撮影部２は撮像素子２１、撮影レンズ２２を含む。撮像素子２１にはＣＭＯＳセンサやＣＣＤなどの光電変換素子を用いることができる。撮影レンズ２２の焦点距離をＦｃとする。歪曲収差などの各種カメラパラメータは予めキャリブレーションしてあるものとする。パターン投影部１の投影光学系によるデフォーカスと撮影部２の撮像光学系によるデフォーカスを分離するため、撮像光学系のデフォーカスを無視できるような条件で撮影する必要がある。具体的には、撮影部２の絞りを十分に絞り、被写界深度を深くしておく必要がある。ただし、絞りを絞りすぎると回折の影響により、像は逆にボケてしまうため注意が必要である。
【００１６】
撮影部２の前方被写界深度と後方被写界深度はそれぞれ以下の式（３）と式（４）から計算される。
φr×Ｆｎｏ×Ｚs2／（Ｆｃ2＋φr×Ｆｎｏ×Ｚs）・・・式（３）
φｒ×Ｆｎｏ×Ｚs2／（Ｆｃ2−φr×Ｆｎｏ×Ｚs）・・・式（４）
ここで、φrは許容錯乱円径、ＦｎｏはＦ値（絞り値）、Ｚsは被写体距離、Ｆｃは撮像光学系の焦点距離である。前方被写界深度と後方被写界深度の和が撮像光学系の被写界深度である。
【００１７】
例えば、１／２インチ、ＶＧＡ、焦点距離16mmのレンズからなるカメラを用いて、１ｍ離れた３０cmの奥行き範囲のシーンを撮影する場合を考える。許容錯乱円径φrが撮像素子のピクセルピッチが0.01mmであるとすると、Ｆ値は４よりも大きく設定する必要がある。一方、回折によるボケの限界は以下のエアリーの式（５）で計算される。
１．２２×λ×Ｆｎｏ・・・式（５）
ここでλは光の波長である。可視光において最も長波長だと言われる780nmで計算すると、撮像素子のピクセルピッチが0.01mmであればＦ値はＦ１１よりも小さくすれば回折による影響はなくなる。つまり、上記条件ではＦ値をＦ４〜Ｆ８の間に設定する必要がある。
【００１８】
パターン投影部１にパターンを表示せずに、円柱４１、角柱４２からなるシーンを撮影すると図３の撮影画像６０のようになる。画像６０は円柱６１、角柱６２を含む。画像座標のｘ軸は基準面３に向かって右方向、ｙ軸は同様に下方向にとる。また、画像座標の原点oは左上とする。
【００１９】
次に、パターン投影部１により、図２のパターンを投影すると図４の画像６３に示すようになる。画像６３は円柱６４、角柱６５を含む。ただし、図４ではパターン投影部１の光学系によるデフォーカスは考慮していない。また、正弦波状の強度変動も簡略化して２値で示している。実際には投影光学系のデフォーカスにより、パターンのコントラストは低下する。
【００２０】
ここで、パターン投影部１により投影された投影パターンのデフォーカス量は、焦点位置からの位置ずれ量と、投影光学系の開口径に依存する。これを図５を用いて説明する。図５（ａ）に開口径がＡ１、図５（ｂ）に開口径がＡ２であるときの投影光学系と投影像の模式図を示す。Ａ１とＡ２の関係はＡ１＞Ａ２である。図５（ａ）において、画像表示素子１１の実像が１３である。簡単のために、投影光学系１２は一つのレンズで示した。投影光学系１２の焦点距離をＦｐ、画像表示素子１１と投影光学系１２との距離をｄとした。以下の式（６）で表される結像公式を変形した式（７）により、レンズから結像面Ｐｆまでの距離ｄｉが導かれる。
１／Ｆｐ＝１／ｄ＋１／ｄｉ・・・式（６）
ｄｉ＝ｄ・Ｆｐ／（ｄ−Ｆｐ）・・・式（７）
結像面Ｐｆよりもαだけ手前の平面Ｐ１では像が広がる。開口径をＡとするとこの像の広がりＢは幾何光学的に以下の式（８）で記述される。
【００２１】
Ｂ＝α・Ａ／ｄｉ・・・式（８）
結像位置からの位置ずれ量αが大きいほど、像の広がりＢ、すなわち、デフォーカス量が増大することがわかる。簡単のために幾何光学的に算出される関係を記述した。しかし、波動光学的に考えると像の広がりは回折の影響を考慮する必要があるが、ここでは省略する。つまり、パターン投影部１による投影パターンのデフォーカス量を評価することで基準面３からの計測対象までの距離を推定できる。一方、式（８）から開口径Ａが大きくなる程、デフォーカス量も増加することがわかる。図５（ａ）に開口径Ａ１のときの像の広がりＢ１を、図５（ｂ）に開口径Ａ２のときの像の広がりＢ２を示したが、Ｂ１＞Ｂ２である。
【００２２】
開口径が大きい程、位置ずれに対するデフォーカス変化が大きくなるため、距離の推定精度が向上する。ただし、デフォーカス量がある一定量を超えると、位置ずれによる変化分を算出することができなくなるため、デフォーカス量を推定可能な距離範囲には制限がある。この距離範囲は開口径が小さい程広い。したがって、計測可能な距離範囲を広くとりたい場合には、開口径をある程度小さくする必要がある。ただし、距離範囲を広くとると位置ずれに対するデフォーカス量変化が小さくなるため感度が下がり、物体の詳細な形状を計測することはできなくなる。
【００２３】
実施形態１の形状計測装置１００では形状計測を行う前に、デフォーカス量と奥行き位置の関係を取得するためのキャリブレーションが必要になる。まず、図６乃至図１０を用いて簡易なキャリブレーションの方法を述べる。図６（ａ）にキャリブレーションを行うための装置の概略上面図を、図６（ｂ）に概略側面図を示す。パターン投影部１の焦点は図１の構成と同様、基準面３に合わせる。撮影部２から撮影可能範囲の最近点までの距離をＺｏとする。キャリブレーションボード５０はキャリブレーション用に使用するボードであって、図７に示すように平面板でできており、一定間隔でドットが描かれている。また、キャリブレーションボード５０は図６（ｂ）に示すように傾いて配置されており、各ドットの世界座標値（Ｘ、Ｙ、Ｚ）は既知であるものとする。これは公知のカメラキャリブレーション手法を用いることで実現される。
【００２４】
図８を参照して、形状計測装置１００におけるキャリブレーション処理を説明する。まず、Ｓ０１では、パターン投影部１がパターン投影を行う。具体的に、図２に示すような正弦波的に強度が変化するパターンをキャリブレーションボード５０に投影する。次にＳ０２では、撮影部２がパターンが投影されたキャリブレーションボード５０を撮影する。このとき、例えば図９に示すような撮影画像５１が得られる。画像５１は、キャリブレーションボード５０を含む。図９では簡単のために、パターンの本数を少なく描いたが、撮影部２に近い画像の下部ほど、投影パターンのデフォーカスが大きくなる。次にＳ０３では、デフォーカス量算出部８が投影パターンのデフォーカス量を算出する。デフォーカス量の算出にはコントラスト値、または、標準偏差値を使用する。
【００２５】
まず、コントラスト値の計算方法について説明する。キャリブレーションボード５０を図６（ｂ）に示すように配置しているため、画像の同一ｙ座標での奥行き値は等しいと考えられる。そこで画像５１中の領域５３Ａのような複数周期のパターンを含む領域を考える。その領域の中で画像輝度から上記式（１）によりコントラストＣを計算する。式（１）でＩｍａｘは画像領域内での最大輝度、Ｉｍｉｎは画像領域内での最低輝度である。例えば画像領域５３Ｂのように領域をｙ方向にシフトさせながら全てのｙ座標に対して計算を行う。ただし、画像領域中にキャリブレーションボードのドットを含む場合にはノイズの原因となるため、その領域が除外した方が良い。
【００２６】
次に標準偏差値の計算方法について説明する。コントラスト値と同様、領域５３Ａのような複数周期のパターンを含む領域を考える。標準偏差値の場合は、その領域の中で上記式（２）により、ＳＤ値を計算する。この領域をｙ方向にシフトさせながら全てのｙ座標に対して計算を行う。
【００２７】
図８の説明に戻り、Ｓ０４では奥行き補間処理を行う。具体的には、キャリブレーションボード５０が平面であると仮定し、ドット間の奥行き値を補間処理により算出する。キャリブレーションボード５０が略平面であれば、線形補間で算出可能である。多少の歪みがある場合には、非線形な補間の方が好適な場合もある。次に、Ｓ０５では、奥行き値とデフォーカス量のテーブル作成を行う。具体的に、Ｓ０３で算出したデフォーカス量と、補間処理により求めたキャリブレーションボード５０の奥行き値の対応関係を求める。例えば、基準面３に近い奥行きでは撮影画像のコントラスト値Ｃは高く、撮影部２に近づくにつれて、撮影画像のコントラスト値は低下するため、図１０に示す曲線が描かれる。図１０では、デフォーカス量としてコントラスト値を用いた場合を示している。曲線は最小二乗法などを用いて関数近似しても良い。
【００２８】
この手法では画像の画面全体でデフォーカスが変動しないという仮定を置いている。この過程が成立するのは、プロジェクターの収差による影響が小さく、投影パターンの位置に応じたデフォーカス量の変動が無視できる場合である。像面湾曲の影響が大きい場合には、投影画像の中心部と周辺部でデフォーカス量が変わるため、厳密なキャリブレーションが必要になることもある。厳密にキャリブレーションするためには、画像のピクセルごとに個別にデフォーカス量と奥行き値の関係を求める必要がある。
【００２９】
図１１を用いてこれを説明する。この手法ではキャリブレーションボード５０をＹ軸方向に動かすため、図１１に示すようにキャリブレーションボード移動部５４が必要になる。キャリブレーションボード５０を動作させる幅がＹｓ、シフトさせる回数をＮ回とすると、シフトピッチＳｐは以下の式（９）で記述される。
Ｓｐ＝Ｙｓ／Ｎ・・・式（９）
キャリブレーションボード５０のシフトピッチＳｐが小さいほど、キャリブレーションの精度は向上する。この場合の厳密なキャリブレーションの処理では、図８に示したフローに対応する処理の前後に追加の処理を行う。まず、Ｓ０１のパターン撮影の前にキャリブレーションボード５０を初期位置に移動する。その後、図８のＳ０１からＳ０５を実行する。厳密なキャリブレーションの場合、撮影回数をカウントしておき、Ｓ０５の処理が完了するたびに撮影回数がキャリブレーションを終了すべき所定回数Ｎ回に達したかどうかを判定する。もし、撮影回数が所定回数Ｎ回に満たなければ、キャリブレーションボード５０をシフトピッチＳｐだけ移動させた後、Ｓ０１乃至Ｓ０６を繰り返す。撮影回数が所定回数Ｎ回となった場合は、キャリブレーションを終了する。このような処理に寄れば、画像の全画素に対してデフォーカス量と奥行き位置の対応関係が求まるため、キャリブレーションの精度が向上する。
【００３０】
次に、実施形態１の形状計測装置１００による形状計測の手順を説明する。形状計測は図１２に示すフローチャートに沿って行われる。該フローチャートに対応する処理は、パターン投影部１、撮影部２、位相情報算出部７、デフォーカス量算出部８及び三次元形状算出部９が、対応する処理プログラムを実行することにより実現される。
【００３１】
まず、Ｓ１０では、パターン投影（Ｓ１１）と画像撮影（Ｓ１２）からなる画像撮影工程が実施される。Ｓ１０のパターン投影ではパターン投影部１により撮影対象シーンにパターンを投影する。Ｓ１２では撮影部２により撮影対象シーンを画像撮影する。続いて、Ｓ２０では、フーリエ変換（Ｓ２１）、基本周波数成分抽出（Ｓ２２）、原点へのシフト（Ｓ２３）、逆フーリエ変換（Ｓ２４）、位相情報抽出（Ｓ２５）からなる位相情報算出工程が位相情報算出部７により実施される。
【００３２】
実施形態１の位相情報の算出はフーリエ変換法に基づいている。そのため、非特許文献１で開示されるフーリエ変換法の原理について図１３を参照して説明する。図１３では、パターン投影部１と撮影部２が平行な場合の光学的な配置を示す。パターン投影部１の光軸ＣからＬだけ離れた位置に基準面３がある。また、パターン投影部１の光軸ＣからＺｓだけ離れた位置に物体面Ｍがあるとする。基準面３から物体面Ｍまでの距離をＨとする。投影部により、基準面上にはピッチｐで周期的に変動する正弦波状のパターンが投影される。撮像面上での観察される像gB(x,y)はフーリエ級数で式（１０）のように表現される。
ここでｆ0は観察される縞パターンの基本周波数であり、以下の式（１１）で記述される。
ｆ０＝１／ｐ・・・式（１１）
ｐは基準面上でのパターンのピッチ、Ａｎは強度の最大振幅である。シーンに計測対象がある場合、基準面から計測対象までの距離に応じて観測される縞の位相は変化する。例えば、基準面上ではＢの位置に投影され、像面に結像される点があるとする。ここで、物体が基準面から距離Ｈだけ離れているとすると、点Ｍに投影されるため、像面上では距離ＳＭだけずれた状態で観測される。この距離はｘとｙに依存して変化するため、式（１０）は以下の式（１２）のように修正される。
ここで、φ（x,y） ＝ ２πｆ0Ｓ（x,y） である。また、物体表面の反射率ｒ（ｘ、ｙ）の変動も考慮する必要がある。したがって、式（１２）は以下の式（１３）のように変形される。
式（１３）で与えられる歪んだパターン像は、次のように解釈することができる。位相φ（ｘ、ｙ）と振幅ｒ（ｘ、ｙ）と空間搬送周波数ｎｆｏを有する多次元信号である。位相が三次元形状の情報を有しているため、不均一な反射振幅ｒ（ｘ、ｙ）を分離して、φ（ｘ、ｙ）をいかにして求めるかという問題になる。
式（１３）を以下の式（１４）のように書き直す。
ここで、ｑn（x,y） ＝ Ａnｒ(x,y)・exp(inφ(x,y))である。ＦＦＴアルゴリズムにより、ｙを固定にして、式（１４）の１次元のフーリエ変換を計算すると以下の式（１５）になる。
ここで、Ｇ（ｆ、ｙ）とＱn（ｆ、ｙ）は、ｇ（ｘ、ｙ）とｑn（ｘ、ｙ）のｙを固定して変数ｘに関するそれぞれフーリエスペクトルである。ほとんどの場合、すべてのスペクトルＱn（ｆ−ｎｆ０、ｙ）は基本周波数ｆ０によって互いに分離される。
そこで、ｎ＝１のときのスペクトル成分Ｑ１（ｆ−ｎｆ０ｙ）を選び、逆フーリエ変換を行い、以下の式（１６）で記述される複素信号を得る。
また、基準面上での複素信号は式（１０）より、以下で与えられる。
式（１６）、式（１７）から以下の式（１８）が与えられる。
ここで、*は複素共役を表す。式（１８）の|Ａ１|２ｒ（ｘ、ｙ）は実関数であるため、複素ロガリズムを計算すると、以下の式（１９）になる。
このような演算により、不要な成分である物体表面の反射率ｒ（ｘ、ｙ）と抽出すべき位相情報φ（ｘ、ｙ）を分離することができる。
【００３３】
次に抽出した位相情報から高さに変換する方法について述べる。図１３の△ＢＣＯと△ＢＭＢ’の相似の関係から、以下の式（２０）の関係が成り立つ。
ＳM＝Ｄ・Ｈ／（Ｈ＋Ｚs）・・・式（２０）
また、式（１２）のφ（ｘ、ｙ）＝２πｆ0Ｓ（ｘ、ｙ）に式（２０）を代入すると、以下の式（２１）が成り立つ。
Ｈ＝Ｚｓφ（ｘ、ｙ）／｛２πｆ０Ｄ−φ（ｘ、ｙ）｝・・・式（２１）
ただし、観測できる位相情報は−π〜＋πに折りたたまれているφw（ｘ、ｙ）である。位相の連続性を利用するなどして、位相接続を実施する必要がある。これは以下の式（２１）の次数ｍを決定することに対応する。
φ（ｘ、ｙ） ＝ ２π・ｍ ＋ φw（ｘ、ｙ）・・・式（２１）
通常の位相接続では形状の連続性を仮定して行う。しかし、図１に示すように複数物体が存在するシーンでは、物体の形状が不連続であるため、その仮定が成り立たず、正しく位相接続を行うことができない。以上が、フーリエ変換法による位相情報の算出と奥行き計測の原理である。
【００３４】
上記、フーリエ変換法の原理に基づく位相情報算出工程（Ｓ２０）の処理を説明する。Ｓ２１のフーリエ変換では、撮影した画像を走査線毎にフーリエ変換する。Ｓ２２の基本周波数成分抽出では、フーリエ変換後のデータのうち周波数領域で基本周波数ｆ0付近のデータのみをフィルタリングにより抽出する。基本周波数ｆ0は投影した縦縞のパターンの基準面上でのピッチｐから式（１１）で求める。Ｓ２３の原点へのシフトでは、抽出したｆ０付近のデータを原点へシフトさせる。原点シフトさせたｆ０付近のデータをＳ２４で逆フーリエ変換し、Ｓ２５の位相情報抽出で位相情報を抽出する。
【００３５】
図５のパターン投影された撮影画像６３をもとにして、折りたたまれた位相情報φw（ｘ、ｙｉ）を算出した結果の例を図１４に示す。画像の走査線ｙｉ上のデータからの位相情報を下のグラフに示した。円柱６４と角柱６５の位相情報からは詳細な形状変化が得られているが、物体の位置が不連続であるため、位相を接続することができないことがわかる。
【００３６】
次に、Ｓ３０では、デフォーカス量算出（Ｓ３１）、デフォーカス量信頼度算出（Ｓ３２）からなるデフォーカス量算出工程を実行する。Ｓ３１のデフォーカス量算出では、デフォーカス量の算出には、注目画素の近傍領域内のコントラスト値、または、標準偏差値を用いる。
【００３７】
図１５（ａ）にコントラスト値の場合の算出方法と結果を示す。注目画素近傍の所定範囲内の領域６６がコントラスト値の計算領域の例である。このデフォーカス量計算領域内で式（１）のコントラスト値を計算する。計算領域をラスタ走査していき画像の全領域内でコントラスト値を算出する。ただし、コントラストの計算領域は基準面における投影パターンピッチｐよりも広い範囲で行う必要がある。上記条件を満たさないと領域内に輝度の最大値、輝度の最小値を含まない可能性があるため正しくコントラストを評価できないためである。図１５（ａ）では、画像のｙ座標がｙｉの位置でのコントラストの計算結果を下のグラフに記述した。合焦領域である基準面上ではパターンが結像関係にあるため、コントラストは高くなる。手前にある角柱６４とさらに手前にある円柱６４ではデフォーカスが発生するため、コントラストが低下する。手前にある円柱６４の方がパターンのデフォーカスが大きいため、コントラスト値はより低くなる。
【００３８】
一方、図１５（ｂ）に標準偏差値の場合の算出方法と結果を示す。図中の注目画素近傍の所定範囲内の領域６７が標準偏差値の計算領域である。この標準偏差値計算領域内で式（２）の標準偏差値を計算する。計算領域をラスタ走査していき画像の全領域内で標準偏差値を算出する。ただし、標準偏差値の計算領域は基準面における投影パターンピッチｐよりも広い範囲で行う必要がある。上記条件を満たさないと領域内の輝度のばらつきを正しく評価できない可能性があるためである。標準偏差値の計算結果を下のグラフに記述した。合焦領域である基準面上ではパターンが結像関係にあるため、画像輝度のばらつきは大きくなり、標準偏差値は高くなる。手前にある角柱６５とさらに手前にある円柱６４ではデフォーカスが発生するため、画像輝度のばらつきは小さくなり、標準偏差値は低下する。手前にある円柱６４の方がデフォーカス量が大きいため、標準偏差値はより低くなる。
【００３９】
コントラスト値と標準偏差値いずれを用いる場合でも物体と物体の境界、あるいは、表面の方向が急激に変わる部分ではコントラスト値と標準偏差値が本来の奥行きに対応する値よりも高くなる。この原因は３つ考えられる。１つ目は物体の表面方向の違いに起因する反射率の違い、２つ目は投影部から物体までの距離の違い、３つ目は物体から撮影部２までの距離の違いである。
【００４０】
まず、第一の理由である物体の表面方向の違いに起因する反射率の違いについて述べる。投影部からの光の物体への入射方向と撮影部２の方向が正反射角に近いほど表面は明るくなる。逆に、正反射方向から遠いほど表面は暗くなる。物体表面が完全拡散であればこのようなことは起きないが、それ以外の表面ではこの現象が発生する。次に投影部から物体までの距離の違いについて述べる。投影部からの光の強度は距離に比例して減衰する。このため、投影部から物体までの距離が小さいほど、入射光強度が高いため、物体表面は明るくなる。逆に、投影部から物体までの距離が大きいほど、入射光強度が低いため、物体表面は暗くなる。
【００４１】
次に物体から撮影部２までの距離の違いについて述べる。物体からの反射光強度も距離に比例して減衰する。物体から撮影部２までの距離が小さいほど、物体表面は明るくなる。一方、物体から撮影部２までの距離が大きいほど、物体表面は暗くなる。
実際のシーンではこれら３つの現象が複合して発生する。このような部分はデフォーカス量の算出結果の信頼性が低いと考えられる。そこで、Ｓ３２のデフォーカス量信頼度算出において信頼度の評価を行う。
【００４２】
デフォーカス量信頼度Ｐ（ｘ、ｙ）の算出は以下の式（２２）を用いる。
Ｐ（ｘ、ｙ）＝Ｄｆ（ｘ、ｙ）−Ｄｆ（ｘ−１、ｙ）・・・式（２２）
Ｄｆ（ｘ、ｙ）はｘ＝ｘ、ｙ＝ｙにおけるデフォーカス値が格納されている。上記式（２２）はデフォーカス値の差分（微分）をとることに対応する。すなわち、デフォーカス値の変化量が大きいところはＰ（ｘ、ｙ）の絶対値が大きくなる。Ｐ（ｘ、ｙ）の絶対値が所定の閾値以下ならば信頼性が高いとし、デフォーカス量をそのまま用いる。一方、閾値よりも大きければ信頼性が低いとし、補正処理を行う。以下では、この閾値をＰｔで表し、信頼性を評価する基準となる。補正処理はＳ４０の位相接続工程の位相情報補正（Ｓ４３）で行う。詳細は後で記述する。
【００４３】
図１６（ｂ）、（ｃ）に画像６３におけるデフォーカス値Ｄｆの算出結果とデフォーカス信頼度Ｐ（ｘ、ｙ）の算出結果をグラフ化したものを示す。デフォーカス値の変化が大きい領域では、デフォーカス信頼度の絶対値が大きくなり、デフォーカス値の信頼性は下がる。
【００４４】
Ｓ４０では、位相の次数算出（Ｓ４１）、位相接続（Ｓ４２）、位相情報補正（Ｓ４３）からなる位相接続工程を三次元形状算出部９が実行する。Ｓ４１の位相の次数算出では、まず事前に実施したキャリブレーションの結果からデフォーカス量Ｄｆ（ｘ、ｙ）を奥行き値Ｚ（ｘ、ｙ）に変換する。奥行き値Ｚ（ｘ、ｙ）から式（２１）を変形した以下の式（２３）を用いて位相φ（ｘ、ｙ）を求める（Ｚ＝Ｌ−Ｈの関係を用いた）。
φ（ｘ、ｙ）＝２πｆ０Ｄ（１−Ｚ（ｘ、ｙ）／Ｌ）・・・式（２３）
求めたφ（ｘ、ｙ）から以下の式（２４）を用いて次数ｍを算出する。
ｍ＝Ｉｎｔ［φ（ｘ、ｙ）／２π］・・・式（２４）
ここで、Ｉｎｔ［］は少数点以下を切り捨てることを意味する。図１６（ｄ）に算出した次数ｍをグラフ化したものを示す。デフォーカス値の信頼性が基準よりも低い領域は、位相の次数は算出しない。グラフでは斜線で示す領域である。Ｓ４２の位相接続では算出した位相の次数ｍと、Ｓ２５における位相情報抽出の結果φw（ｘ、ｙ）に基づき、位相を接続する。具体的には以下の式（２５）を用いる。
φｍ（ｘ、ｙ） ＝ ２π・ｍ ＋ φｗ（ｘ、ｙ）・・・式（２５）
式（２５）は式（２１）と同じ形だが、デフォーカス値の信頼性が基準よりも低い領域を含むため、本来のφ（ｘ、ｙ）とは異なる。区別するために、デフォーカス値の信頼性が基準よりも低い領域を含む場合の位相をφｍ（ｘ、ｙ）と表記した。
【００４５】
図１６（ｅ）にφｍ（ｘ、ｙ）の算出結果をグラフ化したものを示す。デフォーカス値の信頼性が基準よりも低い領域を斜線で示した。Ｓ４３の位相情報補正ではφｍ（ｘ、ｙ）のデフォーカス値の信頼性が基準よりも低い領域の欠落した情報を補正して本来のφ（ｘ、ｙ）を求める。欠落情報の補正は接続前の位相φｗの連続性を用いる。なお、図１６（ｆ）は、図１６（ｅ）に次数ｍを反映させて示したグラフである。
【００４６】
次に、補正方法を、図１７を用いて具体的に説明する。図１７（ａ）は、図１６（ｅ）に対応する接続前の位相を示すグラフである。図１７（ｂ）には、位相φｗ（ｘ、ｙｉ）と、位相φｗ（ｘ、ｙｉ）の微分値（差分値）であるｄφw（ｘ、ｙｉ）／ｄｘのグラフを示す。位相の微分値の絶対値が大きい位置、ｘ＝ｘV1、ｘV2、ｘV3では位相の不連続が発生する。また、位相の微分値の正負が逆転する位置ｘ＝ｘI1では面の傾きが変化する。これらの点を位相変化の特異点と呼ぶことにする。
【００４７】
位相変化が小さい特異点以外の領域では位相の不連続が生じないため、形状の連続性は保証される。したがって、φm（ｘ、ｙｉ）の欠落した領域を位相φw（ｘ、ｙｉ）の連続性を利用して補正することが可能になる。図１７（ｃ）のφm（ｘ、ｙｉ）のグラフではデフォーカス値の信頼性が基準よりも低い領域のグラフを描かなかったので空白になっている。このような場合、空白の近傍から特異点に向かってφwの連続性を利用して補正する。具体的には図中の矢印方向に特異点と交わるまでこの操作を続ける。補正後の位相を図１７（ｄ）に補正した位相φ（ｘ、ｙｉ）として示す。
【００４８】
最後にＳ５０の形状算出工程で、三次元形状算出部９が形状の算出を行う。形状算出工程は形状情報算出（Ｓ５１）からなる。Ｓ５１の形状情報算出では式（２３）を変形した以下の式（２６）に基づき、位相情報φ（ｘ、ｙ）を奥行き情報Ｚ（ｘ、ｙ）に変換する。
Ｚ（ｘ、ｙ）＝Ｌ（１−φ（ｘ、ｙ）／（２πｆ０Ｄ））・・・式（２６）
図１７（ｅ）に最終的に計算された形状情報を示す。不連続な奥行きにある物体に対しても１回のパターン投影のみで詳細な形状計測が可能になることがわかる。以上のようにして、本実施形態では、形状情報を算出することができる。
【００４９】
［実施形態２］
図１８に発明の実施形態２に係る形状計測装置２００の概略図を示す。図１に示した実施形態１の構成と比較して投影パターン切換部１４が追加された構成である。実施形態２では位相情報の取得に位相シフト法を用いる。位相シフト法では図２に示す正弦波状のパターンの位相をずらしながら３種類以上投影する必要がある。実施形態２では、正弦波状のパターンをπ／２ずつ位相をずらしながら４種類投影することにする。
【００５０】
この４種類のパターンの例は図１９に示す通りである。図１９では、位相シフト量が０、π／２、π、３π／２の場合をそれぞれ示している。このような位相の異なる４種類のパターンを投影することで、対象のテクスチャに影響されにくい位相情報の取得が可能になるという効果が得られる。さらに、デフォーカス量算出部８におけるデフォーカス量の算出では、信頼性の高いデフォーカス量算出が可能になる。ただし、投影するパターンが４種類であるため、パターンを切り換えて撮影している最中に被写体が動く可能性がある。したがって、動きの速い被写体に対応するためには、高速にパターンの切り換えが可能な投影部と、フレームレートが高速な撮影部２が必要になる。
【００５１】
高速にパターンの切り換えが可能な投影部としては、ＤＭＤを表示素子として用いたプロジェクター、高速応答性のある液晶表示素子を用いたプロジェクターなどが考えられる。フレームレートが高速な撮影部２としては、市販されている高速カメラを用いればよい。高速カメラを用いれば１００ｆｐｓや１０００ｆｐｓでの画像取得も可能である。また、フーリエ変換法と同様に観測できる位相は０〜２πであるため、それを超える位相変化が発生した場合には位相接続が必要になる。事前のキャリブレーションは実施形態１の形状計測装置１００と同様の操作をするため説明を省略する。デフォーカス量と奥行き位置の関係はキャリブレーションにより、取得されているものとする。
【００５２】
実施形態２の形状計測装置２００による形状計測の手順を説明する。形状計測は図２６に示すフローチャートに沿って行われる。該フローチャートに対応する処理は、パターン投影部１、撮影部２、位相情報算出部７、デフォーカス量算出部８、三次元形状算出部９及び投影パターン切換部１４が、対応する処理プログラムを実行することにより実現される。
【００５３】
Ｓ１０’の画像撮影工程は、パターン投影（Ｓ１１）、画像撮影（Ｓ１２）、撮影枚数判定（Ｓ１３）、パターン位相のπ／２シフト（Ｓ１４）からなる。Ｓ１０’の画像撮影工程は実施形態１の画像撮影工程と比較して、Ｓ１３における撮影枚数判定、Ｓ１４のパターン位相のπ／２シフトが追加された点で異なる。
【００５４】
Ｓ１１では投影部１により、基準となる位相パターンを投影する。Ｓ１２の画像撮影では撮影部２により撮影対象シーンを画像撮影する。Ｓ１３では撮影枚数が４枚未満か否かの判定を行う。撮影枚数が４枚以上であれば、次の位相情報算出工程（Ｓ２０’）とデフォーカス量算出工程（Ｓ３０’）に進む。撮影枚数が４枚未満であれば、Ｓ１４に進む。Ｓ１４では、投影パターン切換部１４を用いてパターンの位相をπ／２シフトさせる。その後、Ｓ１１におけるパターン投影とＳ１２の画像撮影とを行う。このようにしてＳ１０’の画像撮影工程では、投影パターンの位相がπ／２ずつ異なる画像が４枚得られる。
【００５５】
続いて行うＳ２０’の位相情報算出工程は、位相シフト画像による位相情報算出（Ｓ２６）からなる。Ｓ２６で行う処理を図２１を用いて説明する。図２１は横軸に位相を縦軸に画像輝度値をとったものである。ここでは、位相シフト量が０、π／２、π、３π／２の各撮影画像について同一座標位置（ｘ、ｙ）の画素の輝度値を抽出し、対応する位置にプロットする。画像座標が（ｘ、ｙ）のときの０、π／２、π、３π／２のときの輝度値をそれぞれＩ0（ｘ、ｙ）、Ｉπ／２（ｘ、ｙ）、Ｉπ（ｘ、ｙ）Ｉ３π／２（ｘ、ｙ）とする。このとき、画像座標（ｘ、ｙ）の位置での位相情報φw（ｘ、ｙ）は以下の式（２７）で算出することができる。
φw（ｘ、ｙ）＝ｔａｎ-1｛Ｉ３π／２（ｘ、ｙ）−Ｉπ／２（ｘ、ｙ）｝／｛Ｉ０（ｘ、ｙ）−Ｉπ（ｘ、ｙ）｝・・・式（２７）
フーリエ変換法では注目画素の投影パターンの変化に応じた輝度変動のみで処理が完結するため、対象のテクスチャの変動に強い位相算出が可能になる。
【００５６】
続くＳ３０’では、デフォーカス量算出（Ｓ３１）、デフォーカス量信頼度算出（Ｓ３２）、処理枚数判定（Ｓ３３）、画像変更（Ｓ３４）、結果統合（Ｓ３５）からなるのデフォーカス量算出工程が、デフォーカス量算出部８により実施される。Ｓ３１のデフォーカス量算出工程では、実施形態１と同様、デフォーカス量の算出に注目画素の近傍領域内のコントラスト値、または、標準偏差値を用いるので説明は省略する。Ｓ３２のデフォーカス量信頼度算出も実施形態１と同様、デフォーカス値の差分（微分）を算出するので説明は省略する。
【００５７】
Ｓ３３の処理枚数判定Ｓ３３では、処理枚数が４枚未満か否かの判定を行う。処理枚数が４枚以上の場合には、Ｓ３５の結果統合に進む。処理枚数が４枚未満の場合、Ｓ３４の画像変更に進む。Ｓ３４では処理の対象をデフォーカス量算出を実施していない投影パターンの撮影画像に変更する。Ｓ３５では異なる投影パターンで実施したデフォーカス量の算出結果と、デフォーカス信頼度の算出結果を統合する。
【００５８】
ここでは、位相シフト量が０の画像を初期画像とし、デフォーカス信頼度が基準よりも低い領域を抽出する。位相シフト量が異なる画像でこの領域のデフォーカス信頼度が基準以上の場合には、そのときのデフォーカス値を初期画像の結果に上書きする。これを位相シフト量が異なる画像に対して繰り返して、デフォーカス信頼度が基準以上のデフォーカス量を統合することで、デフォーカス信頼度が基準よりも低い領域が小さくなる。複数パターンの撮影画像の結果を統合することで、デフォーカス信頼度の高い領域のデータを選定することができるため、精度の高いデフォーカス量算出が可能になる。なお、Ｓ４０の位相接続工程とＳ５０の形状情報算出工程に関しては実施形態１と同様の操作をするため説明を省略する。
【００５９】
以上の実施形態２により、撮影枚数が４枚に増加するものの、テクスチャの変動に強い位相算出と、信頼度の高いデフォーカス量算出が可能になる。
【００６０】
[実施形態３］
発明の実施形態３に係る形状計測装置は図１８に示した実施形態２と同様の構成を有する。パターン投影部１で投影するパターンは図２２（ａ）、（ｂ）に示す２種類の矩形波パターンである。矩形波パターンの周期をｐとし、図２２（ａ）の矩形波を基準位相とすると、図２２（ｂ）のパターンはｐ／２だけ位相をずらしたものである。投影パターン切換部１４でパターン投影部１で投影するパターンを切り替えながら、撮像部２でそれぞれのパターンが投影された撮影対象シーンの画像を撮像する。
【００６１】
デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値等を用いて計算する。
【００６２】
次に、本実施形態における位相情報算出部７による、図２０のＳ２０'における位相情報の算出方法について説明する。ここでは、図２２（ａ）のパターンを投影し、撮影したときの画像をＩＲｐ（ｘ、ｙ）、図２２（ｂ）のパターンを投影し、撮影したときの画像をＩＲｎ（ｘ、ｙ）とする。
【００６３】
まず、ＩＲｐ（ｘ、ｙ）とＩＲｎ（ｘ、ｙ）の大小比較をし、２値化画像Ｂ（ｘ、ｙ）を生成する。ＩＲｐ（ｘ、ｙ）＞＝ＩＲｎ（ｘ、ｙ）のときＢ（ｘ、ｙ）＝１とし、ＩＲｐ（ｘ、ｙ）＜ＩＲｎ（ｘ、ｙ）のときＢ（ｘ、ｙ）＝０とする。図２２（ｃ）に２値化画像Ｂ（ｘ、ｙ）の生成例を示す。
【００６４】
次に２値化画像Ｂ（ｘ、ｙ）から以下の式（２８）により、エッジ画像Ｅを生成する。
【００６５】
Ｅ（ｘ、ｙ）＝Ｂ（ｘ、ｙ）―Ｂ（ｘ＋１、ｙ）・・・式（２８）
式（２８）の計算により、エッジ位置には１、または、−１の値が与えられる。次に注目画素ｘの両端のエッジ位置を探索する。これはエッジ画像Ｅ上で、最も近接する１、または、−１の値を探索することにより成される。探索された左側のエッジ位置をＥｌ、右側のエッジ位置をＥｒとすると、位相φｗ（ｘ、ｙ）は以下の式（２９）で計算される。
【００６６】
φｗ（ｘ）＝２π・（ｘ―Ｅｌ）／（Ｅｒ―Ｅｌ）―π・・・式（２９）
これを全てのｙ座標に対して計算することで位相情報φｗ（ｘ、ｙ）が求められる。
【００６７】
三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相情報φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。必要に応じて位相補正を行い、式（２６）を用いて奥行き情報Ｚ（ｘ、ｙ）を計算し、被写体の三次元形状情報を求める。
【００６８】
以上の実施形態３により、撮影枚数が２枚に増加するものの、被写体が有するテクスチャ変動に強い位相算出が可能になる。
【００６９】
［実施形態４］
発明の実施形態４に係る形状計測装置は図１８に示した実施形態２と同様の構成を有する。但し、本実施形態においてパターン投影部１が投影するパターンは図２３（ａ）、（ｂ）に示す２種類の三角波である。図２３（ｂ）の三角波は図２３（ａ）の明るさを反転させたものである。投影パターン切換部１４でパターン投影部１で投影するパターンを切り替えながら、撮像部２でそれぞれのパターンが投影された撮影対象シーンの画像を撮像する。
【００７０】
デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値などを用いて計算する。
【００７１】
次に、本実施形態における位相情報算出部７による、図２０のＳ２０'における位相情報の算出方法について説明する。ここでは、図２３（ａ）のパターンで撮影したときの撮影画像をＩＴｐ（ｘ、ｙ）、図２３（ｂ）のパターンで撮影したときの撮影画像をＩＴｎ（ｘ、ｙ）とする。このとき強度比画像Ｉｒａｔｉｏは以下の式（３０）で計算される。
【００７２】
Ｉｒａｔｉｏ＝ＩＴｐ（ｘ、ｙ）／ＩＴｎ（ｘ、ｙ）・・・式（３０）
強度比画像Ｉｒａｔｉｏの計算結果を図２３（ｃ）に示す。三角波の周期をｐとすると位相情報φｗ（ｘ、ｙ）は以下の式（３１）で計算される。
【００７３】
φｗ（ｘ、ｙ）＝２π・Ｉｒａｔｉｏ・（１−ｘ／ｐ−ｉｎｔ（ｘ／ｐ））−π・・・式（３１）
ここでｉｎｔ（）は小数点以下を切り捨てるという演算を意味する。式（３１）により強度比画像Ｉｒａｔｉｏの値が−π〜πの間で線形に変化するように正規化される。φｗ（ｘ、ｙ）の計算結果の例を図２３（ｄ）に示す。三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相情報φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。
【００７４】
必要に応じて位相補正を行い、式（２６）を用いて奥行き情報Ｚ（ｘ、ｙ）を計算し、被写体の三次元形状情報を求める。
【００７５】
以上の実施形態４により、撮影枚数が２枚に増加するものの、被写体が有するテクスチャ変動に強い位相算出が可能になる。
【００７６】
［実施形態５］
発明の実施形態５に係る形状計測装置３００の概略上面図を図２４に示す。図１で示した実施形態１の構成との違いは、位相情報算出部７の代わりに、撮影画像のパターンの明るさ変化からパターンの局所的な配置情報を算出する局所配置情報算出部７１が使われる点である。
【００７７】
パターン投影部１で投影するパターンは図２５に示すランダム性を有するパターン（ランダムパターン）である。撮像部２で図２５（ａ）に示すランダム性を有するパターンが投影された撮影対象シーンの画像を撮像する。このときの撮影画像をＩＲａｎｄ（ｘ、ｙ）とする。
【００７８】
局所配置情報算出部７１では、２値化処理、符号化処理、相関演算処理、候補選択処理という４つの処理が行われる。２値化処理では、撮影画像ＩＲａｎｄ（ｘ、ｙ）が画像の明暗に応じた閾値処理により２値化される。符号化処理では、２値化処理の結果に基づいて符合化画像Ｃｏｄｅ（ｘ、ｙ）が生成される。明部に対して符合「１」が、暗部に対して符号「０」がそれぞれ割り与えられる。相関演算処理では、まず、図２５（ｂ）に示すように符号化画像の注目画素近傍の所定範囲（−Ｒｃ〜＋Ｒｃ）が切り出される。そして、以下の式（３２）により、切り出された領域に対してランダムパターンＲａｎｄＣｏｄｅ（ｘ）との相関演算が行われる。
上記演算式によれば、相関値Ｃｏｒｒｅ（ｘ）が小さいほど、相関が高くなることを意味する。図２５（ｃ）に相関演算の結果の一例を示す。候補選択処理では、相関演算結果に基づいて複数の候補を選択する。図２５（ｃ）に示す例ではＭｉｎ１、Ｍｉｎ２という２つ候補が選択される。このような場合には、複数の候補が選択されたため、奥行きを一意に求めることができない。
【００７９】
そこで、候補を絞り込むために、デフォーカス量算出部８により求められたデフォーカス量を用いる。デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値等を用いて計算する。撮影画像上の位置とデフォーカス量、投影パターン上の位置の関係は事前のキャリブレーションにより求められている。そのため、図２５（ｃ）に示す例では、点線枠で囲んだ領域Ｃａｎｄに絞られる。これにより、２つの候補から１つの候補Ｍｉｎ１を選択し、奥行きを求める。上記処理を画像の全範囲に対して実施することで、撮影対象シーンの奥行き情報Ｚ（ｘ、ｙ）を計算する。
【００８０】
以上の実施形態５により、投影するパターンが周期的なパターンでなくても被写体の三次元形状計測が可能となる。
【００８１】
［実施形態６］
発明の実施形態６に係る形状計測装置の構成は、実施形態１の構成である図１と同一である。実施形態１乃至５ではパターン投影部１の焦点を基準面３に合わせ、投影光学系１２によるボケを利用してデフォーカス量を算出した。しかし、実施形態６では撮像部２の結像光学系を用いて焦点を基準面３に合わせ、撮像光学系によるボケを利用してデフォーカス量を算出する。
【００８２】
撮像部２の撮像光学系によるデフォーカスと、パターン投影部１の投影光学系によるデフォーカスを分離するために、投影光学系のデフォーカスを無視できるような条件で投影する必要がある。具体的にはパターン投影部１の絞りを十分に絞り、被写界深度を深くしておく必要がある。計測範囲に応じて、被写界深度の計算式（３）、（４）、および、回折によるボケの限界の算出式（５）を使用して投影光学系のＦ値を適切に設定する。
【００８３】
撮像部２の焦点を基準面３に合わせたので、基準面から手前に離れるほど、デフォーカス量は大きくなる。デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値などを用いて計算する。位相情報算出部７では実施形態１と同様に正弦波が投影された被写体の撮影画像から、フーリエ変換法により位相情報φｗ（ｘ、ｙ）を算出する。
【００８４】
三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。本実施形態６では投影パターンとして正弦波を１パターン投影し、フーリエ変換法により、位相を算出する方法を例に挙げて説明した。しかし、構成を実施形態５と同一にし、ランダムパターンを投影する方法も用いることができる。また、パターン切換部を追加した実施形態２乃至４と同一の構成にして、位相の異なる複数の正弦波を投影する方法、矩形波を投影する方法、三角波を投影する方法なども用いることができる。
【００８５】
以上の実施形態６により、撮像光学系がパンフォーカス条件を満たさなくても三次元形状計測が可能になる。
【００８６】
［実施形態７］
発明の実施形態７に係る形状計測装置の構成は、実施形態１の構成である図１と同一である。実施形態１乃至５ではパターン投影部１の焦点を基準面３に合わせ、投影光学系１２によるボケを利用してデフォーカス量を算出した。また、実施形態６では撮像部２の焦点を基準面３に合わせ、撮像レンズ２２によるボケを利用してデフォーカス量を算出した。しかし、実施形態７では、パターン投影部１の投影光学系によるボケと撮像部２の撮像光学系によるボケの両者を合わせた複合ボケを利用してデフォーカス量を算出する。
【００８７】
パターン投影部１と撮像部２の焦点は基準面３、または、基準面３よりも後方に合わせる。このようにすることで、基準面から手前に離れるほど、複合ボケは大きくなるため、パターン投影部１と撮像部２のボケを分離してデフォーカス量を算出する必要がなくなる。デフォーカス量算出部８では、撮影画像の各画素におけるデフォーカス量を式（１）で示したコントラスト値、式（２）で示した標準偏差値などを用いて計算する。位相情報算出部７では実施形態１と同様に正弦波が投影された被写体の撮影画像から、フーリエ変換法により位相情報φｗ（ｘ、ｙ）を算出する。
【００８８】
三次元形状算出部９では、デフォーカス量算出部８で算出されたデフォーカス量を基に式（２４）により位相次数ｍを決定する。さらに、式（２５）により位相情報算出部７で算出した位相情報φｗ（ｘ、ｙ）を接続し、接続位相φｍ（ｘ、ｙ）を求める。本実施形態７では投影パターンとして正弦波を１パターン投影し、フーリエ変換法により、位相を算出する方法を例に挙げて説明した。しかし、構成を実施形態５と同一にし、ランダムパターンを投影する方法も用いることができる。また、パターン切換部を追加した実施形態２乃至４と同一の構成にして、位相の異なる複数の正弦波を投影する方法、矩形波を投影する方法、三角波を投影する方法なども用いることができる。
【００８９】
以上の実施形態７により、撮像光学系、および、投影光学系がパンフォーカス条件を満たさなくても三次元形状計測が可能になる。
【００９０】
本発明による三次元形状計測装置は様々な応用に利用できる。ＣＧなどの分野では実在する物体のモデリングを行うことができる。これにより従来は手動で実施していたモデリングを自動化することができ、ＣＧ製作の効率化が期待できる。少ないパターン数で精度の高い距離算出が可能なため、高速な応答が要求されるロボットハンド用のビジョンとして用いることもできる。また、比較的少ないパターンでの形状計測が可能なため、動いている被写体に対しても形状計測を実施できる。小型のプロジェクターと組み合わせれば、ディジタルカメラなどの小型の撮像デバイスにも搭載でき、三次元形状を用いた高度な処理のための入力情報として用いることができる。
【００９１】
また、本発明は、実施形態１乃至７と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１及び図１８のブロック７乃至９及び１４等の構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【００９２】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、
前記パターンが投影された計測空間を撮影する撮像手段とを備え、
前記計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置であって、
前記撮影手段により得られた撮影画像の前記パターンの明るさ変化から前記パターンの局所的な配置情報を算出する局所配置情報算出手段と、
前記撮影画像における前記パターンのボケ量を算出するボケ量算出手段と、
前記局所配置情報と前記ボケ量とに基づき、前記計測対象の三次元形状を算出する三次元形状算出手段と、
をさらに備えることを特徴とする三次元形状計測装置。
【請求項２】
前記パターン投影手段、あるいは、前記撮像手段の少なくとも一方は結像光学系を有し、
前記パターン投影手段、あるいは、前記撮像手段の少なくとも一方の前記結像光学系は、前記計測空間における基準面に合焦するように構成され、
前記計測空間は前記基準面、前記パターン投影手段の投影範囲及び前記撮影手段の撮影範囲により規定されることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項３】
前記明るさ変化を有するパターンは周期性を有するパターンであり、
前記局所配置情報算出手段は周期性を有するパターンの位相情報を算出することを特徴とする請求項１または２に記載の三次元形状計測装置。
【請求項４】
前記三次元形状算出手段は、前記位相情報を補正する位相情報補正手段を備え、
該位相情報補正手段は、前記ボケ量を前記計測空間の奥行き情報に変換し、該奥行き情報に対応する位相の次数を算出し、該次数に基づいて位相情報を補正し、
前記三次元形状算出手段は、補正された位相情報に基づいて前記計測対象の三次元形状を算出する
ことを特徴とする請求項３に記載の三次元形状計測装置。
【請求項５】
前記ボケ量算出手段は、前記ボケ量の変化量を算出し、該変化量が閾値よりも高いボケ量を除外し、
前記位相情報補正手段は、該変化量が前記閾値以下であるボケ量を前記奥行き情報に変換することを特徴とする請求項４に記載の三次元形状計測装置。
【請求項６】
前記パターン投影手段により投影される前記パターンは、周期性を有する１種類のパターンであって、
前記局所配置情報算出手段は、前記撮影画像を走査線毎にフーリエ変換して、フーリエ変換後のデータから前記周期性を有するパターンの基本周波数の付近のデータを抽出し、抽出したデータを逆フーリエ変換して、前記位相情報を求める
ことを特徴とする請求項３乃至５のいずれか１項に記載の三次元形状計測装置。
【請求項７】
前記パターン投影手段により投影される前記パターンは、位相がシフトされた３種類以上の周期性を有するパターンであって、
前記撮像手段は、前記３種類以上の投影パターンのそれぞれについて撮像を行い、
前記局所配置情報算出手段は、前記３種類以上の投影パターンについて得られた撮影画像のそれぞれについて、同一座標位置における輝度値を取得し、取得した各輝度値と該輝度値に対応する位相のシフト量との関係に基づき、前記位相情報を算出する
ことを特徴とする請求項３乃至５のいずれか１項に記載の三次元形状計測装置。
【請求項８】
前記ボケ量算出手段は、前記３種類以上の投影パターンについて得られた撮影画像のそれぞれについて、前記ボケ量の変化量を算出し、該変化量が閾値以下のボケ量を統合し、
前記位相情報補正手段は、該統合されたボケ量を前記奥行き情報に変換することを特徴とする請求項４に記載の三次元形状計測装置。
【請求項９】
前記ボケ量算出手段は、前記撮影画像の注目画素近傍の所定範囲内におけるコントラスト値に基づき、前記ボケ量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の三次元形状計測装置。
【請求項１０】
前記ボケ量算出手段は、前記撮影画像の注目画素近傍の所定範囲内における標準偏差値に基づき、前記ボケ量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の三次元形状計測装置。
【請求項１１】
前記周期性を有するパターンが矩形波であることを特徴とする請求項３乃至８のいずれか1項記載の三次元形状計測装置。
【請求項１２】
前記周期性を有するパターンが三角波であることを特徴とする請求項３乃至８のいずれか1項記載の三次元形状計測装置。
【請求項１３】
前記明るさ変化を有するパターンがランダム性を有するパターンであることを特徴とする請求項１または２に記載の三次元形状計測装置。
【請求項１４】
前記ボケ量はデフォーカス量を基準として算出するものであることを特徴とする請求項１乃至１３のいずれか１項に記載の三次元形状計測装置。
【請求項１５】
明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、
前記パターンが投影された計測空間を撮影する撮像手段とを備え、
前記計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置による三次元形状計測方法であって、
局所配置情報算出手段が、前記撮影手段により得られた撮影画像の前記パターンの明るさ変化から前記パターンの局所的な配置情報を算出する工程と、
ボケ量算出手段が、前記撮影画像における前記パターンのボケ量を算出する工程と、
三次元形状算出手段が、前記局所配置情報と前記ボケ量とに基づき、前記計測対象の三次元形状を算出する工程と、
を備えることを特徴とする三次元形状計測方法。
【請求項１６】
パターンを投影するパターン投影手段と、撮影手段とを備えるコンピュータを、請求項１乃至１４のいずれか１項に記載の三次元形状計測装置の各手段として動作させるためのコンピュータプログラム。
【請求項１】
明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、
前記パターンが投影された計測空間を撮影する撮像手段とを備え、
前記計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置であって、
前記撮影手段により得られた撮影画像の前記パターンの明るさ変化から前記パターンの局所的な配置情報を算出する局所配置情報算出手段と、
前記撮影画像における前記パターンのボケ量を算出するボケ量算出手段と、
前記局所配置情報と前記ボケ量とに基づき、前記計測対象の三次元形状を算出する三次元形状算出手段と、
をさらに備えることを特徴とする三次元形状計測装置。
【請求項２】
前記パターン投影手段、あるいは、前記撮像手段の少なくとも一方は結像光学系を有し、
前記パターン投影手段、あるいは、前記撮像手段の少なくとも一方の前記結像光学系は、前記計測空間における基準面に合焦するように構成され、
前記計測空間は前記基準面、前記パターン投影手段の投影範囲及び前記撮影手段の撮影範囲により規定されることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項３】
前記明るさ変化を有するパターンは周期性を有するパターンであり、
前記局所配置情報算出手段は周期性を有するパターンの位相情報を算出することを特徴とする請求項１または２に記載の三次元形状計測装置。
【請求項４】
前記三次元形状算出手段は、前記位相情報を補正する位相情報補正手段を備え、
該位相情報補正手段は、前記ボケ量を前記計測空間の奥行き情報に変換し、該奥行き情報に対応する位相の次数を算出し、該次数に基づいて位相情報を補正し、
前記三次元形状算出手段は、補正された位相情報に基づいて前記計測対象の三次元形状を算出する
ことを特徴とする請求項３に記載の三次元形状計測装置。
【請求項５】
前記ボケ量算出手段は、前記ボケ量の変化量を算出し、該変化量が閾値よりも高いボケ量を除外し、
前記位相情報補正手段は、該変化量が前記閾値以下であるボケ量を前記奥行き情報に変換することを特徴とする請求項４に記載の三次元形状計測装置。
【請求項６】
前記パターン投影手段により投影される前記パターンは、周期性を有する１種類のパターンであって、
前記局所配置情報算出手段は、前記撮影画像を走査線毎にフーリエ変換して、フーリエ変換後のデータから前記周期性を有するパターンの基本周波数の付近のデータを抽出し、抽出したデータを逆フーリエ変換して、前記位相情報を求める
ことを特徴とする請求項３乃至５のいずれか１項に記載の三次元形状計測装置。
【請求項７】
前記パターン投影手段により投影される前記パターンは、位相がシフトされた３種類以上の周期性を有するパターンであって、
前記撮像手段は、前記３種類以上の投影パターンのそれぞれについて撮像を行い、
前記局所配置情報算出手段は、前記３種類以上の投影パターンについて得られた撮影画像のそれぞれについて、同一座標位置における輝度値を取得し、取得した各輝度値と該輝度値に対応する位相のシフト量との関係に基づき、前記位相情報を算出する
ことを特徴とする請求項３乃至５のいずれか１項に記載の三次元形状計測装置。
【請求項８】
前記ボケ量算出手段は、前記３種類以上の投影パターンについて得られた撮影画像のそれぞれについて、前記ボケ量の変化量を算出し、該変化量が閾値以下のボケ量を統合し、
前記位相情報補正手段は、該統合されたボケ量を前記奥行き情報に変換することを特徴とする請求項４に記載の三次元形状計測装置。
【請求項９】
前記ボケ量算出手段は、前記撮影画像の注目画素近傍の所定範囲内におけるコントラスト値に基づき、前記ボケ量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の三次元形状計測装置。
【請求項１０】
前記ボケ量算出手段は、前記撮影画像の注目画素近傍の所定範囲内における標準偏差値に基づき、前記ボケ量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の三次元形状計測装置。
【請求項１１】
前記周期性を有するパターンが矩形波であることを特徴とする請求項３乃至８のいずれか1項記載の三次元形状計測装置。
【請求項１２】
前記周期性を有するパターンが三角波であることを特徴とする請求項３乃至８のいずれか1項記載の三次元形状計測装置。
【請求項１３】
前記明るさ変化を有するパターンがランダム性を有するパターンであることを特徴とする請求項１または２に記載の三次元形状計測装置。
【請求項１４】
前記ボケ量はデフォーカス量を基準として算出するものであることを特徴とする請求項１乃至１３のいずれか１項に記載の三次元形状計測装置。
【請求項１５】
明るさ変化を有するパターンを計測空間に投影するパターン投影手段と、
前記パターンが投影された計測空間を撮影する撮像手段とを備え、
前記計測空間に存在する計測対象の三次元形状を計測する三次元形状計測装置による三次元形状計測方法であって、
局所配置情報算出手段が、前記撮影手段により得られた撮影画像の前記パターンの明るさ変化から前記パターンの局所的な配置情報を算出する工程と、
ボケ量算出手段が、前記撮影画像における前記パターンのボケ量を算出する工程と、
三次元形状算出手段が、前記局所配置情報と前記ボケ量とに基づき、前記計測対象の三次元形状を算出する工程と、
を備えることを特徴とする三次元形状計測方法。
【請求項１６】
パターンを投影するパターン投影手段と、撮影手段とを備えるコンピュータを、請求項１乃至１４のいずれか１項に記載の三次元形状計測装置の各手段として動作させるためのコンピュータプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２】
【図９】
【図１５】
【図１６】
【図１９】
【図２３】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２】
【図９】
【図１５】
【図１６】
【図１９】
【図２３】
【公開番号】特開２０１２−８３２３３（Ｐ２０１２−８３２３３Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２３００９８（Ｐ２０１０−２３００９８）
【出願日】平成２２年１０月１２日（２０１０．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１２日（２０１０．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]