ステレオ３次元計測装置
【課題】回路規模および演算時間の増大を招くことなくキャリブレーションずれを再補正する。
【解決手段】キャリブレーションによって補正された左右のカメラステレオ平行化後画像間のずれ量を、キャリブレーションずれ再補正部１５を含む対応点探索部９による対応点の探索処理中において、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理で得られるデータを用いて再補正する。こうして、距離計測装置１における内部ハードウェアの回路規模および演算時間を増大させることなく計測精度を高めることができる。また、上記右カメラステレオ平行化後画像を上下にずらして、左右のカメラステレオ平行化後画像の上下方向のずれを再補正する。こうして、問題になり易い上下方向のキャリブレーションずれを低減することができる。その際に、対応点の探索を行う際の右カメラステレオ平行化後画像の最適位置を確実に見出すことができる。
【解決手段】キャリブレーションによって補正された左右のカメラステレオ平行化後画像間のずれ量を、キャリブレーションずれ再補正部１５を含む対応点探索部９による対応点の探索処理中において、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理で得られるデータを用いて再補正する。こうして、距離計測装置１における内部ハードウェアの回路規模および演算時間を増大させることなく計測精度を高めることができる。また、上記右カメラステレオ平行化後画像を上下にずらして、左右のカメラステレオ平行化後画像の上下方向のずれを再補正する。こうして、問題になり易い上下方向のキャリブレーションずれを低減することができる。その際に、対応点の探索を行う際の右カメラステレオ平行化後画像の最適位置を確実に見出すことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のカメラを用いて距離や形状等の計測を行うステレオ３次元計測装置に関する。
【背景技術】
【０００２】
複数のカメラを用いて対象物までの距離や対象物の形状などを計測するステレオ３次元計測装置が実用化されている。ステレオ３次元計測の手法としては、一般に「相関法」と呼ばれる方法が知られている。
【０００３】
上記「相関法」においては、カメラを左右に配置して対象物を同時に撮影し、得られた左右画像のペアから対応する画素の組である対応点を探索する。そして、左右画像の対応点同士が左右方向にどれだけ離れているかを表す視差を求め、この視差から三角測量の原理を適用して対象物までの距離を算出することができる。また、対象物に直線や多角形などの既知の光パターンを投影し、投影されたパターン形状の変化から対象物の形状を求める「光切断法」と呼ばれる方法も存在し、前述の「相関法」と併用して計測が行われることもある。
【０００４】
ところで、複数のカメラを用いてステレオ３次元計測を行う場合に、レンズの歪みや撮像素子の中心ずれや左右カメラの位置関係のずれ等の誤差要因によって、計測誤差が生じる。これを補正するために、計測の前に「キャリブレーション」と呼ばれる作業が必要となる。
【０００５】
すなわち、形状が既知の幾何学的パターンを印刷した「キャリブレーションボード」と呼ばれる被写体を異なる距離および異なる角度で複数枚撮影し、それらの画像情報から誤差要因に関する情報を含むキャリブレーションパラメータを算出しておく。その後、ステレオ計測を行う際に、撮影した左右画像にキャリブレーションパラメータを適用し、誤差要因を取り除いた補正後の左右画像対を生成する。この補正後の左右画像対を用いて対応点の探索および視差の算出を行うことによって、誤差の少ない計測を行うことができるのである。
【０００６】
しかしながら、実際の３次元計測においては、計測中の経時変化によって上述の誤差要因に変化が発生し、キャリブレーションパラメータとの間にずれが生じて、計測誤差が次第に大きくなる現象が起こる場合がある。これを防止するには、計測の前に毎回キャリブレーションを行ったり、一定時間ごとに計測を一時停止してキャリブレーションを行ったりすることも考えられるが、手間と時間が掛かるため、計測の作業性を大きく損ねてしまう。
【０００７】
そこで、上述のようなキャリブレーションパラメータのずれに起因するキャリブレーションずれを補正するために、特開２００４‐３５４２５７号公報(特許文献１)に開示されたキャリブレーションずれ補正装置を備えたステレオカメラが提案されている。
【０００８】
上記従来のステレオカメラにおいては、撮影装置が撮影したステレオ画像から、特徴抽出装置によって幾何学的形状が既知の特徴を抽出し、この抽出された特徴に基づいて、キャリブレーションデータ補正装置によって、キャリブレーションデータ記録装置に記憶されたキャリブレーションパラメータに関するキャリブレーションずれを補正するようにしている。
【０００９】
しかしながら、上記従来のステレオカメラにおいては、以下のような問題がある。すなわち、通常の３次元計測に必要な対応点探索部以外に、上記特徴点を検出するための上記特徴抽出装置が別途必要になる。したがって、上記特徴抽出装置をハードウェアで実装する場合には回路規模の増大を招いてしまう一方、ソフトウェアとして実装する場合には演算時間の増大を招いてしまうという問題がある。
【００１０】
また、上記特徴抽出装置による上記特徴の抽出は、計測対象物の大まかな形状が予め分かっている場合には比較的容易であるが、計測画像のコントラストが低い場合や計測対象物の形状が頻繁に変化するような場合には適用が非常に困難になるという問題がある。
【００１１】
さらに、近年、ステレオ３次元計測に用いられる撮像素子の高画素化・狭画素ピッチ化が進んで、より高精度の計測を行う要求が高まっている。そして、撮像素子の画素ピッチが狭まると、それに比例して計測距離の分解能が高まるため、高精度の計測を行うことが可能となる。ところが、その反面、キャリブレーションに求められる精度も高くなるという問題がある。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００４‐３５４２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
そこで、この発明の課題は、回路規模および演算時間の増大を招くことなくキャリブレーションずれを容易に再補正し、精度の高い３次元計測を行うことができるステレオ３次元計測装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、この発明のステレオ３次元計測装置は、
計測対象物を撮影して画像を取得する複数のカメラと、
上記複数のカメラによって取得された複数のカメラキャリブレーションボードの撮影画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出するキャリブレーション演算部と、
上記算出されたキャリブレーションパラメータを記憶する記憶部と、
上記複数のカメラによって取得された複数の上記計測対象物の画像に含まれる歪み,傾きおよびずれのうちの少なくとも一つを含む誤差を、上記キャリブレーションパラメータを用いて補正するステレオ平行化処理を行うステレオ平行化処理と、
上記ステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するキャリブレーションずれ再補正部と、
上記キャリブレーションずれ再補正部によって再補正された複数の上記計測対象物の画像における互いに対応する画素を対応点として探索すると共に、探索された複数の上記対応点間の距離であって上記複数のカメラのうちの少なくとも２つが配列されている方向への距離を表す視差情報を生成する対応点探索部と、
上記対応点探索部によって生成された上記視差情報から上記計測対象物までの距離情報を求める距離情報生成部と
を備えたことを特徴としている。
【００１５】
上記構成によれば、キャリブレーションずれ再補正部によって、ステレオ平行化処理によるステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するようにしている。したがって、キャリブレーション演算部で算出されたキャリブレーションパラメータを用いてステレオ平行化処理によって計測対象物の画像に含まれる誤差を補正した際に、複数の画像間の補正しきれないずれ量を、互いに対応する画素を探索して得られたデータを用いて再補正することができる。
【００１６】
したがって、本ステレオ３次元計測装置における内部ハードウェアの回路規模の増大および演算時間の増大を招くことなくキャリブレーションずれを容易に再補正し、精度の高い３次元計測を行うことができる。
【００１７】
また、１実施の形態のステレオ３次元計測装置では、
上記２つのカメラが配列されている方向をｘ方向とし、上記２つのカメラによって撮影されている画像の面内で上記ｘ方に直交する方向をｙ方向とした場合に、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の各画像間における少なくとも上記ｙ方向のずれを再補正する。
【００１８】
この実施の形態によれば、上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の各画像間における少なくとも上記ｙ方向のずれを再補正するようにしている。したがって、特に高画素数・狭画素ピッチの複数のカメラで取得された複数の計測対象物の画像に基づいて３次元計測を行う際に問題になり易い上記ｙ方向(上下方向)のキャリブレーションずれを低減することができる。
【００１９】
また、１実施の形態のステレオ３次元計測装置では、
上記計測対象物に対して２次元ランダムテクスチャを投影するためのプロジェクタを備えている。
【００２０】
この実施の形態によれば、上記計測対象物に対して２次元ランダムテクスチャを投影するようにしている。したがって、上記計測対象物の表面におけるテクスチャの変化が乏しい場合やコントラストが低い場合であっても、上記計測対象物の表面に輝度変化を付与することによって上記対応点探索部による対応点の探索が容易になり、安定して３次元計測を行うことができる。
【００２１】
また、１実施の形態のステレオ３次元計測装置では、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の複数の画像から基準となる基準画像とこの基準画像と比較される残りの比較画像の夫々とでなる画像対を順次選択し、この選択された画像対の上記比較画像を上記基準画像に対して上記ｙ方向にずらしながら両画像における互いに対応する画素を探索して上記データとしての探索パラメータを得、この得られた探索パラメータに基づいて上記比較画像の最適なずらし位置を求め、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすことによって上記複数の画像間のずれを再補正する。
【００２２】
この実施の形態によれば、上記キャリブレーションずれ再補正部によって、上記ステレオ平行化処理後の複数の画像から選択された画像対において、比較画像を基準画像に対して上記ｙ方向にずらしながら互いに対応する画素を探索して得られた探索パラメータに基づいて、上記比較画像の最適なずらし位置を求めるようにしている。したがって、上記比較画像の最適なずらし位置を確実に見出すことができる。
【００２３】
また、１実施の形態のステレオ３次元計測装置では、
上記記憶部は、上記キャリブレーションずれ再補正部によって求められた上記最適なずらし位置をも記憶するようになっており、
上記キャリブレーションずれ再補正部は、上記複数の画像間のずれを再補正する場合には、上記記憶部に記憶されている上記最適なずらし位置を用いて、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすようになっている。
【００２４】
この実施の形態によれば、上記キャリブレーションずれ再補正部によって求められた上記最適なずらし位置を、上記記憶部に記憶するようにしている。したがって、上記対応点探索部が一端中断した上記対応点の探索および視差画像の生成を再開する場合には、上記キャリブレーションずれ再補正部は、上記記憶部に記憶されている上記最適なずらし位置を用いることよって、迅速に上記複数の画像間のずれを上記中断の前と同じ位置に再補正することができ、上記対応点探索部による処理の再開を迅速に行うことができる。
【００２５】
また、１実施の形態のステレオ３次元計測装置では、
上記対応点探索部は、上記対応点探索および上記視差情報の生成を行っている際に上記探索パラメータを監視し、上記探索パラメータの値が最適値よりも所定の値を超えて悪化した場合には、上記キャリブレーションずれ再補正部に対して、上記最適なずらし位置の再取得を指示する。
【００２６】
この実施の形態によれば、上記対応点探索部は、上記探索パラメータの値が最適値よりも所定の値を超えて悪化した場合には、上記キャリブレーションずれ再補正部に対して、上記最適なずらし位置の再取得を指示するようにしている。したがって、上記対応点探索部が連続して上記対応点探索および上記視差情報の生成を行う場合においても、計測誤差の発生を最小限に抑えることができる。
【００２７】
また、１実施の形態のステレオ３次元計測装置では、
少なくとも上記距離情報生成部によって生成された上記距離情報を表示する表示部を備え、
上記キャリブレーションずれ再補正部は、得られた上記複数の探索パラメータの値が予め設定された設定値に満たない場合には、上記キャリブレーション演算部による上記カメラキャリブレーションの実行を促す情報を上記表示部に表示させるようになっている。
【００２８】
この実施の形態によれば、上記キャリブレーションずれ再補正部によって得られた上記複数の探索パラメータの値が予め設定された設定値に満たない場合には、使用者に対して上記キャリブレーションの実行を促すようにしている。したがって、上記キャリブレーションずれ再補正部によって再補正しきれないような画像のずれにも対処して、３次元計測誤差の増大を防止することができる。
【発明の効果】
【００２９】
以上より明らかなように、この発明のステレオ３次元計測装置は、キャリブレーションずれ再補正部によって、ステレオ平行化処理によるステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するので、キャリブレーションパラメータを用いたステレオ平行化処理によって計測対象物の複数の画像を補正しても補正しきれないずれ量を、上記互いに対応する画素を探索して得られたデータを用いて、再補正することができる。
【００３０】
したがって、本ステレオ３次元計測装置における内部ハードウェアの回路規模の増大および演算時間の増大を招くことなくキャリブレーションずれ容易に再補正して、精度の高い３次元計測を行うことができる。
【図面の簡単な説明】
【００３１】
【図１】この発明のステレオ３次元計測装置の一例である距離計測装置のブロック図である。
【図２】図１に示す距離計測装置による３次元計測処理のフローチャートである。
【図３】図２におけるステレオ平行化処理および対応点探索処理の説明図である。
【図４】キャリブレーションボードに用いられるパターンの一例を示す図である。
【図５】左右のカメラステレオ平行化後画像の上下方向の画素ずれを示す図である。
【図６】キャリブレーションずれ再補正処理を含む対応点探索処理のフローチャートである。
【図７】キャリブレーションずれ再補正処理時における上下方向ずれ調整量と認識率との関係を示す図である。
【図８】右カメラステレオ平行化後画像の下方向への画素ずらし量の変化と視差画像の変化とを示す図である。
【図９】図１とは異なる距離計測装置のブロック図である。
【図１０】図９に示す距離計測装置による文字認識処理のフローチャートである。
【図１１】図９におけるプロジェクタによって投影される２次元ランダムテクスチャの一例を示す図である。
【図１２】２次元ランダムなテクスチャが投影された下地面および文字上面に付与される輝度変化の説明図である。
【発明を実施するための形態】
【００３２】
以下、この発明を図示の実施の形態により詳細に説明する。
【００３３】
・第１実施の形態
図１は、本実施の形態のステレオ３次元計測装置としての距離計測装置のブロック図である。図１において、距離計測装置１は、ステレオカメラ２,計測演算部３,表示部４および筺体(図示せず)から構成されている。そして、計測対象物５までの距離を表す上記距離情報としての距離画像を生成して表示部４に表示する。
【００３４】
上記ステレオカメラ２は、一対の左カメラ６と右カメラ７とで構成されている。ここで、左カメラ６と右カメラ７とは、左カメラ６と右カメラ７との間の距離(即ち基線長)および左カメラ６と右カメラ７とのなす角(即ち輻輳角)が一定の値になるように、上記筐体の内部で機械的に固定されて配置されている。
【００３５】
本距離計測装置１では、上記左カメラ６における撮像素子の光軸中心を原点として、左カメラ６と右カメラ７とにおける両撮像素子の光軸中心を結ぶ方向をｘ方向(左右方向)、左カメラ６の撮像素子面内で上記ｘ方向に直交する方向をｙ方向(上下方向)、上記ｘ方向および上記ｙ方向に直交する方向をｚ方向(奥行き方向)と定義する。左カメラ６および右カメラ７は、夫々ＣＭＯＳ(complementary metal oxide semiconductor：相補型金属酸化膜半導体)撮像素子,集光用のレンズおよび制御用のＤＳＰ(Digital Signal Processor)が一体となったカメラモジュールであり、上記ＤＳＰに外部から制御信号を与えることによって、撮影画像サイズ,焦点距離,露出,ホワイトバランス等のカメラパラメータを電気的に制御することができる。
【００３６】
上記計測演算部３は、ステレオ平行化部８,対応点探索部９,キャリブレーション演算部１０,キャリブレーションパラメータ記憶部１１,ＣＰＵ(中央演算処理装置)１２,上記距離情報生成部としての距離画像生成部１３および距離計算部１４を含んで構成されている。ここで、対応点探索部９は、後述するキャリブレーションずれの再補正機能を有している。すなわち、対応点探索部９は、キャリブレーションずれ再補正部１５を含んだ構成を有している。
【００３７】
本距離計測装置１を用いた３次元計測処理の全体的な流れを、図２のフローチャートに示す。また、図３に、ステレオ平行化部８によるステレオ平行化処理および対応点探索部９による対応点探索処理の説明図を示す。図２に従って３次元計測の全体的な流れを説明するに先立って、図３に従って上記ステレオ平行化処理および上記対応点探索処理に付いて説明する。
【００３８】
上記ステレオカメラ２を計測対象物５に相対する適切な位置に配置し、焦点距離や露出等を調整した後、ＣＰＵ１２の制御の下に左カメラ６と右カメラ７との画像キャプチャが行われる。こうして、図３(a)に示すごとく、左カメラキャプチャ画像および右カメラキャプチャ画像が得られる。
【００３９】
上記ステレオカメラ２のキャプチャ画像は、レンズの歪みや左右カメラの角度ずれ等が存在するため、図３(a)に示すように歪みや傾きやずれを含む画像になっている。これを補正して左右画像の対応点探索を容易にするために、キャリブレーション演算部１０によってカメラキャリブレーションと呼ばれる作業が事前に行われる。カメラキャリブレーションの詳細については後述する。
【００４０】
上記カメラキャリブレーションによって算出されて、キャリブレーションパラメータ記憶部１１に記憶されているキャリブレーションパラメータに基づいて、ステレオ平行化部８によって、左カメラキャプチャ画像および右カメラキャプチャ画像に対してステレオ平行化処理が施される。左右カメラのステレオ平行化後画像は、図３(b)に示すように、互いに対応する画素が画像の上下方向に揃っていると考えられる。即ち、左カメラ６のステレオ平行化後画像におけるある画素に対して、右カメラ７のステレオ平行化後画像における対応する画素は必ず同一の行に存在する。したがって、エピポーラ線上の画素を探索すれば、左右画像の対応関係を探し出すことが可能となる。
【００４１】
上記対応点探索部９による実際の対応点探索処理の手順は、図３(c)に示すようになる。先ず、左カメラステレオ平行化後画像に、注目する画素を中心として縦横夫々ｐ画素の正方形状の「相関窓」と呼ばれる領域１６を設定する。そして、右カメラステレオ平行化後画像における相関窓１６との同一行に同じ大きさの相関窓１７を設定し、この相関窓１７を左右方向にスライドさせながら、左右の相関窓１６,１７に含まれる画素間の相関度合いを示す評価量を計算するのである。その場合における上記相関度合いを示す評価量としては、例えばＳＡＤ(Sum of Absolute Differrence：差分絶対値和)等の画素演算で計算できる量が用いられる。
【００４２】
所定の相関探索範囲の端から端まで探索した場合に、相関度合いの上記相関窓に関する合計値が最も高くなる状態での右カメラステレオ平行化後画像における相関窓１７の中心画素が、左カメラステレオ平行化後画像における注目画素に対する対応点(対応画素)となる。その際に、左カメラステレオ平行化後画像の注目画素と右カメラステレオ平行化後画像の対応画素との距離(相関窓１６の中心点と相関窓１７の対応点との距離)を、水平方向の画素単位で表したものが視差ｄと定義される。
【００４３】
このような探索処理を左カメラ平行化後画像の全画素に対して実施することによって、各画素に対して視差ｄの値が夫々一意に定まる。この視差ｄの値をグレースケール画像として左カメラ平行化後画像に表すと、図３(d)に示すような上記視差情報としての視差画像が得られる。
【００４４】
尚、上記対応点探索処理によって上記相関探索範囲の端から端まで探索しても相関度合いが所定の値以上になる相関窓１７が得られない場合は、対応点が存在しないと見なされる。左カメラ６からは見えているが右カメラ７からは見えない部分(オクルージョン領域)を探索する場合や、計測対象物５のコントラストが低い場合には、対応点が存在しないという探索結果になることが多い。図３(d)においては、計測対象物５の一部がオクルージョン領域となっている。
【００４５】
以下、図２に示すフローチャートに従って、ＣＰＵ１２の制御の下に実行される上記ステレオ平行化処理および上記対応点探索処理を含む３次元計測処理動作について説明する。
【００４６】
ステップＳ１a,Ｓ１bで、ステレオカメラ２における左カメラ６と右カメラ７との画像キャプチャが同じタイミングで行われ、得られた左カメラキャプチャ画像および右カメラキャプチャ画像が、ステレオ平行化部８に送出される。同様にして、上記カメラキャリブレーションの場合には、後に詳述するキャリブレーションボードが左カメラ６と右カメラ７とで撮影され、キャリブレーションボード撮影画像がキャリブレーション演算部１０に送出される。ステップＳ２で、キャリブレーション演算部１０によって、後に詳述するようなカメラキャリブレーション処理が行われる。そして、算出されたキャリブレーションパラメータがキャリブレーションパラメータ記憶部１１に記憶される。
【００４７】
ステップＳ３で、上記ステレオ平行化部８によって、キャリブレーションパラメータ記憶部１１に記憶されているキャリブレーションパラメータに基づいて、左カメラキャプチャ画像および右カメラキャプチャ画像に対し、上述したようなステレオ平行化処理が施される。そして、得られた左カメラ６および右カメラ７のステレオ平行化後画像は、対応点探索部９に送出される。
【００４８】
ステップＳ４で、上記対応点探索部９によって、上述した対応点探索処理が実行される。先ず、ステップＳ４aで、プレフィルタ処理が行われる。ここで、プレフィルタ処理は、左右カメラのステレオ平行化後画像の輝度差や画像内の局所的な輝度レベルの変動等を吸収するためのエッジ強調処理である。その後、ステップＳ４bで、実際に上記対応点探索処理が行われる。本距離計測装置１においては、左カメラ６を基準として、左カメラ６の平行化後画像上の全画素に対して右カメラ７のステレオ平行化後画像から対応点を探索し、図３(d)に示すような視差画像を生成する。この探索によって対応点が見出せなかったり対応点を誤って検出したりした場合には、上記視差画像の一部にノイズが混じることがある。特に、対応点探索時の相関窓１６,１７のサイズが比較的小さい場合には、計測精度が高まる代わりにノイズの割合が大きくなる傾向にある。このようなノイズ成分を低減するため、ステップＳ４cで、対応点探索後の上記視差画像に、ポストフィルタ処理を行って画像整形を行う。ここで、上記ポストフィルタ処理としては、例えばガウシアンフィルタ処理やメディアンフィルタ処理等の平滑化フィルタ処理、あるいは、膨張収縮等のモルフォロジー処理が用いられる。
【００４９】
こうして得られた画像整形後の上記視差画像が距離画像生成部１３に送出される。
【００５０】
これらの上記ステレオ平行化部８および対応点探索部９による処理は、ＣＰＵ１２から送出される制御信号に基づいて、適切なタイミングで実行される。
【００５１】
ステップＳ５で、上記距離画像生成部１３によって、上記視差画像から距離画像が生成される。
【００５２】
上記視差画像上の任意の画素の視差値ｄは、三角測量の原理によって、左カメラ６における撮像素子の光軸中心である原点Ｏからの奥行き方向の距離Ｚに変換できる。具体的には、ステレオカメラ２の上記基線長をＡとし、左カメラ６の焦点距離をｆとして、
Ｚ＝Ａ・ｆ/ｄ
で計算することができる。そこで、距離画像生成部１３は、上記視差画像の各画素のグレースケール画像から各画素の視差ｄを求め、各画素に関して視差値ｄから距離Ｚを求めることによって、上記視差画像から距離画像を生成することができるのである。
【００５３】
ステップＳ６で、上記ステップＳ５において生成された距離画像が、ＣＰＵ１２の制御に基づいて表示部４に表示される。そうした後、３次元計測処理動作が終了される。
【００５４】
さらに、本距離計測装置１においては、入力手段(図示せず)によって、上記距離画像上の１点あるいは２点が指示選択されると、１点が指示された場合にはその１点の座標値が、２点が指示された場合にはその２点間の距離が、ＣＰＵ１２の制御に基づいて距離計算部１４によって計算され、計算結果が表示部４に表示される。
【００５５】
このように、本距離計測装置１においては、上記ステレオカメラ２で撮影した計測対象物５の左右カメラ画像から上記距離画像を生成して表示すると共に、上記距離画像における対象物上の任意の１点の座標値および対象物上の任意の２点間距離を表示することができる。
【００５６】
尚、上記奥行き方向の距離Ｚだけでなく、水平方向の距離Ｘ、垂直方向の距離Ｙも、視差ｄから三角測量の原理を用いて算出することができる。こうして、原点Ｏを基準とした計測対象物５の３次元座標(Ｘ,Ｙ,Ｚ)を得ることができる。さらに、この３つの座標値に適当な視点変換行列を掛けることによって、計測対象物５を任意の視点から見た画像を生成することもできる。
【００５７】
次に、上記ステレオ平行化部８によって、左カメラキャプチャ画像および右カメラキャプチャ画像に対してステレオ平行化処理を施す際に用いられるキャリブレーションパラメータを得るためのカメラキャリブレーションについて説明する。
【００５８】
上記ステレオカメラ２でキャプチャされた左右のカメラキャプチャ画像は、様々な誤差要因によって歪みや傾きやずれを含んだ画像になっている。具体的な誤差要因としては、単体要因即ちカメラ単体の誤差要因と、相対要因即ち左右カメラ６,７間の位置関係に関する要因とに分類できる。上記単体要因は、レンズの半径方向および円周方向の歪みや撮像素子の中心ずれ等である。また、上記相対要因は、左右カメラ６,７間の回転行列および並進行列で表される。これらは直接計測することができない。
【００５９】
そこで、上記カメラキャリブレーションにおいては、上記キャリブレーションボードと呼ばれる幾何的な形状および寸法が既知のパターンを印刷した平板を用意し、これをステレオカメラ２の前に様々な距離および角度で配置して、なるべく多くの回数撮影を行う。上記キャリブレーションボードとしては、例えば、図４(a)に示すようなチェッカー(市松)パターンや、図４(b)に示すようなグリッド状のドット(水玉)パターン等が用いられる。しかしながらこれらのパターンに限定されるものではない。
【００６０】
上記撮影されたキャリブレーションボードの画像から、チェッカーパターンであればコーナー点、グリッドパターンであればグリッドの中心点のような、特徴となる点を見出す。次に、左右カメラ画像の組において、対応する特徴点が何れであるかを探索する。このようにして求められた左右カメラ画像上の特徴点の座標の組と、上記キャリブレーションボード上の相対距離が既知の２点が撮影画像上の２点に対応付けられるという条件と、上記キャリブレーションボード上の１点が左右カメラ画像上の各１点と同一であるという条件とから、複数の方程式を立てることができる。例えば、上記キャリブレーションボードとして図４(a)に示すチェッカーパターンを用いる場合、チェッカーのコーナー数を１２×８、撮影回数を１０回とすると、１２×８×１０＝９６０個の式が得られる。これらの式を連立方程式として解くことによって、未知数であるキャリブレーションパラメータを求めることができる。
【００６１】
このようなキャリブレーションの具体的な手順については、例えば非特許文献「Ｚ.Zhang, “IEEE Transactions on Pattern Analysis and Machine Intelligence”，＃２２(２０００)，1330−1334」等に記載されている。
【００６２】
実際のキャリブレーションにおいては、上述したように多数の誤差要因(キャリブレーションパラメータ)を未知数として求めるため、得られる解はばらつきを含むものになる。即ち、全く同じ条件でキャリブレーションを行っても、得られるキャリブレーションパラメータは完全には同じにならない。尚、キャリブレーションパラメータのばらつきを可能な限り低減するために、上記キャリブレーションボードのコーナー数や撮影回数を多くして非常に多くの方程式から最小自乗法で最適な解を求めたとしても、一定量のばらつきが残ってしまう。そして、計算で求められたキャリブレーションパラメータの値と真の値との差はキャリブレーション誤差となり、一定の計測誤差を発生させることになる。特に、ステレオカメラのフォーカス合わせの性能が低い場合には、上記キャリブレーションボードの撮影時にボケが残り、特徴点の対応付けに誤差を含むことになるので、キャリブレーション誤差が大きくなる傾向があることが知られている。
【００６３】
上述したような一定量の(即ち定常的な)キャリブレーション誤差に加えて、キャリブレーション後の経時変化によって非定常的なキャリブレーション誤差が発生する。このような非定常誤差には、熱膨張・熱収縮によるレンズの形状変化のように環境に応じて可逆的に変動する成分と、機械的な衝撃等によって発生する不可逆な成分とが存在する。
【００６４】
実際の計測におけるキャリブレーション誤差は、上記定常的な誤差成分と、キャリブレーション後の経時変化による可逆・不可逆を含めた非定常誤差成分との和になる。そのため、計測精度を高めるためにステレオカメラ２を高画素化・狭画素ピッチ化すると、キャリブレーションに求められる精度もそれに応じて高まるので、上記定常誤差および上記非定常誤差の両方を極めて小さい値に抑える必要が生ずる。これが高精度の計測を行う場合において大きな障害となる。
【００６５】
様々なキャリブレーションパラメータが誤差を含んでいる場合、それらのキャリブレーションパラメータが左カメラ６および右カメラ７のステレオ平行化後画像に与える影響は、画面の「上下方向のずれ」,「左右方向のずれ」および「その他の影響」に大きく分けられる。
【００６６】
上記「上下方向のずれ」は、主に、左カメラ６あるいは右カメラ７の撮像素子の上下方向のずれ(ΔｃＹ)、左右カメラ６,７の上下方向の位置ずれ(ΔＹ)、および、左右カメラ６,７の水平軸周りの角度ずれ(θＸ)と、関係している。これに対し、上記「左右方向のずれ」は、主に上記撮像素子の左右方向のずれ(ΔｃＸ)、左右カメラ６,７の左右方向の位置ずれ(ΔＸ)、および、左右カメラ６,７の垂直軸周りの角度ずれ(θＹ)と、関係している。また、上記「その他の影響」として、レンズの半径方向・円周方向の歪み係数はより高次の影響(画像の中心と周辺または上下左右とで異なる影響)を及ぼす。
【００６７】
計測精度を高めるためにステレオカメラ２を高画素化・狭画素ピッチ化した場合、上述したステレオ平行化後画像に対する３つの影響のうち、「上下方向のずれ」が深刻な問題となる場合がある。その理由について、以下で説明する。
【００６８】
上記ステレオ平行化後画像が左右方向にずれている場合、視差が真の値と異なる値となるので計測誤差が発生する。視差が真の値ｄからΔｄだけずれた場合に、奥行き方向距離の計測値ＺがΔＺの計測誤差が発生したとする。このとき、三角測量の「Ｚ＝Ａ・ｆ/ｄ」の関係式から、
ΔＺ/Ｚ＝−Δｄ/(ｄ＋Δｄ)≒−Δｄ/ｄ
が得られる。この式から、ｄ＞＞Δｄの条件下では、視差の左右方向ずれの割合Δｄ/ｄと計測誤差ΔＺ/Ｚとは略同じオーダーになることが分かる。
【００６９】
例えば、左右方向のずれ量が３％とすると、それによって発生する計測誤差も約３％となる。これを逆に考えると、３％の計測誤差が許容できるならば左右方向のずれ量は３％まで許されることになる。このように、左右方向のずれは計測誤差に直接影響を与えるが、誤差が生じても計測そのものは問題なく実行することができるのである。
【００７０】
これに対し、左右カメラの上記ステレオ平行化後画像が左右方向にではなく上下方向にずれている場合には、計測誤差よりも寧ろ計測そのものの可否に影響を与えてしまう可能性がある。例えば、左カメラステレオ平行化後画像における相関窓１６のサイズを１３画素×１３画素として上記対応点探索を行う場合、上下方向の画素ずれが全くない場合には、図５(a)に示すように、左右カメラステレオ平行化後画像の対応点が上下方向に完全に揃っているため、左カメラステレオ平行化後画像に対して右カメラステレオ平行化後画像の同じラインが探索される。ところが、上下方向の画素ずれ量が１３画素以上である場合には、図５(b)に示すように、左カメラステレオ平行化後画像に対して右カメラステレオ平行化後画像の全く異なるラインを探索することになる。
【００７１】
上記対応点探索部９は、前段のステレオ平行化処理によって得られた左右カメラステレオ平行化後画像の対応点が、上下方向に完全に揃っていることを前提として上記対応点探索を行う。そのために、図５(b)に示す状態では対応点が全く見出せず、計測不能になってしまうのである。
【００７２】
このような現象は、上記左カメラ６および右カメラ７として、比較的画素ピッチが広く画素数の少ない(数万〜１００万画素程度)カメラを用いる場合には問題にはならない。ところが、計測精度向上のために、画素ピッチの狭い高画素数のカメラ(３００万画素以上)を用いる場合には、顕著に現れる。
【００７３】
例えば、上記左右カメラ６,７における撮像素子のサイズが１/４インチであり、画素数が５００万画素である場合には、画素ピッチが約１.４μｍとなる。そのため、上下方向の画素ずれ量を１３画素以内に抑えるためには、キャリブレーションによる上下方向のずれを１８.２μｍ以下の精度に抑える必要がある。これは、キャリブレーション後の熱膨張収縮等による寸法変化によっても影響を受けるレベルである。そのため、上述した上下方向のずれ要因となるパラメータの全てを高精度に求めたとしても、キャリブレーションの誤差あるいはキャリブレーション後の温度変化等によって容易に上下方向ずれ量が許容範囲を超えてしまい、計測が不能になってしまうのである。このように、左右カメラ６,７として計測精度を向上させるために高画素数のカメラを採用しても、キャリブレーションの上下ずれのために計測精度が高めることができないという問題が発生することになる。
【００７４】
そこで、本距離計測装置１においては、このような問題を解決するために、以下に詳述するように、対応点探索部９のキャリブレーションずれ再補正部１５によって、対応点探索時に探索パラメータを得、この得られた探索パラメータを用いてキャリブレーションずれ再補正を行うのである。そのキャリブレーションずれ再補正処理を含む上記対応点探索処理の手順を図６のフローチャートに示す。また、キャリブレーションずれ再補正処理時における上下方向ずれ調整量と認識率との関係を図７に示す。図６に従ってキャリブレーションずれ再補正処理の手順を説明するに先立って、図７に従ってキャリブレーションずれ再補正処理に付いて説明する。
【００７５】
本実施の形態においては、上記探索パラメータとして「認識率」を用いる。すなわち、キャリブレーションずれ再補正部１５を含む対応点探索部９は、左右カメラステレオ平行化後画像の対応点(対応画素)を探索するに先立って、先ず、左カメラステレオ平行化後画像における注目する画素領域の全画素に占める対応点が見出された画素の割合(％)を上記認識率として算出する。
【００７６】
以下、詳述すると、上記「注目する画素領域」とは、左カメラステレオ平行化後画像における上記認識率算出の対象となる画素領域であり、左カメラステレオ平行化後画像の全体であっても良いし、左カメラステレオ平行化後画像のうちの計測対象物が存在する領域であって良いし、左カメラステレオ平行化後画像から後の対応点探索の際に誤りが生じ易い領域を除いた領域であっても良い。こうして設定された「注目する画素領域」の全画素に対して、先に図３(c)で説明したように、左右のカメラステレオ平行化後画像に相関窓１６,１７を設定し、相関窓１７をスライドさせながら相関窓１６,１７に含まれる画素間の相関度合の合計値を計算し、その値が最も高くなる状態での相関窓１７の中心画素を対応点とする対応点探索を行う。そして、「注目する画素領域」の全画素に占める対応点が見出された画素の割合(％)を上記認識率として算出するのである。
【００７７】
次に、上記左カメラステレオ平行化後画像に対して右カメラステレオ平行化後画像を上方向に１画素分ずらし、先程と同様に対応点探索と認識率算出とを行う。このような操作を所定の上下方向のずらし画素範囲(例えば、「開始位置−５画素」から「開始位置＋５画素」まで)で行い、図７に示すように、上下方向画素ずらし量に対する上記認識率を示す曲線を求める。そして、得られた曲線のピーク位置における上記認識率が予め定められた所定の値以上である場合に、このピーク位置を最適位置とする。そして、右カメラステレオ平行化後画像を上記最適位置の画素ずらし量だけ上下方向にずらして、左カメラステレオ平行化後画像に設定された相関窓１６と同じライン上の画素に対して本来の対応点の探索処理を行うのである。
【００７８】
上記左カメラステレオ平行化後画像に対する右カメラステレオ平行化後画像の下方向への画素ずらし量を変化させた場合に得られる視差画像の変化を、図８(a)〜図８(c)に示す。ここで、図８(a)は、右カメラステレオ平行化後画像を最適位置から下方向に２画素ずらした場合の視差画像である。また、図８(b)は、最適位置での視差画像である。また、図８(c)は、最適位置から上方向に２画素ずらした場合の視差画像である。
【００７９】
図８(b)に示す最適位置では、画面の略全面にわたって対応点が探索されて視差が算出されている。しかしながら、図８(a)に示す下方向への２画素ずらし位置では、画面の下付近対に応点探索不能の領域が発生しており、図８(c)に示す上方向への２画素ずらし位置では、画像の上付近に対応点探索不能の領域が発生している。そのために、上記認識率が低下することになる。したがって、上下方向に画素ずらしを行いながら上記認識率のピークを求めることによって、図８(b)に示すように、最適位置を見出すことが可能であることが分かる。
【００８０】
以下、図６に示すフローチャートに従って、ＣＰＵ１２の制御の下に実行される上記３次元計測処理動作の上記ステップＳ４bにおいて、対応点探索部９によって実行される上記対応点探索処理について詳細に説明する。上記３次元計測処理動作の上記ステップＳ４aにおいてプレフィルタ処理が終了すると、キャリブレーションずれ再補正処理を含む上記対応点探索処理動作がスタートする。
【００８１】
先ず、上記対応点探索部９のキャリブレーションずれ再補正部１５によって、キャリブレーションずれ再補正処理が行われる。
【００８２】
ステップＳ４b1で、上記基準画像である左カメラステレオ平行化後画像に上記「注目する画素領域(以下、注目画素領域と言う)」を設定し、この注目画素領域の全画素に関して、上述したように、上記比較画像である右カメラステレオ平行化後画像に対して対応点探索を行う。
【００８３】
ステップＳ４b2で、上記「注目する画素領域」の全画素に占める上記ステップＳ４b1において対応点(対応画素)が見出された画素の割合(％)が、当該右カメラステレオ平行化後画像の上記認識率として算出される。
【００８４】
ステップＳ４b3で、上記上下方向のずらし画素範囲である探索範囲内の探索が終了したか否かが判別される。その結果、終了していればステップＳ４b5に進む一方、終了していなければステップＳ４b4に進む。ステップＳ４b4で、右カメラステレオ平行化後画像が上方向あるいは下方向に１画素分だけ移動される。そうした後に、上記ステップＳ４b1にリターンして、左カメラステレオ平行化後画像と上下方向に１画素だけ移動された右カメラステレオ平行化後画像との間で、上記対応点の探索が行われる。
【００８５】
ステップＳ４b5で、上記探索範囲内での対応点探索の結果得られた上記認識率のうちで最大認識率を呈する右カメラステレオ平行化後画像の上下方向のずらし位置が算出される。ステップＳ４b6で、上記ステップＳ４b5において得られた最大認識率が、予め設定された設定値(例えば８０％)以上であるか否かが判別される。その結果、上記設定値以上であればステップＳ４b7に進み、上記設定値以上でなければステップＳ４b9に進む。
【００８６】
ステップＳ４b7で、上記ステップＳ４b5において算出された上記最大認識率を呈する右カメラステレオ平行化後画像の位置が、最適位置として上記最大認識率と共にキャリブレーションパラメータ記憶部１１に記憶される。
【００８７】
ステップＳ４b8で、上記ステップＳ４b7において記憶された最適位置に、右カメラステレオ平行化後画像が移動される。こうして、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理が終了する。以後、上述した本来の対応点探索処理が行われる。すなわち、先に図３(c)で説明したように、左右のカメラステレオ平行化後画像に相関窓１６,１７を設定し、相関窓１７をスライドさせながら相関窓１６,１７に含まれる画素間の相関度合の合計値を計算し、その値が最も高くなる状態での相関窓１７の中心画素を対応点とする。そして、左カメラステレオ平行化後画像の注目画素と右カメラステレオ平行化後画像の対応点(対応画素)との距離を水平方向の画素単位で表した視差ｄが得られる。このような対応点探索処理を左カメラ平行化後画像の全画素に対して実施して、各画素の視差ｄの値を求め、この視差ｄの値に基づいて、図３(d)に示すような視差画像が生成される。
【００８８】
そうした後、上記対応点探索処理動作が終了されて、上記３次元計測処理動作における上記ステップＳ４cでの上記ポストフィルタ処理にリターンする。
【００８９】
ステップＳ４b9で、上記ステップＳ４b6において設定値以上の最大認識率が得られないと判別されたため、左右のカメラステレオ平行化後画像の上下方向のずれに起因するキャリブレーションずれの度合が、本実施の形態における上記キャリブレーションずれ再補正処理では修正しきれない度合であると判定して、以後の視差画像の生成を停止する。
【００９０】
ステップＳ４b10で、上記キャリブレーションずれの度合が上記キャリブレーションずれ再補正処理では修正しきれないため、ＣＰＵ１２の制御に基づいて、キャリブレーション演算部１０によるカメラキャリブレーションの要求が表示部４に表示される。そうした後に、上記３次元計測処理動作における上記ステップＳ６の後段にリターンして、３次元計測処理動作が終了される。
【００９１】
以上のように、この実施の形態においては、上記キャリブレーションによって補正しきれない、つまり上記カメラキャリブレーションによって得られた上記キャリブレーションパラメータを用いたステレオ平行化処理によって補正しきれない左右のカメラステレオ平行化後画像間のずれ量を、キャリブレーションずれ再補正部１５を含む対応点探索部９による対応点の探索処理中において、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理で得られるデータ(検索パラメータ：認識率)を用いて再補正するようにしている。したがって、本距離計測装置１における内部ハードウェアの回路規模の増大および演算時間の増大を招くことなくキャリブレーションずれを再補正して、３次元計測の精度を高めることができる。
【００９２】
また、上記右カメラステレオ平行化後画像を上下にずらすことによって左右のカメラステレオ平行化後画像の上下方向のずれを再補正するため、特に高画素数・狭画素ピッチの撮像素子を有するステレオカメラでの計測において問題になり易い上下方向のキャリブレーションずれを低減することができる。その際に、左右のカメラステレオ平行化後画像対の一方(比較画像)を他方(基準画像)に対し上下方向に順次ずらして、上記認識率のピークを探索して最適位置を設定するという手順をとることで、対応点の探索を行う際の右カメラステレオ平行化後画像の最適位置を確実に見出すことができるのである。
【００９３】
また、上記実施の形態においては、上記対応画素領域の探索で見出された上記最適位置とその最適位置での上記認識率の値を、ＣＰＵ１２の制御に基づいて、キャリブレーションパラメータ記憶部１１に記憶するようにしている。したがって、本距離計測装置１の電源を落とさずに連続的にあるいは断続的に計測を行う場合には、この最適位置に合わせた状態から処理を開始することができる。このように、上下方向の最適位置を本距離計測装置１の内部に記憶しておくことによって、最適な計測条件で迅速に計測を続けることができる。
【００９４】
尚、本距離計測装置１の電源を一旦落として再度電源を立ち上げた場合には、上記最適位置から計測を開始するようにしてもよいが、温度変化等に起因する不連続な変動が生じている可能性があるため、改めて上記キャリブレーションずれ再補正処理を行って、右カメラステレオ平行化後画像に対して上下方向に画素ずらしを行って、最適位置を求めることが望ましい。
【００９５】
また、上記実施の形態においては、ここまで説明した比較的小さな状態変化とは別に、長期間の経時変化や強い機械的ショック等によって、キャリブレーションを行った時の状態から大きな状態変化が発生した場合には、上記上下方向のずらし画素範囲では吸収しきれないキャリブレーションずれが生じることになる。そのような場合には、上下方向画素ずらし量‐認識率の曲線は、図７(b)に示すように明確なピークが存在せず、且つ全域にわたって低い値となる。そこで、図６に示す上記対応点探索処理動作における上記ステップＳ４b6において、得られた最大認識率が予め設定された設定値(例えば、８０％)を下回る場合には最適位置が存在しないと判断し、ＣＰＵ１２の制御に基づいて、再キャリブレーションの実施を促すメッセージを表示部４に表示させるようにしている。こうすることによって、本距離計測装置１の使用者に適切なタイミングでキャリブレーションを実行させて、計測精度の大幅な低下を防ぐことができる。
【００９６】
尚、上記実施の形態においては、上記左カメラ６を基準として、左カメラステレオ平行化後画像の注目画素に対する対応画素を、右カメラステレオ平行化後画像から探索している。しかしながら、右カメラ７を基準として、右カメラステレオ平行化後画像の注目画素に対する対応画素を、左カメラステレオ平行化後画像から探索しても一向に差し支えない。
【００９７】
また、上記対応点探索部９を、本距離計測装置１の電源を落とさずに連続的にあるいは断続的に計測を行う場合であっても、上記対応点探索処理動作中において、所定の時間間隔で当該最適位置での上記認識率を演算することによって、上記探索パラメータである上記認識率を監視する。そして、上記認識率が最適値(例えば、上記ステップＳ４b5において算出された最大認識率)から所定の値(例えば１０％)を超えて低下した場合に、ＣＰＵ１２の制御の下に、上記対応点探索処理動作を一時中断して、右カメラステレオ平行化後画像を上下方向にずらしての最適位置の再設定を指示する制御信号をキャリブレーションずれ再補正部１５に送信するように構成することも可能である。こうすることによって、経時変化による計測誤差の増大を最小限に抑えることができる。
【００９８】
また、上記実施の形態においては、探索パラメータとして上記認識率を採用したが、他のパラメータを最適位置の探索に用いることも可能である。例えば、計測対象物５が比較的平らなｘ‐ｙ方向に延在する面上に書かれた文字のような場合には、奥行き方向の位置変化が小さいので、算出される視差ｄの値が狭い範囲に分布すると予想される。したがって、キャリブレーションずれが大きくなると、誤検出等によって視差ｄの値は広い範囲に分布するようになる。したがって、視差ｄの値のばらつき(標準偏差)を探索パラメータとして利用し、この探索パラメータが最小となる上下画素ずれ量を探索するという手法も考えられる。
【００９９】
この場合にも、対応点探索部９で得られるデータをそのまま利用できるため、本距離計測装置１の内部ハードウェアの回路規模の増大あるいは演算時間の増大を招くことなく計測精度を高めることができる。
【０１００】
また、上記実施の形態においては、上記対応点探索部９は、キャリブレーションずれ再補正部１５を含んだ構成を有しているが、この発明はこれに限定されるものではない。キャリブレーションずれ再補正部１５を、対応点探索部９と別のハードウェアあるいはソフトウェアのブロックとして実現することも可能である。
【０１０１】
・第２実施の形態
本実施の形態は、車輪のタイヤ等のコントラストが低い計測対象物の表面に刻印されている文字を認識する距離計測装置に関する。
【０１０２】
本実施の形態における距離計測装置のブロック図を図９に示す。図９において、上記第１実施の形態と同一の構成部材には同一の符号を付して、詳細な説明は省略する。
【０１０３】
本実施の形態における距離計測装置２１は、上記第１実施の形態において図１に示す距離計測装置１に対して、２次元ランダムパターン投影用のプロジェクタ２２と、刻印文字を文字情報として取り出すための２値化部２３およびＯＣＲ(Optical Character Reader：光学式文字読取装置)等の文字認識部２４が付加されている。
【０１０４】
本距離計測装置１を用いた文字認識処理の全体的な流れを、図１０のフローチャートに示す。また、図１１に、プロジェクタ２２によって計測対象物５に対して投影される２次元ランダムテクスチャの説明図を示す。また、図１２に、計測対象物５の表面に２次元ランダムなテクスチャを投影することによって下地面および文字上面に付与される輝度変化の説明図を示す。図１０に従って文字認識の全体的な流れを説明するに先立って、図１１および図１２に従って上記ランダムパターンの投影と刻印文字の文字認識とに付いて説明する。
【０１０５】
上記プロジェクタ２２は、文字認識時において、計測対象物５に対して、図１１(a)および図１１(b)に示すような２次元ランダムテクスチャを投影する。この計測対象物５に投影する２次元テクスチャは、対応点探索時の誤検出を防ぐために、可能な限り周期性を排除した２次元的にランダムなパターンであることが望ましい。図１１(a)に示すようなランダム２値ドットパターン以外に、図１１(b)に示すようなグレースケール多諧調を含むパターンや、その他これらのランダムパターンをランダムな色で彩色したパターン等の、何れのパターンを用いることも可能である
上記計測対象物５が上記タイヤのようなコントラストの低い物体である場合に、上記第１実施の形態における通常の対応点探索では対応点を検出できない場合がある。例えば、図１２(a)に示すように、タイヤの表面に刻印された文字「Ａ」を読み取る場合、タイヤの表面は一様に黒色であり、下地面と文字「Ａ」の上面との夫々の面に殆ど輝度変化が存在しないので、対応点を検出することができない。また、輝度変化が存在する場所であっても、文字の横方向のエッジ等の左右方向に一様な輝度変化が生ずる部分では、対応点を一意に決定することができない。そのため、結果として文字「Ａ」の縦(上下)方向のエッジしか検出できないことになり、タイヤの刻印文字「Ａ」を正しく認識することが非常に困難になる。
【０１０６】
これに対し、上記タイヤの表面に２次元的にランダムなテクスチャであるランダム２値ドットパターンを投影すると、図１２(b)に示すように、タイヤ表面である下地面と文字「Ａ」の上面とに、夫々テクスチャ起因の細かい輝度変化が付与される。そのため、テクスチャのランダム性によって、これらの輝度変化を左右のステレオ平行化後画像で一対一に対応づけて認識することが可能になる。したがって、２次元ランダムテクスチャを投影しない場合に比較して、上記認識率を飛躍的に高めることができる。その結果として、計測対象物５の表面のテクスチャの変化が乏しい場合やコントラストの低い場合であっても、安定した文字認識が可能になる。
【０１０７】
以下、図１０に示すフローチャートに従って、ＣＰＵ１２の制御の下に実行される上記ステレオ平行化処理および上記対応点探索処理を含む文字認識処理動作について説明する。プロジェクタ２２によって、計測対象物５の表面への２次元ランダムテクスチャの投影を開始した後、文字認識処理動作が開始される。
【０１０８】
ステップＳ１１a,Ｓ１１b〜ステップＳ１５で、上述した第１実施の形態におけるステップＳ１a,Ｓ１b〜ステップＳ５と同様にして、ステレオカメラ２の左カメラ６と右カメラ７とによる画像キャプチャ、カメラキャリブレーション処理、ステレオ平行化処理、プレフィルタ処理,キャリブレーションずれ再補正処理およびポストフィルタ処理を含む対応点探索処理、および、距離画像生成が行われる。
【０１０９】
ステップＳ１６で、上記ステップＳ１５において生成された距離画像に対して、２値化部２３によって２値化処理が行われ、２値化画像が生成される。この２値化処理は、例えば、上記距離画像における各画素の明るさを示す画素値として、文字「Ａ」の上面に対応する距離を基準距離として、この基準距離以下の距離を表している画素の場合には、文字領域の明るさを示す第１の画素値に設定する。これに対し、上記基準距離を上回る距離を表している画素の場合には、上記第１の画素値よりも大きなあるいは小さな第２の画素値に設定することによって行われる。尚、ステレオカメラ２に対してタイヤ下地面が傾いている場合など、単純な２値化処理では文字と下地面とを分離するのが困難な場合には、所謂「適応２値化」等のより高度な２値化処理を行ったり、画像整形のための前処理を追加したりすることもできる。
【０１１０】
ステップＳ１７で、上記ステップＳ１６において生成された２値化画像に基づいて、光学文字認識等による文字認識処理が行われる。ステップＳ１８で、上記ステップＳ１７における文字認識処理の結果得られた文字情報が、ＣＰＵ１２の制御に基づいて表示部４に表示される。そうした後、文字認識処理動作が終了される。
【０１１１】
以上のごとく、本実施の形態においては、上記タイヤ等のコントラストが低い計測対象物５の表面に刻印されている文字を認識する場合等に、計測対象物５の表面に２次元的にランダムなテクスチャであるランダム２値ドットパターンを投影する。したがって、タイヤ表面である下地面と文字の上面とに輝度変化を付与することができ、これらの輝度変化を左右のステレオ平行化後画像において一対一に対応づけることによって、容易に対応点の探索を行うことが可能になる。したがって、左カメラステレオ平行化後画像における上記注目画素領域の全画素に占める対応点が見出された画素の割合(％)で算出される「認識率」を精度良く算出することができ、延いては、上記文字認識における認識率を高めることができるのである。
【０１１２】
尚、上記第２実施の形態においては、文字認識を例に挙げて説明しているが、文字認識に限定されるものではなく、コントラストが低い計測対象物５の表面に刻印されているものは記号やパターンであっても差し支えない。
【０１１３】
・その他の実施の形態
上記第１,第２実施の形態においては、上記左カメラ６と右カメラ７との２つのカメラを搭載し、左右２枚の画像対から対応点探索を行っている。しかしながら、カメラの個数は２つに限らず、３眼や４眼等の多眼ステレオの場合においてもこの発明を応用することは可能である。Ｎ眼カメラ(Ｎ≧３)の場合には、何れか１つのカメラを基準のカメラとし、他の(Ｎ−１)個のカメラのキャリブレーションおよびキャリブレーションずれ補正を行うことが望ましい。すなわち、基準のカメラに対して(Ｎ−１)個のカメラのキャリブレーションを行い、(Ｎ−１)セットのキャリブレーションパラメータをキャリブレーションパラメータ記憶部に記憶しておく。キャリブレーションずれが発生した場合は、(Ｎ−１)個のカメラの夫々について基準カメラに対して上下方向にスライドさせてキャリブレーションずれ再補正を行って、上記最適位置を求めることになる。
【０１１４】
また、上記第１,第２実施の形態においては、簡略化のため計測対象物５が静止物体である場合について説明している。しかしながら、計測対象物５が動く物体であっても、左カメラ６と右カメラ７とを同期させて動画像を撮影し、動画像の各フレームを静止画像として取り出すことで上記第１,第２実施の形態と同様の処理を行うことができる。但し、動画像から上記３次元計測処理や文字認識処理を行う場合には、１フレーム期間内に対応点の探索および視差演算処理を行う必要があるため、高速な演算回路が必要となる。
【０１１５】
尚、上記各距離計測装置である３次元計測装置は、独立した計測装置として、産業用や民生用、その他の用途に用いることができる他、汎用的な携帯情報端末などの一部に組み込んだり、演算回路の一部または全部を集積回路(ＩＣ)化して利用したりすることもできる。
【０１１６】
その他、本発明の趣旨を損なわない範囲で種々の変更を加えることが可能である。
【産業上の利用可能性】
【０１１７】
本発明のステレオ３次元計測装置は、複数のカメラを用いて距離・形状などの計測を行う場合に有用であり、独立した計測装置として産業用や民生用、その他の用途に用いることができる他、汎用的な携帯情報端末などの一部に組み込んで利用したり、演算回路の一部または全部を集積回路ＩＣ化して利用したりすることができる。
【符号の説明】
【０１１８】
１,２１…距離計測装置、
２…ステレオカメラ、
３…計測演算部、
４…表示部、
５…計測対象物、
６…左カメラ、
７…右カメラ、
８…ステレオ平行化部、
９…対応点探索部、
１０…キャリブレーション演算部、
１１…キャリブレーションパラメータ記憶部、
１２…ＣＰＵ、
１３…距離画像生成部、
１４…距離計算部、
１５…キャリブレーションずれ再補正部、
１６,１７…相関窓、
２２…プロジェクタ、
２３…２値化部、
２４…文字認識部。
【技術分野】
【０００１】
この発明は、複数のカメラを用いて距離や形状等の計測を行うステレオ３次元計測装置に関する。
【背景技術】
【０００２】
複数のカメラを用いて対象物までの距離や対象物の形状などを計測するステレオ３次元計測装置が実用化されている。ステレオ３次元計測の手法としては、一般に「相関法」と呼ばれる方法が知られている。
【０００３】
上記「相関法」においては、カメラを左右に配置して対象物を同時に撮影し、得られた左右画像のペアから対応する画素の組である対応点を探索する。そして、左右画像の対応点同士が左右方向にどれだけ離れているかを表す視差を求め、この視差から三角測量の原理を適用して対象物までの距離を算出することができる。また、対象物に直線や多角形などの既知の光パターンを投影し、投影されたパターン形状の変化から対象物の形状を求める「光切断法」と呼ばれる方法も存在し、前述の「相関法」と併用して計測が行われることもある。
【０００４】
ところで、複数のカメラを用いてステレオ３次元計測を行う場合に、レンズの歪みや撮像素子の中心ずれや左右カメラの位置関係のずれ等の誤差要因によって、計測誤差が生じる。これを補正するために、計測の前に「キャリブレーション」と呼ばれる作業が必要となる。
【０００５】
すなわち、形状が既知の幾何学的パターンを印刷した「キャリブレーションボード」と呼ばれる被写体を異なる距離および異なる角度で複数枚撮影し、それらの画像情報から誤差要因に関する情報を含むキャリブレーションパラメータを算出しておく。その後、ステレオ計測を行う際に、撮影した左右画像にキャリブレーションパラメータを適用し、誤差要因を取り除いた補正後の左右画像対を生成する。この補正後の左右画像対を用いて対応点の探索および視差の算出を行うことによって、誤差の少ない計測を行うことができるのである。
【０００６】
しかしながら、実際の３次元計測においては、計測中の経時変化によって上述の誤差要因に変化が発生し、キャリブレーションパラメータとの間にずれが生じて、計測誤差が次第に大きくなる現象が起こる場合がある。これを防止するには、計測の前に毎回キャリブレーションを行ったり、一定時間ごとに計測を一時停止してキャリブレーションを行ったりすることも考えられるが、手間と時間が掛かるため、計測の作業性を大きく損ねてしまう。
【０００７】
そこで、上述のようなキャリブレーションパラメータのずれに起因するキャリブレーションずれを補正するために、特開２００４‐３５４２５７号公報(特許文献１)に開示されたキャリブレーションずれ補正装置を備えたステレオカメラが提案されている。
【０００８】
上記従来のステレオカメラにおいては、撮影装置が撮影したステレオ画像から、特徴抽出装置によって幾何学的形状が既知の特徴を抽出し、この抽出された特徴に基づいて、キャリブレーションデータ補正装置によって、キャリブレーションデータ記録装置に記憶されたキャリブレーションパラメータに関するキャリブレーションずれを補正するようにしている。
【０００９】
しかしながら、上記従来のステレオカメラにおいては、以下のような問題がある。すなわち、通常の３次元計測に必要な対応点探索部以外に、上記特徴点を検出するための上記特徴抽出装置が別途必要になる。したがって、上記特徴抽出装置をハードウェアで実装する場合には回路規模の増大を招いてしまう一方、ソフトウェアとして実装する場合には演算時間の増大を招いてしまうという問題がある。
【００１０】
また、上記特徴抽出装置による上記特徴の抽出は、計測対象物の大まかな形状が予め分かっている場合には比較的容易であるが、計測画像のコントラストが低い場合や計測対象物の形状が頻繁に変化するような場合には適用が非常に困難になるという問題がある。
【００１１】
さらに、近年、ステレオ３次元計測に用いられる撮像素子の高画素化・狭画素ピッチ化が進んで、より高精度の計測を行う要求が高まっている。そして、撮像素子の画素ピッチが狭まると、それに比例して計測距離の分解能が高まるため、高精度の計測を行うことが可能となる。ところが、その反面、キャリブレーションに求められる精度も高くなるという問題がある。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００４‐３５４２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
そこで、この発明の課題は、回路規模および演算時間の増大を招くことなくキャリブレーションずれを容易に再補正し、精度の高い３次元計測を行うことができるステレオ３次元計測装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、この発明のステレオ３次元計測装置は、
計測対象物を撮影して画像を取得する複数のカメラと、
上記複数のカメラによって取得された複数のカメラキャリブレーションボードの撮影画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出するキャリブレーション演算部と、
上記算出されたキャリブレーションパラメータを記憶する記憶部と、
上記複数のカメラによって取得された複数の上記計測対象物の画像に含まれる歪み,傾きおよびずれのうちの少なくとも一つを含む誤差を、上記キャリブレーションパラメータを用いて補正するステレオ平行化処理を行うステレオ平行化処理と、
上記ステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するキャリブレーションずれ再補正部と、
上記キャリブレーションずれ再補正部によって再補正された複数の上記計測対象物の画像における互いに対応する画素を対応点として探索すると共に、探索された複数の上記対応点間の距離であって上記複数のカメラのうちの少なくとも２つが配列されている方向への距離を表す視差情報を生成する対応点探索部と、
上記対応点探索部によって生成された上記視差情報から上記計測対象物までの距離情報を求める距離情報生成部と
を備えたことを特徴としている。
【００１５】
上記構成によれば、キャリブレーションずれ再補正部によって、ステレオ平行化処理によるステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するようにしている。したがって、キャリブレーション演算部で算出されたキャリブレーションパラメータを用いてステレオ平行化処理によって計測対象物の画像に含まれる誤差を補正した際に、複数の画像間の補正しきれないずれ量を、互いに対応する画素を探索して得られたデータを用いて再補正することができる。
【００１６】
したがって、本ステレオ３次元計測装置における内部ハードウェアの回路規模の増大および演算時間の増大を招くことなくキャリブレーションずれを容易に再補正し、精度の高い３次元計測を行うことができる。
【００１７】
また、１実施の形態のステレオ３次元計測装置では、
上記２つのカメラが配列されている方向をｘ方向とし、上記２つのカメラによって撮影されている画像の面内で上記ｘ方に直交する方向をｙ方向とした場合に、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の各画像間における少なくとも上記ｙ方向のずれを再補正する。
【００１８】
この実施の形態によれば、上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の各画像間における少なくとも上記ｙ方向のずれを再補正するようにしている。したがって、特に高画素数・狭画素ピッチの複数のカメラで取得された複数の計測対象物の画像に基づいて３次元計測を行う際に問題になり易い上記ｙ方向(上下方向)のキャリブレーションずれを低減することができる。
【００１９】
また、１実施の形態のステレオ３次元計測装置では、
上記計測対象物に対して２次元ランダムテクスチャを投影するためのプロジェクタを備えている。
【００２０】
この実施の形態によれば、上記計測対象物に対して２次元ランダムテクスチャを投影するようにしている。したがって、上記計測対象物の表面におけるテクスチャの変化が乏しい場合やコントラストが低い場合であっても、上記計測対象物の表面に輝度変化を付与することによって上記対応点探索部による対応点の探索が容易になり、安定して３次元計測を行うことができる。
【００２１】
また、１実施の形態のステレオ３次元計測装置では、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の複数の画像から基準となる基準画像とこの基準画像と比較される残りの比較画像の夫々とでなる画像対を順次選択し、この選択された画像対の上記比較画像を上記基準画像に対して上記ｙ方向にずらしながら両画像における互いに対応する画素を探索して上記データとしての探索パラメータを得、この得られた探索パラメータに基づいて上記比較画像の最適なずらし位置を求め、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすことによって上記複数の画像間のずれを再補正する。
【００２２】
この実施の形態によれば、上記キャリブレーションずれ再補正部によって、上記ステレオ平行化処理後の複数の画像から選択された画像対において、比較画像を基準画像に対して上記ｙ方向にずらしながら互いに対応する画素を探索して得られた探索パラメータに基づいて、上記比較画像の最適なずらし位置を求めるようにしている。したがって、上記比較画像の最適なずらし位置を確実に見出すことができる。
【００２３】
また、１実施の形態のステレオ３次元計測装置では、
上記記憶部は、上記キャリブレーションずれ再補正部によって求められた上記最適なずらし位置をも記憶するようになっており、
上記キャリブレーションずれ再補正部は、上記複数の画像間のずれを再補正する場合には、上記記憶部に記憶されている上記最適なずらし位置を用いて、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすようになっている。
【００２４】
この実施の形態によれば、上記キャリブレーションずれ再補正部によって求められた上記最適なずらし位置を、上記記憶部に記憶するようにしている。したがって、上記対応点探索部が一端中断した上記対応点の探索および視差画像の生成を再開する場合には、上記キャリブレーションずれ再補正部は、上記記憶部に記憶されている上記最適なずらし位置を用いることよって、迅速に上記複数の画像間のずれを上記中断の前と同じ位置に再補正することができ、上記対応点探索部による処理の再開を迅速に行うことができる。
【００２５】
また、１実施の形態のステレオ３次元計測装置では、
上記対応点探索部は、上記対応点探索および上記視差情報の生成を行っている際に上記探索パラメータを監視し、上記探索パラメータの値が最適値よりも所定の値を超えて悪化した場合には、上記キャリブレーションずれ再補正部に対して、上記最適なずらし位置の再取得を指示する。
【００２６】
この実施の形態によれば、上記対応点探索部は、上記探索パラメータの値が最適値よりも所定の値を超えて悪化した場合には、上記キャリブレーションずれ再補正部に対して、上記最適なずらし位置の再取得を指示するようにしている。したがって、上記対応点探索部が連続して上記対応点探索および上記視差情報の生成を行う場合においても、計測誤差の発生を最小限に抑えることができる。
【００２７】
また、１実施の形態のステレオ３次元計測装置では、
少なくとも上記距離情報生成部によって生成された上記距離情報を表示する表示部を備え、
上記キャリブレーションずれ再補正部は、得られた上記複数の探索パラメータの値が予め設定された設定値に満たない場合には、上記キャリブレーション演算部による上記カメラキャリブレーションの実行を促す情報を上記表示部に表示させるようになっている。
【００２８】
この実施の形態によれば、上記キャリブレーションずれ再補正部によって得られた上記複数の探索パラメータの値が予め設定された設定値に満たない場合には、使用者に対して上記キャリブレーションの実行を促すようにしている。したがって、上記キャリブレーションずれ再補正部によって再補正しきれないような画像のずれにも対処して、３次元計測誤差の増大を防止することができる。
【発明の効果】
【００２９】
以上より明らかなように、この発明のステレオ３次元計測装置は、キャリブレーションずれ再補正部によって、ステレオ平行化処理によるステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するので、キャリブレーションパラメータを用いたステレオ平行化処理によって計測対象物の複数の画像を補正しても補正しきれないずれ量を、上記互いに対応する画素を探索して得られたデータを用いて、再補正することができる。
【００３０】
したがって、本ステレオ３次元計測装置における内部ハードウェアの回路規模の増大および演算時間の増大を招くことなくキャリブレーションずれ容易に再補正して、精度の高い３次元計測を行うことができる。
【図面の簡単な説明】
【００３１】
【図１】この発明のステレオ３次元計測装置の一例である距離計測装置のブロック図である。
【図２】図１に示す距離計測装置による３次元計測処理のフローチャートである。
【図３】図２におけるステレオ平行化処理および対応点探索処理の説明図である。
【図４】キャリブレーションボードに用いられるパターンの一例を示す図である。
【図５】左右のカメラステレオ平行化後画像の上下方向の画素ずれを示す図である。
【図６】キャリブレーションずれ再補正処理を含む対応点探索処理のフローチャートである。
【図７】キャリブレーションずれ再補正処理時における上下方向ずれ調整量と認識率との関係を示す図である。
【図８】右カメラステレオ平行化後画像の下方向への画素ずらし量の変化と視差画像の変化とを示す図である。
【図９】図１とは異なる距離計測装置のブロック図である。
【図１０】図９に示す距離計測装置による文字認識処理のフローチャートである。
【図１１】図９におけるプロジェクタによって投影される２次元ランダムテクスチャの一例を示す図である。
【図１２】２次元ランダムなテクスチャが投影された下地面および文字上面に付与される輝度変化の説明図である。
【発明を実施するための形態】
【００３２】
以下、この発明を図示の実施の形態により詳細に説明する。
【００３３】
・第１実施の形態
図１は、本実施の形態のステレオ３次元計測装置としての距離計測装置のブロック図である。図１において、距離計測装置１は、ステレオカメラ２,計測演算部３,表示部４および筺体(図示せず)から構成されている。そして、計測対象物５までの距離を表す上記距離情報としての距離画像を生成して表示部４に表示する。
【００３４】
上記ステレオカメラ２は、一対の左カメラ６と右カメラ７とで構成されている。ここで、左カメラ６と右カメラ７とは、左カメラ６と右カメラ７との間の距離(即ち基線長)および左カメラ６と右カメラ７とのなす角(即ち輻輳角)が一定の値になるように、上記筐体の内部で機械的に固定されて配置されている。
【００３５】
本距離計測装置１では、上記左カメラ６における撮像素子の光軸中心を原点として、左カメラ６と右カメラ７とにおける両撮像素子の光軸中心を結ぶ方向をｘ方向(左右方向)、左カメラ６の撮像素子面内で上記ｘ方向に直交する方向をｙ方向(上下方向)、上記ｘ方向および上記ｙ方向に直交する方向をｚ方向(奥行き方向)と定義する。左カメラ６および右カメラ７は、夫々ＣＭＯＳ(complementary metal oxide semiconductor：相補型金属酸化膜半導体)撮像素子,集光用のレンズおよび制御用のＤＳＰ(Digital Signal Processor)が一体となったカメラモジュールであり、上記ＤＳＰに外部から制御信号を与えることによって、撮影画像サイズ,焦点距離,露出,ホワイトバランス等のカメラパラメータを電気的に制御することができる。
【００３６】
上記計測演算部３は、ステレオ平行化部８,対応点探索部９,キャリブレーション演算部１０,キャリブレーションパラメータ記憶部１１,ＣＰＵ(中央演算処理装置)１２,上記距離情報生成部としての距離画像生成部１３および距離計算部１４を含んで構成されている。ここで、対応点探索部９は、後述するキャリブレーションずれの再補正機能を有している。すなわち、対応点探索部９は、キャリブレーションずれ再補正部１５を含んだ構成を有している。
【００３７】
本距離計測装置１を用いた３次元計測処理の全体的な流れを、図２のフローチャートに示す。また、図３に、ステレオ平行化部８によるステレオ平行化処理および対応点探索部９による対応点探索処理の説明図を示す。図２に従って３次元計測の全体的な流れを説明するに先立って、図３に従って上記ステレオ平行化処理および上記対応点探索処理に付いて説明する。
【００３８】
上記ステレオカメラ２を計測対象物５に相対する適切な位置に配置し、焦点距離や露出等を調整した後、ＣＰＵ１２の制御の下に左カメラ６と右カメラ７との画像キャプチャが行われる。こうして、図３(a)に示すごとく、左カメラキャプチャ画像および右カメラキャプチャ画像が得られる。
【００３９】
上記ステレオカメラ２のキャプチャ画像は、レンズの歪みや左右カメラの角度ずれ等が存在するため、図３(a)に示すように歪みや傾きやずれを含む画像になっている。これを補正して左右画像の対応点探索を容易にするために、キャリブレーション演算部１０によってカメラキャリブレーションと呼ばれる作業が事前に行われる。カメラキャリブレーションの詳細については後述する。
【００４０】
上記カメラキャリブレーションによって算出されて、キャリブレーションパラメータ記憶部１１に記憶されているキャリブレーションパラメータに基づいて、ステレオ平行化部８によって、左カメラキャプチャ画像および右カメラキャプチャ画像に対してステレオ平行化処理が施される。左右カメラのステレオ平行化後画像は、図３(b)に示すように、互いに対応する画素が画像の上下方向に揃っていると考えられる。即ち、左カメラ６のステレオ平行化後画像におけるある画素に対して、右カメラ７のステレオ平行化後画像における対応する画素は必ず同一の行に存在する。したがって、エピポーラ線上の画素を探索すれば、左右画像の対応関係を探し出すことが可能となる。
【００４１】
上記対応点探索部９による実際の対応点探索処理の手順は、図３(c)に示すようになる。先ず、左カメラステレオ平行化後画像に、注目する画素を中心として縦横夫々ｐ画素の正方形状の「相関窓」と呼ばれる領域１６を設定する。そして、右カメラステレオ平行化後画像における相関窓１６との同一行に同じ大きさの相関窓１７を設定し、この相関窓１７を左右方向にスライドさせながら、左右の相関窓１６,１７に含まれる画素間の相関度合いを示す評価量を計算するのである。その場合における上記相関度合いを示す評価量としては、例えばＳＡＤ(Sum of Absolute Differrence：差分絶対値和)等の画素演算で計算できる量が用いられる。
【００４２】
所定の相関探索範囲の端から端まで探索した場合に、相関度合いの上記相関窓に関する合計値が最も高くなる状態での右カメラステレオ平行化後画像における相関窓１７の中心画素が、左カメラステレオ平行化後画像における注目画素に対する対応点(対応画素)となる。その際に、左カメラステレオ平行化後画像の注目画素と右カメラステレオ平行化後画像の対応画素との距離(相関窓１６の中心点と相関窓１７の対応点との距離)を、水平方向の画素単位で表したものが視差ｄと定義される。
【００４３】
このような探索処理を左カメラ平行化後画像の全画素に対して実施することによって、各画素に対して視差ｄの値が夫々一意に定まる。この視差ｄの値をグレースケール画像として左カメラ平行化後画像に表すと、図３(d)に示すような上記視差情報としての視差画像が得られる。
【００４４】
尚、上記対応点探索処理によって上記相関探索範囲の端から端まで探索しても相関度合いが所定の値以上になる相関窓１７が得られない場合は、対応点が存在しないと見なされる。左カメラ６からは見えているが右カメラ７からは見えない部分(オクルージョン領域)を探索する場合や、計測対象物５のコントラストが低い場合には、対応点が存在しないという探索結果になることが多い。図３(d)においては、計測対象物５の一部がオクルージョン領域となっている。
【００４５】
以下、図２に示すフローチャートに従って、ＣＰＵ１２の制御の下に実行される上記ステレオ平行化処理および上記対応点探索処理を含む３次元計測処理動作について説明する。
【００４６】
ステップＳ１a,Ｓ１bで、ステレオカメラ２における左カメラ６と右カメラ７との画像キャプチャが同じタイミングで行われ、得られた左カメラキャプチャ画像および右カメラキャプチャ画像が、ステレオ平行化部８に送出される。同様にして、上記カメラキャリブレーションの場合には、後に詳述するキャリブレーションボードが左カメラ６と右カメラ７とで撮影され、キャリブレーションボード撮影画像がキャリブレーション演算部１０に送出される。ステップＳ２で、キャリブレーション演算部１０によって、後に詳述するようなカメラキャリブレーション処理が行われる。そして、算出されたキャリブレーションパラメータがキャリブレーションパラメータ記憶部１１に記憶される。
【００４７】
ステップＳ３で、上記ステレオ平行化部８によって、キャリブレーションパラメータ記憶部１１に記憶されているキャリブレーションパラメータに基づいて、左カメラキャプチャ画像および右カメラキャプチャ画像に対し、上述したようなステレオ平行化処理が施される。そして、得られた左カメラ６および右カメラ７のステレオ平行化後画像は、対応点探索部９に送出される。
【００４８】
ステップＳ４で、上記対応点探索部９によって、上述した対応点探索処理が実行される。先ず、ステップＳ４aで、プレフィルタ処理が行われる。ここで、プレフィルタ処理は、左右カメラのステレオ平行化後画像の輝度差や画像内の局所的な輝度レベルの変動等を吸収するためのエッジ強調処理である。その後、ステップＳ４bで、実際に上記対応点探索処理が行われる。本距離計測装置１においては、左カメラ６を基準として、左カメラ６の平行化後画像上の全画素に対して右カメラ７のステレオ平行化後画像から対応点を探索し、図３(d)に示すような視差画像を生成する。この探索によって対応点が見出せなかったり対応点を誤って検出したりした場合には、上記視差画像の一部にノイズが混じることがある。特に、対応点探索時の相関窓１６,１７のサイズが比較的小さい場合には、計測精度が高まる代わりにノイズの割合が大きくなる傾向にある。このようなノイズ成分を低減するため、ステップＳ４cで、対応点探索後の上記視差画像に、ポストフィルタ処理を行って画像整形を行う。ここで、上記ポストフィルタ処理としては、例えばガウシアンフィルタ処理やメディアンフィルタ処理等の平滑化フィルタ処理、あるいは、膨張収縮等のモルフォロジー処理が用いられる。
【００４９】
こうして得られた画像整形後の上記視差画像が距離画像生成部１３に送出される。
【００５０】
これらの上記ステレオ平行化部８および対応点探索部９による処理は、ＣＰＵ１２から送出される制御信号に基づいて、適切なタイミングで実行される。
【００５１】
ステップＳ５で、上記距離画像生成部１３によって、上記視差画像から距離画像が生成される。
【００５２】
上記視差画像上の任意の画素の視差値ｄは、三角測量の原理によって、左カメラ６における撮像素子の光軸中心である原点Ｏからの奥行き方向の距離Ｚに変換できる。具体的には、ステレオカメラ２の上記基線長をＡとし、左カメラ６の焦点距離をｆとして、
Ｚ＝Ａ・ｆ/ｄ
で計算することができる。そこで、距離画像生成部１３は、上記視差画像の各画素のグレースケール画像から各画素の視差ｄを求め、各画素に関して視差値ｄから距離Ｚを求めることによって、上記視差画像から距離画像を生成することができるのである。
【００５３】
ステップＳ６で、上記ステップＳ５において生成された距離画像が、ＣＰＵ１２の制御に基づいて表示部４に表示される。そうした後、３次元計測処理動作が終了される。
【００５４】
さらに、本距離計測装置１においては、入力手段(図示せず)によって、上記距離画像上の１点あるいは２点が指示選択されると、１点が指示された場合にはその１点の座標値が、２点が指示された場合にはその２点間の距離が、ＣＰＵ１２の制御に基づいて距離計算部１４によって計算され、計算結果が表示部４に表示される。
【００５５】
このように、本距離計測装置１においては、上記ステレオカメラ２で撮影した計測対象物５の左右カメラ画像から上記距離画像を生成して表示すると共に、上記距離画像における対象物上の任意の１点の座標値および対象物上の任意の２点間距離を表示することができる。
【００５６】
尚、上記奥行き方向の距離Ｚだけでなく、水平方向の距離Ｘ、垂直方向の距離Ｙも、視差ｄから三角測量の原理を用いて算出することができる。こうして、原点Ｏを基準とした計測対象物５の３次元座標(Ｘ,Ｙ,Ｚ)を得ることができる。さらに、この３つの座標値に適当な視点変換行列を掛けることによって、計測対象物５を任意の視点から見た画像を生成することもできる。
【００５７】
次に、上記ステレオ平行化部８によって、左カメラキャプチャ画像および右カメラキャプチャ画像に対してステレオ平行化処理を施す際に用いられるキャリブレーションパラメータを得るためのカメラキャリブレーションについて説明する。
【００５８】
上記ステレオカメラ２でキャプチャされた左右のカメラキャプチャ画像は、様々な誤差要因によって歪みや傾きやずれを含んだ画像になっている。具体的な誤差要因としては、単体要因即ちカメラ単体の誤差要因と、相対要因即ち左右カメラ６,７間の位置関係に関する要因とに分類できる。上記単体要因は、レンズの半径方向および円周方向の歪みや撮像素子の中心ずれ等である。また、上記相対要因は、左右カメラ６,７間の回転行列および並進行列で表される。これらは直接計測することができない。
【００５９】
そこで、上記カメラキャリブレーションにおいては、上記キャリブレーションボードと呼ばれる幾何的な形状および寸法が既知のパターンを印刷した平板を用意し、これをステレオカメラ２の前に様々な距離および角度で配置して、なるべく多くの回数撮影を行う。上記キャリブレーションボードとしては、例えば、図４(a)に示すようなチェッカー(市松)パターンや、図４(b)に示すようなグリッド状のドット(水玉)パターン等が用いられる。しかしながらこれらのパターンに限定されるものではない。
【００６０】
上記撮影されたキャリブレーションボードの画像から、チェッカーパターンであればコーナー点、グリッドパターンであればグリッドの中心点のような、特徴となる点を見出す。次に、左右カメラ画像の組において、対応する特徴点が何れであるかを探索する。このようにして求められた左右カメラ画像上の特徴点の座標の組と、上記キャリブレーションボード上の相対距離が既知の２点が撮影画像上の２点に対応付けられるという条件と、上記キャリブレーションボード上の１点が左右カメラ画像上の各１点と同一であるという条件とから、複数の方程式を立てることができる。例えば、上記キャリブレーションボードとして図４(a)に示すチェッカーパターンを用いる場合、チェッカーのコーナー数を１２×８、撮影回数を１０回とすると、１２×８×１０＝９６０個の式が得られる。これらの式を連立方程式として解くことによって、未知数であるキャリブレーションパラメータを求めることができる。
【００６１】
このようなキャリブレーションの具体的な手順については、例えば非特許文献「Ｚ.Zhang, “IEEE Transactions on Pattern Analysis and Machine Intelligence”，＃２２(２０００)，1330−1334」等に記載されている。
【００６２】
実際のキャリブレーションにおいては、上述したように多数の誤差要因(キャリブレーションパラメータ)を未知数として求めるため、得られる解はばらつきを含むものになる。即ち、全く同じ条件でキャリブレーションを行っても、得られるキャリブレーションパラメータは完全には同じにならない。尚、キャリブレーションパラメータのばらつきを可能な限り低減するために、上記キャリブレーションボードのコーナー数や撮影回数を多くして非常に多くの方程式から最小自乗法で最適な解を求めたとしても、一定量のばらつきが残ってしまう。そして、計算で求められたキャリブレーションパラメータの値と真の値との差はキャリブレーション誤差となり、一定の計測誤差を発生させることになる。特に、ステレオカメラのフォーカス合わせの性能が低い場合には、上記キャリブレーションボードの撮影時にボケが残り、特徴点の対応付けに誤差を含むことになるので、キャリブレーション誤差が大きくなる傾向があることが知られている。
【００６３】
上述したような一定量の(即ち定常的な)キャリブレーション誤差に加えて、キャリブレーション後の経時変化によって非定常的なキャリブレーション誤差が発生する。このような非定常誤差には、熱膨張・熱収縮によるレンズの形状変化のように環境に応じて可逆的に変動する成分と、機械的な衝撃等によって発生する不可逆な成分とが存在する。
【００６４】
実際の計測におけるキャリブレーション誤差は、上記定常的な誤差成分と、キャリブレーション後の経時変化による可逆・不可逆を含めた非定常誤差成分との和になる。そのため、計測精度を高めるためにステレオカメラ２を高画素化・狭画素ピッチ化すると、キャリブレーションに求められる精度もそれに応じて高まるので、上記定常誤差および上記非定常誤差の両方を極めて小さい値に抑える必要が生ずる。これが高精度の計測を行う場合において大きな障害となる。
【００６５】
様々なキャリブレーションパラメータが誤差を含んでいる場合、それらのキャリブレーションパラメータが左カメラ６および右カメラ７のステレオ平行化後画像に与える影響は、画面の「上下方向のずれ」,「左右方向のずれ」および「その他の影響」に大きく分けられる。
【００６６】
上記「上下方向のずれ」は、主に、左カメラ６あるいは右カメラ７の撮像素子の上下方向のずれ(ΔｃＹ)、左右カメラ６,７の上下方向の位置ずれ(ΔＹ)、および、左右カメラ６,７の水平軸周りの角度ずれ(θＸ)と、関係している。これに対し、上記「左右方向のずれ」は、主に上記撮像素子の左右方向のずれ(ΔｃＸ)、左右カメラ６,７の左右方向の位置ずれ(ΔＸ)、および、左右カメラ６,７の垂直軸周りの角度ずれ(θＹ)と、関係している。また、上記「その他の影響」として、レンズの半径方向・円周方向の歪み係数はより高次の影響(画像の中心と周辺または上下左右とで異なる影響)を及ぼす。
【００６７】
計測精度を高めるためにステレオカメラ２を高画素化・狭画素ピッチ化した場合、上述したステレオ平行化後画像に対する３つの影響のうち、「上下方向のずれ」が深刻な問題となる場合がある。その理由について、以下で説明する。
【００６８】
上記ステレオ平行化後画像が左右方向にずれている場合、視差が真の値と異なる値となるので計測誤差が発生する。視差が真の値ｄからΔｄだけずれた場合に、奥行き方向距離の計測値ＺがΔＺの計測誤差が発生したとする。このとき、三角測量の「Ｚ＝Ａ・ｆ/ｄ」の関係式から、
ΔＺ/Ｚ＝−Δｄ/(ｄ＋Δｄ)≒−Δｄ/ｄ
が得られる。この式から、ｄ＞＞Δｄの条件下では、視差の左右方向ずれの割合Δｄ/ｄと計測誤差ΔＺ/Ｚとは略同じオーダーになることが分かる。
【００６９】
例えば、左右方向のずれ量が３％とすると、それによって発生する計測誤差も約３％となる。これを逆に考えると、３％の計測誤差が許容できるならば左右方向のずれ量は３％まで許されることになる。このように、左右方向のずれは計測誤差に直接影響を与えるが、誤差が生じても計測そのものは問題なく実行することができるのである。
【００７０】
これに対し、左右カメラの上記ステレオ平行化後画像が左右方向にではなく上下方向にずれている場合には、計測誤差よりも寧ろ計測そのものの可否に影響を与えてしまう可能性がある。例えば、左カメラステレオ平行化後画像における相関窓１６のサイズを１３画素×１３画素として上記対応点探索を行う場合、上下方向の画素ずれが全くない場合には、図５(a)に示すように、左右カメラステレオ平行化後画像の対応点が上下方向に完全に揃っているため、左カメラステレオ平行化後画像に対して右カメラステレオ平行化後画像の同じラインが探索される。ところが、上下方向の画素ずれ量が１３画素以上である場合には、図５(b)に示すように、左カメラステレオ平行化後画像に対して右カメラステレオ平行化後画像の全く異なるラインを探索することになる。
【００７１】
上記対応点探索部９は、前段のステレオ平行化処理によって得られた左右カメラステレオ平行化後画像の対応点が、上下方向に完全に揃っていることを前提として上記対応点探索を行う。そのために、図５(b)に示す状態では対応点が全く見出せず、計測不能になってしまうのである。
【００７２】
このような現象は、上記左カメラ６および右カメラ７として、比較的画素ピッチが広く画素数の少ない(数万〜１００万画素程度)カメラを用いる場合には問題にはならない。ところが、計測精度向上のために、画素ピッチの狭い高画素数のカメラ(３００万画素以上)を用いる場合には、顕著に現れる。
【００７３】
例えば、上記左右カメラ６,７における撮像素子のサイズが１/４インチであり、画素数が５００万画素である場合には、画素ピッチが約１.４μｍとなる。そのため、上下方向の画素ずれ量を１３画素以内に抑えるためには、キャリブレーションによる上下方向のずれを１８.２μｍ以下の精度に抑える必要がある。これは、キャリブレーション後の熱膨張収縮等による寸法変化によっても影響を受けるレベルである。そのため、上述した上下方向のずれ要因となるパラメータの全てを高精度に求めたとしても、キャリブレーションの誤差あるいはキャリブレーション後の温度変化等によって容易に上下方向ずれ量が許容範囲を超えてしまい、計測が不能になってしまうのである。このように、左右カメラ６,７として計測精度を向上させるために高画素数のカメラを採用しても、キャリブレーションの上下ずれのために計測精度が高めることができないという問題が発生することになる。
【００７４】
そこで、本距離計測装置１においては、このような問題を解決するために、以下に詳述するように、対応点探索部９のキャリブレーションずれ再補正部１５によって、対応点探索時に探索パラメータを得、この得られた探索パラメータを用いてキャリブレーションずれ再補正を行うのである。そのキャリブレーションずれ再補正処理を含む上記対応点探索処理の手順を図６のフローチャートに示す。また、キャリブレーションずれ再補正処理時における上下方向ずれ調整量と認識率との関係を図７に示す。図６に従ってキャリブレーションずれ再補正処理の手順を説明するに先立って、図７に従ってキャリブレーションずれ再補正処理に付いて説明する。
【００７５】
本実施の形態においては、上記探索パラメータとして「認識率」を用いる。すなわち、キャリブレーションずれ再補正部１５を含む対応点探索部９は、左右カメラステレオ平行化後画像の対応点(対応画素)を探索するに先立って、先ず、左カメラステレオ平行化後画像における注目する画素領域の全画素に占める対応点が見出された画素の割合(％)を上記認識率として算出する。
【００７６】
以下、詳述すると、上記「注目する画素領域」とは、左カメラステレオ平行化後画像における上記認識率算出の対象となる画素領域であり、左カメラステレオ平行化後画像の全体であっても良いし、左カメラステレオ平行化後画像のうちの計測対象物が存在する領域であって良いし、左カメラステレオ平行化後画像から後の対応点探索の際に誤りが生じ易い領域を除いた領域であっても良い。こうして設定された「注目する画素領域」の全画素に対して、先に図３(c)で説明したように、左右のカメラステレオ平行化後画像に相関窓１６,１７を設定し、相関窓１７をスライドさせながら相関窓１６,１７に含まれる画素間の相関度合の合計値を計算し、その値が最も高くなる状態での相関窓１７の中心画素を対応点とする対応点探索を行う。そして、「注目する画素領域」の全画素に占める対応点が見出された画素の割合(％)を上記認識率として算出するのである。
【００７７】
次に、上記左カメラステレオ平行化後画像に対して右カメラステレオ平行化後画像を上方向に１画素分ずらし、先程と同様に対応点探索と認識率算出とを行う。このような操作を所定の上下方向のずらし画素範囲(例えば、「開始位置−５画素」から「開始位置＋５画素」まで)で行い、図７に示すように、上下方向画素ずらし量に対する上記認識率を示す曲線を求める。そして、得られた曲線のピーク位置における上記認識率が予め定められた所定の値以上である場合に、このピーク位置を最適位置とする。そして、右カメラステレオ平行化後画像を上記最適位置の画素ずらし量だけ上下方向にずらして、左カメラステレオ平行化後画像に設定された相関窓１６と同じライン上の画素に対して本来の対応点の探索処理を行うのである。
【００７８】
上記左カメラステレオ平行化後画像に対する右カメラステレオ平行化後画像の下方向への画素ずらし量を変化させた場合に得られる視差画像の変化を、図８(a)〜図８(c)に示す。ここで、図８(a)は、右カメラステレオ平行化後画像を最適位置から下方向に２画素ずらした場合の視差画像である。また、図８(b)は、最適位置での視差画像である。また、図８(c)は、最適位置から上方向に２画素ずらした場合の視差画像である。
【００７９】
図８(b)に示す最適位置では、画面の略全面にわたって対応点が探索されて視差が算出されている。しかしながら、図８(a)に示す下方向への２画素ずらし位置では、画面の下付近対に応点探索不能の領域が発生しており、図８(c)に示す上方向への２画素ずらし位置では、画像の上付近に対応点探索不能の領域が発生している。そのために、上記認識率が低下することになる。したがって、上下方向に画素ずらしを行いながら上記認識率のピークを求めることによって、図８(b)に示すように、最適位置を見出すことが可能であることが分かる。
【００８０】
以下、図６に示すフローチャートに従って、ＣＰＵ１２の制御の下に実行される上記３次元計測処理動作の上記ステップＳ４bにおいて、対応点探索部９によって実行される上記対応点探索処理について詳細に説明する。上記３次元計測処理動作の上記ステップＳ４aにおいてプレフィルタ処理が終了すると、キャリブレーションずれ再補正処理を含む上記対応点探索処理動作がスタートする。
【００８１】
先ず、上記対応点探索部９のキャリブレーションずれ再補正部１５によって、キャリブレーションずれ再補正処理が行われる。
【００８２】
ステップＳ４b1で、上記基準画像である左カメラステレオ平行化後画像に上記「注目する画素領域(以下、注目画素領域と言う)」を設定し、この注目画素領域の全画素に関して、上述したように、上記比較画像である右カメラステレオ平行化後画像に対して対応点探索を行う。
【００８３】
ステップＳ４b2で、上記「注目する画素領域」の全画素に占める上記ステップＳ４b1において対応点(対応画素)が見出された画素の割合(％)が、当該右カメラステレオ平行化後画像の上記認識率として算出される。
【００８４】
ステップＳ４b3で、上記上下方向のずらし画素範囲である探索範囲内の探索が終了したか否かが判別される。その結果、終了していればステップＳ４b5に進む一方、終了していなければステップＳ４b4に進む。ステップＳ４b4で、右カメラステレオ平行化後画像が上方向あるいは下方向に１画素分だけ移動される。そうした後に、上記ステップＳ４b1にリターンして、左カメラステレオ平行化後画像と上下方向に１画素だけ移動された右カメラステレオ平行化後画像との間で、上記対応点の探索が行われる。
【００８５】
ステップＳ４b5で、上記探索範囲内での対応点探索の結果得られた上記認識率のうちで最大認識率を呈する右カメラステレオ平行化後画像の上下方向のずらし位置が算出される。ステップＳ４b6で、上記ステップＳ４b5において得られた最大認識率が、予め設定された設定値(例えば８０％)以上であるか否かが判別される。その結果、上記設定値以上であればステップＳ４b7に進み、上記設定値以上でなければステップＳ４b9に進む。
【００８６】
ステップＳ４b7で、上記ステップＳ４b5において算出された上記最大認識率を呈する右カメラステレオ平行化後画像の位置が、最適位置として上記最大認識率と共にキャリブレーションパラメータ記憶部１１に記憶される。
【００８７】
ステップＳ４b8で、上記ステップＳ４b7において記憶された最適位置に、右カメラステレオ平行化後画像が移動される。こうして、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理が終了する。以後、上述した本来の対応点探索処理が行われる。すなわち、先に図３(c)で説明したように、左右のカメラステレオ平行化後画像に相関窓１６,１７を設定し、相関窓１７をスライドさせながら相関窓１６,１７に含まれる画素間の相関度合の合計値を計算し、その値が最も高くなる状態での相関窓１７の中心画素を対応点とする。そして、左カメラステレオ平行化後画像の注目画素と右カメラステレオ平行化後画像の対応点(対応画素)との距離を水平方向の画素単位で表した視差ｄが得られる。このような対応点探索処理を左カメラ平行化後画像の全画素に対して実施して、各画素の視差ｄの値を求め、この視差ｄの値に基づいて、図３(d)に示すような視差画像が生成される。
【００８８】
そうした後、上記対応点探索処理動作が終了されて、上記３次元計測処理動作における上記ステップＳ４cでの上記ポストフィルタ処理にリターンする。
【００８９】
ステップＳ４b9で、上記ステップＳ４b6において設定値以上の最大認識率が得られないと判別されたため、左右のカメラステレオ平行化後画像の上下方向のずれに起因するキャリブレーションずれの度合が、本実施の形態における上記キャリブレーションずれ再補正処理では修正しきれない度合であると判定して、以後の視差画像の生成を停止する。
【００９０】
ステップＳ４b10で、上記キャリブレーションずれの度合が上記キャリブレーションずれ再補正処理では修正しきれないため、ＣＰＵ１２の制御に基づいて、キャリブレーション演算部１０によるカメラキャリブレーションの要求が表示部４に表示される。そうした後に、上記３次元計測処理動作における上記ステップＳ６の後段にリターンして、３次元計測処理動作が終了される。
【００９１】
以上のように、この実施の形態においては、上記キャリブレーションによって補正しきれない、つまり上記カメラキャリブレーションによって得られた上記キャリブレーションパラメータを用いたステレオ平行化処理によって補正しきれない左右のカメラステレオ平行化後画像間のずれ量を、キャリブレーションずれ再補正部１５を含む対応点探索部９による対応点の探索処理中において、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理で得られるデータ(検索パラメータ：認識率)を用いて再補正するようにしている。したがって、本距離計測装置１における内部ハードウェアの回路規模の増大および演算時間の増大を招くことなくキャリブレーションずれを再補正して、３次元計測の精度を高めることができる。
【００９２】
また、上記右カメラステレオ平行化後画像を上下にずらすことによって左右のカメラステレオ平行化後画像の上下方向のずれを再補正するため、特に高画素数・狭画素ピッチの撮像素子を有するステレオカメラでの計測において問題になり易い上下方向のキャリブレーションずれを低減することができる。その際に、左右のカメラステレオ平行化後画像対の一方(比較画像)を他方(基準画像)に対し上下方向に順次ずらして、上記認識率のピークを探索して最適位置を設定するという手順をとることで、対応点の探索を行う際の右カメラステレオ平行化後画像の最適位置を確実に見出すことができるのである。
【００９３】
また、上記実施の形態においては、上記対応画素領域の探索で見出された上記最適位置とその最適位置での上記認識率の値を、ＣＰＵ１２の制御に基づいて、キャリブレーションパラメータ記憶部１１に記憶するようにしている。したがって、本距離計測装置１の電源を落とさずに連続的にあるいは断続的に計測を行う場合には、この最適位置に合わせた状態から処理を開始することができる。このように、上下方向の最適位置を本距離計測装置１の内部に記憶しておくことによって、最適な計測条件で迅速に計測を続けることができる。
【００９４】
尚、本距離計測装置１の電源を一旦落として再度電源を立ち上げた場合には、上記最適位置から計測を開始するようにしてもよいが、温度変化等に起因する不連続な変動が生じている可能性があるため、改めて上記キャリブレーションずれ再補正処理を行って、右カメラステレオ平行化後画像に対して上下方向に画素ずらしを行って、最適位置を求めることが望ましい。
【００９５】
また、上記実施の形態においては、ここまで説明した比較的小さな状態変化とは別に、長期間の経時変化や強い機械的ショック等によって、キャリブレーションを行った時の状態から大きな状態変化が発生した場合には、上記上下方向のずらし画素範囲では吸収しきれないキャリブレーションずれが生じることになる。そのような場合には、上下方向画素ずらし量‐認識率の曲線は、図７(b)に示すように明確なピークが存在せず、且つ全域にわたって低い値となる。そこで、図６に示す上記対応点探索処理動作における上記ステップＳ４b6において、得られた最大認識率が予め設定された設定値(例えば、８０％)を下回る場合には最適位置が存在しないと判断し、ＣＰＵ１２の制御に基づいて、再キャリブレーションの実施を促すメッセージを表示部４に表示させるようにしている。こうすることによって、本距離計測装置１の使用者に適切なタイミングでキャリブレーションを実行させて、計測精度の大幅な低下を防ぐことができる。
【００９６】
尚、上記実施の形態においては、上記左カメラ６を基準として、左カメラステレオ平行化後画像の注目画素に対する対応画素を、右カメラステレオ平行化後画像から探索している。しかしながら、右カメラ７を基準として、右カメラステレオ平行化後画像の注目画素に対する対応画素を、左カメラステレオ平行化後画像から探索しても一向に差し支えない。
【００９７】
また、上記対応点探索部９を、本距離計測装置１の電源を落とさずに連続的にあるいは断続的に計測を行う場合であっても、上記対応点探索処理動作中において、所定の時間間隔で当該最適位置での上記認識率を演算することによって、上記探索パラメータである上記認識率を監視する。そして、上記認識率が最適値(例えば、上記ステップＳ４b5において算出された最大認識率)から所定の値(例えば１０％)を超えて低下した場合に、ＣＰＵ１２の制御の下に、上記対応点探索処理動作を一時中断して、右カメラステレオ平行化後画像を上下方向にずらしての最適位置の再設定を指示する制御信号をキャリブレーションずれ再補正部１５に送信するように構成することも可能である。こうすることによって、経時変化による計測誤差の増大を最小限に抑えることができる。
【００９８】
また、上記実施の形態においては、探索パラメータとして上記認識率を採用したが、他のパラメータを最適位置の探索に用いることも可能である。例えば、計測対象物５が比較的平らなｘ‐ｙ方向に延在する面上に書かれた文字のような場合には、奥行き方向の位置変化が小さいので、算出される視差ｄの値が狭い範囲に分布すると予想される。したがって、キャリブレーションずれが大きくなると、誤検出等によって視差ｄの値は広い範囲に分布するようになる。したがって、視差ｄの値のばらつき(標準偏差)を探索パラメータとして利用し、この探索パラメータが最小となる上下画素ずれ量を探索するという手法も考えられる。
【００９９】
この場合にも、対応点探索部９で得られるデータをそのまま利用できるため、本距離計測装置１の内部ハードウェアの回路規模の増大あるいは演算時間の増大を招くことなく計測精度を高めることができる。
【０１００】
また、上記実施の形態においては、上記対応点探索部９は、キャリブレーションずれ再補正部１５を含んだ構成を有しているが、この発明はこれに限定されるものではない。キャリブレーションずれ再補正部１５を、対応点探索部９と別のハードウェアあるいはソフトウェアのブロックとして実現することも可能である。
【０１０１】
・第２実施の形態
本実施の形態は、車輪のタイヤ等のコントラストが低い計測対象物の表面に刻印されている文字を認識する距離計測装置に関する。
【０１０２】
本実施の形態における距離計測装置のブロック図を図９に示す。図９において、上記第１実施の形態と同一の構成部材には同一の符号を付して、詳細な説明は省略する。
【０１０３】
本実施の形態における距離計測装置２１は、上記第１実施の形態において図１に示す距離計測装置１に対して、２次元ランダムパターン投影用のプロジェクタ２２と、刻印文字を文字情報として取り出すための２値化部２３およびＯＣＲ(Optical Character Reader：光学式文字読取装置)等の文字認識部２４が付加されている。
【０１０４】
本距離計測装置１を用いた文字認識処理の全体的な流れを、図１０のフローチャートに示す。また、図１１に、プロジェクタ２２によって計測対象物５に対して投影される２次元ランダムテクスチャの説明図を示す。また、図１２に、計測対象物５の表面に２次元ランダムなテクスチャを投影することによって下地面および文字上面に付与される輝度変化の説明図を示す。図１０に従って文字認識の全体的な流れを説明するに先立って、図１１および図１２に従って上記ランダムパターンの投影と刻印文字の文字認識とに付いて説明する。
【０１０５】
上記プロジェクタ２２は、文字認識時において、計測対象物５に対して、図１１(a)および図１１(b)に示すような２次元ランダムテクスチャを投影する。この計測対象物５に投影する２次元テクスチャは、対応点探索時の誤検出を防ぐために、可能な限り周期性を排除した２次元的にランダムなパターンであることが望ましい。図１１(a)に示すようなランダム２値ドットパターン以外に、図１１(b)に示すようなグレースケール多諧調を含むパターンや、その他これらのランダムパターンをランダムな色で彩色したパターン等の、何れのパターンを用いることも可能である
上記計測対象物５が上記タイヤのようなコントラストの低い物体である場合に、上記第１実施の形態における通常の対応点探索では対応点を検出できない場合がある。例えば、図１２(a)に示すように、タイヤの表面に刻印された文字「Ａ」を読み取る場合、タイヤの表面は一様に黒色であり、下地面と文字「Ａ」の上面との夫々の面に殆ど輝度変化が存在しないので、対応点を検出することができない。また、輝度変化が存在する場所であっても、文字の横方向のエッジ等の左右方向に一様な輝度変化が生ずる部分では、対応点を一意に決定することができない。そのため、結果として文字「Ａ」の縦(上下)方向のエッジしか検出できないことになり、タイヤの刻印文字「Ａ」を正しく認識することが非常に困難になる。
【０１０６】
これに対し、上記タイヤの表面に２次元的にランダムなテクスチャであるランダム２値ドットパターンを投影すると、図１２(b)に示すように、タイヤ表面である下地面と文字「Ａ」の上面とに、夫々テクスチャ起因の細かい輝度変化が付与される。そのため、テクスチャのランダム性によって、これらの輝度変化を左右のステレオ平行化後画像で一対一に対応づけて認識することが可能になる。したがって、２次元ランダムテクスチャを投影しない場合に比較して、上記認識率を飛躍的に高めることができる。その結果として、計測対象物５の表面のテクスチャの変化が乏しい場合やコントラストの低い場合であっても、安定した文字認識が可能になる。
【０１０７】
以下、図１０に示すフローチャートに従って、ＣＰＵ１２の制御の下に実行される上記ステレオ平行化処理および上記対応点探索処理を含む文字認識処理動作について説明する。プロジェクタ２２によって、計測対象物５の表面への２次元ランダムテクスチャの投影を開始した後、文字認識処理動作が開始される。
【０１０８】
ステップＳ１１a,Ｓ１１b〜ステップＳ１５で、上述した第１実施の形態におけるステップＳ１a,Ｓ１b〜ステップＳ５と同様にして、ステレオカメラ２の左カメラ６と右カメラ７とによる画像キャプチャ、カメラキャリブレーション処理、ステレオ平行化処理、プレフィルタ処理,キャリブレーションずれ再補正処理およびポストフィルタ処理を含む対応点探索処理、および、距離画像生成が行われる。
【０１０９】
ステップＳ１６で、上記ステップＳ１５において生成された距離画像に対して、２値化部２３によって２値化処理が行われ、２値化画像が生成される。この２値化処理は、例えば、上記距離画像における各画素の明るさを示す画素値として、文字「Ａ」の上面に対応する距離を基準距離として、この基準距離以下の距離を表している画素の場合には、文字領域の明るさを示す第１の画素値に設定する。これに対し、上記基準距離を上回る距離を表している画素の場合には、上記第１の画素値よりも大きなあるいは小さな第２の画素値に設定することによって行われる。尚、ステレオカメラ２に対してタイヤ下地面が傾いている場合など、単純な２値化処理では文字と下地面とを分離するのが困難な場合には、所謂「適応２値化」等のより高度な２値化処理を行ったり、画像整形のための前処理を追加したりすることもできる。
【０１１０】
ステップＳ１７で、上記ステップＳ１６において生成された２値化画像に基づいて、光学文字認識等による文字認識処理が行われる。ステップＳ１８で、上記ステップＳ１７における文字認識処理の結果得られた文字情報が、ＣＰＵ１２の制御に基づいて表示部４に表示される。そうした後、文字認識処理動作が終了される。
【０１１１】
以上のごとく、本実施の形態においては、上記タイヤ等のコントラストが低い計測対象物５の表面に刻印されている文字を認識する場合等に、計測対象物５の表面に２次元的にランダムなテクスチャであるランダム２値ドットパターンを投影する。したがって、タイヤ表面である下地面と文字の上面とに輝度変化を付与することができ、これらの輝度変化を左右のステレオ平行化後画像において一対一に対応づけることによって、容易に対応点の探索を行うことが可能になる。したがって、左カメラステレオ平行化後画像における上記注目画素領域の全画素に占める対応点が見出された画素の割合(％)で算出される「認識率」を精度良く算出することができ、延いては、上記文字認識における認識率を高めることができるのである。
【０１１２】
尚、上記第２実施の形態においては、文字認識を例に挙げて説明しているが、文字認識に限定されるものではなく、コントラストが低い計測対象物５の表面に刻印されているものは記号やパターンであっても差し支えない。
【０１１３】
・その他の実施の形態
上記第１,第２実施の形態においては、上記左カメラ６と右カメラ７との２つのカメラを搭載し、左右２枚の画像対から対応点探索を行っている。しかしながら、カメラの個数は２つに限らず、３眼や４眼等の多眼ステレオの場合においてもこの発明を応用することは可能である。Ｎ眼カメラ(Ｎ≧３)の場合には、何れか１つのカメラを基準のカメラとし、他の(Ｎ−１)個のカメラのキャリブレーションおよびキャリブレーションずれ補正を行うことが望ましい。すなわち、基準のカメラに対して(Ｎ−１)個のカメラのキャリブレーションを行い、(Ｎ−１)セットのキャリブレーションパラメータをキャリブレーションパラメータ記憶部に記憶しておく。キャリブレーションずれが発生した場合は、(Ｎ−１)個のカメラの夫々について基準カメラに対して上下方向にスライドさせてキャリブレーションずれ再補正を行って、上記最適位置を求めることになる。
【０１１４】
また、上記第１,第２実施の形態においては、簡略化のため計測対象物５が静止物体である場合について説明している。しかしながら、計測対象物５が動く物体であっても、左カメラ６と右カメラ７とを同期させて動画像を撮影し、動画像の各フレームを静止画像として取り出すことで上記第１,第２実施の形態と同様の処理を行うことができる。但し、動画像から上記３次元計測処理や文字認識処理を行う場合には、１フレーム期間内に対応点の探索および視差演算処理を行う必要があるため、高速な演算回路が必要となる。
【０１１５】
尚、上記各距離計測装置である３次元計測装置は、独立した計測装置として、産業用や民生用、その他の用途に用いることができる他、汎用的な携帯情報端末などの一部に組み込んだり、演算回路の一部または全部を集積回路(ＩＣ)化して利用したりすることもできる。
【０１１６】
その他、本発明の趣旨を損なわない範囲で種々の変更を加えることが可能である。
【産業上の利用可能性】
【０１１７】
本発明のステレオ３次元計測装置は、複数のカメラを用いて距離・形状などの計測を行う場合に有用であり、独立した計測装置として産業用や民生用、その他の用途に用いることができる他、汎用的な携帯情報端末などの一部に組み込んで利用したり、演算回路の一部または全部を集積回路ＩＣ化して利用したりすることができる。
【符号の説明】
【０１１８】
１,２１…距離計測装置、
２…ステレオカメラ、
３…計測演算部、
４…表示部、
５…計測対象物、
６…左カメラ、
７…右カメラ、
８…ステレオ平行化部、
９…対応点探索部、
１０…キャリブレーション演算部、
１１…キャリブレーションパラメータ記憶部、
１２…ＣＰＵ、
１３…距離画像生成部、
１４…距離計算部、
１５…キャリブレーションずれ再補正部、
１６,１７…相関窓、
２２…プロジェクタ、
２３…２値化部、
２４…文字認識部。
【特許請求の範囲】
【請求項１】
計測対象物を撮影して画像を取得する複数のカメラと、
上記複数のカメラによって取得された複数のカメラキャリブレーションボードの撮影画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出するキャリブレーション演算部と、
上記算出されたキャリブレーションパラメータを記憶する記憶部と、
上記複数のカメラによって取得された複数の上記計測対象物の画像に含まれる歪み,傾きおよびずれのうちの少なくとも一つを含む誤差を、上記キャリブレーションパラメータを用いて補正するステレオ平行化処理を行うステレオ平行化処理と、
上記ステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するキャリブレーションずれ再補正部と、
上記キャリブレーションずれ再補正部によって再補正された複数の上記計測対象物の画像における互いに対応する画素を対応点として探索すると共に、探索された複数の上記対応点間の距離であって上記複数のカメラのうちの少なくとも２つが配列されている方向への距離を表す視差情報を生成する対応点探索部と、
上記対応点探索部によって生成された上記視差情報から上記計測対象物までの距離情報を求める距離情報生成部と
を備えたことを特徴とするステレオ３次元計測装置。
【請求項２】
請求項１に記載のステレオ３次元計測装置において、
上記２つのカメラが配列されている方向をｘ方向とし、上記２つのカメラによって撮影されている画像の面内で上記ｘ方に直交する方向をｙ方向とした場合に、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の各画像間における少なくとも上記ｙ方向のずれを再補正する
ことを特徴とするステレオ３次元計測装置。
【請求項３】
請求項１あるいは請求項２に記載のステレオ３次元計測装置において、
上記計測対象物に対して２次元ランダムテクスチャを投影するプロジェクタを備えた
ことを特徴とするステレオ３次元計測装置。
【請求項４】
請求項２あるいは請求項３に記載のステレオ３次元計測装置において、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の複数の画像から基準となる基準画像とこの基準画像と比較される残りの比較画像の夫々とでなる画像対を順次選択し、この選択された画像対の上記比較画像を上記基準画像に対して上記ｙ方向にずらしながら両画像における互いに対応する画素を探索して上記データとしての探索パラメータを得、この得られた探索パラメータに基づいて上記比較画像の最適なずらし位置を求め、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすことによって上記複数の画像間のずれを再補正する
ことを特徴とするステレオ３次元計測装置。
【請求項５】
請求項４に記載のステレオ３次元計測装置において、
上記記憶部は、上記キャリブレーションずれ再補正部によって求められた上記最適なずらし位置をも記憶するようになっており、
上記キャリブレーションずれ再補正部は、上記複数の画像間のずれを再補正する場合には、上記記憶部に記憶されている上記最適なずらし位置を用いて、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすようになっている
ことを特徴とするステレオ３次元計測装置。
【請求項６】
請求項５に記載のステレオ３次元計測装置において、
上記対応点探索部は、上記対応点探索および上記視差情報の生成を行っている際に上記探索パラメータを監視し、上記探索パラメータの値が最適値よりも所定の値を超えて悪化した場合には、上記キャリブレーションずれ再補正部に対して、上記最適なずらし位置の再取得を指示する
ことを特徴とするステレオ３次元計測装置。
【請求項７】
請求項６に記載のステレオ３次元計測装置において、
少なくとも上記距離情報生成部によって生成された上記距離情報を表示する表示部を備え、
上記キャリブレーションずれ再補正部は、得られた上記複数の探索パラメータの値が予め設定された設定値に満たない場合には、上記キャリブレーション演算部による上記カメラキャリブレーションの実行を促す情報を上記表示部に表示させるようになっている
ことを特徴とするステレオ３次元計測装置。
【請求項１】
計測対象物を撮影して画像を取得する複数のカメラと、
上記複数のカメラによって取得された複数のカメラキャリブレーションボードの撮影画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出するキャリブレーション演算部と、
上記算出されたキャリブレーションパラメータを記憶する記憶部と、
上記複数のカメラによって取得された複数の上記計測対象物の画像に含まれる歪み,傾きおよびずれのうちの少なくとも一つを含む誤差を、上記キャリブレーションパラメータを用いて補正するステレオ平行化処理を行うステレオ平行化処理と、
上記ステレオ平行化処理後の複数の画像間のずれを、上記ステレオ平行化処理後の各画像における互いに対応する画素を探索して得られたデータを用いて再補正するキャリブレーションずれ再補正部と、
上記キャリブレーションずれ再補正部によって再補正された複数の上記計測対象物の画像における互いに対応する画素を対応点として探索すると共に、探索された複数の上記対応点間の距離であって上記複数のカメラのうちの少なくとも２つが配列されている方向への距離を表す視差情報を生成する対応点探索部と、
上記対応点探索部によって生成された上記視差情報から上記計測対象物までの距離情報を求める距離情報生成部と
を備えたことを特徴とするステレオ３次元計測装置。
【請求項２】
請求項１に記載のステレオ３次元計測装置において、
上記２つのカメラが配列されている方向をｘ方向とし、上記２つのカメラによって撮影されている画像の面内で上記ｘ方に直交する方向をｙ方向とした場合に、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の各画像間における少なくとも上記ｙ方向のずれを再補正する
ことを特徴とするステレオ３次元計測装置。
【請求項３】
請求項１あるいは請求項２に記載のステレオ３次元計測装置において、
上記計測対象物に対して２次元ランダムテクスチャを投影するプロジェクタを備えた
ことを特徴とするステレオ３次元計測装置。
【請求項４】
請求項２あるいは請求項３に記載のステレオ３次元計測装置において、
上記キャリブレーションずれ再補正部は、上記ステレオ平行化処理後の複数の画像から基準となる基準画像とこの基準画像と比較される残りの比較画像の夫々とでなる画像対を順次選択し、この選択された画像対の上記比較画像を上記基準画像に対して上記ｙ方向にずらしながら両画像における互いに対応する画素を探索して上記データとしての探索パラメータを得、この得られた探索パラメータに基づいて上記比較画像の最適なずらし位置を求め、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすことによって上記複数の画像間のずれを再補正する
ことを特徴とするステレオ３次元計測装置。
【請求項５】
請求項４に記載のステレオ３次元計測装置において、
上記記憶部は、上記キャリブレーションずれ再補正部によって求められた上記最適なずらし位置をも記憶するようになっており、
上記キャリブレーションずれ再補正部は、上記複数の画像間のずれを再補正する場合には、上記記憶部に記憶されている上記最適なずらし位置を用いて、上記比較画像を上記基準画像に対して上記最適なずらし位置まで上記ｙ方向にずらすようになっている
ことを特徴とするステレオ３次元計測装置。
【請求項６】
請求項５に記載のステレオ３次元計測装置において、
上記対応点探索部は、上記対応点探索および上記視差情報の生成を行っている際に上記探索パラメータを監視し、上記探索パラメータの値が最適値よりも所定の値を超えて悪化した場合には、上記キャリブレーションずれ再補正部に対して、上記最適なずらし位置の再取得を指示する
ことを特徴とするステレオ３次元計測装置。
【請求項７】
請求項６に記載のステレオ３次元計測装置において、
少なくとも上記距離情報生成部によって生成された上記距離情報を表示する表示部を備え、
上記キャリブレーションずれ再補正部は、得られた上記複数の探索パラメータの値が予め設定された設定値に満たない場合には、上記キャリブレーション演算部による上記カメラキャリブレーションの実行を促す情報を上記表示部に表示させるようになっている
ことを特徴とするステレオ３次元計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１１３６００（Ｐ２０１３−１１３６００Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５７３４９（Ｐ２０１１−２５７３４９）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]