ステレオカメラ装置、ステレオカメラシステム、プログラム
【課題】２台のカメラで撮像した撮像画像の対応付けを容易にする。
【解決手段】２台のカメラ１、２は、光軸を平行にして配置される。カメラ１、２が撮像した撮像画像の画素の位置は、受光面に規定した２次元の直交座標である第１座標系で表される。また、実空間の点の位置は、カメラ１、２の光学中心を結ぶ第１方向と、カメラごとの光軸の方向である第２方向と、第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって表される。演算処理部１０は、撮像画像を第１方向の軸周りの角度と第２方向の軸周りの角度とで位置が表される第１変換画像に変換する第１変換部１０１と、撮像画像を第１方向の軸周りの角度と第３方向の軸周りの角度とで位置が表される第２変換画像に変換する第２変換部１０２と、第１変換画像および第２変換画像を用いて視差を求める視差推定部１０３とを備える。
【解決手段】２台のカメラ１、２は、光軸を平行にして配置される。カメラ１、２が撮像した撮像画像の画素の位置は、受光面に規定した２次元の直交座標である第１座標系で表される。また、実空間の点の位置は、カメラ１、２の光学中心を結ぶ第１方向と、カメラごとの光軸の方向である第２方向と、第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって表される。演算処理部１０は、撮像画像を第１方向の軸周りの角度と第２方向の軸周りの角度とで位置が表される第１変換画像に変換する第１変換部１０１と、撮像画像を第１方向の軸周りの角度と第３方向の軸周りの角度とで位置が表される第２変換画像に変換する第２変換部１０２と、第１変換画像および第２変換画像を用いて視差を求める視差推定部１０３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のカメラで撮像した画像を用いて三角測量の原理により空間の３次元情報を取得するステレオカメラ装置と、ステレオカメラ装置を用いて構成されるステレオカメラシステムと、コンピュータを用いてステレオカメラ装置を構成するプログラムに関するものであって、とくに２台のカメラの撮像画像から視差を求める技術に関するものである。
【背景技術】
【０００２】
従来から、空間の３次元情報を取得する技術としてステレオビジョンが知られている。ステレオビジョンは、複数台のカメラを用いて実空間を撮像した画像に、三角測量の原理を適用することにより、３次元の実空間における着目する部位までの距離を計測する技術である。すなわち、ステレオビジョンでは、視野の少なくとも一部が重複するように配置された複数台のカメラを用いて３次元の実空間が撮像される。そして、実空間において着目する部位の像が各カメラの撮像素子上に形成されている場合、実空間における光学中心から着目する部位への方向と、カメラ同士の相対位置、姿勢とを用いて三角測量の原理により、実空間において着目する部位までの距離が計測される。
【０００３】
ここで、２台のカメラで撮像した画像（以下、「撮像画像」という）に注目する。２枚の撮像画像から着目する部位までの距離を計測するには、２台のカメラの光学中心を結ぶ線分の長さ（以下、「ベースライン長」という）と、２枚の撮像画像の中で、実空間において着目する部位に対応する像の位置のずれの距離との情報が必要である。像の位置のずれの距離は、実空間において着目する部位を２台のカメラから見込んだときの視差であって、２枚の撮像画像にそれぞれ規定した基準位置からの距離差を用いる。
【０００４】
撮像画像から視差を求めるには、撮像画像の中で実空間において着目する部位に対応する像の位置を探し出す必要がある。すなわち、２台のカメラで撮像された２枚の撮像画像において同部位に対応する対応点を特定する必要がある。２枚の撮像画像から対応点を探索する処理をステレオマッチングと呼んでいる。ステレオマッチングにおいて撮像画像上で対応点を探索する範囲は、２台のカメラの光学中心と実空間において着目する部位とを結ぶエピポーラ平面を考えると、撮像画像にエピポーラ平面を投影した線上に限定することができる。
【０００５】
ステレオビジョンでは、多くの場合、２台のカメラが、光軸を平行にし、かつ両カメラの光学中心を結ぶ直線（以下、「ベースライン」という）を両光軸に直交させて配置された平行ステレオ法が採用されている。以下では、ベースラインの方向を各カメラが撮像した撮像画像の水平方向に一致させた平行ステレオ法を、単に平行ステレオ法と呼ぶ。
【０００６】
ここで、撮像画像にはカメラに設けた光学系（レンズなど）による歪みがないと仮定する。この場合、図１９に示すように、実空間において着目する部位Ｐ１に対応して形成されるエピポーラ平面４０３を各撮像画像４０１、４０２に投影した線は、撮像画像４０１、４０２の水平方向に平行な直線になる。以下では、撮像画像４０１、４０２について、水平方向をｘ方向、垂直方向をｙ方向とする。つまり、ｘ方向はベースライン４０４と平行になる。したがって、エピポーラ平面４０３を撮像画像４０１、４０２に投影して得られる直線はｘ方向に平行であって、ｙ方向の座標値は一定になる。
【０００７】
つまり、一方の撮像画像４０１の中に実空間の部位Ｐ１に対応する像Ｇ１があるとき、他方の撮像画像４０２の中で部位Ｐ１に対応する像Ｄ１の探索範囲は、ｙ方向の座標値が像Ｇ１と同じになる水平方向の直線上に限定される。たとえば、図１９において、像Ｇ１は一方のカメラの光学中心Ｏ１と像Ｇ１とを通る直線４０５に対応するから、この直線４０５の上の部位Ｐ１、Ｐ２、Ｐ３などは像Ｇ１に対応する。これに対して、他方のカメラの光学中心Ｏ２と部位Ｐ１、Ｐ２、Ｐ３とを通る直線は、撮像画像４０２における像Ｄ１、Ｄ２、Ｄ３に対応する。ここに、像Ｇ１と像Ｄ１、Ｄ２、Ｄ３とはｙ方向の座標値が一致する。
【０００８】
上述したように、平行ステレオ法でのステレオマッチングでは、実空間において着目する部位は、各カメラの撮像画像において、垂直方向の同じ位置に対応することになる。つまり、２台のカメラが実空間の同じ部位を撮像していると、撮像画像内で当該部位に対応する画素の位置は、水平方向については撮像画像ごとに異なるが、垂直方向については両撮像画像で一致する。つまり、平行ステレオ法では、両カメラで得られた撮像画像について実空間の同じ部位に対応する点を、撮像画像の水平方向についてのみ探索すればよく、ステレオマッチングの処理効率がよいという利点を有している。
【０００９】
ところで、上述した平行ステレオ法の技術は、カメラの光学系に歪みがないという仮定を設定している。したがって、上述のようにステレオマッチングにおいて高い処理効率が得られるのは、カメラの光学系の歪みの影響を考慮しなくてもよい程度に視野角が小さいか、光学系に歪みがあっても補正すれば歪みの影響を除去できる場合に限られる。言い換えると、視野角を広げるために魚眼レンズのように歪みの大きい光学系をカメラに用いると、ステレオマッチングにおける処理負荷が大幅に増加するという問題が生じる。
【００１０】
一般に魚眼レンズのように視野角の広い光学系を用いて撮像した画像は、画像の周辺に近付くほど湾曲の程度が大きくなる湾曲歪みが生じるから、ステレオマッチングの際には画像の湾曲歪みを考慮して対応点を探索することが必要になる。すなわち、対応点を探索する際に、ｘ方向とｙ方向との両方の座標値を変化させるから、対応点を探索する際の処理効率が低い上に、対応付けを誤る可能性が高くなる。その結果、距離の計測を誤ることになり、計測性能の低下につながるという問題が生じる。
【００１１】
そこで、上述した問題を解決するために、エピポーラ平面が画像内の一直線上に投影されるように撮像画像に対する座標変換を行った変換画像を生成し、変換画像を用いてステレオマッチングを行う技術が提案されている。変換画像は、エピポーラ平面が横軸に平行な直線になるように座標軸が選択される（たとえば、特許文献１、特許文献２、非特許文献１参照）。
【００１２】
これらの文献に記載された技術では、視野角の広い画像から視差を効率よく推定するために、図２０に示すように、ベースライン４０４の方向（ｘ方向）の軸周りの角度βを変換画像の垂直方向の軸に対応付けている。このような変換画像を用いると、３次元の実空間における部位Ｐ１が２枚の撮像画像４０１、４０２において同じ角度βに対応付けられるので、平行ステレオ法と同様に、対応点の探索が容易になり、視差を効率よく推定することができる。なお、図２０の半球は光学系を示している。
【００１３】
一方、変換画像の水平方向の軸については、特許文献１、非特許文献１では、図２１に示すように、エピポーラ平面４０３内における角度γを用いている。この角度γは、カメラの受光面における垂直方向（ｙ方向）と光軸の方向（ｚ方向）とで規定される平面（ｙｚ平面）に対して、着目する部位Ｐ１とカメラの光学中心Ｏとを結ぶ直線の間の角度である。
【００１４】
また、特許文献２では、図２２に示すように、撮像画像の垂直方向（ベースライン４０４の方向と光軸の方向とに直交する方向）の軸周りの角度αの正接ｔａｎαを変換画像の水平方向の軸に用いている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００７−２４６４７号公報
【特許文献２】特開２００９−１３９２４６号公報
【非特許文献】
【００１６】
【非特許文献１】Fish-Eye-Stereo Calibration and Epipolar Rectification, Abraham, S. Forstner,W. International Journal of Photogrammetry and Remote Sensing, Vol.59，Issue5， August 2005
【発明の概要】
【発明が解決しようとする課題】
【００１７】
ところで、実空間の３次元情報を取得する技術を用いることにより室内の人の動きを検出すると、室内の負荷機器の制御などに用いることができる。たとえば、空調負荷であれば、室内で人が存在する場所を特定することによって、冷気や暖気を人の存在する場所に集中的に流すことが可能になる。また、映像を表示する負荷機器であれば、人の存在する場所に応じて向きを変えたり、表示のサイズを変えたりすることが可能になる。
【００１８】
負荷機器を制御する場合に限らず、室内の３次元情報を得ようとする場合には、全体を視野とし、しかも人や物体によって視野が妨げられないようにするために、たとえば、カメラの光軸を鉛直下向きにして天井の中央付近に設置することが望ましい。この配置を採用すると、撮像画像の中心部では、床面や床上に存在する物体のように水平方向の情報が多く得られ、撮像画像の周辺部では、壁面や柱のように鉛直方向の情報が多く得られることになる。
【００１９】
一方、上述した特許文献１、特許文献２、非特許文献１に記載された技術を採用すると、視野角の広い光学系を採用したことによる撮像画像の歪みの影響を軽減することが可能である。しかしながら、依然として撮像画像の歪みが十分に解消されることはない。
【００２０】
たとえば、図２３（ａ）のように光軸（ｚ方向）に平行な直線Ｌ１を撮像すると、変換画像では図２３（ｂ）のように歪んだ曲線Ｌ２として撮像される。図２３は特許文献１に対応する例であって、変換画像は、角度γが水平方向の軸に対応付け、角度βが垂直方向の軸に対応付けられている。したがって、特許文献１に記載された技術では、直線Ｌ１がβ＝γの関係を満たす場合を除いて、変換画像では直線Ｌ１が曲線Ｌ２に変換されることになる。特許文献２、非特許文献１に記載された変換画像についても同様であって、変換画像には歪みが生じる。
【００２１】
ここに、図２３（ｂ）によれば、変換画像の中心部は直線性が比較的よいが、周辺部では直線性が低下しており、このことから変換画像の周辺部に存在する壁や柱のような鉛直方向の部材については、対応点を探索する処理の効率が低下することになる。
【００２２】
しかも、図２４に示すように、２枚の撮像画像からそれぞれ得られる変換画像は、同じ直線Ｌ１（図２３参照）を撮像しても、異なる形状の曲線Ｌ２１、Ｌ２２に変換されるから、２枚の変換画像から対応点を探し出すのは容易ではない。結局、特許文献１、特許文献２、非特許文献１の技術のいずれを採用したとしても、対応点を探索する処理は容易ではない。
【００２３】
本発明は、複数台のカメラで撮像した撮像画像における対応点の探索を従来よりも容易にしたステレオカメラ装置、ステレオカメラシステム、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明に係るステレオカメラ装置は、上記目的を達成するために、光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラと、カメラがそれぞれ撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求める演算処理部とを備え、撮像画像における画素の位置がカメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台のカメラから選択される２台のカメラの光学中心を結ぶ第１方向とカメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるようにカメラごとに規定された第２座標系とを用い、演算処理部は、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、第１変換画像および第２変換画像を用いて前記２台のカメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備えることを特徴とする。
【００２５】
このステレオカメラ装置において、視差推定部は、前記２台のカメラごとに撮像した前記画像からそれぞれ生成される２枚の第１変換画像における対応点を抽出することにより前記部位に対する視差を求めるとともに当該対応点の一致度を評価し、カメラごとに撮像した画像を用いてそれぞれ生成される２枚の第２変換画像における対応点を抽出することにより部位に対する視差を求めるとともに当該対応点の一致度を評価し、第１変換画像と第２変換画像との画素ごとに求めた視差のうち前記部位が同じである画素については、一致度が高いほうの視差を当該部位の視差として採用することが好ましい。
【００２６】
このステレオカメラ装置において、第１変換画像と第２変換画像との両方について着目する画素ごとに周囲の輝度値の変化に関する評価値を求め、評価値の差が規定の閾値を超える場合は第１変換画像と第２変換画像とのうち輝度値の変化が大きいほうを当該画素の対応点の抽出に用い、評価値の差が閾値未満の場合に第１変換画像と第２変換画像との両方を当該画素の対応点の抽出に用いるように条件を定める領域評価部が付加され、視差推定部は、領域評価部が定めた条件に従って画素ごとに対応点を抽出することが好ましい。
【００２７】
このステレオカメラ装置において、第１変換部および第２変換部は、第１変換画像と第２変換画像とについて、第１変換画像と第２変換画像との一方を用いて対応点を抽出する第１の領域と、第１変換画像と第２変換画像との両方を用いて対応点を抽出する第２の領域とのうち、少なくとも第１の領域をあらかじめ与えられた条件に従って定める機能を有することが好ましい。
【００２８】
本発明に係るステレオカメラシステムは、請求項１〜４のいずれか１項に記載のステレオカメラ装置を２組備え、ステレオカメラ装置ごとに設けられた前記２台ずつのカメラが、第１方向を互いに交差させるとともにカメラの光軸を平行にして配置され、ステレオカメラ装置ごとに設けられた視差推定部が推定した視差のうち信頼性の高いほうの視差を選択する選択処理部を備えることを特徴とする。
【００２９】
このステレオカメラシステムにおいて、ステレオカメラ装置ごとに設けられた前記２台ずつのカメラのうち各１台が共用されていることが好ましい。
【００３０】
本発明に係るプログラムは、光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラが撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求めるステレオカメラ装置に用いられ、撮像画像における画素の位置がカメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台のカメラから選択される２台のカメラの光学中心を結ぶ第１方向とカメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるようにカメラごとに規定された第２座標系とを用い、コンピュータを、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、第１変換画像および第２変換画像を用いて前記２台のカメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備える演算処理部として機能させるものである。
【発明の効果】
【００３１】
本発明の構成によれば、カメラを用いて撮像された画像について、光軸に平行な直線に歪みが生じないように座標変換を行った変換画像を用いるので、２台のカメラで撮像した画像の対応付けが容易になるという効果がある。
【図面の簡単な説明】
【００３２】
【図１】実施形態１を示すブロック図である。
【図２】同上の原理説明図である。
【図３】同上に用いる座標系の関係を示す図である。
【図４】同上に用いる座標系の関係を示す図である。
【図５】同上における撮像画像の例を示す図である。
【図６】同上における第１変換画像の例を示す図である。
【図７】同上における第２変換画像の例を示す図である。
【図８】同上におけるブロックマッチングの説明図である。
【図９】同上におけるブロックマッチングの説明図である。
【図１０】同上の動作の概要を示す図である。
【図１１】実施形態２を示すブロック図である。
【図１２】同上の動作説明図である。
【図１３】同上による領域の区分例を示す図である。
【図１４】実施形態３の領域を示す説明図である。
【図１５】同上の領域を示す説明図である。
【図１６】実施形態４を示すブロック図である。
【図１７】実施形態５を示す概略構成図である。
【図１８】同上のブロック図である。
【図１９】ステレオビジョンの概念を説明する図である。
【図２０】従来の技術を説明する図である。
【図２１】同上に用いる座標系を示す図である。
【図２２】同上に用いる座標系を示す図である。
【図２３】同上の動作を説明する図である。
【図２４】同上の動作を説明する図である。
【発明を実施するための形態】
【００３３】
（実施形態１）
本実施形態は、図１に示すように、３次元の実空間に対する視野がほぼ重複するように配置された２台のカメラ１、２を備える。両カメラ１、２は、光軸を平行、かつ光学中心を結ぶ方向（ベースライン方向）と光軸を垂直にして配置される。各カメラ１、２は、画角が１８０度に近い魚眼レンズないし魚眼レンズに相当する機能を有した光学系を備える。光学系の射影方式はとくに問わないが、以下では等距離射影方式を用いて説明する。また、２台のカメラ１、２は、ベースライン方向と受光面における水平方向とを一致させるように配置される。すなわち、平行ステレオを想定する。
【００３４】
また、以下では、３次元の実空間において、受光面の水平方向に沿う方向（つまり、ベースライン方向）をｘ方向、受光面の垂直方向に沿う方向をｙ方向とし、受光面に直交する方向をｚ方向とする。各カメラの撮像画像をモニタ装置に表示したときに、水平方向の右向きがｘ方向の正の向き、垂直方向の下向きがｙ方向の正の向きになるように座標系を定めている。ｚ方向についてはカメラの受光面から遠ざかる向きを正の向きとする。
【００３５】
カメラ１、２が撮像した撮像画像における画素の位置は、受光面の左上隅を原点とした２次元の直交座標系である第１座標系で表される。第１座標系は、画像の水平方向がｘ方向に沿っており、画像の垂直方向がｙ方向に沿うように設定され、座標位置は（ｕ，ｖ）で表される。
【００３６】
また、実空間において着目する部位（たとえば、図２の点Ｐ１）を各カメラ１、２から見込む方向を規定するために、上述したｘ方向、ｙ方向、ｚ方向に平行な軸をカメラ１、２ごとに規定し、カメラ１、２ごとの光学中心を原点とする第２座標系が規定される。第２座標系はカメラ１、２ごとに規定され、ｚ方向の軸は光軸に一致する。各カメラ１、２に規定された第２座標系の原点Ｏ１、Ｏ２から点Ｐ１を見込む方向は、３本の各軸周りのそれぞれの角度の組み合わせによって表される。以下では、ｘ方向の軸周りの角度はβ、ｙ方向の軸周りの角度はα、ｚ方向の軸（光軸）周りの角度はφとする。
【００３７】
各カメラ１、２が撮像した撮像画像のデータは、演算処理部１０に入力される。本実施形態では、演算処理部１０が濃淡画像を扱う例を説明するが、カラー画像を扱う場合も以下に説明する技術思想は適用可能である。演算処理部１０は、ハードウェア資源としてのコンピュータを有し、コンピュータを以下に説明する処理を行う装置として機能させるためのプログラムを実行する。ただし、演算処理部１０は専用のハードウェアを備える構成であってもよい。また、マイコンを備えるコンピュータのほか、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）のようにプログラムを実行する機能を備えるデバイスを用いて構成してもよい。
【００３８】
カメラ１と演算処理部１０との間にはインターフェース３が設けられ、カメラ２と演算処理部１０との間にはインターフェース４が設けられる。各インターフェース３、４は、カメラ１、２が撮像した撮像画像のデータを、それぞれ演算処理部１０で処理するためのデータに変換する。インターフェース３、４は、たとえば、アナログ信号をデジタル信号に変換する機能を備える。
【００３９】
演算処理部１０を動作させるためのシステムプログラムおよびアプリケーションプログラムは記憶装置１１に記憶され、演算処理部１０の処理対象である撮像画像データや演算過程のデータは、データメモリおよび作業用メモリである記憶装置１２に記憶される。記憶装置１１は、フラッシュメモリやハードディスクドライブ装置のように、無給電で記憶内容が保持される記憶装置が用いられる。また、記憶装置１１は、処理の実行時にシステムプログラムやアプリケーションプログラムを置くための主記憶として揮発性メモリも備える。記憶装置１２は、とくに制限はないが、少なくとも一部は作業用に用いるための揮発性メモリが用いられる。
【００４０】
本実施形態では、２台のカメラ１、２がそれぞれ撮像した撮像画像に基づいて実空間の３次元の情報を取得しなければならないから、演算処理部１０は、２台のカメラ１、２が同時刻に撮像するようにインターフェース３、インターフェース４に対してトリガ信号を与え、同時刻に撮像された対になる撮像画像を記憶装置１２に保存する。
【００４１】
ところで、カメラ１、２の受光面上での位置は、左上隅を原点として水平方向と垂直方向との画素の個数で表される。画像上に投影された光軸上の点の座標を（ｕｃ，ｖｃ）とすると、（ｕｃ，ｖｃ）と任意の画素（ｕ，ｖ）との距離ｒは、数１で表される。
【００４２】
【数１】
【００４３】
また、カメラ１、２は魚眼レンズないし魚眼レンズに相当する機能を有する光学系を備えるから、３次元の実空間における１点がカメラ１、２の光学中心を中心とする半径１の球面上に射影されるモデルを用いることができる。カメラ１、２の光学系に歪みのない等距離射影方式の魚眼レンズを用いる場合を想定すると、図３のように実空間の点Ｐが球面ＳＰ上に射影された点Ｑと、カメラ１、２の光学中心（第２座標系の原点）とを結ぶ直線が、光学系の光軸となす角度θ［ｒａｄ］は、距離ｒを用いて、数２で表される。
【００４４】
【数２】
【００４５】
ただし、数２において、距離Ｌ０は、３次元空間におけるＺ＝０上の点の画像ＰＬへ投影した結果の円の半径を示す。点Ｒは点Ｑを画像ＰＬへ投影した画素の位置を示す。
【００４６】
実空間における１点が、撮像画像における位置（ｕ，ｖ）の画素に対応付けられるようにキャリブレーションが行われている場合を想定すると、モデルとして用いる球面上に実空間の１点を射影した点Ｐ１の位置（Ｘ，Ｙ，Ｚ）は、数３で表される。
【００４７】
【数３】
【００４８】
ところで、図４に示しているように、点Ｐ１の位置（Ｘ，Ｙ，Ｚ）は、画素の位置（ｕ，ｖ）に代えてｘ軸、ｙ軸、ｚ軸の３軸のうちの２軸の周りの角度の組み合わせとして表すことが可能である。上述したように、ｘ軸周りの角度（ｙｚ平面内での角度）をβ、ｙ軸周りの角度（ｚｘ平面内での角度）をα、ｚ軸周りの角度（ｘｙ平面内での角度）をφとする。角度α、βはｚ軸を０度とし、角度φはｙ軸を０度とし、左回りに大きくなる。画素の位置（ｕ，ｖ）に代えて用いる角度の組み合わせは、（φ，β）と（α，β）との２種類を用いる。角度α，β，φへの変換式は、数３の計算結果を用いて数４で表される。
【００４９】
【数４】
【００５０】
演算処理部１０は、２台のカメラ１、２がそれぞれ撮像した撮像画像内での画素の位置（ｕ，ｖ）を、上述した３次元の実空間における角度の組（φ，β）、（α，β）に変換した画像を生成するために第１変換部１０１および第２変換部１０２を備える。
【００５１】
第１変換部１０１は、ｚ軸（光軸）周りの角度φと、ｘ軸周りの角度βとの組（φ，β）で位置が表される画像（以下、「第１変換画像」という）を出力する。また、第２変換部１０２は、ｙ軸周りの角度αと、ｘ軸周りの角度βとの組（α，β）で位置が表される画像（以下、「第２変換画像」という）を出力する。なお、第１変換部１０１において角度βを求めているから、第１変換部１０１による演算後に第２変換部１０２による演算を行う場合は、第２変換部１０２は第１変換部１０１から角度βを取得すればよい。
【００５２】
第１変換画像の画素値および第２変換画像の画素値は、カメラ１、２の受光面上で、第１変換部１０１において求めた位置（φ，β）および第２変換部１０２において求めた位置（α，β）に対応する位置の画素値を用いる。すなわち、第１変換部１０１は、位置（φ，β）から位置（ｕ，ｖ）を求め、当該位置（ｕ，ｖ）の画素値を位置（φ，β）に対応付けた第１変換画像を生成する。また、第２変換部１０２は、位置（α，β）から位置（ｕ，ｖ）を求め、当該位置（ｕ，ｖ）の画素値を位置（α，β）に対応付けた第２変換画像を生成する。第１変換画像および第２変換画像を求めるには、すべての位置（φ，β）、（α，β）について画素値を求める処理を行う。
【００５３】
図５のような撮像画像が得られている場合、第１変換画像は図６のようになり、第２変換画像は図７のようになる。図５は室内において天井面の中央部にカメラ１、２を配置することによって、室内の全体を撮像した場合の撮像画像を示している。カメラ１、２をこのように設置した場合、第１変換画像は、図６のように、縦方向（β方向）の両端部において鉛直方向に沿った壁面や柱などについて他の領域よりも歪みが少なくなる。また、第２変換画像は、図７のように、中央部において水平面に沿った床面や机の上面などについて他の領域よりも歪みが少なくなる。
【００５４】
ところで、第１変換部１０１および第２変換部１０２が求めた位置（φ，β）、（α，β）から画素の位置（ｕ，ｖ）を求めても、多くの場合、１つの画素には対応しない。そのため、第１変換画像および第２変換画像の画素値を求めるには補間演算が必要である。補間演算には、バイリニア補間や最近傍法などの一般的なアルゴリズムを用いる。ここに、記憶装置１２には濃淡画像が保存されるから、位置（ｕ，ｖ）の画素値は輝度値であって、第１変換画像および第２変換画像の画素値も輝度値になる。第１変換部１０１から出力される第１変換画像および第２変換部１０２から出力される第２変換画像は、記憶装置１２に保存される。
【００５５】
演算処理部１０は、記憶装置１２に保存された第１変換画像および第２変換画像を用いて、カメラ１、２の視差を推定する視差推定部１０３を備える。視差推定部１０３は、各カメラ１、２で撮像した撮像画像から得られた第１変換画像から視差を推定し、また第２変換画像から視差を推定する。さらに、２種類の方法で求めた視差を総合して最終的に視差を決定し、実空間の３次元情報の算出に利用する。
【００５６】
視差推定部１０３は、２台のカメラ１、２で得られた２枚の第１変換画像から画素ごとの視差を推定し、推定した視差値を画素値に持つ１枚の画像（以下、「第１視差画像」という）を生成する。また、視差推定部１０３は、画素ごとの一致度を推定し、推定した一致度を画素値に持つ１枚の画像（以下、「第１一致度画像」という）を生成する。
【００５７】
同様にして、視差推定部１０３は、２枚の第２変換画像から画素ごとの視差および一致度を推定し、推定した視差値を画素値に持つ１枚の画像（以下、「第２視差画像」）および推定した一致度を画素値に持つ１枚の画像（以下、「第２一致度画像」という）を生成する。視差推定部１０３は、視差の決定には、第１視差画像と第２視差画像とを用いる。
【００５８】
第１変換画像は、画像の垂直方向の軸がｘ軸周りの角度βに対応し、画像の水平方向の軸がｚ軸（光軸）周りの角度φに対応する。平行ステレオであるから、図２に示すように、実空間における同一の点を２台のカメラ１、２で撮像したときに、第１変換画像における角度βの値は等しくなる。したがって、２枚の第１変換画像から対応点を推定するには、同じ角度βを有する範囲内のみを探索すればよい。このように、視差推定部１０３は、第１変換画像を用いることにより、対応点を推定するにあたって、探索範囲を狭めることができる。
【００５９】
視差推定部１０３は、対応点か否かを評価するために、ブロックマッチングの技術を採用している。すなわち、図８（ａ）のように、一方の第１変換画像において対応点の評価を行おうとする部位の周囲に複数画素を含むウインドウＷ１が形成される。ウインドウＷ１は、対応点の評価を行おうとする画素の周囲で矩形領域として設定するのが望ましい。また、図８（ｂ）のように、他方の第１変換画像には、ウインドウＷ１に対応する大きさの走査領域Ｗ２が形成され、走査領域Ｗ２が横軸（角度φの軸）に沿って走査される。上述したように、対応点の角度βは２枚の第１変換画像において等しいから、角度φのみを変化させて対応点が探索される。
【００６０】
ここで、ウインドウＷ１の中心位置が（φＬ，βＬ）にあり、走査領域Ｗ２の中心位置が（φＲ，βＲ）にある場合に、ウインドウＷ１内の画素の相対位置（ｊ，ｉ）に対応する走査領域Ｗ２の画素の位置（ｊ，ｉ）について、画素値（輝度値）Ｉ１（φＬ＋ｊ，βＬ＋ｉ）、Ｉ２（φＲ＋ｊ，βＲ＋ｉ）の差分（絶対値）の総和であるＳＡＤ値Ｖｓを求める。ただし、平行ステレオ法であるからβＬ＝βＲとなる。それぞれのウインドウ中心の相対位置を（０，０）とすると、ＳＡＤ値Ｖｓは数５で表される。ここで、ウインドウＷ１と走査領域Ｗ２との大きさは等しく（２ｍ＋１，２ｎ＋１）（ｍ、ｎは０以上の任意の整数）となっているとする。なお、ＳＡＤは、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅの意味である。
【００６１】
【数５】
【００６２】
走査領域Ｗ２を第１変換画像の横軸に沿って変位させると、図９に示すように、ＳＡＤ値Ｖｓが変化する。そして、走査領域Ｗ２に含まれる画素の画素値とウインドウＷ１に含まれる画素の画素値との一致度が高い位置では、ＳＡＤ値Ｖｓは極小になる。そこで、視差推定部１０３は、ＳＡＤ値Ｖｓが規定した閾値以下であって、かつ探索範囲内において最小値であるときに、対応点として決定する。なお、ＳＡＤ値Ｖｓが最小値であるにもかかわらず、閾値以下ではない場合は、対応点を不定として扱う。
【００６３】
視差推定部１０３は、第１変換画像を用いて対応点が得られると、２枚の第１変換画像における対応点の座標位置を用いることにより点Ｐ１に対する２台のカメラ１、２の視差を求められる。視差が求められると、視差を画素値に持つ第１視差画像を生成する。さらに、第１変換画像を用いて得られた対応点ごとに数６で表される一致度Ｄｓを求める。第１変換画像において対応点が得られたすべての画素に関して一致度Ｄｓを求め、一致度Ｄｓを画素値に持つ第１一致度画像を生成する。
【００６４】
【数６】
【００６５】
視差推定部１０３は、第１変換画像と同様に、第２変換画像からもＳＡＤ値Ｖｓを用いて対応点を求める。第２変換画像についても対応点ごとに視差を求めて第２視差画像を生成し、さらに、対応点ごとに一致度Ｄｓを求め、一致度Ｄｓを画素値に持つ第２一致度画像を生成する。第１視差画像および第１一致度画像と第２視差画像および第２一致度画像は記憶装置１２に保存される。
【００６６】
次に、第１視差画像と第２視差画像とを用いて視差を決定する。視差を決定するには、まず、第１視差画像の各画素に対応する第２視差画像の画素を抽出し、両方の画素が画素値（視差）を有しているか否かを判断する。第１視差画像の画素に対応する第２視差画像の画素は、以下の関係を用いて抽出する。すなわち、第１視差画像における画素の位置を（φ１，β１）とするとき、第２視差画像において対応する画素の位置（α２，β２）は、数７の関係で表される。
【００６７】
【数７】
【００６８】
第１視差画像と第２視差画像とにおいて対応する画素がともに画素値を有している場合は、両方の画素値について第１一致度画像および第２一致度画像を用いることにより画素値の信頼度を評価する。
【００６９】
いま、第１視差画像における位置（φ１，β１）と第２視差画像における位置（α２，β２）との両方に画素値（視差）が存在していると仮定する。この場合、第１一致度画像上の位置（φ１，β１）の画素値（一致度）と、第２一致度画像上の位置（α２，β２）の画素値（一致度）とのうち一致度を比較する。
【００７０】
第１一致度画像の一致度が第２一致度画像の一致度よりも大きい場合は、第１視差画像における位置（φ１，β１）の画素値を視差として採用し、第２視差画像における位置（α２，β２）の画素値は不定値として更新する。同様にして、第２一致度画像の一致度が第１一致度画像の一致度よりも大きい場合は、第２視差画像における位置（α２，β２）の画素値を視差として採用し、第１視差画像における位置（φ１，β１）の画素値は不定値として更新する。一致度が等しい場合は、第１視差画像の位置（φ１，β１）と第２視差画像の位置（α２，β２）との画素値の平均値あるいは一方を視差として採用する。
【００７１】
また、第１視差画像の位置（φ１，β１）と第２視差画像の位置（α２，β２）との一方のみが画素値（視差）を有している場合には、当該画素値を視差として採用する。第１視差画像と第２視差画像との対応する画素において画素値（視差）がともに存在しない場合は、当該位置の視差は不定とする。
【００７２】
以上説明した処理を行うことによって、第１視差画像と第２視差画像とにおいて画素ごとに信頼性が高いほうの画素値（視差）が抽出されるから、抽出された画素値を用いて実空間における３次元の位置を求めると、信頼性の高い３次元情報が得られる。
【００７３】
本実施形態の動作の概要をまとめると図１０のように表される。すなわち、左右のカメラ１、２により撮像した２枚の撮像画像から、２枚の第１変換画像（βとφとで表される画像）と、２枚の第２変換画像（βとαとで表される画像）とが生成される。次に、２枚の第１変換画像から視差画像が求められるとともに、２枚の第２変換画像から視差画像が求められる。このようにして求めた２枚の視差画像を統合することにより、１枚の視差画像が得られるのである。
【００７４】
なお、本実施形態では、ブロックマッチングの技術を採用しているが、第１視差画像と第２視差画像との画素値を求める技術は、ブロックマッチングの技術に限定されず、ステレオマッチングにおいて用いられる他の技術を採用してもよい。
【００７５】
上述したように、本実施形態は、第１変換画像の水平方向の位置をカメラ１、２ごとの光軸周りの角度φで表しているので、第１変換画像では、光軸に平行な直線を歪みなく対応付けることができる。そのため、第１変換画像を用いることによって、光軸に平行な面に対するステレオマッチングを容易に行うことができる。さらに、第１変換画像に加えて第２変換画像からも視差を求め、一致度を用いて第１変換画像と第２変換画像の視差の精度を評価することで、従来よりも高い精度で視差を推定することが可能になる。
【００７６】
（実施形態２）
実施形態１では、視差推定部１０３が、ブロックマッチングの技術を用いることにより対応点を探索している。また、対応点の探索を、第１変換画像と第２変換画像とについてそれぞれ行っている。以下では第１変換画像と第２変換画像とを区別しない場合は、単に変換画像という。
【００７７】
ブロックマッチングでは、図８のように、対応点を探索しようとする一方の変換画像にウインドウＷ１が設定されるとともに、他方の変換画像に走査領域Ｗ２が設定される。さらに、前記他方の変換画像において走査領域Ｗ２が横軸に沿って走査され、上述した数５で定義されたＳＡＤ値Ｖｓが極小になったときの走査領域Ｗ２の位置が対応点として求められる。
【００７８】
ところで、ブロックマッチングを行う際に、変換画像において走査領域Ｗ２の位置が変化してもＳＡＤ値Ｖｓに変化がほとんど生じなければ、対応点を求めることができない。このような事象は、変換画像の横方向において、輝度値の分布に変化が少ない場合に生じる。たとえば、変換画像において横方向に沿った帯状の領域が存在し、当該領域の輝度が横方向では変化しないような場合には対応点を求めることができない。
【００７９】
実施形態１において説明したように、第１変換画像では縦方向の両端部においてカメラの光軸に平行な方向の歪みが少なく、第２変換画像では中央部においてカメラの光軸に直交する平面内の歪みが少ないという知見が得られている。対応点の探索は、歪みが少ないほうが容易であり、また信頼性も高いと考えられる。したがって、対応点を探索する画素ごとに、第１変換画像の画素が適している場合と第２変換画像の画素が適している場合とがあると言える。
【００８０】
本実施形態では、視差推定部１０３において対応点を探索する前に、第１変換画像と第２変換画像とのどちらが対応点を求めるのに適しているかを評価するために、図１１に示すように、領域評価部１０４を付加している。領域評価部１０４は、第１変換画像と第２変換画像とについて、横方向の輝度値の変化が比較的大きい領域か否かの評価を行う。視差推定部１０３は、領域評価部１０４の評価結果を用いて、第１変換画像と第２変換画像との少なくとも一方を対応点の探索に用いる。視差推定部１０３の前置処理として領域評価部１０４で評価を行い、対応点を求める対象を絞り込むから、無駄な処理が低減されることになり、演算量が低減されるとともに、ステレオマッチングの信頼性が高くなる。
【００８１】
領域評価部１０４は、変換画像における横方向の輝度値の変化を評価するために、以下のように定義されたエッジ強度Ｅ１、Ｅ２を評価値として用いる。エッジ強度Ｅ１は第１変換画像から求められ、エッジ強度Ｅ２は第２変換画像から求められる。
Ｅ１＝｜Ｉ１（φ−１，β）−Ｉ１（φ＋１，β）｜
Ｅ２＝｜Ｉ２（α−１，β）−Ｉ２（α＋１，β）｜
なお、Ｉ１（φ，β）は第１変換画像の位置（φ，β）における輝度値であり、Ｉ２は第２変換画像の位置（α，β）における輝度値である。
【００８２】
領域評価部１０４は、図１２に示すように、第１変換画像または第２変換画像の全画素について以下の評価を行うことにより、視差推定部１０３において、第１変換画像と第２変換画像とのどちらを用いて対応点を探索するかを画素ごとに決定する。図１２に示す動作では、第１変換画像の画素に着目してエッジ強度Ｅ１を求め、当該画素に対応する第２変換画像の画素に着目してエッジ強度Ｅ２を求めている。すなわち、第１変換画像と第２変換画像との着目する画素に対して、それぞれ横方向で前後に並ぶ画素の輝度値からエッジ強度Ｅ１、Ｅ２が求められる。
【００８３】
次に、第１変換画像から求めたエッジ強度Ｅ１と第２変換画像から求めたエッジ強度Ｅ２との差の絶対値が規定の閾値Ｔ１と比較される（Ｓ１１）。エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１以下であるときには、第１変換画像と第２変換画像とのどちらから視差を求めても信頼性は同程度と考えられる。したがって、エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１以下である場合は（Ｓ１１：ｎｏ）、着目する画素は、対応点を求める際に、第１変換画像と第２変換画像との両方を用いるように定められる（Ｓ１２）。
【００８４】
一方、エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１を超える場合は（Ｓ１１：ｙｅｓ）、エッジ強度Ｅ１、Ｅ２の大小が比較される（Ｓ１３）。エッジ強度Ｅ１、Ｅ２は大きいほうが対応点の探索が容易であると考えられるから、エッジ強度Ｅ１がエッジ強度Ｅ２よりも大きい場合は（Ｓ１３：ｙｅｓ）、着目する画素は、第１変換画像を用いて対応点の探索が行われるように条件が定められる（Ｓ１４）。また、エッジ強度Ｅ１がエッジ強度Ｅ２よりも小さい場合は（Ｓ１３：ｎｏ）、着目する画素について、第２変換画像を用いて対応点の探索が行われるように条件が定められる（Ｓ１５）。
【００８５】
上述した処理は、第１変換画像のすべての画素について行われる（Ｓ１６）。また、領域評価部１０４での評価結果は、演算処理部１０に設けた記憶装置１２を介して視差推定部１０３に引き渡される。図１２の手順で対応点の探索を行う領域を振り分けると、第１変換画像２１は、図１３（ａ）のように、第１変換画像２１のみを用いる領域２１１と、第１変換画像２１および第２変換画像２２の両方を用いる領域２１２と、対応点の探索に用いない領域２１３とに分離される。また、第２変換画像２２は、図１３（ｂ）のように、第２変換画像２２のみを用いる領域２２１と、第１変換画像２１および第２変換画像２２の両方を用いる領域２２２と、対応点の探索に用いない領域２２３とに分離される。
【００８６】
本実施形態では、視差推定部１０３が対応点を探索して視差を求める処理を行う前に、領域評価部１０４が第１変換画像と第２変換画像とのどちらを用いて対応点を求めるかの条件を定めている。したがって、第１変換画像と第２変換画像とにおいて視差を求める領域が絞り込まれる。すなわち、第１変換画像と第２変換画像との全領域について対応点を求める場合に比較して演算量が低減される。しかも、領域評価部１０４は、画素ごとに求められる視差の信頼性をできるだけ高くするように、第１変換画像と第２変換画像とから対応点を探索する画素を抽出するから、求められる視差の信頼性が高くなる。
【００８７】
上述した動作では、着目する画素に対して横方向に隣接する画素からエッジ強度Ｅ１、Ｅ２を求めているが、ソーベルオペレータのように、画像処理技術においてエッジ強度を求めたり輝度値の勾配方向を求めるために用いられている他の技術を採用してもよい。他の構成および動作は実施形態１と同様であるから説明を省略する。
【００８８】
（実施形態３）
実施形態１は、カメラ１、２で撮像したすべての画素を対象として、第１変換部１０１と第２変換部１０２とにおいて撮像画像の変換を行っているから、計算量が比較的多くなっている。本実施形態では、第１変換部１０１と第２変換部１０２とにおいて撮像画像を変換する領域をあらかじめ制限することにより計算量を低減する技術について説明する。
【００８９】
第１変換部１０１と第２変換部１０２とは、それぞれ座標を変換する機能と、変換後の座標に輝度値を対応付ける機能とを備えている。座標の変換は、数１〜４を用いて行うから、一部はルックアップテーブルを用いて比較的簡単な処理で行うことができるが、変換後の座標に輝度値を対応付ける処理は、逆変換を伴うから計算量の増加につながる。
【００９０】
そこで、第１変換部１０１は、座標の変換を行った後に、図１４のように、第１変換画像２１におけるβ＝０の中心線２１０からみて角度βが規定の閾値ｈ１（たとえば、ｈ１＝３０度）以上になるという条件を満たす領域２１４のみで輝度値を対応付ける処理を行う。すなわち、第１変換部１０１は、第１変換画像２１において｜β｜≧ｈ１となる領域２１４にのみ画素値（輝度値）を与える処理を行う。
【００９１】
第１変換画像の各画素に輝度値を対応付けるには、第１変換画像の各画素の位置（φ，β）からカメラ１、２が撮像した画像の位置（ｕ，ｖ）を求める処理が必要である。さらに、求めた位置（ｕ，ｖ）の周辺の画素の輝度値を用いて補間演算により輝度値を決定する必要がある。したがって、第１変換画像の各画素に輝度値を対応付ける処理は、撮像された撮像画像の位置（ｕ，ｖ）を第１変換画像の各画素の位置（φ，β）に変換する処理よりも計算量が多くなる。これに対して、本実施形態では、輝度値を対応付ける範囲を制限したことによって、計算量の低減が可能になっている。
【００９２】
同様にして、第２変換部１０２は、座標の変換を行った後に、図１５のように、第２変換画像２２のβ＝０の中心線２２０からみて角度βが規定の閾値ｈ２（たとえば、ｈ２＝６０度）以下になるという条件を満たす領域２２４のみで輝度値を対応付ける処理を行う。すなわち、第２変換部１０２は、第２変換画像２２において｜β｜≦ｈ２となる領域２２４にのみ画素値（輝度値）を与える処理を行う。このように、第２変換画像２２についても輝度値を対応付ける範囲を制限することにより計算量が低減されることになる。
【００９３】
第１変換画像２１および第２変換画像２２が一部領域になる点を除いて実施形態１と同様であって、第１変換画像２１および第２変換画像２２が得られた後は、第１視差画像および第１一致度画像と第２視差画像および第２一致度画像を求め、視差を決定する処理を行う。また、本実施形態において示した閾値ｈ１，ｈ２は一例であって、これらの閾値ｈ１，ｈ２は適宜に設定することが可能である。とくに、撮像画像全体の視差を求める必要がない場合には、第１変換画像および第２変換画像において輝度値を対応付ける領域をさらに狭めてもよい。また、第１変換画像と第２変換画像とにおいて輝度値を対応付ける領域が重複しないように閾値ｈ１，ｈ２を設定してもよい。他の構成および動作は実施形態１と同様である。
【００９４】
ここに、本実施形態の構成は、以下の知見に基づいている。すなわち、第１変換画像２１では、角度βが大きい領域２１４で光軸に平行な面が歪みなく反映されるので、ステレオマッチングが容易になる。すなわち、領域２１４では、第２変換画像２２から求めた第２視差画像の画素値（視差）が採用される確率が低く、第１変換画像２１から求めた第１視差画像の画素値が採用される確率が高い。そのため、角度βが大きい領域２１４では第２変換画像よりも第１変換画像２１を用いることが好ましく、領域２１４では第２変換画像２２を用いないようにすれば計算量の低減を図ることができる。
【００９５】
一方、第２変換画像２２では、角度βが小さい領域において光軸に対して交差する面が歪みなく反映され、光軸に平行な面の歪みも小さい。したがって、角度βが小さい領域においては、第１変換画像２１から得られる第１視差画像の画素値（視差）よりも第２変換画像２２から求められる第２視差画像の画素値が採用される確率が高くなる。そのため、領域２１４を除く領域では、第１変換画像２１を用いないようにすれば計算量の低減を図ることができる。
【００９６】
（実施形態４）
本実施形態は、実施形態２と同様に第１変換画像および第２変換画像において一部の領域にのみ輝度値を対応付ける技術を採用することにより計算量を低減させている。実施形態２では、第１変換画像に対して用いる閾値ｈ１と、第２変換画像に対して用いる閾値ｈ２とを異ならせているが、本実施形態では第１変換画像と第２変換画像とに対して同じ閾値ｈ３を用いている点が相違する。
【００９７】
すなわち、本実施形態では、第１変換画像に対しては角度βが閾値ｈ３以上になるという条件を満たす領域に輝度値を対応付け、第２変換画像に対しては角度βが閾値ｈ３以下になるという条件を満たす領域に輝度値を対応付けている。したがって、視差を求める際に第１変換画像と第２変換画像とにおいて重複する領域がなく、それだけ計算量を低減させることができる。閾値ｈ３は、とくに制限はないが、ステレオマッチングでの一致度評価の信頼性の低下を防止するには、たとえば、４５度に設定することが好ましい。
【００９８】
上述したように、本実施形態の第１変換部１０１および第２変換部１０２の動作は、閾値ｈ３が異なる点を除いて実施形態２と同様である。ただし、第１変換部１０１で得られる第１変換画像と第２変換部で得られる第２変換画像とは角度βの重複する領域がないから、本実施形態は、図１６のように、第１変換部１０１が生成した第１変換画像と第２変換部１０２が生成した第２変換画像とを合成する画像合成部１０５を付加している。
【００９９】
したがって、カメラ１、２ごとに撮像した撮像画像から生成した第１変換画像と第２変換画像との４種類の画像を視差推定部１０３に引き渡すのではなく、画像合成部１０５が合成した後の２種類の画像を視差推定部１０３に引き渡すことになる。そのため、視差推定部１０３は、第１視差画像と第２視差画像との２種類の視差画像ではなく１種類の視差画像を生成し、また、第１一致度画像と第２一致度画像との２種類の一致度画像ではなく１種類の一致度画像を生成する。言い換えると、視差推定部１０３は、合成後の２種類の画像（変換画像）を用いて１回だけの対応付けの処理により視差を求める。
【０１００】
ところで、第１変換画像と第２変換画像とを画像合成部１０５において合成すると、境界において画像が不連続になっている場合に、ステレオマッチングでの一致度評価の信頼性が低下する場合がある。すなわち、境界において画像が不連続である場合、ブロックマッチングの技術を用いたステレオマッチングにおいて、境界を含むウインドウＷ１と走査領域Ｗ２との中に距離の異なる物体が含まれ、結果的に一致度評価の信頼性が低下することになる。
【０１０１】
この問題は、ウインドウＷ１と走査領域Ｗ２との画素数を少なくすれば低減されるが、ウインドウＷ１と走査領域Ｗ２との画素数を少なくするとＳＡＤ値の変化が小さくなり、対応点を抽出する精度が低下することになる。
【０１０２】
一方、合成された変換画像の境界が不連続になるか否かは、閾値ｈ３に依存しており、数４によれば、β＝４５度であれば、Ｙ＝Ｚであるから、α＝φとなり、閾値ｈ３が４５度であれば、変換画像の境界が連続することになる。そのため、上述したように閾値ｈ３は４５度が望ましいと言える。ただし、閾値ｈ３が４５度以外であっても、境界付近の信頼性が低下するだけであって、他の領域については視差の信頼性は低下しない。
【０１０３】
他の構成および動作は実施形態１、実施形態２と同様であって、本実施形態では第１変換画像と第２変換画像とが重複しないから、視差推定部１０３での計算量が実施形態２よりも低減される。その結果、実施形態２よりも少ない計算量で実空間の３次元情報を求めることが可能になる。また、第１変換画像と第２変換画像の境界において画素値が一致するから、境界を含む領域でブロックマッチングの技術を用いたステレオマッチングを行う場合でも、一致度の信頼性が高められる。すなわち、一致度の信頼性が高まることによりステレオマッチングの信頼性も向上する。
【０１０４】
（実施形態５）
実施形態１において説明したように、第１変換画像は縦方向の両端部においてカメラの光軸に平行な方向の歪みが少なく、第２変換画像は中央部においてカメラの光軸に直交する平面内の歪みが少ないという特性を有している。このことから、実施形態３、４のように、第１変換画像と第２変換画像とから適宜に領域を抽出すれば、縦方向の両端部および中央部において歪みの少ない領域を用いて対応点を抽出することができる。ただし、第１変換画像と第２変換画像とのいずれについても、横方向の両端部における歪みは比較的大きく、この領域は、第１変換画像と第２変換画像とのどちらを用いても他の領域と比較すると視差の信頼性が低下する。
【０１０５】
そこで、本実施形態では、カメラの台数を増加させることにより、求められる視差の信頼性を向上させている。いま、室内における天井面の中央部にカメラを配置した場合を想定する。この場合、第１変換画像は、縦方向（β方向）の両端部において鉛直方向に沿った壁面や柱の画像について歪みが少なく、また、第２変換画像は、中央部において水平面に沿った床面や机の上面の画像について歪みが少なくなる。したがって、ステレオビジョンにより３次元情報を計測するカメラを２組設け、第１変換画像の縦方向（β方向）を互いに直交させておけば、室内のすべての壁面や柱について歪みの少ない画像を得ることが可能になる。
【０１０６】
上述した知見では、２台で一組になるカメラを２組設け、合計４台のカメラによって、室内のすべての領域について歪みの少ない画像を得ることが可能になることがわかる。たとえば、ステレオビジョンのための２台のカメラ１１１、１１２を、図１７（ａ）に示すように、図の左右に並べて天井面の中央部に配置した場合、第１変換画像の中で室内の左右方向に沿った壁面３０１、３０２に相当する領域は歪みが少なくなる。一方、ステレオビジョンのためのカメラ１１３、１１４を、図１７（ｂ）に示すように、天井面に沿って図１７（ａ）に示す位置に対して９０度回転させた場合、第１変換画像の中で、上記壁面３０１、３０２に直交する壁面３０３、３０４に相当する領域は歪みが少なくなる。
【０１０７】
本実施形態では、４台のカメラ１１１、１１２、１１３、１１４のうちの１台を両方の組で共用することにより、３台のカメラを用いて４台のカメラを用いる場合と同様の機能を達成する例を示す。図１７に示す例に従って、カメラ１１１とカメラ１１３とが共用されている場合を例示する。したがって、３台のカメラ１１１、１１２、１１４を用いているものとする。３台のカメラ１１１、１１２、１１４は、直角二等辺三角形の頂点の位置に光学中心を位置させるように配置される。すなわち、共用されるカメラ１１１に対して残りのカメラ１１２、１１４が等距離に配置される。ただし、光学中心の位置が直角二等辺三角形の頂点をなすことは必須ではなく、たとえば、３台のカメラ１１１、１１２、１１４の光学中心の位置が正三角形をなすように配置することも可能である。
【０１０８】
以下では、直角二等辺三角形の頂点の位置にカメラ１１１、１１２、１１４が配置されている場合を例として説明する。ステレオビジョンにより３次元情報を計測する際は、３台のカメラ１１１、１１２、１１４のうちの２台ずつを組み合わせて用いる。つまり、２台のカメラ１１１、１１２からなる組と、２台のカメラ１１１、１１４からなる組とをそれぞれ用いてステレオビジョンによる３次元情報の計測を行う。各組ごとの３次元情報の計測は、実施形態１と同様に行われる。
【０１０９】
ところで、４台のカメラを用いる場合は、２台ずつのカメラを撮像画像の水平方向（ｘ方向）に並べて配置することができる。しかしながら、３台のカメラを用いる場合は、２台のカメラ（たとえば、カメラ１１１とカメラ１１２）を撮像画像の水平方向（ｘ方向）に並べると、他の２台のカメラ（たとえば、カメラ１１１とカメラ１１４）は撮像画像の水平方向に並ばなくなる。この場合、カメラ１１４の水平方向は、カメラ１１１、１１２のベースラインの方向と平行させるか、直交させることになる。
【０１１０】
したがって、実施形態１と同じ数式を用いて第１変換画像および第２変換画像を生成するには、図１８のように、第１変換部１０１および第２変換部１０２に前置して、撮像画像を９０度回転させるための回転処理部１０６が必要になる。ベースラインの方向が変換前の画像の水平方向に一致していない場合には、回転処理部１０６を用いて撮像画像を適宜に回転させることによって、ベースラインの方向を変換前の画像の水平方向に一致させることができる。ここに、３台のカメラ１１１、１１２、１１４がそれぞれ撮像した３枚の撮像画像は、記憶装置１２に記憶されているから、回転処理部１０６は、必要に応じて画素を読み出す方向を変更する機能があればよい。
【０１１１】
上述のように、回転処理部１０６が設けられていることにより、実施形態１と同じ数式（変換式）を用いて第１変換画像および第２変換画像を生成することが可能になる。ただし、回転処理部１０６によって撮像画像を回転させる代わりに、第１変換画像および第２変換画像への変換を行うための数式により回転と等価な変換を行ってもよい。
【０１１２】
上述した構成によって、第１変換画像および第２変換画像は２組ずつ生成される。各組ごとの処理は実施形態１と同様であって、第１変換画像の組と第２変換画像の組とを用いて視差が求められる。ここに、視差は組ごとに得られるから、選択処理部１０７を用いて信頼性の高いほうの視差を選択する。視差の信頼性の評価には、実施形態１と同様に、一致度Ｄｓの評価を行えばよい。なお、この動作では選択処理部１０７において一致度Ｄｓの評価を行うから、選択処理部１０７には、第１一致度画像および第２一致度画像も与えられる。
【０１１３】
他の構成および動作は実施形態１と同様であるから説明を省略する。また、本実施形態は、実施形態２〜４の構成および動作と組み合わせて用いることが可能である。ここに、上述したように、第２変換画像は中央部において水平面に沿った床面や机の上面の歪みが少なく、第１変換画像は縦方向の両端部において鉛直方向に沿った壁面や柱の歪みが少ない。したがって、実施形態３、４のように領域を選択する場合は、各組ごとに第１変換画像の縦方向における両端部の領域を選択すれば、室内全体において対応点の探索が容易になる。さらに、実施形態２のように、対応点の探索が容易になる領域を評価する場合、各組ごとに第１変換画像と第２変換画像との評価を行い、さらに、異なる組について同様の評価を行えばよい。異なる組について評価を行う場合、エッジ強度の差の大小を比較し、エッジ強度の差が大きい組を優先して採用すればよい。
【符号の説明】
【０１１４】
１、２ カメラ
１１１、１１２、１１３、１１４ カメラ
１０ 演算処理部
１０１ 第１変換部
１０２ 第２変換部
１０３ 視差推定部
１０４ 領域評価部
１０５ 画像合成部
１０６ 回転処理部
１０７ 選択処理部
【技術分野】
【０００１】
本発明は、複数台のカメラで撮像した画像を用いて三角測量の原理により空間の３次元情報を取得するステレオカメラ装置と、ステレオカメラ装置を用いて構成されるステレオカメラシステムと、コンピュータを用いてステレオカメラ装置を構成するプログラムに関するものであって、とくに２台のカメラの撮像画像から視差を求める技術に関するものである。
【背景技術】
【０００２】
従来から、空間の３次元情報を取得する技術としてステレオビジョンが知られている。ステレオビジョンは、複数台のカメラを用いて実空間を撮像した画像に、三角測量の原理を適用することにより、３次元の実空間における着目する部位までの距離を計測する技術である。すなわち、ステレオビジョンでは、視野の少なくとも一部が重複するように配置された複数台のカメラを用いて３次元の実空間が撮像される。そして、実空間において着目する部位の像が各カメラの撮像素子上に形成されている場合、実空間における光学中心から着目する部位への方向と、カメラ同士の相対位置、姿勢とを用いて三角測量の原理により、実空間において着目する部位までの距離が計測される。
【０００３】
ここで、２台のカメラで撮像した画像（以下、「撮像画像」という）に注目する。２枚の撮像画像から着目する部位までの距離を計測するには、２台のカメラの光学中心を結ぶ線分の長さ（以下、「ベースライン長」という）と、２枚の撮像画像の中で、実空間において着目する部位に対応する像の位置のずれの距離との情報が必要である。像の位置のずれの距離は、実空間において着目する部位を２台のカメラから見込んだときの視差であって、２枚の撮像画像にそれぞれ規定した基準位置からの距離差を用いる。
【０００４】
撮像画像から視差を求めるには、撮像画像の中で実空間において着目する部位に対応する像の位置を探し出す必要がある。すなわち、２台のカメラで撮像された２枚の撮像画像において同部位に対応する対応点を特定する必要がある。２枚の撮像画像から対応点を探索する処理をステレオマッチングと呼んでいる。ステレオマッチングにおいて撮像画像上で対応点を探索する範囲は、２台のカメラの光学中心と実空間において着目する部位とを結ぶエピポーラ平面を考えると、撮像画像にエピポーラ平面を投影した線上に限定することができる。
【０００５】
ステレオビジョンでは、多くの場合、２台のカメラが、光軸を平行にし、かつ両カメラの光学中心を結ぶ直線（以下、「ベースライン」という）を両光軸に直交させて配置された平行ステレオ法が採用されている。以下では、ベースラインの方向を各カメラが撮像した撮像画像の水平方向に一致させた平行ステレオ法を、単に平行ステレオ法と呼ぶ。
【０００６】
ここで、撮像画像にはカメラに設けた光学系（レンズなど）による歪みがないと仮定する。この場合、図１９に示すように、実空間において着目する部位Ｐ１に対応して形成されるエピポーラ平面４０３を各撮像画像４０１、４０２に投影した線は、撮像画像４０１、４０２の水平方向に平行な直線になる。以下では、撮像画像４０１、４０２について、水平方向をｘ方向、垂直方向をｙ方向とする。つまり、ｘ方向はベースライン４０４と平行になる。したがって、エピポーラ平面４０３を撮像画像４０１、４０２に投影して得られる直線はｘ方向に平行であって、ｙ方向の座標値は一定になる。
【０００７】
つまり、一方の撮像画像４０１の中に実空間の部位Ｐ１に対応する像Ｇ１があるとき、他方の撮像画像４０２の中で部位Ｐ１に対応する像Ｄ１の探索範囲は、ｙ方向の座標値が像Ｇ１と同じになる水平方向の直線上に限定される。たとえば、図１９において、像Ｇ１は一方のカメラの光学中心Ｏ１と像Ｇ１とを通る直線４０５に対応するから、この直線４０５の上の部位Ｐ１、Ｐ２、Ｐ３などは像Ｇ１に対応する。これに対して、他方のカメラの光学中心Ｏ２と部位Ｐ１、Ｐ２、Ｐ３とを通る直線は、撮像画像４０２における像Ｄ１、Ｄ２、Ｄ３に対応する。ここに、像Ｇ１と像Ｄ１、Ｄ２、Ｄ３とはｙ方向の座標値が一致する。
【０００８】
上述したように、平行ステレオ法でのステレオマッチングでは、実空間において着目する部位は、各カメラの撮像画像において、垂直方向の同じ位置に対応することになる。つまり、２台のカメラが実空間の同じ部位を撮像していると、撮像画像内で当該部位に対応する画素の位置は、水平方向については撮像画像ごとに異なるが、垂直方向については両撮像画像で一致する。つまり、平行ステレオ法では、両カメラで得られた撮像画像について実空間の同じ部位に対応する点を、撮像画像の水平方向についてのみ探索すればよく、ステレオマッチングの処理効率がよいという利点を有している。
【０００９】
ところで、上述した平行ステレオ法の技術は、カメラの光学系に歪みがないという仮定を設定している。したがって、上述のようにステレオマッチングにおいて高い処理効率が得られるのは、カメラの光学系の歪みの影響を考慮しなくてもよい程度に視野角が小さいか、光学系に歪みがあっても補正すれば歪みの影響を除去できる場合に限られる。言い換えると、視野角を広げるために魚眼レンズのように歪みの大きい光学系をカメラに用いると、ステレオマッチングにおける処理負荷が大幅に増加するという問題が生じる。
【００１０】
一般に魚眼レンズのように視野角の広い光学系を用いて撮像した画像は、画像の周辺に近付くほど湾曲の程度が大きくなる湾曲歪みが生じるから、ステレオマッチングの際には画像の湾曲歪みを考慮して対応点を探索することが必要になる。すなわち、対応点を探索する際に、ｘ方向とｙ方向との両方の座標値を変化させるから、対応点を探索する際の処理効率が低い上に、対応付けを誤る可能性が高くなる。その結果、距離の計測を誤ることになり、計測性能の低下につながるという問題が生じる。
【００１１】
そこで、上述した問題を解決するために、エピポーラ平面が画像内の一直線上に投影されるように撮像画像に対する座標変換を行った変換画像を生成し、変換画像を用いてステレオマッチングを行う技術が提案されている。変換画像は、エピポーラ平面が横軸に平行な直線になるように座標軸が選択される（たとえば、特許文献１、特許文献２、非特許文献１参照）。
【００１２】
これらの文献に記載された技術では、視野角の広い画像から視差を効率よく推定するために、図２０に示すように、ベースライン４０４の方向（ｘ方向）の軸周りの角度βを変換画像の垂直方向の軸に対応付けている。このような変換画像を用いると、３次元の実空間における部位Ｐ１が２枚の撮像画像４０１、４０２において同じ角度βに対応付けられるので、平行ステレオ法と同様に、対応点の探索が容易になり、視差を効率よく推定することができる。なお、図２０の半球は光学系を示している。
【００１３】
一方、変換画像の水平方向の軸については、特許文献１、非特許文献１では、図２１に示すように、エピポーラ平面４０３内における角度γを用いている。この角度γは、カメラの受光面における垂直方向（ｙ方向）と光軸の方向（ｚ方向）とで規定される平面（ｙｚ平面）に対して、着目する部位Ｐ１とカメラの光学中心Ｏとを結ぶ直線の間の角度である。
【００１４】
また、特許文献２では、図２２に示すように、撮像画像の垂直方向（ベースライン４０４の方向と光軸の方向とに直交する方向）の軸周りの角度αの正接ｔａｎαを変換画像の水平方向の軸に用いている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００７−２４６４７号公報
【特許文献２】特開２００９−１３９２４６号公報
【非特許文献】
【００１６】
【非特許文献１】Fish-Eye-Stereo Calibration and Epipolar Rectification, Abraham, S. Forstner,W. International Journal of Photogrammetry and Remote Sensing, Vol.59，Issue5， August 2005
【発明の概要】
【発明が解決しようとする課題】
【００１７】
ところで、実空間の３次元情報を取得する技術を用いることにより室内の人の動きを検出すると、室内の負荷機器の制御などに用いることができる。たとえば、空調負荷であれば、室内で人が存在する場所を特定することによって、冷気や暖気を人の存在する場所に集中的に流すことが可能になる。また、映像を表示する負荷機器であれば、人の存在する場所に応じて向きを変えたり、表示のサイズを変えたりすることが可能になる。
【００１８】
負荷機器を制御する場合に限らず、室内の３次元情報を得ようとする場合には、全体を視野とし、しかも人や物体によって視野が妨げられないようにするために、たとえば、カメラの光軸を鉛直下向きにして天井の中央付近に設置することが望ましい。この配置を採用すると、撮像画像の中心部では、床面や床上に存在する物体のように水平方向の情報が多く得られ、撮像画像の周辺部では、壁面や柱のように鉛直方向の情報が多く得られることになる。
【００１９】
一方、上述した特許文献１、特許文献２、非特許文献１に記載された技術を採用すると、視野角の広い光学系を採用したことによる撮像画像の歪みの影響を軽減することが可能である。しかしながら、依然として撮像画像の歪みが十分に解消されることはない。
【００２０】
たとえば、図２３（ａ）のように光軸（ｚ方向）に平行な直線Ｌ１を撮像すると、変換画像では図２３（ｂ）のように歪んだ曲線Ｌ２として撮像される。図２３は特許文献１に対応する例であって、変換画像は、角度γが水平方向の軸に対応付け、角度βが垂直方向の軸に対応付けられている。したがって、特許文献１に記載された技術では、直線Ｌ１がβ＝γの関係を満たす場合を除いて、変換画像では直線Ｌ１が曲線Ｌ２に変換されることになる。特許文献２、非特許文献１に記載された変換画像についても同様であって、変換画像には歪みが生じる。
【００２１】
ここに、図２３（ｂ）によれば、変換画像の中心部は直線性が比較的よいが、周辺部では直線性が低下しており、このことから変換画像の周辺部に存在する壁や柱のような鉛直方向の部材については、対応点を探索する処理の効率が低下することになる。
【００２２】
しかも、図２４に示すように、２枚の撮像画像からそれぞれ得られる変換画像は、同じ直線Ｌ１（図２３参照）を撮像しても、異なる形状の曲線Ｌ２１、Ｌ２２に変換されるから、２枚の変換画像から対応点を探し出すのは容易ではない。結局、特許文献１、特許文献２、非特許文献１の技術のいずれを採用したとしても、対応点を探索する処理は容易ではない。
【００２３】
本発明は、複数台のカメラで撮像した撮像画像における対応点の探索を従来よりも容易にしたステレオカメラ装置、ステレオカメラシステム、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明に係るステレオカメラ装置は、上記目的を達成するために、光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラと、カメラがそれぞれ撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求める演算処理部とを備え、撮像画像における画素の位置がカメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台のカメラから選択される２台のカメラの光学中心を結ぶ第１方向とカメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるようにカメラごとに規定された第２座標系とを用い、演算処理部は、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、第１変換画像および第２変換画像を用いて前記２台のカメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備えることを特徴とする。
【００２５】
このステレオカメラ装置において、視差推定部は、前記２台のカメラごとに撮像した前記画像からそれぞれ生成される２枚の第１変換画像における対応点を抽出することにより前記部位に対する視差を求めるとともに当該対応点の一致度を評価し、カメラごとに撮像した画像を用いてそれぞれ生成される２枚の第２変換画像における対応点を抽出することにより部位に対する視差を求めるとともに当該対応点の一致度を評価し、第１変換画像と第２変換画像との画素ごとに求めた視差のうち前記部位が同じである画素については、一致度が高いほうの視差を当該部位の視差として採用することが好ましい。
【００２６】
このステレオカメラ装置において、第１変換画像と第２変換画像との両方について着目する画素ごとに周囲の輝度値の変化に関する評価値を求め、評価値の差が規定の閾値を超える場合は第１変換画像と第２変換画像とのうち輝度値の変化が大きいほうを当該画素の対応点の抽出に用い、評価値の差が閾値未満の場合に第１変換画像と第２変換画像との両方を当該画素の対応点の抽出に用いるように条件を定める領域評価部が付加され、視差推定部は、領域評価部が定めた条件に従って画素ごとに対応点を抽出することが好ましい。
【００２７】
このステレオカメラ装置において、第１変換部および第２変換部は、第１変換画像と第２変換画像とについて、第１変換画像と第２変換画像との一方を用いて対応点を抽出する第１の領域と、第１変換画像と第２変換画像との両方を用いて対応点を抽出する第２の領域とのうち、少なくとも第１の領域をあらかじめ与えられた条件に従って定める機能を有することが好ましい。
【００２８】
本発明に係るステレオカメラシステムは、請求項１〜４のいずれか１項に記載のステレオカメラ装置を２組備え、ステレオカメラ装置ごとに設けられた前記２台ずつのカメラが、第１方向を互いに交差させるとともにカメラの光軸を平行にして配置され、ステレオカメラ装置ごとに設けられた視差推定部が推定した視差のうち信頼性の高いほうの視差を選択する選択処理部を備えることを特徴とする。
【００２９】
このステレオカメラシステムにおいて、ステレオカメラ装置ごとに設けられた前記２台ずつのカメラのうち各１台が共用されていることが好ましい。
【００３０】
本発明に係るプログラムは、光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラが撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求めるステレオカメラ装置に用いられ、撮像画像における画素の位置がカメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台のカメラから選択される２台のカメラの光学中心を結ぶ第１方向とカメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるようにカメラごとに規定された第２座標系とを用い、コンピュータを、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、第１変換画像および第２変換画像を用いて前記２台のカメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備える演算処理部として機能させるものである。
【発明の効果】
【００３１】
本発明の構成によれば、カメラを用いて撮像された画像について、光軸に平行な直線に歪みが生じないように座標変換を行った変換画像を用いるので、２台のカメラで撮像した画像の対応付けが容易になるという効果がある。
【図面の簡単な説明】
【００３２】
【図１】実施形態１を示すブロック図である。
【図２】同上の原理説明図である。
【図３】同上に用いる座標系の関係を示す図である。
【図４】同上に用いる座標系の関係を示す図である。
【図５】同上における撮像画像の例を示す図である。
【図６】同上における第１変換画像の例を示す図である。
【図７】同上における第２変換画像の例を示す図である。
【図８】同上におけるブロックマッチングの説明図である。
【図９】同上におけるブロックマッチングの説明図である。
【図１０】同上の動作の概要を示す図である。
【図１１】実施形態２を示すブロック図である。
【図１２】同上の動作説明図である。
【図１３】同上による領域の区分例を示す図である。
【図１４】実施形態３の領域を示す説明図である。
【図１５】同上の領域を示す説明図である。
【図１６】実施形態４を示すブロック図である。
【図１７】実施形態５を示す概略構成図である。
【図１８】同上のブロック図である。
【図１９】ステレオビジョンの概念を説明する図である。
【図２０】従来の技術を説明する図である。
【図２１】同上に用いる座標系を示す図である。
【図２２】同上に用いる座標系を示す図である。
【図２３】同上の動作を説明する図である。
【図２４】同上の動作を説明する図である。
【発明を実施するための形態】
【００３３】
（実施形態１）
本実施形態は、図１に示すように、３次元の実空間に対する視野がほぼ重複するように配置された２台のカメラ１、２を備える。両カメラ１、２は、光軸を平行、かつ光学中心を結ぶ方向（ベースライン方向）と光軸を垂直にして配置される。各カメラ１、２は、画角が１８０度に近い魚眼レンズないし魚眼レンズに相当する機能を有した光学系を備える。光学系の射影方式はとくに問わないが、以下では等距離射影方式を用いて説明する。また、２台のカメラ１、２は、ベースライン方向と受光面における水平方向とを一致させるように配置される。すなわち、平行ステレオを想定する。
【００３４】
また、以下では、３次元の実空間において、受光面の水平方向に沿う方向（つまり、ベースライン方向）をｘ方向、受光面の垂直方向に沿う方向をｙ方向とし、受光面に直交する方向をｚ方向とする。各カメラの撮像画像をモニタ装置に表示したときに、水平方向の右向きがｘ方向の正の向き、垂直方向の下向きがｙ方向の正の向きになるように座標系を定めている。ｚ方向についてはカメラの受光面から遠ざかる向きを正の向きとする。
【００３５】
カメラ１、２が撮像した撮像画像における画素の位置は、受光面の左上隅を原点とした２次元の直交座標系である第１座標系で表される。第１座標系は、画像の水平方向がｘ方向に沿っており、画像の垂直方向がｙ方向に沿うように設定され、座標位置は（ｕ，ｖ）で表される。
【００３６】
また、実空間において着目する部位（たとえば、図２の点Ｐ１）を各カメラ１、２から見込む方向を規定するために、上述したｘ方向、ｙ方向、ｚ方向に平行な軸をカメラ１、２ごとに規定し、カメラ１、２ごとの光学中心を原点とする第２座標系が規定される。第２座標系はカメラ１、２ごとに規定され、ｚ方向の軸は光軸に一致する。各カメラ１、２に規定された第２座標系の原点Ｏ１、Ｏ２から点Ｐ１を見込む方向は、３本の各軸周りのそれぞれの角度の組み合わせによって表される。以下では、ｘ方向の軸周りの角度はβ、ｙ方向の軸周りの角度はα、ｚ方向の軸（光軸）周りの角度はφとする。
【００３７】
各カメラ１、２が撮像した撮像画像のデータは、演算処理部１０に入力される。本実施形態では、演算処理部１０が濃淡画像を扱う例を説明するが、カラー画像を扱う場合も以下に説明する技術思想は適用可能である。演算処理部１０は、ハードウェア資源としてのコンピュータを有し、コンピュータを以下に説明する処理を行う装置として機能させるためのプログラムを実行する。ただし、演算処理部１０は専用のハードウェアを備える構成であってもよい。また、マイコンを備えるコンピュータのほか、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）のようにプログラムを実行する機能を備えるデバイスを用いて構成してもよい。
【００３８】
カメラ１と演算処理部１０との間にはインターフェース３が設けられ、カメラ２と演算処理部１０との間にはインターフェース４が設けられる。各インターフェース３、４は、カメラ１、２が撮像した撮像画像のデータを、それぞれ演算処理部１０で処理するためのデータに変換する。インターフェース３、４は、たとえば、アナログ信号をデジタル信号に変換する機能を備える。
【００３９】
演算処理部１０を動作させるためのシステムプログラムおよびアプリケーションプログラムは記憶装置１１に記憶され、演算処理部１０の処理対象である撮像画像データや演算過程のデータは、データメモリおよび作業用メモリである記憶装置１２に記憶される。記憶装置１１は、フラッシュメモリやハードディスクドライブ装置のように、無給電で記憶内容が保持される記憶装置が用いられる。また、記憶装置１１は、処理の実行時にシステムプログラムやアプリケーションプログラムを置くための主記憶として揮発性メモリも備える。記憶装置１２は、とくに制限はないが、少なくとも一部は作業用に用いるための揮発性メモリが用いられる。
【００４０】
本実施形態では、２台のカメラ１、２がそれぞれ撮像した撮像画像に基づいて実空間の３次元の情報を取得しなければならないから、演算処理部１０は、２台のカメラ１、２が同時刻に撮像するようにインターフェース３、インターフェース４に対してトリガ信号を与え、同時刻に撮像された対になる撮像画像を記憶装置１２に保存する。
【００４１】
ところで、カメラ１、２の受光面上での位置は、左上隅を原点として水平方向と垂直方向との画素の個数で表される。画像上に投影された光軸上の点の座標を（ｕｃ，ｖｃ）とすると、（ｕｃ，ｖｃ）と任意の画素（ｕ，ｖ）との距離ｒは、数１で表される。
【００４２】
【数１】
【００４３】
また、カメラ１、２は魚眼レンズないし魚眼レンズに相当する機能を有する光学系を備えるから、３次元の実空間における１点がカメラ１、２の光学中心を中心とする半径１の球面上に射影されるモデルを用いることができる。カメラ１、２の光学系に歪みのない等距離射影方式の魚眼レンズを用いる場合を想定すると、図３のように実空間の点Ｐが球面ＳＰ上に射影された点Ｑと、カメラ１、２の光学中心（第２座標系の原点）とを結ぶ直線が、光学系の光軸となす角度θ［ｒａｄ］は、距離ｒを用いて、数２で表される。
【００４４】
【数２】
【００４５】
ただし、数２において、距離Ｌ０は、３次元空間におけるＺ＝０上の点の画像ＰＬへ投影した結果の円の半径を示す。点Ｒは点Ｑを画像ＰＬへ投影した画素の位置を示す。
【００４６】
実空間における１点が、撮像画像における位置（ｕ，ｖ）の画素に対応付けられるようにキャリブレーションが行われている場合を想定すると、モデルとして用いる球面上に実空間の１点を射影した点Ｐ１の位置（Ｘ，Ｙ，Ｚ）は、数３で表される。
【００４７】
【数３】
【００４８】
ところで、図４に示しているように、点Ｐ１の位置（Ｘ，Ｙ，Ｚ）は、画素の位置（ｕ，ｖ）に代えてｘ軸、ｙ軸、ｚ軸の３軸のうちの２軸の周りの角度の組み合わせとして表すことが可能である。上述したように、ｘ軸周りの角度（ｙｚ平面内での角度）をβ、ｙ軸周りの角度（ｚｘ平面内での角度）をα、ｚ軸周りの角度（ｘｙ平面内での角度）をφとする。角度α、βはｚ軸を０度とし、角度φはｙ軸を０度とし、左回りに大きくなる。画素の位置（ｕ，ｖ）に代えて用いる角度の組み合わせは、（φ，β）と（α，β）との２種類を用いる。角度α，β，φへの変換式は、数３の計算結果を用いて数４で表される。
【００４９】
【数４】
【００５０】
演算処理部１０は、２台のカメラ１、２がそれぞれ撮像した撮像画像内での画素の位置（ｕ，ｖ）を、上述した３次元の実空間における角度の組（φ，β）、（α，β）に変換した画像を生成するために第１変換部１０１および第２変換部１０２を備える。
【００５１】
第１変換部１０１は、ｚ軸（光軸）周りの角度φと、ｘ軸周りの角度βとの組（φ，β）で位置が表される画像（以下、「第１変換画像」という）を出力する。また、第２変換部１０２は、ｙ軸周りの角度αと、ｘ軸周りの角度βとの組（α，β）で位置が表される画像（以下、「第２変換画像」という）を出力する。なお、第１変換部１０１において角度βを求めているから、第１変換部１０１による演算後に第２変換部１０２による演算を行う場合は、第２変換部１０２は第１変換部１０１から角度βを取得すればよい。
【００５２】
第１変換画像の画素値および第２変換画像の画素値は、カメラ１、２の受光面上で、第１変換部１０１において求めた位置（φ，β）および第２変換部１０２において求めた位置（α，β）に対応する位置の画素値を用いる。すなわち、第１変換部１０１は、位置（φ，β）から位置（ｕ，ｖ）を求め、当該位置（ｕ，ｖ）の画素値を位置（φ，β）に対応付けた第１変換画像を生成する。また、第２変換部１０２は、位置（α，β）から位置（ｕ，ｖ）を求め、当該位置（ｕ，ｖ）の画素値を位置（α，β）に対応付けた第２変換画像を生成する。第１変換画像および第２変換画像を求めるには、すべての位置（φ，β）、（α，β）について画素値を求める処理を行う。
【００５３】
図５のような撮像画像が得られている場合、第１変換画像は図６のようになり、第２変換画像は図７のようになる。図５は室内において天井面の中央部にカメラ１、２を配置することによって、室内の全体を撮像した場合の撮像画像を示している。カメラ１、２をこのように設置した場合、第１変換画像は、図６のように、縦方向（β方向）の両端部において鉛直方向に沿った壁面や柱などについて他の領域よりも歪みが少なくなる。また、第２変換画像は、図７のように、中央部において水平面に沿った床面や机の上面などについて他の領域よりも歪みが少なくなる。
【００５４】
ところで、第１変換部１０１および第２変換部１０２が求めた位置（φ，β）、（α，β）から画素の位置（ｕ，ｖ）を求めても、多くの場合、１つの画素には対応しない。そのため、第１変換画像および第２変換画像の画素値を求めるには補間演算が必要である。補間演算には、バイリニア補間や最近傍法などの一般的なアルゴリズムを用いる。ここに、記憶装置１２には濃淡画像が保存されるから、位置（ｕ，ｖ）の画素値は輝度値であって、第１変換画像および第２変換画像の画素値も輝度値になる。第１変換部１０１から出力される第１変換画像および第２変換部１０２から出力される第２変換画像は、記憶装置１２に保存される。
【００５５】
演算処理部１０は、記憶装置１２に保存された第１変換画像および第２変換画像を用いて、カメラ１、２の視差を推定する視差推定部１０３を備える。視差推定部１０３は、各カメラ１、２で撮像した撮像画像から得られた第１変換画像から視差を推定し、また第２変換画像から視差を推定する。さらに、２種類の方法で求めた視差を総合して最終的に視差を決定し、実空間の３次元情報の算出に利用する。
【００５６】
視差推定部１０３は、２台のカメラ１、２で得られた２枚の第１変換画像から画素ごとの視差を推定し、推定した視差値を画素値に持つ１枚の画像（以下、「第１視差画像」という）を生成する。また、視差推定部１０３は、画素ごとの一致度を推定し、推定した一致度を画素値に持つ１枚の画像（以下、「第１一致度画像」という）を生成する。
【００５７】
同様にして、視差推定部１０３は、２枚の第２変換画像から画素ごとの視差および一致度を推定し、推定した視差値を画素値に持つ１枚の画像（以下、「第２視差画像」）および推定した一致度を画素値に持つ１枚の画像（以下、「第２一致度画像」という）を生成する。視差推定部１０３は、視差の決定には、第１視差画像と第２視差画像とを用いる。
【００５８】
第１変換画像は、画像の垂直方向の軸がｘ軸周りの角度βに対応し、画像の水平方向の軸がｚ軸（光軸）周りの角度φに対応する。平行ステレオであるから、図２に示すように、実空間における同一の点を２台のカメラ１、２で撮像したときに、第１変換画像における角度βの値は等しくなる。したがって、２枚の第１変換画像から対応点を推定するには、同じ角度βを有する範囲内のみを探索すればよい。このように、視差推定部１０３は、第１変換画像を用いることにより、対応点を推定するにあたって、探索範囲を狭めることができる。
【００５９】
視差推定部１０３は、対応点か否かを評価するために、ブロックマッチングの技術を採用している。すなわち、図８（ａ）のように、一方の第１変換画像において対応点の評価を行おうとする部位の周囲に複数画素を含むウインドウＷ１が形成される。ウインドウＷ１は、対応点の評価を行おうとする画素の周囲で矩形領域として設定するのが望ましい。また、図８（ｂ）のように、他方の第１変換画像には、ウインドウＷ１に対応する大きさの走査領域Ｗ２が形成され、走査領域Ｗ２が横軸（角度φの軸）に沿って走査される。上述したように、対応点の角度βは２枚の第１変換画像において等しいから、角度φのみを変化させて対応点が探索される。
【００６０】
ここで、ウインドウＷ１の中心位置が（φＬ，βＬ）にあり、走査領域Ｗ２の中心位置が（φＲ，βＲ）にある場合に、ウインドウＷ１内の画素の相対位置（ｊ，ｉ）に対応する走査領域Ｗ２の画素の位置（ｊ，ｉ）について、画素値（輝度値）Ｉ１（φＬ＋ｊ，βＬ＋ｉ）、Ｉ２（φＲ＋ｊ，βＲ＋ｉ）の差分（絶対値）の総和であるＳＡＤ値Ｖｓを求める。ただし、平行ステレオ法であるからβＬ＝βＲとなる。それぞれのウインドウ中心の相対位置を（０，０）とすると、ＳＡＤ値Ｖｓは数５で表される。ここで、ウインドウＷ１と走査領域Ｗ２との大きさは等しく（２ｍ＋１，２ｎ＋１）（ｍ、ｎは０以上の任意の整数）となっているとする。なお、ＳＡＤは、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅの意味である。
【００６１】
【数５】
【００６２】
走査領域Ｗ２を第１変換画像の横軸に沿って変位させると、図９に示すように、ＳＡＤ値Ｖｓが変化する。そして、走査領域Ｗ２に含まれる画素の画素値とウインドウＷ１に含まれる画素の画素値との一致度が高い位置では、ＳＡＤ値Ｖｓは極小になる。そこで、視差推定部１０３は、ＳＡＤ値Ｖｓが規定した閾値以下であって、かつ探索範囲内において最小値であるときに、対応点として決定する。なお、ＳＡＤ値Ｖｓが最小値であるにもかかわらず、閾値以下ではない場合は、対応点を不定として扱う。
【００６３】
視差推定部１０３は、第１変換画像を用いて対応点が得られると、２枚の第１変換画像における対応点の座標位置を用いることにより点Ｐ１に対する２台のカメラ１、２の視差を求められる。視差が求められると、視差を画素値に持つ第１視差画像を生成する。さらに、第１変換画像を用いて得られた対応点ごとに数６で表される一致度Ｄｓを求める。第１変換画像において対応点が得られたすべての画素に関して一致度Ｄｓを求め、一致度Ｄｓを画素値に持つ第１一致度画像を生成する。
【００６４】
【数６】
【００６５】
視差推定部１０３は、第１変換画像と同様に、第２変換画像からもＳＡＤ値Ｖｓを用いて対応点を求める。第２変換画像についても対応点ごとに視差を求めて第２視差画像を生成し、さらに、対応点ごとに一致度Ｄｓを求め、一致度Ｄｓを画素値に持つ第２一致度画像を生成する。第１視差画像および第１一致度画像と第２視差画像および第２一致度画像は記憶装置１２に保存される。
【００６６】
次に、第１視差画像と第２視差画像とを用いて視差を決定する。視差を決定するには、まず、第１視差画像の各画素に対応する第２視差画像の画素を抽出し、両方の画素が画素値（視差）を有しているか否かを判断する。第１視差画像の画素に対応する第２視差画像の画素は、以下の関係を用いて抽出する。すなわち、第１視差画像における画素の位置を（φ１，β１）とするとき、第２視差画像において対応する画素の位置（α２，β２）は、数７の関係で表される。
【００６７】
【数７】
【００６８】
第１視差画像と第２視差画像とにおいて対応する画素がともに画素値を有している場合は、両方の画素値について第１一致度画像および第２一致度画像を用いることにより画素値の信頼度を評価する。
【００６９】
いま、第１視差画像における位置（φ１，β１）と第２視差画像における位置（α２，β２）との両方に画素値（視差）が存在していると仮定する。この場合、第１一致度画像上の位置（φ１，β１）の画素値（一致度）と、第２一致度画像上の位置（α２，β２）の画素値（一致度）とのうち一致度を比較する。
【００７０】
第１一致度画像の一致度が第２一致度画像の一致度よりも大きい場合は、第１視差画像における位置（φ１，β１）の画素値を視差として採用し、第２視差画像における位置（α２，β２）の画素値は不定値として更新する。同様にして、第２一致度画像の一致度が第１一致度画像の一致度よりも大きい場合は、第２視差画像における位置（α２，β２）の画素値を視差として採用し、第１視差画像における位置（φ１，β１）の画素値は不定値として更新する。一致度が等しい場合は、第１視差画像の位置（φ１，β１）と第２視差画像の位置（α２，β２）との画素値の平均値あるいは一方を視差として採用する。
【００７１】
また、第１視差画像の位置（φ１，β１）と第２視差画像の位置（α２，β２）との一方のみが画素値（視差）を有している場合には、当該画素値を視差として採用する。第１視差画像と第２視差画像との対応する画素において画素値（視差）がともに存在しない場合は、当該位置の視差は不定とする。
【００７２】
以上説明した処理を行うことによって、第１視差画像と第２視差画像とにおいて画素ごとに信頼性が高いほうの画素値（視差）が抽出されるから、抽出された画素値を用いて実空間における３次元の位置を求めると、信頼性の高い３次元情報が得られる。
【００７３】
本実施形態の動作の概要をまとめると図１０のように表される。すなわち、左右のカメラ１、２により撮像した２枚の撮像画像から、２枚の第１変換画像（βとφとで表される画像）と、２枚の第２変換画像（βとαとで表される画像）とが生成される。次に、２枚の第１変換画像から視差画像が求められるとともに、２枚の第２変換画像から視差画像が求められる。このようにして求めた２枚の視差画像を統合することにより、１枚の視差画像が得られるのである。
【００７４】
なお、本実施形態では、ブロックマッチングの技術を採用しているが、第１視差画像と第２視差画像との画素値を求める技術は、ブロックマッチングの技術に限定されず、ステレオマッチングにおいて用いられる他の技術を採用してもよい。
【００７５】
上述したように、本実施形態は、第１変換画像の水平方向の位置をカメラ１、２ごとの光軸周りの角度φで表しているので、第１変換画像では、光軸に平行な直線を歪みなく対応付けることができる。そのため、第１変換画像を用いることによって、光軸に平行な面に対するステレオマッチングを容易に行うことができる。さらに、第１変換画像に加えて第２変換画像からも視差を求め、一致度を用いて第１変換画像と第２変換画像の視差の精度を評価することで、従来よりも高い精度で視差を推定することが可能になる。
【００７６】
（実施形態２）
実施形態１では、視差推定部１０３が、ブロックマッチングの技術を用いることにより対応点を探索している。また、対応点の探索を、第１変換画像と第２変換画像とについてそれぞれ行っている。以下では第１変換画像と第２変換画像とを区別しない場合は、単に変換画像という。
【００７７】
ブロックマッチングでは、図８のように、対応点を探索しようとする一方の変換画像にウインドウＷ１が設定されるとともに、他方の変換画像に走査領域Ｗ２が設定される。さらに、前記他方の変換画像において走査領域Ｗ２が横軸に沿って走査され、上述した数５で定義されたＳＡＤ値Ｖｓが極小になったときの走査領域Ｗ２の位置が対応点として求められる。
【００７８】
ところで、ブロックマッチングを行う際に、変換画像において走査領域Ｗ２の位置が変化してもＳＡＤ値Ｖｓに変化がほとんど生じなければ、対応点を求めることができない。このような事象は、変換画像の横方向において、輝度値の分布に変化が少ない場合に生じる。たとえば、変換画像において横方向に沿った帯状の領域が存在し、当該領域の輝度が横方向では変化しないような場合には対応点を求めることができない。
【００７９】
実施形態１において説明したように、第１変換画像では縦方向の両端部においてカメラの光軸に平行な方向の歪みが少なく、第２変換画像では中央部においてカメラの光軸に直交する平面内の歪みが少ないという知見が得られている。対応点の探索は、歪みが少ないほうが容易であり、また信頼性も高いと考えられる。したがって、対応点を探索する画素ごとに、第１変換画像の画素が適している場合と第２変換画像の画素が適している場合とがあると言える。
【００８０】
本実施形態では、視差推定部１０３において対応点を探索する前に、第１変換画像と第２変換画像とのどちらが対応点を求めるのに適しているかを評価するために、図１１に示すように、領域評価部１０４を付加している。領域評価部１０４は、第１変換画像と第２変換画像とについて、横方向の輝度値の変化が比較的大きい領域か否かの評価を行う。視差推定部１０３は、領域評価部１０４の評価結果を用いて、第１変換画像と第２変換画像との少なくとも一方を対応点の探索に用いる。視差推定部１０３の前置処理として領域評価部１０４で評価を行い、対応点を求める対象を絞り込むから、無駄な処理が低減されることになり、演算量が低減されるとともに、ステレオマッチングの信頼性が高くなる。
【００８１】
領域評価部１０４は、変換画像における横方向の輝度値の変化を評価するために、以下のように定義されたエッジ強度Ｅ１、Ｅ２を評価値として用いる。エッジ強度Ｅ１は第１変換画像から求められ、エッジ強度Ｅ２は第２変換画像から求められる。
Ｅ１＝｜Ｉ１（φ−１，β）−Ｉ１（φ＋１，β）｜
Ｅ２＝｜Ｉ２（α−１，β）−Ｉ２（α＋１，β）｜
なお、Ｉ１（φ，β）は第１変換画像の位置（φ，β）における輝度値であり、Ｉ２は第２変換画像の位置（α，β）における輝度値である。
【００８２】
領域評価部１０４は、図１２に示すように、第１変換画像または第２変換画像の全画素について以下の評価を行うことにより、視差推定部１０３において、第１変換画像と第２変換画像とのどちらを用いて対応点を探索するかを画素ごとに決定する。図１２に示す動作では、第１変換画像の画素に着目してエッジ強度Ｅ１を求め、当該画素に対応する第２変換画像の画素に着目してエッジ強度Ｅ２を求めている。すなわち、第１変換画像と第２変換画像との着目する画素に対して、それぞれ横方向で前後に並ぶ画素の輝度値からエッジ強度Ｅ１、Ｅ２が求められる。
【００８３】
次に、第１変換画像から求めたエッジ強度Ｅ１と第２変換画像から求めたエッジ強度Ｅ２との差の絶対値が規定の閾値Ｔ１と比較される（Ｓ１１）。エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１以下であるときには、第１変換画像と第２変換画像とのどちらから視差を求めても信頼性は同程度と考えられる。したがって、エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１以下である場合は（Ｓ１１：ｎｏ）、着目する画素は、対応点を求める際に、第１変換画像と第２変換画像との両方を用いるように定められる（Ｓ１２）。
【００８４】
一方、エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１を超える場合は（Ｓ１１：ｙｅｓ）、エッジ強度Ｅ１、Ｅ２の大小が比較される（Ｓ１３）。エッジ強度Ｅ１、Ｅ２は大きいほうが対応点の探索が容易であると考えられるから、エッジ強度Ｅ１がエッジ強度Ｅ２よりも大きい場合は（Ｓ１３：ｙｅｓ）、着目する画素は、第１変換画像を用いて対応点の探索が行われるように条件が定められる（Ｓ１４）。また、エッジ強度Ｅ１がエッジ強度Ｅ２よりも小さい場合は（Ｓ１３：ｎｏ）、着目する画素について、第２変換画像を用いて対応点の探索が行われるように条件が定められる（Ｓ１５）。
【００８５】
上述した処理は、第１変換画像のすべての画素について行われる（Ｓ１６）。また、領域評価部１０４での評価結果は、演算処理部１０に設けた記憶装置１２を介して視差推定部１０３に引き渡される。図１２の手順で対応点の探索を行う領域を振り分けると、第１変換画像２１は、図１３（ａ）のように、第１変換画像２１のみを用いる領域２１１と、第１変換画像２１および第２変換画像２２の両方を用いる領域２１２と、対応点の探索に用いない領域２１３とに分離される。また、第２変換画像２２は、図１３（ｂ）のように、第２変換画像２２のみを用いる領域２２１と、第１変換画像２１および第２変換画像２２の両方を用いる領域２２２と、対応点の探索に用いない領域２２３とに分離される。
【００８６】
本実施形態では、視差推定部１０３が対応点を探索して視差を求める処理を行う前に、領域評価部１０４が第１変換画像と第２変換画像とのどちらを用いて対応点を求めるかの条件を定めている。したがって、第１変換画像と第２変換画像とにおいて視差を求める領域が絞り込まれる。すなわち、第１変換画像と第２変換画像との全領域について対応点を求める場合に比較して演算量が低減される。しかも、領域評価部１０４は、画素ごとに求められる視差の信頼性をできるだけ高くするように、第１変換画像と第２変換画像とから対応点を探索する画素を抽出するから、求められる視差の信頼性が高くなる。
【００８７】
上述した動作では、着目する画素に対して横方向に隣接する画素からエッジ強度Ｅ１、Ｅ２を求めているが、ソーベルオペレータのように、画像処理技術においてエッジ強度を求めたり輝度値の勾配方向を求めるために用いられている他の技術を採用してもよい。他の構成および動作は実施形態１と同様であるから説明を省略する。
【００８８】
（実施形態３）
実施形態１は、カメラ１、２で撮像したすべての画素を対象として、第１変換部１０１と第２変換部１０２とにおいて撮像画像の変換を行っているから、計算量が比較的多くなっている。本実施形態では、第１変換部１０１と第２変換部１０２とにおいて撮像画像を変換する領域をあらかじめ制限することにより計算量を低減する技術について説明する。
【００８９】
第１変換部１０１と第２変換部１０２とは、それぞれ座標を変換する機能と、変換後の座標に輝度値を対応付ける機能とを備えている。座標の変換は、数１〜４を用いて行うから、一部はルックアップテーブルを用いて比較的簡単な処理で行うことができるが、変換後の座標に輝度値を対応付ける処理は、逆変換を伴うから計算量の増加につながる。
【００９０】
そこで、第１変換部１０１は、座標の変換を行った後に、図１４のように、第１変換画像２１におけるβ＝０の中心線２１０からみて角度βが規定の閾値ｈ１（たとえば、ｈ１＝３０度）以上になるという条件を満たす領域２１４のみで輝度値を対応付ける処理を行う。すなわち、第１変換部１０１は、第１変換画像２１において｜β｜≧ｈ１となる領域２１４にのみ画素値（輝度値）を与える処理を行う。
【００９１】
第１変換画像の各画素に輝度値を対応付けるには、第１変換画像の各画素の位置（φ，β）からカメラ１、２が撮像した画像の位置（ｕ，ｖ）を求める処理が必要である。さらに、求めた位置（ｕ，ｖ）の周辺の画素の輝度値を用いて補間演算により輝度値を決定する必要がある。したがって、第１変換画像の各画素に輝度値を対応付ける処理は、撮像された撮像画像の位置（ｕ，ｖ）を第１変換画像の各画素の位置（φ，β）に変換する処理よりも計算量が多くなる。これに対して、本実施形態では、輝度値を対応付ける範囲を制限したことによって、計算量の低減が可能になっている。
【００９２】
同様にして、第２変換部１０２は、座標の変換を行った後に、図１５のように、第２変換画像２２のβ＝０の中心線２２０からみて角度βが規定の閾値ｈ２（たとえば、ｈ２＝６０度）以下になるという条件を満たす領域２２４のみで輝度値を対応付ける処理を行う。すなわち、第２変換部１０２は、第２変換画像２２において｜β｜≦ｈ２となる領域２２４にのみ画素値（輝度値）を与える処理を行う。このように、第２変換画像２２についても輝度値を対応付ける範囲を制限することにより計算量が低減されることになる。
【００９３】
第１変換画像２１および第２変換画像２２が一部領域になる点を除いて実施形態１と同様であって、第１変換画像２１および第２変換画像２２が得られた後は、第１視差画像および第１一致度画像と第２視差画像および第２一致度画像を求め、視差を決定する処理を行う。また、本実施形態において示した閾値ｈ１，ｈ２は一例であって、これらの閾値ｈ１，ｈ２は適宜に設定することが可能である。とくに、撮像画像全体の視差を求める必要がない場合には、第１変換画像および第２変換画像において輝度値を対応付ける領域をさらに狭めてもよい。また、第１変換画像と第２変換画像とにおいて輝度値を対応付ける領域が重複しないように閾値ｈ１，ｈ２を設定してもよい。他の構成および動作は実施形態１と同様である。
【００９４】
ここに、本実施形態の構成は、以下の知見に基づいている。すなわち、第１変換画像２１では、角度βが大きい領域２１４で光軸に平行な面が歪みなく反映されるので、ステレオマッチングが容易になる。すなわち、領域２１４では、第２変換画像２２から求めた第２視差画像の画素値（視差）が採用される確率が低く、第１変換画像２１から求めた第１視差画像の画素値が採用される確率が高い。そのため、角度βが大きい領域２１４では第２変換画像よりも第１変換画像２１を用いることが好ましく、領域２１４では第２変換画像２２を用いないようにすれば計算量の低減を図ることができる。
【００９５】
一方、第２変換画像２２では、角度βが小さい領域において光軸に対して交差する面が歪みなく反映され、光軸に平行な面の歪みも小さい。したがって、角度βが小さい領域においては、第１変換画像２１から得られる第１視差画像の画素値（視差）よりも第２変換画像２２から求められる第２視差画像の画素値が採用される確率が高くなる。そのため、領域２１４を除く領域では、第１変換画像２１を用いないようにすれば計算量の低減を図ることができる。
【００９６】
（実施形態４）
本実施形態は、実施形態２と同様に第１変換画像および第２変換画像において一部の領域にのみ輝度値を対応付ける技術を採用することにより計算量を低減させている。実施形態２では、第１変換画像に対して用いる閾値ｈ１と、第２変換画像に対して用いる閾値ｈ２とを異ならせているが、本実施形態では第１変換画像と第２変換画像とに対して同じ閾値ｈ３を用いている点が相違する。
【００９７】
すなわち、本実施形態では、第１変換画像に対しては角度βが閾値ｈ３以上になるという条件を満たす領域に輝度値を対応付け、第２変換画像に対しては角度βが閾値ｈ３以下になるという条件を満たす領域に輝度値を対応付けている。したがって、視差を求める際に第１変換画像と第２変換画像とにおいて重複する領域がなく、それだけ計算量を低減させることができる。閾値ｈ３は、とくに制限はないが、ステレオマッチングでの一致度評価の信頼性の低下を防止するには、たとえば、４５度に設定することが好ましい。
【００９８】
上述したように、本実施形態の第１変換部１０１および第２変換部１０２の動作は、閾値ｈ３が異なる点を除いて実施形態２と同様である。ただし、第１変換部１０１で得られる第１変換画像と第２変換部で得られる第２変換画像とは角度βの重複する領域がないから、本実施形態は、図１６のように、第１変換部１０１が生成した第１変換画像と第２変換部１０２が生成した第２変換画像とを合成する画像合成部１０５を付加している。
【００９９】
したがって、カメラ１、２ごとに撮像した撮像画像から生成した第１変換画像と第２変換画像との４種類の画像を視差推定部１０３に引き渡すのではなく、画像合成部１０５が合成した後の２種類の画像を視差推定部１０３に引き渡すことになる。そのため、視差推定部１０３は、第１視差画像と第２視差画像との２種類の視差画像ではなく１種類の視差画像を生成し、また、第１一致度画像と第２一致度画像との２種類の一致度画像ではなく１種類の一致度画像を生成する。言い換えると、視差推定部１０３は、合成後の２種類の画像（変換画像）を用いて１回だけの対応付けの処理により視差を求める。
【０１００】
ところで、第１変換画像と第２変換画像とを画像合成部１０５において合成すると、境界において画像が不連続になっている場合に、ステレオマッチングでの一致度評価の信頼性が低下する場合がある。すなわち、境界において画像が不連続である場合、ブロックマッチングの技術を用いたステレオマッチングにおいて、境界を含むウインドウＷ１と走査領域Ｗ２との中に距離の異なる物体が含まれ、結果的に一致度評価の信頼性が低下することになる。
【０１０１】
この問題は、ウインドウＷ１と走査領域Ｗ２との画素数を少なくすれば低減されるが、ウインドウＷ１と走査領域Ｗ２との画素数を少なくするとＳＡＤ値の変化が小さくなり、対応点を抽出する精度が低下することになる。
【０１０２】
一方、合成された変換画像の境界が不連続になるか否かは、閾値ｈ３に依存しており、数４によれば、β＝４５度であれば、Ｙ＝Ｚであるから、α＝φとなり、閾値ｈ３が４５度であれば、変換画像の境界が連続することになる。そのため、上述したように閾値ｈ３は４５度が望ましいと言える。ただし、閾値ｈ３が４５度以外であっても、境界付近の信頼性が低下するだけであって、他の領域については視差の信頼性は低下しない。
【０１０３】
他の構成および動作は実施形態１、実施形態２と同様であって、本実施形態では第１変換画像と第２変換画像とが重複しないから、視差推定部１０３での計算量が実施形態２よりも低減される。その結果、実施形態２よりも少ない計算量で実空間の３次元情報を求めることが可能になる。また、第１変換画像と第２変換画像の境界において画素値が一致するから、境界を含む領域でブロックマッチングの技術を用いたステレオマッチングを行う場合でも、一致度の信頼性が高められる。すなわち、一致度の信頼性が高まることによりステレオマッチングの信頼性も向上する。
【０１０４】
（実施形態５）
実施形態１において説明したように、第１変換画像は縦方向の両端部においてカメラの光軸に平行な方向の歪みが少なく、第２変換画像は中央部においてカメラの光軸に直交する平面内の歪みが少ないという特性を有している。このことから、実施形態３、４のように、第１変換画像と第２変換画像とから適宜に領域を抽出すれば、縦方向の両端部および中央部において歪みの少ない領域を用いて対応点を抽出することができる。ただし、第１変換画像と第２変換画像とのいずれについても、横方向の両端部における歪みは比較的大きく、この領域は、第１変換画像と第２変換画像とのどちらを用いても他の領域と比較すると視差の信頼性が低下する。
【０１０５】
そこで、本実施形態では、カメラの台数を増加させることにより、求められる視差の信頼性を向上させている。いま、室内における天井面の中央部にカメラを配置した場合を想定する。この場合、第１変換画像は、縦方向（β方向）の両端部において鉛直方向に沿った壁面や柱の画像について歪みが少なく、また、第２変換画像は、中央部において水平面に沿った床面や机の上面の画像について歪みが少なくなる。したがって、ステレオビジョンにより３次元情報を計測するカメラを２組設け、第１変換画像の縦方向（β方向）を互いに直交させておけば、室内のすべての壁面や柱について歪みの少ない画像を得ることが可能になる。
【０１０６】
上述した知見では、２台で一組になるカメラを２組設け、合計４台のカメラによって、室内のすべての領域について歪みの少ない画像を得ることが可能になることがわかる。たとえば、ステレオビジョンのための２台のカメラ１１１、１１２を、図１７（ａ）に示すように、図の左右に並べて天井面の中央部に配置した場合、第１変換画像の中で室内の左右方向に沿った壁面３０１、３０２に相当する領域は歪みが少なくなる。一方、ステレオビジョンのためのカメラ１１３、１１４を、図１７（ｂ）に示すように、天井面に沿って図１７（ａ）に示す位置に対して９０度回転させた場合、第１変換画像の中で、上記壁面３０１、３０２に直交する壁面３０３、３０４に相当する領域は歪みが少なくなる。
【０１０７】
本実施形態では、４台のカメラ１１１、１１２、１１３、１１４のうちの１台を両方の組で共用することにより、３台のカメラを用いて４台のカメラを用いる場合と同様の機能を達成する例を示す。図１７に示す例に従って、カメラ１１１とカメラ１１３とが共用されている場合を例示する。したがって、３台のカメラ１１１、１１２、１１４を用いているものとする。３台のカメラ１１１、１１２、１１４は、直角二等辺三角形の頂点の位置に光学中心を位置させるように配置される。すなわち、共用されるカメラ１１１に対して残りのカメラ１１２、１１４が等距離に配置される。ただし、光学中心の位置が直角二等辺三角形の頂点をなすことは必須ではなく、たとえば、３台のカメラ１１１、１１２、１１４の光学中心の位置が正三角形をなすように配置することも可能である。
【０１０８】
以下では、直角二等辺三角形の頂点の位置にカメラ１１１、１１２、１１４が配置されている場合を例として説明する。ステレオビジョンにより３次元情報を計測する際は、３台のカメラ１１１、１１２、１１４のうちの２台ずつを組み合わせて用いる。つまり、２台のカメラ１１１、１１２からなる組と、２台のカメラ１１１、１１４からなる組とをそれぞれ用いてステレオビジョンによる３次元情報の計測を行う。各組ごとの３次元情報の計測は、実施形態１と同様に行われる。
【０１０９】
ところで、４台のカメラを用いる場合は、２台ずつのカメラを撮像画像の水平方向（ｘ方向）に並べて配置することができる。しかしながら、３台のカメラを用いる場合は、２台のカメラ（たとえば、カメラ１１１とカメラ１１２）を撮像画像の水平方向（ｘ方向）に並べると、他の２台のカメラ（たとえば、カメラ１１１とカメラ１１４）は撮像画像の水平方向に並ばなくなる。この場合、カメラ１１４の水平方向は、カメラ１１１、１１２のベースラインの方向と平行させるか、直交させることになる。
【０１１０】
したがって、実施形態１と同じ数式を用いて第１変換画像および第２変換画像を生成するには、図１８のように、第１変換部１０１および第２変換部１０２に前置して、撮像画像を９０度回転させるための回転処理部１０６が必要になる。ベースラインの方向が変換前の画像の水平方向に一致していない場合には、回転処理部１０６を用いて撮像画像を適宜に回転させることによって、ベースラインの方向を変換前の画像の水平方向に一致させることができる。ここに、３台のカメラ１１１、１１２、１１４がそれぞれ撮像した３枚の撮像画像は、記憶装置１２に記憶されているから、回転処理部１０６は、必要に応じて画素を読み出す方向を変更する機能があればよい。
【０１１１】
上述のように、回転処理部１０６が設けられていることにより、実施形態１と同じ数式（変換式）を用いて第１変換画像および第２変換画像を生成することが可能になる。ただし、回転処理部１０６によって撮像画像を回転させる代わりに、第１変換画像および第２変換画像への変換を行うための数式により回転と等価な変換を行ってもよい。
【０１１２】
上述した構成によって、第１変換画像および第２変換画像は２組ずつ生成される。各組ごとの処理は実施形態１と同様であって、第１変換画像の組と第２変換画像の組とを用いて視差が求められる。ここに、視差は組ごとに得られるから、選択処理部１０７を用いて信頼性の高いほうの視差を選択する。視差の信頼性の評価には、実施形態１と同様に、一致度Ｄｓの評価を行えばよい。なお、この動作では選択処理部１０７において一致度Ｄｓの評価を行うから、選択処理部１０７には、第１一致度画像および第２一致度画像も与えられる。
【０１１３】
他の構成および動作は実施形態１と同様であるから説明を省略する。また、本実施形態は、実施形態２〜４の構成および動作と組み合わせて用いることが可能である。ここに、上述したように、第２変換画像は中央部において水平面に沿った床面や机の上面の歪みが少なく、第１変換画像は縦方向の両端部において鉛直方向に沿った壁面や柱の歪みが少ない。したがって、実施形態３、４のように領域を選択する場合は、各組ごとに第１変換画像の縦方向における両端部の領域を選択すれば、室内全体において対応点の探索が容易になる。さらに、実施形態２のように、対応点の探索が容易になる領域を評価する場合、各組ごとに第１変換画像と第２変換画像との評価を行い、さらに、異なる組について同様の評価を行えばよい。異なる組について評価を行う場合、エッジ強度の差の大小を比較し、エッジ強度の差が大きい組を優先して採用すればよい。
【符号の説明】
【０１１４】
１、２ カメラ
１１１、１１２、１１３、１１４ カメラ
１０ 演算処理部
１０１ 第１変換部
１０２ 第２変換部
１０３ 視差推定部
１０４ 領域評価部
１０５ 画像合成部
１０６ 回転処理部
１０７ 選択処理部
【特許請求の範囲】
【請求項１】
光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラと、前記カメラがそれぞれ撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求める演算処理部とを備え、前記撮像画像における画素の位置が前記カメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台の前記カメラから選択される２台の前記カメラの光学中心を結ぶ第１方向と前記カメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるように前記カメラごとに規定された第２座標系とを用い、前記演算処理部は、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、前記第１変換画像および前記第２変換画像を用いて前記２台の前記カメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備えることを特徴とするステレオカメラ装置。
【請求項２】
前記視差推定部は、前記２台の前記カメラごとに撮像した前記画像からそれぞれ生成される２枚の前記第１変換画像における対応点を抽出することにより前記部位に対する視差を求めるとともに当該対応点の一致度を評価し、前記カメラごとに撮像した前記画像を用いてそれぞれ生成される２枚の前記第２変換画像における対応点を抽出することにより前記部位に対する視差を求めるとともに当該対応点の一致度を評価し、前記第１変換画像と前記第２変換画像との画素ごとに求めた視差のうち前記部位が同じである画素については、一致度が高いほうの視差を当該部位の視差として採用することを特徴とする請求項１記載のステレオカメラ装置。
【請求項３】
前記第１変換画像と前記第２変換画像との両方について着目する画素ごとに周囲の輝度値の変化に関する評価値を求め、前記評価値の差が規定の閾値を超える場合は前記第１変換画像と前記第２変換画像とのうち輝度値の変化が大きいほうを当該画素の対応点の抽出に用い、前記評価値の差が前記閾値未満の場合に前記第１変換画像と前記第２変換画像との両方を当該画素の対応点の抽出に用いるように条件を定める領域評価部が付加され、前記視差推定部は、前記領域評価部が定めた前記条件に従って画素ごとに対応点を抽出することを特徴とする請求項２記載のステレオカメラ装置。
【請求項４】
前記第１変換部および前記第２変換部は、前記第１変換画像と前記第２変換画像とについて、前記第１変換画像と前記第２変換画像との一方を用いて前記対応点を抽出する第１の領域と、前記第１変換画像と前記第２変換画像との両方を用いて前記対応点を抽出する第２の領域とのうち、少なくとも前記第１の領域をあらかじめ与えられた条件に従って定める機能を有することを特徴とする請求項２記載のステレオカメラ装置。
【請求項５】
請求項１〜４のいずれか１項に記載のステレオカメラ装置を２組備え、前記ステレオカメラ装置ごとに設けられた前記２台ずつの前記カメラが、前記第１方向を互いに交差させるとともに前記カメラの光軸を平行にして配置され、前記ステレオカメラ装置ごとに設けられた前記視差推定部が推定した視差のうち信頼性の高いほうの視差を選択する選択処理部を備えることを特徴とするステレオカメラシステム。
【請求項６】
前記ステレオカメラ装置ごとに設けられた前記２台ずつの前記カメラのうち各１台が共用されていることを特徴とする請求項５記載のステレオカメラシステム。
【請求項７】
光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラが撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求めるステレオカメラ装置に用いられ、前記撮像画像における画素の位置が前記カメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台の前記カメラから選択される２台の前記カメラの光学中心を結ぶ第１方向と前記カメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるように前記カメラごとに規定された第２座標系とを用い、コンピュータを、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、前記第１変換画像および前記第２変換画像を用いて前記２台の前記カメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備える演算処理部として機能させるプログラム。
【請求項１】
光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラと、前記カメラがそれぞれ撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求める演算処理部とを備え、前記撮像画像における画素の位置が前記カメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台の前記カメラから選択される２台の前記カメラの光学中心を結ぶ第１方向と前記カメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるように前記カメラごとに規定された第２座標系とを用い、前記演算処理部は、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、前記第１変換画像および前記第２変換画像を用いて前記２台の前記カメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備えることを特徴とするステレオカメラ装置。
【請求項２】
前記視差推定部は、前記２台の前記カメラごとに撮像した前記画像からそれぞれ生成される２枚の前記第１変換画像における対応点を抽出することにより前記部位に対する視差を求めるとともに当該対応点の一致度を評価し、前記カメラごとに撮像した前記画像を用いてそれぞれ生成される２枚の前記第２変換画像における対応点を抽出することにより前記部位に対する視差を求めるとともに当該対応点の一致度を評価し、前記第１変換画像と前記第２変換画像との画素ごとに求めた視差のうち前記部位が同じである画素については、一致度が高いほうの視差を当該部位の視差として採用することを特徴とする請求項１記載のステレオカメラ装置。
【請求項３】
前記第１変換画像と前記第２変換画像との両方について着目する画素ごとに周囲の輝度値の変化に関する評価値を求め、前記評価値の差が規定の閾値を超える場合は前記第１変換画像と前記第２変換画像とのうち輝度値の変化が大きいほうを当該画素の対応点の抽出に用い、前記評価値の差が前記閾値未満の場合に前記第１変換画像と前記第２変換画像との両方を当該画素の対応点の抽出に用いるように条件を定める領域評価部が付加され、前記視差推定部は、前記領域評価部が定めた前記条件に従って画素ごとに対応点を抽出することを特徴とする請求項２記載のステレオカメラ装置。
【請求項４】
前記第１変換部および前記第２変換部は、前記第１変換画像と前記第２変換画像とについて、前記第１変換画像と前記第２変換画像との一方を用いて前記対応点を抽出する第１の領域と、前記第１変換画像と前記第２変換画像との両方を用いて前記対応点を抽出する第２の領域とのうち、少なくとも前記第１の領域をあらかじめ与えられた条件に従って定める機能を有することを特徴とする請求項２記載のステレオカメラ装置。
【請求項５】
請求項１〜４のいずれか１項に記載のステレオカメラ装置を２組備え、前記ステレオカメラ装置ごとに設けられた前記２台ずつの前記カメラが、前記第１方向を互いに交差させるとともに前記カメラの光軸を平行にして配置され、前記ステレオカメラ装置ごとに設けられた前記視差推定部が推定した視差のうち信頼性の高いほうの視差を選択する選択処理部を備えることを特徴とするステレオカメラシステム。
【請求項６】
前記ステレオカメラ装置ごとに設けられた前記２台ずつの前記カメラのうち各１台が共用されていることを特徴とする請求項５記載のステレオカメラシステム。
【請求項７】
光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラが撮像した複数枚の撮像画像から視野内の各部位の３次元情報を求めるために当該部位に対する視差を求めるステレオカメラ装置に用いられ、前記撮像画像における画素の位置が前記カメラごとに受光面に規定した２次元の直交座標で表される第１座標系と、前記複数台の前記カメラから選択される２台の前記カメラの光学中心を結ぶ第１方向と前記カメラごとの光軸の方向である第２方向と第１方向および第２方向に直交する第３方向との３軸の周りのそれぞれの角度によって原点から前記部位を見込む方向が表されるように前記カメラごとに規定された第２座標系とを用い、コンピュータを、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第２方向の軸周りの角度を水平方向の位置として表される第１変換画像に変換する第１変換部と、前記撮像画像を第１方向の軸周りの角度を垂直方向の位置とし第３方向の軸周りの角度を水平方向の位置として表される第２変換画像に変換する第２変換部と、前記第１変換画像および前記第２変換画像を用いて前記２台の前記カメラの視野における前記部位を対応付けることにより前記部位に対する視差を求める視差推定部とを備える演算処理部として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２４７３６４（Ｐ２０１２−２４７３６４Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２０７５７（Ｐ２０１１−１２０７５７）
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]