ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラム
【課題】ステレオマッチング処理の速度と精度を向上する。
【解決手段】画像データ入力部１０は、複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する。基準視差設定部１２は、複数の画像に対応して基準の視差を設定する。探索範囲設定部１３は、基準視差設定部１２で設定された基準の視差を与える画像の点を基準に、画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する。ステレオマッチング部１１は、複数の画像の一つの画像内の任意の点について、基準視差設定部１２で設定された基準の視差を与える他の画像の点を基準に、探索範囲設定部１３で設定された探索範囲で、他の画像の対応する点を探索する。
【解決手段】画像データ入力部１０は、複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する。基準視差設定部１２は、複数の画像に対応して基準の視差を設定する。探索範囲設定部１３は、基準視差設定部１２で設定された基準の視差を与える画像の点を基準に、画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する。ステレオマッチング部１１は、複数の画像の一つの画像内の任意の点について、基準視差設定部１２で設定された基準の視差を与える他の画像の点を基準に、探索範囲設定部１３で設定された探索範囲で、他の画像の対応する点を探索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラムに関する。より詳しくは、ステレオ画像から３次元データを自動生成する方法に関する。
【背景技術】
【０００２】
ステレオ画像から３次元データを自動生成する方法として、人工衛星や航空機等から得られる画像を基に、地形を示す３次元データ［ＤＳＭ（Digital Surface Model）データ］をステレオマッチングによって生成する方法が広く行われている。ここで、ステレオマッチング処理とは異なる視点から撮影した２枚の画像、いわゆるステレオ画像について、同一の点を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって対象までの奥行きや形状を求めることである。
【０００３】
このステレオマッチング処理については既に様々な手法が提案されている。例えば、特許文献１には、一般的に広く用いられている面積相関法を用いる手法が開示されている。この面積相関法は左画像中に相関窓を設定してこれをテンプレートとし、右画像中の探索窓を動かしてテンプレートとの相互相関係数を算出し、これを一致度とみなして高いものを探索することによって対応点を得る方法である。
【０００４】
上記の方法においては処理量を軽減するために、探索窓の移動範囲を画像中のエピポーラ線方向に限定することによって、左画像中の各点について、対応する右画像中の点のｘ方向の位置ずれ量、すなわち視差を得ることができる。ここで、エピポーラ線とはステレオ画像において片方の画像中のある点について、他方の画像中で当該点に対応する点の存在範囲として引くことができる直線である。エピポーラ線については、「画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、１９９１年１月、頁５９７−５９９）に記載されている。
【０００５】
通常、エピポーラ線方向は画像の走査線方向とは異なるが、座標変換を行うことで、エピポーラ線方向を画像の走査線方向に一致させ、再配列を行うことができる。この座標変換の方法については上記の「画像解析ハンドブック」に記載されている。上記のような再配列を行ったステレオ画像においては、対応点の探索窓の移動範囲を走査線上に限定することができるため、視差は左右画像中の対応点同士のｘ座標の差として得られる。
【０００６】
ステレオ画像にはそれぞれ、物体の影になる部分（オクルージョン領域）が発生する。このオクルージョン領域にステレオマッチングの対応を与えないことによって、正確な対応を与えるマッチング方式が提案されている（特許文献２参照）。
【０００７】
また、特許文献３には、衛星ステレオ画像や航空ステレオ画像からオペレータを介さずに自動的に複雑な対象に対して３次元データが得られるステレオ画像処理装置の技術が記載されている。特許文献３の技術では、ステレオ処理手段によって得られた３次元データ中の雑音や欠損等の誤ったデータを、地図データ蓄積手段の地図データから得られる建造物等の外形情報を用いて自動的に補正する。地図データ蓄積手段はＤＳＭデータ自動補正手段に対して建造物の外形等の地図データを提供する。
【０００８】
【特許文献１】特開平３−１６７６７８号公報
【特許文献２】特開平４−２９９４７４号公報
【特許文献３】特開２００２−１５７５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ステレオマッチング処理を行う１組の画像で、一方の画像内のある点について、他方の画像の対応する点を探索するときに、画像の走査線（エピポーラ線）全体に亘って探索するのでは、処理に時間がかかり、また、ミスマッチングの確率が増加する。
【００１０】
本発明は上述の事情に鑑みてなされたもので、ステレオマッチング処理の速度と精度を向上することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点に係るステレオマッチング処理装置は、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段と、
を備えることを特徴とする。
【００１２】
本発明の第２の観点に係るステレオマッチング処理方法は、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得ステップと、
前記複数の画像に対応して基準の視差を設定する基準視差設定ステップと、
前記基準視差設定ステップで設定された基準の視差を与える画像の点を基準に、前記画像データの範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定ステップと、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定ステップで設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定ステップで設定された探索範囲で前記他の画像の対応する点を探索する探索ステップと、
を備えることを特徴とする。
【００１３】
本発明の第３の観点に係るプログラムは、
コンピュータを、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段
として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ステレオ画像から３次元データを自動生成する方法においてステレオマッチング処理の速度と精度を向上できる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１に係るステレオ画像処理装置の構成例を示すブロック図である。ステレオ画像処理装置１は、画像データ入力部１０、ステレオマッチング部１１、基準視差設定部１２および探索範囲設定部１３を備える。ステレオ画像処理装置１は、高さ計算部２に接続される。
【００１７】
画像データ入力部１０は、画像データを入力する機能を有し、ステレオマッチング処理に使用する複数の画像データを入力する。画像データは、例えば、デジタル画像に変換された航空写真の画像である。画像データには、画像を撮影した位置、撮影した方向、画角などが含まれる。
【００１８】
図２は、画像データに変換される航空写真の一例を模式的に示す。図２に示される航空写真は、上空を飛行する航空機から連続撮影された、航空写真１０１Ａと航空写真１０１Ｂから構成される。航空写真１０１Ａと航空写真１０１Ｂとは、航空機の進行方向について６０％オーバーラップして撮影されたものである。オーバーラップ部分は、異なる位置から同じ領域を撮影した画像である。
【００１９】
本実施例における画像は、航空写真１０１Ａ、航空写真１０１Ｂを一例とする航空写真がデジタル変換されて生成された画像である。本発明に用いる画像は、航空画像に限定されるものではなく、デジタル化された衛星写真による画像や、一般的なデジタルカメラで撮影したデジタル画像や、一般的なアナログカメラで撮影したアナログ写真をスキャニングでデジタル化したデジタル画像などであってもよい。
【００２０】
図１のステレオマッチング部１１は、異なる位置から同じ領域を撮影した複数の画像データに対して、同じ地点を写す画像内の位置を検出する。すなわち、複数の画像の同じ地点に対応する点の組を検出する。同じ地点に対応する点の組は、通常２つの画像の中で、対応する付近の小領域の画像相関をとり、相関係数が最大となる位置から検出される。
【００２１】
なお、ステレオマッチング処理を行うための手法には、一般的な特徴量を求めて対応付けるものや、左右画像の相関を求めるものなど、様々なものが存在するが、本実施例におけるステレオマッチング処理に使用される手法に制限はない。例えば、特公平８−１６９３０に記載のステレオマッチング処理を使用してもよい。
【００２２】
高さ計算部２は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、ＤＳＭデータを生成する。例えば、一組の航空写真１０１Ａ、航空写真１０１Ｂ間では、対応する地物の位置が、所定の位置ずれ(視差)を生じているので、ステレオマッチング処理は、この位置ずれを計測することにより、標高値を含む地物の表層の高さ、および水平方向の座標、すなわち３次元データを求める。
【００２３】
図３は、実世界の地上の状態の一例を示す模式図である。図３は、実世界の一部の断面を示したものであり、起伏のある地形の上に地物が存在する。
【００２４】
図４は、図３に示す実世界の一部を撮影した画像から、ステレオマッチング処理により生成したＤＳＭデータを示す模式図である。ＤＳＭデータは、最表面の高さデータを表すため、屋根等で隠された地表面については、標高値を含む屋根の高さを表す。
【００２５】
図１の基準視差設定部１２は、２つの画像で対応する点を探索する基準の視差を与える視差を設定する。例えば、実空間におけるステレオマッチングで探索すべき範囲の基準の高さを与える視差を基準に設定する。探索範囲設定部１３は、基準視差設定部１２で設定された基準の視差を与える画像の点を基準に、ステレオマッチング部１１で対応する点を探索する範囲を設定する。通常は、画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲として設定する。
【００２６】
図４は、基準標高と探索範囲に対応する高さを概念的に示す。例えば、図３のような起伏のある地表について、航空機の高度の原点の高さＧから所定の高さＨの線ＳＬで表される面を基準の標高とする。そして、線ＳＬの面を基準にして、線ＢＬから線ＵＬの間の範囲を実空間における探索範囲に相当する高さＳＨとする。
【００２７】
図５は、探索範囲を説明する探索平面を示す。図５は、航空写真１０１Ａを変換した画像の走査線（エピポーラ線）Ａと、航空写真１０１Ｂを変換した画像の、走査線Ａに対応する走査線（エピポーラ線）Ｂを垂直に配置したものである。軸ＡＢによって構成される平面を一般に探索平面と呼ぶ。Ａ、Ｂ上のブロックの中心位置は、それぞれ縦線、横線で表現され、２つの画像の間の一つの対応は、縦線と横線の交点で表される。ステレオマッチング部１１は、２つの画像の対応する点を、走査線Ａと走査線Ｂの上で探索する。探索平面で４５度の角度の線は、２つの画像において視差が一定、すなわち一定の高さを示す。
【００２８】
図５において、線ｇｌは例えば地面の基準の高さに相当する視差の線であり、航空機の高度の原点を表すとする。線ｓｐは、基準視差を与える高さであり図４の線ＳＬに対応する。幅ＳＰは図４の高さＨに相当する。図５の線ｕは、図４の線ＵＬに対応し、線ｌは図４の線ＢＬに対応する。線ｕと線ｌに囲まれる幅Ｒの範囲が探索範囲を示す。
【００２９】
ステレオマッチング部１１は、例えば図５の線ｕと線ｌの間で、ＡＢ間の対応の組合せを探索する。走査線Ａの上のある点に対応する走査線Ｂの点は、走査線Ａのその点を通る縦線の線ｕと線ｌの間の部分で探索される。走査線Ｂの点を決めて、走査線Ａの対応点を探索する場合は、走査線Ｂのその点を通る横線のと線ｕと線ｌの間の部分で探索されることになる。
【００３０】
図６は、探索範囲の一例を示す。地面の起伏の高低差がわかっている場合に、それを含めて想定される最大高さの地物を探索する範囲を定めることができる。図６では、起伏に対応する視差が線ｌｓで表されている。探索範囲は、起伏の平均高さに地物の想定平均の高さを加えた視差ｓｐを基準に、起伏の高低差を含めた範囲Ｒの線ｕと線ｌで示される。
【００３１】
地表の標高がわかっている場合に、その高低差と想定される地物の高さを含めて探索範囲を設定することにより、ステレオマッチング処理を速く行うことができる。また、探索範囲を限定するので、２つの画像の対応点を誤認識する可能性が減少する。
【００３２】
図７は、実施の形態１に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ１１）。基準視差設定部１２は、例えば、その領域の平均の標高と想定される地物の高さから、基準の視差を設定する（ステップＳ１２）。探索範囲設定部１３は、その領域の標高差と地物の高さから、基準の視差に対して探索範囲を設定する（ステップＳ１３）。
【００３３】
ステレオマッチング部１１は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、設定された探索範囲で他の画像の対応する点を探索する（ステップＳ１４）。高さ計算部２は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する（ステップＳ１５）。
【００３４】
本実施の形態１のステレオ画像処理装置１によれば、高低差と想定される地物の高さを含めて基準の視差および探索範囲を設定することにより、ステレオマッチング処理を速く行うことができる。また、探索範囲を限定するので、２つの画像の対応点を誤認識する可能性が減少する。
【００３５】
（実施の形態２）
図８は、本発明の実施の形態２に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態２では、地図データの標高データに基づいて、基準の視差および探索範囲を設定する。
【００３６】
図８のステレオ画像処理装置１は、実施の形態１の構成に加えて、地図データ入力部１４と領域分割部１５を備える。地図データ入力部１４は、入力した画像データの対象の地域の地図データを入力する。地図データは、地図のメッシュの各点における標高データを含む。
【００３７】
領域分割部１５は、入力した画像データを標高データに応じて分割する。標高データの高低差が小さければ、画像全体を分割せず１つの領域とする場合もある。画像の範囲の地図データで高低差が所定の範囲を超えていれば、画像を複数の領域に分割する。
【００３８】
基準視差設定部１２は、領域分割部１５で分割された領域ごとに、標高データに基づいて基準の視差を設定する。探索範囲設定部１３はまた、標高データの高低差と想定される地物の高さを考慮して、分割された領域ごとに探索範囲を設定する。
【００３９】
ステレオマッチング部１１は、分割された領域ごとに設定された基準の視差と探索範囲に合わせて、複数の画像の対応する点を探索して、対応点の組を抽出する。高さ計算部２は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、ＤＳＭデータを生成する。
【００４０】
図９は、分割した領域ごとに基準の視差と探索範囲を設定する探索平面の例を示す。図９の例では、地表の起伏ｌｓに合わせて４つの領域に分割されている。各領域において基準の視差をｓｐ１、ｓｐ２、ｓｐ３、ｓｐ４としている。そして、１つめの領域では、ｕ１、ｌ１を境界とする幅Ｒ１の範囲を探索範囲に設定している。以下、ｕ２、ｌ２を境界とする幅Ｒ２の範囲、ｕ３、ｌ３を境界とする幅Ｒ３の範囲、ｕ４、ｌ４を境界とする幅Ｒ４の範囲をそれぞれ探索範囲とする。
【００４１】
図９に示すように、探索範囲は図６に比べて小さくなっている。起伏の高低差がある場合に、画像の範囲を複数の領域に分割し、分割した領域ごとに探索範囲を設定することにより、探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００４２】
なお、領域分割は、領域内の高低差が所定の値以下になるように設定できる。あるいは、画像範囲の高低差に応じて分割数を決めてもよい。
【００４３】
図１０は、実施の形態２に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ２１）と、地図データ入力部１４は、その対象の地域の地図データを入力する（ステップＳ２２）。領域分割部１５は、地図データに含まれる標高データに基づいて、画像を領域に分割する（ステップＳ２３）。
【００４４】
基準視差設定部１２は、標高データと分割領域に基づいて、分割された領域ごとに基準の視差を設定する（ステップＳ２４）。探索範囲設定部１３は、分割された領域の高低差に応じて、領域ごとに探索範囲を設定する（ステップＳ２５）。
【００４５】
ステレオマッチング部１１は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、領域ごとに設定された探索範囲で他の画像の対応する点を探索する（ステップＳ２６）。高さ計算部２は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する（ステップＳ２７）。
【００４６】
実施の形態２のステレオ画像処理装置１によれば、地図データの標高データに合わせて探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００４７】
（実施の形態３）
図１１は、実施の形態３に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態３のステレオ画像処理装置１は、実施の形態１の構成に加えて、基準点設定部１６を備える。
【００４８】
基準点設定部１６は、画像データ入力部１０で入力した画像の中から、所定の方法で基準の視差を設定する基準の点を選択する。例えば基準の点は、画像の大きさと尺度に応じた数の点をランダムに選択する。また、所定の分布の点を選択するのでもよい。
【００４９】
基準点設定部１６は、選択した点について、ステレオマッチング部１１で複数の画像で対応する点の組を抽出する。また、選択した点の３次元データを計算する。そして、選択した点の３次元データを基準視差設定部１２に送る。
【００５０】
基準視差設定部１２は、基準点設定部１６から受け取った３次元データから、所定の方法で基準の視差を設定する。例えば、３次元データの高さの平均または中央値を基準標高として、基準標高に対応する視差を基準の視差とする。あるいは、所定の分割領域ごとに平均して、それぞれの領域ごとに基準の視差を設定してもよい。
【００５１】
探索範囲設定部１３は、基準の視差に合わせて探索範囲を設定する。例えば、選択された点の３次元データの高さの分散を考慮して、探索範囲を設定することができる。また、画像の範囲が複数の領域に分割される場合には、分割された領域ごとに探索範囲を設定してもよい。
【００５２】
ステレオマッチング部１１は、設定された基準の視差探索範囲に合わせて、複数の画像の対応する点を探索して、対応点の組を抽出する。分割された領域ごとに基準の視差と探索範囲が設定されている場合には、その探索範囲で対応する点を探索する。高さ計算部２は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、ＤＳＭデータを生成する。
【００５３】
図１２は、実施の形態３に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ３１）と、基準点設定部１６は所定の方法で画像の中の基準点を選択する（ステップＳ３２）。ステレオマッチング部１１は、選択された基準点についてステレオマッチング処理を行って、複数の画像で対応する組を抽出する（ステップＳ３３）。
【００５４】
基準点設定部１６は、選択した点の対応の組から基準点の高さを計算する（ステップＳ３４）。基準視差設定部１２は、基準点の高さに基づいて、基準の視差を設定する（ステップＳ３５）。ここで、基準視差設定部１２は、選択した点の対応の組に基づいて基準の視差を設定してもよい（基準点設定部１６で基準点の高さを計算しなくてもよい）。探索範囲設定部１３は、基準の視差に合わせて探索範囲を設定する（ステップＳ３６）。
【００５５】
ステレオマッチング部１１は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、領域ごとに設定された探索範囲で他の画像の対応する点を探索する（ステップＳ３７）。高さ計算部２は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する（ステップＳ３８）。
【００５６】
実施の形態３のステレオ画像処理装置１によれば、地図データがない場合でも、画像に適合するように探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００５７】
（実施の形態４）
図１３は、実施の形態４に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態４のステレオ画像処理装置１は、実施の形態３の基準点を外部から入力する。図１３のステレオ画像処理装置１は、実施の形態３の構成に加えて、基準点入力部１７を備える。
【００５８】
基準点入力部１７は、基準点の画像内の位置を示すデータを入力する。例えば、画像データを表示装置（図示せず）に表示して、その画面の上で選択された点を入力してもよい。また画像内の座標をデータで入力してもよい。
【００５９】
基準点設定部１６、基準視差設定部１２、探索範囲設定部１３およびステレオマッチング部１１の動作は、実施の形態３と同様である。
【００６０】
実施の形態４では、入力した画像から適切と考えられる基準点を設定することができる。例えば、高層ビルなどの航空標識灯、鉄塔の特徴点、ビルなど人工的な地物の特徴点など、基準の標高に適切と考えられ、ステレオマッチング処理が正確に行える点を選択することができる。
【００６１】
図１４は、実施の形態４に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ４１）と、基準点入力部１７はその画像内の基準点の位置を示すデータを入力する（ステップＳ４２）。選択する基準点は、複数あってもよい。
【００６２】
基準点設定部１６は、入力された点の位置をステレオマッチング部１１におくり、ステレオマッチング部１１は、選択された基準点についてステレオマッチング処理を行って、複数の画像で対応する組を抽出する（ステップＳ４３）。基準点設定部１６は、選択した点の対応の組から基準点の高さを計算する（ステップＳ４４）。以降、基準視差設定（ステップＳ４５）から対応高さ計算（ステップＳ４８）は、図１２のステップＳ３５〜ステップＳ３８と同様である。
【００６３】
実施の形態４のステレオ画像処理装置１によれば、実施の形態３に加えて、画像に合わせて適切な基準の視差で、かつ、ステレオマッチング処理が正確に行える点を選択することができる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００６４】
（実施の形態５）
図１５は、実施の形態５に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態５のステレオ画像処理装置１は、実施の形態３の基準点とそれにステレオマッチングについて対応する組を外部から入力する。図１５のステレオ画像処理装置１は、実施の形態３の基準点入力部１７および基準点設定部１６に代えて、基準対応点入力部１８を備える。
【００６５】
基準対応点入力部１８は、基準点の画像内の位置と、それにステレオマッチング対応する他の画像内の点の位置を示すデータを入力する。例えば、２つの画像データを表示装置（図示せず）に表示して、その画面の上で選択された対応点の組を入力してもよい。また２つの画像内の対応点の組の座標をデータで入力してもよい。
【００６６】
基準視差設定部１２、探索範囲設定部１３およびステレオマッチング部１１の動作は、実施の形態１と同様である。
【００６７】
実施の形態５では、入力した画像から適切と考えられる基準対応点を設定することができる。例えば、高層ビルなどの航空標識灯、鉄塔の特徴点、ビルなど人工的な地物の特徴点など、基準の標高に適切と考えられ、ステレオマッチングしている対応点を選択することができる。
【００６８】
図１６は、実施の形態５に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ５１）と、基準対応点入力部１８はそれらの画像のうち２つの画像でステレオマッチング対応する基準対応点の位置を示すデータを入力する（ステップＳ５２）。選択する基準点は、複数あってもよい。
【００６９】
以降、基準視差設定（ステップＳ５３）から対応高さ計算（ステップＳ５６）は、図１２のステップＳ３５〜ステップＳ３８と同様である。
【００７０】
実施の形態５のステレオ画像処理装置１によれば、画像に合わせて適切な基準の視差で、かつ、ステレオマッチングしている対応点を選択することにより、基準の視差と探索範囲を設定することができる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００７１】
図１７は、ステレオ画像処理装置１をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。本実施の形態に係るステレオ画像処理装置１は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができる。ステレオ画像処理装置１は、図１７に示すように、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６を備える。主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６はいずれも内部バス２０を介して制御部２１に接続されている。
【００７２】
制御部２１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部２３に記憶されている制御プログラム３０に従って、ステレオマッチング処理を実行する。
【００７３】
主記憶部２２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部２３に記憶されている制御プログラム３０をロードし、制御部２１の作業領域として用いられる。
【００７４】
外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部２１に行わせるための制御プログラム３０を予め記憶し、また、制御部２１の指示に従って、この制御プログラム３０が記憶するデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。
【００７５】
操作部２４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス２０に接続するインターフェース装置から構成されている。操作部２４を介して、画像データの入力、送受信などの指示、表示する画像の指定、基準の標高を設定する基準点の画像内の位置などが入力され、制御部２１に供給される。
【００７６】
表示部２５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、画像やステレオマッチング処理された結果を表示する。
【００７７】
入出力部２６は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェース等から構成されている。入出力部２６を介して、画像データを受信し、また計算した結果を送信できる。
【００７８】
図１、８、１１、１３または１５に示すステレオ画像処理装置１の画像データ入力部１０、ステレオマッチング部１１、基準視差設定部１２、探索範囲設定部１３、地図データ入力部１４、領域分割部１５、基準点設定部１６、基準点入力部１７および基準対応点入力部１８の処理は、制御プログラム３０が、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６などを資源として用いて処理することによって実行する。
【００７９】
その他、本発明の好適な変形として、以下の構成が含まれる。
【００８０】
本発明の第１の観点に係るステレオマッチング処理装置について、
好ましくは、前記基準視差設定手段は、前記複数の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定手段は、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする。
【００８１】
好ましくは、前記複数の画像に対応する地図の標高データを取得する地図データ取得手段を備え、
前記基準視差設定手段は、前記地図データ取得手段で取得した標高データに基づいて前記基準の視差を設定する。
【００８２】
または、前記基準視差設定手段は、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８３】
さらに、前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力手段を備え、
前記基準視差設定手段は、前記基準点入力手段で取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８４】
あるいはまた、前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力手段を備え、
前記基準視差設定手段は、前記対応点入力手段で入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定してもよい。
【００８５】
本発明の第２の観点に係るステレオマッチング処理方法について、
好ましくは、前記基準視差設定ステップは、前記ステレオマッチング処理を行う１組の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定ステップは、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする。
【００８６】
好ましくは、前記複数の画像に対応する地図の標高データを取得する地図データ取得ステップを備え、
前記基準視差設定ステップは、前記地図データ取得ステップで取得した標高データに基づいて前記基準の視差を設定する。
【００８７】
または、前記基準視差設定ステップは、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８８】
さらに、前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力ステップを備え、
前記基準視差設定ステップは、前記基準点入力ステップで取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８９】
あるいはまた、前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力ステップを備え、
前記基準視差設定ステップは、前記対応点入力ステップで入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定してもよい。
【００９０】
その他、前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００９１】
制御部２１、主記憶部２２、外部記憶部２３、操作部２４、入出力部２６および内部バス２０などから構成されるステレオ画像処理装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するステレオ画像処理装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでステレオ画像処理装置１を構成してもよい。
【００９２】
また、ステレオ画像処理装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００９３】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施の形態１に係るステレオ画像処理装置の構成例を示すブロック図である。
【図２】画像データに変換される航空写真の一例を模式的に示す図である。
【図３】実世界の地上の状態の一例を示す模式図である。
【図４】図３に示す実世界の一部を撮影した画像から、ステレオマッチング処理により生成したＤＳＭデータを示す模式図である。
【図５】探索範囲を説明する探索平面を示す図である。
【図６】探索範囲の一例を示す図である。
【図７】実施の形態１に係る高さ標定処理の動作の一例を示すフローチャートである。
【図８】本発明の実施の形態２に係るステレオ画像処理装置の構成例を示すブロック図である。
【図９】分割した領域ごとに基準の標高と探索範囲を設定する探索平面の例を示す図である。
【図１０】実施の形態２に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１１】実施の形態３に係るステレオ画像処理装置１の構成例を示すブロック図である。
【図１２】実施の形態３に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１３】実施の形態４に係るステレオ画像処理装置１の構成例を示すブロック図である
【図１４】実施の形態４に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１５】実施の形態５に係るステレオ画像処理装置１の構成例を示すブロック図である
【図１６】実施の形態５に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１７】ステレオ画像処理装置１をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。
【符号の説明】
【００９５】
１ ステレオ画像処理装置
２ 高さ計算部
１０ 画像データ入力部
１１ ステレオマッチング部
１２ 基準視差設定部
１３ 探索範囲設定部
１４ 地図データ入力部
１５ 領域分割部
１６ 基準点設定部
１７ 基準点入力部
１８ 基準対応点入力部
２１ 制御部
２２ 主記憶部
２３ 外部記憶部
２４ 操作部
２５ 表示部
２６ 入出力部
３０ 制御プログラム
【技術分野】
【０００１】
本発明は、ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラムに関する。より詳しくは、ステレオ画像から３次元データを自動生成する方法に関する。
【背景技術】
【０００２】
ステレオ画像から３次元データを自動生成する方法として、人工衛星や航空機等から得られる画像を基に、地形を示す３次元データ［ＤＳＭ（Digital Surface Model）データ］をステレオマッチングによって生成する方法が広く行われている。ここで、ステレオマッチング処理とは異なる視点から撮影した２枚の画像、いわゆるステレオ画像について、同一の点を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって対象までの奥行きや形状を求めることである。
【０００３】
このステレオマッチング処理については既に様々な手法が提案されている。例えば、特許文献１には、一般的に広く用いられている面積相関法を用いる手法が開示されている。この面積相関法は左画像中に相関窓を設定してこれをテンプレートとし、右画像中の探索窓を動かしてテンプレートとの相互相関係数を算出し、これを一致度とみなして高いものを探索することによって対応点を得る方法である。
【０００４】
上記の方法においては処理量を軽減するために、探索窓の移動範囲を画像中のエピポーラ線方向に限定することによって、左画像中の各点について、対応する右画像中の点のｘ方向の位置ずれ量、すなわち視差を得ることができる。ここで、エピポーラ線とはステレオ画像において片方の画像中のある点について、他方の画像中で当該点に対応する点の存在範囲として引くことができる直線である。エピポーラ線については、「画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、１９９１年１月、頁５９７−５９９）に記載されている。
【０００５】
通常、エピポーラ線方向は画像の走査線方向とは異なるが、座標変換を行うことで、エピポーラ線方向を画像の走査線方向に一致させ、再配列を行うことができる。この座標変換の方法については上記の「画像解析ハンドブック」に記載されている。上記のような再配列を行ったステレオ画像においては、対応点の探索窓の移動範囲を走査線上に限定することができるため、視差は左右画像中の対応点同士のｘ座標の差として得られる。
【０００６】
ステレオ画像にはそれぞれ、物体の影になる部分（オクルージョン領域）が発生する。このオクルージョン領域にステレオマッチングの対応を与えないことによって、正確な対応を与えるマッチング方式が提案されている（特許文献２参照）。
【０００７】
また、特許文献３には、衛星ステレオ画像や航空ステレオ画像からオペレータを介さずに自動的に複雑な対象に対して３次元データが得られるステレオ画像処理装置の技術が記載されている。特許文献３の技術では、ステレオ処理手段によって得られた３次元データ中の雑音や欠損等の誤ったデータを、地図データ蓄積手段の地図データから得られる建造物等の外形情報を用いて自動的に補正する。地図データ蓄積手段はＤＳＭデータ自動補正手段に対して建造物の外形等の地図データを提供する。
【０００８】
【特許文献１】特開平３−１６７６７８号公報
【特許文献２】特開平４−２９９４７４号公報
【特許文献３】特開２００２−１５７５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ステレオマッチング処理を行う１組の画像で、一方の画像内のある点について、他方の画像の対応する点を探索するときに、画像の走査線（エピポーラ線）全体に亘って探索するのでは、処理に時間がかかり、また、ミスマッチングの確率が増加する。
【００１０】
本発明は上述の事情に鑑みてなされたもので、ステレオマッチング処理の速度と精度を向上することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点に係るステレオマッチング処理装置は、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段と、
を備えることを特徴とする。
【００１２】
本発明の第２の観点に係るステレオマッチング処理方法は、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得ステップと、
前記複数の画像に対応して基準の視差を設定する基準視差設定ステップと、
前記基準視差設定ステップで設定された基準の視差を与える画像の点を基準に、前記画像データの範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定ステップと、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定ステップで設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定ステップで設定された探索範囲で前記他の画像の対応する点を探索する探索ステップと、
を備えることを特徴とする。
【００１３】
本発明の第３の観点に係るプログラムは、
コンピュータを、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段
として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ステレオ画像から３次元データを自動生成する方法においてステレオマッチング処理の速度と精度を向上できる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１に係るステレオ画像処理装置の構成例を示すブロック図である。ステレオ画像処理装置１は、画像データ入力部１０、ステレオマッチング部１１、基準視差設定部１２および探索範囲設定部１３を備える。ステレオ画像処理装置１は、高さ計算部２に接続される。
【００１７】
画像データ入力部１０は、画像データを入力する機能を有し、ステレオマッチング処理に使用する複数の画像データを入力する。画像データは、例えば、デジタル画像に変換された航空写真の画像である。画像データには、画像を撮影した位置、撮影した方向、画角などが含まれる。
【００１８】
図２は、画像データに変換される航空写真の一例を模式的に示す。図２に示される航空写真は、上空を飛行する航空機から連続撮影された、航空写真１０１Ａと航空写真１０１Ｂから構成される。航空写真１０１Ａと航空写真１０１Ｂとは、航空機の進行方向について６０％オーバーラップして撮影されたものである。オーバーラップ部分は、異なる位置から同じ領域を撮影した画像である。
【００１９】
本実施例における画像は、航空写真１０１Ａ、航空写真１０１Ｂを一例とする航空写真がデジタル変換されて生成された画像である。本発明に用いる画像は、航空画像に限定されるものではなく、デジタル化された衛星写真による画像や、一般的なデジタルカメラで撮影したデジタル画像や、一般的なアナログカメラで撮影したアナログ写真をスキャニングでデジタル化したデジタル画像などであってもよい。
【００２０】
図１のステレオマッチング部１１は、異なる位置から同じ領域を撮影した複数の画像データに対して、同じ地点を写す画像内の位置を検出する。すなわち、複数の画像の同じ地点に対応する点の組を検出する。同じ地点に対応する点の組は、通常２つの画像の中で、対応する付近の小領域の画像相関をとり、相関係数が最大となる位置から検出される。
【００２１】
なお、ステレオマッチング処理を行うための手法には、一般的な特徴量を求めて対応付けるものや、左右画像の相関を求めるものなど、様々なものが存在するが、本実施例におけるステレオマッチング処理に使用される手法に制限はない。例えば、特公平８−１６９３０に記載のステレオマッチング処理を使用してもよい。
【００２２】
高さ計算部２は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、ＤＳＭデータを生成する。例えば、一組の航空写真１０１Ａ、航空写真１０１Ｂ間では、対応する地物の位置が、所定の位置ずれ(視差)を生じているので、ステレオマッチング処理は、この位置ずれを計測することにより、標高値を含む地物の表層の高さ、および水平方向の座標、すなわち３次元データを求める。
【００２３】
図３は、実世界の地上の状態の一例を示す模式図である。図３は、実世界の一部の断面を示したものであり、起伏のある地形の上に地物が存在する。
【００２４】
図４は、図３に示す実世界の一部を撮影した画像から、ステレオマッチング処理により生成したＤＳＭデータを示す模式図である。ＤＳＭデータは、最表面の高さデータを表すため、屋根等で隠された地表面については、標高値を含む屋根の高さを表す。
【００２５】
図１の基準視差設定部１２は、２つの画像で対応する点を探索する基準の視差を与える視差を設定する。例えば、実空間におけるステレオマッチングで探索すべき範囲の基準の高さを与える視差を基準に設定する。探索範囲設定部１３は、基準視差設定部１２で設定された基準の視差を与える画像の点を基準に、ステレオマッチング部１１で対応する点を探索する範囲を設定する。通常は、画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲として設定する。
【００２６】
図４は、基準標高と探索範囲に対応する高さを概念的に示す。例えば、図３のような起伏のある地表について、航空機の高度の原点の高さＧから所定の高さＨの線ＳＬで表される面を基準の標高とする。そして、線ＳＬの面を基準にして、線ＢＬから線ＵＬの間の範囲を実空間における探索範囲に相当する高さＳＨとする。
【００２７】
図５は、探索範囲を説明する探索平面を示す。図５は、航空写真１０１Ａを変換した画像の走査線（エピポーラ線）Ａと、航空写真１０１Ｂを変換した画像の、走査線Ａに対応する走査線（エピポーラ線）Ｂを垂直に配置したものである。軸ＡＢによって構成される平面を一般に探索平面と呼ぶ。Ａ、Ｂ上のブロックの中心位置は、それぞれ縦線、横線で表現され、２つの画像の間の一つの対応は、縦線と横線の交点で表される。ステレオマッチング部１１は、２つの画像の対応する点を、走査線Ａと走査線Ｂの上で探索する。探索平面で４５度の角度の線は、２つの画像において視差が一定、すなわち一定の高さを示す。
【００２８】
図５において、線ｇｌは例えば地面の基準の高さに相当する視差の線であり、航空機の高度の原点を表すとする。線ｓｐは、基準視差を与える高さであり図４の線ＳＬに対応する。幅ＳＰは図４の高さＨに相当する。図５の線ｕは、図４の線ＵＬに対応し、線ｌは図４の線ＢＬに対応する。線ｕと線ｌに囲まれる幅Ｒの範囲が探索範囲を示す。
【００２９】
ステレオマッチング部１１は、例えば図５の線ｕと線ｌの間で、ＡＢ間の対応の組合せを探索する。走査線Ａの上のある点に対応する走査線Ｂの点は、走査線Ａのその点を通る縦線の線ｕと線ｌの間の部分で探索される。走査線Ｂの点を決めて、走査線Ａの対応点を探索する場合は、走査線Ｂのその点を通る横線のと線ｕと線ｌの間の部分で探索されることになる。
【００３０】
図６は、探索範囲の一例を示す。地面の起伏の高低差がわかっている場合に、それを含めて想定される最大高さの地物を探索する範囲を定めることができる。図６では、起伏に対応する視差が線ｌｓで表されている。探索範囲は、起伏の平均高さに地物の想定平均の高さを加えた視差ｓｐを基準に、起伏の高低差を含めた範囲Ｒの線ｕと線ｌで示される。
【００３１】
地表の標高がわかっている場合に、その高低差と想定される地物の高さを含めて探索範囲を設定することにより、ステレオマッチング処理を速く行うことができる。また、探索範囲を限定するので、２つの画像の対応点を誤認識する可能性が減少する。
【００３２】
図７は、実施の形態１に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ１１）。基準視差設定部１２は、例えば、その領域の平均の標高と想定される地物の高さから、基準の視差を設定する（ステップＳ１２）。探索範囲設定部１３は、その領域の標高差と地物の高さから、基準の視差に対して探索範囲を設定する（ステップＳ１３）。
【００３３】
ステレオマッチング部１１は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、設定された探索範囲で他の画像の対応する点を探索する（ステップＳ１４）。高さ計算部２は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する（ステップＳ１５）。
【００３４】
本実施の形態１のステレオ画像処理装置１によれば、高低差と想定される地物の高さを含めて基準の視差および探索範囲を設定することにより、ステレオマッチング処理を速く行うことができる。また、探索範囲を限定するので、２つの画像の対応点を誤認識する可能性が減少する。
【００３５】
（実施の形態２）
図８は、本発明の実施の形態２に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態２では、地図データの標高データに基づいて、基準の視差および探索範囲を設定する。
【００３６】
図８のステレオ画像処理装置１は、実施の形態１の構成に加えて、地図データ入力部１４と領域分割部１５を備える。地図データ入力部１４は、入力した画像データの対象の地域の地図データを入力する。地図データは、地図のメッシュの各点における標高データを含む。
【００３７】
領域分割部１５は、入力した画像データを標高データに応じて分割する。標高データの高低差が小さければ、画像全体を分割せず１つの領域とする場合もある。画像の範囲の地図データで高低差が所定の範囲を超えていれば、画像を複数の領域に分割する。
【００３８】
基準視差設定部１２は、領域分割部１５で分割された領域ごとに、標高データに基づいて基準の視差を設定する。探索範囲設定部１３はまた、標高データの高低差と想定される地物の高さを考慮して、分割された領域ごとに探索範囲を設定する。
【００３９】
ステレオマッチング部１１は、分割された領域ごとに設定された基準の視差と探索範囲に合わせて、複数の画像の対応する点を探索して、対応点の組を抽出する。高さ計算部２は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、ＤＳＭデータを生成する。
【００４０】
図９は、分割した領域ごとに基準の視差と探索範囲を設定する探索平面の例を示す。図９の例では、地表の起伏ｌｓに合わせて４つの領域に分割されている。各領域において基準の視差をｓｐ１、ｓｐ２、ｓｐ３、ｓｐ４としている。そして、１つめの領域では、ｕ１、ｌ１を境界とする幅Ｒ１の範囲を探索範囲に設定している。以下、ｕ２、ｌ２を境界とする幅Ｒ２の範囲、ｕ３、ｌ３を境界とする幅Ｒ３の範囲、ｕ４、ｌ４を境界とする幅Ｒ４の範囲をそれぞれ探索範囲とする。
【００４１】
図９に示すように、探索範囲は図６に比べて小さくなっている。起伏の高低差がある場合に、画像の範囲を複数の領域に分割し、分割した領域ごとに探索範囲を設定することにより、探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００４２】
なお、領域分割は、領域内の高低差が所定の値以下になるように設定できる。あるいは、画像範囲の高低差に応じて分割数を決めてもよい。
【００４３】
図１０は、実施の形態２に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ２１）と、地図データ入力部１４は、その対象の地域の地図データを入力する（ステップＳ２２）。領域分割部１５は、地図データに含まれる標高データに基づいて、画像を領域に分割する（ステップＳ２３）。
【００４４】
基準視差設定部１２は、標高データと分割領域に基づいて、分割された領域ごとに基準の視差を設定する（ステップＳ２４）。探索範囲設定部１３は、分割された領域の高低差に応じて、領域ごとに探索範囲を設定する（ステップＳ２５）。
【００４５】
ステレオマッチング部１１は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、領域ごとに設定された探索範囲で他の画像の対応する点を探索する（ステップＳ２６）。高さ計算部２は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する（ステップＳ２７）。
【００４６】
実施の形態２のステレオ画像処理装置１によれば、地図データの標高データに合わせて探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００４７】
（実施の形態３）
図１１は、実施の形態３に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態３のステレオ画像処理装置１は、実施の形態１の構成に加えて、基準点設定部１６を備える。
【００４８】
基準点設定部１６は、画像データ入力部１０で入力した画像の中から、所定の方法で基準の視差を設定する基準の点を選択する。例えば基準の点は、画像の大きさと尺度に応じた数の点をランダムに選択する。また、所定の分布の点を選択するのでもよい。
【００４９】
基準点設定部１６は、選択した点について、ステレオマッチング部１１で複数の画像で対応する点の組を抽出する。また、選択した点の３次元データを計算する。そして、選択した点の３次元データを基準視差設定部１２に送る。
【００５０】
基準視差設定部１２は、基準点設定部１６から受け取った３次元データから、所定の方法で基準の視差を設定する。例えば、３次元データの高さの平均または中央値を基準標高として、基準標高に対応する視差を基準の視差とする。あるいは、所定の分割領域ごとに平均して、それぞれの領域ごとに基準の視差を設定してもよい。
【００５１】
探索範囲設定部１３は、基準の視差に合わせて探索範囲を設定する。例えば、選択された点の３次元データの高さの分散を考慮して、探索範囲を設定することができる。また、画像の範囲が複数の領域に分割される場合には、分割された領域ごとに探索範囲を設定してもよい。
【００５２】
ステレオマッチング部１１は、設定された基準の視差探索範囲に合わせて、複数の画像の対応する点を探索して、対応点の組を抽出する。分割された領域ごとに基準の視差と探索範囲が設定されている場合には、その探索範囲で対応する点を探索する。高さ計算部２は、ステレオマッチング処理によって得られた対応する点の視差から、三角測量の原理によって、ＤＳＭデータを生成する。
【００５３】
図１２は、実施の形態３に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ３１）と、基準点設定部１６は所定の方法で画像の中の基準点を選択する（ステップＳ３２）。ステレオマッチング部１１は、選択された基準点についてステレオマッチング処理を行って、複数の画像で対応する組を抽出する（ステップＳ３３）。
【００５４】
基準点設定部１６は、選択した点の対応の組から基準点の高さを計算する（ステップＳ３４）。基準視差設定部１２は、基準点の高さに基づいて、基準の視差を設定する（ステップＳ３５）。ここで、基準視差設定部１２は、選択した点の対応の組に基づいて基準の視差を設定してもよい（基準点設定部１６で基準点の高さを計算しなくてもよい）。探索範囲設定部１３は、基準の視差に合わせて探索範囲を設定する（ステップＳ３６）。
【００５５】
ステレオマッチング部１１は、一方の画像の点に対して、基準の視差を与える他の画像の点を基準に、領域ごとに設定された探索範囲で他の画像の対応する点を探索する（ステップＳ３７）。高さ計算部２は、複数の画像で対応づけられた各点の画像内の位置から、その点に対応する高さと、その点の地図上の座標を計算する（ステップＳ３８）。
【００５６】
実施の形態３のステレオ画像処理装置１によれば、地図データがない場合でも、画像に適合するように探索範囲を対応点が存在する範囲に小さく限定できる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００５７】
（実施の形態４）
図１３は、実施の形態４に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態４のステレオ画像処理装置１は、実施の形態３の基準点を外部から入力する。図１３のステレオ画像処理装置１は、実施の形態３の構成に加えて、基準点入力部１７を備える。
【００５８】
基準点入力部１７は、基準点の画像内の位置を示すデータを入力する。例えば、画像データを表示装置（図示せず）に表示して、その画面の上で選択された点を入力してもよい。また画像内の座標をデータで入力してもよい。
【００５９】
基準点設定部１６、基準視差設定部１２、探索範囲設定部１３およびステレオマッチング部１１の動作は、実施の形態３と同様である。
【００６０】
実施の形態４では、入力した画像から適切と考えられる基準点を設定することができる。例えば、高層ビルなどの航空標識灯、鉄塔の特徴点、ビルなど人工的な地物の特徴点など、基準の標高に適切と考えられ、ステレオマッチング処理が正確に行える点を選択することができる。
【００６１】
図１４は、実施の形態４に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ４１）と、基準点入力部１７はその画像内の基準点の位置を示すデータを入力する（ステップＳ４２）。選択する基準点は、複数あってもよい。
【００６２】
基準点設定部１６は、入力された点の位置をステレオマッチング部１１におくり、ステレオマッチング部１１は、選択された基準点についてステレオマッチング処理を行って、複数の画像で対応する組を抽出する（ステップＳ４３）。基準点設定部１６は、選択した点の対応の組から基準点の高さを計算する（ステップＳ４４）。以降、基準視差設定（ステップＳ４５）から対応高さ計算（ステップＳ４８）は、図１２のステップＳ３５〜ステップＳ３８と同様である。
【００６３】
実施の形態４のステレオ画像処理装置１によれば、実施の形態３に加えて、画像に合わせて適切な基準の視差で、かつ、ステレオマッチング処理が正確に行える点を選択することができる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００６４】
（実施の形態５）
図１５は、実施の形態５に係るステレオ画像処理装置１の構成例を示すブロック図である。実施の形態５のステレオ画像処理装置１は、実施の形態３の基準点とそれにステレオマッチングについて対応する組を外部から入力する。図１５のステレオ画像処理装置１は、実施の形態３の基準点入力部１７および基準点設定部１６に代えて、基準対応点入力部１８を備える。
【００６５】
基準対応点入力部１８は、基準点の画像内の位置と、それにステレオマッチング対応する他の画像内の点の位置を示すデータを入力する。例えば、２つの画像データを表示装置（図示せず）に表示して、その画面の上で選択された対応点の組を入力してもよい。また２つの画像内の対応点の組の座標をデータで入力してもよい。
【００６６】
基準視差設定部１２、探索範囲設定部１３およびステレオマッチング部１１の動作は、実施の形態１と同様である。
【００６７】
実施の形態５では、入力した画像から適切と考えられる基準対応点を設定することができる。例えば、高層ビルなどの航空標識灯、鉄塔の特徴点、ビルなど人工的な地物の特徴点など、基準の標高に適切と考えられ、ステレオマッチングしている対応点を選択することができる。
【００６８】
図１６は、実施の形態５に係る高さ標定処理の動作の一例を示すフローチャートである。画像データ入力部１０がステレオマッチング処理をする複数の画像を入力する（ステップＳ５１）と、基準対応点入力部１８はそれらの画像のうち２つの画像でステレオマッチング対応する基準対応点の位置を示すデータを入力する（ステップＳ５２）。選択する基準点は、複数あってもよい。
【００６９】
以降、基準視差設定（ステップＳ５３）から対応高さ計算（ステップＳ５６）は、図１２のステップＳ３５〜ステップＳ３８と同様である。
【００７０】
実施の形態５のステレオ画像処理装置１によれば、画像に合わせて適切な基準の視差で、かつ、ステレオマッチングしている対応点を選択することにより、基準の視差と探索範囲を設定することができる。その結果、ステレオマッチング処理を速くまた正確に行うことができる。
【００７１】
図１７は、ステレオ画像処理装置１をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。本実施の形態に係るステレオ画像処理装置１は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができる。ステレオ画像処理装置１は、図１７に示すように、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６を備える。主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６はいずれも内部バス２０を介して制御部２１に接続されている。
【００７２】
制御部２１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部２３に記憶されている制御プログラム３０に従って、ステレオマッチング処理を実行する。
【００７３】
主記憶部２２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部２３に記憶されている制御プログラム３０をロードし、制御部２１の作業領域として用いられる。
【００７４】
外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部２１に行わせるための制御プログラム３０を予め記憶し、また、制御部２１の指示に従って、この制御プログラム３０が記憶するデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。
【００７５】
操作部２４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス２０に接続するインターフェース装置から構成されている。操作部２４を介して、画像データの入力、送受信などの指示、表示する画像の指定、基準の標高を設定する基準点の画像内の位置などが入力され、制御部２１に供給される。
【００７６】
表示部２５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、画像やステレオマッチング処理された結果を表示する。
【００７７】
入出力部２６は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェース等から構成されている。入出力部２６を介して、画像データを受信し、また計算した結果を送信できる。
【００７８】
図１、８、１１、１３または１５に示すステレオ画像処理装置１の画像データ入力部１０、ステレオマッチング部１１、基準視差設定部１２、探索範囲設定部１３、地図データ入力部１４、領域分割部１５、基準点設定部１６、基準点入力部１７および基準対応点入力部１８の処理は、制御プログラム３０が、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６などを資源として用いて処理することによって実行する。
【００７９】
その他、本発明の好適な変形として、以下の構成が含まれる。
【００８０】
本発明の第１の観点に係るステレオマッチング処理装置について、
好ましくは、前記基準視差設定手段は、前記複数の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定手段は、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする。
【００８１】
好ましくは、前記複数の画像に対応する地図の標高データを取得する地図データ取得手段を備え、
前記基準視差設定手段は、前記地図データ取得手段で取得した標高データに基づいて前記基準の視差を設定する。
【００８２】
または、前記基準視差設定手段は、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８３】
さらに、前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力手段を備え、
前記基準視差設定手段は、前記基準点入力手段で取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８４】
あるいはまた、前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力手段を備え、
前記基準視差設定手段は、前記対応点入力手段で入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定してもよい。
【００８５】
本発明の第２の観点に係るステレオマッチング処理方法について、
好ましくは、前記基準視差設定ステップは、前記ステレオマッチング処理を行う１組の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定ステップは、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする。
【００８６】
好ましくは、前記複数の画像に対応する地図の標高データを取得する地図データ取得ステップを備え、
前記基準視差設定ステップは、前記地図データ取得ステップで取得した標高データに基づいて前記基準の視差を設定する。
【００８７】
または、前記基準視差設定ステップは、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８８】
さらに、前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力ステップを備え、
前記基準視差設定ステップは、前記基準点入力ステップで取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定してもよい。
【００８９】
あるいはまた、前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力ステップを備え、
前記基準視差設定ステップは、前記対応点入力ステップで入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定してもよい。
【００９０】
その他、前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００９１】
制御部２１、主記憶部２２、外部記憶部２３、操作部２４、入出力部２６および内部バス２０などから構成されるステレオ画像処理装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するステレオ画像処理装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでステレオ画像処理装置１を構成してもよい。
【００９２】
また、ステレオ画像処理装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００９３】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施の形態１に係るステレオ画像処理装置の構成例を示すブロック図である。
【図２】画像データに変換される航空写真の一例を模式的に示す図である。
【図３】実世界の地上の状態の一例を示す模式図である。
【図４】図３に示す実世界の一部を撮影した画像から、ステレオマッチング処理により生成したＤＳＭデータを示す模式図である。
【図５】探索範囲を説明する探索平面を示す図である。
【図６】探索範囲の一例を示す図である。
【図７】実施の形態１に係る高さ標定処理の動作の一例を示すフローチャートである。
【図８】本発明の実施の形態２に係るステレオ画像処理装置の構成例を示すブロック図である。
【図９】分割した領域ごとに基準の標高と探索範囲を設定する探索平面の例を示す図である。
【図１０】実施の形態２に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１１】実施の形態３に係るステレオ画像処理装置１の構成例を示すブロック図である。
【図１２】実施の形態３に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１３】実施の形態４に係るステレオ画像処理装置１の構成例を示すブロック図である
【図１４】実施の形態４に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１５】実施の形態５に係るステレオ画像処理装置１の構成例を示すブロック図である
【図１６】実施の形態５に係る高さ標定処理の動作の一例を示すフローチャートである。
【図１７】ステレオ画像処理装置１をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。
【符号の説明】
【００９５】
１ ステレオ画像処理装置
２ 高さ計算部
１０ 画像データ入力部
１１ ステレオマッチング部
１２ 基準視差設定部
１３ 探索範囲設定部
１４ 地図データ入力部
１５ 領域分割部
１６ 基準点設定部
１７ 基準点入力部
１８ 基準対応点入力部
２１ 制御部
２２ 主記憶部
２３ 外部記憶部
２４ 操作部
２５ 表示部
２６ 入出力部
３０ 制御プログラム
【特許請求の範囲】
【請求項１】
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段と、
を備えることを特徴とするステレオマッチング処理装置。
【請求項２】
前記基準視差設定手段は、前記複数の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定手段は、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする請求項１に記載のステレオマッチング処理装置。
【請求項３】
前記複数の画像に対応する地図の標高データを取得する地図データ取得手段を備え、
前記基準視差設定手段は、前記地図データ取得手段で取得した標高データに基づいて前記基準の視差を設定することを特徴とする請求項１または２に記載のステレオマッチング処理装置。
【請求項４】
前記基準視差設定手段は、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項１または２に記載のステレオマッチング処理装置。
【請求項５】
前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力手段を備え、
前記基準視差設定手段は、前記基準点入力手段で取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項４に記載のステレオマッチング処理装置。
【請求項６】
前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力手段を備え、
前記基準視差設定手段は、前記対応点入力手段で入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定する、
ことを特徴とする請求項１または２に記載のステレオマッチング処理装置。
【請求項７】
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得ステップと、
前記複数の画像に対応して基準の視差を設定する基準視差設定ステップと、
前記基準視差設定ステップで設定された基準の視差を与える画像の点を基準に、前記画像データの範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定ステップと、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定ステップで設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定ステップで設定された探索範囲で前記他の画像の対応する点を探索する探索ステップと、
を備えることを特徴とするステレオマッチング処理方法。
【請求項８】
前記基準視差設定ステップは、前記ステレオマッチング処理を行う１組の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定ステップは、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする請求項７に記載のステレオマッチング処理方法。
【請求項９】
前記複数の画像に対応する地図の標高データを取得する地図データ取得ステップを備え、
前記基準視差設定ステップは、前記地図データ取得ステップで取得した標高データに基づいて前記基準の視差を設定することを特徴とする請求項７または８に記載のステレオマッチング処理方法。
【請求項１０】
前記基準視差設定ステップは、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項７または８に記載のステレオマッチング処理方法。
【請求項１１】
前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力ステップを備え、
前記基準視差設定ステップは、前記基準点入力ステップで取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項１０に記載のステレオマッチング処理方法。
【請求項１２】
前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力ステップを備え、
前記基準視差設定ステップは、前記対応点入力ステップで入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定する、
ことを特徴とする請求項７または８に記載のステレオマッチング処理方法。
【請求項１３】
コンピュータを、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段
として機能させることを特徴とするプログラム。
【請求項１】
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段と、
を備えることを特徴とするステレオマッチング処理装置。
【請求項２】
前記基準視差設定手段は、前記複数の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定手段は、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする請求項１に記載のステレオマッチング処理装置。
【請求項３】
前記複数の画像に対応する地図の標高データを取得する地図データ取得手段を備え、
前記基準視差設定手段は、前記地図データ取得手段で取得した標高データに基づいて前記基準の視差を設定することを特徴とする請求項１または２に記載のステレオマッチング処理装置。
【請求項４】
前記基準視差設定手段は、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項１または２に記載のステレオマッチング処理装置。
【請求項５】
前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力手段を備え、
前記基準視差設定手段は、前記基準点入力手段で取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項４に記載のステレオマッチング処理装置。
【請求項６】
前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力手段を備え、
前記基準視差設定手段は、前記対応点入力手段で入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定する、
ことを特徴とする請求項１または２に記載のステレオマッチング処理装置。
【請求項７】
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得ステップと、
前記複数の画像に対応して基準の視差を設定する基準視差設定ステップと、
前記基準視差設定ステップで設定された基準の視差を与える画像の点を基準に、前記画像データの範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定ステップと、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定ステップで設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定ステップで設定された探索範囲で前記他の画像の対応する点を探索する探索ステップと、
を備えることを特徴とするステレオマッチング処理方法。
【請求項８】
前記基準視差設定ステップは、前記ステレオマッチング処理を行う１組の画像をそれぞれ対応する２以上の領域に分けて、それぞれの領域で前記基準の視差を設定し、
前記探索範囲設定ステップは、前記それぞれの領域で設定された前記基準の視差を与える画像の点を基準に、該画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する、
ことを特徴とする請求項７に記載のステレオマッチング処理方法。
【請求項９】
前記複数の画像に対応する地図の標高データを取得する地図データ取得ステップを備え、
前記基準視差設定ステップは、前記地図データ取得ステップで取得した標高データに基づいて前記基準の視差を設定することを特徴とする請求項７または８に記載のステレオマッチング処理方法。
【請求項１０】
前記基準視差設定ステップは、前記複数の画像から所定の方法で選択した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項７または８に記載のステレオマッチング処理方法。
【請求項１１】
前記複数の画像のうち、視差を求める点の画像中の位置を取得する基準点入力ステップを備え、
前記基準視差設定ステップは、前記基準点入力ステップで取得した点について、ステレオマッチングによって視差を算出し、該算出した視差に基づいて、前記基準の視差を設定することを特徴とする請求項１０に記載のステレオマッチング処理方法。
【請求項１２】
前記複数の画像から、ステレオマッチングについて対応する点の組を入力する対応点入力ステップを備え、
前記基準視差設定ステップは、前記対応点入力ステップで入力した対応する点の組で与えられる視差に基づいて、前記基準の視差を設定する、
ことを特徴とする請求項７または８に記載のステレオマッチング処理方法。
【請求項１３】
コンピュータを、
複数の異なる位置から所定の領域を撮影した複数の画像の画像データを取得する画像データ取得手段と、
前記複数の画像に対応して基準の視差を設定する基準視差設定手段と、
前記基準視差設定手段で設定された基準の視差を与える画像の点を基準に、前記画像の範囲よりも小さい所定の範囲をステレオマッチングの探索範囲に設定する探索範囲設定手段と、
前記複数の画像の一つの画像内の任意の点について、前記基準視差設定手段で設定された基準の視差を与える他の画像の点を基準に、前記探索範囲設定手段で設定された探索範囲で前記他の画像の対応する点を探索する探索手段
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−１２８６２２（Ｐ２０１０−１２８６２２Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３００２２１（Ｐ２００８−３００２２１）
【出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
[ Back to top ]