画像処理装置及びその処理方法
【課題】時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置を提供する。
【解決手段】時系列的に撮影した一連の撮影画像を取得し、撮影画像から特徴点を抽出し、特徴点を追跡して相互に対応付け、相互に対応付けられた一連の撮影画像からステレオ画像を選択し、標定および三次元計測を行ない、三次元計測により求められた対応点の誤差範囲を算出し、算出された誤差範囲に基づいて、対応点の三次元計測への適否を判定し、不適切と判定された対応点を削除し、削除された対応点を除いて再度標定および三次元計測を行なうことにより、計測精度を向上できる。
【解決手段】時系列的に撮影した一連の撮影画像を取得し、撮影画像から特徴点を抽出し、特徴点を追跡して相互に対応付け、相互に対応付けられた一連の撮影画像からステレオ画像を選択し、標定および三次元計測を行ない、三次元計測により求められた対応点の誤差範囲を算出し、算出された誤差範囲に基づいて、対応点の三次元計測への適否を判定し、不適切と判定された対応点を削除し、削除された対応点を除いて再度標定および三次元計測を行なうことにより、計測精度を向上できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びその処理方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定する画像処理装置及びその処理方法に関する。
【背景技術】
【０００２】
相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載したり、人が手に持って撮影を行うと、自動車や人の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と対象物の間に例えば他の自動車、人、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。また、三次元空間での動きが二次元画像上では見え難い場合もある。したがって、このような撮影装置の揺動の処理、消失・再現する特徴点の処理と共に三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要となっている。他方、静止した対象物を静止した撮影装置で撮影する場合には、高精度、自動的に対応点探索、計測を行う三次元計測技術が開示されている。（特許文献１参照）
【０００３】
【特許文献１】特開２００３−２６４８５２号公報（段落００１８〜００７３、図１〜図１１等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
動画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各動画像上で相互に対応する特徴点すなわち対象物上の同一点（以下、対応特徴点という）を求め、これを追跡する必要がある。しかしながら、かかる対応特徴点を求める際に、例えば三次元的に奥行き方向に移動した場合などは、二次元的に見ると移動したように見えず、三次元空間的に奥行きに差のある２本以上の線によって画像上に交点として認識されるいわゆる、擬似特徴点、擬似基準点と称される点については、正しい誤対応除去ができないことになる。また、従来の動画像解析では、二次元的な点の移動の評価を基本としており、三次元的な点の移動について評価しているものは見出されないが、正しい誤対応除去ができないと、結果的に三次元座標の計測精度が悪くなり、信頼性が低下する。
【０００５】
そこで、上記静止した対象物を静止した撮影装置で撮影する技術を、そのいずれか一方又は双方が移動する場合に発展適用させて、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような、動画像等の時系列的に変化する撮影画像の場合においても、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供することが必要とされている。
【０００６】
本発明は、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の画像処理装置１００は、例えば図２に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の相互に対応付けられた特徴点（対象物上の同一点を表す）である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部７と、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定部８１と、誤差範囲算定部８１で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定部８３と、対応点適否判定部８３で不適切と判定された対応特徴点を削除する誤対応点削除部８４とを備える。
【０００８】
ここにおいて、相対的に移動する対象物とは、典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が共に移動する状態で撮影されても良い。すなわち、両者が相対的に移動する状態で撮影されれば良い。隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。重複し合う画像数は多い程、計測座標精度を向上できるので望ましいが、例えば１０以上が好ましく、５０以上であれば更に好ましい。時系列的に撮影した一連の撮影画像とは、時間の経過に伴って順次取得された撮影画像であり、ビデオカメラで連続的に撮影された動画像のフレームから抽出された画像でも良く、単体カメラで適当な時間間隔で順次撮影された画像でも良い。また、動画像のフレームのうち全てのフレームから取得しても良く、数フレーム置きに取得しても良い。また、特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、相互に対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、特徴点を順次対応付け、追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。また、特徴点は時間の経過と共に新規発生、消滅、再現するものであり、このため一連の撮影画像中、相互に対応付けられた特徴点は少なくとも３以上の撮影画像にあれば良い。また、ステレオ画像の選択は、一連の撮影画像について追跡処理を反映して位置、倍率、傾きを補正され縦視差が除去された偏位修正画像から選択するのが好ましいが、取得された原画像から選択しても標定処理及び三次元計測で相互に対応付けられるので、それでも良い。また、標定とは撮影装置の撮影位置と傾きを算定する処理であり、三次元計測とは各特徴点の三次元座標を算定する処理である。また、誤差範囲に基づいて判定するとは、算定された誤差範囲を用いて判定することを意味し、例えば誤差範囲の大小、誤差範囲同士の重複の有無等により判定する。また、対応特徴点の三次元計測への適否とは、三次元座標計測の精度を劣化させるような特徴点（したがって標定にも悪影響を及ぼすような特徴点でもある）である誤対応点を不適切として除く意図で判定される。なお、誤対応点には、本来対応していないのに誤って対応付けされた特徴点の他に、撮影対象物と異なる動きをする物に付された特徴点、擬似特徴点、擬似基準点等も含まれる。
【０００９】
このように構成すると、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置を提供できる。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、標定処理・三次元計測部７は、対応特徴点から誤対応点削除部８４により削除された対応特徴点を除いて、再度標定および三次元計測を行なう。このように構成すると、誤対応点を除いた精度の高い三次元座標を得られる。
【００１１】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の画像処理装置において、対応点適否判定部８３は、誤差範囲が所定の閾値を越えるステレオ画像の対応特徴点を不適切と判定する。ここにおいて、所定の閾値は例えば平面分解能Δｘｙ、奥行き分解能Δｚのｋ倍とする。このように構成すると、誤差範囲の小さいステレオ画像を用いて三次元計測を行なえるので、三次元座標を高精度化できる。また、不適切な対応特徴点を所定の閾値を用いて自動的に除去できる。
【００１２】
また、請求項４に記載の発明は、請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する許容範囲設定部８２を備え、対応点適否判定部８３は、誤差範囲が許容範囲と重複部分を有するステレオ画像の対応特徴点を適切と判定し、重複部分を有さないステレオ画像の対応特徴点を不適切と判定する。このように構成すると、三次元計測の誤差範囲外となる誤対応点を確実に除去できる。また、二次元画像では分離できなかった擬似特徴点も除去できる。
【００１３】
また、請求項５に記載の発明は、請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する許容範囲設定部８２を備え、対応点適否判定部８３は、許容範囲内に存在する対応特徴点を適切と判定し、許容範囲外に存在する対応特徴点を不適切と判定する。このように構成すると、確度の高い対応特徴点を選んで三次元計測ができ、三次元座標精度を向上できる。
【００１４】
また、請求項６に記載の発明は、請求項４又は請求項５に記載の画像処理装置において、許容範囲設定部８２は、所定数以上のステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する。ここにおいて、許容範囲とは誤差範囲から推測される対応点の位置座標が許容される範囲を意味するものである。このように構成すると、対応特徴点の位置座標を許容範囲内として推定できる。
【００１５】
また、請求項７に記載の発明は、請求項６に記載の画像処理装置において、許容範囲と重複部分を有するステレオ画像の対応特徴点について、１又は誤差範囲の減少関数となる重み係数を用いて重心を求め、重心を対応特徴点の位置座標と算定する。ここにおいて重み係数は１の場合を含み、例えば誤差範囲が所定の閾値を越えるものを不適切と判断した場合は重み係数を１として良い。このように構成すると、対応特徴点の位置座標をほぼ高い確度で算定できる。
【００１６】
また、請求項８に記載の発明は、請求項１乃至請求項７のいずれか１項に記載の画像処理装置において、標定処理・三次元計測部は、ステレオ画像を偏位修正処理した偏位修正画像を形成し、偏位修正画像に基づいて三次元計測を行う。このように構成すると、偏位修正処理を行なうことにより、三次元計測を容易かつ高精度で行なうことができる。
【００１７】
また、請求項９に記載の発明は、請求項１乃至請求項８のいずれか１項に記載の画像処理装置において、誤差範囲（σｘｙ，σｚ）は、基線長Ｂ、撮影距離Ｈ、焦点距離ｆと画素サイズΔｐの関数として算定される。このように構成すると、誤差範囲を適切かつ自動的に算定できる。
【００１８】
また、請求項１０に記載の発明は、請求項３乃至請求項９のいずれか１項に記載の画像処理装置において、ステレオ画像と誤差範囲の対応関係である式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータを有する記憶部９を備え、ステレオ画像選択部６は、誤差範囲が所定の閾値以下のステレオ画像を選択する。このように構成すると、誤差範囲の小さいステレオ画像を選択して三次元計測ができ、三次元座標を高精度化できる。
【００１９】
また、請求項１１に記載の発明は、請求項３乃至請求項９のいずれか１項に記載の画像処理装置において、ステレオ画像と誤差範囲の対応関係に基づき求められる、想定される測定における誤差範囲を示すデータを有する記憶部９を備え、ステレオ画像選択部６は、誤差データから誤差範囲が所定の範囲内のステレオ画像を選択する。このように構成すると、誤差範囲が均質な（例えば撮影距離がほぼ等しい）ステレオ画像を用いて、均質な測定ができる。
【００２０】
また、請求項１２に記載の発明は、請求項４乃至請求項１１のいずれか１項に記載の画像処理装置において、対応特徴点と許容範囲の対応関係を表す誤差データを有する記憶部９を備え、ステレオ画像選択部６は、式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータから誤差範囲が許容範囲と重複するステレオ画像を選択する。このように構成すると、真の特徴点である確度の高い対応特徴点を選んで三次元計測ができ、高精度の三次元座標を得られる。
【００２１】
また、請求項１３に記載の発明は、請求項１乃至請求項１２のいずれか１項に記載の画像処理装置において、ステレオ画像の基線長と三次元座標の測定精度との関係を表す式（９）を利用して、測定で求められる測定精度と、必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、ｋ１，ｋ２：係数など）を代入して要求精度を満たす基線長のデータを有する記憶部９を備え、ステレオ画像選択部６は、要求精度を満たす基線長となるようにステレオ画像を選択する。このように構成すると、要求性能に見合った三次元計測ができる。
【００２２】
また、請求項１４に記載の発明は、請求項１乃至請求項１３のいずれか１項に記載の画像処理装置において、撮影画像に基づかないで撮影位置を計測可能な撮影位置測定部を備える。このように構成すると、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。
【００２３】
また、請求項１５に記載の発明は、請求項１乃至請求項１４のいずれか１項に記載の画像処理装置において、誤差範囲又は許容範囲を立体的二次元表示する表示装置を備え、撮影画像取得部は一連の撮影画像を撮影する撮影装置を有する。このように構成すると、現地撮影が可能になり、また、立体的二次元表示により擬似特徴点等の誤対応点を判別しやすくなる。
【００２４】
また、請求項１６に記載の画像処理方法は、例えば図３に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程（Ｓ１４０）で選択されたステレオ画像の相互に対応付けられた特徴点である対応特徴点を用いて、標定を行なう第１の標定工程（Ｓ１５０）と、第１の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第１の三次元計測工程（Ｓ１６０）と、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定工程（Ｓ１７０）と、誤差範囲算定工程で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定工程（Ｓ１８５）と、対応点適否判定工程（Ｓ１８５）で不適切と判定された対応特徴点を削除する誤対応点削除工程（Ｓ１９０）とを備える。
【００２５】
このように構成すると、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理方法を提供できる。
【００２６】
また、請求項１７に記載の発明は、請求項１６に記載の画像処理方法において、対応特徴点から誤対応点削除工程（Ｓ１９０）で削除された対応特徴点を除いて、再度標定を行なう第２の標定工程（Ｓ１５０）と、第２の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第２の三次元計測工程（Ｓ１６０）と備える。このように構成すると、誤対応点を除去して三次元計測を行なうので、高精度の三次元座標を求められる。
【００２７】
また、請求項１８に記載の発明は、請求項１６又は請求項１７に記載の画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムである。
【発明の効果】
【００２８】
本発明によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。
【発明を実施するための最良の形態】
【００２９】
以下に図面に基づき本発明の実施の形態について説明する。
【００３０】
［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、時間すなわち自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ電波を受信できない区間で補完的に利用される意義も大きい。以下の実施の形態では、撮影画像において、誤って対応付けされた特徴点、動きのある特徴点、揺らぎの大きい特徴点等の誤対応点については、カメラの位置座標を求めるのに不適当であるため除去する。なお、第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明する。
【００３１】
図２に本実施の形態における画像処理装置１００の構成例を示す。図において、１は画像処理装置１００の各部を制御して、画像処理装置として機能せしめる制御部であり、具体的には、撮影画像取得部２への撮影画像取得の指示、特徴抽出部３への特徴点抽出実行の指示、特徴点追跡部４への追跡実行の指示、演算処理部５へのステレオ画像選択指示、標定・三次元計測実行指示、対応特徴点の評価・削除処理の指示等を行う。
【００３２】
２は動画像等の時系列的に変化する撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、画像メモリ１０への撮影画像の保存等を行う。なお、自己の撮影装置で撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。３は順次取得した撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４への出力等を行う。４は特徴抽出部３より入力された特徴点に対応する対応点（厳密には確定するまでは候補対応点というが、本実施の形態では候補対応点を含めて対応点ということとする）を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の対応点情報メモリ９Ａへの出力、対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。特徴点追跡部４において特徴点が対応付けられた、すなわち対応特徴点が付された一連の撮影画像は、後述する偏位修正処理により、倍率、揺らぎ、傾きが補正された偏位修正画像として、取得された原画像と共に画像メモリ１０に記憶される。
【００３３】
５は演算処理部で、ステレオ画像選択部６と標定処理・三次元計測部７と対応点評価除去部８とを有する。ステレオ画像選択部６は特徴抽出部３及び特徴点追跡部４において対応特徴点が付された一連の画像からステレオ画像を選択する。標定処理・三次元計測部７はステレオ画像選択部６で選択されたステレオ画像を用いて標定計算、三次元計測を実行するもので、その他に、偏位修正処理、標定結果及び三次元計測結果の表示部１１への出力、外部へ標定結果及び三次元計測結果の出力等を行う。標定計算、三次元計測を行なうためのステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できる。対応点評価除去部８は三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点、すなわち三次元計測に不適切な特徴点や対応点を除去する。対応点評価除去部８は、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定部８１、複数の撮影画像における対応特徴点の誤差範囲の重複部分、すなわち対応特徴点の位置座標の取り得る範囲を許容範囲として設定する許容範囲設定部８２、対応特徴点の三次元座標の誤差範囲に基づいて対応特徴点の三次元計測への適否を判定する対応点適否判定部８３、対応点適否判定部８３で不適切と判定された対応特徴点を削除する誤対応点削除部８４とを備える。本実施の形態では、誤差範囲算定部８１は撮影画像の撮影条件に基づき対応特徴点の三次元座標の誤差範囲を算定し、対応点適否判定部８３は各対応特徴点の誤差範囲が許容範囲と重複するか否かにより、重複する場合は許容対応点（適切な対応点）、重複しない場合は非許容対応点（不適切な対応点）と判定する。対応点評価除去部８にて不適切な対応特徴点が除去された一連の画像から、再度、ステレオ画像選択部６によりステレオ画像が選択され、再度、標定処理・三次元計測部７において、標定計算、三次元計測が実行される。
【００３４】
１１は演算処理部５により標定処理又は三次元計測された対象物の画像や撮影した位置の軌跡を平面的又は立体的（立体的二次元表示）に表示する表示部、９は記憶部で、特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ９Ａ、ステレオ画像に関する情報を記憶するステレオ画像情報メモリ９Ｂ、撮影画像、偏位修正画像、その他の画像を記憶する画像メモリ１０を有する。対応点情報メモリ９Ａ、ステレオ画像情報メモリ９Ｂ、画像メモリ１０には、特徴点追跡時、対応点評価・除去時、ステレオ画像選択時、標定計算や三次元計測時等、必要に応じて随時参照され、また書き込みされる。
【００３５】
図３に第１の実施の形態における画像処理方法のフロー例を示す。まず、撮影画像取得部２において、相対的に移動する対象物について、動画像等の時系列的に変化する一連の撮影画像を取得する（Ｓ１００：撮影画像取得工程）。一連の撮影画像は隣り合う３以上の画像が重複部分を共有するように取得する。自己の撮影カメラで画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。取得された撮影画像は画像メモリ１０に蓄積される。制御部１は撮影画像取得部１から動画像等の時系列的に変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影カメラを装着し、移動しながら撮影するので、撮影画像は時間的又は空間的に少しずつ変化する撮影画像であり、近隣の画像の大部分で対象物が共通である。特徴抽出部３では、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出し（Ｓ１１０：特徴抽出工程）、抽出された特徴点データは特徴点追跡部４に供給され、対応点情報メモリ９Ａに記憶される。
【００３６】
隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。特徴点追跡部４において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる（Ｓ１２０：特徴点追跡工程）。特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは対応点情報メモリ９Ａに記憶され、追跡結果も履歴情報として記憶される。各対応点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。すなわち、候補対応点リストには、各対応特徴点について撮影画像毎に二次元画面上の座標が記憶される。また、三次元座標計測後は三次元座標も記憶される。また、対応特徴点として適切か否かの判定結果も記憶される。また、対応特徴点が付された撮影画像は原画像と共に、偏位修正処理され、倍率、揺らぎ、傾きが補正され縦視差が除去された偏位修正画像として、画像メモリ１０に記憶される（Ｓ１２５）。なお、特徴抽出部３で抽出された特徴点データ及び特徴点追跡部４で対応付けられた対応特徴点データがリアルタイムに順次演算処理部５に供給されれば、移動中の移動体（自動車等）で、早期に標定処理、三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。
【００３７】
次に、対応特徴点が付された一連の撮影画像からステレオ画像が選択される（Ｓ１４０：ステレオ画像選択工程）。一連の画像は追跡処理を反映して倍率、揺らぎ、傾きが補正され縦視差が除去された偏位修正画像を用いるのが好ましいが、取得された原画像から選択しても次の標定処理及び三次元計測で相互に対応付けられるので、それでも良い。ステレオ画像を選択するために、その候補として種々の組み合わせが可能であるが、ステレオ画像情報メモリ９Ｂ内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。ステレオペア候補リストには、ステレオペアを構成する撮影画像番号、各撮影画像の焦点距離、撮影方向、ペアを形成した場合の基線長が記憶され、また、偏位修正処理後は偏位修正画像番号、三次元座標計測後は撮影距離も記憶される。また、誤差範囲算定部で算定された誤差範囲も記憶され、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データを形成できる。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。
【００３８】
図４にステレオ画像選択の例を示す。この例では取得画像から数画像離れた画像をステレオ画像として選択しており、対をなす２画像間のフレーム間隔を一定にすれば基線長がほぼ一定に保たれるので好ましい。なお、選択されるステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できるので、ここでは、追跡処理した多数の撮影画像を用いてステレオ画像を選択し、統計処理を行うものとする。
【００３９】
図３に戻り、ステレオ画像選択部６で選択されたステレオ画像の対応特徴点を用いて、標定処理・三次元計測部７で標定処理と三次元計測が行なわれる。標定処理では、選択されたステレオ画像について、特徴点と対応点の座標を用いて、相互標定を行い、撮影カメラの撮影位置と傾きが算定される（Ｓ１５０：第１の標定工程）。ステレオ画像同士の接続標定も行われる。なお、仮にステレオ画像が設定できなかった撮影画像に対しては、単写真標定を行うことにより撮影カメラの撮影位置と傾きを算出可能である。標定処理・３次元計測部７で相互標定処理に続けて偏位修正処理が行われる（Ｓ１５５：偏位修正工程）。
図５は偏位修正処理を説明するための図である。偏位修正処理とは、標定処理で求められた撮影装置の撮影位置と傾きを用いて、計測対象物に対して撮影画像をステレオ法の幾何学が成立するように被写体に対して並行にかつエピポーララインが左右の水平ライン上に一致するように画像を修正する処理である。したがって左右画像の倍率や傾き等の歪が補正され、倍率や高さの位置が同一となる。
【００４０】
再び図３に戻る。標定結果及び偏位修正画像データを用いて三次元計測により各特徴点の三次元座標が算定される（Ｓ１６０：第１の三次元計測工程）。三次元計測は、後述する図９で示されるステレオ法の原理から式（５）〜（７）を用い簡単に求められる。あるいは、三次元計測は、例えば標定処理で求めた撮影カメラの位置と傾き（外部標定要素）を初期値とし、バンドル調整を行うことによって求める。これにより、三次元座標だけでなく、さらに正確な撮影カメラの位置と傾きも求まる。
【００４１】
次に、対応点評価除去部８において、三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点を除去する。
まず、誤差範囲算定部８１で、ステレオ画像について三次元計測工程で求められた対応特徴点の三次元座標について、撮影された画像における撮影条件に基づき設定されるステレオ画像ごとに誤差範囲を求める（Ｓ１７０：誤差範囲算定工程）。誤差範囲は、撮影距離Ｈ、撮影基線長Ｂ、焦点距離ｆ及び画素分解能Δｐに基づいて定められる。次に、許容範囲設定部８２で、複数の異なるステレオ画像の対応特徴点について求められた誤差範囲の重複部分を許容範囲として設定する（Ｓ１７５：許容範囲設定工程）。次に、対応点適否判定部８３で、各対応特徴点の誤差範囲が許容範囲設定部８２で設定された許容範囲と重複部分を有するか否かにより各対応特徴点の適否を判定する（Ｓ１８５：対応点適否判定工程）。すなわち、重複部分を有する場合には許容対応点であり、重複部分を有さない場合には非許容対応点であると判定する。次に、誤対応点削除部８４で、対応点適否判定部８３で不適切と判定された対応特徴点を削除する（Ｓ１９０：誤対応点削除工程）。
【００４２】
次に、再びステレオ画像選択工程（Ｓ１４０）に戻り、対応特徴点から誤対応点除去部８で削除された対応特徴点を除いて、ステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程、第２の偏位修正工程及び第２の三次元計測工程では、誤対応点、すなわち検出された不適切な対応特徴点を除いて行なわれるので、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１４０〜Ｓ１９０）を繰り返すことにより、計測精度を向上することができる。不適切と判定される対応特徴点がなくなるまでループの処理を繰り返す。これにより、三次元座標が確定できる条件が整えばここで三次元座標を確定し（Ｓ１９５）、計測を終了する。
以下に、必要に応じ、各工程について説明する。
【００４３】
［特徴点抽出］
特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１０、図６参照）。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ． Ｐ． Ｍｏｒａｖｅｃ． Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ． Ｐｒｏｃ． ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｐｐ． ５８４， １９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレータを適宜採用できる。
【００４４】
［追跡処理］
図６に特徴点追跡の処理フロー例を示す。特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２０）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影カメラと撮影対象間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影カメラに対する画面相対移動量が求められる。すなわち、フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する（Ｓ１４）。そして、異常な動きを示す誤対応と思われる候補対応点を除去する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。
【００４５】
次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴抽出（Ｓ１１０）に戻り、順次新たな隣接画像について特徴抽出（Ｓ１１０）と追跡処理（Ｓ１２０）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、事後的に一括して、順次新たな隣接画像について追跡処理（Ｓ１２０）が行われる。
【００４６】
特徴点の追跡に、例えばテンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ：逐次残差）法などの手法によりステレオマッチングを行い、対応点を求める（Ｓ１３）。ＳＳＤＡ法とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。
【００４７】
撮影画面中に、走行中の自動車、人、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。
【００４８】
［標定処理／三次元計測］
標定処理・三次元計測部７で相互標定、偏位修正処理と三次元計測が行なわれる。ステレオペア選択された各画像について、特徴点と対応点の座標を用いて、標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾きが求められる。そして、対応点の三次元位置を求めることができる。標定計算処理は、ステレオペア選択された撮影画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては接続標定やバンドル調整にて行う。このステレオペア選択を行う場合には、標定処理・三次元計測部において、撮影画像取得部で得られた複数の画像から、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。
【００４９】
［相互標定処理］
次に、標定計算について説明する。この計算により、左右それぞれのカメラの位置、傾き等が求められる。
図７は相互標定を説明するための図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。
【００５０】
まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。なお、画面距離Ｃは焦点距離ｆと等価である。
【数１】
【００５１】
上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。
【数２】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。
【数３】
【００５２】
これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、φ２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。
【００５３】
この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔＸｊ＝（Ｘｊｒ−Ｘｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＹｊ＝（Ｙｊｒ−Ｙｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＺｊ＝（Ｚｊｒ−Ｚｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＤｊ＝√（ΔＸｊ２＋ΔＹｊ２）
（ΔＸｊｌΔＹｊｌΔＺｊｌ）：統一された座標系の第ｊ番目の左モデル
（ΔＸｊｒΔＹｊｒΔＺｊｒ）：統一された座標系の第ｊ番目の右モデル
ΔＺｊおよびΔＤｊが０．０００５（１／２０００）以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して（ｉｉ）〜（ｖ）までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。
【００５４】
〔偏位修正処理〕
また、偏位修正処理により、エピポーララインが左右の水平ライン上に一致するように画像が修正され、ステレオ法が成立する画像に変換される。また、標定処理及び偏位修正処理で得られた画像データを用いて三次元計測がなされる。
【００５５】
図８に対応特徴点の三次元座標位置とカメラ位置の関係を示す。対象物Ａの計測点ＰをステレオカメラＣ１，Ｃ２でステレオ撮影する（図８にカメラ位置をＣ１，Ｃ２で示す）。撮影画像（原画像）Ｉはカメラの傾きや位置の揺らぎが反映されて取得されるが、偏位修正処理された偏位修正画像Ｍはカメラの傾き及び位置の揺らぎが修正され、エピポーララインが揃った距離計測に適した画像となる。また、カメラの基線長Ｂは、相互標定処理により求めた２つの撮影位置から計算で容易に求められ、撮影距離Ｈは、三次元計測で算出された対応特徴点の三次元座標位置とカメラの位置から求めることができる。
【００５６】
〔ステレオ法〕
次に各特徴点（候補対応点）の三次元座標を算出する。例えばステレオ法から三次元座標を算出する。
【００５７】
図９はステレオ法を説明するための図である。簡単のために、同じ仕様の２台のカメラＣ１，Ｃ２を使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ｃが等しく、ＣＣＤは光軸に直角に置かれているものとする。２台のカメラＣ１，Ｃ２の光軸間距離（基線長）をＢとする。
物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ｃｘ／ｚ −−−（５）
ｙ１＝ｙ２＝ｃｙ／ｚ −−−（６）
ｘ２−ｘ１＝ｃＢ／ｚ −−−（７）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。
（７）式よりｚを求め、これを用いて（５）式、（６）式よりｘ、ｙが求められる。
ステレオ法の説明からわかるように、カメラＣ１、カメラＣ２の撮影距離（倍率）や撮影の向き、基線長Ｂが変わると、幾何学的に本原理が成立しづらくなり、結果として安定した精度の解を求め難くなる。
【００５８】
また、ステレオ法の１画素分解能の式を以下に示す。
２枚の撮影画像から計測する場合、通常以下に示す式により１画素の理論分解能が得られる。
平面分解能：Δｘｙ＝Ｈ×Δｐ／ｆ （８）
奥行き分解能：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）（９）
誤差範囲（σｘｙ，σｚ）は、σｘｙ＝ｋ１Δｘｙ，σｚ＝ｋ２Δｚ で表される。
ここに、Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数である。ｋ１，ｋ２は典型的には１とする。撮影距離Ｈが、予め想定されている撮影距離（標準撮影距離）よりも短い場合で、精度を高くできるときは１より小さくしてもよく、また撮影距離Ｈが標準撮影距離よりも長い場合で精度を低くすべきときは１より大きくし、例えば２，３とする。
これら計算式からも、撮影距離Ｈ、基線長Ｂが１画素の分解能に重要なパラメータであることがわかる。
実際の標定や三次元計測ではこれら撮影距離、基線長、撮影向きなどのパラメータは、全て考慮に入れて補正・調整を行って計算をしているので、問題なく算出できる。
しかしながら、安定した精度良い解を得る、という観点からは、その基本原理から、ステレオ画像にこれらのパラメータが異なるものを使用すると精度が不安定になる要因となる。従ってステレオ画像を選択する際には、カメラの撮影位置から、撮影距離や倍率、カメラの向きを求めることができるので、それらパラメータがほぼ同一のものを選択する。
【００５９】
［対応点の評価・除去］
次に、対応点評価除去部８において、三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点を除去する。
【００６０】
図１０に、誤対応点除去の処理フロー例を模式的に示す。ここで、適宜図３を参照して説明する。撮影画像取得部２は重複部分を共有する複数の撮影画像を取得し（Ｓ１００）、取得された撮影画像は画像メモリ１０に記憶される。他方、取得された撮影画像から特徴点が抽出され（Ｓ１１０）、特徴点が追跡されて相互に対応付けられ（Ｓ１２０）、各対応特徴点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。他方、取得された撮影画像からステレオ画像を選択できる。ステレオ画像情報メモリ９Ｂ内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。また、誤差範囲算定部８で算定された誤差範囲も記憶され、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データを形成できる。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。
【００６１】
ステレオ画像が選択されると、偏位修正処理される（Ｓ１５５）。次に、偏位修正処理された偏位修正画像を用いて、選択されたステレオ画像について各対応特徴点の三次元計測が行なわれ、三次元座標が求められる。複数のステレオ画像について各対応特徴点の三次元計測を行なう（Ｓ１６０）と各対応特徴点の時系列変化を得られる。他方、ステレオペア候補リストを参照して基線長Ｂ及び撮影距離Ｈを得られる。
【００６２】
誤差範囲算定部８１で、ステレオ画像について三次元計測工程で求められた対応特徴点の三次元座標について、撮影画像における撮影条件に基づきステレオ画像ごとに誤差範囲を求める（Ｓ１７０：誤差範囲算定工程）。誤差範囲は、撮影距離Ｈ、撮影基線長Ｂ、焦点距離ｆ及び画素分解能Δｐに基づいて定められる。１画素の理論分解能精度は、（８）、（９）式で求められる（上述の式と同じ）。
平面分解能： Δｘｙ＝Ｈ×Δｐ／ｆ （８）
奥行き分解能：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ） （９）
Ｈ：撮影距離、Δｐ：画素分解能、ｆ：画面距離、Ｂ：撮影基線長
カメラの焦点距離ｆと画素分解能Δｐは既知である。
これにより、誤差範囲Ｅ（σｘｙ＝ｋ１Δｘｙ，σｚ＝ｋ２Δｚ）を求めることができる。
【００６３】
次に、誤差範囲算定部８１で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否が判定される。各対応特徴点の三次元座標に誤差範囲を付して、その時系列変化を追跡することにより、各対応特徴点が三次元計測に適切な対応点であるか否かを、すなわち、対象物自体の特徴点であるか、或は誤対応点かを判定可能となる。本実施の形態では、許容範囲設定部８２で、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する（Ｓ１７５：許容範囲設定工程）。許容範囲を設定するに当り、所定の割合以上のステレオ画像で誤差範囲が重複する部分又は所定数以上のステレオ画像で誤差範囲が重複する部分を許容範囲として設定可能である。例えば、当該対応特徴点を有するステレオ画像が２０画像あり、そのうちの８割の１６画像で誤差範囲が重複する部分を許容範囲としても良く、割合によらず画像数が１５画像以上で誤差範囲が重複する部分を許容範囲としても良い。次に、対応点適否判定部８３で、許容範囲設定部８２で設定された許容範囲に基づいて、各対応特徴点が許容対応点であるか非許容対応点であるかを判定する（Ｓ１８５：対応点適否判定工程）。次に、誤対応点削除部８４で、対応点適否判定部８３で不適切と判定された対応特徴点を削除する（Ｓ１９０：誤対応点削除工程）。
【００６４】
次に、再びステレオ画像選択工程（Ｓ１４０）に戻り、対応特徴点から誤対応点除去部８で削除された対応特徴点を除いて、ステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程、第２の偏位修正工程及び第２の三次元計測工程では、誤対応点、すなわち検出された不適切な対応特徴点を除いて行なわれるので、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１４０〜Ｓ１９０）を繰り返すことにより、計測精度を向上することができる。誤対応点が検出されなくなるまでループの処理を繰り返す。これにより、図３のＳ１９５に進み三次元座標が確定できる条件が整えばここで三次元座標を確定し、計測を終了する。
【００６５】
図１１に誤差範囲を模式的に示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１、Ｐ２（図示しない）の計測座標Ｐ１１，Ｐ２１及びその誤差範囲Ｅ１１、Ｅ２１が示されている。また、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ２の計測位置Ｐ２２及びその誤差範囲Ｅ２２が示されている。また、誤差範囲Ｅ２１と誤差範囲Ｅ２２との重複範囲が許容範囲Ｇとして示されている。
【００６６】
図１２にステレオ画像の誤差範囲の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２が示されている。ここにおいて、例えば、この誤差範囲に閾値を設け、誤差範囲が閾値を越える対応特徴点を削除することも可能である。例えば、誤差範囲があまりに大きく、精度の悪いステレオ画像を最初から省いてステレオ画像を選択してもよい。
【００６７】
図１３にステレオ画像の誤差範囲の別の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２、ステレオカメラＣ５，Ｃ６で撮影された偏位修正画像Ｍ３に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１３及びその誤差範囲Ｅ１３が示されている。これらのステレオ画像の誤差範囲Ｅ１１，Ｅ１２，Ｅ１３の重複部分は許容範囲Ｇとして設定される。この例では、すべての計測点Ｐ１１〜Ｐ１３が許容範囲Ｇに入り、それぞれの誤差範囲Ｅ１１，Ｅ１２，Ｅ１３も許容範囲Ｇと重複するので、許容対応点として残される。
【００６８】
図１４にステレオ画像の誤差範囲のさらに別の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２、ステレオカメラＣ５，Ｃ６で撮影された偏位修正画像Ｍ３に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１３及びその誤差範囲Ｅ１３が示されている。計測点Ｐ１１およびＰ１２の重複範囲を許容範囲Ｇに設定すると、計測点Ｐ１１及び計測点Ｐ１２は許容範囲Ｇに含まれるが、計測点Ｐ１３は許容範囲Ｇから離れて存在する。しかしながら、計測点Ｐ１３の誤差範囲Ｅ１３は許容範囲Ｇと重複する、すなわち全ての誤差範囲Ｅ１１，Ｅ１２，Ｅ１３が重複するので、全ての計測点Ｐ１１，Ｐ１２，Ｐ１３が許容対応点として残される。
【００６９】
図１５にステレオ画像の誤差範囲のさらに別の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２、ステレオカメラＣ５，Ｃ６で撮影された偏位修正画像Ｍ３に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１３及びその誤差範囲Ｅ１３が示されている。計測点Ｐ１１およびＰ１２の重複範囲を許容範囲Ｇに設定すると、計測点Ｐ１１及び計測点Ｐ１２は許容範囲Ｇに含まれるが、計測点Ｐ１３は許容範囲Ｇから離れて存在する。しかも、計測点Ｐ１３の誤差範囲Ｅ１３は許容範囲Ｇと重複しないので、計測点Ｐ１１，Ｐ１２は許容対応点として残されるが、計測点Ｐ１３は非許容対応点として除外される。
【００７０】
［再度の標定処理・三次元計測］
次に、対応点評価除去部８で削除された対応特徴点を除いて、再度、ステレオ画像選択（Ｓ１４０）、標定（Ｓ１５０：第２の標定工程）、偏位修正処理（Ｓ１５５：第２の偏位修正処理工程）、三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。これらの工程では、検出された誤対応点、すなわち不適切な対応特徴点を除いて処理が行なわれ、不適切と判定される対応特徴点がなくなるまで繰り返されるので、高精度の三次元座標が算出される。
以上より、本実施の形態によれば、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。
【００７１】
［第２の実施の形態］
第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明したが、第２の実施の形態では、対応特徴点が許容範囲内に存在するか否かで特徴点の適否を判定する例を示す。すなわち、許容範囲内に存在する対応特徴点を適切と判定し、許容範囲外に存在する対応特徴点を不適切と判定する。その他の点については第１の実施の形態と同様である。
本実施の形態によれば、図１３の例では、すべての計測点Ｐ１１〜Ｐ１３が許容範囲Ｇに含まれ、許容対応点として残される。図１４の例では、計測点Ｐ１１およびＰ１２の重複範囲を許容範囲Ｇに設定すると、計測点Ｐ１１及び計測点Ｐ１２は許容範囲Ｇに含まれるので許容対応点として残されるが、計測点Ｐ１３は許容範囲Ｇから離れて存在するので、非許容対応点として削除される。図１５の例では、図１４の例と同様に計測点Ｐ１１及び計測点Ｐ１２は許容対応点として残されるが、計測点Ｐ１３は非許容対応点として削除される。本実施の形態によれば、確度の高い対応特徴点を選んで三次元計測ができ、三次元座標精度を向上できる。
【００７２】
［第３の実施の形態］
第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明したが、第３の実施の形態では、対応点適否判定部８３は、例えば式（８）（９）から求めた誤差範囲が所定の閾値を越えるステレオ画像の対応特徴点を不適切と判定する例を示す。その他の点については第１の実施の形態と同様である。
本実施の形態によれば、図１２の例で誤差範囲に閾値を設け、誤差範囲が閾値を越える対応特徴点を削除することも可能である。例えば、計測点Ｐ１１の誤差範囲Ｅ１１が閾値を越える場合には、対応特徴点Ｐ１１を不適切と判定し、非許容対応点として除外する。この場合図２の許容範囲設定部８２及び図３の許容範囲設定工程を省略可能である。
なお、本実施の形態を第１、第２の実施の形態と組み合わせ、まず、計測点の誤差範囲が閾値を越えるものを削除してから、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定したり、対応特徴点が許容範囲内に存在か否かで特徴点の適否を判定しても良い。本実施の形態によれば、誤差範囲の小さいステレオ画像を用いて三次元計測を行なえるので、三次元座標を高精度化できる。また、不適切な対応特徴点を所定の閾値を用いて自動的に除去できる。
【００７３】
［第４の実施の形態］
第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明したが、第４の実施の形態では、さらに許容範囲を利用して対応点の位置座標を求める例を示す。その他の点については第１の実施の形態と同様である。すなわち、許容範囲と重複する誤差範囲を有する対応特徴点は真の対応点である可能性が高いので、これら許容範囲と重複する誤差範囲を有する全ての対応特徴点の重心を重み係数を用いて求め、その重心を前記対応特徴点の位置座標と算定する。重み係数は１又は誤差範囲の減少関数とし、例えば誤差範囲の逆数（１／σｘｙ、１／σｚ）とする。本実施の形態によれば、対応特徴点の位置座標をほぼ高い確度で算定できる。なお、誤差範囲が所定の閾値を越える対応特徴点を不適切と判定する第３の実施の形態と組み合わせる場合には、誤差範囲が一定の大きさ以内になるので、重み係数を１として重心を求めても良い。
【００７４】
［第５の実施の形態］
第１の実施の形態では、画像の偏位修正処理を行っているが、第５の実施の形態は、偏位修正処理を省略する例を示す。その他の点については第１の実施の形態と同様である。
図１６に第５の実施の形態における誤対応点除去の処理フロー例を示す。図３及び図１０に示す第１の実施の形態の処理フロー例に比して、偏位修正処理（Ｓ１５５）がなく、標定処理（Ｓ１５０）の後に三次元座標算出（Ｓ１６０）が行なわれる。標定により、カメラ位置の変位及び傾きが求められるので、この値を用いれば実際に画像を変換せずとも、対応特徴点の三次元座標を求めることができる。他の工程は第１の実施の形態と同様である。この場合、精度式にカメラの回転分を考慮するようにしてもよい。あるいは、許容誤差範囲内であれば、厳密には精度式は異なるものとなるが、そのまま（８）、（９）の精度式を利用して誤差、許容範囲としてもよい。また、これらの一連の処理の三次元座標は、絶対座標系でも、カメラだけの相対座標系でもかまわない。
【００７５】
［第６の実施の形態］
第１の実施の形態では、対応点の追跡処理から撮影位置を計測する例を説明したが、第６の実施の形態では、ＧＰＳからなる撮影位置測定部を有し、他の手段により撮影地点を計測するものである。その他の点については第１の実施の形態と同様である。
図１７に第６の実施の形態における誤対応点除去の処理フロー例を示す。図１０に示す第１の実施の形態の処理フロー例に比して、撮影位置測定部１２が追加され、撮影画像に基づかないで撮影位置を計測可能である。したがって、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。また、撮影画像の追跡処理による撮影位置の計測結果を補完できる。他の工程は第１の実施の形態と同様である。また撮影装置１３が追加され、現場での撮影が可能である。
撮影位置測定部１２として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ等を採用可能である。たとえば撮影位置測定部１２をＧＰＳとした場合、撮影地点の三次元座標がＧＰＳから出力される。誤差範囲算定処理（Ｓ１７０）において、ＧＰＳの出力データを用いて基線長Ｂを算出し、三次元座標算出工程（Ｓ１６０）で算出された対応特徴点の三次元座標値とＧＰＳから出力された撮影位置データから撮影距離Ｈを算出し、式（８）、（９）から誤差範囲を算出する。
【００７６】
［第７の実施の形態］
第７の実施の形態では、第６の実施の形態における撮影位置測定部１２に慣性センサを用いる例である。慣性センサにて撮影位置を追跡したデータから基線長を求めることができる。慣性センサとして例えば、位置、速度、加速度、角度又は角速度を計測可能なセンサを用いることができる。また、センサから計算した値と撮影画像の追跡から計算した値を比較することにより撮影位置の座標精度を高めることも可能となる。
【００７７】
［第８の実施の形態］
第１の実施の形態では、図３に示すようにステレオ画像選択（Ｓ１４０）から誤対応点削除（Ｓ１９０）のループ処理が行われるが、本実施の形態では対応点適否の判定の精度がループ回数により変化する例を説明する。すなわち、ループ回数を増すにつれて三次元座標の評価すなわち対応点適否の判定の精度を高めることが可能である。例えば誤差範囲（σｘｙ，σｚ）は基線長Ｂを大にするようにステレオ画像を選択すれば小さくなり、また係数ｋ１，ｋ２を小さくとれば小さくなる。例えば２回目のループの基線長を１回目のループの２倍にする、２回目のループの係数ｋ１、ｋ２を１回目のループの１／２にする等である。その他の点では第１の実施の形態と同様である。
【００７８】
［第９の実施の形態］
第１の実施の形態では、ステレオ画像情報メモリ９Ｂ内にステレオペア候補リストが作成され、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データを形成できる旨を説明したが、第９の実施の形態では、記憶部９はステレオ画像情報メモリ９Ｂ内にステレオ画像と誤差範囲の対応関係を表す式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータを有し、ステレオ画像選択部６は、誤差範囲データから誤差範囲が所定の閾値以下、又は誤差範囲が所定の範囲内のステレオ画像を選択する例を説明する。ステレオ画像選択部６は、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データから、誤差範囲が所定の閾値以下のステレオ画像或いは誤差範囲が所定の範囲内のステレオ画像を選択することが可能である。前者では誤差範囲の小さいステレオ画像を選択して三次元計測ができ、三次元座標を高精度化できる。また後者では誤差範囲が均質な（例えば撮影距離がほぼ等しい）ステレオ画像を用いて、均質な測定ができる。その他の点では第１の実施の形態と同様である。
【００７９】
［第１０の実施の形態］
第１０の実施の形態では、第９の実施の形態では、記憶部９は対応点情報メモリ９Ａ内に対応特徴点と許容範囲の対応関係を表す式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータを有し、ステレオ画像選択部６は、誤差範囲が許容範囲と重複するステレオ画像を選択する例を説明する。一度対応点適否判定が行なわれると、各対応特徴点の誤差範囲が許容範囲と重複するか否かが判定され、その結果が対応点情報メモリ９Ａに記憶されると、対応点情報メモリ９Ａは対応特徴点と許容範囲の対応関係を表す誤差範囲データを有することになり、ステレオ画像選択部６はこの誤差範囲データを参照して誤差範囲が許容範囲と重複するステレオ画像を選択することが可能になる。これにより、真の特徴点である確度の高い対応特徴点を選んで三次元計測ができ、高精度の三次元座標を得られるようになる。その他の点では第１の実施の形態と同様である。
【００８０】
［第１１の実施の形態］
第１１の実施の形態では、記憶部９（図２参照）は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す式（９）を利用して、測定で求められる測定精度と、必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、ｋ１，ｋ２：係数など）を代入して要求精度を満たす基線長のデータが求められて、記憶される。ステレオ画像選択部６は、要求精度を満たす基線長となるようにステレオ画像を選択する例を示す。測定精度は基線長に依存するので、要求精度に合わせてステレオ画像の基線長を決めることにより、要求に合った三次元計測結果を提供できる。その他の点では第１の実施の形態と同様である。
【００８１】
［第１２の実施の形態］
第１の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、第１２の実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像等の順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。
【００８２】
［第１３の実施の形態］
第１３の実施の形態では、移動している物体を判別する例を説明する。各対応特徴点は、時系列に推移していることから、これらの処理の結果の三次元座標値から移動している物体を判別することが可能となる。すなわち、時系列にした三次元座標リストを作成すれば、対応特徴点が時系列中のある三次元座標値から変わり、移動する場合は移動体であると判定できる。
【００８３】
また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは制御部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００８４】
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００８５】
例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、追跡処理における異常値の除去が省略されていたとしても、本発明における誤差範囲を用いて、不適切な特徴点の除去が可能である。また、追跡処理において予め移動ベクトルの差異から、特異な特徴点を除去してから、本発明の誤差範囲に基づく特徴点の除去を適用しても良い。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、使用するステレオ画像の数、基線長、特徴点の数等は適宜選択可能である。
【産業上の利用可能性】
【００８６】
本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。
【図面の簡単な説明】
【００８７】
【図１】第１の実施の形態の概念を説明するための図である。
【図２】第１の実施の形態における画像処理装置の構成例を示すブロック図である。
【図３】第１の実施の形態における画像処理方法のフロー例を示す図である。
【図４】ステレオ画像選択の例を示す図である。
【図５】偏位修正処理を説明するための図である。
【図６】特徴点追跡の処理フロー例を示す図である。
【図７】相互標定を説明するための図である。
【図８】対応特徴点の三次元座標位置とカメラ位置の関係を示す図である。
【図９】ステレオ法を説明するための図である。
【図１０】第１の実施の形態における誤対応点除去の処理フロー例を示す図である。
【図１１】誤差範囲を模式的に示す図である。
【図１２】ステレオ画像の誤差範囲の例を示す図である。
【図１３】ステレオ画像の誤差範囲の別の例を示す図である。
【図１４】ステレオ画像の誤差範囲のさらに別の例を示す図である。
【図１５】ステレオ画像の誤差範囲のさらに別の例を示す図である。
【図１６】第５の実施の形態における誤対応点除去の処理フロー例を示す図である。
【図１７】第６の実施の形態における誤対応点除去の処理フロー例を示す図である。
【符号の説明】
【００８８】
１ 制御部
２ 撮影画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 演算処理部
６ ステレオ画像選択部
７ 標定処理・三次元計測部
８ 対応点評価除去部
９ 記憶部
９Ａ 対応点情報メモリ
９Ｂ ステレオ画像情報メモリ
１０ 画像メモリ
１１ 表示部
１２ 撮影位置測定部
１３ 撮影部
８１ 誤差範囲算定部
８２ 許容範囲設定部
８３ 対応点適否判定部
８４ 誤対応点削除部
１００ 画像処理装置
Ａ 対象物
Ｂ 基線長
Ｃ 画面距離
Ｃ１〜Ｃ６ 第１〜第６の撮影位置
Ｅ１１〜Ｅ１３，Ｅ２１〜Ｅ２３ 誤差範囲
ｆ 焦点距離
Ｇ 許容範囲
Ｈ 撮影距離
Ｉ 撮影画像
Ｍ，Ｍ１〜Ｍ３ 偏位修正画像
Ｐ，Ｐ１，Ｐ２ 対応点
Ｐ１１〜Ｐ１３，Ｐ２１〜Ｐ２３ 計測点
【技術分野】
【０００１】
本発明は画像処理装置及びその処理方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定する画像処理装置及びその処理方法に関する。
【背景技術】
【０００２】
相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載したり、人が手に持って撮影を行うと、自動車や人の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と対象物の間に例えば他の自動車、人、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。また、三次元空間での動きが二次元画像上では見え難い場合もある。したがって、このような撮影装置の揺動の処理、消失・再現する特徴点の処理と共に三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要となっている。他方、静止した対象物を静止した撮影装置で撮影する場合には、高精度、自動的に対応点探索、計測を行う三次元計測技術が開示されている。（特許文献１参照）
【０００３】
【特許文献１】特開２００３−２６４８５２号公報（段落００１８〜００７３、図１〜図１１等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
動画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各動画像上で相互に対応する特徴点すなわち対象物上の同一点（以下、対応特徴点という）を求め、これを追跡する必要がある。しかしながら、かかる対応特徴点を求める際に、例えば三次元的に奥行き方向に移動した場合などは、二次元的に見ると移動したように見えず、三次元空間的に奥行きに差のある２本以上の線によって画像上に交点として認識されるいわゆる、擬似特徴点、擬似基準点と称される点については、正しい誤対応除去ができないことになる。また、従来の動画像解析では、二次元的な点の移動の評価を基本としており、三次元的な点の移動について評価しているものは見出されないが、正しい誤対応除去ができないと、結果的に三次元座標の計測精度が悪くなり、信頼性が低下する。
【０００５】
そこで、上記静止した対象物を静止した撮影装置で撮影する技術を、そのいずれか一方又は双方が移動する場合に発展適用させて、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような、動画像等の時系列的に変化する撮影画像の場合においても、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供することが必要とされている。
【０００６】
本発明は、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の画像処理装置１００は、例えば図２に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の相互に対応付けられた特徴点（対象物上の同一点を表す）である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部７と、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定部８１と、誤差範囲算定部８１で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定部８３と、対応点適否判定部８３で不適切と判定された対応特徴点を削除する誤対応点削除部８４とを備える。
【０００８】
ここにおいて、相対的に移動する対象物とは、典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が共に移動する状態で撮影されても良い。すなわち、両者が相対的に移動する状態で撮影されれば良い。隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。重複し合う画像数は多い程、計測座標精度を向上できるので望ましいが、例えば１０以上が好ましく、５０以上であれば更に好ましい。時系列的に撮影した一連の撮影画像とは、時間の経過に伴って順次取得された撮影画像であり、ビデオカメラで連続的に撮影された動画像のフレームから抽出された画像でも良く、単体カメラで適当な時間間隔で順次撮影された画像でも良い。また、動画像のフレームのうち全てのフレームから取得しても良く、数フレーム置きに取得しても良い。また、特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、相互に対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、特徴点を順次対応付け、追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。また、特徴点は時間の経過と共に新規発生、消滅、再現するものであり、このため一連の撮影画像中、相互に対応付けられた特徴点は少なくとも３以上の撮影画像にあれば良い。また、ステレオ画像の選択は、一連の撮影画像について追跡処理を反映して位置、倍率、傾きを補正され縦視差が除去された偏位修正画像から選択するのが好ましいが、取得された原画像から選択しても標定処理及び三次元計測で相互に対応付けられるので、それでも良い。また、標定とは撮影装置の撮影位置と傾きを算定する処理であり、三次元計測とは各特徴点の三次元座標を算定する処理である。また、誤差範囲に基づいて判定するとは、算定された誤差範囲を用いて判定することを意味し、例えば誤差範囲の大小、誤差範囲同士の重複の有無等により判定する。また、対応特徴点の三次元計測への適否とは、三次元座標計測の精度を劣化させるような特徴点（したがって標定にも悪影響を及ぼすような特徴点でもある）である誤対応点を不適切として除く意図で判定される。なお、誤対応点には、本来対応していないのに誤って対応付けされた特徴点の他に、撮影対象物と異なる動きをする物に付された特徴点、擬似特徴点、擬似基準点等も含まれる。
【０００９】
このように構成すると、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置を提供できる。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、標定処理・三次元計測部７は、対応特徴点から誤対応点削除部８４により削除された対応特徴点を除いて、再度標定および三次元計測を行なう。このように構成すると、誤対応点を除いた精度の高い三次元座標を得られる。
【００１１】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の画像処理装置において、対応点適否判定部８３は、誤差範囲が所定の閾値を越えるステレオ画像の対応特徴点を不適切と判定する。ここにおいて、所定の閾値は例えば平面分解能Δｘｙ、奥行き分解能Δｚのｋ倍とする。このように構成すると、誤差範囲の小さいステレオ画像を用いて三次元計測を行なえるので、三次元座標を高精度化できる。また、不適切な対応特徴点を所定の閾値を用いて自動的に除去できる。
【００１２】
また、請求項４に記載の発明は、請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する許容範囲設定部８２を備え、対応点適否判定部８３は、誤差範囲が許容範囲と重複部分を有するステレオ画像の対応特徴点を適切と判定し、重複部分を有さないステレオ画像の対応特徴点を不適切と判定する。このように構成すると、三次元計測の誤差範囲外となる誤対応点を確実に除去できる。また、二次元画像では分離できなかった擬似特徴点も除去できる。
【００１３】
また、請求項５に記載の発明は、請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する許容範囲設定部８２を備え、対応点適否判定部８３は、許容範囲内に存在する対応特徴点を適切と判定し、許容範囲外に存在する対応特徴点を不適切と判定する。このように構成すると、確度の高い対応特徴点を選んで三次元計測ができ、三次元座標精度を向上できる。
【００１４】
また、請求項６に記載の発明は、請求項４又は請求項５に記載の画像処理装置において、許容範囲設定部８２は、所定数以上のステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する。ここにおいて、許容範囲とは誤差範囲から推測される対応点の位置座標が許容される範囲を意味するものである。このように構成すると、対応特徴点の位置座標を許容範囲内として推定できる。
【００１５】
また、請求項７に記載の発明は、請求項６に記載の画像処理装置において、許容範囲と重複部分を有するステレオ画像の対応特徴点について、１又は誤差範囲の減少関数となる重み係数を用いて重心を求め、重心を対応特徴点の位置座標と算定する。ここにおいて重み係数は１の場合を含み、例えば誤差範囲が所定の閾値を越えるものを不適切と判断した場合は重み係数を１として良い。このように構成すると、対応特徴点の位置座標をほぼ高い確度で算定できる。
【００１６】
また、請求項８に記載の発明は、請求項１乃至請求項７のいずれか１項に記載の画像処理装置において、標定処理・三次元計測部は、ステレオ画像を偏位修正処理した偏位修正画像を形成し、偏位修正画像に基づいて三次元計測を行う。このように構成すると、偏位修正処理を行なうことにより、三次元計測を容易かつ高精度で行なうことができる。
【００１７】
また、請求項９に記載の発明は、請求項１乃至請求項８のいずれか１項に記載の画像処理装置において、誤差範囲（σｘｙ，σｚ）は、基線長Ｂ、撮影距離Ｈ、焦点距離ｆと画素サイズΔｐの関数として算定される。このように構成すると、誤差範囲を適切かつ自動的に算定できる。
【００１８】
また、請求項１０に記載の発明は、請求項３乃至請求項９のいずれか１項に記載の画像処理装置において、ステレオ画像と誤差範囲の対応関係である式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータを有する記憶部９を備え、ステレオ画像選択部６は、誤差範囲が所定の閾値以下のステレオ画像を選択する。このように構成すると、誤差範囲の小さいステレオ画像を選択して三次元計測ができ、三次元座標を高精度化できる。
【００１９】
また、請求項１１に記載の発明は、請求項３乃至請求項９のいずれか１項に記載の画像処理装置において、ステレオ画像と誤差範囲の対応関係に基づき求められる、想定される測定における誤差範囲を示すデータを有する記憶部９を備え、ステレオ画像選択部６は、誤差データから誤差範囲が所定の範囲内のステレオ画像を選択する。このように構成すると、誤差範囲が均質な（例えば撮影距離がほぼ等しい）ステレオ画像を用いて、均質な測定ができる。
【００２０】
また、請求項１２に記載の発明は、請求項４乃至請求項１１のいずれか１項に記載の画像処理装置において、対応特徴点と許容範囲の対応関係を表す誤差データを有する記憶部９を備え、ステレオ画像選択部６は、式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータから誤差範囲が許容範囲と重複するステレオ画像を選択する。このように構成すると、真の特徴点である確度の高い対応特徴点を選んで三次元計測ができ、高精度の三次元座標を得られる。
【００２１】
また、請求項１３に記載の発明は、請求項１乃至請求項１２のいずれか１項に記載の画像処理装置において、ステレオ画像の基線長と三次元座標の測定精度との関係を表す式（９）を利用して、測定で求められる測定精度と、必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、ｋ１，ｋ２：係数など）を代入して要求精度を満たす基線長のデータを有する記憶部９を備え、ステレオ画像選択部６は、要求精度を満たす基線長となるようにステレオ画像を選択する。このように構成すると、要求性能に見合った三次元計測ができる。
【００２２】
また、請求項１４に記載の発明は、請求項１乃至請求項１３のいずれか１項に記載の画像処理装置において、撮影画像に基づかないで撮影位置を計測可能な撮影位置測定部を備える。このように構成すると、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。
【００２３】
また、請求項１５に記載の発明は、請求項１乃至請求項１４のいずれか１項に記載の画像処理装置において、誤差範囲又は許容範囲を立体的二次元表示する表示装置を備え、撮影画像取得部は一連の撮影画像を撮影する撮影装置を有する。このように構成すると、現地撮影が可能になり、また、立体的二次元表示により擬似特徴点等の誤対応点を判別しやすくなる。
【００２４】
また、請求項１６に記載の画像処理方法は、例えば図３に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程（Ｓ１４０）で選択されたステレオ画像の相互に対応付けられた特徴点である対応特徴点を用いて、標定を行なう第１の標定工程（Ｓ１５０）と、第１の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第１の三次元計測工程（Ｓ１６０）と、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定工程（Ｓ１７０）と、誤差範囲算定工程で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定工程（Ｓ１８５）と、対応点適否判定工程（Ｓ１８５）で不適切と判定された対応特徴点を削除する誤対応点削除工程（Ｓ１９０）とを備える。
【００２５】
このように構成すると、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理方法を提供できる。
【００２６】
また、請求項１７に記載の発明は、請求項１６に記載の画像処理方法において、対応特徴点から誤対応点削除工程（Ｓ１９０）で削除された対応特徴点を除いて、再度標定を行なう第２の標定工程（Ｓ１５０）と、第２の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第２の三次元計測工程（Ｓ１６０）と備える。このように構成すると、誤対応点を除去して三次元計測を行なうので、高精度の三次元座標を求められる。
【００２７】
また、請求項１８に記載の発明は、請求項１６又は請求項１７に記載の画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムである。
【発明の効果】
【００２８】
本発明によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。
【発明を実施するための最良の形態】
【００２９】
以下に図面に基づき本発明の実施の形態について説明する。
【００３０】
［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、時間すなわち自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ電波を受信できない区間で補完的に利用される意義も大きい。以下の実施の形態では、撮影画像において、誤って対応付けされた特徴点、動きのある特徴点、揺らぎの大きい特徴点等の誤対応点については、カメラの位置座標を求めるのに不適当であるため除去する。なお、第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明する。
【００３１】
図２に本実施の形態における画像処理装置１００の構成例を示す。図において、１は画像処理装置１００の各部を制御して、画像処理装置として機能せしめる制御部であり、具体的には、撮影画像取得部２への撮影画像取得の指示、特徴抽出部３への特徴点抽出実行の指示、特徴点追跡部４への追跡実行の指示、演算処理部５へのステレオ画像選択指示、標定・三次元計測実行指示、対応特徴点の評価・削除処理の指示等を行う。
【００３２】
２は動画像等の時系列的に変化する撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、画像メモリ１０への撮影画像の保存等を行う。なお、自己の撮影装置で撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。３は順次取得した撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４への出力等を行う。４は特徴抽出部３より入力された特徴点に対応する対応点（厳密には確定するまでは候補対応点というが、本実施の形態では候補対応点を含めて対応点ということとする）を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の対応点情報メモリ９Ａへの出力、対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。特徴点追跡部４において特徴点が対応付けられた、すなわち対応特徴点が付された一連の撮影画像は、後述する偏位修正処理により、倍率、揺らぎ、傾きが補正された偏位修正画像として、取得された原画像と共に画像メモリ１０に記憶される。
【００３３】
５は演算処理部で、ステレオ画像選択部６と標定処理・三次元計測部７と対応点評価除去部８とを有する。ステレオ画像選択部６は特徴抽出部３及び特徴点追跡部４において対応特徴点が付された一連の画像からステレオ画像を選択する。標定処理・三次元計測部７はステレオ画像選択部６で選択されたステレオ画像を用いて標定計算、三次元計測を実行するもので、その他に、偏位修正処理、標定結果及び三次元計測結果の表示部１１への出力、外部へ標定結果及び三次元計測結果の出力等を行う。標定計算、三次元計測を行なうためのステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できる。対応点評価除去部８は三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点、すなわち三次元計測に不適切な特徴点や対応点を除去する。対応点評価除去部８は、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定部８１、複数の撮影画像における対応特徴点の誤差範囲の重複部分、すなわち対応特徴点の位置座標の取り得る範囲を許容範囲として設定する許容範囲設定部８２、対応特徴点の三次元座標の誤差範囲に基づいて対応特徴点の三次元計測への適否を判定する対応点適否判定部８３、対応点適否判定部８３で不適切と判定された対応特徴点を削除する誤対応点削除部８４とを備える。本実施の形態では、誤差範囲算定部８１は撮影画像の撮影条件に基づき対応特徴点の三次元座標の誤差範囲を算定し、対応点適否判定部８３は各対応特徴点の誤差範囲が許容範囲と重複するか否かにより、重複する場合は許容対応点（適切な対応点）、重複しない場合は非許容対応点（不適切な対応点）と判定する。対応点評価除去部８にて不適切な対応特徴点が除去された一連の画像から、再度、ステレオ画像選択部６によりステレオ画像が選択され、再度、標定処理・三次元計測部７において、標定計算、三次元計測が実行される。
【００３４】
１１は演算処理部５により標定処理又は三次元計測された対象物の画像や撮影した位置の軌跡を平面的又は立体的（立体的二次元表示）に表示する表示部、９は記憶部で、特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ９Ａ、ステレオ画像に関する情報を記憶するステレオ画像情報メモリ９Ｂ、撮影画像、偏位修正画像、その他の画像を記憶する画像メモリ１０を有する。対応点情報メモリ９Ａ、ステレオ画像情報メモリ９Ｂ、画像メモリ１０には、特徴点追跡時、対応点評価・除去時、ステレオ画像選択時、標定計算や三次元計測時等、必要に応じて随時参照され、また書き込みされる。
【００３５】
図３に第１の実施の形態における画像処理方法のフロー例を示す。まず、撮影画像取得部２において、相対的に移動する対象物について、動画像等の時系列的に変化する一連の撮影画像を取得する（Ｓ１００：撮影画像取得工程）。一連の撮影画像は隣り合う３以上の画像が重複部分を共有するように取得する。自己の撮影カメラで画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。取得された撮影画像は画像メモリ１０に蓄積される。制御部１は撮影画像取得部１から動画像等の時系列的に変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影カメラを装着し、移動しながら撮影するので、撮影画像は時間的又は空間的に少しずつ変化する撮影画像であり、近隣の画像の大部分で対象物が共通である。特徴抽出部３では、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出し（Ｓ１１０：特徴抽出工程）、抽出された特徴点データは特徴点追跡部４に供給され、対応点情報メモリ９Ａに記憶される。
【００３６】
隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。特徴点追跡部４において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる（Ｓ１２０：特徴点追跡工程）。特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは対応点情報メモリ９Ａに記憶され、追跡結果も履歴情報として記憶される。各対応点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。すなわち、候補対応点リストには、各対応特徴点について撮影画像毎に二次元画面上の座標が記憶される。また、三次元座標計測後は三次元座標も記憶される。また、対応特徴点として適切か否かの判定結果も記憶される。また、対応特徴点が付された撮影画像は原画像と共に、偏位修正処理され、倍率、揺らぎ、傾きが補正され縦視差が除去された偏位修正画像として、画像メモリ１０に記憶される（Ｓ１２５）。なお、特徴抽出部３で抽出された特徴点データ及び特徴点追跡部４で対応付けられた対応特徴点データがリアルタイムに順次演算処理部５に供給されれば、移動中の移動体（自動車等）で、早期に標定処理、三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。
【００３７】
次に、対応特徴点が付された一連の撮影画像からステレオ画像が選択される（Ｓ１４０：ステレオ画像選択工程）。一連の画像は追跡処理を反映して倍率、揺らぎ、傾きが補正され縦視差が除去された偏位修正画像を用いるのが好ましいが、取得された原画像から選択しても次の標定処理及び三次元計測で相互に対応付けられるので、それでも良い。ステレオ画像を選択するために、その候補として種々の組み合わせが可能であるが、ステレオ画像情報メモリ９Ｂ内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。ステレオペア候補リストには、ステレオペアを構成する撮影画像番号、各撮影画像の焦点距離、撮影方向、ペアを形成した場合の基線長が記憶され、また、偏位修正処理後は偏位修正画像番号、三次元座標計測後は撮影距離も記憶される。また、誤差範囲算定部で算定された誤差範囲も記憶され、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データを形成できる。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。
【００３８】
図４にステレオ画像選択の例を示す。この例では取得画像から数画像離れた画像をステレオ画像として選択しており、対をなす２画像間のフレーム間隔を一定にすれば基線長がほぼ一定に保たれるので好ましい。なお、選択されるステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できるので、ここでは、追跡処理した多数の撮影画像を用いてステレオ画像を選択し、統計処理を行うものとする。
【００３９】
図３に戻り、ステレオ画像選択部６で選択されたステレオ画像の対応特徴点を用いて、標定処理・三次元計測部７で標定処理と三次元計測が行なわれる。標定処理では、選択されたステレオ画像について、特徴点と対応点の座標を用いて、相互標定を行い、撮影カメラの撮影位置と傾きが算定される（Ｓ１５０：第１の標定工程）。ステレオ画像同士の接続標定も行われる。なお、仮にステレオ画像が設定できなかった撮影画像に対しては、単写真標定を行うことにより撮影カメラの撮影位置と傾きを算出可能である。標定処理・３次元計測部７で相互標定処理に続けて偏位修正処理が行われる（Ｓ１５５：偏位修正工程）。
図５は偏位修正処理を説明するための図である。偏位修正処理とは、標定処理で求められた撮影装置の撮影位置と傾きを用いて、計測対象物に対して撮影画像をステレオ法の幾何学が成立するように被写体に対して並行にかつエピポーララインが左右の水平ライン上に一致するように画像を修正する処理である。したがって左右画像の倍率や傾き等の歪が補正され、倍率や高さの位置が同一となる。
【００４０】
再び図３に戻る。標定結果及び偏位修正画像データを用いて三次元計測により各特徴点の三次元座標が算定される（Ｓ１６０：第１の三次元計測工程）。三次元計測は、後述する図９で示されるステレオ法の原理から式（５）〜（７）を用い簡単に求められる。あるいは、三次元計測は、例えば標定処理で求めた撮影カメラの位置と傾き（外部標定要素）を初期値とし、バンドル調整を行うことによって求める。これにより、三次元座標だけでなく、さらに正確な撮影カメラの位置と傾きも求まる。
【００４１】
次に、対応点評価除去部８において、三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点を除去する。
まず、誤差範囲算定部８１で、ステレオ画像について三次元計測工程で求められた対応特徴点の三次元座標について、撮影された画像における撮影条件に基づき設定されるステレオ画像ごとに誤差範囲を求める（Ｓ１７０：誤差範囲算定工程）。誤差範囲は、撮影距離Ｈ、撮影基線長Ｂ、焦点距離ｆ及び画素分解能Δｐに基づいて定められる。次に、許容範囲設定部８２で、複数の異なるステレオ画像の対応特徴点について求められた誤差範囲の重複部分を許容範囲として設定する（Ｓ１７５：許容範囲設定工程）。次に、対応点適否判定部８３で、各対応特徴点の誤差範囲が許容範囲設定部８２で設定された許容範囲と重複部分を有するか否かにより各対応特徴点の適否を判定する（Ｓ１８５：対応点適否判定工程）。すなわち、重複部分を有する場合には許容対応点であり、重複部分を有さない場合には非許容対応点であると判定する。次に、誤対応点削除部８４で、対応点適否判定部８３で不適切と判定された対応特徴点を削除する（Ｓ１９０：誤対応点削除工程）。
【００４２】
次に、再びステレオ画像選択工程（Ｓ１４０）に戻り、対応特徴点から誤対応点除去部８で削除された対応特徴点を除いて、ステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程、第２の偏位修正工程及び第２の三次元計測工程では、誤対応点、すなわち検出された不適切な対応特徴点を除いて行なわれるので、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１４０〜Ｓ１９０）を繰り返すことにより、計測精度を向上することができる。不適切と判定される対応特徴点がなくなるまでループの処理を繰り返す。これにより、三次元座標が確定できる条件が整えばここで三次元座標を確定し（Ｓ１９５）、計測を終了する。
以下に、必要に応じ、各工程について説明する。
【００４３】
［特徴点抽出］
特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１０、図６参照）。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ． Ｐ． Ｍｏｒａｖｅｃ． Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ． Ｐｒｏｃ． ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｐｐ． ５８４， １９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレータを適宜採用できる。
【００４４】
［追跡処理］
図６に特徴点追跡の処理フロー例を示す。特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２０）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影カメラと撮影対象間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影カメラに対する画面相対移動量が求められる。すなわち、フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する（Ｓ１４）。そして、異常な動きを示す誤対応と思われる候補対応点を除去する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。
【００４５】
次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴抽出（Ｓ１１０）に戻り、順次新たな隣接画像について特徴抽出（Ｓ１１０）と追跡処理（Ｓ１２０）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、事後的に一括して、順次新たな隣接画像について追跡処理（Ｓ１２０）が行われる。
【００４６】
特徴点の追跡に、例えばテンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ：逐次残差）法などの手法によりステレオマッチングを行い、対応点を求める（Ｓ１３）。ＳＳＤＡ法とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。
【００４７】
撮影画面中に、走行中の自動車、人、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。
【００４８】
［標定処理／三次元計測］
標定処理・三次元計測部７で相互標定、偏位修正処理と三次元計測が行なわれる。ステレオペア選択された各画像について、特徴点と対応点の座標を用いて、標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾きが求められる。そして、対応点の三次元位置を求めることができる。標定計算処理は、ステレオペア選択された撮影画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては接続標定やバンドル調整にて行う。このステレオペア選択を行う場合には、標定処理・三次元計測部において、撮影画像取得部で得られた複数の画像から、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。
【００４９】
［相互標定処理］
次に、標定計算について説明する。この計算により、左右それぞれのカメラの位置、傾き等が求められる。
図７は相互標定を説明するための図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。
【００５０】
まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。なお、画面距離Ｃは焦点距離ｆと等価である。
【数１】
【００５１】
上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。
【数２】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。
【数３】
【００５２】
これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、φ２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。
【００５３】
この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔＸｊ＝（Ｘｊｒ−Ｘｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＹｊ＝（Ｙｊｒ−Ｙｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＺｊ＝（Ｚｊｒ−Ｚｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＤｊ＝√（ΔＸｊ２＋ΔＹｊ２）
（ΔＸｊｌΔＹｊｌΔＺｊｌ）：統一された座標系の第ｊ番目の左モデル
（ΔＸｊｒΔＹｊｒΔＺｊｒ）：統一された座標系の第ｊ番目の右モデル
ΔＺｊおよびΔＤｊが０．０００５（１／２０００）以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して（ｉｉ）〜（ｖ）までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。
【００５４】
〔偏位修正処理〕
また、偏位修正処理により、エピポーララインが左右の水平ライン上に一致するように画像が修正され、ステレオ法が成立する画像に変換される。また、標定処理及び偏位修正処理で得られた画像データを用いて三次元計測がなされる。
【００５５】
図８に対応特徴点の三次元座標位置とカメラ位置の関係を示す。対象物Ａの計測点ＰをステレオカメラＣ１，Ｃ２でステレオ撮影する（図８にカメラ位置をＣ１，Ｃ２で示す）。撮影画像（原画像）Ｉはカメラの傾きや位置の揺らぎが反映されて取得されるが、偏位修正処理された偏位修正画像Ｍはカメラの傾き及び位置の揺らぎが修正され、エピポーララインが揃った距離計測に適した画像となる。また、カメラの基線長Ｂは、相互標定処理により求めた２つの撮影位置から計算で容易に求められ、撮影距離Ｈは、三次元計測で算出された対応特徴点の三次元座標位置とカメラの位置から求めることができる。
【００５６】
〔ステレオ法〕
次に各特徴点（候補対応点）の三次元座標を算出する。例えばステレオ法から三次元座標を算出する。
【００５７】
図９はステレオ法を説明するための図である。簡単のために、同じ仕様の２台のカメラＣ１，Ｃ２を使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ｃが等しく、ＣＣＤは光軸に直角に置かれているものとする。２台のカメラＣ１，Ｃ２の光軸間距離（基線長）をＢとする。
物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ｃｘ／ｚ −−−（５）
ｙ１＝ｙ２＝ｃｙ／ｚ −−−（６）
ｘ２−ｘ１＝ｃＢ／ｚ −−−（７）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。
（７）式よりｚを求め、これを用いて（５）式、（６）式よりｘ、ｙが求められる。
ステレオ法の説明からわかるように、カメラＣ１、カメラＣ２の撮影距離（倍率）や撮影の向き、基線長Ｂが変わると、幾何学的に本原理が成立しづらくなり、結果として安定した精度の解を求め難くなる。
【００５８】
また、ステレオ法の１画素分解能の式を以下に示す。
２枚の撮影画像から計測する場合、通常以下に示す式により１画素の理論分解能が得られる。
平面分解能：Δｘｙ＝Ｈ×Δｐ／ｆ （８）
奥行き分解能：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）（９）
誤差範囲（σｘｙ，σｚ）は、σｘｙ＝ｋ１Δｘｙ，σｚ＝ｋ２Δｚ で表される。
ここに、Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数である。ｋ１，ｋ２は典型的には１とする。撮影距離Ｈが、予め想定されている撮影距離（標準撮影距離）よりも短い場合で、精度を高くできるときは１より小さくしてもよく、また撮影距離Ｈが標準撮影距離よりも長い場合で精度を低くすべきときは１より大きくし、例えば２，３とする。
これら計算式からも、撮影距離Ｈ、基線長Ｂが１画素の分解能に重要なパラメータであることがわかる。
実際の標定や三次元計測ではこれら撮影距離、基線長、撮影向きなどのパラメータは、全て考慮に入れて補正・調整を行って計算をしているので、問題なく算出できる。
しかしながら、安定した精度良い解を得る、という観点からは、その基本原理から、ステレオ画像にこれらのパラメータが異なるものを使用すると精度が不安定になる要因となる。従ってステレオ画像を選択する際には、カメラの撮影位置から、撮影距離や倍率、カメラの向きを求めることができるので、それらパラメータがほぼ同一のものを選択する。
【００５９】
［対応点の評価・除去］
次に、対応点評価除去部８において、三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点を除去する。
【００６０】
図１０に、誤対応点除去の処理フロー例を模式的に示す。ここで、適宜図３を参照して説明する。撮影画像取得部２は重複部分を共有する複数の撮影画像を取得し（Ｓ１００）、取得された撮影画像は画像メモリ１０に記憶される。他方、取得された撮影画像から特徴点が抽出され（Ｓ１１０）、特徴点が追跡されて相互に対応付けられ（Ｓ１２０）、各対応特徴点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。他方、取得された撮影画像からステレオ画像を選択できる。ステレオ画像情報メモリ９Ｂ内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。また、誤差範囲算定部８で算定された誤差範囲も記憶され、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データを形成できる。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。
【００６１】
ステレオ画像が選択されると、偏位修正処理される（Ｓ１５５）。次に、偏位修正処理された偏位修正画像を用いて、選択されたステレオ画像について各対応特徴点の三次元計測が行なわれ、三次元座標が求められる。複数のステレオ画像について各対応特徴点の三次元計測を行なう（Ｓ１６０）と各対応特徴点の時系列変化を得られる。他方、ステレオペア候補リストを参照して基線長Ｂ及び撮影距離Ｈを得られる。
【００６２】
誤差範囲算定部８１で、ステレオ画像について三次元計測工程で求められた対応特徴点の三次元座標について、撮影画像における撮影条件に基づきステレオ画像ごとに誤差範囲を求める（Ｓ１７０：誤差範囲算定工程）。誤差範囲は、撮影距離Ｈ、撮影基線長Ｂ、焦点距離ｆ及び画素分解能Δｐに基づいて定められる。１画素の理論分解能精度は、（８）、（９）式で求められる（上述の式と同じ）。
平面分解能： Δｘｙ＝Ｈ×Δｐ／ｆ （８）
奥行き分解能：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ） （９）
Ｈ：撮影距離、Δｐ：画素分解能、ｆ：画面距離、Ｂ：撮影基線長
カメラの焦点距離ｆと画素分解能Δｐは既知である。
これにより、誤差範囲Ｅ（σｘｙ＝ｋ１Δｘｙ，σｚ＝ｋ２Δｚ）を求めることができる。
【００６３】
次に、誤差範囲算定部８１で算定された対応特徴点の三次元座標の誤差範囲に基づいて、対応特徴点の三次元計測への適否が判定される。各対応特徴点の三次元座標に誤差範囲を付して、その時系列変化を追跡することにより、各対応特徴点が三次元計測に適切な対応点であるか否かを、すなわち、対象物自体の特徴点であるか、或は誤対応点かを判定可能となる。本実施の形態では、許容範囲設定部８２で、複数の異なるステレオ画像の誤差範囲の重複部分を対応特徴点の許容範囲として設定する（Ｓ１７５：許容範囲設定工程）。許容範囲を設定するに当り、所定の割合以上のステレオ画像で誤差範囲が重複する部分又は所定数以上のステレオ画像で誤差範囲が重複する部分を許容範囲として設定可能である。例えば、当該対応特徴点を有するステレオ画像が２０画像あり、そのうちの８割の１６画像で誤差範囲が重複する部分を許容範囲としても良く、割合によらず画像数が１５画像以上で誤差範囲が重複する部分を許容範囲としても良い。次に、対応点適否判定部８３で、許容範囲設定部８２で設定された許容範囲に基づいて、各対応特徴点が許容対応点であるか非許容対応点であるかを判定する（Ｓ１８５：対応点適否判定工程）。次に、誤対応点削除部８４で、対応点適否判定部８３で不適切と判定された対応特徴点を削除する（Ｓ１９０：誤対応点削除工程）。
【００６４】
次に、再びステレオ画像選択工程（Ｓ１４０）に戻り、対応特徴点から誤対応点除去部８で削除された対応特徴点を除いて、ステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程、第２の偏位修正工程及び第２の三次元計測工程では、誤対応点、すなわち検出された不適切な対応特徴点を除いて行なわれるので、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１４０〜Ｓ１９０）を繰り返すことにより、計測精度を向上することができる。誤対応点が検出されなくなるまでループの処理を繰り返す。これにより、図３のＳ１９５に進み三次元座標が確定できる条件が整えばここで三次元座標を確定し、計測を終了する。
【００６５】
図１１に誤差範囲を模式的に示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１、Ｐ２（図示しない）の計測座標Ｐ１１，Ｐ２１及びその誤差範囲Ｅ１１、Ｅ２１が示されている。また、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ２の計測位置Ｐ２２及びその誤差範囲Ｅ２２が示されている。また、誤差範囲Ｅ２１と誤差範囲Ｅ２２との重複範囲が許容範囲Ｇとして示されている。
【００６６】
図１２にステレオ画像の誤差範囲の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２が示されている。ここにおいて、例えば、この誤差範囲に閾値を設け、誤差範囲が閾値を越える対応特徴点を削除することも可能である。例えば、誤差範囲があまりに大きく、精度の悪いステレオ画像を最初から省いてステレオ画像を選択してもよい。
【００６７】
図１３にステレオ画像の誤差範囲の別の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２、ステレオカメラＣ５，Ｃ６で撮影された偏位修正画像Ｍ３に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１３及びその誤差範囲Ｅ１３が示されている。これらのステレオ画像の誤差範囲Ｅ１１，Ｅ１２，Ｅ１３の重複部分は許容範囲Ｇとして設定される。この例では、すべての計測点Ｐ１１〜Ｐ１３が許容範囲Ｇに入り、それぞれの誤差範囲Ｅ１１，Ｅ１２，Ｅ１３も許容範囲Ｇと重複するので、許容対応点として残される。
【００６８】
図１４にステレオ画像の誤差範囲のさらに別の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２、ステレオカメラＣ５，Ｃ６で撮影された偏位修正画像Ｍ３に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１３及びその誤差範囲Ｅ１３が示されている。計測点Ｐ１１およびＰ１２の重複範囲を許容範囲Ｇに設定すると、計測点Ｐ１１及び計測点Ｐ１２は許容範囲Ｇに含まれるが、計測点Ｐ１３は許容範囲Ｇから離れて存在する。しかしながら、計測点Ｐ１３の誤差範囲Ｅ１３は許容範囲Ｇと重複する、すなわち全ての誤差範囲Ｅ１１，Ｅ１２，Ｅ１３が重複するので、全ての計測点Ｐ１１，Ｐ１２，Ｐ１３が許容対応点として残される。
【００６９】
図１５にステレオ画像の誤差範囲のさらに別の例を示す。ステレオカメラＣ１，Ｃ２で撮影された偏位修正画像Ｍ１に基づいて計測された対応特徴点Ｐ１（図示しない）の計測座標Ｐ１１及びその誤差範囲Ｅ１１、ステレオカメラＣ３，Ｃ４で撮影された偏位修正画像Ｍ２に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１２及びその誤差範囲Ｅ１２、ステレオカメラＣ５，Ｃ６で撮影された偏位修正画像Ｍ３に基づいて計測された対応特徴点Ｐ１の計測座標Ｐ１３及びその誤差範囲Ｅ１３が示されている。計測点Ｐ１１およびＰ１２の重複範囲を許容範囲Ｇに設定すると、計測点Ｐ１１及び計測点Ｐ１２は許容範囲Ｇに含まれるが、計測点Ｐ１３は許容範囲Ｇから離れて存在する。しかも、計測点Ｐ１３の誤差範囲Ｅ１３は許容範囲Ｇと重複しないので、計測点Ｐ１１，Ｐ１２は許容対応点として残されるが、計測点Ｐ１３は非許容対応点として除外される。
【００７０】
［再度の標定処理・三次元計測］
次に、対応点評価除去部８で削除された対応特徴点を除いて、再度、ステレオ画像選択（Ｓ１４０）、標定（Ｓ１５０：第２の標定工程）、偏位修正処理（Ｓ１５５：第２の偏位修正処理工程）、三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。これらの工程では、検出された誤対応点、すなわち不適切な対応特徴点を除いて処理が行なわれ、不適切と判定される対応特徴点がなくなるまで繰り返されるので、高精度の三次元座標が算出される。
以上より、本実施の形態によれば、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。
【００７１】
［第２の実施の形態］
第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明したが、第２の実施の形態では、対応特徴点が許容範囲内に存在するか否かで特徴点の適否を判定する例を示す。すなわち、許容範囲内に存在する対応特徴点を適切と判定し、許容範囲外に存在する対応特徴点を不適切と判定する。その他の点については第１の実施の形態と同様である。
本実施の形態によれば、図１３の例では、すべての計測点Ｐ１１〜Ｐ１３が許容範囲Ｇに含まれ、許容対応点として残される。図１４の例では、計測点Ｐ１１およびＰ１２の重複範囲を許容範囲Ｇに設定すると、計測点Ｐ１１及び計測点Ｐ１２は許容範囲Ｇに含まれるので許容対応点として残されるが、計測点Ｐ１３は許容範囲Ｇから離れて存在するので、非許容対応点として削除される。図１５の例では、図１４の例と同様に計測点Ｐ１１及び計測点Ｐ１２は許容対応点として残されるが、計測点Ｐ１３は非許容対応点として削除される。本実施の形態によれば、確度の高い対応特徴点を選んで三次元計測ができ、三次元座標精度を向上できる。
【００７２】
［第３の実施の形態］
第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明したが、第３の実施の形態では、対応点適否判定部８３は、例えば式（８）（９）から求めた誤差範囲が所定の閾値を越えるステレオ画像の対応特徴点を不適切と判定する例を示す。その他の点については第１の実施の形態と同様である。
本実施の形態によれば、図１２の例で誤差範囲に閾値を設け、誤差範囲が閾値を越える対応特徴点を削除することも可能である。例えば、計測点Ｐ１１の誤差範囲Ｅ１１が閾値を越える場合には、対応特徴点Ｐ１１を不適切と判定し、非許容対応点として除外する。この場合図２の許容範囲設定部８２及び図３の許容範囲設定工程を省略可能である。
なお、本実施の形態を第１、第２の実施の形態と組み合わせ、まず、計測点の誤差範囲が閾値を越えるものを削除してから、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定したり、対応特徴点が許容範囲内に存在か否かで特徴点の適否を判定しても良い。本実施の形態によれば、誤差範囲の小さいステレオ画像を用いて三次元計測を行なえるので、三次元座標を高精度化できる。また、不適切な対応特徴点を所定の閾値を用いて自動的に除去できる。
【００７３】
［第４の実施の形態］
第１の実施の形態では、許容範囲と誤差範囲との重複の有無に基づいて特徴点の適否を判定する例を説明したが、第４の実施の形態では、さらに許容範囲を利用して対応点の位置座標を求める例を示す。その他の点については第１の実施の形態と同様である。すなわち、許容範囲と重複する誤差範囲を有する対応特徴点は真の対応点である可能性が高いので、これら許容範囲と重複する誤差範囲を有する全ての対応特徴点の重心を重み係数を用いて求め、その重心を前記対応特徴点の位置座標と算定する。重み係数は１又は誤差範囲の減少関数とし、例えば誤差範囲の逆数（１／σｘｙ、１／σｚ）とする。本実施の形態によれば、対応特徴点の位置座標をほぼ高い確度で算定できる。なお、誤差範囲が所定の閾値を越える対応特徴点を不適切と判定する第３の実施の形態と組み合わせる場合には、誤差範囲が一定の大きさ以内になるので、重み係数を１として重心を求めても良い。
【００７４】
［第５の実施の形態］
第１の実施の形態では、画像の偏位修正処理を行っているが、第５の実施の形態は、偏位修正処理を省略する例を示す。その他の点については第１の実施の形態と同様である。
図１６に第５の実施の形態における誤対応点除去の処理フロー例を示す。図３及び図１０に示す第１の実施の形態の処理フロー例に比して、偏位修正処理（Ｓ１５５）がなく、標定処理（Ｓ１５０）の後に三次元座標算出（Ｓ１６０）が行なわれる。標定により、カメラ位置の変位及び傾きが求められるので、この値を用いれば実際に画像を変換せずとも、対応特徴点の三次元座標を求めることができる。他の工程は第１の実施の形態と同様である。この場合、精度式にカメラの回転分を考慮するようにしてもよい。あるいは、許容誤差範囲内であれば、厳密には精度式は異なるものとなるが、そのまま（８）、（９）の精度式を利用して誤差、許容範囲としてもよい。また、これらの一連の処理の三次元座標は、絶対座標系でも、カメラだけの相対座標系でもかまわない。
【００７５】
［第６の実施の形態］
第１の実施の形態では、対応点の追跡処理から撮影位置を計測する例を説明したが、第６の実施の形態では、ＧＰＳからなる撮影位置測定部を有し、他の手段により撮影地点を計測するものである。その他の点については第１の実施の形態と同様である。
図１７に第６の実施の形態における誤対応点除去の処理フロー例を示す。図１０に示す第１の実施の形態の処理フロー例に比して、撮影位置測定部１２が追加され、撮影画像に基づかないで撮影位置を計測可能である。したがって、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。また、撮影画像の追跡処理による撮影位置の計測結果を補完できる。他の工程は第１の実施の形態と同様である。また撮影装置１３が追加され、現場での撮影が可能である。
撮影位置測定部１２として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ等を採用可能である。たとえば撮影位置測定部１２をＧＰＳとした場合、撮影地点の三次元座標がＧＰＳから出力される。誤差範囲算定処理（Ｓ１７０）において、ＧＰＳの出力データを用いて基線長Ｂを算出し、三次元座標算出工程（Ｓ１６０）で算出された対応特徴点の三次元座標値とＧＰＳから出力された撮影位置データから撮影距離Ｈを算出し、式（８）、（９）から誤差範囲を算出する。
【００７６】
［第７の実施の形態］
第７の実施の形態では、第６の実施の形態における撮影位置測定部１２に慣性センサを用いる例である。慣性センサにて撮影位置を追跡したデータから基線長を求めることができる。慣性センサとして例えば、位置、速度、加速度、角度又は角速度を計測可能なセンサを用いることができる。また、センサから計算した値と撮影画像の追跡から計算した値を比較することにより撮影位置の座標精度を高めることも可能となる。
【００７７】
［第８の実施の形態］
第１の実施の形態では、図３に示すようにステレオ画像選択（Ｓ１４０）から誤対応点削除（Ｓ１９０）のループ処理が行われるが、本実施の形態では対応点適否の判定の精度がループ回数により変化する例を説明する。すなわち、ループ回数を増すにつれて三次元座標の評価すなわち対応点適否の判定の精度を高めることが可能である。例えば誤差範囲（σｘｙ，σｚ）は基線長Ｂを大にするようにステレオ画像を選択すれば小さくなり、また係数ｋ１，ｋ２を小さくとれば小さくなる。例えば２回目のループの基線長を１回目のループの２倍にする、２回目のループの係数ｋ１、ｋ２を１回目のループの１／２にする等である。その他の点では第１の実施の形態と同様である。
【００７８】
［第９の実施の形態］
第１の実施の形態では、ステレオ画像情報メモリ９Ｂ内にステレオペア候補リストが作成され、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データを形成できる旨を説明したが、第９の実施の形態では、記憶部９はステレオ画像情報メモリ９Ｂ内にステレオ画像と誤差範囲の対応関係を表す式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータを有し、ステレオ画像選択部６は、誤差範囲データから誤差範囲が所定の閾値以下、又は誤差範囲が所定の範囲内のステレオ画像を選択する例を説明する。ステレオ画像選択部６は、ステレオ画像と誤差範囲の対応関係を表す誤差範囲データから、誤差範囲が所定の閾値以下のステレオ画像或いは誤差範囲が所定の範囲内のステレオ画像を選択することが可能である。前者では誤差範囲の小さいステレオ画像を選択して三次元計測ができ、三次元座標を高精度化できる。また後者では誤差範囲が均質な（例えば撮影距離がほぼ等しい）ステレオ画像を用いて、均質な測定ができる。その他の点では第１の実施の形態と同様である。
【００７９】
［第１０の実施の形態］
第１０の実施の形態では、第９の実施の形態では、記憶部９は対応点情報メモリ９Ａ内に対応特徴点と許容範囲の対応関係を表す式（８）（９）に必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数など）を代入して求められた想定される測定における誤差範囲を示すデータを有し、ステレオ画像選択部６は、誤差範囲が許容範囲と重複するステレオ画像を選択する例を説明する。一度対応点適否判定が行なわれると、各対応特徴点の誤差範囲が許容範囲と重複するか否かが判定され、その結果が対応点情報メモリ９Ａに記憶されると、対応点情報メモリ９Ａは対応特徴点と許容範囲の対応関係を表す誤差範囲データを有することになり、ステレオ画像選択部６はこの誤差範囲データを参照して誤差範囲が許容範囲と重複するステレオ画像を選択することが可能になる。これにより、真の特徴点である確度の高い対応特徴点を選んで三次元計測ができ、高精度の三次元座標を得られるようになる。その他の点では第１の実施の形態と同様である。
【００８０】
［第１１の実施の形態］
第１１の実施の形態では、記憶部９（図２参照）は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す式（９）を利用して、測定で求められる測定精度と、必要な測定要素（Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、ｋ１，ｋ２：係数など）を代入して要求精度を満たす基線長のデータが求められて、記憶される。ステレオ画像選択部６は、要求精度を満たす基線長となるようにステレオ画像を選択する例を示す。測定精度は基線長に依存するので、要求精度に合わせてステレオ画像の基線長を決めることにより、要求に合った三次元計測結果を提供できる。その他の点では第１の実施の形態と同様である。
【００８１】
［第１２の実施の形態］
第１の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、第１２の実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像等の順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。
【００８２】
［第１３の実施の形態］
第１３の実施の形態では、移動している物体を判別する例を説明する。各対応特徴点は、時系列に推移していることから、これらの処理の結果の三次元座標値から移動している物体を判別することが可能となる。すなわち、時系列にした三次元座標リストを作成すれば、対応特徴点が時系列中のある三次元座標値から変わり、移動する場合は移動体であると判定できる。
【００８３】
また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは制御部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００８４】
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００８５】
例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、追跡処理における異常値の除去が省略されていたとしても、本発明における誤差範囲を用いて、不適切な特徴点の除去が可能である。また、追跡処理において予め移動ベクトルの差異から、特異な特徴点を除去してから、本発明の誤差範囲に基づく特徴点の除去を適用しても良い。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、使用するステレオ画像の数、基線長、特徴点の数等は適宜選択可能である。
【産業上の利用可能性】
【００８６】
本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。
【図面の簡単な説明】
【００８７】
【図１】第１の実施の形態の概念を説明するための図である。
【図２】第１の実施の形態における画像処理装置の構成例を示すブロック図である。
【図３】第１の実施の形態における画像処理方法のフロー例を示す図である。
【図４】ステレオ画像選択の例を示す図である。
【図５】偏位修正処理を説明するための図である。
【図６】特徴点追跡の処理フロー例を示す図である。
【図７】相互標定を説明するための図である。
【図８】対応特徴点の三次元座標位置とカメラ位置の関係を示す図である。
【図９】ステレオ法を説明するための図である。
【図１０】第１の実施の形態における誤対応点除去の処理フロー例を示す図である。
【図１１】誤差範囲を模式的に示す図である。
【図１２】ステレオ画像の誤差範囲の例を示す図である。
【図１３】ステレオ画像の誤差範囲の別の例を示す図である。
【図１４】ステレオ画像の誤差範囲のさらに別の例を示す図である。
【図１５】ステレオ画像の誤差範囲のさらに別の例を示す図である。
【図１６】第５の実施の形態における誤対応点除去の処理フロー例を示す図である。
【図１７】第６の実施の形態における誤対応点除去の処理フロー例を示す図である。
【符号の説明】
【００８８】
１ 制御部
２ 撮影画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 演算処理部
６ ステレオ画像選択部
７ 標定処理・三次元計測部
８ 対応点評価除去部
９ 記憶部
９Ａ 対応点情報メモリ
９Ｂ ステレオ画像情報メモリ
１０ 画像メモリ
１１ 表示部
１２ 撮影位置測定部
１３ 撮影部
８１ 誤差範囲算定部
８２ 許容範囲設定部
８３ 対応点適否判定部
８４ 誤対応点削除部
１００ 画像処理装置
Ａ 対象物
Ｂ 基線長
Ｃ 画面距離
Ｃ１〜Ｃ６ 第１〜第６の撮影位置
Ｅ１１〜Ｅ１３，Ｅ２１〜Ｅ２３ 誤差範囲
ｆ 焦点距離
Ｇ 許容範囲
Ｈ 撮影距離
Ｉ 撮影画像
Ｍ，Ｍ１〜Ｍ３ 偏位修正画像
Ｐ，Ｐ１，Ｐ２ 対応点
Ｐ１１〜Ｐ１３，Ｐ２１〜Ｐ２３ 計測点
【特許請求の範囲】
【請求項１】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部と、
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部と；
前記一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部と；
前記ステレオ画像選択部で選択されたステレオ画像の前記相互に対応付けられた特徴点である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部と；
前記ステレオ画像から三次元計測により求められた前記対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定部と；
前記誤差範囲算定部で算定された前記対応特徴点の三次元座標の誤差範囲に基づいて、前記対応特徴点の三次元計測への適否を判定する対応点適否判定部と；
前記対応点適否判定部で不適切と判定された対応特徴点を削除する誤対応点削除部とを備える；
画像処理装置。
【請求項２】
前記標定処理・三次元計測部は、前記対応特徴点から前記誤対応点削除部により削除された対応特徴点を除いて、再度標定および三次元計測を行なう；
請求項１に記載の画像処理装置。
【請求項３】
前記対応点適否判定部は、前記誤差範囲が所定の閾値を越えるステレオ画像の対応特徴点を不適切と判定する；
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
複数の異なるステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する許容範囲設定部を備え；
前記対応点適否判定部は、前記誤差範囲が前記許容範囲と重複部分を有するステレオ画像の対応特徴点を適切と判定し、前記重複部分を有さないステレオ画像の対応特徴点を不適切と判定する；
請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の異なるステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する許容範囲設定部を備え；
前記対応点適否判定部は、前記許容範囲内に存在する対応特徴点を適切と判定し、前記許容範囲外に存在する対応特徴点を不適切と判定する；
請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項６】
前記許容範囲設定部は、大部分のステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する、又は所定数以上のステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する；
請求項４又は請求項５に記載の画像処理装置。
【請求項７】
前記許容範囲と重複部分を有するステレオ画像の対応特徴点について、１又は誤差範囲の減少関数となる重み係数を用いて重心を求め、前記重心を前記対応特徴点の位置座標と算定する；
請求項６に記載の画像処理装置。
【請求項８】
前記標定処理・三次元計測部は、前記ステレオ画像を偏位修正処理した偏位修正画像を形成し、前記偏位修正画像に基づいて三次元計測を行う；
請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記誤差範囲は、基線長、撮影距離、焦点距離と画素サイズの関数として算定される；
請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記ステレオ画像と誤差範囲の対応関係に基づき想定される測定における誤差範囲を示すデータを有する記憶部を備え；
前記ステレオ画像選択部は前記誤差範囲データに基づき誤差範囲が所定の閾値以下のステレオ画像を選択する；
請求項３乃至請求項９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記ステレオ画像と誤差範囲の対応関係に基づき想定される測定における誤差範囲を示すデータを有する記憶部を備え；
前記ステレオ画像選択部は、前記誤差範囲データに基づき誤差範囲が所定の範囲内のステレオ画像を選択する；
請求項３乃至請求項９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記対応特徴点と許容範囲の対応関係に基づき想定される測定における誤差範囲を示すデータを有する記憶部を備え；
前記ステレオ画像選択部は、前記誤差範囲データに基づき誤差範囲が許容範囲と重複するステレオ画像を選択する；
請求項４乃至請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記ステレオ画像の基線長と三次元座標の測定精度との関係式を利用して、測定で求められる測定精度と、必要な測定要素を用いて求められた要求精度を満たす基線長のデータを有する記憶部を備え；
前記ステレオ画像選択部は、前記基線長のデータから要求精度を満たす基線長となるようにステレオ画像を選択する；
請求項１乃至請求項１２のいずれか１項に記載の画像処理装置。
【請求項１４】
撮影画像に基づかないで撮影位置を計測可能な撮影位置測定部を備える；
請求項１乃至請求項１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記誤差範囲又は前記許容範囲を立体的二次元表示する表示装置を備え；
前記撮影画像取得部は一連の撮影画像を撮影する撮影装置を有する；
請求項１乃至請求項１４のいずれか１項に記載の画像処理装置。
【請求項１６】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程と、
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程と；
前記一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択工程と；
前記ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点である対応特徴点を用いて、標定を行なう第１の標定工程と；
前記第１の標定工程の標定結果を用いて三次元計測を行なう第１の三次元計測工程と；
前記ステレオ画像から三次元計測により求められた前記対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定工程と；
前記誤差範囲算定工程で算定された前記対応特徴点の三次元座標の誤差範囲に基づいて、前記対応特徴点の三次元計測への適否を判定する対応点適否判定工程と；
前記対応点適否判定工程で不適切と判定された対応特徴点を削除する誤対応点削除工程とを備える；
画像処理方法。
【請求項１７】
前記対応特徴点から前記誤対応点削除工程で削除された対応特徴点を除いて、再度標定を行なう第２の標定工程と；
前記第２の標定工程の標定結果を用いて三次元計測を行なう第２の三次元計測工程とを備える；
請求項１６に記載の画像処理方法。
【請求項１８】
請求項１６又は請求項１７に記載の画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラム。
【請求項１】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部と、
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部と；
前記一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部と；
前記ステレオ画像選択部で選択されたステレオ画像の前記相互に対応付けられた特徴点である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部と；
前記ステレオ画像から三次元計測により求められた前記対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定部と；
前記誤差範囲算定部で算定された前記対応特徴点の三次元座標の誤差範囲に基づいて、前記対応特徴点の三次元計測への適否を判定する対応点適否判定部と；
前記対応点適否判定部で不適切と判定された対応特徴点を削除する誤対応点削除部とを備える；
画像処理装置。
【請求項２】
前記標定処理・三次元計測部は、前記対応特徴点から前記誤対応点削除部により削除された対応特徴点を除いて、再度標定および三次元計測を行なう；
請求項１に記載の画像処理装置。
【請求項３】
前記対応点適否判定部は、前記誤差範囲が所定の閾値を越えるステレオ画像の対応特徴点を不適切と判定する；
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
複数の異なるステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する許容範囲設定部を備え；
前記対応点適否判定部は、前記誤差範囲が前記許容範囲と重複部分を有するステレオ画像の対応特徴点を適切と判定し、前記重複部分を有さないステレオ画像の対応特徴点を不適切と判定する；
請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の異なるステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する許容範囲設定部を備え；
前記対応点適否判定部は、前記許容範囲内に存在する対応特徴点を適切と判定し、前記許容範囲外に存在する対応特徴点を不適切と判定する；
請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項６】
前記許容範囲設定部は、大部分のステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する、又は所定数以上のステレオ画像の誤差範囲の重複部分を前記対応特徴点の許容範囲として設定する；
請求項４又は請求項５に記載の画像処理装置。
【請求項７】
前記許容範囲と重複部分を有するステレオ画像の対応特徴点について、１又は誤差範囲の減少関数となる重み係数を用いて重心を求め、前記重心を前記対応特徴点の位置座標と算定する；
請求項６に記載の画像処理装置。
【請求項８】
前記標定処理・三次元計測部は、前記ステレオ画像を偏位修正処理した偏位修正画像を形成し、前記偏位修正画像に基づいて三次元計測を行う；
請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記誤差範囲は、基線長、撮影距離、焦点距離と画素サイズの関数として算定される；
請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記ステレオ画像と誤差範囲の対応関係に基づき想定される測定における誤差範囲を示すデータを有する記憶部を備え；
前記ステレオ画像選択部は前記誤差範囲データに基づき誤差範囲が所定の閾値以下のステレオ画像を選択する；
請求項３乃至請求項９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記ステレオ画像と誤差範囲の対応関係に基づき想定される測定における誤差範囲を示すデータを有する記憶部を備え；
前記ステレオ画像選択部は、前記誤差範囲データに基づき誤差範囲が所定の範囲内のステレオ画像を選択する；
請求項３乃至請求項９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記対応特徴点と許容範囲の対応関係に基づき想定される測定における誤差範囲を示すデータを有する記憶部を備え；
前記ステレオ画像選択部は、前記誤差範囲データに基づき誤差範囲が許容範囲と重複するステレオ画像を選択する；
請求項４乃至請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記ステレオ画像の基線長と三次元座標の測定精度との関係式を利用して、測定で求められる測定精度と、必要な測定要素を用いて求められた要求精度を満たす基線長のデータを有する記憶部を備え；
前記ステレオ画像選択部は、前記基線長のデータから要求精度を満たす基線長となるようにステレオ画像を選択する；
請求項１乃至請求項１２のいずれか１項に記載の画像処理装置。
【請求項１４】
撮影画像に基づかないで撮影位置を計測可能な撮影位置測定部を備える；
請求項１乃至請求項１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記誤差範囲又は前記許容範囲を立体的二次元表示する表示装置を備え；
前記撮影画像取得部は一連の撮影画像を撮影する撮影装置を有する；
請求項１乃至請求項１４のいずれか１項に記載の画像処理装置。
【請求項１６】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程と、
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程と；
前記一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択工程と；
前記ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点である対応特徴点を用いて、標定を行なう第１の標定工程と；
前記第１の標定工程の標定結果を用いて三次元計測を行なう第１の三次元計測工程と；
前記ステレオ画像から三次元計測により求められた前記対応特徴点の三次元座標の誤差範囲を算定する誤差範囲算定工程と；
前記誤差範囲算定工程で算定された前記対応特徴点の三次元座標の誤差範囲に基づいて、前記対応特徴点の三次元計測への適否を判定する対応点適否判定工程と；
前記対応点適否判定工程で不適切と判定された対応特徴点を削除する誤対応点削除工程とを備える；
画像処理方法。
【請求項１７】
前記対応特徴点から前記誤対応点削除工程で削除された対応特徴点を除いて、再度標定を行なう第２の標定工程と；
前記第２の標定工程の標定結果を用いて三次元計測を行なう第２の三次元計測工程とを備える；
請求項１６に記載の画像処理方法。
【請求項１８】
請求項１６又は請求項１７に記載の画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図６】
【図９】
【図１０】
【図１６】
【図１７】
【図４】
【図５】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図６】
【図９】
【図１０】
【図１６】
【図１７】
【図４】
【図５】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−３２７９３８（Ｐ２００７−３２７９３８Ａ）
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００７−１００６７９（Ｐ２００７−１００６７９）
【出願日】平成１９年４月６日（２００７．４．６）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願日】平成１９年４月６日（２００７．４．６）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]