画像処理装置及びその処理方法
【課題】時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測でき、また、高速、小メモリ容量の超解像処理を可能とする。
【解決手段】時系列的に撮影した一連の撮影画像を取得し、撮影画像から特徴点を抽出し、特徴点を追跡して相互に対応付け、対応付けられた一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成し、部分的超解像画像が形成された撮影画像群から基線長が所定の閾値より長くなるようにステレオ画像を選択し、標定および三次元計測を行なう。
【解決手段】時系列的に撮影した一連の撮影画像を取得し、撮影画像から特徴点を抽出し、特徴点を追跡して相互に対応付け、対応付けられた一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成し、部分的超解像画像が形成された撮影画像群から基線長が所定の閾値より長くなるようにステレオ画像を選択し、標定および三次元計測を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びその処理方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定するに際し、複数の画像から部分的に解像度の高い画像を形成し、この解像度の高い画像を利用して高精度の三次元測定が可能な画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載したり、人が手に持って撮影を行うと、自動車や人の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と対象物の間に例えば他の自動車、人、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。また、三次元空間での動きが二次元画像上では見え難い場合もある。したがって、このような撮影装置の揺動の処理、消失・再現する特徴点の処理と共に三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要となっている。他方、低解像度の動画を張り合わせて、広視野高解像度の画像を形成する技術、低解像度の画像入力デバイスを用いて、特別な機械的走査機構を用いずに広範囲の高解像度画像を取得する技術が開示されている。（特許文献１、非特許文献１参照）
【０００３】
【特許文献１】特開平１０−６９５３７号公報（段落００３２〜０１２８、図１〜図１４等）
【非特許文献１】ＮＥＣ技報２００５ Ｖｏｌ．５８，Ｎｏ．３，２００５年６月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし従来の高解像度技術はいずれも二次元画像を対象とするもので、動画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各動画像上で相互に対応する特徴点すなわち対象物上の同一点（以下、対応特徴点という）を求め、これを追跡する技術が必要である。また、超解像処理は多数の対応特徴点について行なわれるので、処理の負荷が大きく、大メモリ容量が必要であるという問題があった。
【０００５】
本発明は、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供することを目的とする。また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の画像処理装置１００は、例えば図２に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理部８と、超解像処理部８にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の相互に対応付けられた特徴点（対象物上の同一点を表す）である対応特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測部７とを備え、ステレオ画像選択部６は、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択する。
【０００７】
ここにおいて、相対的に移動する対象物とは、典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が共に移動する状態で撮影されても良い。すなわち、両者が相対的に移動する状態で撮影されれば良い。隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。重複し合う画像数は多い程、計測座標精度を向上できるので望ましいが、例えば１０以上が好ましく、５０以上であれば更に好ましい。時系列的に撮影した一連の撮影画像とは、時間の経過に伴って順次取得された撮影画像であり、ビデオカメラで連続的に撮影された動画像のフレームから抽出された画像でも良く、単体カメラで適当な時間間隔で順次撮影された画像でも良い。また、動画像のフレームのうち全てのフレームから取得しても良く、数フレーム置きに取得しても良い。また、特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、相互に対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、特徴点を順次対応付け、追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。また、特徴点は時間の経過と共に新規発生、消滅、再現するものであり、このため一連の撮影画像中、相互に対応付けられた特徴点は少なくとも３以上の撮影画像にあれば良い。また、ステレオ画像の選択は、一連の撮影画像について追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像から選択するのが好ましいが、取得された原画像から選択しても標定処理及び三次元計測で相互に対応付けられるので、それでも良い。また、標定とは撮影装置の撮影位置と傾きを算定する処理であり、三次元計測とは各特徴点の三次元座標を算定する処理である。
【０００８】
このように構成すると、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置を提供できる。また、部分画像を用いて、高速、小メモリ容量の超解像処理ができる画像処理装置を提供できる。また、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択するので、一定の三次元計測精度を確保できる。
【０００９】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、例えば図２に示すように、超解像処理部８は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部８１と、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部８２と、主特徴点抽出部８２で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部８３と、部分画像設定部８３で設定された部分画像を拡大する部分画像拡大部８４と、部分画像の主特徴点の周囲に複数の副特徴点を抽出し、撮影画像群の部分画像間で副特徴点を追跡し、副特徴点を相互に対応付ける副特徴点追跡部８５と、副特徴点追跡部８５で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形部８６と、部分画像変形部８６で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部８７と、超解像部分画像形成部８７で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部８８と、部分画像縮小部８８で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部８９とを有する。
【００１０】
ここにおいて、部分画像の拡大処理と副特徴点の抽出・追跡処理はどちらを先にすることも可能であるが、拡大後抽出・追跡した方が高解像化し易い。また、部分画像の拡大は２倍、５倍、１０倍など任意で良い。また、複数の部分画像から超解像部分画像を形成する場合に、典型的には部分画像中の特徴点の重心を求めるが、重み付けをしても良く、中央値などの他の統計処理をしても良い。また、はめ込みは端部が一致するようにはめ込む必要はなく、主特徴点の位置座標を合わせて重ねれば良い。このように構成すると、随所に高解像の部分画像を配置した超解像画像を効率良く形成できる。
【００１１】
また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、ステレオ画像選択部６は、基線長がほぼ等しくなるように部分超解像画像が形成された撮影画像群から複数のステレオ画像を選択する。このように構成すると、精度の揃った三次元座標を得られる。
【００１２】
また、請求項４に記載の発明は、請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、ステレオ画像選択部６は、超解像処理部８で部分超解像画像が形成された撮影画像からステレオ画像を選択し、標定処理・三次元計測部７は、選択されたステレオ画像の部分超解像画像についてマッチング処理を行なう。このように構成すると、再マッチング処理により、三次元位置精度を向上できる。
【００１３】
また、請求項５に記載の発明は、請求項１乃至請求項４のいずれか１項に記載の画像処理装置において、超解像処理部８は、予め測定された対象物の位置座標又は対象物を撮影した撮影装置の位置座標を用いて超画像処理を行い、標定処理・三次元計測部７は超画像処理の結果を用いて、標定および三次元計測を行なう。ここにおいて、予め測定された位置座標は一旦超画像処理した後に三次元計測された位置座標でも良く、超画像処理されずに別途三次元計測された位置座標でも良く、画像処理に基づかずにＧＰＳや慣性センサなどで三次元計測された位置座標でも良い。このように構成すると、三次元計測で得られた位置座標を用いて適切なステレオ画像を選択できる。
【００１４】
また、請求項６に記載の発明は、請求項５に記載の画像処理装置において、ステレオ画像選択部６は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、対応表から要求精度を満たす基線長となるようにステレオ画像を選択する。このように構成すると、要求精度に見合った三次元座標を得られる。
【００１５】
また、請求項７に記載の画像処理方法は、例えば図３に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、前記一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理工程（Ｓ１３０）と、超解像処理工程にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、対象物の位置、対象物の形状又は対象物を撮影した撮影装置の位置を求める標定処理・三次元計測工程（Ｓ１５０，Ｓ１６０）とを備え、ステレオ画像選択工程（Ｓ１４０）において、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択する。このように構成すると、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理方法を提供できる。また、部分画像を用いて、高速、小メモリ容量の超解像処理ができる画像処理方法を提供できる。また、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択するので、一定の三次元計測精度を確保できる。
【００１６】
また、請求項８に記載の発明は、請求項７に記載の画像処理方法において、例えば図８に示すように、超解像処理工程（Ｓ１３０）は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択工程（Ｓ１３１）と、原画像群において特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出工程（Ｓ１３２）と、主特徴点抽出工程で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定工程（Ｓ１３３）と、部分画像設定工程で設定された部分画像を拡大する部分画像拡大工程（Ｓ１３４）と、前記部分画像の前記主特徴点の周囲に複数の副特徴点を抽出し、前記撮影画像群の部分画像間で前記副特徴点を追跡し、前記副特徴点を相互に対応付ける副特徴点追跡工程（Ｓ１３５）と、副特徴点追跡工程で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形工程（Ｓ１３６）と、部分画像変形工程で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成工程（Ｓ１３７）と、超解像部分画像形成工程で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小工程（Ｓ１３８）と、部分画像縮小工程で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成工程（Ｓ１３９）とを有する。このように構成すると、随所に高解像の部分画像を配置した超解像画像を効率良く形成できる。
【発明の効果】
【００１７】
本発明によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供できる。
また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下に図面に基づき本発明の実施の形態について説明する。
【００１９】
［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、時間すなわち自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ電波を受信できない区間で補完的に利用される意義も大きい。なお、第１の実施の形態では、動画像等の時系列的に変化する撮影画像について部分的超解像処理を行い三次元座標の計測を高精度化する例を説明する。
【００２０】
図２に本実施の形態における画像処理装置１００の構成例を示す。図において、１は画像処理装置１００の各部を制御して、画像処理装置として機能せしめる制御部であり、具体的には、撮影画像取得部２への撮影画像取得の指示、特徴抽出部３への特徴点抽出実行の指示、特徴点追跡部４への追跡実行の指示、演算処理部５へのステレオ画像選択指示、標定・三次元計測実行指示、超解像処理実行指示等を行う。
【００２１】
２は動画像等の時系列的に変化する撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、画像メモリ１０への撮影画像の保存等を行う。なお、自己の撮影装置で撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。３は順次取得した撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４への出力等を行う。４は特徴抽出部３より入力された特徴点に対応する対応点（厳密には確定するまでは候補対応点というが、本実施の形態では候補対応点を含めて対応点ということとする）を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の対応点情報メモリ９Ａへの出力、対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。特徴点追跡部４において特徴点が対応付けられた、すなわち対応特徴点が付された一連の撮影画像は、追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに後述する偏位修正処理により縦視差が除去された偏位修正画像として、取得された原画像と共に画像メモリ１０に記憶される。
【００２２】
５は演算処理部で、超解像処理部８とステレオ画像選択部６と標定処理・三次元計測部７とを有する。超解像処理部８は、一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する。ステレオ画像選択部６は特徴抽出部３及び特徴点追跡部４において対応特徴点が付された一連の画像からステレオ画像を選択する。標定処理・三次元計測部７はステレオ画像選択部６で選択されたステレオ画像を用いて標定計算、三次元計測を実行するもので、その他に、偏位修正処理、標定結果及び三次元計測結果の表示部１１への出力、外部へ標定結果及び三次元計測結果の出力等を行う。標定計算、三次元計測を行なうためのステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できる。
【００２３】
超解像処理部８は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部８１と、原画像群選択部８１で選択された原画像群において前記特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部８２と、主特徴点抽出部８２で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部８３と、部分画像設定部８３で設定された部分画像を拡大する部分画像拡大部８４と、部分画像拡大部８４で拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出し、撮影画像群の部分画像間で副特徴点を追跡し、副特徴点を相互に対応付ける副特徴点追跡部８５と、副特徴点追跡部８５で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形部８６と、部分画像変形部８６で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部８７と、超解像部分画像形成部８７で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部８８と、部分画像縮小部８８で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部８９とを有する。超画像処理部８で形成された部分的超解像画像は画像メモリ１０に記憶され、ステレオ画像選択部６により部分的超解像画像からステレオ画像が選択され、標定処理・三次元計測部７において、標定計算、三次元計測が実行される。
【００２４】
１１は演算処理部５により標定処理又は三次元計測された対象物の画像や撮影した位置の軌跡を平面的又は立体的（立体的二次元表示）に表示する表示部、９は記憶部で、特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ９Ａ、ステレオ画像に関する情報を記憶するステレオ画像情報メモリ９Ｂ、撮影画像、補正画像、偏位修正画像、その他の画像を記憶する画像メモリ１０を有する。対応点情報メモリ９Ａ、ステレオ画像情報メモリ９Ｂ、画像メモリ１０には、特徴点追跡時、超解像処理時、ステレオ画像選択時、標定計算や三次元計測時等、必要に応じて随時参照され、また書き込みされる。
【００２５】
図３に第１の実施の形態における画像処理方法のフロー例を示す。まず、撮影画像取得部２において、相対的に移動する対象物について、動画像等の時系列的に変化する一連の撮影画像を取得する（Ｓ１００：撮影画像取得工程）。一連の撮影画像は隣り合う３以上の画像が重複部分を共有するように取得する。自己の撮影カメラで画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。取得された撮影画像は画像メモリ１０に蓄積される。制御部１は撮影画像取得部２から動画像等の時系列的に変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影カメラを装着し、移動しながら撮影するので、撮影画像は時間的又は空間的に少しずつ変化する撮影画像であり、近隣の画像の大部分で対象物が共通である。特徴抽出部３では、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出し（Ｓ１１０：特徴抽出工程）、抽出された特徴点データは特徴点追跡部４に供給され、対応点情報メモリ９Ａに記憶される。
【００２６】
隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。特徴点追跡部４において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる（Ｓ１２０：特徴点追跡工程）。特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは対応点情報メモリ９Ａに記憶され、追跡結果も履歴情報として記憶される。各対応点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。すなわち、候補対応点リストには、各対応特徴点について撮影画像毎に二次元画面上の座標が記憶される。また、三次元座標計測後は三次元座標も記憶される。また、対応特徴点として適切か否かの判定結果も記憶される。また、対応特徴点が付された撮影画像は原画像と共に、追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像として、画像メモリ１０に記憶される（Ｓ１２５）。なお、Ｓ１２５において補正画像または偏位修正画像を記憶しているが、画像を表示しない場合でも記憶した画像データを補正パラメータとして使用可能である。なお、特徴抽出部３で抽出された特徴点データ及び特徴点追跡部４で対応付けられた対応特徴点データがリアルタイムに順次演算処理部５に供給されれば、移動中の移動体（自動車等）で、早期に標定処理、三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。
【００２７】
次に超画像処理が行なわれる。超解像処理工程（Ｓ１３０）では、一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡工程（Ｓ１２０）で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する。超画像処理工程（Ｓ１３０）の詳細については、後に図８を参照して説明する。
【００２８】
次に、対応特徴点が付された一連の撮影画像からステレオ画像が選択される（Ｓ１４０：ステレオ画像選択工程）。一連の画像は追跡処理を反映して倍率、揺らぎ、傾きが補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像を用いるのが好ましいが、取得された原画像から選択しても次の標定処理及び三次元計測で相互に対応付けられるので、それでも良い。ステレオ画像を選択するために、その候補として種々の組み合わせが可能であるが、ステレオ画像情報メモリ９Ｂ内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。ステレオペア候補リストには、ステレオペアを構成する撮影画像番号、各撮影画像の焦点距離、撮影方向、ペアを形成した場合の基線長が記憶され、また、偏位修正処理後は偏位修正画像番号、三次元座標計測後は撮影距離も記憶される。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。
【００２９】
図４にステレオ画像選択の例を示す。三次元計測を行なうには、撮影画像から対をなす２画像（ステレオ画像という）を選択し、その特徴点同士のマッチングをとり、相互に対応していることを確認する必要がある。この例では取得画像から数画像離れた画像をステレオ画像として選択しており、対をなす２画像間のフレーム間隔を一定にすれば基線長がほぼ一定に保たれるので好ましい。なお、選択されるステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できるので、ここでは、追跡処理した多数の撮影画像を用いてステレオ画像を選択し、統計処理を行うこととする。
【００３０】
図３に戻り、ステレオ画像選択部６で選択されたステレオ画像の対応特徴点を用いて、標定処理・三次元計測部７で標定処理と三次元計測が行なわれる。標定処理では、選択されたステレオ画像について、特徴点と対応点の座標を用いて、相互標定を行い、撮影カメラの撮影位置と傾きが算定される（Ｓ１５０：第１の標定工程）。ステレオ画像同士の接続標定も行われる。なお、仮にステレオ画像が設定できなかった撮影画像に対しては、単写真標定を行うことにより撮影カメラの撮影位置と傾きを算出可能である。標定処理／３次元計測部７で相互標定処理に続けて偏位修正処理が行われる（Ｓ１５５：偏位修正工程）。
【００３１】
図５は偏位修正処理を説明するための図である。偏位修正処理とは、標定処理で求められた撮影装置の撮影位置と傾きを用いて、計測対象物に対して撮影画像をステレオ法の幾何学が成立するように被写体に対して並行にかつエピポーララインが左右の水平ライン上に一致するように画像を修正する処理である。したがって左右画像の倍率や傾き等の歪が補正され、倍率が同一となり、縦視差が除去される。
再び図３に戻る。標定結果及び偏位修正画像データを用いて三次元計測により各特徴点の三次元座標が算定される（Ｓ１６０：第１の三次元計測工程）。三次元計測は、後述する図１５で示されるステレオ法の原理から式（５）〜（７）を用い簡単に求められる。あるいは、三次元計測は、例えば標定処理で求めた撮影カメラの位置と傾き（外部標定要素）を初期値とし、バンドル調整を行うことによって求める。これにより、三次元座標だけでなく、さらに正確な撮影カメラの位置と傾きも求まる。
【００３２】
次に、三次元座標精度をより一層高めたい場合には、再び超解像処理工程（Ｓ１３０）に戻り、次いで再度のステレオ画像選択工程（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて、偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程及び第２の三次元計測工程では、再度の超解像画像を用いて、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１３０〜Ｓ１６０）を繰り返すことにより、計測精度をさらに向上することができる。例えば目標の精度を得るまでループの処理を繰り返す。これにより、三次元座標が確定し、計測を終了する。
以下に、必要に応じ、各工程について説明する。
【００３３】
［特徴点抽出］
特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１０、図６参照）。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ．Ｐ．Ｍｏｒａｖｅｃ． Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ． Ｐｒｏｃ． ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．５８４，１９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレータを適宜採用できる。
【００３４】
［追跡処理］
図６に特徴点追跡の処理フロー例を示す。特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２０）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影カメラと撮影対象間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影カメラに対する画面相対移動量が求められる。すなわち、フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する（Ｓ１４）。そして、異常な動きを示す誤対応と思われる候補対応点を除去する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。
【００３５】
次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴抽出（Ｓ１１０）に戻り、順次新たな隣接画像について特徴抽出（Ｓ１１０）と追跡処理（Ｓ１２０）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、事後的に一括して、順次新たな隣接画像について追跡処理（Ｓ１２０）が行われる。
【００３６】
特徴点の追跡に、例えばテンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ：逐次残差）法などの手法によりステレオマッチングを行い、対応点を求める（Ｓ１３）。ＳＳＤＡ法とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。
【００３７】
撮影画面中に、走行中の自動車、人、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。
【００３８】
［超解像処理］
次に超解像処理について説明する。超解像処理とは、複数の画像から高解像、高分解能画像を推定する処理、あるいは、原画像が高解像、高分解能画像であったとして複数の劣化画像から現画像を再構成する処理をいう。具体的には、複数画像間の位置合わせ・変形と合成を繰り返し行なうことにより、超解像画像が得られる。
【００３９】
図７に超解像画像の例を示す。図７（ａ）は従来のバイキュービック法により高解像化した画像、図７（ｂ）は１６枚の画像から形成された超解像画像である。両者を比較すると超解像画像の方が鮮明な画像が得られていることが分かる。
【００４０】
一般に超解像画像処理を行う場合には、画像全体あるいは画像の広範囲な領域を対象として処理が行なわれるが、超解像画像処理には画像間の正確な位置合わせと変形パラメータの推定を必要とする。これに対し本実施の形態では部分的な超解像処理を行う。すなわち、一連の撮影画像から超解像処理を行うための原画像群を選択し、原画像から主特徴点を抽出し、主特徴点の周囲の小領域に部分画像を設定し、拡大し、拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出し、追跡して対応付けし、原画像間で副特徴点の位置座標が良く一致するように部分画像を変形し、変形された複数の部分画像から超解像画像を形成し、縮小して、元あった部分画像の位置にはめ込み合成することにより、部分的超解像画像を形成する。このように、本実施の形態における超解像処理は、特徴点周辺の限られた範囲において解像度を向上するものであり、限られた小領域において正確な画像間の位置合わせ、変形を行なえば十分である。
【００４１】
特徴点同士の位置合わせには、ＳＳＤＡテンプレートマッチングを使用できる。また、画像間の変形には特徴点追跡に用いられる射影変換やアフィン変換を適用できる。原画像よりも高解像度の画像を作成するためには、画像の拡大縮小処理後に画像の合成を行なうので、一般には膨大なメモリ容量が必要になるが、本実施の形態では、特徴点周辺の小領域のみで超解像処理を行うので、大量のメモリを必要としない。
【００４２】
図８に超解像処理工程のフロー例を示す。まず、一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択する（Ｓ１３１：原画像群選択工程）。次に、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための対応特徴点としての主特徴点を抽出して（Ｓ１３２：主特徴点抽出工程）、主特徴点の周囲の小領域に部分画像を設定する（Ｓ１３３：部分画像設定工程）。原画像群を選択するに当り、均質な超解像画像を得る上で、隣接画像間の画面上での移動距離が略等しくなるように選択することが好ましい。また、原画像群の画像数も超解像画像の対応点の座標精度に影響するので、均質な超解像画像を得る上で、画像数をほぼ等しくすることが好ましい。本実施の形態では、隣接画像間の画面上での移動距離が略等しくなるように原画像群を選択し、かつ、複数の部分的超画像を形成する際の原画像群の画像数も等しくすることとする。次に、部分画像を拡大し（Ｓ１３４：部分画像拡大工程）、拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出する（Ｓ１３５：副特徴点抽出工程）。拡大処理には例えばＢｉｌｉｎｅｒ処理，Ｂｉｃｕｂｉｃ処理が用いられる。
【００４３】
図９は部分画像設定の例を説明するための図である。図において、Ｆ０が撮影画像（補正画像、偏位修正画像を含む）、ｆ１〜ｆ５が撮影画像Ｆ０中に設定された部分画像、Ｐ１〜Ｐ５が主特徴点を表し、その周辺の×が抽出された副特徴点の位置を表す。このように撮影画像Ｆ０内の少領域に部分領域が設定され、これらの部分画像ｆ１〜ｆ５内で超解像処理が行なわれる。当該撮影画像の他の原画像に対しても同じ（相互に対応付けられた）主特徴点に対して部分画像が設定され、副特徴点が抽出される。部分画像は撮影画像Ｆ０中に均質に分布するように抽出することが、画像Ｆ０全面で均質な精度を得る上で好ましく、副特徴点は部分画像中に均質に分布するように抽出することが部分画像内で均質な精度を得る上で好ましい。なお、副特徴点に特徴点追跡部４で追跡処理された対応特徴点が含まれていても良い。
【００４４】
次に、原画像群の部分画像ｆ１〜ｆ５間で副特徴点について追跡処理が行なわれ、副特徴点が相互に対応付けられる（Ｓ１３５：副特徴点追跡工程）。次に、相互に対応付けられた副特徴点の位置座標が良く一致するように各部分画像ｆ１〜ｆ５について位置合わせ・変形処理がされる（Ｓ１３６：部分画像変形工程）。次に、変形された複数の部分画像から超解像部分画像を形成する（Ｓ１３７：超解像部分画像形成工程）。
【００４５】
図１０は超解像部分画像形成の例を説明するための図である。図において、原画像群中の各原画像の部分画像について、任意の１つの副特徴点の位置を×で示す。これらの位置座標にはばらつきがあり、超解像部分画像を形成するに際し、典型的にはこれら原画像群中の副特徴点の位置の重心を超解像部分画像の副特徴点の位置座標とするが、フレーム番号の近さ等により重み付けをして重心を求めても良い。
【００４６】
次に、形成された各超解像部分画像を元の部分画像の寸法に縮小し（Ｓ１３８：部分画像縮小工程）、縮小された部分画像ｆ１〜ｆ５を、撮影画像Ｆ０中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する（Ｓ１３９：超解像画像合成工程）。超解像部分画像ｆ１〜ｆ５は図９の元の部分画像の位置にはめ込まれる。本実施の形態では、原画像群の中心のフレームにのみ超解像部分画像をはめ込むこととするが、他の原画像にも同じ超解像部分画像をはめ込んでも良い。なお、座標値のみが必要な場合など超解像部分画像のはめ込みが必要でない場合に、そのはめ込みを省略できる。また、超解像画像合成（Ｓ１３９）から原画像群選択（Ｓ１３１）に戻る繰り返しループを形成して、解像度の向上を図ることも可能であり、本実施の形態では繰り返しループを有するものとする。
【００４７】
図１１に超解像処理工程のフレーム別フロー例を示す。部分的超解像画像を形成する撮影画像（補正画像、偏位修正画像を含む）をｉ番目のフレームＦｉとし、これと前後ｎ枚、合計２ｎ＋１枚の原画像群（フレームＦｊ（ｊ＝ｉ−ｎ〜ｉ＋ｎ））を用いて超解像処理する例である。特徴点追跡部４において、各撮影画像が取得され、各フレームのテンプレート画像として用いられる（Ｓ１００）。これら撮影画像間で特徴点が追跡され、対応付けられて移動軌跡が求められる（Ｓ１２０）。また、追跡処理において、各フレーム間の変換がなされ、変換パラメータ（例えばアフィン変換のパラメータ）が求められる（Ｓ１２６）。特徴点追跡部４から、２ｎ＋１枚の原画像群のテンプレート画像情報、特徴点の移動軌跡情報、各フレーム間画像の変形情報が超解像画像処理部８に出力される。
【００４８】
ｉ番目のフレームＦｉについては、超解像画像の初期化が行なわれる。初期化は主特徴点に部分画像を設定し（Ｓ１３３）、拡大処理することにより行なわれる（Ｓ１３４）。拡大処理には例えばＢｉｌｉｎｅｒ処理が用いられる。他方、ｉ番目のフレームＦｉ及び前後ｎ枚、合計２ｎ＋１枚のフレームＦｊ（Ｆｉ−ｎ〜Ｆｉ＋ｎ）からなる原画像群について、同様に主特徴点に部分画像を設定し（Ｓ１３３）、同様の拡大処理がされる（Ｓ１３４）。さらに、主特徴点周辺の副特徴点について追跡処理、対応付けがなされ（Ｓ１３５）、この過程で例えばアフィン変換を用いて、位置合わせ・変形処理がされる（Ｓ１３６）。特徴点追跡処理における特徴点移動軌跡情報、フレーム間変形情報を使用でき、位置合わせ・変形処理が容易になる。
【００４９】
次に、２ｎ＋１枚のフレームＦｊ（Ｆｉ−ｎ〜Ｆｉ＋ｎ）における変形された複数の部分画像から超解像部分画像を形成する（Ｓ１３７）。原画像群中の副特徴点の位置の重心を求め、これを超解像部分画像の副特徴点の位置座標とすることにより、超解像部分画像を形成する。超解像部分画像は、縮小され（Ｓ１３８）、ｉ番目のフレーム画像Ｆｉの元の部分画像の位置にはめ込まれ合成される（Ｓ１３９）。これにより部分画像の領域のみが超解像処理された部分的超解像画像が形成され（例えばこれをｊ番目の部分的超解像画像とする）、画像メモリ１０中の超解像合成バッファに格納される。この時超解像合成バッファに既成の部分的超解像画像があればこれと比較され（Ｓ１３Ａ）、変化があれば、超解像合成バッファに格納された既成の部分的超解像画像が新たな部分的超解像画像に書き換えられる。新たに合成された部分的超解像画像と超解像合成バッファに格納された部分的超解像画像との間に変化がなくなるまで、この処理が繰り返される。この繰り返しは図８における繰り返しループに対応する。変化がなくなれば繰り返しを終了し、新たな部分的超解像画像が出力される（Ｓ１３Ｂ）。この場合、新たな部分的超解像画像を形成するための別の原画像群として、超画像処理により形成された部分的超解像画像から選択されることが、さらに高精度の超解像画像を得る上で好ましい。あるいは原画像間のフレーム間隔を大にした画像群を選択するなどにより、高精度化を図ることも可能である。本実施の形態では別の原画像群として、超画像処理により形成された部分的超解像画像から選択することとする。
【００５０】
［ステレオマッチング］
図１２に対応特徴点の三次元座標位置とカメラ位置の関係を示す。対象物Ａの計測点ＰをステレオカメラＣ１，Ｃ２でステレオ撮影する（図１２にカメラ位置をＣ１，Ｃ２で示す）。撮影画像（原画像）Ｉはカメラの傾きや位置の揺らぎが反映されて取得されるが、後述する偏位修正処理された偏位修正画像Ｍはカメラの傾き及び位置の揺らぎが修正され、エピポーララインが揃った距離計測に適した画像となる。また、カメラの基線長Ｂは、相互標定処理により求めた２つの撮影位置から計算で容易に求められ、撮影距離Ｈは、三次元計測で算出された対応特徴点の三次元座標位置とカメラの位置から求めることができる。画素の分解能（平面分解能、奥行き分解能）は後述する式（８）、（９）で表わされ、測定精度を高くするすなわち分解能を小さくするには、基線長Ｂを大きくし、撮影距離Ｈを小さくとることが望ましいことがわかる。本実施の形態では基線長Ｂを所定の閾値以上となるようにステレオ画像を選択するものとする。
【００５１】
図１３に超解像画像のステレオマッチングの概念を示す。複数の画像群に本実施の形態における超解像処理を行うことにより、複数の部分的超解像画像を得ることができる。これら複数の部分的超解像画像からステレオ画像を選択して、テンプレートマッチングを行なうことにより、対応点の座標位置をさらに高精度にできる。複数の部分的超解像画像について順次ステレオペアを設定し、例えば最小二乗相関（ＬＳＭ：Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｍａｃｈｉｎｇ）法等のマッチング処理を行なう。例えばまず、画像（ａ）と画像（ｂ）についてマッチング処理を行ない、次に画像（ｂ）と画像（ｃ）（図示しない）について行ない、順次画像（ｚ）まで行われる。このテンプレートマッチングの際も超解像処理された部分画像を用いて行なうことにより、高速処理かつ使用メモリ容量を少なくして、高精度の座標を得ることができる。例えばサブピクセル単位の精度を得ることも可能である。なお、超解像処理時にマッチングが行なわれているので、図１３では再マッチングと表現されている。また、複数対のステレオ画像を選択する場合には、基線長がほぼ等しくなるように選択すると、精度を揃えることができるので好ましい。
【００５２】
［標定処理／三次元計測］
標定処理／三次元計測部７で相互標定、偏位修正処理と三次元計測が行なわれる。ステレオペア選択された各画像について、特徴点と対応点の座標を用いて、標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾きが求められる。そして、対応点の三次元位置を求めることができる。標定計算処理は、ステレオペア選択された撮影画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては接続標定やバンドル調整にて行う。このステレオペア選択を行う場合には、記憶部９のステレオ画像情報メモリ９Ｂのステレオペア候補リストにステレオ画像とカメラの基線長Ｂ及び撮影距離Ｈとの関係（予め測定されていた場合）を記憶しておけば、標定処理／三次元計測部７において、撮影画像取得部２で得られた複数の画像から、ステレオ画像情報メモリ９Ｂを参照して、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。
【００５３】
［相互標定処理］
次に、標定計算について説明する。この計算により、左右それぞれのカメラの位置、傾き等が求められる。
図１４は相互標定を説明するための図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長（Ｘ方向のためＢｘと示す）を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。
【００５４】
まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。なお、画面距離Ｃは焦点距離ｆと等価である。
【数１】
【００５５】
上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。
【数２】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。
【数３】
【００５６】
これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、φ２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｉｖ）までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。
【００５７】
この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔＸｊ＝（Ｘｊｒ−Ｘｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＹｊ＝（Ｙｊｒ−Ｙｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＺｊ＝（Ｚｊｒ−Ｚｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＤｊ＝√（ΔＸｊ２＋ΔＹｊ２）
（ΔＸｊｌΔＹｊｌΔＺｊｌ）：統一された座標系の第ｊ番目の左モデル
（ΔＸｊｒΔＹｊｒΔＺｊｒ）：統一された座標系の第ｊ番目の右モデル
ΔＺｊおよびΔＤｊが０．０００５（１／２０００）以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して（ｉｉ）〜（ｉｖ）までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。
【００５８】
〔偏位修正処理〕
また、偏位修正処理により、エピポーララインが左右の水平ライン上に一致するように画像が修正され、ステレオ法が成立する画像に変換される。また、標定処理及び偏位修正処理で得られた画像データを用いて三次元計測がなされる。
【００５９】
〔ステレオ法〕
次に各特徴点（候補対応点）の三次元座標を算出する。例えばステレオ法から三次元座標を算出する。
図１５はステレオ法を説明するための図である。簡単のために、同じ仕様の２台のカメラＣ１，Ｃ２を使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。２台のカメラＣ１，Ｃ２の光軸間距離（基線長）をＢとする。
物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ａｘ／ｚ −−−（５）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（６）
ｘ２−ｘ１＝ａＢ／ｚ −−−（７）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。
（７）式よりｚを求め、これを用いて（５）式、（６）式よりｘ、ｙが求められる。
ステレオ法の説明からわかるように、カメラＣ１、カメラＣ２の撮影距離（倍率）や撮影の向き、基線長Ｂが変わると、幾何学的に本原理が成立しづらくなり、結果として安定した精度の解を求め難くなる。
【００６０】
また、ステレオ法の１画素分解能の式を以下に示す。
２枚の撮影画像から計測する場合、通常以下に示す式により１画素の理論分解能が得られる。
平面分解能：Δｘｙ＝Ｈ×Δｐ／ｆ （８）
奥行き分解能：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）（９）
誤差範囲（σｘｙ，σｚ）は、σｘｙ＝ｋ１Δｘｙ，σｚ＝ｋ２Δｚ で表される。
ここに、Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数である。ｋ１，ｋ２は典型的には１とするが、精度を高くしたいときは１より小さくし、精度を低くしたいときは１より大きくし、例えば２，３とする。
これら計算式からも、撮影距離Ｈ、基線長Ｂが１画素の分解能に重要なパラメータであることがわかる。
実際の標定や三次元計測ではこれら撮影距離、基線長、撮影向きなどのパラメータは、全て考慮に入れて補正・調整を行って計算をしているので、問題なく算出できる。
しかしながら、安定した精度良い解を得るという観点からは、その基本原理から、ステレオ画像にこれらのパラメータが異なるものを使用すると精度が不安定になる要因となる。従ってステレオ画像を選択する際には、カメラの撮影位置から、撮影距離や倍率、カメラの向きを求めることができるので、それらパラメータがほぼ同一のものを選択する。
【００６１】
ステレオ画像が選択されると、偏位修正処理される（Ｓ１５５）。次に、偏位修正処理された偏位修正画像を用いて、各対応特徴点の三次元計測が行なわれ、三次元座標が求められる（Ｓ１６０）。撮影時間の異なる複数のステレオ画像について各対応特徴点の三次元計測を行なうと各対応特徴点の時系列変化を得られる。標定及び三次元計測の結果から基線長Ｂ及び撮影距離Ｈを求められる。
【００６２】
［再度の標定処理・三次元計測］
次に、再び超画像処理工程（Ｓ１３０）に戻り、三次元計測結果が反映された原画像群を選択し、再度のステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて、偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程及び第２の三次元計測工程では、再度の超画像処理がされたステレオ画像が使用されるので、より高精度の標定がなされ、三次元座標が算出される。この処理（Ｓ１３０〜Ｓ１６０）を繰り返すことにより、計測精度を向上することができる。例えば目標とする三次元座標精度が得られるまでこの処理を繰り返す。これにより、三次元座標が確定し、計測を終了する。
【００６３】
以上より、本実施の形態によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供できる。また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供できる。
【００６４】
［第２の実施の形態］
第１の実施の形態では、ステレオ画像選択後に標定、三次元計測を行なう例を説明したが、本実施の形態ではステレオ画像選択部は、標定、三次元計測で得られた基線長、撮影距離を参照してステレオ画像を選択する例を説明する。カメラの基線長Ｂは、相互標定処理により求めた２つの撮影位置から求められ、撮影距離Ｈは、三次元計測で算出された対応特徴点の三次元座標位置とカメラの位置から求めることができる。そこで、記憶部９のステレオ画像情報メモリ９Ｂのステレオペア候補リストにステレオ画像とカメラの基線長Ｂ及び撮影距離Ｈとの関係を記憶しておけば、次にステレオ画像を選択するに際し、ステレオ画像情報メモリ９Ｂを参照して、ステレオ画像を選択できる。例えば、精度を揃えるために基線長がほぼ等しくなるように選択したり、撮影距離Ｈがほぼ等しくなるようにステレオ画像を選択できる。その他の点では第１の実施の形態と同様である。
【００６５】
［第３の実施の形態］
第３の実施の形態では、記憶部９は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、ステレオ画像選択部６は、対応表から要求精度を満たす基線長となるようにステレオ画像を選択する例を示す。測定精度は基線長に依存するので、要求精度に合わせてステレオ画像の基線長を決めることにより、要求に合った三次元計測結果を提供できる。その他の点では第１の実施の形態と同様である。
【００６６】
［第４の実施の形態］
第１の実施の形態では、対応点の追跡処理から撮影位置を計測する例を説明したが、第４の実施の形態では、ＧＰＳからなる撮影位置測定部を有し、他の手段により撮影地点を計測するものである。
図１１に示す第１の実施の形態の処理フロー例に比して、撮影位置測定部（図示しない）が追加され、撮影画像に基づかないで撮影位置を計測可能である。したがって、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。また、撮影画像の追跡処理による撮影位置の計測結果を補完できる。また撮影装置（図示しない）が追加され、現場での撮影が可能である。他の工程は第１の実施の形態と同様である。
【００６７】
撮影位置測定部として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ等を採用可能である。たとえば撮影位置測定部をＧＰＳとした場合、撮影地点の三次元座標がＧＰＳから出力される。ＧＰＳの出力データを用いて基線長Ｂを算出し、三次元座標算出工程（Ｓ１６０）で算出された対応特徴点の三次元座標値とＧＰＳから出力された撮影位置データから撮影距離Ｈを算出する。これらのデータは記憶部９のステレオ画像情報メモリ９Ｂのステレオペア候補リストに記憶され、ステレオ画像選択時に参照可能である。
【００６８】
［第５の実施の形態］
第５の実施の形態では、第４の実施の形態における撮影位置測定部に慣性センサを用いる例である。慣性センサにて撮影位置を追跡したデータから基線長を求めることができる。慣性センサとして例えば、位置、速度、加速度、角度又は角速度を計測可能なセンサを用いることができる。また、センサから計算した値と撮影画像の追跡から計算した値を比較することにより撮影位置の座標精度を高めることも可能となる。その他は第４の実施の形態と同様である。
【００６９】
［第６の実施の形態］
第１の実施の形態では、三次元計測を超解像処理後に行う例を説明したが、本実施の形態では、予め測定された対象物の位置座標又は対象物を撮影した撮影装置の位置座標を用いて超画像処理を行い、標定処理・三次元計測部は超画像処理の結果を用いて、標定および三次元計測を行なう例である。超解像処理を繰り返すことにより、三次元座標精度を一層向上できる。その他は第１の実施の形態と同様である。
【００７０】
［第７の実施の形態］
第１の実施の形態では、超解像画像を用いてテンプレートマッチング処理を行う例を説明したが、さらにテンプレートマッチング処理を繰り返しても良い。これにより更に対応特徴点の座標精度を高めることができる。この際に、繰り返し回数と共に基線長を長くし、精度を高めるようにしても良い。また、ステレオ画像選択時にテンプレートマッチングを省略することも可能である。それでも予め撮影画像間で追跡処理がなされているので、十分高い座標精度を得ることができる。その他は第１の実施の形態と同様である。
【００７１】
［第８の実施の形態］
第１の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、第８の実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像等の順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、超解像処理を行い位置座標精度を向上する意義もある。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。
【００７２】
また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは制御部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００７３】
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００７４】
例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングやＬＳＭテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、図８の超解像画像合成（Ｓ１３９）から原画像群選択（Ｓ１３１）に戻る繰り返しループをなくすなど、超解像処理の工程の変更も可能である。また、使用するステレオ画像の数、基線長、特徴点の数等は適宜選択可能である。
【産業上の利用可能性】
【００７５】
本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。
【図面の簡単な説明】
【００７６】
【図１】第１の実施の形態の概念を説明するための図である。
【図２】第１の実施の形態における画像処理装置の構成例を示すブロック図である。
【図３】第１の実施の形態における画像処理方法のフロー例を示す図である。
【図４】ステレオ画像選択の例を示す図である。
【図５】偏位修正処理を説明するための図である。
【図６】特徴点追跡の処理フロー例を示す図である。
【図７】超解像画像の例を示す図である。
【図８】超解像処理工程のフロー例を示す図である。
【図９】部分画像設定の例を説明するための図である。
【図１０】超解像部分画像形成の例を説明するための図である。
【図１１】超解像処理工程のフレーム別フロー例を示す図である。
【図１２】対応特徴点の三次元座標位置とカメラ位置の関係を示す図である。
【図１３】超解像画像のステレオマッチングの概念を示す図である。
【図１４】相互標定を説明するための図である。
【図１５】ステレオ法を説明するための図である。
【符号の説明】
【００７７】
１ 制御部
２ 撮影画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 演算処理部
６ ステレオ画像選択部
７ 標定処理・三次元計測部
８ 超解像処理部
９ 記憶部
９Ａ 対応点情報メモリ
９Ｂ ステレオ画像情報メモリ
１０ 画像メモリ
１１ 表示部
８１ 原画像群選択部
８２ 主特徴点抽出部
８３ 部分画像設定部
８４ 部分画像拡大部
８５ 副特徴点追跡部
８６ 部分画像変形部
８７ 超解像部分画像形成部
８８ 部分画像縮小部
８９ 超解像画像合成部
１００ 画像処理装置
Ａ 対象物
Ｂ 基線長
Ｃ１、Ｃ２ 第１、第２の撮影位置
Ｆ０ 撮影画像
ｆ１〜ｆ５ 部分画像
Ｆｉ、Ｆｊ ｉ、ｊ番目のフレーム
Ｈ 撮影距離
Ｉ 撮影画像
Ｍ 偏位修正画像
Ｐ 計測点
Ｐ１〜Ｐ５ 主特徴点
【技術分野】
【０００１】
本発明は画像処理装置及びその処理方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定するに際し、複数の画像から部分的に解像度の高い画像を形成し、この解像度の高い画像を利用して高精度の三次元測定が可能な画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載したり、人が手に持って撮影を行うと、自動車や人の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と対象物の間に例えば他の自動車、人、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。また、三次元空間での動きが二次元画像上では見え難い場合もある。したがって、このような撮影装置の揺動の処理、消失・再現する特徴点の処理と共に三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要となっている。他方、低解像度の動画を張り合わせて、広視野高解像度の画像を形成する技術、低解像度の画像入力デバイスを用いて、特別な機械的走査機構を用いずに広範囲の高解像度画像を取得する技術が開示されている。（特許文献１、非特許文献１参照）
【０００３】
【特許文献１】特開平１０−６９５３７号公報（段落００３２〜０１２８、図１〜図１４等）
【非特許文献１】ＮＥＣ技報２００５ Ｖｏｌ．５８，Ｎｏ．３，２００５年６月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし従来の高解像度技術はいずれも二次元画像を対象とするもので、動画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各動画像上で相互に対応する特徴点すなわち対象物上の同一点（以下、対応特徴点という）を求め、これを追跡する技術が必要である。また、超解像処理は多数の対応特徴点について行なわれるので、処理の負荷が大きく、大メモリ容量が必要であるという問題があった。
【０００５】
本発明は、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供することを目的とする。また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の画像処理装置１００は、例えば図２に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理部８と、超解像処理部８にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の相互に対応付けられた特徴点（対象物上の同一点を表す）である対応特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測部７とを備え、ステレオ画像選択部６は、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択する。
【０００７】
ここにおいて、相対的に移動する対象物とは、典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が共に移動する状態で撮影されても良い。すなわち、両者が相対的に移動する状態で撮影されれば良い。隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。重複し合う画像数は多い程、計測座標精度を向上できるので望ましいが、例えば１０以上が好ましく、５０以上であれば更に好ましい。時系列的に撮影した一連の撮影画像とは、時間の経過に伴って順次取得された撮影画像であり、ビデオカメラで連続的に撮影された動画像のフレームから抽出された画像でも良く、単体カメラで適当な時間間隔で順次撮影された画像でも良い。また、動画像のフレームのうち全てのフレームから取得しても良く、数フレーム置きに取得しても良い。また、特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、相互に対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、特徴点を順次対応付け、追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。また、特徴点は時間の経過と共に新規発生、消滅、再現するものであり、このため一連の撮影画像中、相互に対応付けられた特徴点は少なくとも３以上の撮影画像にあれば良い。また、ステレオ画像の選択は、一連の撮影画像について追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像から選択するのが好ましいが、取得された原画像から選択しても標定処理及び三次元計測で相互に対応付けられるので、それでも良い。また、標定とは撮影装置の撮影位置と傾きを算定する処理であり、三次元計測とは各特徴点の三次元座標を算定する処理である。
【０００８】
このように構成すると、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置を提供できる。また、部分画像を用いて、高速、小メモリ容量の超解像処理ができる画像処理装置を提供できる。また、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択するので、一定の三次元計測精度を確保できる。
【０００９】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、例えば図２に示すように、超解像処理部８は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部８１と、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部８２と、主特徴点抽出部８２で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部８３と、部分画像設定部８３で設定された部分画像を拡大する部分画像拡大部８４と、部分画像の主特徴点の周囲に複数の副特徴点を抽出し、撮影画像群の部分画像間で副特徴点を追跡し、副特徴点を相互に対応付ける副特徴点追跡部８５と、副特徴点追跡部８５で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形部８６と、部分画像変形部８６で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部８７と、超解像部分画像形成部８７で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部８８と、部分画像縮小部８８で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部８９とを有する。
【００１０】
ここにおいて、部分画像の拡大処理と副特徴点の抽出・追跡処理はどちらを先にすることも可能であるが、拡大後抽出・追跡した方が高解像化し易い。また、部分画像の拡大は２倍、５倍、１０倍など任意で良い。また、複数の部分画像から超解像部分画像を形成する場合に、典型的には部分画像中の特徴点の重心を求めるが、重み付けをしても良く、中央値などの他の統計処理をしても良い。また、はめ込みは端部が一致するようにはめ込む必要はなく、主特徴点の位置座標を合わせて重ねれば良い。このように構成すると、随所に高解像の部分画像を配置した超解像画像を効率良く形成できる。
【００１１】
また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、ステレオ画像選択部６は、基線長がほぼ等しくなるように部分超解像画像が形成された撮影画像群から複数のステレオ画像を選択する。このように構成すると、精度の揃った三次元座標を得られる。
【００１２】
また、請求項４に記載の発明は、請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、ステレオ画像選択部６は、超解像処理部８で部分超解像画像が形成された撮影画像からステレオ画像を選択し、標定処理・三次元計測部７は、選択されたステレオ画像の部分超解像画像についてマッチング処理を行なう。このように構成すると、再マッチング処理により、三次元位置精度を向上できる。
【００１３】
また、請求項５に記載の発明は、請求項１乃至請求項４のいずれか１項に記載の画像処理装置において、超解像処理部８は、予め測定された対象物の位置座標又は対象物を撮影した撮影装置の位置座標を用いて超画像処理を行い、標定処理・三次元計測部７は超画像処理の結果を用いて、標定および三次元計測を行なう。ここにおいて、予め測定された位置座標は一旦超画像処理した後に三次元計測された位置座標でも良く、超画像処理されずに別途三次元計測された位置座標でも良く、画像処理に基づかずにＧＰＳや慣性センサなどで三次元計測された位置座標でも良い。このように構成すると、三次元計測で得られた位置座標を用いて適切なステレオ画像を選択できる。
【００１４】
また、請求項６に記載の発明は、請求項５に記載の画像処理装置において、ステレオ画像選択部６は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、対応表から要求精度を満たす基線長となるようにステレオ画像を選択する。このように構成すると、要求精度に見合った三次元座標を得られる。
【００１５】
また、請求項７に記載の画像処理方法は、例えば図３に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、前記一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理工程（Ｓ１３０）と、超解像処理工程にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、対象物の位置、対象物の形状又は対象物を撮影した撮影装置の位置を求める標定処理・三次元計測工程（Ｓ１５０，Ｓ１６０）とを備え、ステレオ画像選択工程（Ｓ１４０）において、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択する。このように構成すると、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理方法を提供できる。また、部分画像を用いて、高速、小メモリ容量の超解像処理ができる画像処理方法を提供できる。また、ステレオ画像の基線長が所定の閾値より長くなるようにステレオ画像を選択するので、一定の三次元計測精度を確保できる。
【００１６】
また、請求項８に記載の発明は、請求項７に記載の画像処理方法において、例えば図８に示すように、超解像処理工程（Ｓ１３０）は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択工程（Ｓ１３１）と、原画像群において特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出工程（Ｓ１３２）と、主特徴点抽出工程で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定工程（Ｓ１３３）と、部分画像設定工程で設定された部分画像を拡大する部分画像拡大工程（Ｓ１３４）と、前記部分画像の前記主特徴点の周囲に複数の副特徴点を抽出し、前記撮影画像群の部分画像間で前記副特徴点を追跡し、前記副特徴点を相互に対応付ける副特徴点追跡工程（Ｓ１３５）と、副特徴点追跡工程で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形工程（Ｓ１３６）と、部分画像変形工程で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成工程（Ｓ１３７）と、超解像部分画像形成工程で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小工程（Ｓ１３８）と、部分画像縮小工程で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成工程（Ｓ１３９）とを有する。このように構成すると、随所に高解像の部分画像を配置した超解像画像を効率良く形成できる。
【発明の効果】
【００１７】
本発明によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供できる。
また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下に図面に基づき本発明の実施の形態について説明する。
【００１９】
［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、時間すなわち自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ電波を受信できない区間で補完的に利用される意義も大きい。なお、第１の実施の形態では、動画像等の時系列的に変化する撮影画像について部分的超解像処理を行い三次元座標の計測を高精度化する例を説明する。
【００２０】
図２に本実施の形態における画像処理装置１００の構成例を示す。図において、１は画像処理装置１００の各部を制御して、画像処理装置として機能せしめる制御部であり、具体的には、撮影画像取得部２への撮影画像取得の指示、特徴抽出部３への特徴点抽出実行の指示、特徴点追跡部４への追跡実行の指示、演算処理部５へのステレオ画像選択指示、標定・三次元計測実行指示、超解像処理実行指示等を行う。
【００２１】
２は動画像等の時系列的に変化する撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、画像メモリ１０への撮影画像の保存等を行う。なお、自己の撮影装置で撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。３は順次取得した撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４への出力等を行う。４は特徴抽出部３より入力された特徴点に対応する対応点（厳密には確定するまでは候補対応点というが、本実施の形態では候補対応点を含めて対応点ということとする）を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の対応点情報メモリ９Ａへの出力、対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。特徴点追跡部４において特徴点が対応付けられた、すなわち対応特徴点が付された一連の撮影画像は、追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに後述する偏位修正処理により縦視差が除去された偏位修正画像として、取得された原画像と共に画像メモリ１０に記憶される。
【００２２】
５は演算処理部で、超解像処理部８とステレオ画像選択部６と標定処理・三次元計測部７とを有する。超解像処理部８は、一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する。ステレオ画像選択部６は特徴抽出部３及び特徴点追跡部４において対応特徴点が付された一連の画像からステレオ画像を選択する。標定処理・三次元計測部７はステレオ画像選択部６で選択されたステレオ画像を用いて標定計算、三次元計測を実行するもので、その他に、偏位修正処理、標定結果及び三次元計測結果の表示部１１への出力、外部へ標定結果及び三次元計測結果の出力等を行う。標定計算、三次元計測を行なうためのステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できる。
【００２３】
超解像処理部８は、一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部８１と、原画像群選択部８１で選択された原画像群において前記特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部８２と、主特徴点抽出部８２で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部８３と、部分画像設定部８３で設定された部分画像を拡大する部分画像拡大部８４と、部分画像拡大部８４で拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出し、撮影画像群の部分画像間で副特徴点を追跡し、副特徴点を相互に対応付ける副特徴点追跡部８５と、副特徴点追跡部８５で対応付けられた副特徴点の位置座標が原画像間で良く一致するように部分画像を変形する部分画像変形部８６と、部分画像変形部８６で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部８７と、超解像部分画像形成部８７で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部８８と、部分画像縮小部８８で縮小された部分画像を、撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部８９とを有する。超画像処理部８で形成された部分的超解像画像は画像メモリ１０に記憶され、ステレオ画像選択部６により部分的超解像画像からステレオ画像が選択され、標定処理・三次元計測部７において、標定計算、三次元計測が実行される。
【００２４】
１１は演算処理部５により標定処理又は三次元計測された対象物の画像や撮影した位置の軌跡を平面的又は立体的（立体的二次元表示）に表示する表示部、９は記憶部で、特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ９Ａ、ステレオ画像に関する情報を記憶するステレオ画像情報メモリ９Ｂ、撮影画像、補正画像、偏位修正画像、その他の画像を記憶する画像メモリ１０を有する。対応点情報メモリ９Ａ、ステレオ画像情報メモリ９Ｂ、画像メモリ１０には、特徴点追跡時、超解像処理時、ステレオ画像選択時、標定計算や三次元計測時等、必要に応じて随時参照され、また書き込みされる。
【００２５】
図３に第１の実施の形態における画像処理方法のフロー例を示す。まず、撮影画像取得部２において、相対的に移動する対象物について、動画像等の時系列的に変化する一連の撮影画像を取得する（Ｓ１００：撮影画像取得工程）。一連の撮影画像は隣り合う３以上の画像が重複部分を共有するように取得する。自己の撮影カメラで画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。取得された撮影画像は画像メモリ１０に蓄積される。制御部１は撮影画像取得部２から動画像等の時系列的に変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影カメラを装着し、移動しながら撮影するので、撮影画像は時間的又は空間的に少しずつ変化する撮影画像であり、近隣の画像の大部分で対象物が共通である。特徴抽出部３では、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出し（Ｓ１１０：特徴抽出工程）、抽出された特徴点データは特徴点追跡部４に供給され、対応点情報メモリ９Ａに記憶される。
【００２６】
隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。特徴点追跡部４において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる（Ｓ１２０：特徴点追跡工程）。特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは対応点情報メモリ９Ａに記憶され、追跡結果も履歴情報として記憶される。各対応点に関する追跡情報が対応点情報メモリ９Ａに蓄積され、対応点情報メモリ９Ａ内に候補対応点リストが作成される。すなわち、候補対応点リストには、各対応特徴点について撮影画像毎に二次元画面上の座標が記憶される。また、三次元座標計測後は三次元座標も記憶される。また、対応特徴点として適切か否かの判定結果も記憶される。また、対応特徴点が付された撮影画像は原画像と共に、追跡処理を反映して位置、倍率、傾きを補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像として、画像メモリ１０に記憶される（Ｓ１２５）。なお、Ｓ１２５において補正画像または偏位修正画像を記憶しているが、画像を表示しない場合でも記憶した画像データを補正パラメータとして使用可能である。なお、特徴抽出部３で抽出された特徴点データ及び特徴点追跡部４で対応付けられた対応特徴点データがリアルタイムに順次演算処理部５に供給されれば、移動中の移動体（自動車等）で、早期に標定処理、三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。
【００２７】
次に超画像処理が行なわれる。超解像処理工程（Ｓ１３０）では、一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択し、原画像群において特徴点追跡工程（Ｓ１２０）で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、主特徴点の周囲の小領域に部分画像を設定し、部分画像に超解像処理を行ない部分的超解像画像を形成する。超画像処理工程（Ｓ１３０）の詳細については、後に図８を参照して説明する。
【００２８】
次に、対応特徴点が付された一連の撮影画像からステレオ画像が選択される（Ｓ１４０：ステレオ画像選択工程）。一連の画像は追跡処理を反映して倍率、揺らぎ、傾きが補正された補正画像又はさらに偏位修正処理により縦視差が除去された偏位修正画像を用いるのが好ましいが、取得された原画像から選択しても次の標定処理及び三次元計測で相互に対応付けられるので、それでも良い。ステレオ画像を選択するために、その候補として種々の組み合わせが可能であるが、ステレオ画像情報メモリ９Ｂ内にステレオ画像の候補として選択した組み合わせに関する情報を記憶したステレオペア候補リストが作成される。ステレオペア候補リストには、ステレオペアを構成する撮影画像番号、各撮影画像の焦点距離、撮影方向、ペアを形成した場合の基線長が記憶され、また、偏位修正処理後は偏位修正画像番号、三次元座標計測後は撮影距離も記憶される。したがって、ステレオ画像選択部はこのステレオペア候補リストを参照して、適切なステレオ画像を選択できる。
【００２９】
図４にステレオ画像選択の例を示す。三次元計測を行なうには、撮影画像から対をなす２画像（ステレオ画像という）を選択し、その特徴点同士のマッチングをとり、相互に対応していることを確認する必要がある。この例では取得画像から数画像離れた画像をステレオ画像として選択しており、対をなす２画像間のフレーム間隔を一定にすれば基線長がほぼ一定に保たれるので好ましい。なお、選択されるステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できるので、ここでは、追跡処理した多数の撮影画像を用いてステレオ画像を選択し、統計処理を行うこととする。
【００３０】
図３に戻り、ステレオ画像選択部６で選択されたステレオ画像の対応特徴点を用いて、標定処理・三次元計測部７で標定処理と三次元計測が行なわれる。標定処理では、選択されたステレオ画像について、特徴点と対応点の座標を用いて、相互標定を行い、撮影カメラの撮影位置と傾きが算定される（Ｓ１５０：第１の標定工程）。ステレオ画像同士の接続標定も行われる。なお、仮にステレオ画像が設定できなかった撮影画像に対しては、単写真標定を行うことにより撮影カメラの撮影位置と傾きを算出可能である。標定処理／３次元計測部７で相互標定処理に続けて偏位修正処理が行われる（Ｓ１５５：偏位修正工程）。
【００３１】
図５は偏位修正処理を説明するための図である。偏位修正処理とは、標定処理で求められた撮影装置の撮影位置と傾きを用いて、計測対象物に対して撮影画像をステレオ法の幾何学が成立するように被写体に対して並行にかつエピポーララインが左右の水平ライン上に一致するように画像を修正する処理である。したがって左右画像の倍率や傾き等の歪が補正され、倍率が同一となり、縦視差が除去される。
再び図３に戻る。標定結果及び偏位修正画像データを用いて三次元計測により各特徴点の三次元座標が算定される（Ｓ１６０：第１の三次元計測工程）。三次元計測は、後述する図１５で示されるステレオ法の原理から式（５）〜（７）を用い簡単に求められる。あるいは、三次元計測は、例えば標定処理で求めた撮影カメラの位置と傾き（外部標定要素）を初期値とし、バンドル調整を行うことによって求める。これにより、三次元座標だけでなく、さらに正確な撮影カメラの位置と傾きも求まる。
【００３２】
次に、三次元座標精度をより一層高めたい場合には、再び超解像処理工程（Ｓ１３０）に戻り、次いで再度のステレオ画像選択工程（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて、偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程及び第２の三次元計測工程では、再度の超解像画像を用いて、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１３０〜Ｓ１６０）を繰り返すことにより、計測精度をさらに向上することができる。例えば目標の精度を得るまでループの処理を繰り返す。これにより、三次元座標が確定し、計測を終了する。
以下に、必要に応じ、各工程について説明する。
【００３３】
［特徴点抽出］
特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１０、図６参照）。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ．Ｐ．Ｍｏｒａｖｅｃ． Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ． Ｐｒｏｃ． ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．５８４，１９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレータを適宜採用できる。
【００３４】
［追跡処理］
図６に特徴点追跡の処理フロー例を示す。特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２０）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影カメラと撮影対象間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影カメラに対する画面相対移動量が求められる。すなわち、フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する（Ｓ１４）。そして、異常な動きを示す誤対応と思われる候補対応点を除去する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。
【００３５】
次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴抽出（Ｓ１１０）に戻り、順次新たな隣接画像について特徴抽出（Ｓ１１０）と追跡処理（Ｓ１２０）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、事後的に一括して、順次新たな隣接画像について追跡処理（Ｓ１２０）が行われる。
【００３６】
特徴点の追跡に、例えばテンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ：逐次残差）法などの手法によりステレオマッチングを行い、対応点を求める（Ｓ１３）。ＳＳＤＡ法とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。
【００３７】
撮影画面中に、走行中の自動車、人、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。
【００３８】
［超解像処理］
次に超解像処理について説明する。超解像処理とは、複数の画像から高解像、高分解能画像を推定する処理、あるいは、原画像が高解像、高分解能画像であったとして複数の劣化画像から現画像を再構成する処理をいう。具体的には、複数画像間の位置合わせ・変形と合成を繰り返し行なうことにより、超解像画像が得られる。
【００３９】
図７に超解像画像の例を示す。図７（ａ）は従来のバイキュービック法により高解像化した画像、図７（ｂ）は１６枚の画像から形成された超解像画像である。両者を比較すると超解像画像の方が鮮明な画像が得られていることが分かる。
【００４０】
一般に超解像画像処理を行う場合には、画像全体あるいは画像の広範囲な領域を対象として処理が行なわれるが、超解像画像処理には画像間の正確な位置合わせと変形パラメータの推定を必要とする。これに対し本実施の形態では部分的な超解像処理を行う。すなわち、一連の撮影画像から超解像処理を行うための原画像群を選択し、原画像から主特徴点を抽出し、主特徴点の周囲の小領域に部分画像を設定し、拡大し、拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出し、追跡して対応付けし、原画像間で副特徴点の位置座標が良く一致するように部分画像を変形し、変形された複数の部分画像から超解像画像を形成し、縮小して、元あった部分画像の位置にはめ込み合成することにより、部分的超解像画像を形成する。このように、本実施の形態における超解像処理は、特徴点周辺の限られた範囲において解像度を向上するものであり、限られた小領域において正確な画像間の位置合わせ、変形を行なえば十分である。
【００４１】
特徴点同士の位置合わせには、ＳＳＤＡテンプレートマッチングを使用できる。また、画像間の変形には特徴点追跡に用いられる射影変換やアフィン変換を適用できる。原画像よりも高解像度の画像を作成するためには、画像の拡大縮小処理後に画像の合成を行なうので、一般には膨大なメモリ容量が必要になるが、本実施の形態では、特徴点周辺の小領域のみで超解像処理を行うので、大量のメモリを必要としない。
【００４２】
図８に超解像処理工程のフロー例を示す。まず、一連の撮影画像から超解像処理を行なうための画像群である原画像群を選択する（Ｓ１３１：原画像群選択工程）。次に、原画像群において特徴点追跡部４で相互に対応付けられた特徴点から超解像処理を行なうための対応特徴点としての主特徴点を抽出して（Ｓ１３２：主特徴点抽出工程）、主特徴点の周囲の小領域に部分画像を設定する（Ｓ１３３：部分画像設定工程）。原画像群を選択するに当り、均質な超解像画像を得る上で、隣接画像間の画面上での移動距離が略等しくなるように選択することが好ましい。また、原画像群の画像数も超解像画像の対応点の座標精度に影響するので、均質な超解像画像を得る上で、画像数をほぼ等しくすることが好ましい。本実施の形態では、隣接画像間の画面上での移動距離が略等しくなるように原画像群を選択し、かつ、複数の部分的超画像を形成する際の原画像群の画像数も等しくすることとする。次に、部分画像を拡大し（Ｓ１３４：部分画像拡大工程）、拡大された部分画像の主特徴点の周囲に複数の副特徴点を抽出する（Ｓ１３５：副特徴点抽出工程）。拡大処理には例えばＢｉｌｉｎｅｒ処理，Ｂｉｃｕｂｉｃ処理が用いられる。
【００４３】
図９は部分画像設定の例を説明するための図である。図において、Ｆ０が撮影画像（補正画像、偏位修正画像を含む）、ｆ１〜ｆ５が撮影画像Ｆ０中に設定された部分画像、Ｐ１〜Ｐ５が主特徴点を表し、その周辺の×が抽出された副特徴点の位置を表す。このように撮影画像Ｆ０内の少領域に部分領域が設定され、これらの部分画像ｆ１〜ｆ５内で超解像処理が行なわれる。当該撮影画像の他の原画像に対しても同じ（相互に対応付けられた）主特徴点に対して部分画像が設定され、副特徴点が抽出される。部分画像は撮影画像Ｆ０中に均質に分布するように抽出することが、画像Ｆ０全面で均質な精度を得る上で好ましく、副特徴点は部分画像中に均質に分布するように抽出することが部分画像内で均質な精度を得る上で好ましい。なお、副特徴点に特徴点追跡部４で追跡処理された対応特徴点が含まれていても良い。
【００４４】
次に、原画像群の部分画像ｆ１〜ｆ５間で副特徴点について追跡処理が行なわれ、副特徴点が相互に対応付けられる（Ｓ１３５：副特徴点追跡工程）。次に、相互に対応付けられた副特徴点の位置座標が良く一致するように各部分画像ｆ１〜ｆ５について位置合わせ・変形処理がされる（Ｓ１３６：部分画像変形工程）。次に、変形された複数の部分画像から超解像部分画像を形成する（Ｓ１３７：超解像部分画像形成工程）。
【００４５】
図１０は超解像部分画像形成の例を説明するための図である。図において、原画像群中の各原画像の部分画像について、任意の１つの副特徴点の位置を×で示す。これらの位置座標にはばらつきがあり、超解像部分画像を形成するに際し、典型的にはこれら原画像群中の副特徴点の位置の重心を超解像部分画像の副特徴点の位置座標とするが、フレーム番号の近さ等により重み付けをして重心を求めても良い。
【００４６】
次に、形成された各超解像部分画像を元の部分画像の寸法に縮小し（Ｓ１３８：部分画像縮小工程）、縮小された部分画像ｆ１〜ｆ５を、撮影画像Ｆ０中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する（Ｓ１３９：超解像画像合成工程）。超解像部分画像ｆ１〜ｆ５は図９の元の部分画像の位置にはめ込まれる。本実施の形態では、原画像群の中心のフレームにのみ超解像部分画像をはめ込むこととするが、他の原画像にも同じ超解像部分画像をはめ込んでも良い。なお、座標値のみが必要な場合など超解像部分画像のはめ込みが必要でない場合に、そのはめ込みを省略できる。また、超解像画像合成（Ｓ１３９）から原画像群選択（Ｓ１３１）に戻る繰り返しループを形成して、解像度の向上を図ることも可能であり、本実施の形態では繰り返しループを有するものとする。
【００４７】
図１１に超解像処理工程のフレーム別フロー例を示す。部分的超解像画像を形成する撮影画像（補正画像、偏位修正画像を含む）をｉ番目のフレームＦｉとし、これと前後ｎ枚、合計２ｎ＋１枚の原画像群（フレームＦｊ（ｊ＝ｉ−ｎ〜ｉ＋ｎ））を用いて超解像処理する例である。特徴点追跡部４において、各撮影画像が取得され、各フレームのテンプレート画像として用いられる（Ｓ１００）。これら撮影画像間で特徴点が追跡され、対応付けられて移動軌跡が求められる（Ｓ１２０）。また、追跡処理において、各フレーム間の変換がなされ、変換パラメータ（例えばアフィン変換のパラメータ）が求められる（Ｓ１２６）。特徴点追跡部４から、２ｎ＋１枚の原画像群のテンプレート画像情報、特徴点の移動軌跡情報、各フレーム間画像の変形情報が超解像画像処理部８に出力される。
【００４８】
ｉ番目のフレームＦｉについては、超解像画像の初期化が行なわれる。初期化は主特徴点に部分画像を設定し（Ｓ１３３）、拡大処理することにより行なわれる（Ｓ１３４）。拡大処理には例えばＢｉｌｉｎｅｒ処理が用いられる。他方、ｉ番目のフレームＦｉ及び前後ｎ枚、合計２ｎ＋１枚のフレームＦｊ（Ｆｉ−ｎ〜Ｆｉ＋ｎ）からなる原画像群について、同様に主特徴点に部分画像を設定し（Ｓ１３３）、同様の拡大処理がされる（Ｓ１３４）。さらに、主特徴点周辺の副特徴点について追跡処理、対応付けがなされ（Ｓ１３５）、この過程で例えばアフィン変換を用いて、位置合わせ・変形処理がされる（Ｓ１３６）。特徴点追跡処理における特徴点移動軌跡情報、フレーム間変形情報を使用でき、位置合わせ・変形処理が容易になる。
【００４９】
次に、２ｎ＋１枚のフレームＦｊ（Ｆｉ−ｎ〜Ｆｉ＋ｎ）における変形された複数の部分画像から超解像部分画像を形成する（Ｓ１３７）。原画像群中の副特徴点の位置の重心を求め、これを超解像部分画像の副特徴点の位置座標とすることにより、超解像部分画像を形成する。超解像部分画像は、縮小され（Ｓ１３８）、ｉ番目のフレーム画像Ｆｉの元の部分画像の位置にはめ込まれ合成される（Ｓ１３９）。これにより部分画像の領域のみが超解像処理された部分的超解像画像が形成され（例えばこれをｊ番目の部分的超解像画像とする）、画像メモリ１０中の超解像合成バッファに格納される。この時超解像合成バッファに既成の部分的超解像画像があればこれと比較され（Ｓ１３Ａ）、変化があれば、超解像合成バッファに格納された既成の部分的超解像画像が新たな部分的超解像画像に書き換えられる。新たに合成された部分的超解像画像と超解像合成バッファに格納された部分的超解像画像との間に変化がなくなるまで、この処理が繰り返される。この繰り返しは図８における繰り返しループに対応する。変化がなくなれば繰り返しを終了し、新たな部分的超解像画像が出力される（Ｓ１３Ｂ）。この場合、新たな部分的超解像画像を形成するための別の原画像群として、超画像処理により形成された部分的超解像画像から選択されることが、さらに高精度の超解像画像を得る上で好ましい。あるいは原画像間のフレーム間隔を大にした画像群を選択するなどにより、高精度化を図ることも可能である。本実施の形態では別の原画像群として、超画像処理により形成された部分的超解像画像から選択することとする。
【００５０】
［ステレオマッチング］
図１２に対応特徴点の三次元座標位置とカメラ位置の関係を示す。対象物Ａの計測点ＰをステレオカメラＣ１，Ｃ２でステレオ撮影する（図１２にカメラ位置をＣ１，Ｃ２で示す）。撮影画像（原画像）Ｉはカメラの傾きや位置の揺らぎが反映されて取得されるが、後述する偏位修正処理された偏位修正画像Ｍはカメラの傾き及び位置の揺らぎが修正され、エピポーララインが揃った距離計測に適した画像となる。また、カメラの基線長Ｂは、相互標定処理により求めた２つの撮影位置から計算で容易に求められ、撮影距離Ｈは、三次元計測で算出された対応特徴点の三次元座標位置とカメラの位置から求めることができる。画素の分解能（平面分解能、奥行き分解能）は後述する式（８）、（９）で表わされ、測定精度を高くするすなわち分解能を小さくするには、基線長Ｂを大きくし、撮影距離Ｈを小さくとることが望ましいことがわかる。本実施の形態では基線長Ｂを所定の閾値以上となるようにステレオ画像を選択するものとする。
【００５１】
図１３に超解像画像のステレオマッチングの概念を示す。複数の画像群に本実施の形態における超解像処理を行うことにより、複数の部分的超解像画像を得ることができる。これら複数の部分的超解像画像からステレオ画像を選択して、テンプレートマッチングを行なうことにより、対応点の座標位置をさらに高精度にできる。複数の部分的超解像画像について順次ステレオペアを設定し、例えば最小二乗相関（ＬＳＭ：Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｍａｃｈｉｎｇ）法等のマッチング処理を行なう。例えばまず、画像（ａ）と画像（ｂ）についてマッチング処理を行ない、次に画像（ｂ）と画像（ｃ）（図示しない）について行ない、順次画像（ｚ）まで行われる。このテンプレートマッチングの際も超解像処理された部分画像を用いて行なうことにより、高速処理かつ使用メモリ容量を少なくして、高精度の座標を得ることができる。例えばサブピクセル単位の精度を得ることも可能である。なお、超解像処理時にマッチングが行なわれているので、図１３では再マッチングと表現されている。また、複数対のステレオ画像を選択する場合には、基線長がほぼ等しくなるように選択すると、精度を揃えることができるので好ましい。
【００５２】
［標定処理／三次元計測］
標定処理／三次元計測部７で相互標定、偏位修正処理と三次元計測が行なわれる。ステレオペア選択された各画像について、特徴点と対応点の座標を用いて、標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾きが求められる。そして、対応点の三次元位置を求めることができる。標定計算処理は、ステレオペア選択された撮影画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては接続標定やバンドル調整にて行う。このステレオペア選択を行う場合には、記憶部９のステレオ画像情報メモリ９Ｂのステレオペア候補リストにステレオ画像とカメラの基線長Ｂ及び撮影距離Ｈとの関係（予め測定されていた場合）を記憶しておけば、標定処理／三次元計測部７において、撮影画像取得部２で得られた複数の画像から、ステレオ画像情報メモリ９Ｂを参照して、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。
【００５３】
［相互標定処理］
次に、標定計算について説明する。この計算により、左右それぞれのカメラの位置、傾き等が求められる。
図１４は相互標定を説明するための図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長（Ｘ方向のためＢｘと示す）を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。
【００５４】
まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。なお、画面距離Ｃは焦点距離ｆと等価である。
【数１】
【００５５】
上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。
【数２】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。
【数３】
【００５６】
これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、φ２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｉｖ）までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。
【００５７】
この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔＸｊ＝（Ｘｊｒ−Ｘｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＹｊ＝（Ｙｊｒ−Ｙｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＺｊ＝（Ｚｊｒ−Ｚｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＤｊ＝√（ΔＸｊ２＋ΔＹｊ２）
（ΔＸｊｌΔＹｊｌΔＺｊｌ）：統一された座標系の第ｊ番目の左モデル
（ΔＸｊｒΔＹｊｒΔＺｊｒ）：統一された座標系の第ｊ番目の右モデル
ΔＺｊおよびΔＤｊが０．０００５（１／２０００）以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して（ｉｉ）〜（ｉｖ）までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。
【００５８】
〔偏位修正処理〕
また、偏位修正処理により、エピポーララインが左右の水平ライン上に一致するように画像が修正され、ステレオ法が成立する画像に変換される。また、標定処理及び偏位修正処理で得られた画像データを用いて三次元計測がなされる。
【００５９】
〔ステレオ法〕
次に各特徴点（候補対応点）の三次元座標を算出する。例えばステレオ法から三次元座標を算出する。
図１５はステレオ法を説明するための図である。簡単のために、同じ仕様の２台のカメラＣ１，Ｃ２を使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。２台のカメラＣ１，Ｃ２の光軸間距離（基線長）をＢとする。
物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ａｘ／ｚ −−−（５）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（６）
ｘ２−ｘ１＝ａＢ／ｚ −−−（７）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。
（７）式よりｚを求め、これを用いて（５）式、（６）式よりｘ、ｙが求められる。
ステレオ法の説明からわかるように、カメラＣ１、カメラＣ２の撮影距離（倍率）や撮影の向き、基線長Ｂが変わると、幾何学的に本原理が成立しづらくなり、結果として安定した精度の解を求め難くなる。
【００６０】
また、ステレオ法の１画素分解能の式を以下に示す。
２枚の撮影画像から計測する場合、通常以下に示す式により１画素の理論分解能が得られる。
平面分解能：Δｘｙ＝Ｈ×Δｐ／ｆ （８）
奥行き分解能：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）（９）
誤差範囲（σｘｙ，σｚ）は、σｘｙ＝ｋ１Δｘｙ，σｚ＝ｋ２Δｚ で表される。
ここに、Ｈ：撮影距離、Δｐ：画素分解能、ｆ：焦点距離、Ｂ：基線長、ｋ１，ｋ２：係数である。ｋ１，ｋ２は典型的には１とするが、精度を高くしたいときは１より小さくし、精度を低くしたいときは１より大きくし、例えば２，３とする。
これら計算式からも、撮影距離Ｈ、基線長Ｂが１画素の分解能に重要なパラメータであることがわかる。
実際の標定や三次元計測ではこれら撮影距離、基線長、撮影向きなどのパラメータは、全て考慮に入れて補正・調整を行って計算をしているので、問題なく算出できる。
しかしながら、安定した精度良い解を得るという観点からは、その基本原理から、ステレオ画像にこれらのパラメータが異なるものを使用すると精度が不安定になる要因となる。従ってステレオ画像を選択する際には、カメラの撮影位置から、撮影距離や倍率、カメラの向きを求めることができるので、それらパラメータがほぼ同一のものを選択する。
【００６１】
ステレオ画像が選択されると、偏位修正処理される（Ｓ１５５）。次に、偏位修正処理された偏位修正画像を用いて、各対応特徴点の三次元計測が行なわれ、三次元座標が求められる（Ｓ１６０）。撮影時間の異なる複数のステレオ画像について各対応特徴点の三次元計測を行なうと各対応特徴点の時系列変化を得られる。標定及び三次元計測の結果から基線長Ｂ及び撮影距離Ｈを求められる。
【００６２】
［再度の標定処理・三次元計測］
次に、再び超画像処理工程（Ｓ１３０）に戻り、三次元計測結果が反映された原画像群を選択し、再度のステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて、偏位修正処理（Ｓ１５５：第２の偏位修正工程）、再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程及び第２の三次元計測工程では、再度の超画像処理がされたステレオ画像が使用されるので、より高精度の標定がなされ、三次元座標が算出される。この処理（Ｓ１３０〜Ｓ１６０）を繰り返すことにより、計測精度を向上することができる。例えば目標とする三次元座標精度が得られるまでこの処理を繰り返す。これにより、三次元座標が確定し、計測を終了する。
【００６３】
以上より、本実施の形態によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の三次元座標を精度良く計測できる画像処理装置及び画像処理方法を提供できる。また、高速、小メモリ容量の超解像処理ができる画像処理装置及び画像処理方法を提供できる。
【００６４】
［第２の実施の形態］
第１の実施の形態では、ステレオ画像選択後に標定、三次元計測を行なう例を説明したが、本実施の形態ではステレオ画像選択部は、標定、三次元計測で得られた基線長、撮影距離を参照してステレオ画像を選択する例を説明する。カメラの基線長Ｂは、相互標定処理により求めた２つの撮影位置から求められ、撮影距離Ｈは、三次元計測で算出された対応特徴点の三次元座標位置とカメラの位置から求めることができる。そこで、記憶部９のステレオ画像情報メモリ９Ｂのステレオペア候補リストにステレオ画像とカメラの基線長Ｂ及び撮影距離Ｈとの関係を記憶しておけば、次にステレオ画像を選択するに際し、ステレオ画像情報メモリ９Ｂを参照して、ステレオ画像を選択できる。例えば、精度を揃えるために基線長がほぼ等しくなるように選択したり、撮影距離Ｈがほぼ等しくなるようにステレオ画像を選択できる。その他の点では第１の実施の形態と同様である。
【００６５】
［第３の実施の形態］
第３の実施の形態では、記憶部９は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、ステレオ画像選択部６は、対応表から要求精度を満たす基線長となるようにステレオ画像を選択する例を示す。測定精度は基線長に依存するので、要求精度に合わせてステレオ画像の基線長を決めることにより、要求に合った三次元計測結果を提供できる。その他の点では第１の実施の形態と同様である。
【００６６】
［第４の実施の形態］
第１の実施の形態では、対応点の追跡処理から撮影位置を計測する例を説明したが、第４の実施の形態では、ＧＰＳからなる撮影位置測定部を有し、他の手段により撮影地点を計測するものである。
図１１に示す第１の実施の形態の処理フロー例に比して、撮影位置測定部（図示しない）が追加され、撮影画像に基づかないで撮影位置を計測可能である。したがって、撮影画像の追跡処理なしに、或は撮影画像とは独立に撮影位置を計測でき、リアルタイム処理に便宜である。また、撮影画像の追跡処理による撮影位置の計測結果を補完できる。また撮影装置（図示しない）が追加され、現場での撮影が可能である。他の工程は第１の実施の形態と同様である。
【００６７】
撮影位置測定部として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ等を採用可能である。たとえば撮影位置測定部をＧＰＳとした場合、撮影地点の三次元座標がＧＰＳから出力される。ＧＰＳの出力データを用いて基線長Ｂを算出し、三次元座標算出工程（Ｓ１６０）で算出された対応特徴点の三次元座標値とＧＰＳから出力された撮影位置データから撮影距離Ｈを算出する。これらのデータは記憶部９のステレオ画像情報メモリ９Ｂのステレオペア候補リストに記憶され、ステレオ画像選択時に参照可能である。
【００６８】
［第５の実施の形態］
第５の実施の形態では、第４の実施の形態における撮影位置測定部に慣性センサを用いる例である。慣性センサにて撮影位置を追跡したデータから基線長を求めることができる。慣性センサとして例えば、位置、速度、加速度、角度又は角速度を計測可能なセンサを用いることができる。また、センサから計算した値と撮影画像の追跡から計算した値を比較することにより撮影位置の座標精度を高めることも可能となる。その他は第４の実施の形態と同様である。
【００６９】
［第６の実施の形態］
第１の実施の形態では、三次元計測を超解像処理後に行う例を説明したが、本実施の形態では、予め測定された対象物の位置座標又は対象物を撮影した撮影装置の位置座標を用いて超画像処理を行い、標定処理・三次元計測部は超画像処理の結果を用いて、標定および三次元計測を行なう例である。超解像処理を繰り返すことにより、三次元座標精度を一層向上できる。その他は第１の実施の形態と同様である。
【００７０】
［第７の実施の形態］
第１の実施の形態では、超解像画像を用いてテンプレートマッチング処理を行う例を説明したが、さらにテンプレートマッチング処理を繰り返しても良い。これにより更に対応特徴点の座標精度を高めることができる。この際に、繰り返し回数と共に基線長を長くし、精度を高めるようにしても良い。また、ステレオ画像選択時にテンプレートマッチングを省略することも可能である。それでも予め撮影画像間で追跡処理がなされているので、十分高い座標精度を得ることができる。その他は第１の実施の形態と同様である。
【００７１】
［第８の実施の形態］
第１の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、第８の実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像等の順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、超解像処理を行い位置座標精度を向上する意義もある。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。
【００７２】
また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは制御部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００７３】
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。
【００７４】
例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングやＬＳＭテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、図８の超解像画像合成（Ｓ１３９）から原画像群選択（Ｓ１３１）に戻る繰り返しループをなくすなど、超解像処理の工程の変更も可能である。また、使用するステレオ画像の数、基線長、特徴点の数等は適宜選択可能である。
【産業上の利用可能性】
【００７５】
本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。
【図面の簡単な説明】
【００７６】
【図１】第１の実施の形態の概念を説明するための図である。
【図２】第１の実施の形態における画像処理装置の構成例を示すブロック図である。
【図３】第１の実施の形態における画像処理方法のフロー例を示す図である。
【図４】ステレオ画像選択の例を示す図である。
【図５】偏位修正処理を説明するための図である。
【図６】特徴点追跡の処理フロー例を示す図である。
【図７】超解像画像の例を示す図である。
【図８】超解像処理工程のフロー例を示す図である。
【図９】部分画像設定の例を説明するための図である。
【図１０】超解像部分画像形成の例を説明するための図である。
【図１１】超解像処理工程のフレーム別フロー例を示す図である。
【図１２】対応特徴点の三次元座標位置とカメラ位置の関係を示す図である。
【図１３】超解像画像のステレオマッチングの概念を示す図である。
【図１４】相互標定を説明するための図である。
【図１５】ステレオ法を説明するための図である。
【符号の説明】
【００７７】
１ 制御部
２ 撮影画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 演算処理部
６ ステレオ画像選択部
７ 標定処理・三次元計測部
８ 超解像処理部
９ 記憶部
９Ａ 対応点情報メモリ
９Ｂ ステレオ画像情報メモリ
１０ 画像メモリ
１１ 表示部
８１ 原画像群選択部
８２ 主特徴点抽出部
８３ 部分画像設定部
８４ 部分画像拡大部
８５ 副特徴点追跡部
８６ 部分画像変形部
８７ 超解像部分画像形成部
８８ 部分画像縮小部
８９ 超解像画像合成部
１００ 画像処理装置
Ａ 対象物
Ｂ 基線長
Ｃ１、Ｃ２ 第１、第２の撮影位置
Ｆ０ 撮影画像
ｆ１〜ｆ５ 部分画像
Ｆｉ、Ｆｊ ｉ、ｊ番目のフレーム
Ｈ 撮影距離
Ｉ 撮影画像
Ｍ 偏位修正画像
Ｐ 計測点
Ｐ１〜Ｐ５ 主特徴点
【特許請求の範囲】
【請求項１】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部と；
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部と；
前記一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、前記原画像群において前記特徴点追跡部で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、前記主特徴点の周囲の小領域に部分画像を設定し、前記部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理部と；
前記超解像処理部にて部分超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択部と；
前記ステレオ画像選択部で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測部とを備え；
前記ステレオ画像選択部は、前記ステレオ画像の基線長が所定の閾値より長くなるように前記ステレオ画像を選択する；
画像処理装置。
【請求項２】
前記超解像処理部は、前記一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部と、前記原画像群において前記特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部と、前記主特徴点抽出部で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部と、前記部分画像設定部で設定された部分画像を拡大する部分画像拡大部と、前記部分画像の前記主特徴点の周囲に複数の副特徴点を抽出し、前記撮影画像群の部分画像間で前記副特徴点を追跡し、前記副特徴点を相互に対応付ける副特徴点追跡部と、前記副特徴点追跡部で対応付けられた副特徴点の位置座標が原画像間で良く一致するように前記部分画像を変形する部分画像変形部と、前記部分画像変形部で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部と、前記超解像部分画像形成部で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部と、前記部分画像縮小部で縮小された部分画像を、前記撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部とを有する；
請求項１に記載の画像処理装置。
【請求項３】
（基線長が十分となるように、処理対象画像のグループを選択する。）
前記ステレオ画像選択部は、前記基線長がほぼ等しくなるように前記部分超解像画像が形成された撮影画像群から複数のステレオ画像を選択する；
請求項２に記載の画像処理装置。
【請求項４】
前記ステレオ画像選択部は、前記超解像処理部で部分超解像画像が形成された撮影画像から前記ステレオ画像を選択し、前記標定処理・三次元計測部は、選択された前記ステレオ画像の部分超解像画像についてマッチング処理を行なう；
請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記超解像処理部は、予め測定された前記対象物の位置座標又は前記対象物を撮影した撮影装置の位置座標を用いて超画像処理を行い、前記標定処理・三次元計測部は前記超画像処理の結果を用いて、標定および三次元計測を行なう；
請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ステレオ画像選択部は、前記ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、前記対応表から要求精度を満たす基線長となるようにステレオ画像を選択する；
請求項５に記載の画像処理装置。
【請求項７】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程と；
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程と；
前記一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、前記原画像群において前記特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、前記主特徴点の周囲の小領域に部分画像を設定し、前記部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理工程と；
前記超解像処理工程にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択工程と；
前記ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測工程とを備え；
前記ステレオ画像選択工程において、前記ステレオ画像の基線長が所定の閾値より長くなるように前記ステレオ画像を選択する；
画像処理方法。
【請求項８】
前記超解像処理工程は、前記一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択工程と、前記原画像群において前記特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出工程と、前記主特徴点抽出工程で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定工程と、前記部分画像設定工程で設定された部分画像を拡大する部分画像拡大工程と、前記部分画像の前記主特徴点の周囲に複数の副特徴点を抽出し、前記撮影画像群の部分画像間で前記副特徴点を追跡し、前記副特徴点を相互に対応付ける副特徴点追跡工程と、前記副特徴点追跡工程で対応付けられた副特徴点の位置座標が原画像間で良く一致するように前記部分画像を変形する部分画像変形工程と、前記部分画像変形工程で変形された複数の部分画像から超解像部分画像を形成する超解像画像形成工程と、前記超解像画像形成工程で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小工程と、前記部分画像縮小工程で縮小された部分画像を、前記撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成工程とを有する；
請求項７に記載の画像処理方法。
【請求項１】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部と；
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部と；
前記一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、前記原画像群において前記特徴点追跡部で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、前記主特徴点の周囲の小領域に部分画像を設定し、前記部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理部と；
前記超解像処理部にて部分超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択部と；
前記ステレオ画像選択部で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測部とを備え；
前記ステレオ画像選択部は、前記ステレオ画像の基線長が所定の閾値より長くなるように前記ステレオ画像を選択する；
画像処理装置。
【請求項２】
前記超解像処理部は、前記一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択部と、前記原画像群において前記特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出部と、前記主特徴点抽出部で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定部と、前記部分画像設定部で設定された部分画像を拡大する部分画像拡大部と、前記部分画像の前記主特徴点の周囲に複数の副特徴点を抽出し、前記撮影画像群の部分画像間で前記副特徴点を追跡し、前記副特徴点を相互に対応付ける副特徴点追跡部と、前記副特徴点追跡部で対応付けられた副特徴点の位置座標が原画像間で良く一致するように前記部分画像を変形する部分画像変形部と、前記部分画像変形部で変形された複数の部分画像から超解像部分画像を形成する超解像部分画像形成部と、前記超解像部分画像形成部で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小部と、前記部分画像縮小部で縮小された部分画像を、前記撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成部とを有する；
請求項１に記載の画像処理装置。
【請求項３】
（基線長が十分となるように、処理対象画像のグループを選択する。）
前記ステレオ画像選択部は、前記基線長がほぼ等しくなるように前記部分超解像画像が形成された撮影画像群から複数のステレオ画像を選択する；
請求項２に記載の画像処理装置。
【請求項４】
前記ステレオ画像選択部は、前記超解像処理部で部分超解像画像が形成された撮影画像から前記ステレオ画像を選択し、前記標定処理・三次元計測部は、選択された前記ステレオ画像の部分超解像画像についてマッチング処理を行なう；
請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記超解像処理部は、予め測定された前記対象物の位置座標又は前記対象物を撮影した撮影装置の位置座標を用いて超画像処理を行い、前記標定処理・三次元計測部は前記超画像処理の結果を用いて、標定および三次元計測を行なう；
請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ステレオ画像選択部は、前記ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、前記対応表から要求精度を満たす基線長となるようにステレオ画像を選択する；
請求項５に記載の画像処理装置。
【請求項７】
相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程と；
前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程と；
前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程と；
前記一連の撮影画像から、超解像処理を行なうための画像群である原画像群を選択し、前記原画像群において前記特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出して、前記主特徴点の周囲の小領域に部分画像を設定し、前記部分画像に超解像処理を行ない部分的超解像画像を形成する超解像処理工程と；
前記超解像処理工程にて部分的超解像画像が形成された撮影画像群から対をなす画像であるステレオ画像を選択するステレオ画像選択工程と；
前記ステレオ画像選択工程で選択されたステレオ画像の前記相互に対応付けられた特徴点を用いて、標定および三次元計測を行ない、前記対象物の位置、前記対象物の形状又は前記対象物を撮影した撮影装置の位置を求める標定処理・三次元計測工程とを備え；
前記ステレオ画像選択工程において、前記ステレオ画像の基線長が所定の閾値より長くなるように前記ステレオ画像を選択する；
画像処理方法。
【請求項８】
前記超解像処理工程は、前記一連の撮影画像から超解像処理するための画像群である原画像群を選択する原画像群選択工程と、前記原画像群において前記特徴点追跡工程で相互に対応付けられた特徴点から超解像処理を行なうための特徴点としての主特徴点を抽出する主特徴点抽出工程と、前記主特徴点抽出工程で抽出された主特徴点の周囲の小領域に部分画像を設定する部分画像設定工程と、前記部分画像設定工程で設定された部分画像を拡大する部分画像拡大工程と、前記部分画像の前記主特徴点の周囲に複数の副特徴点を抽出し、前記撮影画像群の部分画像間で前記副特徴点を追跡し、前記副特徴点を相互に対応付ける副特徴点追跡工程と、前記副特徴点追跡工程で対応付けられた副特徴点の位置座標が原画像間で良く一致するように前記部分画像を変形する部分画像変形工程と、前記部分画像変形工程で変形された複数の部分画像から超解像部分画像を形成する超解像画像形成工程と、前記超解像画像形成工程で形成された超解像部分画像を元の部分画像の寸法に縮小する部分画像縮小工程と、前記部分画像縮小工程で縮小された部分画像を、前記撮影画像中の元あった部分画像の位置にはめ込み、部分的超解像画像を合成する超解像画像合成工程とを有する；
請求項７に記載の画像処理方法。
【図１】
【図２】
【図３】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図４】
【図５】
【図７】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図４】
【図５】
【図７】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００７−３２２４０４（Ｐ２００７−３２２４０４Ａ）
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願番号】特願２００６−１５６７０４（Ｐ２００６−１５６７０４）
【出願日】平成１８年６月５日（２００６．６．５）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願日】平成１８年６月５日（２００６．６．５）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]