対応を判別する、好ましくはシーンの三次元再構成をする方法および装置
【課題】画像データによる三次元シーンを再構成する方法は、一般に様々な方向および距離から記録されるシーンの多数の画像の空間対応の判別に基づく。本発明が取り組む問題は、計算量を低めながら、対応問題の解決に高い信頼性を与える方法、および装置を提供することである。
【解決手段】対応の判別に関連する画像領域を画像シーケンス内で判別し、画像範囲は関連画像領域から形成され、パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、画素位置ｕ、画素位置ｖ、画像値ｇおよび時間ｔによって定義される空間Ｒ（ｕｖｇｔ）内の画像範囲のそれぞれにマッチングさせ、パラメータ化関数のパラメータを使用して、多数の画像シーケンスの画像範囲の類似度をとる。
【解決手段】対応の判別に関連する画像領域を画像シーケンス内で判別し、画像範囲は関連画像領域から形成され、パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、画素位置ｕ、画素位置ｖ、画像値ｇおよび時間ｔによって定義される空間Ｒ（ｕｖｇｔ）内の画像範囲のそれぞれにマッチングさせ、パラメータ化関数のパラメータを使用して、多数の画像シーケンスの画像範囲の類似度をとる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多様な観測地点から記録されるシーンの多数の画像シーケンス内の画像範囲間の空間対応を判別する、好ましくはこのシーンの三次元再構成をする方法、および三次元シーンの再構成をする装置に関する。
【背景技術】
【０００２】
画像データによる三次元シーンを再構成する受動的方法は、一般に様々な方向および距離から記録されるシーンの多数の画像間の空間対応の判別に基づく。この対応の判別は、画像内の画素位置または画素範囲を再構成するシーン中の点または対象物または対象区画で識別することに相当する。対応を判別した後、通常シーンの三次元構造を周知の方法によって点群の形で判別するが、点群の各点または各点密度は相互に割り当てられ、かつ対応するそれぞれ画素位置または画素範囲に対応している。
【０００３】
これら空間対応を判別する手順は文献で正確には対応問題といわれており、この問題を解決する様々なアプローチが提案されている。
空間対応を判別するのによく用いられる方法が局所平面上の画像内容の相関であり、空間窓の内容を、例えば、相互相関係数、二乗誤差和、または差分絶対値和などの類似度の尺度として適した誤差尺度を適用することによって相互に比較する。この方法は、特に校正済みのステレオ画像の対、すなわち、共通のエピポーラ（epipolar）線上にある画素しか対応関係をもたない画像の対には一時的に効果的である。
【０００４】
下記非特許文献１では、相関解析に空間窓の内容だけを使用するのではなく、相関窓を時間の次元にまで広げることが提案されている。対応をとるための類似度として、時空間相関窓の二乗誤差和を使用する。
対応問題を解くための別のアプローチが、下記非特許文献２に記述されている。このアプローチでは、まず、画像の中の関連画像領域を判別する。画像内の二次元物体を関連画像領域から見出し、関連する物体の輪郭線を描く。次に、エピポーラ線との交点にある物体の輪郭線の輪郭特徴を比較することによって対応を判別する。
【非特許文献１】J. Davis, D. Nehab, R.Ramamoorthi, S. Rusinkiewiczの発表論文「Spacetime Stereo: A unifying framework for Depth from Triangulation（時空間ステレオ：三角測量からの奥行き計算のための統一フレームワーク）」IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 27, No. 2, 2005,
【非特許文献２】C.Woehler, L. Kruegerの発表論文「A Contour based Stereo Vision Algorithm for Video Surveillance Applications（ビデオ監視向け輪郭に基づくステレオ視アルゴリズム）」SPIE Visual Communication and Image Processing, Lugano, 2003
【非特許文献３】Image and Vision Computing, Vo. l19, No. 9-10, pp.593‐618, 2001に掲載されたC. Woehler, J.K. Anlaufの論文「Real‐Time Object Recognition on Image Sequences with the Adaptable Time Delay Neural Network Algorithm‐Applications for Autonomous Vehicles（適応型時間遅延ニューラルネットワークアルゴリズムによる画像シーケンスの物体のリアルタイム認識―自律走行車両向け）」
【非特許文献４】W.H.Press, S.A. Teukolsky, W.T. Vetterling,B.P. Flannery著「Numerical Recipes（数値計算のレシピ）」, Cambridge University Press, Cambridge, UK,1992
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が取り組む問題は、対応問題の解決にあたり計算量を低くしながらも高い信頼性をもつ方法、および対応する装置を提供することである。
【課題を解決するための手段】
【０００６】
問題の解決策は請求項１に記載される方法、および請求項１６に記載される装置によって与えられる。また、有利な実施形態を従属請求項によって記述する。
本発明により、シーンの多数の画像シーケンス内の画像範囲間の空間対応を判別する方法を提案する。
空間対応とは、多数の画像シーケンスからの画像範囲の割り当てであり、第１画像シーケンスからの画像範囲を第２画像シーケンスからの画像範囲に割り当て、適切なら、さらに別の画像シーケンスからのさらに別の画像範囲にも割り当てる。この場合の画像範囲という用語は、画像シーケンス内の拡張領域、すなわち、複数の画素および／または１つの画素を含む。
【０００７】
本発明の方法を実施するために画像シーケンスが記録されるが、１つの画像シーケンスはシーンの個々の画像の連続からなり、個々の画像は１つの観測地点から記録され、好ましくは等間隔の時間間隔をもつ。様々な観測地点、好ましくは様々な観測方向および／または観測距離から、および／または各種光学撮像装置を使用して、画像シーケンスが記録される。好ましくは、各多数の画像シーケンス内の画像それぞれが同じ瞬間に記録される。
【０００８】
関連画像領域、すなわち対応を判別するのに適した画像領域は、画像シーケンス内で判別される。これら画像領域から１つ以上の画像範囲が形成され、画像範囲は画像領域と同一であってもよく、および／または画像領域の一部分であってもよく、および／または画像領域と一部重なる部分として構成されてもよい。
各パラメータ化関数（parameterized function）ｈ（ｕ，ｖ，ｔ）は、画素位置ｕ、画素位置ｖ、画像値ｇおよび時間ｔによって定義される空間の画像範囲にマッチングし、すなわち変数として画素位置ｕ、画素位置ｖと変数として時間ｔをもち、任意の数のパラメータをもつ関数である。空間Ｒ（ｕｖｇｔ）および関数ｈ（ｕ，ｖ，ｔ）の項はここでは、同じ技術内容を反映するすべての数学的表現を表す。具体的には、これらの項は数学的に等価な表現をカバーする。例えば、カラー画像を処理する場合、画像値ｇは、ＲＧＢカラーモデルの場合、空間Ｒが空間Ｒ（ｕｖｒｇｂｔ）として定義されるように修正または適応させなければならない。
【０００９】
本発明により、パラメータ化関数のパラメータを、多数の画像シーケンスの画像範囲間の類似度とするために使用する。パラメータとは、具体的には、関数ｈ（ｕ，ｖ，ｔ）の選ばれた数学的表現で使用される関数パラメータ、および／またはそれから導かれるパラメータとして理解されるべきである。好ましくは、第１画像シーケンスの画像範囲のパラメータを、第２画像シーケンスの画像範囲のパラメータに関係付け、適切なら、さらに別の画像シーケンスの画像範囲のパラメータにも関係付ける。そのため、具体的には、パラメータ同士が比較される。
【００１０】
本発明は、小さい画像領域の似た箇所を探すことに基づく対応付けアプローチが多数の誤対応を生じがちであり、それによって間違った空間位置をもつ３Ｄ点になるという問題が動機となっている。このような誤対応は、特にシーン中の動物体の場合、続いて起こる動きの解析、物体の分割または３Ｄ点群の分類がきわめて難しくなるか、または不可能になるため、大きな障害となる。一方、新規な方法の場合、関連画像範囲の空間位置とは別に、対応をとるのに時間の経過に伴う動きも利用する。このように、物体の似た動きをする部分だけを互いに対応として割り当てることが可能であり、そのため誤対応の数が大幅に減少する。
【００１１】
本発明の方法の好適な実施形態では、関連画像領域は対応をとるのに十分な画像値の変動量をもつことを提供する。具体的には、画像値は画素の濃淡値として構成できる。これにより、画像値分布が一様な画像領域は、対応をとるのに使用されない。
関連画像領域はインタレストオペレータによって判別されるのが好ましい。このためのデジタル画像処理による複数の方法が知られている。インタレストオペレータとして、エッジフィルタおよび／または局所統計による濃淡値解析を使用するのが好ましい。
【００１２】
好適な実施形態では、関連画像領域を判別するために時空間特徴を適用する。時空間特徴の生成は、例としてあげると、上記非特許文献３に記述されている。ここで、画像シーケンス内の物体を分類するのに最適な時空間特徴は、ニューラルネットワークの時空間受容野の重みの訓練法によって生成される。時空間特徴は陽関数で規定することもできる。それによって、例えば、右上から左下まで動くコーナーの位置が示される画像範囲でのみ対応解析を行うことが可能である。
【００１３】
本発明の方法の好適な実施形態では、画像範囲は画像領域から対象画素の形で抽出する。このような抽出は、例えば、非最大抑制および／またはスケルトン処理または同様な処理を関連画像領域に適用することによって行う。
前記方法は、関連画像領域内の１つ以上のエッジまたは中央線を勾配の変化に基づいて判別する。エッジまたは中央線の個々の画素を対象画素として使用する。
【００１４】
同じエピポーラに割り当てられる多数の画像シーケンスの画像範囲間でのみ類似度をとると、方法の特に有利な実施形態になる。これは、画像をエピポーラ幾何のフレームワーク内で記述できるカメラシステムがよく利用されていることを活用している。具体的には、この場合、対応問題は、１つの同じエピポーラの画像範囲のみを互いに割り当てればすむ。対象画素を画像範囲として使用する好適な事例では、同じエピポーラ上にある対象画素についてのみ類似度をとればよい。
【００１５】
パラメータ化関数ｈ（ｕ，ｖ，ｔ）と各対象画素およびその局所環境とのマッチングは、パラメータ化関数がその環境を考慮しながら各対象画素に合わせて適応されるように、空間Ｒ（ｕｖｇｔ）で有利に行われる。局所環境は、画素がそれぞれの対象画素に直接隣り合う画素範囲をカバーするのが好ましい。この画素範囲は正方形であることが好ましく、特に境界のエッジで奇数の画素をもつ。代わりにまたは追加で、局所環境は空間Ｒ（ｕｖｇｔ）の時間環境をカバーし、これは画像シーケンスのうち適切に選択した数の画像にまで及ぶ。この場合、画像の数は、例えば、検出される物体の種類と速度に依存する。
【００１６】
単純な実施形態では、パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、空間Ｒ（ｕｖｇｔ）の超平面、すなわち（ｎ−１）次元の平面、空間Ｒ（ｕｖｇｔ）の部分空間として設計される。方法のこの設計はパラメータ化関数を適応するときの計算量が少なくてすみ、それによって方法の全体的な計算量を最小化する。
例として、画像範囲から判別される超平面の法線ベクトル間の角度を、この実施形態の類似度として使用する。この差角は、様々な画像シーケンスの画像範囲内の画像値および／または濃淡値における類似の変化量の尺度である。代わりに、または追加で、多数の画像シーケンスからの画像範囲の超平面の強度（ｇ）の次元における軸部パラメータの差を、類似度に使用する。この差は、それぞれの画像範囲における絶対平均画像値および／または濃淡値の尺度である。このように、関数ｈのパラメータを、例えば光束の判別に使用できる。
【００１７】
本発明の方法の有利な形態では、パラメータ化関数ｈ（ｕ，ｖ，ｔ）を、超平面より高次の関数および／または任意関数として設計し、具体的にはパラメータ化関数は空間Ｒ（ｕｖｇｔ）内の任意形状の面をなす。このような複素関数は確かにマッチングのための計算量を増大させるが、同時に画像範囲をより信頼性を高めて割り当てることができるようにマッチングの精度を向上させる。
【００１８】
類似度として、画像範囲から判別される面同士の差分量、および／または面の規定面積で囲まれた、観測する画素の局所環境のＲ（ｕｖｇｔ）空間量を利用するのが好ましい。
あるいは、類似度として、画像範囲から判別されるパラメータ化関数のパラメータの直接的な比較を使用することもできる。このためにパラメータ空間内の距離を使用することが好ましい。この場合のパラメータ空間はｎ次元の空間であり、ｎはパラメータ化関数ｈ（ｕ，ｖ，ｔ）の独立パラメータの数を表す。ユークリッドパラメータ空間を使用するのが好ましい。
【００１９】
計算量を最小化するために、関連画像領域を確定するための、具体的には画像シーケンスの画像とそのシーンの前に記録された参照画像の画像との、差分画像をとることを提供できる。こうして、現在の画像の代わりに、使用するのは、現在の画像とシーンの参照画像との差分絶対値となる。具体的には、画像シーケンスを固定カメラ、すなわち長時間動かないカメラによって記録する場合、この方法の変型が使用される。考えられるインタレストオペレータの基準は、この場合一定の閾値によって２値化した差分画像における０から１への上昇または１から０への下降である。このように、誤対応の数を大幅に減じることができる。計算量を軽減するために画像ピラミッドまたは時間ピラミッドを使用することも可能であり、現在の画像の代わりに、まず、例えば速い動きを検出できるようにするために、低解像度の画像から成る画像ピラミッドまたは時間ピラミッドを使用することも可能である。
【００２０】
請求項１６の発明による装置は、三次元シーンの再構成に適する、および／または再構成のために設計されている。これはカメラシステムと、前記カメラシステムに接続されている少なくとも１つの評価ユニットとを備える。本発明により、第１評価ユニットはプログラミングにより、および／または前述の方法を実施する回路により設計されることを提供する。
【００２１】
好ましくは、カメラシステムは、２台のカメラを備えるステレオカメラシステムとして実現されることを提供する。具体的には、２台のカメラを平行な観測方向に配置する、および／または同一の設計とする。この実施形態はエピポーラ線を非常に簡単に判別することが可能である。
あるいは、カメラシステムを校正済みマルチカメラシステムとして、すなわち２台以上のカメラをもつように設計する。具体的には、カメラは重複観測エリアをもつ。カメラシステムを校正するのが好ましいが、あるいは自動校正を設けることも可能である。
【００２２】
装置の改良形態では、第２評価ユニットを設け、これが別のアルゴリズムに基づいて、具体的には相関解析に基づいて、三次元シーンの再構成のための対応の判別を行う。第２評価ユニットに任意でさらなるカメラシステムを設ける。この実施形態は、安全関連の応用の場合には確実に検出の信頼性を高めるために、相互に独立した２つの装置・アセンブリで同じシーンを観測し、それを再構成するという考えに基づく。
【００２３】
本発明に基づくさらに他の詳細、特徴、特徴の組合せ、利点、および効果は、本発明の好適な例示的実施形態の以下の説明と、図面から明らかになる。
【発明を実施するための最良の形態】
【００２４】
図１は発明による方法の例示的な実施形態のフローチャートを示している。ステップ１で、画像シーケンスが少なくとも２台のカメラで記録され、画像シーケンスは時間的に等間隔な個々の画像からなる。画像が等間隔の瞬間に各カメラで同時に記録されるように、カメラは互いに同期させている。ｂが少なくとも２台のカメラの数を表す場合、各時間的に等間隔の瞬間に、このように個々の画像のｂ個組が生成される。
【００２５】
ステップ２で、画像シーケンスの個々の画像の画像値から、具体的には濃淡値から、それぞれ参照画像を減算することによって、差分画像を生成する。
前記少なくとも２台のカメラがエピポーラ（epipolar）条件を満たすように互いに配置されていない場合、ステップ３でｂ個組の個々の画像を互いに関係付けて調整する。これは周知の方法で、回転行列および平行移動行列を適用して行う。ステップ３の後、ｂ個組の個々の画像を、対応する画像範囲が共通のエピポーラ線に割り当てられるように修正する。このステップ３はステップ２の前、または後で行うこともできる。
【００２６】
ステップ４で、インタレストオペレータによって関連画像領域を判別する。このために、差分画像を２値化し、定義した閾値を下回る画像値をもつ画像領域の画素に値０を与え、閾値を上回る画像領域に値１を与える。画素値１の画像領域を、以下、関連画像領域と呼ぶ。
ステップ５で、差分画像（２値化画像ではなく）の関連画像領域に、勾配が特に強い環境をもつ画素を抽出する画像処理方法を適用する。このような画素は空間対応を判別するのに特に適する。例えば、関連画像領域にスケルトン処理を適用し、関連画像領域にスケルトン状の中央線を生成する。抽出される画素、すなわちこの例では中央線の画素を、以下、対象画素と呼ぶ。
【００２７】
ステップ６で、好ましくはオリジナル画像および／または差分画像に基づいて、パラメータ化関数ｈ（ｕ，ｖ，ｔ）を各個々の対象画素およびその局所環境に適応させる。対象画素はこの場合、画素位置ｕ、画素位置ｖ、画像値または濃淡値ｇ、および時間ｔで定義する四次元空間Ｒ（ｕｖｇｔ）で表される。パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、もっとも単純な場合では超平面として設計される。このパラメータ化関数ｈ（ｕ，ｖ，ｔ）は、画像値または濃淡値分布に関する情報と、その時間的挙動を使用することによって、対象画素およびその環境にマッチングする。対象画素の局所環境は、画素位置ｕ、画素位置ｖを参照した環境と、時間ｔを参照した環境とをカバーする。
【００２８】
記録される個々の画像の局所的な画素環境および／または時間的環境は、特定用途に向けて選択するのが好ましい。しかし、画素環境および／または時間的環境を物体のサイズによって特定の物体向けに選択することも可能である。固定カメラシステムの場合、対象画素の抽出は、シーンの現在の画像と参照画像から差をとることによって計算する差分画像で行われるのが好ましい。一般性を制限することなく、カメラシステムは、エピポーラ線が画像の線に対応するような平行な光学軸をもつ同一の２台のカメラからなると仮定してもよい。
【００２９】
実務上、画像の物体の境界には、参照画像と比較するとシーンに入ってきた、またはシーンから出ていった対象画素が多数ある。理想としては、このような物体の境界を画素強度のはっきりした不連続性によって記述することが可能である。しかし、実際の画像では、このような強度の不連続性は光学システムの点像必要分布関数によって「滑らか」にされるため、あまり観測されない。このため、物体の境界の強度変化を、例えば双曲線正接など、シグモイド（sigmoid）関数で記述するのが有利である。しかし、シグモイドの強度変化は画素強度のさらなる変動が重なると想定されるはずなので、対象画素の時空間環境の強度分布は、次の混合多項式シグモイド式としてモデル化するのが好ましい。
【００３０】
【数１】
【００３１】
この式において項ｐ１（ｖ，ｔ）、ｐ２（ｖ，ｔ）およびｐ３（ｖ，ｔ）はｖとｔの多項式を記述し、ｐ４（ｕ，ｖ，ｔ）はｕ、ｖおよびｔの多項式である。ある時間ステップｔの場合、開口問題（aperture problem）のために水平方向のエッジプロファイルに基づく視差を判別できないため、方程式（１）は本質的に垂直に変化する物体の境界をモデル化している。多項式ｐ１（ｖ，ｔ）は振幅を記述し、ｐ２（ｖ，ｔ）はシグモイド関数の傾きを記述し、どちらも画像の線ｖに依存するが、ｐ３（ｖ，ｔ）はモデル化されている物体の境界の線依存位置を再現する。ｐ２（ｖ，ｔ）の値は、光学システムがエッジをどの程度強調して撮像するかに実質的に依存し、大きい値がくっきりしたエッジを記述し、小さい値がぼけたエッジを記述する。多項式ｐ４（ｕ，ｖ，ｔ）は物体内部および外部の局部的な強度の変動をモデル化する空間可変なオフセット項であり、そのため、例えば、乱れた背景を考慮できる。記述される特性はすべて時空間ステレオ法において時間的に可変であるとみなされ、これは多項式の直接時間依存性に反映される。関数ｈ（ｕ，ｖ，ｔ）の画素強度ｇ（ｕ，ｖ，ｔ）へのフィット残差が規定の閾値より大きい対象画素が拒絶される。
【００３２】
その一般形において、方程式（１）は非線形最適化法により各対象画素の関数ｈ（ｕ，ｖ，ｔ）のパラメータの判別を導く。このような最適化法はしばしば事前に解を知っておく必要がある。大域的最適解が実際に見つかるとは限らず、一般に長い計算時間を要するためである。特に、最後に挙げた問題点は、リアルタイム可能なシステムで非線形最適化に基づく方法を使用するのを難しくし、または不可能にする。
【００３３】
このため、各対象画素の関数ｈ（ｕ，ｖ，ｔ）のパラメータを判別するために、物理的手法を用いて簡略化した仮定に基づき、線形最適化によって関数のパラメータの判別を導く特別な計算パスを利用すると、特に有利である。このような最適化の問題を以下詳細に記述するが、文献から知られている方法を使用することによって（例えば、上記非特許文献４）計算式で非常に効率的に解くことができる。
【００３４】
有利な方法は以下の仮定に基づく。
１．オフセットｐ４（ｕ，ｖ，ｔ）は空間的に一定であり、空間画像座標ｕおよびｖで平均化した、対象画素の局所環境の画素強度
【００３５】
【数２】
【００３６】
に対応する。
２．シグモイドの振幅ｐ１（ｖ，ｔ）は空間的に一定であり、対象画素の空間局所環境の画素強度の標準偏差σ１（ｔ）に比例し、ｐ１（ｖ，ｔ）＝ｋσ１（ｔ）で表され、ｋはユーザが規定する定数を表す。ｋの値は０．８から３の間にあるのが好ましい。ここで、空間平均値および標準偏差の代わりに、時空間の平均値および標準偏差を使用することも可能である。
【００３７】
以上の仮定を使用すると、方程式（１）は次のように書き換えることができる。
【００３８】
【数３】
【００３９】
方程式（２）の左側はｖとｔの多項式であり、このパラメータは線形方程式系を解くことによって変換画像データ
【００４０】
【数４】
【００４１】
から求めることができ、線形方程式を解くのに効率的な方法を利用できる。
ここでは例としてガウス消去法を挙げてもよい。Θがユーザが規定するシステムパラメータである場合、
【００４２】
【数５】
【００４３】
で表される画素は、最適化手順には含まれていない。なぜなら変換画素値
【００４４】
【数６】
【００４５】
はシグモイド関数の逆関数を返しても求めることはできない、または逆正接関数の勾配が大きいためにかなり不正確にしか求めることができないためである。Θの値は好ましくは０．７５より大きく、かつ必ず１未満でなければならない。発明による方法で基本原理として記述される式において、方程式（２）の左側の多項式のパラメータは、ステレオ画像の対および／またはステレオ画像シーケンスの対の対応の判別を可能にする。
【００４６】
仮定をさらに単純にすると、方法の別の有利な改良形態が得られる。
３．シグモイドの傾きｐ２（ｖ，ｔ）は一定であり、ｐ２（ｖ，ｔ）＝ａで表される。
４．物体の境界は、一定速度ｃで動く勾配ｂの直線の一部分で表すことができる。これは以下の方程式に対応する。
【００４７】
【数７】
【００４８】
以上の仮定から、４つのモデルパラメータａ、ｂ、ｃおよびｄの線形式が直接導かれる。
【００４９】
【数８】
【００５０】
このモデルでは、エッジの動きの挙動は、速度パラメータｃで記述される。発明による方法において、モデルパラメータａ、ｂ、ｃおよびｄから、ステレオ画像の対および／またはステレオ画像シーケンスの対の対応を判別できる。
方程式（１）は適合するモデルパラメータから、直接エッジ位置ｕｅの副画素を正確に判別できる。この値は視差の計算にとって非常に重要であり、これは対応の判別後にする。ここでは、ｕｅの値を水平方向の強度プロファイルの最大勾配の位置、すなわちシグモイド関数のゼロ点に対応するものとして定義するのが妥当である。この条件から以下の方程式を導く。
【００５１】
【数９】
【００５２】
ｕｃ、ｖｃおよびｔｃは、観測する対象画素の局所環境の中央に関係する。ｖｃの値はさらに関連対象画素があるエピポーラ線を表す。
ステップ７で、ｂ個組の様々な個々の画像に割り当てられ、共通のエピポーラ線上にある対象画素のパラメータ化関数ｈ（ｕ，ｖ，ｔ）のパラメータを相互比較する。例えば、類似度としてパラメータの最小差を使って比較を行う。
【００５３】
ステップ８で、類似度が最も高いｂ個組の様々な個々の画像の対象画素が互いに対応すると判別する。その後、これら対応する対象画素に基づいて、周知の方法で観測するシーンの三次元の再構成を行う。
請求項の用語には含まれていないが、非常に単純化した方法の実施形態では、画像シーケンスの代わりに、個々の画像、具体的には個々の画像の対または組だけを利用し、その場合空間Ｒ（ｕ，ｖ，ｇ）に適応される関数ｌ（ｕ，ｖ）のパラメータを比較することによって対応をとる。この単純化した実施形態は差分画像アプローチと組み合わせることもできる。一方、本発明の場合、パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、少なくとも画像シーケンスの２つの連続する個々の画像の期間にわたって適応される。
【００５４】
図２は三次元シーンを再構成する装置を示す。物体９は、固定カメラ１０ａ、１０ｂおよび任意の１０ｃからなるカメラシステムによって光学的に取得する。物体９は、例えば、ロボット保護エリア監視装置として三次元シーン再構成装置を装備する処理セル内の未知の物体であってもよい。カメラは画像を濃淡値形式で記録できるデジタルカメラ、具体的にはＣＣＤカメラとして設計される。他の応用の場合、カラーカメラまたは熱画像カメラまたはＵＶカメラを使用することも可能である。カメラ１０ａ、１０ｂ、１０ｃは互いに同期させて、３つの個々の画像をもつ３個組を同時に記録できるようにする。
【００５５】
カメラ信号をケーブル１１を介して第１評価ユニット１２に渡す。図１に関連して説明する空間対応を判別する方法は、この評価ユニット１２で行う。例として、このために適切なプログラムを算術論理演算器に格納する。カメラ１０ａ、１０ｂ、１０ｃの画像シーケンスの画像範囲で判別された対応を計算ユニット１３に渡し、ここで取得した物体９を三次元で再構成する。
【００５６】
図２の点線で示すように、第２評価ユニット１４が任意で備えられ、これは同様に画像シーケンスの画像範囲間の対応を判別するが、別の設計のアルゴリズムに基づいている。評価ユニット１４は、例えば相関解析によって動作する。このように判別した対応を第２計算ユニット１５に渡して、ここで同様に取得した物体９を三次元で再構成する。第１計算ユニット１３と第２計算ユニット１５の結果は、再構成の精度をより高めるために相互に比較することができ、または安全関連の応用の場合には安全性を高めるために互いに独立して評価できる。
【図面の簡単な説明】
【００５７】
【図１】本発明による方法の例示的な実施形態のフローチャートを示している。
【図２】本発明による装置の例示的な実施形態をブロック図で示している。
【技術分野】
【０００１】
本発明は、多様な観測地点から記録されるシーンの多数の画像シーケンス内の画像範囲間の空間対応を判別する、好ましくはこのシーンの三次元再構成をする方法、および三次元シーンの再構成をする装置に関する。
【背景技術】
【０００２】
画像データによる三次元シーンを再構成する受動的方法は、一般に様々な方向および距離から記録されるシーンの多数の画像間の空間対応の判別に基づく。この対応の判別は、画像内の画素位置または画素範囲を再構成するシーン中の点または対象物または対象区画で識別することに相当する。対応を判別した後、通常シーンの三次元構造を周知の方法によって点群の形で判別するが、点群の各点または各点密度は相互に割り当てられ、かつ対応するそれぞれ画素位置または画素範囲に対応している。
【０００３】
これら空間対応を判別する手順は文献で正確には対応問題といわれており、この問題を解決する様々なアプローチが提案されている。
空間対応を判別するのによく用いられる方法が局所平面上の画像内容の相関であり、空間窓の内容を、例えば、相互相関係数、二乗誤差和、または差分絶対値和などの類似度の尺度として適した誤差尺度を適用することによって相互に比較する。この方法は、特に校正済みのステレオ画像の対、すなわち、共通のエピポーラ（epipolar）線上にある画素しか対応関係をもたない画像の対には一時的に効果的である。
【０００４】
下記非特許文献１では、相関解析に空間窓の内容だけを使用するのではなく、相関窓を時間の次元にまで広げることが提案されている。対応をとるための類似度として、時空間相関窓の二乗誤差和を使用する。
対応問題を解くための別のアプローチが、下記非特許文献２に記述されている。このアプローチでは、まず、画像の中の関連画像領域を判別する。画像内の二次元物体を関連画像領域から見出し、関連する物体の輪郭線を描く。次に、エピポーラ線との交点にある物体の輪郭線の輪郭特徴を比較することによって対応を判別する。
【非特許文献１】J. Davis, D. Nehab, R.Ramamoorthi, S. Rusinkiewiczの発表論文「Spacetime Stereo: A unifying framework for Depth from Triangulation（時空間ステレオ：三角測量からの奥行き計算のための統一フレームワーク）」IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 27, No. 2, 2005,
【非特許文献２】C.Woehler, L. Kruegerの発表論文「A Contour based Stereo Vision Algorithm for Video Surveillance Applications（ビデオ監視向け輪郭に基づくステレオ視アルゴリズム）」SPIE Visual Communication and Image Processing, Lugano, 2003
【非特許文献３】Image and Vision Computing, Vo. l19, No. 9-10, pp.593‐618, 2001に掲載されたC. Woehler, J.K. Anlaufの論文「Real‐Time Object Recognition on Image Sequences with the Adaptable Time Delay Neural Network Algorithm‐Applications for Autonomous Vehicles（適応型時間遅延ニューラルネットワークアルゴリズムによる画像シーケンスの物体のリアルタイム認識―自律走行車両向け）」
【非特許文献４】W.H.Press, S.A. Teukolsky, W.T. Vetterling,B.P. Flannery著「Numerical Recipes（数値計算のレシピ）」, Cambridge University Press, Cambridge, UK,1992
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が取り組む問題は、対応問題の解決にあたり計算量を低くしながらも高い信頼性をもつ方法、および対応する装置を提供することである。
【課題を解決するための手段】
【０００６】
問題の解決策は請求項１に記載される方法、および請求項１６に記載される装置によって与えられる。また、有利な実施形態を従属請求項によって記述する。
本発明により、シーンの多数の画像シーケンス内の画像範囲間の空間対応を判別する方法を提案する。
空間対応とは、多数の画像シーケンスからの画像範囲の割り当てであり、第１画像シーケンスからの画像範囲を第２画像シーケンスからの画像範囲に割り当て、適切なら、さらに別の画像シーケンスからのさらに別の画像範囲にも割り当てる。この場合の画像範囲という用語は、画像シーケンス内の拡張領域、すなわち、複数の画素および／または１つの画素を含む。
【０００７】
本発明の方法を実施するために画像シーケンスが記録されるが、１つの画像シーケンスはシーンの個々の画像の連続からなり、個々の画像は１つの観測地点から記録され、好ましくは等間隔の時間間隔をもつ。様々な観測地点、好ましくは様々な観測方向および／または観測距離から、および／または各種光学撮像装置を使用して、画像シーケンスが記録される。好ましくは、各多数の画像シーケンス内の画像それぞれが同じ瞬間に記録される。
【０００８】
関連画像領域、すなわち対応を判別するのに適した画像領域は、画像シーケンス内で判別される。これら画像領域から１つ以上の画像範囲が形成され、画像範囲は画像領域と同一であってもよく、および／または画像領域の一部分であってもよく、および／または画像領域と一部重なる部分として構成されてもよい。
各パラメータ化関数（parameterized function）ｈ（ｕ，ｖ，ｔ）は、画素位置ｕ、画素位置ｖ、画像値ｇおよび時間ｔによって定義される空間の画像範囲にマッチングし、すなわち変数として画素位置ｕ、画素位置ｖと変数として時間ｔをもち、任意の数のパラメータをもつ関数である。空間Ｒ（ｕｖｇｔ）および関数ｈ（ｕ，ｖ，ｔ）の項はここでは、同じ技術内容を反映するすべての数学的表現を表す。具体的には、これらの項は数学的に等価な表現をカバーする。例えば、カラー画像を処理する場合、画像値ｇは、ＲＧＢカラーモデルの場合、空間Ｒが空間Ｒ（ｕｖｒｇｂｔ）として定義されるように修正または適応させなければならない。
【０００９】
本発明により、パラメータ化関数のパラメータを、多数の画像シーケンスの画像範囲間の類似度とするために使用する。パラメータとは、具体的には、関数ｈ（ｕ，ｖ，ｔ）の選ばれた数学的表現で使用される関数パラメータ、および／またはそれから導かれるパラメータとして理解されるべきである。好ましくは、第１画像シーケンスの画像範囲のパラメータを、第２画像シーケンスの画像範囲のパラメータに関係付け、適切なら、さらに別の画像シーケンスの画像範囲のパラメータにも関係付ける。そのため、具体的には、パラメータ同士が比較される。
【００１０】
本発明は、小さい画像領域の似た箇所を探すことに基づく対応付けアプローチが多数の誤対応を生じがちであり、それによって間違った空間位置をもつ３Ｄ点になるという問題が動機となっている。このような誤対応は、特にシーン中の動物体の場合、続いて起こる動きの解析、物体の分割または３Ｄ点群の分類がきわめて難しくなるか、または不可能になるため、大きな障害となる。一方、新規な方法の場合、関連画像範囲の空間位置とは別に、対応をとるのに時間の経過に伴う動きも利用する。このように、物体の似た動きをする部分だけを互いに対応として割り当てることが可能であり、そのため誤対応の数が大幅に減少する。
【００１１】
本発明の方法の好適な実施形態では、関連画像領域は対応をとるのに十分な画像値の変動量をもつことを提供する。具体的には、画像値は画素の濃淡値として構成できる。これにより、画像値分布が一様な画像領域は、対応をとるのに使用されない。
関連画像領域はインタレストオペレータによって判別されるのが好ましい。このためのデジタル画像処理による複数の方法が知られている。インタレストオペレータとして、エッジフィルタおよび／または局所統計による濃淡値解析を使用するのが好ましい。
【００１２】
好適な実施形態では、関連画像領域を判別するために時空間特徴を適用する。時空間特徴の生成は、例としてあげると、上記非特許文献３に記述されている。ここで、画像シーケンス内の物体を分類するのに最適な時空間特徴は、ニューラルネットワークの時空間受容野の重みの訓練法によって生成される。時空間特徴は陽関数で規定することもできる。それによって、例えば、右上から左下まで動くコーナーの位置が示される画像範囲でのみ対応解析を行うことが可能である。
【００１３】
本発明の方法の好適な実施形態では、画像範囲は画像領域から対象画素の形で抽出する。このような抽出は、例えば、非最大抑制および／またはスケルトン処理または同様な処理を関連画像領域に適用することによって行う。
前記方法は、関連画像領域内の１つ以上のエッジまたは中央線を勾配の変化に基づいて判別する。エッジまたは中央線の個々の画素を対象画素として使用する。
【００１４】
同じエピポーラに割り当てられる多数の画像シーケンスの画像範囲間でのみ類似度をとると、方法の特に有利な実施形態になる。これは、画像をエピポーラ幾何のフレームワーク内で記述できるカメラシステムがよく利用されていることを活用している。具体的には、この場合、対応問題は、１つの同じエピポーラの画像範囲のみを互いに割り当てればすむ。対象画素を画像範囲として使用する好適な事例では、同じエピポーラ上にある対象画素についてのみ類似度をとればよい。
【００１５】
パラメータ化関数ｈ（ｕ，ｖ，ｔ）と各対象画素およびその局所環境とのマッチングは、パラメータ化関数がその環境を考慮しながら各対象画素に合わせて適応されるように、空間Ｒ（ｕｖｇｔ）で有利に行われる。局所環境は、画素がそれぞれの対象画素に直接隣り合う画素範囲をカバーするのが好ましい。この画素範囲は正方形であることが好ましく、特に境界のエッジで奇数の画素をもつ。代わりにまたは追加で、局所環境は空間Ｒ（ｕｖｇｔ）の時間環境をカバーし、これは画像シーケンスのうち適切に選択した数の画像にまで及ぶ。この場合、画像の数は、例えば、検出される物体の種類と速度に依存する。
【００１６】
単純な実施形態では、パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、空間Ｒ（ｕｖｇｔ）の超平面、すなわち（ｎ−１）次元の平面、空間Ｒ（ｕｖｇｔ）の部分空間として設計される。方法のこの設計はパラメータ化関数を適応するときの計算量が少なくてすみ、それによって方法の全体的な計算量を最小化する。
例として、画像範囲から判別される超平面の法線ベクトル間の角度を、この実施形態の類似度として使用する。この差角は、様々な画像シーケンスの画像範囲内の画像値および／または濃淡値における類似の変化量の尺度である。代わりに、または追加で、多数の画像シーケンスからの画像範囲の超平面の強度（ｇ）の次元における軸部パラメータの差を、類似度に使用する。この差は、それぞれの画像範囲における絶対平均画像値および／または濃淡値の尺度である。このように、関数ｈのパラメータを、例えば光束の判別に使用できる。
【００１７】
本発明の方法の有利な形態では、パラメータ化関数ｈ（ｕ，ｖ，ｔ）を、超平面より高次の関数および／または任意関数として設計し、具体的にはパラメータ化関数は空間Ｒ（ｕｖｇｔ）内の任意形状の面をなす。このような複素関数は確かにマッチングのための計算量を増大させるが、同時に画像範囲をより信頼性を高めて割り当てることができるようにマッチングの精度を向上させる。
【００１８】
類似度として、画像範囲から判別される面同士の差分量、および／または面の規定面積で囲まれた、観測する画素の局所環境のＲ（ｕｖｇｔ）空間量を利用するのが好ましい。
あるいは、類似度として、画像範囲から判別されるパラメータ化関数のパラメータの直接的な比較を使用することもできる。このためにパラメータ空間内の距離を使用することが好ましい。この場合のパラメータ空間はｎ次元の空間であり、ｎはパラメータ化関数ｈ（ｕ，ｖ，ｔ）の独立パラメータの数を表す。ユークリッドパラメータ空間を使用するのが好ましい。
【００１９】
計算量を最小化するために、関連画像領域を確定するための、具体的には画像シーケンスの画像とそのシーンの前に記録された参照画像の画像との、差分画像をとることを提供できる。こうして、現在の画像の代わりに、使用するのは、現在の画像とシーンの参照画像との差分絶対値となる。具体的には、画像シーケンスを固定カメラ、すなわち長時間動かないカメラによって記録する場合、この方法の変型が使用される。考えられるインタレストオペレータの基準は、この場合一定の閾値によって２値化した差分画像における０から１への上昇または１から０への下降である。このように、誤対応の数を大幅に減じることができる。計算量を軽減するために画像ピラミッドまたは時間ピラミッドを使用することも可能であり、現在の画像の代わりに、まず、例えば速い動きを検出できるようにするために、低解像度の画像から成る画像ピラミッドまたは時間ピラミッドを使用することも可能である。
【００２０】
請求項１６の発明による装置は、三次元シーンの再構成に適する、および／または再構成のために設計されている。これはカメラシステムと、前記カメラシステムに接続されている少なくとも１つの評価ユニットとを備える。本発明により、第１評価ユニットはプログラミングにより、および／または前述の方法を実施する回路により設計されることを提供する。
【００２１】
好ましくは、カメラシステムは、２台のカメラを備えるステレオカメラシステムとして実現されることを提供する。具体的には、２台のカメラを平行な観測方向に配置する、および／または同一の設計とする。この実施形態はエピポーラ線を非常に簡単に判別することが可能である。
あるいは、カメラシステムを校正済みマルチカメラシステムとして、すなわち２台以上のカメラをもつように設計する。具体的には、カメラは重複観測エリアをもつ。カメラシステムを校正するのが好ましいが、あるいは自動校正を設けることも可能である。
【００２２】
装置の改良形態では、第２評価ユニットを設け、これが別のアルゴリズムに基づいて、具体的には相関解析に基づいて、三次元シーンの再構成のための対応の判別を行う。第２評価ユニットに任意でさらなるカメラシステムを設ける。この実施形態は、安全関連の応用の場合には確実に検出の信頼性を高めるために、相互に独立した２つの装置・アセンブリで同じシーンを観測し、それを再構成するという考えに基づく。
【００２３】
本発明に基づくさらに他の詳細、特徴、特徴の組合せ、利点、および効果は、本発明の好適な例示的実施形態の以下の説明と、図面から明らかになる。
【発明を実施するための最良の形態】
【００２４】
図１は発明による方法の例示的な実施形態のフローチャートを示している。ステップ１で、画像シーケンスが少なくとも２台のカメラで記録され、画像シーケンスは時間的に等間隔な個々の画像からなる。画像が等間隔の瞬間に各カメラで同時に記録されるように、カメラは互いに同期させている。ｂが少なくとも２台のカメラの数を表す場合、各時間的に等間隔の瞬間に、このように個々の画像のｂ個組が生成される。
【００２５】
ステップ２で、画像シーケンスの個々の画像の画像値から、具体的には濃淡値から、それぞれ参照画像を減算することによって、差分画像を生成する。
前記少なくとも２台のカメラがエピポーラ（epipolar）条件を満たすように互いに配置されていない場合、ステップ３でｂ個組の個々の画像を互いに関係付けて調整する。これは周知の方法で、回転行列および平行移動行列を適用して行う。ステップ３の後、ｂ個組の個々の画像を、対応する画像範囲が共通のエピポーラ線に割り当てられるように修正する。このステップ３はステップ２の前、または後で行うこともできる。
【００２６】
ステップ４で、インタレストオペレータによって関連画像領域を判別する。このために、差分画像を２値化し、定義した閾値を下回る画像値をもつ画像領域の画素に値０を与え、閾値を上回る画像領域に値１を与える。画素値１の画像領域を、以下、関連画像領域と呼ぶ。
ステップ５で、差分画像（２値化画像ではなく）の関連画像領域に、勾配が特に強い環境をもつ画素を抽出する画像処理方法を適用する。このような画素は空間対応を判別するのに特に適する。例えば、関連画像領域にスケルトン処理を適用し、関連画像領域にスケルトン状の中央線を生成する。抽出される画素、すなわちこの例では中央線の画素を、以下、対象画素と呼ぶ。
【００２７】
ステップ６で、好ましくはオリジナル画像および／または差分画像に基づいて、パラメータ化関数ｈ（ｕ，ｖ，ｔ）を各個々の対象画素およびその局所環境に適応させる。対象画素はこの場合、画素位置ｕ、画素位置ｖ、画像値または濃淡値ｇ、および時間ｔで定義する四次元空間Ｒ（ｕｖｇｔ）で表される。パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、もっとも単純な場合では超平面として設計される。このパラメータ化関数ｈ（ｕ，ｖ，ｔ）は、画像値または濃淡値分布に関する情報と、その時間的挙動を使用することによって、対象画素およびその環境にマッチングする。対象画素の局所環境は、画素位置ｕ、画素位置ｖを参照した環境と、時間ｔを参照した環境とをカバーする。
【００２８】
記録される個々の画像の局所的な画素環境および／または時間的環境は、特定用途に向けて選択するのが好ましい。しかし、画素環境および／または時間的環境を物体のサイズによって特定の物体向けに選択することも可能である。固定カメラシステムの場合、対象画素の抽出は、シーンの現在の画像と参照画像から差をとることによって計算する差分画像で行われるのが好ましい。一般性を制限することなく、カメラシステムは、エピポーラ線が画像の線に対応するような平行な光学軸をもつ同一の２台のカメラからなると仮定してもよい。
【００２９】
実務上、画像の物体の境界には、参照画像と比較するとシーンに入ってきた、またはシーンから出ていった対象画素が多数ある。理想としては、このような物体の境界を画素強度のはっきりした不連続性によって記述することが可能である。しかし、実際の画像では、このような強度の不連続性は光学システムの点像必要分布関数によって「滑らか」にされるため、あまり観測されない。このため、物体の境界の強度変化を、例えば双曲線正接など、シグモイド（sigmoid）関数で記述するのが有利である。しかし、シグモイドの強度変化は画素強度のさらなる変動が重なると想定されるはずなので、対象画素の時空間環境の強度分布は、次の混合多項式シグモイド式としてモデル化するのが好ましい。
【００３０】
【数１】
【００３１】
この式において項ｐ１（ｖ，ｔ）、ｐ２（ｖ，ｔ）およびｐ３（ｖ，ｔ）はｖとｔの多項式を記述し、ｐ４（ｕ，ｖ，ｔ）はｕ、ｖおよびｔの多項式である。ある時間ステップｔの場合、開口問題（aperture problem）のために水平方向のエッジプロファイルに基づく視差を判別できないため、方程式（１）は本質的に垂直に変化する物体の境界をモデル化している。多項式ｐ１（ｖ，ｔ）は振幅を記述し、ｐ２（ｖ，ｔ）はシグモイド関数の傾きを記述し、どちらも画像の線ｖに依存するが、ｐ３（ｖ，ｔ）はモデル化されている物体の境界の線依存位置を再現する。ｐ２（ｖ，ｔ）の値は、光学システムがエッジをどの程度強調して撮像するかに実質的に依存し、大きい値がくっきりしたエッジを記述し、小さい値がぼけたエッジを記述する。多項式ｐ４（ｕ，ｖ，ｔ）は物体内部および外部の局部的な強度の変動をモデル化する空間可変なオフセット項であり、そのため、例えば、乱れた背景を考慮できる。記述される特性はすべて時空間ステレオ法において時間的に可変であるとみなされ、これは多項式の直接時間依存性に反映される。関数ｈ（ｕ，ｖ，ｔ）の画素強度ｇ（ｕ，ｖ，ｔ）へのフィット残差が規定の閾値より大きい対象画素が拒絶される。
【００３２】
その一般形において、方程式（１）は非線形最適化法により各対象画素の関数ｈ（ｕ，ｖ，ｔ）のパラメータの判別を導く。このような最適化法はしばしば事前に解を知っておく必要がある。大域的最適解が実際に見つかるとは限らず、一般に長い計算時間を要するためである。特に、最後に挙げた問題点は、リアルタイム可能なシステムで非線形最適化に基づく方法を使用するのを難しくし、または不可能にする。
【００３３】
このため、各対象画素の関数ｈ（ｕ，ｖ，ｔ）のパラメータを判別するために、物理的手法を用いて簡略化した仮定に基づき、線形最適化によって関数のパラメータの判別を導く特別な計算パスを利用すると、特に有利である。このような最適化の問題を以下詳細に記述するが、文献から知られている方法を使用することによって（例えば、上記非特許文献４）計算式で非常に効率的に解くことができる。
【００３４】
有利な方法は以下の仮定に基づく。
１．オフセットｐ４（ｕ，ｖ，ｔ）は空間的に一定であり、空間画像座標ｕおよびｖで平均化した、対象画素の局所環境の画素強度
【００３５】
【数２】
【００３６】
に対応する。
２．シグモイドの振幅ｐ１（ｖ，ｔ）は空間的に一定であり、対象画素の空間局所環境の画素強度の標準偏差σ１（ｔ）に比例し、ｐ１（ｖ，ｔ）＝ｋσ１（ｔ）で表され、ｋはユーザが規定する定数を表す。ｋの値は０．８から３の間にあるのが好ましい。ここで、空間平均値および標準偏差の代わりに、時空間の平均値および標準偏差を使用することも可能である。
【００３７】
以上の仮定を使用すると、方程式（１）は次のように書き換えることができる。
【００３８】
【数３】
【００３９】
方程式（２）の左側はｖとｔの多項式であり、このパラメータは線形方程式系を解くことによって変換画像データ
【００４０】
【数４】
【００４１】
から求めることができ、線形方程式を解くのに効率的な方法を利用できる。
ここでは例としてガウス消去法を挙げてもよい。Θがユーザが規定するシステムパラメータである場合、
【００４２】
【数５】
【００４３】
で表される画素は、最適化手順には含まれていない。なぜなら変換画素値
【００４４】
【数６】
【００４５】
はシグモイド関数の逆関数を返しても求めることはできない、または逆正接関数の勾配が大きいためにかなり不正確にしか求めることができないためである。Θの値は好ましくは０．７５より大きく、かつ必ず１未満でなければならない。発明による方法で基本原理として記述される式において、方程式（２）の左側の多項式のパラメータは、ステレオ画像の対および／またはステレオ画像シーケンスの対の対応の判別を可能にする。
【００４６】
仮定をさらに単純にすると、方法の別の有利な改良形態が得られる。
３．シグモイドの傾きｐ２（ｖ，ｔ）は一定であり、ｐ２（ｖ，ｔ）＝ａで表される。
４．物体の境界は、一定速度ｃで動く勾配ｂの直線の一部分で表すことができる。これは以下の方程式に対応する。
【００４７】
【数７】
【００４８】
以上の仮定から、４つのモデルパラメータａ、ｂ、ｃおよびｄの線形式が直接導かれる。
【００４９】
【数８】
【００５０】
このモデルでは、エッジの動きの挙動は、速度パラメータｃで記述される。発明による方法において、モデルパラメータａ、ｂ、ｃおよびｄから、ステレオ画像の対および／またはステレオ画像シーケンスの対の対応を判別できる。
方程式（１）は適合するモデルパラメータから、直接エッジ位置ｕｅの副画素を正確に判別できる。この値は視差の計算にとって非常に重要であり、これは対応の判別後にする。ここでは、ｕｅの値を水平方向の強度プロファイルの最大勾配の位置、すなわちシグモイド関数のゼロ点に対応するものとして定義するのが妥当である。この条件から以下の方程式を導く。
【００５１】
【数９】
【００５２】
ｕｃ、ｖｃおよびｔｃは、観測する対象画素の局所環境の中央に関係する。ｖｃの値はさらに関連対象画素があるエピポーラ線を表す。
ステップ７で、ｂ個組の様々な個々の画像に割り当てられ、共通のエピポーラ線上にある対象画素のパラメータ化関数ｈ（ｕ，ｖ，ｔ）のパラメータを相互比較する。例えば、類似度としてパラメータの最小差を使って比較を行う。
【００５３】
ステップ８で、類似度が最も高いｂ個組の様々な個々の画像の対象画素が互いに対応すると判別する。その後、これら対応する対象画素に基づいて、周知の方法で観測するシーンの三次元の再構成を行う。
請求項の用語には含まれていないが、非常に単純化した方法の実施形態では、画像シーケンスの代わりに、個々の画像、具体的には個々の画像の対または組だけを利用し、その場合空間Ｒ（ｕ，ｖ，ｇ）に適応される関数ｌ（ｕ，ｖ）のパラメータを比較することによって対応をとる。この単純化した実施形態は差分画像アプローチと組み合わせることもできる。一方、本発明の場合、パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、少なくとも画像シーケンスの２つの連続する個々の画像の期間にわたって適応される。
【００５４】
図２は三次元シーンを再構成する装置を示す。物体９は、固定カメラ１０ａ、１０ｂおよび任意の１０ｃからなるカメラシステムによって光学的に取得する。物体９は、例えば、ロボット保護エリア監視装置として三次元シーン再構成装置を装備する処理セル内の未知の物体であってもよい。カメラは画像を濃淡値形式で記録できるデジタルカメラ、具体的にはＣＣＤカメラとして設計される。他の応用の場合、カラーカメラまたは熱画像カメラまたはＵＶカメラを使用することも可能である。カメラ１０ａ、１０ｂ、１０ｃは互いに同期させて、３つの個々の画像をもつ３個組を同時に記録できるようにする。
【００５５】
カメラ信号をケーブル１１を介して第１評価ユニット１２に渡す。図１に関連して説明する空間対応を判別する方法は、この評価ユニット１２で行う。例として、このために適切なプログラムを算術論理演算器に格納する。カメラ１０ａ、１０ｂ、１０ｃの画像シーケンスの画像範囲で判別された対応を計算ユニット１３に渡し、ここで取得した物体９を三次元で再構成する。
【００５６】
図２の点線で示すように、第２評価ユニット１４が任意で備えられ、これは同様に画像シーケンスの画像範囲間の対応を判別するが、別の設計のアルゴリズムに基づいている。評価ユニット１４は、例えば相関解析によって動作する。このように判別した対応を第２計算ユニット１５に渡して、ここで同様に取得した物体９を三次元で再構成する。第１計算ユニット１３と第２計算ユニット１５の結果は、再構成の精度をより高めるために相互に比較することができ、または安全関連の応用の場合には安全性を高めるために互いに独立して評価できる。
【図面の簡単な説明】
【００５７】
【図１】本発明による方法の例示的な実施形態のフローチャートを示している。
【図２】本発明による装置の例示的な実施形態をブロック図で示している。
【特許請求の範囲】
【請求項１】
様々な観測地点から記録されるシーンの複数の画像シーケンス内の画像範囲間の空間対応を判別する三次元再構成のための方法において、
対応の判別に関連する画像領域を前記画像シーケンス内で判別し、前記画像範囲を前記関連画像領域から形成し、パラメータ化関数ｈ（ｕ，ｖ，ｔ）を、画素位置ｕ、画素位置ｖ、画像値ｇおよび時間ｔで定義される空間Ｒ（ｕｖｇｔ）内の前記画像範囲のそれぞれにマッチングさせ、前記パラメータ化関数の前記パラメータを使用して、前記複数の画像シーケンスの前記画像範囲の類似度をとることを特徴とする方法。
【請求項２】
前記関連画像領域は前記画像値、具体的には画素の濃淡値に対応をとるのに十分な変動量をもつことを特徴とする、請求項１に記載の方法。
【請求項３】
前記関連画像領域は、好ましくはエッジフィルタおよび／または局所統計濃淡値解析として設計されているインタレストオペレータによって判別されることを特徴とする、請求項１または請求項２に記載の方法。
【請求項４】
前記関連画像領域は、時空間の特徴を評価することによって判別されることを特徴とする、前記請求項１〜３のいずれか１項に記載の方法。
【請求項５】
画像範囲は、好ましくは非最大抑制および／またはスケルトン処理を前記関連画像領域に適用することによって、対象画素として形成されることを特徴とする、前記請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記類似度を、同じエピポーラに割り当てられる前記多数の画像シーケンスの画像範囲の間でとる、具体的には前記同じエピポーラおよび／またはエピポーラ線上にある対象画素の間でとることを特徴とする、前記請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、前記対象画素およびその局所環境にマッチングさせることを特徴する、請求項５または請求項６に記載の方法。
【請求項８】
前記局所環境は、好ましくは、特に画素エッジが奇数の正方形の画素範囲として設計される、および／または時間環境として設計される画素範囲として設計されることを特徴とする、請求項７に記載の方法。
【請求項９】
前記パラメータ化関数は、空間Ｒ（ｕｖｇｔ）の超平面として構成することを特徴とする、前記請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
前記画像範囲から判別される前記超平面の法線ベクトル間の角度および／または軸部パラメータの差を前記類似度に使用することを特徴とする、請求項９に記載の方法。
【請求項１１】
前記パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、超平面より高次の関数として設計され、具体的には前記空間Ｒ（ｕｖｇｔ）に任意形状の面をなすことを特徴とする、請求項１から請求項８のいずれか１項に記載の方法。
【請求項１２】
前記画像範囲から判別される面の差分量を前記類似度に使用することを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記画像範囲から判別される前記パラメータの直接比較を前記類似度に使用し、好ましくは前記パラメータ空間の距離、具体的にはユークリッド距離を使用することを特徴とする、前記請求項１〜１２のいずれか１項に記載の方法。
【請求項１４】
前記関連画像領域が判別され、前記画像シーケンスの画像と参照画像の画像との差分画像を生成することを特徴とする、前記請求項１〜１３のいずれか１項に記載の方法。
【請求項１５】
各対象画素の前記関数ｈ（ｕ，ｖ，ｔ）の前記パラメータを判別するために、物理的手法を用いて簡素化した仮定に基づく特別計算パスを使用して、線形最適化によって前記関数パラメータの判別を導くことを特徴とする、前記請求項１〜１４のいずれか１項に記載の方法。
【請求項１６】
カメラシステム（１０ａ、１０ｂ、１０ｃ）と少なくとも１つの評価ユニット（１２、１４）とを有する三次元シーンを再構成する装置であって、第１評価ユニット（１２）はプログラミングおよび／または請求項１〜１４のいずれか１項の方法を実行する回路によって設計されることを特徴とする装置。
【請求項１７】
前記カメラシステムはステレオカメラシステム（１０ａ、１０ｂ）として設計されることを特徴とする、請求項１５に記載の装置。
【請求項１８】
前記カメラシステムは、校正済みマルチカメラシステム（１０ａ、１０ｂ、１０ｃ）として設計されることを特徴とする、請求項１５に記載の装置。
【請求項１９】
プログラミングおよび／または三次元シーン再構成のために対応を判別する回路によって設計される第２評価ユニット（１４）を特徴とする、請求項１５から請求項１７のいずれか１項に記載の装置。
【請求項２０】
前記第２評価ユニット（１４）はさらなるカメラシステムを割り当てられることを特徴とする、請求項１８に記載の装置。
【請求項２１】
前記第１および第２評価ユニット（１２、１４）は互いに独立して動作でき、および／または前記カメラシステムおよび前記さらなるカメラシステムは互いに独立していることが可能であることを特徴とする、請求項１８または請求項１９に記載の装置。
【請求項１】
様々な観測地点から記録されるシーンの複数の画像シーケンス内の画像範囲間の空間対応を判別する三次元再構成のための方法において、
対応の判別に関連する画像領域を前記画像シーケンス内で判別し、前記画像範囲を前記関連画像領域から形成し、パラメータ化関数ｈ（ｕ，ｖ，ｔ）を、画素位置ｕ、画素位置ｖ、画像値ｇおよび時間ｔで定義される空間Ｒ（ｕｖｇｔ）内の前記画像範囲のそれぞれにマッチングさせ、前記パラメータ化関数の前記パラメータを使用して、前記複数の画像シーケンスの前記画像範囲の類似度をとることを特徴とする方法。
【請求項２】
前記関連画像領域は前記画像値、具体的には画素の濃淡値に対応をとるのに十分な変動量をもつことを特徴とする、請求項１に記載の方法。
【請求項３】
前記関連画像領域は、好ましくはエッジフィルタおよび／または局所統計濃淡値解析として設計されているインタレストオペレータによって判別されることを特徴とする、請求項１または請求項２に記載の方法。
【請求項４】
前記関連画像領域は、時空間の特徴を評価することによって判別されることを特徴とする、前記請求項１〜３のいずれか１項に記載の方法。
【請求項５】
画像範囲は、好ましくは非最大抑制および／またはスケルトン処理を前記関連画像領域に適用することによって、対象画素として形成されることを特徴とする、前記請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記類似度を、同じエピポーラに割り当てられる前記多数の画像シーケンスの画像範囲の間でとる、具体的には前記同じエピポーラおよび／またはエピポーラ線上にある対象画素の間でとることを特徴とする、前記請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、前記対象画素およびその局所環境にマッチングさせることを特徴する、請求項５または請求項６に記載の方法。
【請求項８】
前記局所環境は、好ましくは、特に画素エッジが奇数の正方形の画素範囲として設計される、および／または時間環境として設計される画素範囲として設計されることを特徴とする、請求項７に記載の方法。
【請求項９】
前記パラメータ化関数は、空間Ｒ（ｕｖｇｔ）の超平面として構成することを特徴とする、前記請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
前記画像範囲から判別される前記超平面の法線ベクトル間の角度および／または軸部パラメータの差を前記類似度に使用することを特徴とする、請求項９に記載の方法。
【請求項１１】
前記パラメータ化関数ｈ（ｕ，ｖ，ｔ）は、超平面より高次の関数として設計され、具体的には前記空間Ｒ（ｕｖｇｔ）に任意形状の面をなすことを特徴とする、請求項１から請求項８のいずれか１項に記載の方法。
【請求項１２】
前記画像範囲から判別される面の差分量を前記類似度に使用することを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記画像範囲から判別される前記パラメータの直接比較を前記類似度に使用し、好ましくは前記パラメータ空間の距離、具体的にはユークリッド距離を使用することを特徴とする、前記請求項１〜１２のいずれか１項に記載の方法。
【請求項１４】
前記関連画像領域が判別され、前記画像シーケンスの画像と参照画像の画像との差分画像を生成することを特徴とする、前記請求項１〜１３のいずれか１項に記載の方法。
【請求項１５】
各対象画素の前記関数ｈ（ｕ，ｖ，ｔ）の前記パラメータを判別するために、物理的手法を用いて簡素化した仮定に基づく特別計算パスを使用して、線形最適化によって前記関数パラメータの判別を導くことを特徴とする、前記請求項１〜１４のいずれか１項に記載の方法。
【請求項１６】
カメラシステム（１０ａ、１０ｂ、１０ｃ）と少なくとも１つの評価ユニット（１２、１４）とを有する三次元シーンを再構成する装置であって、第１評価ユニット（１２）はプログラミングおよび／または請求項１〜１４のいずれか１項の方法を実行する回路によって設計されることを特徴とする装置。
【請求項１７】
前記カメラシステムはステレオカメラシステム（１０ａ、１０ｂ）として設計されることを特徴とする、請求項１５に記載の装置。
【請求項１８】
前記カメラシステムは、校正済みマルチカメラシステム（１０ａ、１０ｂ、１０ｃ）として設計されることを特徴とする、請求項１５に記載の装置。
【請求項１９】
プログラミングおよび／または三次元シーン再構成のために対応を判別する回路によって設計される第２評価ユニット（１４）を特徴とする、請求項１５から請求項１７のいずれか１項に記載の装置。
【請求項２０】
前記第２評価ユニット（１４）はさらなるカメラシステムを割り当てられることを特徴とする、請求項１８に記載の装置。
【請求項２１】
前記第１および第２評価ユニット（１２、１４）は互いに独立して動作でき、および／または前記カメラシステムおよび前記さらなるカメラシステムは互いに独立していることが可能であることを特徴とする、請求項１８または請求項１９に記載の装置。
【図１】
【図２】
【図２】
【公表番号】特表２００９−５３０９３０（Ｐ２００９−５３０９３０Ａ）
【公表日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００９−５００７２０（Ｐ２００９−５００７２０）
【出願日】平成１９年２月１４日（２００７．２．１４）
【国際出願番号】ＰＣＴ／ＥＰ２００７／００１２７１
【国際公開番号】ＷＯ２００７／１０７２１４
【国際公開日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０１４９３０３７）ピルツ ゲーエムベーハー アンド コー．カーゲー (49)
【Ｆターム（参考）】
【公表日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成１９年２月１４日（２００７．２．１４）
【国際出願番号】ＰＣＴ／ＥＰ２００７／００１２７１
【国際公開番号】ＷＯ２００７／１０７２１４
【国際公開日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０１４９３０３７）ピルツ ゲーエムベーハー アンド コー．カーゲー (49)
【Ｆターム（参考）】
[ Back to top ]