ビデオ画像シーケンスにおいて移動物体を検出するための方法および装置
【課題】画像シーケンスにおいて移動物体を検出する方法を提供する。
【解決手段】a)画像シーケンスの一対の連続画像の一方の画像での特徴点を決定し、b)決定した特徴点を用いて、一対の画像の一方を、他方に投影する数学的変換を決定し、c)決定した変換により、互いへ変換される一対の画像の複数の画像の間の差として差分画像を決定し、d)決定した差分画像において特有の画像変化点を決定し、e)決定した特有の画像変化点から物点を決定するステップとを含む方法である。ステップd)は、d1)画像変化の閾値を確立し、閾値を超える画像変化点を、差分画像内のそれらの点として決定し、d2)所定の品質基準に基づいて、画像変化点の質を分析し、d3)品質基準が満たされている場合、d1)で決定した画像変化点をステップd)で決定する画像変化点として確立し、さもなければ、d1)で確立される閾値でd1)及びd2)を繰り返すステップを含む。
【解決手段】a)画像シーケンスの一対の連続画像の一方の画像での特徴点を決定し、b)決定した特徴点を用いて、一対の画像の一方を、他方に投影する数学的変換を決定し、c)決定した変換により、互いへ変換される一対の画像の複数の画像の間の差として差分画像を決定し、d)決定した差分画像において特有の画像変化点を決定し、e)決定した特有の画像変化点から物点を決定するステップとを含む方法である。ステップd)は、d1)画像変化の閾値を確立し、閾値を超える画像変化点を、差分画像内のそれらの点として決定し、d2)所定の品質基準に基づいて、画像変化点の質を分析し、d3)品質基準が満たされている場合、d1)で決定した画像変化点をステップd)で決定する画像変化点として確立し、さもなければ、d1)で確立される閾値でd1)及びd2)を繰り返すステップを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像シーケンスにおいて移動物体を検出することに関し、特に、
a)ビデオ画像シーケンスの一対の連続画像の一方の画像において特有の特徴点を決定するステップと、
b)ステップa)で決定された特有の特徴点を用いて、一対の画像のうちの2つの画像の一方を、一対の画像のうちの2つの画像の他方に投影するための数学的変換を決定するステップと、
c)ステップb)で決定された変換によって、互いへ変換される一対の画像の複数の画像の間の差として差分画像を決定するステップと、
d)ステップc)で決定された差分画像において特有の画像変化点を決定するステップと、
e)ステップd)で決定された特有の画像変化点から物点を決定するステップと
を含む方法に関する。
【背景技術】
【０００２】
航空機に搭載したパンおよびティルトカメラのカメラ画像シーケンスにおいて移動物体を検出するためのこのタイプの方法は、例えば従来技術によって知られている。この検出は、ここではいわゆる変化の検出を用いて実施されるものであり、カメラ画像シーケンスの時間的に連続したビデオ画像が、互いに比較され、生じる画像変化が決定される。風景内に記録された(1つまたは複数の)移動物体は、次いで、決定された画像変化からリアルタイムに決定することができる。
【０００３】
既知の検出方法の信頼性または質に関しては、特に以下の問題がもたらされる。
【０００４】
(例えば、乗り物、特に航空機に搭載した画像センサ装置の使用で)関連した視野角および/または観測距離の変化により、例えば、カメラを移動および/またはパンおよび/またはティルトさせることによる場合にように、それぞれのビデオ画像シーケンスの最中に記録された「画像部分」がそれ自体得変更される場合、ここから単独で生じる画像変化をまず補償しなければならならず、これは、「画像レジストレーション」とも呼ばれる。しかし、この画像レジストレーションを用いた場合、かなりの不正確さが、知られた方法で生じ得る。この問題は、とりわけ上記のステップa)〜c)に関する。
【０００５】
また、記録状態の時間的な変化(例えば、照明)、ならびに実際には同様に完全には避けることができない記録の不正確さ(例えば、画像記録ノイズ、コントラスト補償などによる)が、物体検出法の信頼性または質を低下させる可能性がある。「誤警報」、すなわち間違った画像検出が、それによって引き起こされる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、初めに述べたタイプの物体検出を、邪魔な影響に対して可能な限り頑健であるように設計することであり、それによって特に低い誤警報率を可能にさせることである。
【課題を解決するための手段】
【０００７】
本発明の第1の態様によれば、この目的は、請求項1による物体検出法によって達成される。従属請求項は、有利なさらなる発展形態を対象とする。本発明の本態様によれば、ステップd)、すなわち、前もって検出された差分画像における「特有の画像変化点」の決定は、
d1)画像変化の閾値を確立し、画像の絶対輝度値が画像変化の閾値を超える画像変化点を、ステップc)で決定された差分画像内のそれらの点として決定するステップと、
d2)少なくとも1つの所定の品質基準に基づいて、ステップd1)で決定された画像変化点の質を分析するステップと、
d3)品質基準が満たされている場合、ステップd1)で決定される画像変化点をステップd)で決定された特有の画像変化点として確立し、さもなければ、変更されたやり方で確立される画像変化の閾値でステップd1)およびd2)を繰り返すステップと
を含む。
【０００８】
この方法の設計の基本概念は、前もって決定された差分画像における特有の画像変化点の決定中に、「適応できる」画像変化の閾値が与えられることになり、これは、この「実験ベース」で画像変化点を決定するために何らかのやり方で最初に確立されるが、次いでこの初期の確立は、(所定の基準が満たされていない場合)必要に応じて修正され、画像変化点の新しい決定が、変更したやり方で確立された画像変化の閾値に基づいて繰り返されるということにある。品質基準を満たす(または少なくとも「より良く満たす」)ためのステップd1)およびd2)のそのような繰り返しの1つまたは適宜複数は、有利なことに、頑健性を改善し、物体検出の誤警報率を減少させることを可能にする。
【０００９】
本出願人が(独立した第2の発明の態様の意味で)独立した保護を主張する権利を所有する一実施形態によれば、ステップa)が、
a1)一対の画像の2つの画像の一方における特徴点を、前もって確立され、この画像の上に置かれた格子の格子点の近くで、それぞれ検出するステップと、
a2)少なくとも1つの所定の選択基準を用いて、特有の特徴点をステップa1)で検出された特徴点の選択として決定するステップと
を含むことが提供される。
【００１０】
本出願人が(独立した第3の発明の態様の意味で)独立した保護を主張する権利を所有する一実施形態によれば、ステップb)が、
b1)一対の画像の2つの画像の他方における対応する特有の特徴点を決定することによりステップa)で決定された特有の特徴点ごとに変位ベクトルを決定するステップと、
b2)少なくとも1つの所定の選択基準に基づいて、ステップb1)で決定された変位ベクトルの選択としてさらに使用される変位ベクトルを決定するステップと、
b3)ステップb2)で選択した変位ベクトルに基づいて、数学的変換を計算するステップと
を含むことが提供される。
【００１１】
一実施形態では、ステップc)が、
c1)一対の画像の2つの画像へ互いに変換するために数学的変換を適用するステップと、
c2)2つの画像についての画像の輝度値の画素ごとの減算によって差分画像を決定するステップと
を含むことが提供される。
【００１２】
一実施形態では、ステップd1)で最初に確立された画像変化の閾値が、差分画像に(実際に)生じる画像の輝度値に応じて計算されることが提供される。
【００１３】
一実施形態では、ステップd2)において、差分画像における分離した画素および/または分離した比較的小さいまとまりのある画素領域の形態の画像変化点の個数が、所定の最大数を超えないことが品質基準として使用されることが提供される。
【００１４】
一実施形態では、物体検出方法の範囲内で使用される1つまたは複数の基準、特に、例えば、ステップd2)で使用される品質基準が、ユーザの入力によって変更可能であることが提供される。
【００１５】
一実施形態では、ステップe)において、物点が、ステップd)で決定された共に密接にある画像変化点の画像領域としてそれぞれ決定されることが提供される。
【００１６】
本発明のいっそうさらなる態様によれば、上記のタイプの方法を実施するための手段、特に、ビデオ画像シーケンスを発生させるイメージングセンサ装置と、ステップa)〜e)を実行するプログラム制御されたコンピュータ装置とを備える装置が提供される。
【００１７】
このタイプの装置またはそれを用いて実施される物体検出法の好ましい使用は、有人または無人のミサイルのためのものとなり、およびそれによって特にいわゆる目標捕捉または目標追跡の範囲内のものとなる。
【００１８】
本発明を、添付図面を参照して例示的な実施形態に基づいて以下にさらに説明する。
【図面の簡単な説明】
【００１９】
【図１】一実施形態による検出方法の完全な流れ図である。
【図２】決定された「特徴点」の位置をマップした、カメラによって記録されたビデオ画像シーケンスの一対の連続画像のうちの例示的な「第1の画像」である。
【図３】合わせた表示における一対の画像のうちの「第1の画像」および「第2の画像」であり、対で相対的に配置され得る特有の特徴点から、2つの画像において決定された「変位ベクトル」もマップされている画像である。
【図４】(互いに前もって変換された画像の)画素ごとに濃淡値を減算することによって決定された「差分画像」である。
【図５】画像変化の決定について予め定められた品質基準が満たされていない、差分画像における画像変化点の決定を示す二値の「画像変化の画像」である。
【図６】(画像変化の決定に使用される画像変化の閾値の適切な調整後に)所定の品質基準が満たされている、図5に類似する「画像変化の画像」である。
【図７】画像領域が検出した「移動物体」としてそこで強調された一対の画像のうちの「第2の画像」であり、その画像領域の位置およびサイズが、図6により最適化された「画像変化の画像」の特有の画像変化点から決定された画像である。
【発明を実施するための形態】
【００２０】
図1は、本発明の例示的な実施形態による移動物体を検出する方法の流れ図である。
【００２１】
本方法と共に実行されるステップは、a1)、a2)、b1)、b2)、b3)、c1)、c2)、d1)、d2)、d3)およびe)によって図において名付けられ、以下詳細に説明する。
【００２２】
ステップa1)およびa2)は共に、ビデオ画像シーケンスの一対の連続画像の一方の画像において特有の特徴点を決定する「ステップa)」を形成する。
【００２３】
ステップa1):一対の画像のうちの2つの画像の一方における特徴点を、この画像の上に置かれた事前に確立された格子の格子点の近くで、それぞれ検出する。
【００２４】
用語「特徴点」は、任意の画像構造、すなわち画像の輝度の違いを含む局所に限定されたい画像領域を示す。
【００２５】
図2は、航空機に搭載されたカメラによって記録されたビデオ画像中の特徴点の検出を示す。原理上、本発明の範囲内で、可視スペクトル域または赤外スペクトル域の光の電気光学センサを含むがそれらに限定されない任意のイメージングセンサの画像を処理することができる。
【００２６】
ビデオ画像シーケンスの画像の時間的な変化を検出可能にするために、少なくとも2つの時間的な(好ましくは即時の)連続画像が必要とされる。さらなるこれらの画像は、本発明による検出方法が実施される対象となる一対の画像の「第1の画像」(または「先の」画像)および「第2の画像」(または「現在の」画像)として示される。その場合、図1の流れ図に示すこのシーケンスは、ビデオ画像シーケンスの数対の画像のいずれの場合にも一度、それぞれ実行されることが好ましい。
【００２７】
この意味で、図2に示す画像は、それぞれのビデオ画像シーケンスの即時連続画像の一対の画像のうちの「第1の画像」である。
【００２８】
ここで説明する例示的な実施形態の場合、ビデオ画像シーケンスの画像はそれぞれ、約700×500画素の解像度を有し、画素ごとのそれぞれの画像センサは、計256個の異なる画像の輝度値(8ビットの色深度を有するグレースケール画像)のうちの1つに画像の輝度を割り当てる。記載した例示的な実施形態では、例えば、「0」から「255」までの画像の輝度値がある。
【００２９】
図2では、ステップa1)で検出された特徴点の位置は、黒い円および白い円によって明確に区別される。特徴点の決定は、カラー画像もしくはグレースケール画像において直接行われてもよく、または例えば勾配の画像、エッジ画像等などからそこで得られる画像において行われてもよい。この決定を用いれば、できる限りこの画像の大きな部分が、カバーされるはずである。したがって、示した例では、「格子ネットワーク」のタイプが、画像全体にわたって実行される。図2の例では、これは、正方形の11×8の格子である。ごく一般的に、少なくとも30個の格子点を有する格子が好ましく、特に、少なくとも60個の格子点を有する格子が好ましい。
【００３０】
「理想的な」格子点から始まって、比較的大きいコントラストが存在する特徴点についてこれらの格子点のすぐ近くが、ソフトウェアアルゴリズムによって探索される。特徴点の領域における最大濃淡値と最小濃淡値の間の差を、例えば「コントラスト」として使用することができる。示した例では、31×31画素の画像領域の形態における特徴点が、決定される。ステップa1)の結果として、特徴点に加えて、(画像座標中の)これらの特徴点のそれぞれの位置も保存される。
【００３１】
ステップa2):少なくとも1つの所定の選択基準を用いて、ステップa1)で検出された特徴点からの選択として特有の特徴点を決定する。
【００３２】
このステップでは、格子点の近くにそれぞれ前もって存在する特徴点からの選択がなされる。示した例では、特徴点の一定の質を決定するための適切な基準に基づいて、この基準を最も良く満たす特徴点のその一部が選択される。
【００３３】
可能性のある品質基準の1つは、例えば、この特徴点に存在するコントラストについてステップa1)で決定された特徴点ごとに計算される定量的測定である。この品質基準の適用の結果は、同様に、図2から理解できる。図2に描かれた黒い円は、ステップa2)で選択した「特有の特徴点」の位置を示す(一方、白い円は、選択されていない特有の特徴点を示しており、したがって、後続のさらなる処理にはもはや使用されない(さほど特有ではない特徴点)）。
【００３４】
ステップa2)の最も単純な場合には、予めしっかりと定められた割合のステップa1)で決定された特徴点が選択され、これは例えば10%〜50%の範囲であり得る。ステップa2)に示した例では、27個の特有の特徴点が、ステップa1)で決定された全88個の特徴点から選択される、これは30%の割合に相当する。
【００３５】
示した例から外れるとき、一部の画像領域に大きく「負担がかかり過ぎる」のを避けるために、ステップa2)におけるさらなる(好ましくは従属した)品質基準として、選択後に、画像のできる限り大きい一部が、画像全体を概ね均一に覆う選択された1つおよび/または複数の特徴の点によってさらにカバーされることを考慮に入れることもできる。
【００３６】
例えば、いくつかの所定の画像部分(例えば画像の四半分)ごとにそれぞれ、ある割合(例えば、10%〜50%の範囲内、例えば約30%)の最も特有の特徴点を選択することが必要とされる場合、より均一な分布が得られる。
【００３７】
後者の追加の品質基準を図2の例で使用する場合、例えば右下の部分画像領域(例えば、右下の四半分)内で、よりも多くの特徴点が、(黒で)図2におけるよりも選択されることが示されよう。
【００３８】
ステップa2)を適用することによって、物体検出の質をかなり改善する。さらなる利点は、以下の処理ステップにおいてこの方法のために必要とされコンピュータの費用が削減されることにある。
【００３９】
ステップb1)、b2)およびb3)は共に「ステップb)」を形成し、この「ステップb)」を用いて一対の画像のうちの2つの画像を互いに投影する、すなわち、対応する画像座標の変換またはそのパラメータを決定することを可能にする(概算で計算される)数学的変換を決定する。
【００４０】
ステップb1):一対の画像のうちの2つの画像の他方における対応する特有の特徴点を決定することによりステップa)で決定された特有の特徴点ごとに変位ベクトルを決定する。
【００４１】
このステップでは、「特有の特徴点」ごとに、(画像座標中の)それぞれの一対の画像の「第2の画像」における関連した位置が、適切な方法を用いてソフトウェアアルゴリズムにより決定される。このため、例えば、第2の画像は、特徴点にマッチする(すなわち、とても類似する)ように第1の画像内の前もって決定された特有の特徴点の位置を中心としてある半径内で探索することができる。第2の画像および第1の画像内の関連した位置においてこうして決定された各位置は、特有の特徴点ごとに、「変位ベクトル」を定める。第2の画像の関連した特徴の位置は、例えば、(第1の画像内で決定された特有の特徴点を用いて)最大の相関がもたらされる探索半径内に位置するその31×31個の画像領域の位置としてとして定義することができる。
【００４２】
探索半径は、例えば、予めしっかりと定めることができる。物体検出法がいわゆる目標追跡の範囲内で実行される場合、異なる一対の画像についてすでに前もって実行された物体検出から情報が利用できるとき、この情報を適宜使用してもよい。探索半径または探索される領域は、このステップを促進するために、それを用いて制限することができると有利である。特に、このタイプの探索の制限は、異なる一対の画像で前もって実行された決定を用いてもたらされる変位ベクトルに基づいて実行することができる。
【００４３】
それに応じて、各「変位ベクトル」は、第1の画像から時間的に連続した第2の画像に特徴点が進む並進変位を特徴付ける。
【００４４】
ステップb1)で決定されるこれらの変位ベクトルは、黒い矢印として図3による第1の画像と第2の画像を合わせた表示で描かれる。これらの変位ベクトルは、特有の特徴点の相対的に配置される一対の位置(図3中の白い円および黒い円)の間をそれぞれ通る。
【００４５】
ステップb2):少なくとも1つの所定の選択基準に基づいて、ステップb1)で決定された変位ベクトルの選択としてさらに使用される変位ベクトルを決定する。
【００４６】
このステップでは、ソフトウェアアルゴリズムによって適切な品質基準に基づいてステップb1)で決定された変位ベクトルから、後続のさらなる処理に使用される変位ベクトルが選択される。
【００４７】
好ましく使用される品質基準は、本明細書では、「異常値」すなわち変位ベクトルが除かれるように選択され、その量および/または方向は、残りのベクトル場と一致しない。図3の例では、この品質基準を使用することによって、特に、(図3中の細線で描かれる)変位ベクトルが除かれ(すなわち、選択されず)、その方向およびとりわけその量は、残りのベクトル場と一致しない。
【００４８】
示した例では、これらの残りの変位ベクトルは、図3から理解できるようにほぼ同一である。ベクトル場のこの特殊なケースは、例えば、ビデオカメラを運搬する航空機が、記録した風景の上方をかなりの高さで飛行するときにもたらされ、観測距離は、ビデオ画像シーケンスの最中にほんのわずか変化する。
【００４９】
例えば、飛行方向およびカメラ軸(観察方向)が合致する場合には、全く異なるタイプのベクトル場がもたらされることになる。この場合、画像の中心に対してこの画像の中心から離れるようにまたはこの画像の中心に向かうように半径方向にそれぞれ向けられる例えば変位ベクトルがもたらされ得る。
【００５０】
どちらの特殊なケースがそれぞれ適用されるかは、例えば飛行ナビゲーションデータ(および適宜、カメラの現在のパンおよび/またはティルトに関するデータ)の適切な使用または評価によって、ステップb1)を実行するために考慮することができる。代替としてまたは加えて、ステップb2)でさらに使用される変位ベクトルを決定するために、まず、この事前の評価の結果に応じてステップb2)で使用される選択基準を規定するように、ベクトル場全体(ステップb1)で決定された変位ベクトルの全体)について評価を受けさせることが考えられ得る。
【００５１】
このタイプの評価が、例えば、「半径方向の変位ベクトル」で上述のベクトル場をもたらす場合、上述のように「異常値」を除くために、ステップb1)で決定された各変位ベクトルは、(評価に基づいた)それぞれの位置に予期される変位ベクトルと比較され、適宜(過度の逸脱の場合)、異常値として除かれることが用意されてもよい。
【００５２】
ステップb3):ステップb2)で選択した変位ベクトルに基づいて数学的変換を計算する。
【００５３】
前もって選択された変位ベクトルを用いて、第1の画像の画像座標の第2の画像の画像座標への数学的変換が計算される。
【００５４】
このため、例えば完全な同形異義性が評価されてもよく、または、例えば、変換の個々のパラメータだけが、決定されてもよい(水平および/または垂直の画像方向の変換のみ)。このため、従来技術によりそれ自体知られている、例えば、ソフトウェアアルゴリズムが使用されてもよい。好ましくは、長さ一致変換(length-consistent transformation)を計算する。
【００５５】
ステップc1)およびc2)を使用して、互いへ変換される一対の画像の複数の画像のステップb)で決定された変換の間の差として「差分画像」を決定する。
【００５６】
ステップc1):一対の画像のうちの2つの画像へ互いに変換するために数学的変換を適用する。
【００５７】
このステップでは、第1の画像は、前もって計算した数学的変換を用いて第2の画像の画像座標へ変換される。それによって座標範囲は、どちらの画像も共に重なることになる。図3では、2つの画像のエッジは、それぞれ黒い線として描かれている。
【００５８】
ステップc2):2つの画像についての画像の輝度値の画素ごとの減算によって差分画像を決定する。
【００５９】
このステップでは、例えば、重なっている領域内の変換された第1の画像は、第2の画像から減じられる。示した例示的な実施形態では、これによって、互いに対する2つの個々の画像の変位の程度により、2つの個々の画像のそれぞれより幾分より少ない画素を有する差分画像になる。差分画像の色深度は拡大され、一方、2つの個々の画像の色深度と比較される。8ビットの個々の画像の色深度の例の場合、差分画像は、約9ビットの色深度を用いて生成される。
【００６０】
こうして計算された差分画像は保存される。
【００６１】
図4には、本例になる差分画像を示す。図4では、0あたりの範囲内の画像の輝度値を有する画素がグレーで示されており、それに比べてより正の画像の輝度値を有する画素は、(白に至るまで)より明るく、より負の画像の輝度値を有する画素は、(黒に至るまで)より暗い。
【００６２】
ステップd1)、d2)およびd3)を使用して、ステップc)で決定された差分画像から「特有の画像変化点」を決定する。
【００６３】
ステップd1):画像変化の閾値を確立し、画像の絶対輝度値が画像変化の閾値を超える画像変化点をステップc)で決定された差分画像内のそれらの点として決定する。
【００６４】
示した例では、ビデオ画像シーケンスの個々の画像は、256個の可能な異なる濃淡値に対応する8ビットの色深度で記録される。差分画像を決定するための簡単な数学的な減算の場合、これらの濃淡値を「0」〜「255」の値で符号化することで、ステップc2)では、差分画像において、濃淡値のスケール(gray value scale)が、可能な濃淡値「-255」〜「+255」でもたらされる。ステップd1)の第1の実行で、画像変化の閾値は、例えば、一対の画像の個々の画像の濃淡値のスケールのほぼ中央にあるように選択され、すなわち、記載の例では約128の値で予め定められ得る。
【００６５】
代替として、例えば、差分画像に(実際に)生じる画像の輝度値に応じてステップd1)で最初に確立される画像変化の閾値を計算することが可能である。
【００６６】
次いで、差分画像の画像の輝度値の絶対値は、画素ごとにこの画像変化の閾値と比較される。ステップd1)において生じる「画像変化の画像(image variation image)」(二値画像)において、画像の絶対輝度値が画像の輝度閾値以下である差分画像における全ての画像の位置(画素)について、例えば「0」が入力され、画像の絶対輝度値が画像変化の閾値を超える全ての画像の位置について、「1」が入力される。この画像変化の画像では、それに応じて、「1」によって示されるそれらの領域は、ステップd1)で決定された画像変化点に対応する。
【００６７】
図5には、ステップd1)の第1の実行後に本例になる画像変化の画像を示す。画像の変化、すなわち、画素値「1」を有する画像領域は、図5において白で示され、画素値「0」を有する画像領域は、黒で示される。
【００６８】
ステップd2):少なくとも1つの所定の品質基準に基づいて、ステップd1)で決定された画像変化点の質を分析する。
【００６９】
このステップでは、画像変化の画像に含まれる画像変化のある特徴が「測定」され、少なくとも1つの所定の品質基準に基づいて評価を受ける。
【００７０】
誤警報の防止に関しては、具体的には本発明による検出方法を用いて、例えば、いくつの画像の変化が画像変化の画像内で「分離して(isolated)」あるのか、すなわち値「1」を有する画素がいくつあるのかの分析が、本明細書では検討される。用語「分離して」は、画像変化の画像においてすぐ隣の8つの隣接した画素の全てが、値「0」を有するという場合を特に意味し得る。そのような概して分離した画像の変化は、(例えば画像ノイズなどによる)人工的なものとみなされることになるので、ステップd2)で使用される品質基準は、そのような分離した画像の変化がより少なく存在するにつれて、決定された画像変化点の質が、より良く評価される(または、対応する品質基準が満たされる)ということを特にもたらすことができる。
【００７１】
代替としてまたは加えて、画像の輝度値「1」を有するまとまりのある画素が(例えば、最大数次第で)ほとんどないことで形成される画像領域がより多く存在するにつれて、画像変化の画像をより悪いものとして評価する品質基準が使用されてもよい。そのような画像の変化は、やはり一般に人工的なものとみなされる。これについての適切な最大数は、例えば個々の画像の画素の総数に応じて選択することができる。例えば、最大数は、画素の総数のある比率として選択されてもよい。
【００７２】
さらに、2つの上記品質基準は、「分離(isolation)」の存在が、すぐ隣の画素全てについて値0を必要とせず、すぐ隣の画素のこの所定の最小数(例えば少なくとも4、5または6個の隣接した画素)について十分であるという点で修正されてもよい。
【００７３】
ステップd3):品質基準が満たされている場合、ステップd1)で決定される画像変化点をステップd)で決定される特有の画像変化点として確立し、さもなければ、変更されたやり方で確立される画像変化の閾値でステップd1)およびd2)を繰り返す。
【００７４】
ステップd2)で使用された(1つまたは複数の)品質基準が満たされている場合、処理は、ステップe)へ続く。さもなければ、つまり、(1つまたは複数の)基準が満たされていなかった場合、個々または全てのそのような基準が、適宜、ユーザの入力によって変更可能として与えられてもよく、処理は、ステップd1)に戻り、ステップd1)のそのような繰り返しと共に、しかし、異なるように確立された画像変化の閾値が使用される。(変わらない)差分画像上でやはり実行される画像変化の計算と共に使用される画像変化の閾値は、したがって、ステップd2)の分析の結果に従って新たに調整される。これは、ステップd1)およびd2)の実行の繰り返しによって(1つまたは複数の)品質基準を満たす(または少なくともこれらの基準を「より良く」満たす)ためのものである。
【００７５】
例えば、先のステップd2)の品質分析が、ステップd1)およびd2)の繰り返しによって品質が所定の合格レベル未満であることを示している場合、画像変化の閾値は、増加させられる(それによってステップd1)における画像変化点の決定の感度は、それに応じて減少させられる)。逆も同様に、品質の評価が、ある(例えば、固定的または可変的に設定された)程度、所定の合格レベルを超える結果をもたらす場合、ステップd1)およびd2)の繰り返しは、減少した画像変化の閾値を用いて(すなわち、画像変化点を決定するために増加した感度を用いて)実行することができる。
【００７６】
したがって、有利なことに、ステップd1)、d2)およびd3)の使用は、テップd1)で決定された画像変化点またはここで決定された画像変化の画像の品質の反復改善を可能にする。
【００７７】
この最適化の終わりの後、処理は、ステップe)へ続く。例えば、(受け入れることができる品質改善なしで)ステップd1)およびd2)の繰り返しの所定の最大数が達成されている場合と仮定できるこのタイプの反復最適化が失敗の場合、ステップd1)、d2)およびd3)を含む処理セクションは、結果なしとして終了することもでき、これは、それぞれの一対の画像についての物体検出法全体の結果なしで終了をもたらす。
【００７８】
ここで説明した例では、図6に示す画像変化の画像は、この反復の品質改善に由来する。図6で理解できるように、現在、互いに密接に隣接した比較的大きいまとまりのある画像変化が含まれており、これは、この画像のこの点に位置する移動物体によって明らかに引き起こされたものである。
【００７９】
ステップe):ステップd)で決定された画像変化点から物点を決定する。
【００８０】
このステップでは、移動物体は、残りの画像変化、すなわち最後に計算した画像変化の画像(図6)に位置する残りの画像変化から、プログラム制御方式で適切な方法を用いて決定される。
【００８１】
このステップでは、例えば、比較的密接に隣接した(例えば、予めしっかりと定められた最大距離またはユーザの入力によって予め定めることができる距離より近い)画像変化であって、(例えば、予めしっかりと定められた最小サイズまたはユーザの入力によって予め定めることができるサイズより大きい)ある最小サイズをそれぞれ有する画像変化が、ある(移動した)物体に割り当てられるとみなされる。したがって、この物点の決定は、示した例ではステップe)からそれぞれの一対の画像に基づいて、(画像のほぼ中心で図中において認識できる)移動物体が検出されるという結果がもたらされる。
【００８２】
図7は、この一対の画像の「第2の画像」を示しており、そこでは、ステップe)の結果に基づいた位置フレームは、検出された移動物体の位置および大きさを示す。
【００８３】
もちろん、例として上述された方法は、そこで、ビデオ画像シーケンスの画像のさらなる対に適用されてもよく、その後に処理されるそのような一対の画像の「第1の画像」は、前もって処理された一対の画像の「第2の画像」であってもよい。
【００８４】
説明した物体検出法は、例えば、目標捕捉または目標追跡の範囲内で使用できることが特に有利であり、移動物体がいくつか検出される場合、ある特定の識別が、各物体に割り当てられることが好ましい。
【符号の説明】
【００８５】
a1、a2、b1〜b3、c1、c2、d1〜d3、e ・・・ ステップ
【技術分野】
【０００１】
本発明は、ビデオ画像シーケンスにおいて移動物体を検出することに関し、特に、
a)ビデオ画像シーケンスの一対の連続画像の一方の画像において特有の特徴点を決定するステップと、
b)ステップa)で決定された特有の特徴点を用いて、一対の画像のうちの2つの画像の一方を、一対の画像のうちの2つの画像の他方に投影するための数学的変換を決定するステップと、
c)ステップb)で決定された変換によって、互いへ変換される一対の画像の複数の画像の間の差として差分画像を決定するステップと、
d)ステップc)で決定された差分画像において特有の画像変化点を決定するステップと、
e)ステップd)で決定された特有の画像変化点から物点を決定するステップと
を含む方法に関する。
【背景技術】
【０００２】
航空機に搭載したパンおよびティルトカメラのカメラ画像シーケンスにおいて移動物体を検出するためのこのタイプの方法は、例えば従来技術によって知られている。この検出は、ここではいわゆる変化の検出を用いて実施されるものであり、カメラ画像シーケンスの時間的に連続したビデオ画像が、互いに比較され、生じる画像変化が決定される。風景内に記録された(1つまたは複数の)移動物体は、次いで、決定された画像変化からリアルタイムに決定することができる。
【０００３】
既知の検出方法の信頼性または質に関しては、特に以下の問題がもたらされる。
【０００４】
(例えば、乗り物、特に航空機に搭載した画像センサ装置の使用で)関連した視野角および/または観測距離の変化により、例えば、カメラを移動および/またはパンおよび/またはティルトさせることによる場合にように、それぞれのビデオ画像シーケンスの最中に記録された「画像部分」がそれ自体得変更される場合、ここから単独で生じる画像変化をまず補償しなければならならず、これは、「画像レジストレーション」とも呼ばれる。しかし、この画像レジストレーションを用いた場合、かなりの不正確さが、知られた方法で生じ得る。この問題は、とりわけ上記のステップa)〜c)に関する。
【０００５】
また、記録状態の時間的な変化(例えば、照明)、ならびに実際には同様に完全には避けることができない記録の不正確さ(例えば、画像記録ノイズ、コントラスト補償などによる)が、物体検出法の信頼性または質を低下させる可能性がある。「誤警報」、すなわち間違った画像検出が、それによって引き起こされる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、初めに述べたタイプの物体検出を、邪魔な影響に対して可能な限り頑健であるように設計することであり、それによって特に低い誤警報率を可能にさせることである。
【課題を解決するための手段】
【０００７】
本発明の第1の態様によれば、この目的は、請求項1による物体検出法によって達成される。従属請求項は、有利なさらなる発展形態を対象とする。本発明の本態様によれば、ステップd)、すなわち、前もって検出された差分画像における「特有の画像変化点」の決定は、
d1)画像変化の閾値を確立し、画像の絶対輝度値が画像変化の閾値を超える画像変化点を、ステップc)で決定された差分画像内のそれらの点として決定するステップと、
d2)少なくとも1つの所定の品質基準に基づいて、ステップd1)で決定された画像変化点の質を分析するステップと、
d3)品質基準が満たされている場合、ステップd1)で決定される画像変化点をステップd)で決定された特有の画像変化点として確立し、さもなければ、変更されたやり方で確立される画像変化の閾値でステップd1)およびd2)を繰り返すステップと
を含む。
【０００８】
この方法の設計の基本概念は、前もって決定された差分画像における特有の画像変化点の決定中に、「適応できる」画像変化の閾値が与えられることになり、これは、この「実験ベース」で画像変化点を決定するために何らかのやり方で最初に確立されるが、次いでこの初期の確立は、(所定の基準が満たされていない場合)必要に応じて修正され、画像変化点の新しい決定が、変更したやり方で確立された画像変化の閾値に基づいて繰り返されるということにある。品質基準を満たす(または少なくとも「より良く満たす」)ためのステップd1)およびd2)のそのような繰り返しの1つまたは適宜複数は、有利なことに、頑健性を改善し、物体検出の誤警報率を減少させることを可能にする。
【０００９】
本出願人が(独立した第2の発明の態様の意味で)独立した保護を主張する権利を所有する一実施形態によれば、ステップa)が、
a1)一対の画像の2つの画像の一方における特徴点を、前もって確立され、この画像の上に置かれた格子の格子点の近くで、それぞれ検出するステップと、
a2)少なくとも1つの所定の選択基準を用いて、特有の特徴点をステップa1)で検出された特徴点の選択として決定するステップと
を含むことが提供される。
【００１０】
本出願人が(独立した第3の発明の態様の意味で)独立した保護を主張する権利を所有する一実施形態によれば、ステップb)が、
b1)一対の画像の2つの画像の他方における対応する特有の特徴点を決定することによりステップa)で決定された特有の特徴点ごとに変位ベクトルを決定するステップと、
b2)少なくとも1つの所定の選択基準に基づいて、ステップb1)で決定された変位ベクトルの選択としてさらに使用される変位ベクトルを決定するステップと、
b3)ステップb2)で選択した変位ベクトルに基づいて、数学的変換を計算するステップと
を含むことが提供される。
【００１１】
一実施形態では、ステップc)が、
c1)一対の画像の2つの画像へ互いに変換するために数学的変換を適用するステップと、
c2)2つの画像についての画像の輝度値の画素ごとの減算によって差分画像を決定するステップと
を含むことが提供される。
【００１２】
一実施形態では、ステップd1)で最初に確立された画像変化の閾値が、差分画像に(実際に)生じる画像の輝度値に応じて計算されることが提供される。
【００１３】
一実施形態では、ステップd2)において、差分画像における分離した画素および/または分離した比較的小さいまとまりのある画素領域の形態の画像変化点の個数が、所定の最大数を超えないことが品質基準として使用されることが提供される。
【００１４】
一実施形態では、物体検出方法の範囲内で使用される1つまたは複数の基準、特に、例えば、ステップd2)で使用される品質基準が、ユーザの入力によって変更可能であることが提供される。
【００１５】
一実施形態では、ステップe)において、物点が、ステップd)で決定された共に密接にある画像変化点の画像領域としてそれぞれ決定されることが提供される。
【００１６】
本発明のいっそうさらなる態様によれば、上記のタイプの方法を実施するための手段、特に、ビデオ画像シーケンスを発生させるイメージングセンサ装置と、ステップa)〜e)を実行するプログラム制御されたコンピュータ装置とを備える装置が提供される。
【００１７】
このタイプの装置またはそれを用いて実施される物体検出法の好ましい使用は、有人または無人のミサイルのためのものとなり、およびそれによって特にいわゆる目標捕捉または目標追跡の範囲内のものとなる。
【００１８】
本発明を、添付図面を参照して例示的な実施形態に基づいて以下にさらに説明する。
【図面の簡単な説明】
【００１９】
【図１】一実施形態による検出方法の完全な流れ図である。
【図２】決定された「特徴点」の位置をマップした、カメラによって記録されたビデオ画像シーケンスの一対の連続画像のうちの例示的な「第1の画像」である。
【図３】合わせた表示における一対の画像のうちの「第1の画像」および「第2の画像」であり、対で相対的に配置され得る特有の特徴点から、2つの画像において決定された「変位ベクトル」もマップされている画像である。
【図４】(互いに前もって変換された画像の)画素ごとに濃淡値を減算することによって決定された「差分画像」である。
【図５】画像変化の決定について予め定められた品質基準が満たされていない、差分画像における画像変化点の決定を示す二値の「画像変化の画像」である。
【図６】(画像変化の決定に使用される画像変化の閾値の適切な調整後に)所定の品質基準が満たされている、図5に類似する「画像変化の画像」である。
【図７】画像領域が検出した「移動物体」としてそこで強調された一対の画像のうちの「第2の画像」であり、その画像領域の位置およびサイズが、図6により最適化された「画像変化の画像」の特有の画像変化点から決定された画像である。
【発明を実施するための形態】
【００２０】
図1は、本発明の例示的な実施形態による移動物体を検出する方法の流れ図である。
【００２１】
本方法と共に実行されるステップは、a1)、a2)、b1)、b2)、b3)、c1)、c2)、d1)、d2)、d3)およびe)によって図において名付けられ、以下詳細に説明する。
【００２２】
ステップa1)およびa2)は共に、ビデオ画像シーケンスの一対の連続画像の一方の画像において特有の特徴点を決定する「ステップa)」を形成する。
【００２３】
ステップa1):一対の画像のうちの2つの画像の一方における特徴点を、この画像の上に置かれた事前に確立された格子の格子点の近くで、それぞれ検出する。
【００２４】
用語「特徴点」は、任意の画像構造、すなわち画像の輝度の違いを含む局所に限定されたい画像領域を示す。
【００２５】
図2は、航空機に搭載されたカメラによって記録されたビデオ画像中の特徴点の検出を示す。原理上、本発明の範囲内で、可視スペクトル域または赤外スペクトル域の光の電気光学センサを含むがそれらに限定されない任意のイメージングセンサの画像を処理することができる。
【００２６】
ビデオ画像シーケンスの画像の時間的な変化を検出可能にするために、少なくとも2つの時間的な(好ましくは即時の)連続画像が必要とされる。さらなるこれらの画像は、本発明による検出方法が実施される対象となる一対の画像の「第1の画像」(または「先の」画像)および「第2の画像」(または「現在の」画像)として示される。その場合、図1の流れ図に示すこのシーケンスは、ビデオ画像シーケンスの数対の画像のいずれの場合にも一度、それぞれ実行されることが好ましい。
【００２７】
この意味で、図2に示す画像は、それぞれのビデオ画像シーケンスの即時連続画像の一対の画像のうちの「第1の画像」である。
【００２８】
ここで説明する例示的な実施形態の場合、ビデオ画像シーケンスの画像はそれぞれ、約700×500画素の解像度を有し、画素ごとのそれぞれの画像センサは、計256個の異なる画像の輝度値(8ビットの色深度を有するグレースケール画像)のうちの1つに画像の輝度を割り当てる。記載した例示的な実施形態では、例えば、「0」から「255」までの画像の輝度値がある。
【００２９】
図2では、ステップa1)で検出された特徴点の位置は、黒い円および白い円によって明確に区別される。特徴点の決定は、カラー画像もしくはグレースケール画像において直接行われてもよく、または例えば勾配の画像、エッジ画像等などからそこで得られる画像において行われてもよい。この決定を用いれば、できる限りこの画像の大きな部分が、カバーされるはずである。したがって、示した例では、「格子ネットワーク」のタイプが、画像全体にわたって実行される。図2の例では、これは、正方形の11×8の格子である。ごく一般的に、少なくとも30個の格子点を有する格子が好ましく、特に、少なくとも60個の格子点を有する格子が好ましい。
【００３０】
「理想的な」格子点から始まって、比較的大きいコントラストが存在する特徴点についてこれらの格子点のすぐ近くが、ソフトウェアアルゴリズムによって探索される。特徴点の領域における最大濃淡値と最小濃淡値の間の差を、例えば「コントラスト」として使用することができる。示した例では、31×31画素の画像領域の形態における特徴点が、決定される。ステップa1)の結果として、特徴点に加えて、(画像座標中の)これらの特徴点のそれぞれの位置も保存される。
【００３１】
ステップa2):少なくとも1つの所定の選択基準を用いて、ステップa1)で検出された特徴点からの選択として特有の特徴点を決定する。
【００３２】
このステップでは、格子点の近くにそれぞれ前もって存在する特徴点からの選択がなされる。示した例では、特徴点の一定の質を決定するための適切な基準に基づいて、この基準を最も良く満たす特徴点のその一部が選択される。
【００３３】
可能性のある品質基準の1つは、例えば、この特徴点に存在するコントラストについてステップa1)で決定された特徴点ごとに計算される定量的測定である。この品質基準の適用の結果は、同様に、図2から理解できる。図2に描かれた黒い円は、ステップa2)で選択した「特有の特徴点」の位置を示す(一方、白い円は、選択されていない特有の特徴点を示しており、したがって、後続のさらなる処理にはもはや使用されない(さほど特有ではない特徴点)）。
【００３４】
ステップa2)の最も単純な場合には、予めしっかりと定められた割合のステップa1)で決定された特徴点が選択され、これは例えば10%〜50%の範囲であり得る。ステップa2)に示した例では、27個の特有の特徴点が、ステップa1)で決定された全88個の特徴点から選択される、これは30%の割合に相当する。
【００３５】
示した例から外れるとき、一部の画像領域に大きく「負担がかかり過ぎる」のを避けるために、ステップa2)におけるさらなる(好ましくは従属した)品質基準として、選択後に、画像のできる限り大きい一部が、画像全体を概ね均一に覆う選択された1つおよび/または複数の特徴の点によってさらにカバーされることを考慮に入れることもできる。
【００３６】
例えば、いくつかの所定の画像部分(例えば画像の四半分)ごとにそれぞれ、ある割合(例えば、10%〜50%の範囲内、例えば約30%)の最も特有の特徴点を選択することが必要とされる場合、より均一な分布が得られる。
【００３７】
後者の追加の品質基準を図2の例で使用する場合、例えば右下の部分画像領域(例えば、右下の四半分)内で、よりも多くの特徴点が、(黒で)図2におけるよりも選択されることが示されよう。
【００３８】
ステップa2)を適用することによって、物体検出の質をかなり改善する。さらなる利点は、以下の処理ステップにおいてこの方法のために必要とされコンピュータの費用が削減されることにある。
【００３９】
ステップb1)、b2)およびb3)は共に「ステップb)」を形成し、この「ステップb)」を用いて一対の画像のうちの2つの画像を互いに投影する、すなわち、対応する画像座標の変換またはそのパラメータを決定することを可能にする(概算で計算される)数学的変換を決定する。
【００４０】
ステップb1):一対の画像のうちの2つの画像の他方における対応する特有の特徴点を決定することによりステップa)で決定された特有の特徴点ごとに変位ベクトルを決定する。
【００４１】
このステップでは、「特有の特徴点」ごとに、(画像座標中の)それぞれの一対の画像の「第2の画像」における関連した位置が、適切な方法を用いてソフトウェアアルゴリズムにより決定される。このため、例えば、第2の画像は、特徴点にマッチする(すなわち、とても類似する)ように第1の画像内の前もって決定された特有の特徴点の位置を中心としてある半径内で探索することができる。第2の画像および第1の画像内の関連した位置においてこうして決定された各位置は、特有の特徴点ごとに、「変位ベクトル」を定める。第2の画像の関連した特徴の位置は、例えば、(第1の画像内で決定された特有の特徴点を用いて)最大の相関がもたらされる探索半径内に位置するその31×31個の画像領域の位置としてとして定義することができる。
【００４２】
探索半径は、例えば、予めしっかりと定めることができる。物体検出法がいわゆる目標追跡の範囲内で実行される場合、異なる一対の画像についてすでに前もって実行された物体検出から情報が利用できるとき、この情報を適宜使用してもよい。探索半径または探索される領域は、このステップを促進するために、それを用いて制限することができると有利である。特に、このタイプの探索の制限は、異なる一対の画像で前もって実行された決定を用いてもたらされる変位ベクトルに基づいて実行することができる。
【００４３】
それに応じて、各「変位ベクトル」は、第1の画像から時間的に連続した第2の画像に特徴点が進む並進変位を特徴付ける。
【００４４】
ステップb1)で決定されるこれらの変位ベクトルは、黒い矢印として図3による第1の画像と第2の画像を合わせた表示で描かれる。これらの変位ベクトルは、特有の特徴点の相対的に配置される一対の位置(図3中の白い円および黒い円)の間をそれぞれ通る。
【００４５】
ステップb2):少なくとも1つの所定の選択基準に基づいて、ステップb1)で決定された変位ベクトルの選択としてさらに使用される変位ベクトルを決定する。
【００４６】
このステップでは、ソフトウェアアルゴリズムによって適切な品質基準に基づいてステップb1)で決定された変位ベクトルから、後続のさらなる処理に使用される変位ベクトルが選択される。
【００４７】
好ましく使用される品質基準は、本明細書では、「異常値」すなわち変位ベクトルが除かれるように選択され、その量および/または方向は、残りのベクトル場と一致しない。図3の例では、この品質基準を使用することによって、特に、(図3中の細線で描かれる)変位ベクトルが除かれ(すなわち、選択されず)、その方向およびとりわけその量は、残りのベクトル場と一致しない。
【００４８】
示した例では、これらの残りの変位ベクトルは、図3から理解できるようにほぼ同一である。ベクトル場のこの特殊なケースは、例えば、ビデオカメラを運搬する航空機が、記録した風景の上方をかなりの高さで飛行するときにもたらされ、観測距離は、ビデオ画像シーケンスの最中にほんのわずか変化する。
【００４９】
例えば、飛行方向およびカメラ軸(観察方向)が合致する場合には、全く異なるタイプのベクトル場がもたらされることになる。この場合、画像の中心に対してこの画像の中心から離れるようにまたはこの画像の中心に向かうように半径方向にそれぞれ向けられる例えば変位ベクトルがもたらされ得る。
【００５０】
どちらの特殊なケースがそれぞれ適用されるかは、例えば飛行ナビゲーションデータ(および適宜、カメラの現在のパンおよび/またはティルトに関するデータ)の適切な使用または評価によって、ステップb1)を実行するために考慮することができる。代替としてまたは加えて、ステップb2)でさらに使用される変位ベクトルを決定するために、まず、この事前の評価の結果に応じてステップb2)で使用される選択基準を規定するように、ベクトル場全体(ステップb1)で決定された変位ベクトルの全体)について評価を受けさせることが考えられ得る。
【００５１】
このタイプの評価が、例えば、「半径方向の変位ベクトル」で上述のベクトル場をもたらす場合、上述のように「異常値」を除くために、ステップb1)で決定された各変位ベクトルは、(評価に基づいた)それぞれの位置に予期される変位ベクトルと比較され、適宜(過度の逸脱の場合)、異常値として除かれることが用意されてもよい。
【００５２】
ステップb3):ステップb2)で選択した変位ベクトルに基づいて数学的変換を計算する。
【００５３】
前もって選択された変位ベクトルを用いて、第1の画像の画像座標の第2の画像の画像座標への数学的変換が計算される。
【００５４】
このため、例えば完全な同形異義性が評価されてもよく、または、例えば、変換の個々のパラメータだけが、決定されてもよい(水平および/または垂直の画像方向の変換のみ)。このため、従来技術によりそれ自体知られている、例えば、ソフトウェアアルゴリズムが使用されてもよい。好ましくは、長さ一致変換(length-consistent transformation)を計算する。
【００５５】
ステップc1)およびc2)を使用して、互いへ変換される一対の画像の複数の画像のステップb)で決定された変換の間の差として「差分画像」を決定する。
【００５６】
ステップc1):一対の画像のうちの2つの画像へ互いに変換するために数学的変換を適用する。
【００５７】
このステップでは、第1の画像は、前もって計算した数学的変換を用いて第2の画像の画像座標へ変換される。それによって座標範囲は、どちらの画像も共に重なることになる。図3では、2つの画像のエッジは、それぞれ黒い線として描かれている。
【００５８】
ステップc2):2つの画像についての画像の輝度値の画素ごとの減算によって差分画像を決定する。
【００５９】
このステップでは、例えば、重なっている領域内の変換された第1の画像は、第2の画像から減じられる。示した例示的な実施形態では、これによって、互いに対する2つの個々の画像の変位の程度により、2つの個々の画像のそれぞれより幾分より少ない画素を有する差分画像になる。差分画像の色深度は拡大され、一方、2つの個々の画像の色深度と比較される。8ビットの個々の画像の色深度の例の場合、差分画像は、約9ビットの色深度を用いて生成される。
【００６０】
こうして計算された差分画像は保存される。
【００６１】
図4には、本例になる差分画像を示す。図4では、0あたりの範囲内の画像の輝度値を有する画素がグレーで示されており、それに比べてより正の画像の輝度値を有する画素は、(白に至るまで)より明るく、より負の画像の輝度値を有する画素は、(黒に至るまで)より暗い。
【００６２】
ステップd1)、d2)およびd3)を使用して、ステップc)で決定された差分画像から「特有の画像変化点」を決定する。
【００６３】
ステップd1):画像変化の閾値を確立し、画像の絶対輝度値が画像変化の閾値を超える画像変化点をステップc)で決定された差分画像内のそれらの点として決定する。
【００６４】
示した例では、ビデオ画像シーケンスの個々の画像は、256個の可能な異なる濃淡値に対応する8ビットの色深度で記録される。差分画像を決定するための簡単な数学的な減算の場合、これらの濃淡値を「0」〜「255」の値で符号化することで、ステップc2)では、差分画像において、濃淡値のスケール(gray value scale)が、可能な濃淡値「-255」〜「+255」でもたらされる。ステップd1)の第1の実行で、画像変化の閾値は、例えば、一対の画像の個々の画像の濃淡値のスケールのほぼ中央にあるように選択され、すなわち、記載の例では約128の値で予め定められ得る。
【００６５】
代替として、例えば、差分画像に(実際に)生じる画像の輝度値に応じてステップd1)で最初に確立される画像変化の閾値を計算することが可能である。
【００６６】
次いで、差分画像の画像の輝度値の絶対値は、画素ごとにこの画像変化の閾値と比較される。ステップd1)において生じる「画像変化の画像(image variation image)」(二値画像)において、画像の絶対輝度値が画像の輝度閾値以下である差分画像における全ての画像の位置(画素)について、例えば「0」が入力され、画像の絶対輝度値が画像変化の閾値を超える全ての画像の位置について、「1」が入力される。この画像変化の画像では、それに応じて、「1」によって示されるそれらの領域は、ステップd1)で決定された画像変化点に対応する。
【００６７】
図5には、ステップd1)の第1の実行後に本例になる画像変化の画像を示す。画像の変化、すなわち、画素値「1」を有する画像領域は、図5において白で示され、画素値「0」を有する画像領域は、黒で示される。
【００６８】
ステップd2):少なくとも1つの所定の品質基準に基づいて、ステップd1)で決定された画像変化点の質を分析する。
【００６９】
このステップでは、画像変化の画像に含まれる画像変化のある特徴が「測定」され、少なくとも1つの所定の品質基準に基づいて評価を受ける。
【００７０】
誤警報の防止に関しては、具体的には本発明による検出方法を用いて、例えば、いくつの画像の変化が画像変化の画像内で「分離して(isolated)」あるのか、すなわち値「1」を有する画素がいくつあるのかの分析が、本明細書では検討される。用語「分離して」は、画像変化の画像においてすぐ隣の8つの隣接した画素の全てが、値「0」を有するという場合を特に意味し得る。そのような概して分離した画像の変化は、(例えば画像ノイズなどによる)人工的なものとみなされることになるので、ステップd2)で使用される品質基準は、そのような分離した画像の変化がより少なく存在するにつれて、決定された画像変化点の質が、より良く評価される(または、対応する品質基準が満たされる)ということを特にもたらすことができる。
【００７１】
代替としてまたは加えて、画像の輝度値「1」を有するまとまりのある画素が(例えば、最大数次第で)ほとんどないことで形成される画像領域がより多く存在するにつれて、画像変化の画像をより悪いものとして評価する品質基準が使用されてもよい。そのような画像の変化は、やはり一般に人工的なものとみなされる。これについての適切な最大数は、例えば個々の画像の画素の総数に応じて選択することができる。例えば、最大数は、画素の総数のある比率として選択されてもよい。
【００７２】
さらに、2つの上記品質基準は、「分離(isolation)」の存在が、すぐ隣の画素全てについて値0を必要とせず、すぐ隣の画素のこの所定の最小数(例えば少なくとも4、5または6個の隣接した画素)について十分であるという点で修正されてもよい。
【００７３】
ステップd3):品質基準が満たされている場合、ステップd1)で決定される画像変化点をステップd)で決定される特有の画像変化点として確立し、さもなければ、変更されたやり方で確立される画像変化の閾値でステップd1)およびd2)を繰り返す。
【００７４】
ステップd2)で使用された(1つまたは複数の)品質基準が満たされている場合、処理は、ステップe)へ続く。さもなければ、つまり、(1つまたは複数の)基準が満たされていなかった場合、個々または全てのそのような基準が、適宜、ユーザの入力によって変更可能として与えられてもよく、処理は、ステップd1)に戻り、ステップd1)のそのような繰り返しと共に、しかし、異なるように確立された画像変化の閾値が使用される。(変わらない)差分画像上でやはり実行される画像変化の計算と共に使用される画像変化の閾値は、したがって、ステップd2)の分析の結果に従って新たに調整される。これは、ステップd1)およびd2)の実行の繰り返しによって(1つまたは複数の)品質基準を満たす(または少なくともこれらの基準を「より良く」満たす)ためのものである。
【００７５】
例えば、先のステップd2)の品質分析が、ステップd1)およびd2)の繰り返しによって品質が所定の合格レベル未満であることを示している場合、画像変化の閾値は、増加させられる(それによってステップd1)における画像変化点の決定の感度は、それに応じて減少させられる)。逆も同様に、品質の評価が、ある(例えば、固定的または可変的に設定された)程度、所定の合格レベルを超える結果をもたらす場合、ステップd1)およびd2)の繰り返しは、減少した画像変化の閾値を用いて(すなわち、画像変化点を決定するために増加した感度を用いて)実行することができる。
【００７６】
したがって、有利なことに、ステップd1)、d2)およびd3)の使用は、テップd1)で決定された画像変化点またはここで決定された画像変化の画像の品質の反復改善を可能にする。
【００７７】
この最適化の終わりの後、処理は、ステップe)へ続く。例えば、(受け入れることができる品質改善なしで)ステップd1)およびd2)の繰り返しの所定の最大数が達成されている場合と仮定できるこのタイプの反復最適化が失敗の場合、ステップd1)、d2)およびd3)を含む処理セクションは、結果なしとして終了することもでき、これは、それぞれの一対の画像についての物体検出法全体の結果なしで終了をもたらす。
【００７８】
ここで説明した例では、図6に示す画像変化の画像は、この反復の品質改善に由来する。図6で理解できるように、現在、互いに密接に隣接した比較的大きいまとまりのある画像変化が含まれており、これは、この画像のこの点に位置する移動物体によって明らかに引き起こされたものである。
【００７９】
ステップe):ステップd)で決定された画像変化点から物点を決定する。
【００８０】
このステップでは、移動物体は、残りの画像変化、すなわち最後に計算した画像変化の画像(図6)に位置する残りの画像変化から、プログラム制御方式で適切な方法を用いて決定される。
【００８１】
このステップでは、例えば、比較的密接に隣接した(例えば、予めしっかりと定められた最大距離またはユーザの入力によって予め定めることができる距離より近い)画像変化であって、(例えば、予めしっかりと定められた最小サイズまたはユーザの入力によって予め定めることができるサイズより大きい)ある最小サイズをそれぞれ有する画像変化が、ある(移動した)物体に割り当てられるとみなされる。したがって、この物点の決定は、示した例ではステップe)からそれぞれの一対の画像に基づいて、(画像のほぼ中心で図中において認識できる)移動物体が検出されるという結果がもたらされる。
【００８２】
図7は、この一対の画像の「第2の画像」を示しており、そこでは、ステップe)の結果に基づいた位置フレームは、検出された移動物体の位置および大きさを示す。
【００８３】
もちろん、例として上述された方法は、そこで、ビデオ画像シーケンスの画像のさらなる対に適用されてもよく、その後に処理されるそのような一対の画像の「第1の画像」は、前もって処理された一対の画像の「第2の画像」であってもよい。
【００８４】
説明した物体検出法は、例えば、目標捕捉または目標追跡の範囲内で使用できることが特に有利であり、移動物体がいくつか検出される場合、ある特定の識別が、各物体に割り当てられることが好ましい。
【符号の説明】
【００８５】
a1、a2、b1〜b3、c1、c2、d1〜d3、e ・・・ ステップ
【特許請求の範囲】
【請求項１】
ビデオ画像シーケンスにおいて移動物体を検出する方法であって、
a)前記ビデオ画像シーケンスの一対の連続画像の一方の画像において特有の特徴点を決定するステップと、
b)ステップa)で決定された前記特有の特徴点を用いて、前記一対の画像のうちの2つの画像の一方を、前記一対の画像のうちの前記2つの画像の他方に投影するための数学的変換を決定するステップと、
c)ステップb)で決定された変換によって、互いへ変換される前記一対の画像の前記複数の画像の間の差として差分画像を決定するステップと、
d)ステップc)で決定された前記差分画像において特有の画像変化点を決定するステップと、
e)ステップd)で決定された前記特有の画像変化点から物点を決定するステップと
を含む方法において、
ステップd)が、
d1)画像変化の閾値を確立し、画像の絶対輝度値が前記画像変化の閾値を超える画像変化点を、ステップc)で決定された前記差分画像内のそれらの点として決定するステップと、
d2)少なくとも1つの所定の品質基準に基づいて、ステップd1)で決定された前記画像変化点の質を分析するステップと、
d3)前記品質基準が満たされている場合、ステップd1)で決定される前記画像変化点をステップd)で決定された前記特有の画像変化点として確立し、さもなければ、変更されたやり方で確立される画像変化の閾値でステップd1)およびd2)を繰り返すステップと
を含むことを特徴とする方法。
【請求項２】
ステップa)が、
a1)前記一対の画像の前記2つの画像の一方における特徴点を、前もって確立され、この画像の上に置かれた格子の格子点の近くで、それぞれ検出するステップと、
a2)少なくとも1つの所定の選択基準を用いて、前記特有の特徴点をステップa1)で検出された前記特徴点の選択として決定するステップと
を含む、請求項1または請求項1の前提部に記載の方法。
【請求項３】
ステップb)が、
b1)前記一対の画像の前記2つの画像の他方における対応する特有の特徴点を決定することによりステップa)で決定された前記特有の特徴点ごとに変位ベクトルを決定するステップと、
b2)少なくとも1つの所定の選択基準に基づいて、ステップb1)で決定された前記変位ベクトルの選択としてさらに使用される変位ベクトルを決定するステップと、
b3)ステップb2)で選択した前記変位ベクトルに基づいて、前記数学的変換を計算するステップと
を含む、請求項1または2、あるいは請求項1の前提部に記載の方法。
【請求項４】
ステップc)が、
c1)前記一対の画像の前記2つの画像へ互いに変換するために前記数学的変換を適用するステップと、
c2)前記2つの画像についての画像の輝度値の画素ごとの減算によって前記差分画像を決定するステップと
を含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
ステップd1)で最初に確立された前記画像変化の閾値が、前記差分画像に生じる前記画像の輝度値に応じて計算される、請求項1から4のいずれか一項に記載の方法。
【請求項６】
ステップd2)において、前記差分画像における分離した画素の形態の画像変化点の個数が、所定の最大数を超えないことが品質基準として使用される、請求項1から5のいずれか一項に記載の方法。
【請求項７】
ステップd2)で使用される前記品質基準が、ユーザの入力によって変更可能である、請求項1から6のいずれか一項に記載の方法。
【請求項８】
ステップe)において、前記物点が、ステップd)で決定された共に密接にある画像変化点の画像領域としてそれぞれ決定される、請求項1から7のいずれか一項に記載の方法。
【請求項９】
請求項1から8のいずれか一項に記載の方法を実施する装置であって、前記ビデオ画像シーケンスを発生させるイメージングセンサ装置と、ステップa)〜e)を実行するプログラム制御されたコンピュータ装置とを備える装置。
【請求項１】
ビデオ画像シーケンスにおいて移動物体を検出する方法であって、
a)前記ビデオ画像シーケンスの一対の連続画像の一方の画像において特有の特徴点を決定するステップと、
b)ステップa)で決定された前記特有の特徴点を用いて、前記一対の画像のうちの2つの画像の一方を、前記一対の画像のうちの前記2つの画像の他方に投影するための数学的変換を決定するステップと、
c)ステップb)で決定された変換によって、互いへ変換される前記一対の画像の前記複数の画像の間の差として差分画像を決定するステップと、
d)ステップc)で決定された前記差分画像において特有の画像変化点を決定するステップと、
e)ステップd)で決定された前記特有の画像変化点から物点を決定するステップと
を含む方法において、
ステップd)が、
d1)画像変化の閾値を確立し、画像の絶対輝度値が前記画像変化の閾値を超える画像変化点を、ステップc)で決定された前記差分画像内のそれらの点として決定するステップと、
d2)少なくとも1つの所定の品質基準に基づいて、ステップd1)で決定された前記画像変化点の質を分析するステップと、
d3)前記品質基準が満たされている場合、ステップd1)で決定される前記画像変化点をステップd)で決定された前記特有の画像変化点として確立し、さもなければ、変更されたやり方で確立される画像変化の閾値でステップd1)およびd2)を繰り返すステップと
を含むことを特徴とする方法。
【請求項２】
ステップa)が、
a1)前記一対の画像の前記2つの画像の一方における特徴点を、前もって確立され、この画像の上に置かれた格子の格子点の近くで、それぞれ検出するステップと、
a2)少なくとも1つの所定の選択基準を用いて、前記特有の特徴点をステップa1)で検出された前記特徴点の選択として決定するステップと
を含む、請求項1または請求項1の前提部に記載の方法。
【請求項３】
ステップb)が、
b1)前記一対の画像の前記2つの画像の他方における対応する特有の特徴点を決定することによりステップa)で決定された前記特有の特徴点ごとに変位ベクトルを決定するステップと、
b2)少なくとも1つの所定の選択基準に基づいて、ステップb1)で決定された前記変位ベクトルの選択としてさらに使用される変位ベクトルを決定するステップと、
b3)ステップb2)で選択した前記変位ベクトルに基づいて、前記数学的変換を計算するステップと
を含む、請求項1または2、あるいは請求項1の前提部に記載の方法。
【請求項４】
ステップc)が、
c1)前記一対の画像の前記2つの画像へ互いに変換するために前記数学的変換を適用するステップと、
c2)前記2つの画像についての画像の輝度値の画素ごとの減算によって前記差分画像を決定するステップと
を含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
ステップd1)で最初に確立された前記画像変化の閾値が、前記差分画像に生じる前記画像の輝度値に応じて計算される、請求項1から4のいずれか一項に記載の方法。
【請求項６】
ステップd2)において、前記差分画像における分離した画素の形態の画像変化点の個数が、所定の最大数を超えないことが品質基準として使用される、請求項1から5のいずれか一項に記載の方法。
【請求項７】
ステップd2)で使用される前記品質基準が、ユーザの入力によって変更可能である、請求項1から6のいずれか一項に記載の方法。
【請求項８】
ステップe)において、前記物点が、ステップd)で決定された共に密接にある画像変化点の画像領域としてそれぞれ決定される、請求項1から7のいずれか一項に記載の方法。
【請求項９】
請求項1から8のいずれか一項に記載の方法を実施する装置であって、前記ビデオ画像シーケンスを発生させるイメージングセンサ装置と、ステップa)〜e)を実行するプログラム制御されたコンピュータ装置とを備える装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１０１６１２（Ｐ２０１３−１０１６１２Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２４１６４２（Ｐ２０１２−２４１６４２）
【出願日】平成２４年１１月１日（２０１２．１１．１）
【出願人】（５０３１９５３１１）エーアーデーエス・ドイッチュラント・ゲーエムベーハー (11)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−２４１６４２（Ｐ２０１２−２４１６４２）
【出願日】平成２４年１１月１日（２０１２．１１．１）
【出願人】（５０３１９５３１１）エーアーデーエス・ドイッチュラント・ゲーエムベーハー (11)
【Ｆターム（参考）】
[ Back to top ]