ターゲット検出方法及び装置
【課題】
画像又は映像内のターゲットを検出する方法及び装置を提供する。
【解決手段】
ターゲット検出方法において、入力画像内の第1方向のエッジが検出されて、第1方向の複数のエッジを有するエッジ画像が取得される。第1方向の前記複数のエッジに従って1つ以上の候補ターゲットが生成される。入力画像内の第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が候補ターゲットのうちの1つに対応する。
画像又は映像内のターゲットを検出する方法及び装置を提供する。
【解決手段】
ターゲット検出方法において、入力画像内の第1方向のエッジが検出されて、第1方向の複数のエッジを有するエッジ画像が取得される。第1方向の前記複数のエッジに従って1つ以上の候補ターゲットが生成される。入力画像内の第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が候補ターゲットのうちの1つに対応する。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、ターゲット(標的)検出の分野に関し、より具体的には画像又は映像内のターゲットを検出する方法及び装置に関する。
【背景技術】
【0002】
画像内でのターゲット検出が広く使用されている。例えば、知的交通管理においては、道路上の往来を監視し、それにより道路上での様々な事故の可能性を未然に発見するために、映像に基づく車両探知が使用され得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
この開示に係る一部の実施形態により、画像又は映像内のターゲット(標的)を検出する方法及び装置が提供される。
【課題を解決するための手段】
【0004】
ここでは、開示に係る幾つかの態様の基本的な理解を提供するため、この開示の概要を提示する。この概要は、この開示を網羅的に要約するものではなく、また、この開示の主要あるいは重要な要素を特定したり、この開示の範囲を定めたりすることを意図するものではない。この概要の唯一の目的は、後述の詳細な説明への前置きとして、一部の概念を簡略化して提示することである。
【0005】
この開示に係る一実施形態によれば、ターゲット検出を行うとき、入力画像内の第1方向のエッジが検出されて、第1方向の複数のエッジを含むエッジ画像が取得される。そして、第1方向の前記複数のエッジに従って1つ以上の候補ターゲットが生成される。入力画像内の第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が候補ターゲットのうちの1つに対応する。
【図面の簡単な説明】
【0006】
この開示に係る実施形態の上述及びその他の目的、特徴及び利点は、以下の詳細な説明を図面とともに参照することによって、より十分に理解され得る。図面全体を通して、同一あるいは同様の構成要素は、同一あるいは類似の参照符号によって表される。なお、図面に示される構成要素は、簡略化して描かれたものであり、縮尺通りに描かれたものではない。
【図1】この開示に係る一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図2】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図3】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図4】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図5】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図6】第1方向に複数のエッジを含むエッジ画像に対してエッジ最適化を実行する一手法を概略的に示すフローチャートである。
【図7】この開示に係る特定の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図8】この開示に係る一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図9】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図10】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図11】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図12】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図13】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図14】この開示に係る特定の一実施形態に従ったターゲット検出方法によって処理された画像を例示する図である。
【図15】この開示に係る特定の一実施形態に従ったターゲット検出方法によって処理された画像を例示する図である。
【図16】この開示の実施形態又は例に従った方法を実現するためのコンピュータの構造を概略的に示すブロック図である。
【発明を実施するための形態】
【0007】
以下、この開示に係る実施形態を図面に関連付けて説明する。なお、1つの図に示す、あるいは1つの実施形態にて開示する要素及び/又は特徴は、1つ以上のその他の図又は実施形態に示す要素及び/又は特徴と組み合わされ得る。また、明瞭さ及び簡潔さのため、この開示に係る解決策に密接に関連する装置構造及び/又は処理工程のみを図に示すこととし、この開示にあまり関連しない、あるいは技術的に周知の、その他の細部は省略することとする。
【0008】
この開示において、所謂“画像”は、一枚又は一組の静止画であってもよいし、例えば映像(ビデオ)などの一連の画像であってもよい。この開示に係る一部の実施形態において、検出すべきターゲットについての予備知識が、ターゲットの候補を生成するために使用される。例えば、検出すべきターゲットが車両である場合、車両の外観上の特徴(例えば、対称性、影、隅及び角の部分、垂直方向若しくは水平方向の稜線部、並びに質感や車両ライト(ランプ)の位置若しくは形状などのその他の情報)についての予備知識を用いることによって、ターゲットの候補が生成され得る。
【0009】
図1は、この開示に係る一実施形態に従ったターゲット検出方法の概略的なフローチャートである。図1に示す実施形態において、ターゲットの候補(候補ターゲットとも称する)は、或る画像内のターゲットのエッジ特徴を用いることによって生成される。
【0010】
図1に示すように、この実施形態に係るターゲット検出方法はステップ103及び113を含み得る。
【0011】
ステップ103にて、或る特定の方向(簡潔さのため、この方向を第1方向と呼び、この方向に沿ったエッジを第1方向のエッジと呼ぶ)のエッジを検出し、第1方向の複数のエッジを含むエッジ画像を得る。所謂“第1方向”は縦(鉛直)方向又は横(水平)方向の何れかであってもよいし、縦方向又は横方向とは異なるその他の方向であってもよい。この画像内のターゲットのエッジ特徴に従って1つの方向が第1方向として選択されてもよい。例えば、入力画像が道路交通の写真又はビデオである場合、画像内では互いによって隠されていることがあるが、画像内に示された車両群の各々が縦方向及び横方向のエッジを含む。そのような場合、縦方向が第1方向として設定され得る。代替的に、横方向が第1方向として設定されてもよい。
【0012】
画像内で第1方向のエッジを検出することには、如何なる適切な手法が用いられてもよい。例えば、第1方向のエッジ用の検出算術演算子と入力画像とを用いて畳み込み演算を実行することで、第1方向のエッジを含むエッジ画像が取得され得る。一例として、第1方向のエッジ用の検出算術演算子は、勾配演算子、ソーベル(Sobel)演算子、プレヴィット(Prewitt)演算子、ラプラシアン(Laplacian)演算子、又はこれらに類するものとし得る。
【0013】
そして、ステップ113にて、第1方向の何れの2つのエッジの間にも1つのターゲットが存在するという仮定に基づき、検出された第1方向の複数のエッジに従って、1つ以上のターゲットの候補(すなわち、候補ターゲット)が生成される。換言すれば、入力画像内の第1方向の複数のエッジのうちの如何なる2つのエッジについても、その間の領域が候補ターゲットのうちの1つに対応する。
【0014】
例えば、検出すべきターゲットが車両であり且つ画像が複数の車両を含む場合、画像内の車両群が互いによって隠され、それにより、各車両の対称性及び/又は画像内のその他の特徴が損なわれていることがある。そうとはいえ、これらの車両ターゲットは、例えば隠されていても、幾つかの縦方向又は横方向のエッジを含むことができ、これらのエッジは車両の右側若しくは左側の境界(又は、上側若しくは下側の境界)を含み得る。この点で、生成される各候補ターゲットは、対応する第1方向の2つのエッジ(例えば、縦方向の2つのエッジ、又は横方向の2つのエッジ)の間の領域に対応し得る。一例として、この領域は長方形のブロックとして表現され得る(他の例では、この領域は例えば円形などのその他の幾何学形状で表現されてもよい)。第1方向が縦方向である場合、各候補(各候補ターゲット)の幅は、その候補ターゲットに対応する2つの縦方向エッジの間の距離となり、その高さは、画像内の縦方向エッジの高さ(すなわち、画像内での縦方向位置)に従って決定され得る。ここでは詳述しないが、当然ながら、候補ターゲットの高さを決定するために、車両の大きさの予備知識(画像の解像度、画像の撮影角度及び撮影距離、並びに画像内のターゲットの大きさ及び縦横比に関連する)が考慮に入れられてもよい。第1方向を縦方向にとると、複数の候補は、ステップ103で得られたエッジ画像内の第1方向(すなわち、この例において縦方向)のエッジに基づいて生成される。エッジ画像がk(k≧1)個の縦方向エッジを含み且つこれらの縦方向エッジのうちの何れの2つの間にも1つの車両が存在し得ると仮定すると、順列及び組み合わせの原理に従って、
【数1】
通りの組み合わせ:
【数2】
が生成され得る。
【0015】
この等式において、“!”は階乗演算を表す。任意の2つの縦方向エッジ間の画像ブロックが車両候補と見なされ得る。従って、
【数3】
個の可能性ある車両候補が生成され得る。一例として、縦方向の各車両候補の高さは、対応する縦方向エッジの横方向位置によって決定され得る。
【0016】
図1に示した実施形態において、画像内の候補(候補ターゲット)は、画像内の或る特定の方向に沿ったエッジ群のうちの何れの2つの間にも1つのターゲットが存在し得るという仮定に基づいて生成される。1つの方向のエッジのみが検出に利用されるので、検出の計算は比較的単純であり、それにより、画像内でのターゲット検出が高速化される。また、第1方向の如何なる2つのエッジについても、その間の領域が1つの候補ターゲットに対応すると見なされるので、検出の失敗が低減され得る。当然ながら、検出された候補ターゲットの中には幾つかの誤った検出が存在し得るが、それらは後続の処理でフィルタリング及び/又は最適化を施され得る。
【0017】
図2は、他の一実施形態に従ったターゲット検出方法を示している。図1と同様に、図2に示す方法は、ステップ103及び113を用いて、画像内の第1方向のエッジを検出して候補ターゲットを生成する。違いは、図2に示す方法においては、先行ステップにて生成された各候補を最適化するために、別の1つの方向(第2方向と呼ぶ)も使用されることにある。
【0018】
図2に示すように、この実施形態に係るターゲット検出方法は更に、ステップ215及び221を含み得る。
【0019】
具体的には、ステップ215にて、入力画像内の各候補ターゲットに対応する画像ブロック内で第2方向のエッジが検出され、第2方向の1つ以上のエッジを含むエッジ画像ブロックが取得される。第2方向は第1方向とは異なる方向である。例えば、第1方向として縦方向が設定される場合、画像内のターゲットエッジについての予備知識に従って、横方向、又は第1方向とは異なるその他の方向が、第2方向として設定され得る。また、第1方向として横方向が設定される場合、縦方向又はその他の方向が第2方向として設定され得る。画像内で第2方向のエッジを検出することには、如何なる適切な手法が用いられてもよい。例えば、第2方向のエッジ用の検出算術演算子と入力画像とを用いて畳み込み演算を実行することで、第2方向のエッジを含むエッジ画像が取得され得る。例として、第2方向のエッジ用の検出算術演算子は、勾配演算子、ソーベル演算子、プレヴィット演算子、ラプラシアン演算子、又はこれらに類するものとし得る。
【0020】
そして、ステップ221にて、各候補ターゲットに対応する第2方向の複数の検出エッジに従って、各候補ターゲットが最適化される。例えば、第1方向として縦方向が設定され、検出すべきターゲットが車両であり、且つ入力画像が車両の背後又は車両の正面から撮影された画像である場合、画像内の車両のフロント部分又はリア部分は、横方向(第2方向)の勾配の構造情報を豊富に含む。各車両はその上部に滑らかなフロントウィンドウ又はリアウィンドウを有し、各車両の下は道路の表面である。これらの部分の間の領域は各々、豊富な横方向エッジを含む。車両ターゲットの予備知識に従い、横方向エッジの位置情報を用いて、縦方向エッジに基づいて生成された候補ターゲットを最適化し得る。例えば、第1方向における候補ターゲットの高さ(すなわち、候補ターゲットの縦方向の高さ)が最適化され得る。
【0021】
図3は、他の一実施形態に従ったターゲット検出方法を示している。図3に示す実施形態においては、図2を参照して説明した実施形態においてと同様に、第1方向のエッジに基づいて生成された各候補ターゲットを最適化するために、画像内の第2方向のエッジが使用される。具体的には、図1に示したステップ103及び113を用いることによって画像内の第1方向のエッジを検出して1つ以上の候補ターゲットを生成した後に、図3に示すターゲット検出方法は更に、ステップ315、317及び321を含んでいる。
【0022】
ステップ315にて、入力画像内の各候補ターゲットに対応する画像ブロック内で第2方向のエッジが検出され、それにより、第2方向の複数のエッジを含むエッジ画像ブロックが取得される。エッジ画像ブロックは各候補ターゲットに対応する。ステップ315及び321は、図2に示したステップ215及び221と同様であり、ここでは詳述しない。
【0023】
ステップ317にて、ステップ315で得られた、各候補ターゲットに対応するエッジ画像ブロックが、第2方向のエッジを密に有する領域がエッジ画像ブロック内で検出されるように更に処理される。密な第2方向のエッジを有する領域を得るようにエッジマスクブロックをフィルタリングするために、第2方向のエッジを密に有する領域に対して比較的強い応答を有し且つその他の領域に対して比較的弱い応答を有するフィルタが使用され得る。
【0024】
一例として、混合(ミックスド)ガウス関数を有するように設計された適応フィルタが、エッジ画像ブロックをフィルタリングするために使用され得る。混合ガウス関数f(y)は、次式:
【数4】
によって表され得る。
【0025】
この式において、g(y;μi,δi)は、平均値μi及び分散δiを有するガウス関数を表し、kはガウス関数の数を表し、wiはガウス関数の線形係数を表す。これらのパラメータは、ここでは説明を省略するが、フィルタが第2方向のエッジを密に有する領域に対して比較的強い応答を有し且つその他の領域に対して比較的弱い応答を有するように、適切に選択あるいは調整され得る。
【0026】
例えば、第1方向として縦方向が設定され、検出すべきターゲットが車両であり、且つ入力画像が車両の背後又は車両の正面から撮影された画像である場合、画像内で密な横方向エッジを有する領域は、例えばフロントウィンドウ又はリアウィンドウと車両下の路面との間の領域など、車両ターゲットのフロント部分又はリア部分を含み得る。画像をフィルタリングするために使用される該フィルタは、画像内のこれらの領域に対して強い応答を有するが、その他の領域に対しては比較的弱い応答を有する。例えば、密な横方向エッジを有しない領域をフィルタリングすることによって得られた画像領域は、無秩序状態を示し得る。密な横方向エッジを有する検出領域と車両ターゲットの予備知識とを用いることにより、車両ターゲットの上方境界及び下方境界を効率的に決定することができ、それにより、例えば各候補ターゲットの第1方向の高さ(すなわち、縦方向の高さ)が最適化されるなど、縦方向エッジに基づいて生成された候補ターゲットが最適化され得る。
【0027】
図4は、他の一実施形態に従ったターゲット検出方法を示している。図4に示す実施形態においては、図3を参照して説明した実施形態においてと同様に、第1方向のエッジに基づいて生成された各候補ターゲットを最適化するために、画像内の第2方向のエッジが使用される。具体的には、図1に示したステップ103及び113を用いることによって画像内の第1方向のエッジを検出して1つ以上の候補ターゲットを生成した後に、図4に示すターゲット検出方法は更に、ステップ415、417、419及び421を含んでいる。
【0028】
ステップ415及び417は、図3に示したステップ315及び317と同様であり、ここでは説明を繰り返さない。
【0029】
各候補ターゲットに対応し且つ第2方向の複数のエッジを含むエッジ画像ブロックをフィルタリングすることによって、第2方向のエッジを密に有する領域を検出した後、ステップ419にて、検出された画像ブロックに対して、二値化演算及びクローズ(close)演算が実行され得る。
【0030】
特定の一例として、二値化演算は次式:
【数5】
を用いて実行され得る。
【0031】
この式において、Bは二値化演算前の画像を表し、B(i,j)は画像Bの位置(i,j)にある画素の値を表す。そして、TBは二値化演算により得られる画像を表し、TB(i,j)は画像TBの位置(i,j)にある画素の値を表す。i及びjはともに整数であり、(i,j)は画像内の2次元座標を表す。th_vは、二値化演算に用いられる閾値を表す。画像Bの画素(i,j)の値B(i,j)が閾値以上である場合、画像TBの同一位置(i.j)にある画素の値TB(i,j)は1として設定され、そうでなければ、値TB(i,j)は0として設定される。閾値は、実際の用途シナリオに従って決定且つ/或いは調整されることができ、ここでは如何なる特定の値にも限定されない。
【0032】
特定の一例として、クローズ演算は次式:
【数6】
を用いて実行され得る。
【0033】
この式において、OBは、画像TBに対してクローズ演算を実行することによって得られる画像を表し、SEはクローズ演算の構造算術演算子(又は、構造要素(Structure Element;SE)と呼ぶ)を表す。構造演算子SEは実際の用途シナリオに従って選定され得る。例えば、構造演算子SEは、画像内のターゲットの第2方向の大きさ、及び/又は第2方向のエッジを密に有するとして検出された領域の大きさに基づいて決定されることができ、如何なる特定の値にも限定されるべきでない。
【0034】
ステップ421にて、各候補ターゲットが、その候補ターゲットに対応する第2方向の複数の検出エッジに従って最適化される。例えば、第1方向における候補ターゲットの高さが最適化され得る。このステップ421は、図3に示したステップ321と同様であり、ここでは説明を繰り返さない。
【0035】
二値化及びクローズ演算を用いることにより、画像内の第2方向のエッジを密に有する領域が強調され、それにより候補ターゲットの最適化が向上される。
【0036】
図5は、他の一実施形態に従ったターゲット検出方法を示している。図5に示す方法は図1の方法と同様であり、違いは、図5に示す方法においては、検出された第1方向のエッジがノイズを除去するように最適化され、それにより後続ステップで生成される候補ターゲットの精度が向上されることにある。
【0037】
図5に示すように、この実施形態に係るターゲット検出方法は、ステップ503、505及び513を含み得る。
【0038】
ステップ503にて、入力画像内の第1方向のエッジが検出され、第1方向の複数のエッジを含むエッジ画像が取得される。ステップ503は上述のステップ103と同様であり、ここでは説明を繰り返さない。
【0039】
ステップ503で生成されたエッジ画像には、例えば過度に短い線及び/又は過度に傾斜した線などの多くのノイズが存在し得る。ステップ505にて、ステップ503で得られたエッジ画像内の第1方向のエッジが、検出されたエッジの中のノイズを除去するように最適化され得る。
【0040】
図6は、エッジ画像内の第1方向のエッジを最適化する手法の一例を示している。図6に示すように、最適化ステップ505は、形態学的フィルタを用いることによって形態学的フィルタリングがエッジ画像に対して実行されるステップ505−1を含み得る。例えば、ステップ505−1にて、第1方向の構造要素を用いることによって、クローズ及びオープン(open)フィルタリング演算がエッジ画像に対して実行されることで、ノイズがフィルタリング除去され、ターゲットの境界を識別することに使用可能な第1方向のエッジが出力され得る。より具体的には、グレー(階調)レベルのエッジ画像に対して、グレーレベル形態学的クローズ−オープンフィルタリングが実行され得る。例えば、エッジ画像に対して、先ずクローズ演算が実行され、その後にオープン演算が実行され得る。第1方向の構造要素をSEで表し、且つ第1方向のエッジを含むエッジ画像をEiで表すとすると、エッジ画像に実行されるクローズ−オープンフィルタリングは、次式:
【数7】
によって表され得る。
【0041】
この式において、記号:
【数8】
はクローズ演算を表し、記号:
【数9】
はオープン演算を表し、MEiは、形態学的フィルタリングによって得られる画像を表す。構造要素SEは、画像内の検出すべきターゲットの大きさ(例えば、画像内のターゲットの第1方向のエッジのサイズ)に基づいて決定されることができ、如何なる特定の値にも限定されるべきでない。
【0042】
ステップ505−1で実行される形態学的フィルタリングを用いることにより、小さいサイズのノイズが画像から除去され得る。例えば、第1方向として縦方向が設定され且つ第2方向として横方向が設定される場合、同じ横座標にある複数の縦方向エッジ(縦方向の線分として示される)が互いに接続されて、比較的大きい長さを有する縦方向エッジが得られるとともに、小さいサイズのノイズは除去される。
【0043】
別の一例として、ステップ505は更に、図6に示すステップ505−2を含んでいてもよい。ステップ505−2にて、形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングが実行され得る。例えばメジアン(median)フィルタリング又はこれに類するものなど、如何なる適切な平滑化フィルタリング法が用いられてもよい。平滑化フィルタリングは、エッジ画像内の候補ターゲットの第1方向の境界を見出すこと、すなわち、第1方向のエッジを密に有する位置又は高い輝度を有する第1方向のエッジの位置を見出すことを容易にし、それにより、生成される候補ターゲットの精度を向上させる。
【0044】
別の一例として、ステップ505は更に、図6に示すステップ505−3を含んでいてもよい。ステップ505−3にて、形態学的フィルタリングを施されたエッジ画像又は平滑化フィルタリングを施されたエッジ画像に対して、エッジ強調が実行され得る。例えば二値化処理又はこれに類するものなど、如何なる適切なエッジ強調法が用いられてもよい。
【0045】
ステップ505での処理の後、ステップ513にて、第1方向の如何なる2つのエッジ間にも1つのターゲットが存在するとの仮定の下で、第1方向の複数の検出エッジに基づいて、1つ以上の候補ターゲットが生成される。画像内の第1方向の検出エッジ群のうちの如何なる2つについても、その間の領域が1つの候補ターゲットに対応する。換言すれば、各候補ターゲットは、画像内の第1方向の2つの対応するエッジ間の領域に対応する。ステップ513は上述のステップ113と同様であり、ここでは、その詳細な説明は省略する。ステップ505での第1方向のエッジの最適化は、生成される候補ターゲットにおける誤り警告を削減し得る。
【0046】
図7は、この開示に係る特定の一実施形態に従ったターゲット検出方法を示している。
【0047】
図7に示すように、この特定の実施形態に係るターゲット検出方法は、1つ以上のターゲット関連領域を得るために入力画像の前景が検出される前景検出ステップ701を含み得る。このステップの後、入力画像内のターゲット関連領域に対応する領域が、以下のエッジ検出ステップ及び候補ターゲット生成ステップによって更に処理される。
【0048】
一例として、検出すべきターゲットが車両であり、第1方向として縦方向が設定され、且つ第2方向として横方向が設定されると仮定すると、先ず、車両を含む入力画像に対して前景検出が実行され、その後、検出された各ターゲット関連領域の位置が入力画像にマッピングされる。図14(A)は、車両を含む入力画像内で検出されたターゲット関連領域に対応するグレーレベル画像を例示している。
【0049】
そして、ステップ703にて、入力画像内の1つ以上のターゲット関連領域に対応する領域が、その中の第1方向のエッジ(例えば、縦方向エッジ)を検出するために処理され、それにより、複数の縦方向エッジを含むエッジ画像が取得される。この例においては、縦方向エッジを検出するためにソーベル演算子が用いられている。図14(B)は、ソーベル演算子を用いて図14(A)の画像を処理することによって得られたエッジ画像を示している。
【0050】
必要に応じて、第1方向のエッジを含むエッジ画像は最適化され得る。例えば、エッジ画像は形態学的フィルタリングを施されてもよい。具体的には、長さ10の縦方向の線が、形態学的な構造要素SE:
【数10】
として使用され得る。
【0051】
この構造要素は、図14(B)に示したグレーレベルエッジ画像に対するクローズ演算とその後のオープン演算とを実行するために使用され得る。その結果、図14(C)に示す画像が得られる。理解されるように、上述の長さ10の構造要素は単なる一例である。この開示に係る実施形態又は例に使用される構造要素は、この特定の例に限定されるものではない。
【0052】
必要に応じて、画像は更に、マスク“mask”:
【数11】
を用いた平滑化フィルタリングによって処理され得る。
【0053】
図14(D)は、図14(C)のエッジ画像を式(7)のマスクを用いて平滑化フィルタリングすることによって得られた画像を示している。
【0054】
必要に応じて、画像に更にエッジ強調が実行され得る。例えば、図14(D)に示した画像に対して二値化演算が実行され得る。この例において、二値化演算に用いられるグレーレベル閾値は35に設定されている。図14(E)は、図14(D)の画像に二値化演算を実行することによって得られた二値エッジ画像を示している。
【0055】
そして、ステップ713にて、第1方向の如何なる2つのエッジの間にも1つのターゲットが存在するという仮定に基づいて、1つ以上の候補ターゲットが生成される。例えば、図14(E)に示したエッジ画像内の縦方向エッジに従って、可能性ある車両の位置が見出される。すなわち、1つ以上の車両候補が生成される。具体的には、図14(E)の画像内の車両エッジが縦方向に投影され得る。この例においては、5より大きい線幅を有する9個の縦方向エッジが保持されている。これら9個の縦方向エッジに基づいて、
【数12】
対の縦方向の仮位置が生成される。二値エッジ画像内の各対の縦方向の仮位置の左側及び右側の境界に対応する関連領域に基づいて、その関連領域を内包する最小の長方形ボックス(枠)が車両候補として判断される。図14(F)において、白い枠が、生成された候補ターゲット(車両候補)を表している。
【0056】
そして、ステップ715にて、画像内の各候補ターゲットに対応する画像ブロック内の第2方向のエッジが検出される。例えば、図15(A)は、図14(F)内の1つの長方形ボックス(車両候補)に対応するグレーレベル画像ブロックを示しており、図15(B)は、図15(A)の画像ブロック内のエッジをソーベル演算子を用いて検出することによって得られた横方向勾配画像ブロックを示している。
【0057】
必要に応じて、第2方向のエッジを含むエッジ画像は最適化され得る。例えば、図15(A)内の車両の高さと幅との比が1:1.5であり、且つ車両のフロント(リア)の影とフロント(リア)ウィンドウと車両の底部との比が1:1:1であるとして、画像ブロックは混合ガウス関数を用いてフィルタリングされ得る。特定の一例として、式(2)に示したフィルタを用いることができ、パラメータは以下のように設定され得る:
【数13】
ただし、n及びmは、それぞれ、車両の幅及び高さを表す。
【0058】
この混合ガウス関数は、図15(B)の横方向勾配画像ブロックを用いた畳み込み演算を実行するために使用され、それにより、図15(C)に示すフィルタリングされた画像ブロックが得られる。
【0059】
必要に応じて、フィルタリングされた画像ブロックに対して更に二値化及びクローズ演算が実行されて、車両のフロント(又はリア)の領域が生成さ得る。図15(D)は、図15(C)の画像に二値化及びクローズ演算を実行することによって得られた車両のフロント(又はリア)の領域を含む画像を示しており、車両のフロントを内包する最大の関連領域が長方形ボックスによって表されている。
【0060】
そして、ステップ721にて、ステップ713で生成された候補ターゲットが、第2方向のエッジを密に有する領域(すなわち、図15(D)に示した車両のフロントを内包する領域)を用いることによって最適化され、最適化された車両候補が得られる。
【0061】
得られた車両候補は、新の車両ターゲットに加えて、誤検出を含み得る。必要に応じて、候補ターゲット(例えば、車両候補)は更に、分類器(例えば、車両分類器)を用いることによって検証されてもよい。
【0062】
例えば、ターゲットでないものからターゲットを区別するようにターゲット分類器を訓練するために、図7に示すステップ731、732及び733が用いられ得る。先ず、訓練サンプルが収集される。例えば、検出すべきターゲットが車両である場合、これらの訓練サンプルは、車両サンプルと非車両サンプルとを含む2種類を含み得る。このとき、車両サンプルは手作業でマーキングされることができ、また、可能な限り多くの種類の車両形状を含むべきである。非車両サンプルはランダムに生成され、非車両サンプルが車両サンプルと合致する率は或る一定の閾値より低くされるべきである。そして、ステップ732にて、これらのサンプルの特徴値が計算される。例えば、計算される特徴は、ターゲットを効率的に認識するために使用されることが可能な特徴である。全てのターゲットサンプル及び非ターゲットサンプルの特徴値が計算される。一例として、勾配方向ヒストグラム(Histogram of Oriented Gradients;HOG)特徴が利用され得る。HOG特徴は勾配方向のヒストグラムに基づく局所的な形態学的特徴である。別の一例として、ハール(Haar)ウェーブレット特徴又はこれに類するものが利用され得る。これらの特徴に関しては、N.Dalal及びB.Triggsによる「Histograms of Oriented Gradients for Human Detection」(Proceedings of the IEEE international conference on computer vision and pattern recognition、第1巻、pp.1-8、2005年)を参照することができ、ここでは詳細な説明は省略する。そして、ステップ733にて、このような特徴がターゲット分類器を訓練するための入力として使用される。ターゲット分類器は、サポートベクターマシン、ニューラルネットワーク分類器、若しくは近傍分類器(neighbor classifier)、又はここに列挙していない何らかのその他の適切な分類器とし得る。
【0063】
必要に応じて、図7に示したターゲット検出方法は更に、分類器を用いて候補ターゲットを検証するステップ723を含んでいてもよい。例えば、検出すべきターゲットが車両である場合、生成された車両候補を検証するために、上述のようにして訓練された車両分類器が使用され得る。具体的には、画像内の候補に対応する領域の特徴値が計算されてターゲット分類器に入力される。そして、ターゲット分類器によって出力された検証結果に従って、誤った検出が除去される。ターゲット分類器の検証に合格した候補のうち、同一のターゲットに対応する1つ以上の候補は、それらの間の類似性に従って結合されることができ、真のターゲット位置が得られる。
【0064】
この開示に係る一部の実施形態によれば、画像内のターゲットを検出する装置が提供される。
【0065】
図8は、一実施形態に従ったターゲット検出装置のブロック図を示している。図1に示した方法の実施形態と同様に、図8に示すターゲット検出装置800は、入力画像内のターゲットのエッジ特徴を用いることによって候補(すなわち、候補ターゲット)を生成する。
【0066】
図8に示すように、この実施形態に係るターゲット検出装置800は、第1のエッジ検出装置801と候補ターゲット生成装置802とを含み得る。
【0067】
第1のエッジ検出装置801は、或る特定の方向(以下では、この方向を第1方向と呼び、この方向に沿ったエッジを第1方向のエッジと呼ぶ)のエッジを検出し、第1方向の複数のエッジを含むエッジ画像を得る。上述の方法の実施形態と同様に、第1方向は縦(鉛直)方向又は横(水平)方向の何れかであってもよいし、縦方向又は横方向とは異なるその他の方向であってもよい。画像内の検出すべきターゲットのエッジ特徴に従って1つの方向が第1方向として選択されてもよく、画像内のその方向のエッジが検出され得る。上述の方法の実施形態又は例と同様に、第1のエッジ検出装置801は、如何なる適切な手法を用いて入力画像内の第1方向のエッジを検出してもよい。ここではその説明は繰り返さないこととする。
【0068】
候補ターゲット生成装置802は、第1方向の何れの2つのエッジの間にも1つのターゲットが存在するという仮定に基づき、第1のエッジ検出装置801によって検出された第1方向の複数のエッジに従って、1つ以上の候補を生成する。画像内の第1方向の複数のエッジのうちの如何なる2つについても、その間の領域が1つの候補(候補ターゲット)に対応する。候補ターゲット生成装置802は、図1のステップ113を参照して説明した手法を用いることによって候補ターゲットを生成し得る。ここではその説明は繰り返さないこととする。
【0069】
図8に示したターゲット検出装置においては、画像内の候補ターゲットを検出することに1つの方向のエッジのみが使用されるので計算が比較的単純であり、それにより、画像内でのターゲット検出が高速化される。また、第1方向の如何なる2つのエッジについても、その間の領域が1つの候補ターゲットに対応すると見なされるので、検出の失敗が低減され得る。
【0070】
図9は、他の一実施形態に従ったターゲット検出装置900を示している。図8の実施形態と同様に、ターゲット検出装置900も、第1のエッジ検出装置(901で表す)と候補ターゲット生成装置(902で表す)とを含んでいる。違いは、ターゲット検出装置900が更に、別の1つの方向(第2方向と呼ぶ)のエッジを用いることによって各候補ターゲットを最適化するように構成されていることにある。図9に示すように、ターゲット検出装置900は更に、第2のエッジ検出装置903と候補ターゲット最適化装置904とを含んでいる。
【0071】
第1のエッジ検出装置901及び候補ターゲット生成装置902は、図8に示した第1のエッジ検出装置801及び候補ターゲット生成装置802と同様の機能を有しており、ここでは説明を繰り返さない。第2のエッジ検出装置903は、候補ターゲット生成装置902によって生成された各候補ターゲットに対応する画像ブロック内で第2方向のエッジを検出して、第2方向の複数のエッジを含むエッジ画像ブロックを取得する。第2方向は第1方向とは異なる方向である。上述の方法の実施形態/例と同様に、如何なる適切な手法を用いて画像内の第2方向のエッジを検出してもよい。ここではその説明は繰り返さないこととする。
【0072】
候補ターゲット最適化装置904は、第2のエッジ検出装置903によって検出された、候補ターゲットに対応する第2方向の1つ以上のエッジに従って、各候補ターゲットを最適化する。例えば、第1方向として縦方向が設定され、検出すべきターゲットが車両であり、且つ入力画像が車両の背後又は車両の正面から撮影された画像である場合、画像内の車両のフロント部分又はリア部分は、横方向(第2方向)の勾配の構造情報を豊富に含む。各ターゲット車両はその上部に滑らかなフロントウィンドウ又はリアウィンドウを有し、各車両の下は道路の表面である。これらの部分の間の領域は各々、豊富な横方向エッジを含む。車両ターゲットの予備知識に従い、横方向エッジの位置情報が、縦方向エッジに基づいて生成された候補ターゲットを最適化するために使用され得る。例えば、第1方向における候補ターゲットの高さ(すなわち、候補ターゲットの縦方向の高さ)が最適化され得る。
【0073】
特定の一実施形態として、候補ターゲット最適化装置904は、候補ターゲットを最適化するために、図3又は図4を参照して説明した手法を用い得る。
【0074】
図10は、特定の一実施形態に従ったターゲット検出装置1000を示している。図9に示した実施形態と同様に、図10のターゲット検出装置1000は、1001で表す第1のエッジ検出装置と、1002で表す候補ターゲット生成装置と、1003で表す第2のエッジ検出装置と、1004で表す候補ターゲット最適化装置とを含んでいる。違いは、図10のターゲット検出装置1000が更に第1のフィルタ1005を含み得ることにある。
【0075】
第1のエッジ検出装置1001、候補ターゲット生成装置1002、第2のエッジ検出装置1003及び候補ターゲット最適化装置1004は、それぞれ、図9に示した装置901、902、903及び904と同様の機能を有しており、ここでは説明を繰り返さない。
【0076】
第1のフィルタ1005は、第2のエッジ検出装置1003によって出力された各候補に対応するエッジ画像ブロックを更に処理して、エッジ画像ブロック内の第2方向のエッジを密に有する領域を検出するように構成される。第1のフィルタ1005は、画像内の第2方向のエッジを密に有する領域に対して比較的強い応答を有し且つ画像内のその他の領域に対して比較的弱い応答を有するフィルタである。一例として、第1のフィルタ1005は、混合ガウス関数(例えば、式(2)に示した混合ガウス関数)を有するように設計された適応フィルタとし得る。混合ガウス関数のパラメータは、上述の方法の実施形態又は例に従って設定されることができ、ここでは説明を繰り返さない。
【0077】
候補ターゲット最適化装置1004は、第1のフィルタ1005によって検出された第2方向のエッジを密に有する領域を用いて、各候補ターゲットを最適化し得る。例えば、候補ターゲットの第1方向における高さが最適化され得る。
【0078】
一例として、ターゲット検出装置1000は更に二値化処理装置1006を含み得る。第1のフィルタ1005が第2方向のエッジを密に有する領域を検出した後、二値化処理装置1006は、検出された画像ブロックに対して二値化及びクローズ演算を実行し得る(例えば、二値化及びクローズ演算は、式(2)及び(3)に示した手法を用いて実行され得る)。二値化及びクローズ演算を用いることにより、画像ブロック内の第2方向のエッジを密に有する領域が強調され、それにより、候補ターゲット最適化装置1004によって実行される候補ターゲットの最適化の結果が改善され得る。
【0079】
図11は、この開示に係る他の一実施形態に従ったターゲット検出装置1100を示している。図8の実施形態と同様に、図11に示すターゲット検出装置1100は、第1のエッジ検出装置(1101で表す)と候補ターゲット生成装置(1102で表す)とを含み得る。違いは、図11に示すターゲット検出装置1100が更に、ノイズを除去するように第1方向のエッジを最適化し、それにより、生成される候補ターゲットの精度を向上させるように構成され得ることにある。具体的には、ターゲット検出装置1100は更にエッジ最適化装置1107を含み得る。
【0080】
第1のエッジ検出装置1101及び候補ターゲット生成装置1102は、それぞれ、図8に示した第1のエッジ検出装置801及び候補ターゲット生成装置802と同様の機能を有しており、ここでは説明を繰り返さない。第1のエッジ検出装置1101によって出力されたエッジ画像は、例えば過度に短い線及び/又は過度に傾斜した線などの多くのノイズを含み得る。エッジ最適化装置1107は、第1のエッジ検出装置1101によって出力されたエッジ画像内の第1方向のエッジを、それらのエッジ内のノイズを除去するように最適化し得る。
【0081】
図12は、エッジ最適化装置1107の構成の一例を示している。図12に示すように、エッジ最適化装置1107は形態学的フィルタ1107−1を含み得る。形態学的フィルタ1107−1は、第1のエッジ検出装置1101によって出力されたエッジ画像に対して形態学的フィルタリングを実行するように構成される。特定の一例として、形態学的フィルタ1107−1は、例えば式(5)の手法といった、方法の実施形態/例を参照して説明したフィルタリング方法を用いることによって形態学的フィルタリングを実行することができ、ここでは説明を繰り返さない。形態学的フィルタ1107−1を用いることにより、小さいサイズのノイズがエッジ画像から除去され得る。例えば、第1方向として縦方向が設定され且つ第2方向として横方向が設定される場合、同じ横座標にある複数の縦方向エッジ(縦方向の線分として示される)が互いに接続されて、比較的大きい長さを有する縦方向エッジが得られるとともに、小さいサイズのノイズは除去される。
【0082】
一例として、エッジ最適化装置1107は更に、形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングを実行するように構成された平滑化フィルタ1107−2を含んでいてもよい。平滑化フィルタ1107−2は如何なる適切な平滑化フィルタリング法を利用してもよく、例えば、平滑化フィルタ1107−2はメジアンフィルタ又はこれに類するものとし得る。平滑化フィルタ1107−2の使用は、エッジ画像内の候補ターゲットの第1方向の境界を見出すこと、すなわち、第1方向のエッジを密に有する位置又は高い輝度を有する第1方向のエッジの位置を見出すことを容易にし、それにより、生成される候補ターゲットの精度を向上させる。
【0083】
別の一例として、エッジ最適化装置1107は更に、形態学的フィルタリング及び/又は平滑化フィルタリングを施されたエッジ画像内のエッジを強調するように構成されたエッジ強調装置1107−3を含んでいてもよい。エッジ強調装置1107−3は、例えば二値化処理又はこれに類するものなど、如何なる適切なエッジ強調法を用いてもよい。
【0084】
候補ターゲット生成装置1102は、説明は繰り返さないが、エッジ最適化装置1107によって処理されたエッジ画像内の第1方向のエッジに基づいて、候補ターゲットを生成するように構成される。第1方向のエッジの最適化を用いることにより、候補ターゲット生成装置1102によって生成される候補ターゲットにおける誤検出が削減され得る。
【0085】
図13は、この開示に係る特定の一実施形態に従ったターゲット検出装置1300を示している。
【0086】
図13に示すように、ターゲット検出装置1300は、第1のエッジ検出装置1301と候補ターゲット生成装置1302とを含み得る。第1のエッジ検出装置1301及び候補ターゲット生成装置1302は、それぞれ、上述の実施形態における装置801/901/1001/1101及び装置802/902/1002/1102と同様の機能を有しており、ここでは説明を繰り返さない。ターゲット検出装置1300は更に、第2のエッジ検出装置1303と候補ターゲット最適化装置1304とを含み得る。第2のエッジ検出装置1303及び候補ターゲット最適化装置1304は、それぞれ、装置903/1003及び装置904/1004と同様の機能を有しており、ここでは説明を繰り返さない。ターゲット検出装置1300は更にエッジ最適化装置1307を含み得る。エッジ最適化装置1307は、図11又は12に示した装置1107と同様であり、その説明は省略する。
【0087】
一例として、ターゲット検出装置1300は更に前景検出装置1308を含み得る。前景検出装置1308は、入力画像の前景を検出して、1つ以上のターゲット関連領域を取得するように構成される。第1のエッジ検出装置1301は、ここでは説明を繰り返さないが、前景検出装置1308によって検出されたターゲット関連領域に対応する入力画像内の領域において、エッジを検出するように構成され得る。
【0088】
必要に応じて、ターゲット検出装置1300は更に、生成された候補ターゲットを検証して誤検出を除去するように構成された検証装置1310を含んでいてもよい。検証装置1310はターゲット分類器とし得る。例えば、ターゲット分類器は、ここでは説明を繰り返さないが、図7に示したステップ731、732及び733を用いることによって訓練され得る。検証装置1310は、各候補ターゲットに対応する画像領域の特徴値を計算し、且つ該特徴値を用いて各候補ターゲットを検証することで、候補ターゲットにおける誤検出を除去し得る。検証装置1310は更に、検証に合格した候補のうち、同一のターゲットに対応する1つ以上の候補ターゲットを、それらの間の類似性に従って結合し、真のターゲット位置を取得し得る。
【0089】
理解されるべきことには、上述の実施形態及び例は例示的なものであって、網羅的なものではない。この開示は、上述の特定の実施形態又は例に限定されるものとして見なされるべきでない。
【0090】
上述の実施形態又は例において、一部の表現(例えば、“第1方向”及び“第2方向”)は、“第1”又は“第2”なる用語を含んでいる。理解されるべきことには、このような表現は、単に複数の用語を相互に文字通り区別するために使用されているのであって、それらの順序への限定又は何らかのその他の限定として見なされるべきでない。
【0091】
この開示に係る実施形態又は例に従ったターゲット検出方法又は装置は、様々な用途シナリオに適用され得る。例えば、ターゲット検出方法又は装置は、交通映像内で車両を検出するための通行監視に適用され得る。交通映像を与えられると、この開示に係る実施形態又は例に従ったターゲット検出方法又は装置は、映像内に示される道路上の車両を自動検出し、画像内の検出車両の位置パラメータを出力し得る。また、この開示に係る実施形態又は例に従ったターゲット検出方法又は装置は、例えば公園監視装置など、その他の映像監視用電子装置に構成されてもよいし、例えばコンピュータなどの画像処理機能を有する電子装置、カメラ若しくはビデオカメラを備えた電子装置、又はこれらに類するものに適用されてもよい。上述のターゲット検出方法及び装置によって検出されることが可能なターゲットは車両に限られない。
【0092】
この開示に係る実施形態又は例において、入力画像は、例えばAVI(Audio Video Interleave)やMPEG(Moving Picture Experts Group)などの如何なるフォーマットの写真又はビデオであってもよい。道路交通監視の場合、入力画像(又は映像)は、道路の何れかの側方又は道路の上方に設置されたカメラ装置を用いて撮影され得る(例えば、カメラ装置は、道路脇のT字型スタンドに設置されてもよいし、道路上方に設置された支持体に固定されてもよい)。車両のフロント部分又はリア部分の映像が道路の何れかの側方から撮影され、あるいは車両プラットフォームの映像が道路の上方から撮影され得る。これらの場合において、車両のフロント部分若しくはリア部分、又は車両のプラットフォームが検出すべくターゲットである。カメラの俯角、左及び右の振れ角、並びにレンズを調整することにより、映像の検出領域を道路の1つ又は2つの車線に限定してもよい。カメラの絞り及びシャッターも、撮影される画像フレームが適切なコントラスト比及び輝度を有し、それによりターゲット検出の効果が高められるように調整されることができる。
【0093】
ビデオ及び写真はしばしば、ターゲットに加えてその他の情報を含んでいる。例えば、交通ビデオは、ビデオ画像を記録するためのカラーチャネル数、1秒当たりに表示されるフレーム数を測定するフレームレート、及び/又は画像内の画素数を表す解像度などを含み得る。この開示に係る実施形態及び/又は例に従ったターゲット検出方法又は装置は、これらの情報に依存するものではなく、故に、総じて実用的なものである。
【0094】
上述の装置及び方法における構成要素、ユニット又はステップは、詳細はここでは省略するが技術的に周知の手法又は手段を用いることにより、ソフトウェア、ハードウェア、ファームウェア、又はこれらの何らかの組み合わせで構成されることができる。
【0095】
一例として、ソフトウェア又はファームウェアを用いる場合、上述の方法又は装置を実現するためのソフトウェアを構成するプログラムが、記憶媒体又はネットワークから、専用のハードウェア構成を有するコンピュータ(例えば、図16に示すような汎用コンピュータ)にインストールされ得る。コンピュータは、様々なプログラムをインストールされるとき、様々な機能を実行することができる。
【0096】
図16において、中央処理装置(CPU)1601は、読み出し専用メモリ(ROM)1602に格納されたプログラム、又は記憶装置1608からランダムアクセスメモリ(RAM)1603にロードされたプログラムに従って様々な種類の処理を実行する。RAM1603はまた、必要に応じて、CPU1601が様々な種類の処理を実行するのに必要なデータを格納する。CPU1601、ROM1602及びRAM1603は、バス1604を介して互いに接続されている。バス1604は入力/出力インタフェース1605にも接続している。
【0097】
入力/出力インタフェース1605は、キーボードやマウスなどからなる入力装置1606、陰極線管(CRT)若しくは液晶のディスプレイやスピーカなどからなる出力装置1607、ハードディスクを含む記憶装置1608、及びモデムやターミナルアダプタなどからなる通信装置1609に接続している。通信装置1609は通信処理を実行する。必要に応じて、ドライブ1610が入力/出力インタフェース1605に接続される。ドライブ1610には、例えば、本発明に係るプログラムを格納した記録媒体としてリムーバブルメディア(取り外し可能媒体)1611がロードされる。必要に応じて、プログラムはリムーバブルメディア1611から読み出されて記憶装置1608にインストールされる。
【0098】
上述の一連の処理を実現するためにソフトウェアを用いる場合、該ソフトウェアを構成するプログラムが、例えばインターネットなどのネットワーク又は例えばリムーバブルメディア1611などの記憶媒体からインストールされ得る。
【0099】
当業者に理解されるように、記憶媒体は、例えば磁気ディスク(フロッピー(登録商標)ディスクを含む)、光ディスク(コンパクトディスクROM(CD−ROM)及びデジタル多用途ディスク(DVD)を含む)、光磁気ディスク(MD(ミニディスク)(登録商標)を含む)、又は半導体メモリなどの、プログラムが記録され且つプログラムをユーザに届けるために配布されるリムーバブルメディア1611に限定されず、プログラムが記録され且つ装置の本体に前もって搭載されてユーザに届けられる装置の本体又はROM1602若しくは記憶装置1608に含まれるハードディスクであってもよい。
【0100】
この開示は更に、実行されたときに実施形態に従った方法を実行することが可能な機械読み取り可能な命令コードを有するプログラムを提供する。
【0101】
従って、機械読み取り可能命令コードを有するプログラムを担持する記憶媒体も、この開示に含まれる。記憶媒体は、以下に限られないが、フロッピー(登録商標)ディスク、光ディスク、光磁気ディスク、カード式ストレージ、又はメモリスティックなどを含む。
【0102】
以上の実施形態の説明において、1つの実施形態に関連して説明あるいは示された特徴は、同様あるいは同一のようにして1つ以上のその他の実施形態で使用されてもよいし、その他の実施形態の特徴と組み合わされてもよいし、あるいはその他の実施形態の特徴を置き換えるように使用されてもよい。
【0103】
ここでは、用語“有する”、“含む”、“持つ”及びこれらの如何なる変形も、非排他的な包含に及ぶものである。故に、要素を列挙する処理、方法、品目又は装置は、必ずしもそれらの要素に限定されず、明示的に列挙されていない要素や、それらの処理、方法、品目又は装置に本来備わる要素などのその他の要素を含み得る。
【0104】
さらに、この開示において、方法は、ここで説明した順序に従った時系列で実行されるプロセスに限定されるものではなく、その他の時系列で実行されたり、並列あるいは別個に実行されたりすることも可能である。すなわち、上述の実行順序は、方法をその順序に限定するものとして見なされるべきではない。
【0105】
幾つかの実施形態及び例を説明したが、これらの実施形態及び例は、この開示を単に例示するものであり、この開示を限定するものではない。この開示の範囲を逸脱することなく、様々は変形、改良及び代替が当業者によって行われることが可能である。そのような変形、改良及び代替は、この開示の保護範囲が及ぶものとして見なされるべきである。
【0106】
以上の説明から分かるように、この開示に係る実施形態は少なくとも以下のソリューションを提供するものである。
【0107】
(付記1)
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するステップと、
前記第1方向の前記複数のエッジに従って1つ以上の候補ターゲットを生成するステップであり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、ステップと、
を有するターゲット検出方法。
【0108】
(付記2)
前記入力画像内の各候補ターゲットに対応する画像ブロック内で、前記第1方向とは異なる第2方向のエッジを検出して、前記第2方向の1つ以上のエッジを有するエッジ画像ブロックを取得するステップと、
前記第2方向の前記1つ以上のエッジに従って各候補ターゲットを最適化するステップと、
を更に有する付記1に記載の方法。
【0109】
(付記3)
前記エッジ画像ブロック内で、高密度の前記第2方向のエッジを有する領域を検出するステップ、を更に有し、
各候補ターゲットを最適化する前記ステップは、高密度の前記第2方向のエッジを有する前記領域に従って各候補ターゲットを最適化することを有する、
付記2に記載の方法。
【0110】
(付記4)
高密度の前記第2方向のエッジを有する領域を検出する前記ステップは、
混合ガウス関数を用いて前記エッジ画像ブロックをフィルタリングし、フィルタリングされたエッジ画像ブロックに対して二値化及びクローズ演算を実行すること
を有する、付記3に記載の方法。
【0111】
(付記5)
前記エッジ画像内の前記第1方向の前記複数のエッジを最適化するステップ、
を更に有する、付記1乃至4の何れか一に記載の方法。
【0112】
(付記6)
前記第1方向の前記複数のエッジを最適化する前記ステップは、前記エッジ画像に対して形態学的フィルタリングを実行するステップを有する、付記5に記載の方法。
【0113】
(付記7)
前記エッジ画像に対して前記形態学的フィルタリングを実行する前記ステップは、前記第1方向の構造要素を用いて前記エッジ画像にクローズ演算及びオープン演算を実行することを有し、前記構造要素の大きさは、検出すべきターゲットの大きさに従って決定される、付記6に記載の方法。
【0114】
(付記8)
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングを実行するステップを有する、付記6に記載の方法。
【0115】
(付記9)
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対してエッジ強調を実行するステップを有する、付記6に記載の方法。
【0116】
(付記10)
前記入力画像内の前景を検出して、1つ以上のターゲット関連領域を取得するステップ、を更に有し、
前記入力画像内の前記第1方向のエッジを検出することは、前記入力画像内の前記1つ以上のターゲット関連領域に対応する領域内で、前記第1方向のエッジを検出することを有する、
付記1乃至4の何れか一に記載の方法。
【0117】
(付記11)
前記第1方向は縦方向及び横方向のうちの一方である、付記1乃至4の何れか一に記載の方法。
【0118】
(付記12)
前記第2方向は縦方向及び横方向のうちの、前記第1方向とは異なる一方である、付記2乃至4の何れか一に記載の方法。
【0119】
(付記13)
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するように構成された第1のエッジ検出装置と、
前記第1のエッジ検出装置によって検出された前記第1方向の前記複数のエッジに従って、1つ以上の候補ターゲットを生成するように構成された候補ターゲット生成装置であり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、候補ターゲット生成装置と、
を有するターゲット検出装置。
【0120】
(付記14)
前記入力画像内の各候補ターゲットに対応する画像ブロック内で、前記第1方向とは異なる第2方向のエッジを検出して、前記第2方向の1つ以上のエッジを有するエッジ画像ブロックを取得する第2のエッジ検出装置と、
前記候補ターゲット生成装置によって生成された各候補ターゲットを、前記第2方向の前記1つ以上のエッジに従って最適化するように構成された候補ターゲット最適化装置と、
を更に有する付記13に記載の装置。
【0121】
(付記15)
前記第2のエッジ検出装置からの前記エッジ画像ブロック内で、高密度の前記第2方向のエッジを有する領域を検出するように構成された第1のフィルタ、を更に有し、
前記候補ターゲット最適化装置は更に、高密度の前記第2方向のエッジを有する前記領域に従って各候補ターゲットを最適化するように構成されている、
付記14に記載の装置。
【0122】
(付記16)
前記第1のフィルタは、混合ガウス関数を用いて前記エッジ画像ブロックをフィルタリングするように構成されたガウシアンフィルタであり、
当該ターゲット検出装置は更に、フィルタリングされたエッジ画像ブロックに対して二値化及びクローズ演算を実行するように構成された二値化処理装置を有する、
付記15に記載の装置。
【0123】
(付記17)
前記第1のエッジ検出装置からの前記エッジ画像内で前記第1方向の前記複数のエッジを最適化するように構成されたエッジ最適化装置、
を更に有する、付記13乃至16の何れか一に記載の装置。
【0124】
(付記18)
前記エッジ最適化装置は、
前記第1のエッジ検出装置からの前記エッジ画像に対して形態学的フィルタリングを実行するように構成された形態学的フィルタ
を有する、付記17に記載の装置。
【0125】
(付記19)
前記形態学的フィルタは更に、前記第1方向の構造要素を用いて前記エッジ画像にクローズ演算及びオープン演算を実行するように構成され、前記構造要素の大きさは、検出すべきターゲットの大きさに従って決定される、付記18に記載の装置。
【0126】
(付記20)
前記エッジ最適化装置は更に、
前記形態学的フィルタによってフィルタリングされたエッジ画像に対して平滑化フィルタリングを実行するように構成された平滑化フィルタ
を有する、付記18に記載の装置。
【0127】
(付記21)
前記エッジ最適化装置は更に、
前記形態学的フィルタによってフィルタリングされたエッジ画像に対してエッジ強調を実行するように構成されたエッジ強調装置
を有する、付記18に記載の装置。
【0128】
(付記22)
前記入力画像内の前景を検出して1つ以上のターゲット関連領域を取得し、該1つ以上のターゲット関連領域を前記第1のエッジ検出装置へと出力するように構成された前景検出装置、
を更に有する付記13乃至16の何れか一に記載の装置。
【符号の説明】
【0129】
800、900、1000、1100、1300 ターゲット検出装置
801、901、1001、1101、1301 第1のエッジ検出装置
802、902、1002、1102、1302 候補ターゲット生成装置
903、1003、1303 第2のエッジ検出装置
904、1004、1304 候補ターゲット最適化装置
1005 第1のフィルタ
1006 二値化処理装置
1107、1307 エッジ最適化装置
1107−1 形態学的フィルタ
1107−2 平滑化フィルタ
1107−3 エッジ強調装置
1308 前景検出装置
1310 検証装置
1600 コンピュータ
1601 CPU
1602 ROM
1603 RAM
1604 バス
1605 入力/出力インタフェース
1606 入力装置
1607 出力装置
1608 記憶装置
1609 通信装置
1610 ドライブ
1611 リムーバブルメディア
【技術分野】
【0001】
この開示は、ターゲット(標的)検出の分野に関し、より具体的には画像又は映像内のターゲットを検出する方法及び装置に関する。
【背景技術】
【0002】
画像内でのターゲット検出が広く使用されている。例えば、知的交通管理においては、道路上の往来を監視し、それにより道路上での様々な事故の可能性を未然に発見するために、映像に基づく車両探知が使用され得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
この開示に係る一部の実施形態により、画像又は映像内のターゲット(標的)を検出する方法及び装置が提供される。
【課題を解決するための手段】
【0004】
ここでは、開示に係る幾つかの態様の基本的な理解を提供するため、この開示の概要を提示する。この概要は、この開示を網羅的に要約するものではなく、また、この開示の主要あるいは重要な要素を特定したり、この開示の範囲を定めたりすることを意図するものではない。この概要の唯一の目的は、後述の詳細な説明への前置きとして、一部の概念を簡略化して提示することである。
【0005】
この開示に係る一実施形態によれば、ターゲット検出を行うとき、入力画像内の第1方向のエッジが検出されて、第1方向の複数のエッジを含むエッジ画像が取得される。そして、第1方向の前記複数のエッジに従って1つ以上の候補ターゲットが生成される。入力画像内の第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が候補ターゲットのうちの1つに対応する。
【図面の簡単な説明】
【0006】
この開示に係る実施形態の上述及びその他の目的、特徴及び利点は、以下の詳細な説明を図面とともに参照することによって、より十分に理解され得る。図面全体を通して、同一あるいは同様の構成要素は、同一あるいは類似の参照符号によって表される。なお、図面に示される構成要素は、簡略化して描かれたものであり、縮尺通りに描かれたものではない。
【図1】この開示に係る一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図2】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図3】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図4】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図5】この開示に係る他の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図6】第1方向に複数のエッジを含むエッジ画像に対してエッジ最適化を実行する一手法を概略的に示すフローチャートである。
【図7】この開示に係る特定の一実施形態に従ったターゲット検出方法を概略的に示すフローチャートである。
【図8】この開示に係る一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図9】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図10】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図11】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図12】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図13】この開示に係る他の一実施形態に従ったターゲット検出装置を概略的に示すブロック図である。
【図14】この開示に係る特定の一実施形態に従ったターゲット検出方法によって処理された画像を例示する図である。
【図15】この開示に係る特定の一実施形態に従ったターゲット検出方法によって処理された画像を例示する図である。
【図16】この開示の実施形態又は例に従った方法を実現するためのコンピュータの構造を概略的に示すブロック図である。
【発明を実施するための形態】
【0007】
以下、この開示に係る実施形態を図面に関連付けて説明する。なお、1つの図に示す、あるいは1つの実施形態にて開示する要素及び/又は特徴は、1つ以上のその他の図又は実施形態に示す要素及び/又は特徴と組み合わされ得る。また、明瞭さ及び簡潔さのため、この開示に係る解決策に密接に関連する装置構造及び/又は処理工程のみを図に示すこととし、この開示にあまり関連しない、あるいは技術的に周知の、その他の細部は省略することとする。
【0008】
この開示において、所謂“画像”は、一枚又は一組の静止画であってもよいし、例えば映像(ビデオ)などの一連の画像であってもよい。この開示に係る一部の実施形態において、検出すべきターゲットについての予備知識が、ターゲットの候補を生成するために使用される。例えば、検出すべきターゲットが車両である場合、車両の外観上の特徴(例えば、対称性、影、隅及び角の部分、垂直方向若しくは水平方向の稜線部、並びに質感や車両ライト(ランプ)の位置若しくは形状などのその他の情報)についての予備知識を用いることによって、ターゲットの候補が生成され得る。
【0009】
図1は、この開示に係る一実施形態に従ったターゲット検出方法の概略的なフローチャートである。図1に示す実施形態において、ターゲットの候補(候補ターゲットとも称する)は、或る画像内のターゲットのエッジ特徴を用いることによって生成される。
【0010】
図1に示すように、この実施形態に係るターゲット検出方法はステップ103及び113を含み得る。
【0011】
ステップ103にて、或る特定の方向(簡潔さのため、この方向を第1方向と呼び、この方向に沿ったエッジを第1方向のエッジと呼ぶ)のエッジを検出し、第1方向の複数のエッジを含むエッジ画像を得る。所謂“第1方向”は縦(鉛直)方向又は横(水平)方向の何れかであってもよいし、縦方向又は横方向とは異なるその他の方向であってもよい。この画像内のターゲットのエッジ特徴に従って1つの方向が第1方向として選択されてもよい。例えば、入力画像が道路交通の写真又はビデオである場合、画像内では互いによって隠されていることがあるが、画像内に示された車両群の各々が縦方向及び横方向のエッジを含む。そのような場合、縦方向が第1方向として設定され得る。代替的に、横方向が第1方向として設定されてもよい。
【0012】
画像内で第1方向のエッジを検出することには、如何なる適切な手法が用いられてもよい。例えば、第1方向のエッジ用の検出算術演算子と入力画像とを用いて畳み込み演算を実行することで、第1方向のエッジを含むエッジ画像が取得され得る。一例として、第1方向のエッジ用の検出算術演算子は、勾配演算子、ソーベル(Sobel)演算子、プレヴィット(Prewitt)演算子、ラプラシアン(Laplacian)演算子、又はこれらに類するものとし得る。
【0013】
そして、ステップ113にて、第1方向の何れの2つのエッジの間にも1つのターゲットが存在するという仮定に基づき、検出された第1方向の複数のエッジに従って、1つ以上のターゲットの候補(すなわち、候補ターゲット)が生成される。換言すれば、入力画像内の第1方向の複数のエッジのうちの如何なる2つのエッジについても、その間の領域が候補ターゲットのうちの1つに対応する。
【0014】
例えば、検出すべきターゲットが車両であり且つ画像が複数の車両を含む場合、画像内の車両群が互いによって隠され、それにより、各車両の対称性及び/又は画像内のその他の特徴が損なわれていることがある。そうとはいえ、これらの車両ターゲットは、例えば隠されていても、幾つかの縦方向又は横方向のエッジを含むことができ、これらのエッジは車両の右側若しくは左側の境界(又は、上側若しくは下側の境界)を含み得る。この点で、生成される各候補ターゲットは、対応する第1方向の2つのエッジ(例えば、縦方向の2つのエッジ、又は横方向の2つのエッジ)の間の領域に対応し得る。一例として、この領域は長方形のブロックとして表現され得る(他の例では、この領域は例えば円形などのその他の幾何学形状で表現されてもよい)。第1方向が縦方向である場合、各候補(各候補ターゲット)の幅は、その候補ターゲットに対応する2つの縦方向エッジの間の距離となり、その高さは、画像内の縦方向エッジの高さ(すなわち、画像内での縦方向位置)に従って決定され得る。ここでは詳述しないが、当然ながら、候補ターゲットの高さを決定するために、車両の大きさの予備知識(画像の解像度、画像の撮影角度及び撮影距離、並びに画像内のターゲットの大きさ及び縦横比に関連する)が考慮に入れられてもよい。第1方向を縦方向にとると、複数の候補は、ステップ103で得られたエッジ画像内の第1方向(すなわち、この例において縦方向)のエッジに基づいて生成される。エッジ画像がk(k≧1)個の縦方向エッジを含み且つこれらの縦方向エッジのうちの何れの2つの間にも1つの車両が存在し得ると仮定すると、順列及び組み合わせの原理に従って、
【数1】
通りの組み合わせ:
【数2】
が生成され得る。
【0015】
この等式において、“!”は階乗演算を表す。任意の2つの縦方向エッジ間の画像ブロックが車両候補と見なされ得る。従って、
【数3】
個の可能性ある車両候補が生成され得る。一例として、縦方向の各車両候補の高さは、対応する縦方向エッジの横方向位置によって決定され得る。
【0016】
図1に示した実施形態において、画像内の候補(候補ターゲット)は、画像内の或る特定の方向に沿ったエッジ群のうちの何れの2つの間にも1つのターゲットが存在し得るという仮定に基づいて生成される。1つの方向のエッジのみが検出に利用されるので、検出の計算は比較的単純であり、それにより、画像内でのターゲット検出が高速化される。また、第1方向の如何なる2つのエッジについても、その間の領域が1つの候補ターゲットに対応すると見なされるので、検出の失敗が低減され得る。当然ながら、検出された候補ターゲットの中には幾つかの誤った検出が存在し得るが、それらは後続の処理でフィルタリング及び/又は最適化を施され得る。
【0017】
図2は、他の一実施形態に従ったターゲット検出方法を示している。図1と同様に、図2に示す方法は、ステップ103及び113を用いて、画像内の第1方向のエッジを検出して候補ターゲットを生成する。違いは、図2に示す方法においては、先行ステップにて生成された各候補を最適化するために、別の1つの方向(第2方向と呼ぶ)も使用されることにある。
【0018】
図2に示すように、この実施形態に係るターゲット検出方法は更に、ステップ215及び221を含み得る。
【0019】
具体的には、ステップ215にて、入力画像内の各候補ターゲットに対応する画像ブロック内で第2方向のエッジが検出され、第2方向の1つ以上のエッジを含むエッジ画像ブロックが取得される。第2方向は第1方向とは異なる方向である。例えば、第1方向として縦方向が設定される場合、画像内のターゲットエッジについての予備知識に従って、横方向、又は第1方向とは異なるその他の方向が、第2方向として設定され得る。また、第1方向として横方向が設定される場合、縦方向又はその他の方向が第2方向として設定され得る。画像内で第2方向のエッジを検出することには、如何なる適切な手法が用いられてもよい。例えば、第2方向のエッジ用の検出算術演算子と入力画像とを用いて畳み込み演算を実行することで、第2方向のエッジを含むエッジ画像が取得され得る。例として、第2方向のエッジ用の検出算術演算子は、勾配演算子、ソーベル演算子、プレヴィット演算子、ラプラシアン演算子、又はこれらに類するものとし得る。
【0020】
そして、ステップ221にて、各候補ターゲットに対応する第2方向の複数の検出エッジに従って、各候補ターゲットが最適化される。例えば、第1方向として縦方向が設定され、検出すべきターゲットが車両であり、且つ入力画像が車両の背後又は車両の正面から撮影された画像である場合、画像内の車両のフロント部分又はリア部分は、横方向(第2方向)の勾配の構造情報を豊富に含む。各車両はその上部に滑らかなフロントウィンドウ又はリアウィンドウを有し、各車両の下は道路の表面である。これらの部分の間の領域は各々、豊富な横方向エッジを含む。車両ターゲットの予備知識に従い、横方向エッジの位置情報を用いて、縦方向エッジに基づいて生成された候補ターゲットを最適化し得る。例えば、第1方向における候補ターゲットの高さ(すなわち、候補ターゲットの縦方向の高さ)が最適化され得る。
【0021】
図3は、他の一実施形態に従ったターゲット検出方法を示している。図3に示す実施形態においては、図2を参照して説明した実施形態においてと同様に、第1方向のエッジに基づいて生成された各候補ターゲットを最適化するために、画像内の第2方向のエッジが使用される。具体的には、図1に示したステップ103及び113を用いることによって画像内の第1方向のエッジを検出して1つ以上の候補ターゲットを生成した後に、図3に示すターゲット検出方法は更に、ステップ315、317及び321を含んでいる。
【0022】
ステップ315にて、入力画像内の各候補ターゲットに対応する画像ブロック内で第2方向のエッジが検出され、それにより、第2方向の複数のエッジを含むエッジ画像ブロックが取得される。エッジ画像ブロックは各候補ターゲットに対応する。ステップ315及び321は、図2に示したステップ215及び221と同様であり、ここでは詳述しない。
【0023】
ステップ317にて、ステップ315で得られた、各候補ターゲットに対応するエッジ画像ブロックが、第2方向のエッジを密に有する領域がエッジ画像ブロック内で検出されるように更に処理される。密な第2方向のエッジを有する領域を得るようにエッジマスクブロックをフィルタリングするために、第2方向のエッジを密に有する領域に対して比較的強い応答を有し且つその他の領域に対して比較的弱い応答を有するフィルタが使用され得る。
【0024】
一例として、混合(ミックスド)ガウス関数を有するように設計された適応フィルタが、エッジ画像ブロックをフィルタリングするために使用され得る。混合ガウス関数f(y)は、次式:
【数4】
によって表され得る。
【0025】
この式において、g(y;μi,δi)は、平均値μi及び分散δiを有するガウス関数を表し、kはガウス関数の数を表し、wiはガウス関数の線形係数を表す。これらのパラメータは、ここでは説明を省略するが、フィルタが第2方向のエッジを密に有する領域に対して比較的強い応答を有し且つその他の領域に対して比較的弱い応答を有するように、適切に選択あるいは調整され得る。
【0026】
例えば、第1方向として縦方向が設定され、検出すべきターゲットが車両であり、且つ入力画像が車両の背後又は車両の正面から撮影された画像である場合、画像内で密な横方向エッジを有する領域は、例えばフロントウィンドウ又はリアウィンドウと車両下の路面との間の領域など、車両ターゲットのフロント部分又はリア部分を含み得る。画像をフィルタリングするために使用される該フィルタは、画像内のこれらの領域に対して強い応答を有するが、その他の領域に対しては比較的弱い応答を有する。例えば、密な横方向エッジを有しない領域をフィルタリングすることによって得られた画像領域は、無秩序状態を示し得る。密な横方向エッジを有する検出領域と車両ターゲットの予備知識とを用いることにより、車両ターゲットの上方境界及び下方境界を効率的に決定することができ、それにより、例えば各候補ターゲットの第1方向の高さ(すなわち、縦方向の高さ)が最適化されるなど、縦方向エッジに基づいて生成された候補ターゲットが最適化され得る。
【0027】
図4は、他の一実施形態に従ったターゲット検出方法を示している。図4に示す実施形態においては、図3を参照して説明した実施形態においてと同様に、第1方向のエッジに基づいて生成された各候補ターゲットを最適化するために、画像内の第2方向のエッジが使用される。具体的には、図1に示したステップ103及び113を用いることによって画像内の第1方向のエッジを検出して1つ以上の候補ターゲットを生成した後に、図4に示すターゲット検出方法は更に、ステップ415、417、419及び421を含んでいる。
【0028】
ステップ415及び417は、図3に示したステップ315及び317と同様であり、ここでは説明を繰り返さない。
【0029】
各候補ターゲットに対応し且つ第2方向の複数のエッジを含むエッジ画像ブロックをフィルタリングすることによって、第2方向のエッジを密に有する領域を検出した後、ステップ419にて、検出された画像ブロックに対して、二値化演算及びクローズ(close)演算が実行され得る。
【0030】
特定の一例として、二値化演算は次式:
【数5】
を用いて実行され得る。
【0031】
この式において、Bは二値化演算前の画像を表し、B(i,j)は画像Bの位置(i,j)にある画素の値を表す。そして、TBは二値化演算により得られる画像を表し、TB(i,j)は画像TBの位置(i,j)にある画素の値を表す。i及びjはともに整数であり、(i,j)は画像内の2次元座標を表す。th_vは、二値化演算に用いられる閾値を表す。画像Bの画素(i,j)の値B(i,j)が閾値以上である場合、画像TBの同一位置(i.j)にある画素の値TB(i,j)は1として設定され、そうでなければ、値TB(i,j)は0として設定される。閾値は、実際の用途シナリオに従って決定且つ/或いは調整されることができ、ここでは如何なる特定の値にも限定されない。
【0032】
特定の一例として、クローズ演算は次式:
【数6】
を用いて実行され得る。
【0033】
この式において、OBは、画像TBに対してクローズ演算を実行することによって得られる画像を表し、SEはクローズ演算の構造算術演算子(又は、構造要素(Structure Element;SE)と呼ぶ)を表す。構造演算子SEは実際の用途シナリオに従って選定され得る。例えば、構造演算子SEは、画像内のターゲットの第2方向の大きさ、及び/又は第2方向のエッジを密に有するとして検出された領域の大きさに基づいて決定されることができ、如何なる特定の値にも限定されるべきでない。
【0034】
ステップ421にて、各候補ターゲットが、その候補ターゲットに対応する第2方向の複数の検出エッジに従って最適化される。例えば、第1方向における候補ターゲットの高さが最適化され得る。このステップ421は、図3に示したステップ321と同様であり、ここでは説明を繰り返さない。
【0035】
二値化及びクローズ演算を用いることにより、画像内の第2方向のエッジを密に有する領域が強調され、それにより候補ターゲットの最適化が向上される。
【0036】
図5は、他の一実施形態に従ったターゲット検出方法を示している。図5に示す方法は図1の方法と同様であり、違いは、図5に示す方法においては、検出された第1方向のエッジがノイズを除去するように最適化され、それにより後続ステップで生成される候補ターゲットの精度が向上されることにある。
【0037】
図5に示すように、この実施形態に係るターゲット検出方法は、ステップ503、505及び513を含み得る。
【0038】
ステップ503にて、入力画像内の第1方向のエッジが検出され、第1方向の複数のエッジを含むエッジ画像が取得される。ステップ503は上述のステップ103と同様であり、ここでは説明を繰り返さない。
【0039】
ステップ503で生成されたエッジ画像には、例えば過度に短い線及び/又は過度に傾斜した線などの多くのノイズが存在し得る。ステップ505にて、ステップ503で得られたエッジ画像内の第1方向のエッジが、検出されたエッジの中のノイズを除去するように最適化され得る。
【0040】
図6は、エッジ画像内の第1方向のエッジを最適化する手法の一例を示している。図6に示すように、最適化ステップ505は、形態学的フィルタを用いることによって形態学的フィルタリングがエッジ画像に対して実行されるステップ505−1を含み得る。例えば、ステップ505−1にて、第1方向の構造要素を用いることによって、クローズ及びオープン(open)フィルタリング演算がエッジ画像に対して実行されることで、ノイズがフィルタリング除去され、ターゲットの境界を識別することに使用可能な第1方向のエッジが出力され得る。より具体的には、グレー(階調)レベルのエッジ画像に対して、グレーレベル形態学的クローズ−オープンフィルタリングが実行され得る。例えば、エッジ画像に対して、先ずクローズ演算が実行され、その後にオープン演算が実行され得る。第1方向の構造要素をSEで表し、且つ第1方向のエッジを含むエッジ画像をEiで表すとすると、エッジ画像に実行されるクローズ−オープンフィルタリングは、次式:
【数7】
によって表され得る。
【0041】
この式において、記号:
【数8】
はクローズ演算を表し、記号:
【数9】
はオープン演算を表し、MEiは、形態学的フィルタリングによって得られる画像を表す。構造要素SEは、画像内の検出すべきターゲットの大きさ(例えば、画像内のターゲットの第1方向のエッジのサイズ)に基づいて決定されることができ、如何なる特定の値にも限定されるべきでない。
【0042】
ステップ505−1で実行される形態学的フィルタリングを用いることにより、小さいサイズのノイズが画像から除去され得る。例えば、第1方向として縦方向が設定され且つ第2方向として横方向が設定される場合、同じ横座標にある複数の縦方向エッジ(縦方向の線分として示される)が互いに接続されて、比較的大きい長さを有する縦方向エッジが得られるとともに、小さいサイズのノイズは除去される。
【0043】
別の一例として、ステップ505は更に、図6に示すステップ505−2を含んでいてもよい。ステップ505−2にて、形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングが実行され得る。例えばメジアン(median)フィルタリング又はこれに類するものなど、如何なる適切な平滑化フィルタリング法が用いられてもよい。平滑化フィルタリングは、エッジ画像内の候補ターゲットの第1方向の境界を見出すこと、すなわち、第1方向のエッジを密に有する位置又は高い輝度を有する第1方向のエッジの位置を見出すことを容易にし、それにより、生成される候補ターゲットの精度を向上させる。
【0044】
別の一例として、ステップ505は更に、図6に示すステップ505−3を含んでいてもよい。ステップ505−3にて、形態学的フィルタリングを施されたエッジ画像又は平滑化フィルタリングを施されたエッジ画像に対して、エッジ強調が実行され得る。例えば二値化処理又はこれに類するものなど、如何なる適切なエッジ強調法が用いられてもよい。
【0045】
ステップ505での処理の後、ステップ513にて、第1方向の如何なる2つのエッジ間にも1つのターゲットが存在するとの仮定の下で、第1方向の複数の検出エッジに基づいて、1つ以上の候補ターゲットが生成される。画像内の第1方向の検出エッジ群のうちの如何なる2つについても、その間の領域が1つの候補ターゲットに対応する。換言すれば、各候補ターゲットは、画像内の第1方向の2つの対応するエッジ間の領域に対応する。ステップ513は上述のステップ113と同様であり、ここでは、その詳細な説明は省略する。ステップ505での第1方向のエッジの最適化は、生成される候補ターゲットにおける誤り警告を削減し得る。
【0046】
図7は、この開示に係る特定の一実施形態に従ったターゲット検出方法を示している。
【0047】
図7に示すように、この特定の実施形態に係るターゲット検出方法は、1つ以上のターゲット関連領域を得るために入力画像の前景が検出される前景検出ステップ701を含み得る。このステップの後、入力画像内のターゲット関連領域に対応する領域が、以下のエッジ検出ステップ及び候補ターゲット生成ステップによって更に処理される。
【0048】
一例として、検出すべきターゲットが車両であり、第1方向として縦方向が設定され、且つ第2方向として横方向が設定されると仮定すると、先ず、車両を含む入力画像に対して前景検出が実行され、その後、検出された各ターゲット関連領域の位置が入力画像にマッピングされる。図14(A)は、車両を含む入力画像内で検出されたターゲット関連領域に対応するグレーレベル画像を例示している。
【0049】
そして、ステップ703にて、入力画像内の1つ以上のターゲット関連領域に対応する領域が、その中の第1方向のエッジ(例えば、縦方向エッジ)を検出するために処理され、それにより、複数の縦方向エッジを含むエッジ画像が取得される。この例においては、縦方向エッジを検出するためにソーベル演算子が用いられている。図14(B)は、ソーベル演算子を用いて図14(A)の画像を処理することによって得られたエッジ画像を示している。
【0050】
必要に応じて、第1方向のエッジを含むエッジ画像は最適化され得る。例えば、エッジ画像は形態学的フィルタリングを施されてもよい。具体的には、長さ10の縦方向の線が、形態学的な構造要素SE:
【数10】
として使用され得る。
【0051】
この構造要素は、図14(B)に示したグレーレベルエッジ画像に対するクローズ演算とその後のオープン演算とを実行するために使用され得る。その結果、図14(C)に示す画像が得られる。理解されるように、上述の長さ10の構造要素は単なる一例である。この開示に係る実施形態又は例に使用される構造要素は、この特定の例に限定されるものではない。
【0052】
必要に応じて、画像は更に、マスク“mask”:
【数11】
を用いた平滑化フィルタリングによって処理され得る。
【0053】
図14(D)は、図14(C)のエッジ画像を式(7)のマスクを用いて平滑化フィルタリングすることによって得られた画像を示している。
【0054】
必要に応じて、画像に更にエッジ強調が実行され得る。例えば、図14(D)に示した画像に対して二値化演算が実行され得る。この例において、二値化演算に用いられるグレーレベル閾値は35に設定されている。図14(E)は、図14(D)の画像に二値化演算を実行することによって得られた二値エッジ画像を示している。
【0055】
そして、ステップ713にて、第1方向の如何なる2つのエッジの間にも1つのターゲットが存在するという仮定に基づいて、1つ以上の候補ターゲットが生成される。例えば、図14(E)に示したエッジ画像内の縦方向エッジに従って、可能性ある車両の位置が見出される。すなわち、1つ以上の車両候補が生成される。具体的には、図14(E)の画像内の車両エッジが縦方向に投影され得る。この例においては、5より大きい線幅を有する9個の縦方向エッジが保持されている。これら9個の縦方向エッジに基づいて、
【数12】
対の縦方向の仮位置が生成される。二値エッジ画像内の各対の縦方向の仮位置の左側及び右側の境界に対応する関連領域に基づいて、その関連領域を内包する最小の長方形ボックス(枠)が車両候補として判断される。図14(F)において、白い枠が、生成された候補ターゲット(車両候補)を表している。
【0056】
そして、ステップ715にて、画像内の各候補ターゲットに対応する画像ブロック内の第2方向のエッジが検出される。例えば、図15(A)は、図14(F)内の1つの長方形ボックス(車両候補)に対応するグレーレベル画像ブロックを示しており、図15(B)は、図15(A)の画像ブロック内のエッジをソーベル演算子を用いて検出することによって得られた横方向勾配画像ブロックを示している。
【0057】
必要に応じて、第2方向のエッジを含むエッジ画像は最適化され得る。例えば、図15(A)内の車両の高さと幅との比が1:1.5であり、且つ車両のフロント(リア)の影とフロント(リア)ウィンドウと車両の底部との比が1:1:1であるとして、画像ブロックは混合ガウス関数を用いてフィルタリングされ得る。特定の一例として、式(2)に示したフィルタを用いることができ、パラメータは以下のように設定され得る:
【数13】
ただし、n及びmは、それぞれ、車両の幅及び高さを表す。
【0058】
この混合ガウス関数は、図15(B)の横方向勾配画像ブロックを用いた畳み込み演算を実行するために使用され、それにより、図15(C)に示すフィルタリングされた画像ブロックが得られる。
【0059】
必要に応じて、フィルタリングされた画像ブロックに対して更に二値化及びクローズ演算が実行されて、車両のフロント(又はリア)の領域が生成さ得る。図15(D)は、図15(C)の画像に二値化及びクローズ演算を実行することによって得られた車両のフロント(又はリア)の領域を含む画像を示しており、車両のフロントを内包する最大の関連領域が長方形ボックスによって表されている。
【0060】
そして、ステップ721にて、ステップ713で生成された候補ターゲットが、第2方向のエッジを密に有する領域(すなわち、図15(D)に示した車両のフロントを内包する領域)を用いることによって最適化され、最適化された車両候補が得られる。
【0061】
得られた車両候補は、新の車両ターゲットに加えて、誤検出を含み得る。必要に応じて、候補ターゲット(例えば、車両候補)は更に、分類器(例えば、車両分類器)を用いることによって検証されてもよい。
【0062】
例えば、ターゲットでないものからターゲットを区別するようにターゲット分類器を訓練するために、図7に示すステップ731、732及び733が用いられ得る。先ず、訓練サンプルが収集される。例えば、検出すべきターゲットが車両である場合、これらの訓練サンプルは、車両サンプルと非車両サンプルとを含む2種類を含み得る。このとき、車両サンプルは手作業でマーキングされることができ、また、可能な限り多くの種類の車両形状を含むべきである。非車両サンプルはランダムに生成され、非車両サンプルが車両サンプルと合致する率は或る一定の閾値より低くされるべきである。そして、ステップ732にて、これらのサンプルの特徴値が計算される。例えば、計算される特徴は、ターゲットを効率的に認識するために使用されることが可能な特徴である。全てのターゲットサンプル及び非ターゲットサンプルの特徴値が計算される。一例として、勾配方向ヒストグラム(Histogram of Oriented Gradients;HOG)特徴が利用され得る。HOG特徴は勾配方向のヒストグラムに基づく局所的な形態学的特徴である。別の一例として、ハール(Haar)ウェーブレット特徴又はこれに類するものが利用され得る。これらの特徴に関しては、N.Dalal及びB.Triggsによる「Histograms of Oriented Gradients for Human Detection」(Proceedings of the IEEE international conference on computer vision and pattern recognition、第1巻、pp.1-8、2005年)を参照することができ、ここでは詳細な説明は省略する。そして、ステップ733にて、このような特徴がターゲット分類器を訓練するための入力として使用される。ターゲット分類器は、サポートベクターマシン、ニューラルネットワーク分類器、若しくは近傍分類器(neighbor classifier)、又はここに列挙していない何らかのその他の適切な分類器とし得る。
【0063】
必要に応じて、図7に示したターゲット検出方法は更に、分類器を用いて候補ターゲットを検証するステップ723を含んでいてもよい。例えば、検出すべきターゲットが車両である場合、生成された車両候補を検証するために、上述のようにして訓練された車両分類器が使用され得る。具体的には、画像内の候補に対応する領域の特徴値が計算されてターゲット分類器に入力される。そして、ターゲット分類器によって出力された検証結果に従って、誤った検出が除去される。ターゲット分類器の検証に合格した候補のうち、同一のターゲットに対応する1つ以上の候補は、それらの間の類似性に従って結合されることができ、真のターゲット位置が得られる。
【0064】
この開示に係る一部の実施形態によれば、画像内のターゲットを検出する装置が提供される。
【0065】
図8は、一実施形態に従ったターゲット検出装置のブロック図を示している。図1に示した方法の実施形態と同様に、図8に示すターゲット検出装置800は、入力画像内のターゲットのエッジ特徴を用いることによって候補(すなわち、候補ターゲット)を生成する。
【0066】
図8に示すように、この実施形態に係るターゲット検出装置800は、第1のエッジ検出装置801と候補ターゲット生成装置802とを含み得る。
【0067】
第1のエッジ検出装置801は、或る特定の方向(以下では、この方向を第1方向と呼び、この方向に沿ったエッジを第1方向のエッジと呼ぶ)のエッジを検出し、第1方向の複数のエッジを含むエッジ画像を得る。上述の方法の実施形態と同様に、第1方向は縦(鉛直)方向又は横(水平)方向の何れかであってもよいし、縦方向又は横方向とは異なるその他の方向であってもよい。画像内の検出すべきターゲットのエッジ特徴に従って1つの方向が第1方向として選択されてもよく、画像内のその方向のエッジが検出され得る。上述の方法の実施形態又は例と同様に、第1のエッジ検出装置801は、如何なる適切な手法を用いて入力画像内の第1方向のエッジを検出してもよい。ここではその説明は繰り返さないこととする。
【0068】
候補ターゲット生成装置802は、第1方向の何れの2つのエッジの間にも1つのターゲットが存在するという仮定に基づき、第1のエッジ検出装置801によって検出された第1方向の複数のエッジに従って、1つ以上の候補を生成する。画像内の第1方向の複数のエッジのうちの如何なる2つについても、その間の領域が1つの候補(候補ターゲット)に対応する。候補ターゲット生成装置802は、図1のステップ113を参照して説明した手法を用いることによって候補ターゲットを生成し得る。ここではその説明は繰り返さないこととする。
【0069】
図8に示したターゲット検出装置においては、画像内の候補ターゲットを検出することに1つの方向のエッジのみが使用されるので計算が比較的単純であり、それにより、画像内でのターゲット検出が高速化される。また、第1方向の如何なる2つのエッジについても、その間の領域が1つの候補ターゲットに対応すると見なされるので、検出の失敗が低減され得る。
【0070】
図9は、他の一実施形態に従ったターゲット検出装置900を示している。図8の実施形態と同様に、ターゲット検出装置900も、第1のエッジ検出装置(901で表す)と候補ターゲット生成装置(902で表す)とを含んでいる。違いは、ターゲット検出装置900が更に、別の1つの方向(第2方向と呼ぶ)のエッジを用いることによって各候補ターゲットを最適化するように構成されていることにある。図9に示すように、ターゲット検出装置900は更に、第2のエッジ検出装置903と候補ターゲット最適化装置904とを含んでいる。
【0071】
第1のエッジ検出装置901及び候補ターゲット生成装置902は、図8に示した第1のエッジ検出装置801及び候補ターゲット生成装置802と同様の機能を有しており、ここでは説明を繰り返さない。第2のエッジ検出装置903は、候補ターゲット生成装置902によって生成された各候補ターゲットに対応する画像ブロック内で第2方向のエッジを検出して、第2方向の複数のエッジを含むエッジ画像ブロックを取得する。第2方向は第1方向とは異なる方向である。上述の方法の実施形態/例と同様に、如何なる適切な手法を用いて画像内の第2方向のエッジを検出してもよい。ここではその説明は繰り返さないこととする。
【0072】
候補ターゲット最適化装置904は、第2のエッジ検出装置903によって検出された、候補ターゲットに対応する第2方向の1つ以上のエッジに従って、各候補ターゲットを最適化する。例えば、第1方向として縦方向が設定され、検出すべきターゲットが車両であり、且つ入力画像が車両の背後又は車両の正面から撮影された画像である場合、画像内の車両のフロント部分又はリア部分は、横方向(第2方向)の勾配の構造情報を豊富に含む。各ターゲット車両はその上部に滑らかなフロントウィンドウ又はリアウィンドウを有し、各車両の下は道路の表面である。これらの部分の間の領域は各々、豊富な横方向エッジを含む。車両ターゲットの予備知識に従い、横方向エッジの位置情報が、縦方向エッジに基づいて生成された候補ターゲットを最適化するために使用され得る。例えば、第1方向における候補ターゲットの高さ(すなわち、候補ターゲットの縦方向の高さ)が最適化され得る。
【0073】
特定の一実施形態として、候補ターゲット最適化装置904は、候補ターゲットを最適化するために、図3又は図4を参照して説明した手法を用い得る。
【0074】
図10は、特定の一実施形態に従ったターゲット検出装置1000を示している。図9に示した実施形態と同様に、図10のターゲット検出装置1000は、1001で表す第1のエッジ検出装置と、1002で表す候補ターゲット生成装置と、1003で表す第2のエッジ検出装置と、1004で表す候補ターゲット最適化装置とを含んでいる。違いは、図10のターゲット検出装置1000が更に第1のフィルタ1005を含み得ることにある。
【0075】
第1のエッジ検出装置1001、候補ターゲット生成装置1002、第2のエッジ検出装置1003及び候補ターゲット最適化装置1004は、それぞれ、図9に示した装置901、902、903及び904と同様の機能を有しており、ここでは説明を繰り返さない。
【0076】
第1のフィルタ1005は、第2のエッジ検出装置1003によって出力された各候補に対応するエッジ画像ブロックを更に処理して、エッジ画像ブロック内の第2方向のエッジを密に有する領域を検出するように構成される。第1のフィルタ1005は、画像内の第2方向のエッジを密に有する領域に対して比較的強い応答を有し且つ画像内のその他の領域に対して比較的弱い応答を有するフィルタである。一例として、第1のフィルタ1005は、混合ガウス関数(例えば、式(2)に示した混合ガウス関数)を有するように設計された適応フィルタとし得る。混合ガウス関数のパラメータは、上述の方法の実施形態又は例に従って設定されることができ、ここでは説明を繰り返さない。
【0077】
候補ターゲット最適化装置1004は、第1のフィルタ1005によって検出された第2方向のエッジを密に有する領域を用いて、各候補ターゲットを最適化し得る。例えば、候補ターゲットの第1方向における高さが最適化され得る。
【0078】
一例として、ターゲット検出装置1000は更に二値化処理装置1006を含み得る。第1のフィルタ1005が第2方向のエッジを密に有する領域を検出した後、二値化処理装置1006は、検出された画像ブロックに対して二値化及びクローズ演算を実行し得る(例えば、二値化及びクローズ演算は、式(2)及び(3)に示した手法を用いて実行され得る)。二値化及びクローズ演算を用いることにより、画像ブロック内の第2方向のエッジを密に有する領域が強調され、それにより、候補ターゲット最適化装置1004によって実行される候補ターゲットの最適化の結果が改善され得る。
【0079】
図11は、この開示に係る他の一実施形態に従ったターゲット検出装置1100を示している。図8の実施形態と同様に、図11に示すターゲット検出装置1100は、第1のエッジ検出装置(1101で表す)と候補ターゲット生成装置(1102で表す)とを含み得る。違いは、図11に示すターゲット検出装置1100が更に、ノイズを除去するように第1方向のエッジを最適化し、それにより、生成される候補ターゲットの精度を向上させるように構成され得ることにある。具体的には、ターゲット検出装置1100は更にエッジ最適化装置1107を含み得る。
【0080】
第1のエッジ検出装置1101及び候補ターゲット生成装置1102は、それぞれ、図8に示した第1のエッジ検出装置801及び候補ターゲット生成装置802と同様の機能を有しており、ここでは説明を繰り返さない。第1のエッジ検出装置1101によって出力されたエッジ画像は、例えば過度に短い線及び/又は過度に傾斜した線などの多くのノイズを含み得る。エッジ最適化装置1107は、第1のエッジ検出装置1101によって出力されたエッジ画像内の第1方向のエッジを、それらのエッジ内のノイズを除去するように最適化し得る。
【0081】
図12は、エッジ最適化装置1107の構成の一例を示している。図12に示すように、エッジ最適化装置1107は形態学的フィルタ1107−1を含み得る。形態学的フィルタ1107−1は、第1のエッジ検出装置1101によって出力されたエッジ画像に対して形態学的フィルタリングを実行するように構成される。特定の一例として、形態学的フィルタ1107−1は、例えば式(5)の手法といった、方法の実施形態/例を参照して説明したフィルタリング方法を用いることによって形態学的フィルタリングを実行することができ、ここでは説明を繰り返さない。形態学的フィルタ1107−1を用いることにより、小さいサイズのノイズがエッジ画像から除去され得る。例えば、第1方向として縦方向が設定され且つ第2方向として横方向が設定される場合、同じ横座標にある複数の縦方向エッジ(縦方向の線分として示される)が互いに接続されて、比較的大きい長さを有する縦方向エッジが得られるとともに、小さいサイズのノイズは除去される。
【0082】
一例として、エッジ最適化装置1107は更に、形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングを実行するように構成された平滑化フィルタ1107−2を含んでいてもよい。平滑化フィルタ1107−2は如何なる適切な平滑化フィルタリング法を利用してもよく、例えば、平滑化フィルタ1107−2はメジアンフィルタ又はこれに類するものとし得る。平滑化フィルタ1107−2の使用は、エッジ画像内の候補ターゲットの第1方向の境界を見出すこと、すなわち、第1方向のエッジを密に有する位置又は高い輝度を有する第1方向のエッジの位置を見出すことを容易にし、それにより、生成される候補ターゲットの精度を向上させる。
【0083】
別の一例として、エッジ最適化装置1107は更に、形態学的フィルタリング及び/又は平滑化フィルタリングを施されたエッジ画像内のエッジを強調するように構成されたエッジ強調装置1107−3を含んでいてもよい。エッジ強調装置1107−3は、例えば二値化処理又はこれに類するものなど、如何なる適切なエッジ強調法を用いてもよい。
【0084】
候補ターゲット生成装置1102は、説明は繰り返さないが、エッジ最適化装置1107によって処理されたエッジ画像内の第1方向のエッジに基づいて、候補ターゲットを生成するように構成される。第1方向のエッジの最適化を用いることにより、候補ターゲット生成装置1102によって生成される候補ターゲットにおける誤検出が削減され得る。
【0085】
図13は、この開示に係る特定の一実施形態に従ったターゲット検出装置1300を示している。
【0086】
図13に示すように、ターゲット検出装置1300は、第1のエッジ検出装置1301と候補ターゲット生成装置1302とを含み得る。第1のエッジ検出装置1301及び候補ターゲット生成装置1302は、それぞれ、上述の実施形態における装置801/901/1001/1101及び装置802/902/1002/1102と同様の機能を有しており、ここでは説明を繰り返さない。ターゲット検出装置1300は更に、第2のエッジ検出装置1303と候補ターゲット最適化装置1304とを含み得る。第2のエッジ検出装置1303及び候補ターゲット最適化装置1304は、それぞれ、装置903/1003及び装置904/1004と同様の機能を有しており、ここでは説明を繰り返さない。ターゲット検出装置1300は更にエッジ最適化装置1307を含み得る。エッジ最適化装置1307は、図11又は12に示した装置1107と同様であり、その説明は省略する。
【0087】
一例として、ターゲット検出装置1300は更に前景検出装置1308を含み得る。前景検出装置1308は、入力画像の前景を検出して、1つ以上のターゲット関連領域を取得するように構成される。第1のエッジ検出装置1301は、ここでは説明を繰り返さないが、前景検出装置1308によって検出されたターゲット関連領域に対応する入力画像内の領域において、エッジを検出するように構成され得る。
【0088】
必要に応じて、ターゲット検出装置1300は更に、生成された候補ターゲットを検証して誤検出を除去するように構成された検証装置1310を含んでいてもよい。検証装置1310はターゲット分類器とし得る。例えば、ターゲット分類器は、ここでは説明を繰り返さないが、図7に示したステップ731、732及び733を用いることによって訓練され得る。検証装置1310は、各候補ターゲットに対応する画像領域の特徴値を計算し、且つ該特徴値を用いて各候補ターゲットを検証することで、候補ターゲットにおける誤検出を除去し得る。検証装置1310は更に、検証に合格した候補のうち、同一のターゲットに対応する1つ以上の候補ターゲットを、それらの間の類似性に従って結合し、真のターゲット位置を取得し得る。
【0089】
理解されるべきことには、上述の実施形態及び例は例示的なものであって、網羅的なものではない。この開示は、上述の特定の実施形態又は例に限定されるものとして見なされるべきでない。
【0090】
上述の実施形態又は例において、一部の表現(例えば、“第1方向”及び“第2方向”)は、“第1”又は“第2”なる用語を含んでいる。理解されるべきことには、このような表現は、単に複数の用語を相互に文字通り区別するために使用されているのであって、それらの順序への限定又は何らかのその他の限定として見なされるべきでない。
【0091】
この開示に係る実施形態又は例に従ったターゲット検出方法又は装置は、様々な用途シナリオに適用され得る。例えば、ターゲット検出方法又は装置は、交通映像内で車両を検出するための通行監視に適用され得る。交通映像を与えられると、この開示に係る実施形態又は例に従ったターゲット検出方法又は装置は、映像内に示される道路上の車両を自動検出し、画像内の検出車両の位置パラメータを出力し得る。また、この開示に係る実施形態又は例に従ったターゲット検出方法又は装置は、例えば公園監視装置など、その他の映像監視用電子装置に構成されてもよいし、例えばコンピュータなどの画像処理機能を有する電子装置、カメラ若しくはビデオカメラを備えた電子装置、又はこれらに類するものに適用されてもよい。上述のターゲット検出方法及び装置によって検出されることが可能なターゲットは車両に限られない。
【0092】
この開示に係る実施形態又は例において、入力画像は、例えばAVI(Audio Video Interleave)やMPEG(Moving Picture Experts Group)などの如何なるフォーマットの写真又はビデオであってもよい。道路交通監視の場合、入力画像(又は映像)は、道路の何れかの側方又は道路の上方に設置されたカメラ装置を用いて撮影され得る(例えば、カメラ装置は、道路脇のT字型スタンドに設置されてもよいし、道路上方に設置された支持体に固定されてもよい)。車両のフロント部分又はリア部分の映像が道路の何れかの側方から撮影され、あるいは車両プラットフォームの映像が道路の上方から撮影され得る。これらの場合において、車両のフロント部分若しくはリア部分、又は車両のプラットフォームが検出すべくターゲットである。カメラの俯角、左及び右の振れ角、並びにレンズを調整することにより、映像の検出領域を道路の1つ又は2つの車線に限定してもよい。カメラの絞り及びシャッターも、撮影される画像フレームが適切なコントラスト比及び輝度を有し、それによりターゲット検出の効果が高められるように調整されることができる。
【0093】
ビデオ及び写真はしばしば、ターゲットに加えてその他の情報を含んでいる。例えば、交通ビデオは、ビデオ画像を記録するためのカラーチャネル数、1秒当たりに表示されるフレーム数を測定するフレームレート、及び/又は画像内の画素数を表す解像度などを含み得る。この開示に係る実施形態及び/又は例に従ったターゲット検出方法又は装置は、これらの情報に依存するものではなく、故に、総じて実用的なものである。
【0094】
上述の装置及び方法における構成要素、ユニット又はステップは、詳細はここでは省略するが技術的に周知の手法又は手段を用いることにより、ソフトウェア、ハードウェア、ファームウェア、又はこれらの何らかの組み合わせで構成されることができる。
【0095】
一例として、ソフトウェア又はファームウェアを用いる場合、上述の方法又は装置を実現するためのソフトウェアを構成するプログラムが、記憶媒体又はネットワークから、専用のハードウェア構成を有するコンピュータ(例えば、図16に示すような汎用コンピュータ)にインストールされ得る。コンピュータは、様々なプログラムをインストールされるとき、様々な機能を実行することができる。
【0096】
図16において、中央処理装置(CPU)1601は、読み出し専用メモリ(ROM)1602に格納されたプログラム、又は記憶装置1608からランダムアクセスメモリ(RAM)1603にロードされたプログラムに従って様々な種類の処理を実行する。RAM1603はまた、必要に応じて、CPU1601が様々な種類の処理を実行するのに必要なデータを格納する。CPU1601、ROM1602及びRAM1603は、バス1604を介して互いに接続されている。バス1604は入力/出力インタフェース1605にも接続している。
【0097】
入力/出力インタフェース1605は、キーボードやマウスなどからなる入力装置1606、陰極線管(CRT)若しくは液晶のディスプレイやスピーカなどからなる出力装置1607、ハードディスクを含む記憶装置1608、及びモデムやターミナルアダプタなどからなる通信装置1609に接続している。通信装置1609は通信処理を実行する。必要に応じて、ドライブ1610が入力/出力インタフェース1605に接続される。ドライブ1610には、例えば、本発明に係るプログラムを格納した記録媒体としてリムーバブルメディア(取り外し可能媒体)1611がロードされる。必要に応じて、プログラムはリムーバブルメディア1611から読み出されて記憶装置1608にインストールされる。
【0098】
上述の一連の処理を実現するためにソフトウェアを用いる場合、該ソフトウェアを構成するプログラムが、例えばインターネットなどのネットワーク又は例えばリムーバブルメディア1611などの記憶媒体からインストールされ得る。
【0099】
当業者に理解されるように、記憶媒体は、例えば磁気ディスク(フロッピー(登録商標)ディスクを含む)、光ディスク(コンパクトディスクROM(CD−ROM)及びデジタル多用途ディスク(DVD)を含む)、光磁気ディスク(MD(ミニディスク)(登録商標)を含む)、又は半導体メモリなどの、プログラムが記録され且つプログラムをユーザに届けるために配布されるリムーバブルメディア1611に限定されず、プログラムが記録され且つ装置の本体に前もって搭載されてユーザに届けられる装置の本体又はROM1602若しくは記憶装置1608に含まれるハードディスクであってもよい。
【0100】
この開示は更に、実行されたときに実施形態に従った方法を実行することが可能な機械読み取り可能な命令コードを有するプログラムを提供する。
【0101】
従って、機械読み取り可能命令コードを有するプログラムを担持する記憶媒体も、この開示に含まれる。記憶媒体は、以下に限られないが、フロッピー(登録商標)ディスク、光ディスク、光磁気ディスク、カード式ストレージ、又はメモリスティックなどを含む。
【0102】
以上の実施形態の説明において、1つの実施形態に関連して説明あるいは示された特徴は、同様あるいは同一のようにして1つ以上のその他の実施形態で使用されてもよいし、その他の実施形態の特徴と組み合わされてもよいし、あるいはその他の実施形態の特徴を置き換えるように使用されてもよい。
【0103】
ここでは、用語“有する”、“含む”、“持つ”及びこれらの如何なる変形も、非排他的な包含に及ぶものである。故に、要素を列挙する処理、方法、品目又は装置は、必ずしもそれらの要素に限定されず、明示的に列挙されていない要素や、それらの処理、方法、品目又は装置に本来備わる要素などのその他の要素を含み得る。
【0104】
さらに、この開示において、方法は、ここで説明した順序に従った時系列で実行されるプロセスに限定されるものではなく、その他の時系列で実行されたり、並列あるいは別個に実行されたりすることも可能である。すなわち、上述の実行順序は、方法をその順序に限定するものとして見なされるべきではない。
【0105】
幾つかの実施形態及び例を説明したが、これらの実施形態及び例は、この開示を単に例示するものであり、この開示を限定するものではない。この開示の範囲を逸脱することなく、様々は変形、改良及び代替が当業者によって行われることが可能である。そのような変形、改良及び代替は、この開示の保護範囲が及ぶものとして見なされるべきである。
【0106】
以上の説明から分かるように、この開示に係る実施形態は少なくとも以下のソリューションを提供するものである。
【0107】
(付記1)
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するステップと、
前記第1方向の前記複数のエッジに従って1つ以上の候補ターゲットを生成するステップであり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、ステップと、
を有するターゲット検出方法。
【0108】
(付記2)
前記入力画像内の各候補ターゲットに対応する画像ブロック内で、前記第1方向とは異なる第2方向のエッジを検出して、前記第2方向の1つ以上のエッジを有するエッジ画像ブロックを取得するステップと、
前記第2方向の前記1つ以上のエッジに従って各候補ターゲットを最適化するステップと、
を更に有する付記1に記載の方法。
【0109】
(付記3)
前記エッジ画像ブロック内で、高密度の前記第2方向のエッジを有する領域を検出するステップ、を更に有し、
各候補ターゲットを最適化する前記ステップは、高密度の前記第2方向のエッジを有する前記領域に従って各候補ターゲットを最適化することを有する、
付記2に記載の方法。
【0110】
(付記4)
高密度の前記第2方向のエッジを有する領域を検出する前記ステップは、
混合ガウス関数を用いて前記エッジ画像ブロックをフィルタリングし、フィルタリングされたエッジ画像ブロックに対して二値化及びクローズ演算を実行すること
を有する、付記3に記載の方法。
【0111】
(付記5)
前記エッジ画像内の前記第1方向の前記複数のエッジを最適化するステップ、
を更に有する、付記1乃至4の何れか一に記載の方法。
【0112】
(付記6)
前記第1方向の前記複数のエッジを最適化する前記ステップは、前記エッジ画像に対して形態学的フィルタリングを実行するステップを有する、付記5に記載の方法。
【0113】
(付記7)
前記エッジ画像に対して前記形態学的フィルタリングを実行する前記ステップは、前記第1方向の構造要素を用いて前記エッジ画像にクローズ演算及びオープン演算を実行することを有し、前記構造要素の大きさは、検出すべきターゲットの大きさに従って決定される、付記6に記載の方法。
【0114】
(付記8)
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングを実行するステップを有する、付記6に記載の方法。
【0115】
(付記9)
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対してエッジ強調を実行するステップを有する、付記6に記載の方法。
【0116】
(付記10)
前記入力画像内の前景を検出して、1つ以上のターゲット関連領域を取得するステップ、を更に有し、
前記入力画像内の前記第1方向のエッジを検出することは、前記入力画像内の前記1つ以上のターゲット関連領域に対応する領域内で、前記第1方向のエッジを検出することを有する、
付記1乃至4の何れか一に記載の方法。
【0117】
(付記11)
前記第1方向は縦方向及び横方向のうちの一方である、付記1乃至4の何れか一に記載の方法。
【0118】
(付記12)
前記第2方向は縦方向及び横方向のうちの、前記第1方向とは異なる一方である、付記2乃至4の何れか一に記載の方法。
【0119】
(付記13)
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するように構成された第1のエッジ検出装置と、
前記第1のエッジ検出装置によって検出された前記第1方向の前記複数のエッジに従って、1つ以上の候補ターゲットを生成するように構成された候補ターゲット生成装置であり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、候補ターゲット生成装置と、
を有するターゲット検出装置。
【0120】
(付記14)
前記入力画像内の各候補ターゲットに対応する画像ブロック内で、前記第1方向とは異なる第2方向のエッジを検出して、前記第2方向の1つ以上のエッジを有するエッジ画像ブロックを取得する第2のエッジ検出装置と、
前記候補ターゲット生成装置によって生成された各候補ターゲットを、前記第2方向の前記1つ以上のエッジに従って最適化するように構成された候補ターゲット最適化装置と、
を更に有する付記13に記載の装置。
【0121】
(付記15)
前記第2のエッジ検出装置からの前記エッジ画像ブロック内で、高密度の前記第2方向のエッジを有する領域を検出するように構成された第1のフィルタ、を更に有し、
前記候補ターゲット最適化装置は更に、高密度の前記第2方向のエッジを有する前記領域に従って各候補ターゲットを最適化するように構成されている、
付記14に記載の装置。
【0122】
(付記16)
前記第1のフィルタは、混合ガウス関数を用いて前記エッジ画像ブロックをフィルタリングするように構成されたガウシアンフィルタであり、
当該ターゲット検出装置は更に、フィルタリングされたエッジ画像ブロックに対して二値化及びクローズ演算を実行するように構成された二値化処理装置を有する、
付記15に記載の装置。
【0123】
(付記17)
前記第1のエッジ検出装置からの前記エッジ画像内で前記第1方向の前記複数のエッジを最適化するように構成されたエッジ最適化装置、
を更に有する、付記13乃至16の何れか一に記載の装置。
【0124】
(付記18)
前記エッジ最適化装置は、
前記第1のエッジ検出装置からの前記エッジ画像に対して形態学的フィルタリングを実行するように構成された形態学的フィルタ
を有する、付記17に記載の装置。
【0125】
(付記19)
前記形態学的フィルタは更に、前記第1方向の構造要素を用いて前記エッジ画像にクローズ演算及びオープン演算を実行するように構成され、前記構造要素の大きさは、検出すべきターゲットの大きさに従って決定される、付記18に記載の装置。
【0126】
(付記20)
前記エッジ最適化装置は更に、
前記形態学的フィルタによってフィルタリングされたエッジ画像に対して平滑化フィルタリングを実行するように構成された平滑化フィルタ
を有する、付記18に記載の装置。
【0127】
(付記21)
前記エッジ最適化装置は更に、
前記形態学的フィルタによってフィルタリングされたエッジ画像に対してエッジ強調を実行するように構成されたエッジ強調装置
を有する、付記18に記載の装置。
【0128】
(付記22)
前記入力画像内の前景を検出して1つ以上のターゲット関連領域を取得し、該1つ以上のターゲット関連領域を前記第1のエッジ検出装置へと出力するように構成された前景検出装置、
を更に有する付記13乃至16の何れか一に記載の装置。
【符号の説明】
【0129】
800、900、1000、1100、1300 ターゲット検出装置
801、901、1001、1101、1301 第1のエッジ検出装置
802、902、1002、1102、1302 候補ターゲット生成装置
903、1003、1303 第2のエッジ検出装置
904、1004、1304 候補ターゲット最適化装置
1005 第1のフィルタ
1006 二値化処理装置
1107、1307 エッジ最適化装置
1107−1 形態学的フィルタ
1107−2 平滑化フィルタ
1107−3 エッジ強調装置
1308 前景検出装置
1310 検証装置
1600 コンピュータ
1601 CPU
1602 ROM
1603 RAM
1604 バス
1605 入力/出力インタフェース
1606 入力装置
1607 出力装置
1608 記憶装置
1609 通信装置
1610 ドライブ
1611 リムーバブルメディア
【特許請求の範囲】
【請求項1】
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するステップと、
前記第1方向の前記複数のエッジに従って1つ以上の候補ターゲットを生成するステップであり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、ステップと、
を有するターゲット検出方法。
【請求項2】
前記入力画像内の各候補ターゲットに対応する画像ブロック内で、前記第1方向とは異なる第2方向のエッジを検出して、前記第2方向の1つ以上のエッジを有するエッジ画像ブロックを取得するステップと、
前記第2方向の前記1つ以上のエッジに従って各候補ターゲットを最適化するステップと、
を更に有する請求項1に記載の方法。
【請求項3】
前記エッジ画像ブロック内で、高密度の前記第2方向のエッジを有する領域を検出するステップ、を更に有し、
各候補ターゲットを最適化する前記ステップは、高密度の前記第2方向のエッジを有する前記領域に従って各候補ターゲットを最適化することを有する、
請求項2に記載の方法。
【請求項4】
高密度の前記第2方向のエッジを有する領域を検出する前記ステップは、
混合ガウス関数を用いて前記エッジ画像ブロックをフィルタリングし、フィルタリングされたエッジ画像ブロックに対して二値化及びクローズ演算を実行すること
を有する、請求項3に記載の方法。
【請求項5】
前記エッジ画像内の前記第1方向の前記複数のエッジを最適化するステップを更に有し、
前記第1方向の前記複数のエッジを最適化する前記ステップは、前記エッジ画像に対して形態学的フィルタリングを実行するステップを有する、
請求項1乃至4の何れか一に記載の方法。
【請求項6】
前記エッジ画像に対して前記形態学的フィルタリングを実行する前記ステップは、前記第1方向の構造要素を用いて前記エッジ画像にクローズ演算及びオープン演算を実行することを有し、前記構造要素の大きさは、検出すべきターゲットの大きさに従って決定される、請求項5に記載の方法。
【請求項7】
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングを実行するステップを有する、請求項5に記載の方法。
【請求項8】
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対してエッジ強調を実行するステップを有する、請求項5に記載の方法。
【請求項9】
前記入力画像内の前景を検出して、1つ以上のターゲット関連領域を取得するステップ、を更に有し、
前記入力画像内の前記第1方向のエッジを検出することは、前記入力画像内の前記1つ以上のターゲット関連領域に対応する領域内で、前記第1方向のエッジを検出することを有する、
請求項1乃至4の何れか一に記載の方法。
【請求項10】
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するように構成された第1のエッジ検出装置と、
前記第1のエッジ検出装置によって検出された前記第1方向の前記複数のエッジに従って、1つ以上の候補ターゲットを生成するように構成された候補ターゲット生成装置であり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、候補ターゲット生成装置と、
を有するターゲット検出装置。
【請求項1】
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するステップと、
前記第1方向の前記複数のエッジに従って1つ以上の候補ターゲットを生成するステップであり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、ステップと、
を有するターゲット検出方法。
【請求項2】
前記入力画像内の各候補ターゲットに対応する画像ブロック内で、前記第1方向とは異なる第2方向のエッジを検出して、前記第2方向の1つ以上のエッジを有するエッジ画像ブロックを取得するステップと、
前記第2方向の前記1つ以上のエッジに従って各候補ターゲットを最適化するステップと、
を更に有する請求項1に記載の方法。
【請求項3】
前記エッジ画像ブロック内で、高密度の前記第2方向のエッジを有する領域を検出するステップ、を更に有し、
各候補ターゲットを最適化する前記ステップは、高密度の前記第2方向のエッジを有する前記領域に従って各候補ターゲットを最適化することを有する、
請求項2に記載の方法。
【請求項4】
高密度の前記第2方向のエッジを有する領域を検出する前記ステップは、
混合ガウス関数を用いて前記エッジ画像ブロックをフィルタリングし、フィルタリングされたエッジ画像ブロックに対して二値化及びクローズ演算を実行すること
を有する、請求項3に記載の方法。
【請求項5】
前記エッジ画像内の前記第1方向の前記複数のエッジを最適化するステップを更に有し、
前記第1方向の前記複数のエッジを最適化する前記ステップは、前記エッジ画像に対して形態学的フィルタリングを実行するステップを有する、
請求項1乃至4の何れか一に記載の方法。
【請求項6】
前記エッジ画像に対して前記形態学的フィルタリングを実行する前記ステップは、前記第1方向の構造要素を用いて前記エッジ画像にクローズ演算及びオープン演算を実行することを有し、前記構造要素の大きさは、検出すべきターゲットの大きさに従って決定される、請求項5に記載の方法。
【請求項7】
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対して平滑化フィルタリングを実行するステップを有する、請求項5に記載の方法。
【請求項8】
前記第1方向の前記複数のエッジを最適化する前記ステップは更に、前記形態学的フィルタリングを施されたエッジ画像に対してエッジ強調を実行するステップを有する、請求項5に記載の方法。
【請求項9】
前記入力画像内の前景を検出して、1つ以上のターゲット関連領域を取得するステップ、を更に有し、
前記入力画像内の前記第1方向のエッジを検出することは、前記入力画像内の前記1つ以上のターゲット関連領域に対応する領域内で、前記第1方向のエッジを検出することを有する、
請求項1乃至4の何れか一に記載の方法。
【請求項10】
入力画像内の第1方向のエッジを検出して、前記第1方向の複数のエッジを有するエッジ画像を取得するように構成された第1のエッジ検出装置と、
前記第1のエッジ検出装置によって検出された前記第1方向の前記複数のエッジに従って、1つ以上の候補ターゲットを生成するように構成された候補ターゲット生成装置であり、前記入力画像内の前記第1方向の前記複数のエッジのうちの如何なる2つについても、その間の領域が前記候補ターゲットのうちの1つに対応する、候補ターゲット生成装置と、
を有するターゲット検出装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図16】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図16】
【図14】
【図15】
【公開番号】特開2012−38318(P2012−38318A)
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願番号】特願2011−175239(P2011−175239)
【出願日】平成23年8月10日(2011.8.10)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願日】平成23年8月10日(2011.8.10)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]