高速障害物検出
【課題】移動する構造物を有する環境における画像システムおよび方法の提供。
【解決手段】障害物を検知するためのシステムであって、装置上に配置されて、装置が移動中である運動の領域の画像のビデオストリームを取り込む１台のカメラと、前記画像のビデオストリームを受信し、ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、結合された差異画像に透視変換を実行して、変換画像を生成することと、変換画像内の障害物の端縁を検知することと、運動の領域内での障害物の検知を示す信号を生成することと、によって画像のビデオストリームを処理するように構成される障害物検知機能と、を備えるシステム。
【解決手段】障害物を検知するためのシステムであって、装置上に配置されて、装置が移動中である運動の領域の画像のビデオストリームを取り込む１台のカメラと、前記画像のビデオストリームを受信し、ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、結合された差異画像に透視変換を実行して、変換画像を生成することと、変換画像内の障害物の端縁を検知することと、運動の領域内での障害物の検知を示す信号を生成することと、によって画像のビデオストリームを処理するように構成される障害物検知機能と、を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動する構造物を有する環境における画像システムに関し、さらに詳細には障害物を検知するための画像システムおよび方法に関する。
【背景技術】
【０００２】
画像システムは、所望される運動を妨害することがある障害物を検知するために（ロボットナビゲーションまたは運搬機構等の）ナビゲーションが関与する車両および駆動装置付きの機械等の移動構造物で使用される。かかる画像システムは、通常、運動の経路に照準が定められた１台または複数のカメラ、および取り込まれた画像を分析し、障害物を検知する画像処理システムを使用する。障害物が検知されるとき、警報または他の適切な通知が、障害物の回避を可能にするために通信されてもよい。障害検知システムは、障害物を示す画像中のパターンを検知することによって動作する。障害物検知は、構造物が移動中である場合には困難であることがあり、適切な結果は多くの場合、所望される用途では障害物検知を高価すぎるものにするハードウェアおよびソフトウェア機器の使用を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
障害物検知システムの一例は、画像を記録するためにステレオカメラ装置（右カメラおよび左カメラ）を使用する。カメラからの画像はステレオ逆透視マッピング（ＩＰＭ）を使用して処理され、左画像と右画像との間の差異を表す差異画像を生じさせる。画像は左カメラおよび右カメラによって同期して取り込まれるので、車両のための用途で使用されるステレオＩＰＭは、道路の凹凸、道路のマーキング、および通常道路表面上で平面的なオブジェクトに見える影を効果的にフィルターして取り除いてもよい。二値画像は、差異画像上でなんらかのフィルタおよび標識化を実行することによって取得される。二値画像は、信頼性のある障害物オブジェクトである場合もあれば、信頼性のある障害物オブジェクトではない場合もあるいくつかのブロブを含むことがある。ブロブごとに極性ヒストグラムが計算され、ピークが分析される。極性ヒストグラムの強力なピークは、障害物を識別するものとして解釈されてもよい。効果的であるが、ステレオＩＰＭは２台のカメラの使用を必要とし、それは実装における費用を増加する。実際問題としては、ステレオＩＰＭ障害物検知を使用するアプリケーションは、空間の必要性および第２のカメラの適切な設置の必要性も織り込まなければならない。
【０００４】
別の例示の検知システムは、移動する車内で１台のカメラを使用し、ＩＰＭ画像（平面図）も採用する。単眼カメラは、任意の所与の時間Ｔに１つのフレームを取得し、いくつかの時間間隔の間に２つのフレームを取り込み、ＩＰＭ差異画像を生成するために使用されてもよい２つの画像を取得する。車両の移動のため、道路上に描かれた文字列、道路標識、および影等の道路表面上の平面的なオブジェクトは、偽のポジティブを生じさせる。かかる偽のポジティブを拒絶するためには、単眼カメラシステムは（車線マーク等の）道標または道路環境での顕著な道路の凹凸を表すオブジェクトを識別し、これらのオブジェクトを使用して２つの画像を登録するために使用される車の移動を計算する。単眼カメラに基づく障害物検知システムの別の例では、車両の運動パラメータを計算するためにオプティカルフローが使用される
単眼カメラ障害物検知システムは、ただ１台のカメラを使用して障害物を検知できる。ただし、かかるシステムは、通常、画像を登録するために、車両の運動および運動パラメータを計算する必要がある。足し合わされた計算は、システムを低速化するほど十分に複雑となり、効果的な時間枠内での障害物検知を困難にすることがある。
【０００５】
複数のカメラを必要とせず、車両運動パラメータの計算を必要としない障害物検知システムのためのニーズが存在する。
【課題を解決するための手段】
【０００６】
前記を鑑みて、運動の領域にわたって運動中の、または移動している運動の領域にわたって静止している装置上に配置される単一のカメラを使用して障害物を検知するためのシステムおよび方法が提供される。例示の実装例では、運動の領域の画像のビデオストリームが取り込まれる。ビデオストリーム内の画像は、さらなる処理の前にレンズ歪みに対して補正されてもよい。Ｎ番目の画像フレームは、ビデオストリーム内のＮ個の画像のシーケンスから選択される。Ｎ−１個の差異画像のセットは、Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによって計算される。Ｎ−１個の差異画像は、互いに足し合わされ、結合された差異画像を生成する。 逆透視変換が結合された差異画像で実行され、変換された画像を生成する。変換された画像は、変換された画像内の障害物の端縁を検知するために分析される。運動の領域内で障害物の検知を示す信号は、次いで生成されてもよい。
【０００７】
本発明の他のデバイス、装置、システム、方法、特徴、および優位点は、以下の図および詳細な説明を調べると当業者に明らかであろう、または明らかになるであろう。かかる追加のシステム、方法、特徴、および優位点の全てはこの説明の中に含まれ、本発明の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。
【０００８】
例えば、本願発明は以下の項目を提供する。
（項目１）
障害物を検知するためのシステムであって、
装置上に配置されて、上記装置が移動中である運動の領域の画像のビデオストリームを取り込む１台のカメラと、
上記画像のビデオストリームを受信し、
上記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
上記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
上記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
上記結合された差異画像に透視変換を実行して、変換画像を生成することと、
上記変換画像内の障害物の端縁を検知することと、
上記運動の領域内での障害物の検知を示す信号を生成することと、
によって上記画像のビデオストリームを処理するように構成される障害物検知機能と、
を備えるシステム。
（項目２）
上記装置が、上記運動の領域を含む路面にわたって移動する車両である、上記項目に記載のシステム。
（項目３）
上記装置が観察者から見て静止装置であり、上記装置が上記運動の領域を含む表面の上方に配置され、上記表面が上記静止装置に対して移動している、上記項目のうちのいずれか一項に記載のシステム。
（項目４）
画像フレームの数Ｎが２と約１０の間である、上記項目のうちのいずれか一項に記載のシステム。
（項目５）
上記障害物検知機能が、
上記Ｎ番目の画像フレームを選択する前に上記画像のビデオストリームのレンズ歪みを補正する、
ように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目６）
上記障害物検知機能が、逆透視マッピング（ＩＰＭ）を使用して上記透視変換を実行するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目７）
上記障害物検知機能が、上記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別し、さらなる処理からオブジェクトの上記識別された端縁を拒絶することによって上記変換画像を分析するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目８）
上記障害物検知機能が、上記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別することによって上記変換画像を分析するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目９）
上記障害物検知機能が、
上記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークのための基準に従って、上記極性ヒストグラム内に形成されるピークを分析することと、
によって障害物の端縁を検知するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目１０）
上記障害物検知機能が、
射影点から伸びる線によって形成される角度の間の領域に従って上記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、上記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
上記対応する角度に対して上記ピクセル値をプロットすることと、
によって上記極性ヒストグラムを構築するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目１１）
上記障害物検知機能が、上記極性ヒストグラムを走査することによって障害物の端縁を識別し、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別し、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別し、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別し、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶し、
追加の候補ピークに対して走査を続行し、
候補ピークを局所化して、検知された障害物を示す、
ように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目１２）
装置上に配置される単一のカメラを使用して障害物を検知するための方法であって、
上記装置が移動中である運動の領域の画像のビデオストリームを取り込むことと、
上記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
上記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
上記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
上記結合された差異画像に透視変換を実行して、変換画像を生成することと、
上記変換画像内の障害物の端縁を検知することと、
上記運動の領域内での障害物の検知を示す信号を生成することと、
を含む方法。
（項目１３）
上記装置が上記運動の領域を含む路面にわたって移動する車両である、上記項目に記載の方法。
（項目１４）
上記装置が観察者から見て静止装置であり、上記装置が上記運動の領域を含む表面の上方に配置され、上記表面が上記静止装置に対して移動中である、上記項目のうちのいずれか一項に記載の方法。
（項目１５）
画像フレームの数Ｎが２と約１０の間である、上記項目のうちのいずれか一項に記載のシステム。
（項目１６）
上記Ｎ番目の画像フレームを選択する前に画像の上記ビデオストリームのレンズ歪みを補正すること、
をさらに含む、上記項目のうちのいずれか一項に記載のシステム。
（項目１７）
透視変換の上記ステップが、逆透視マッピング（ＩＰＭ）を使用して実行される、上記項目のうちのいずれか一項に記載の方法。
（項目１８）
障害物の端縁を検知する上記ステップが、
上記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別することと、
さらなる処理からオブジェクトの上記識別された端縁を拒絶することと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目１９）
障害物の端縁を検知する上記ステップが、
上記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別すること、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２０）
障害物の端縁を検知する上記ステップが、
上記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークの基準に従って上記極性ヒストグラム内に形成されるピークを分析することと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２１）
上記極性ヒストグラムを構築する上記ステップが、
射影点から伸びる線によって形成される角度の間の領域に従って上記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、上記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
上記対応する角度に対して上記ピクセル値をプロットすることと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２２）
上記極性ヒストグラムで形成されるピークを分析する上記ステップが、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別することと、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別することと、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶することと、
追加の候補ピークに対して走査を続行することと、
候補ピークを局所化して、検知された障害物を示すことと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２３）
ｓｖを評価する上記ステップが、
局所ピークｓｐ、およびｓｖを候補障害端縁として決定するために使用される最小値を削除することと、
ｓｐ ＝ ｅｐ、と設定することと、
ｓｖ＝ｃｐとｅｐとの間の角度距離、と設定することと、
ｃｐからの上記極性ヒストグラムを走査して、ｃｖ、ｅｐ、およびｅｖの新しいセットを識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを再評価することと、
をさらに含む、上記項目のうちのいずれか一項に記載の方法。
【０００９】
（摘要）
運動の領域にわたって運動中の、または移動している運動の領域にわたって静止している装置上に配置される単一のカメラを使用して障害物を検知するためのシステムおよび方法。例示の方法では、運動の領域の画像のビデオストリームが取り込まれる。ビデオストリーム内の画像は、さらなる処理の前にレンズ歪みに対して補正されてもよい。Ｎ番目の画像フレームは、ビデオストリーム内のＮ個の画像のシーケンスから選択される。Ｎ−１個の差異画像のセットは、Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによって計算される。Ｎ−１個の差異画像は、互いに追加され、結合された差異画像を生成する。透視変換が結合された差異画像で実行され、変換された画像を生成する。変換された画像は、変換された画像内の障害物の端縁を検知するために分析される。運動の領域内で障害物の検知を示す信号は、次いで生成されてもよい。
【００１０】
以下の説明は、以下の図を参照することによってよりよく理解されるかもしれない。図中の構成要素は、必ずしも縮尺どおりではなく、代わりに本発明の原則を示す強調が加えられている。図中、類似する参照番号は、異なる図を通して対応する部分を示す。
【図面の簡単な説明】
【００１１】
【図１】例示の障害物検知システムのブロック図である。
【図２】障害物を検知するための例の方法の動作を示すフローチャートである。
【図３Ａ】歪み補正の動作を示す画像の概略図である。
【図３Ｂ】歪み補正の動作を示す画像の概略図である。
【図４Ａ】逆透視変換を示す画像の概略表現を示す図である。
【図４Ｂ】逆透視変換を示す画像の概略表現を示す図である。
【図４Ｃ】逆透視変換を示す画像の概略表現を示す図である。
【図５Ａ】逆透視マッピングされた差異画像の障害物オブジェクトの分割を示す画像の概略表現である。
【図５Ｂ】逆透視マッピングされた差異画像の障害物オブジェクトの分割を示す画像の概略表現である。
【図６Ａ】極性ヒストグラムを使用して逆透視マッピングされた差異画像の例示の分析を示す図である。
【図６Ｂ】極性ヒストグラムを使用して逆透視マッピングされた差異画像の例示の分析を示す図である。
【発明を実施するための形態】
【００１２】
図１は、単一のカメラ１０６を使用する例示の障害物検知システム１００のブロック図である。図１の障害物検知システムは、道路表面１１０にわたって示された運動方向で移動する車両１０２に実装される。カメラ１０６は、車両１０２が領域１５０にわたって移動する前に、領域１５０のビデオ画像を収集するように車両１０２上に配置されている。車両１０２は、カメラ１０６から画像データを受信し、画像データを処理して、障害物が領域１５０上に設置されているかどうかを決定するように構成される障害物検知機能１０４を含む。図１は、車両１０２上で動作する例示の障害物検知システム１００を示す。しかしながら、例示の障害物検知システム１００は、構造物がそこにわたって移動している領域内の障害物を検知することが所望される任意のタイプの構造物内に実装されてもよい。
【００１３】
障害物検知機能１０４は、単一のカメラ１０６からのビデオデータを処理して、いかなる車両運動パラメータの計算も必要とせずに、障害物が車両運動の領域内にあるかどうかを判断するように構成される。さらに以下で説明される一例では、一連の差異画像がビデオ画像データのＮ個のフレームのシーケンスから生成される。差異画像が足し合わされて、結合画像を形成し、結合画像は次いで、結合画像上で逆透視変換を実行することによって処理される。逆透視変換では、画像は、異なる透視図からの光景を近似するために処理される。以下に説明される例では、透視変換は、図１のカメラ１０６’によって示される運動の領域の頭上の上から見た光景から画像を生成するために実行される。変換された差異画像は、次いで、例えばそこから障害物が検知されることがある極性ヒストグラムを使用して分析される。
【００１４】
障害物が検知されると、障害物検知システム１０６は、障害物が検知されたことを信号で伝えてもよい。障害物の検知を示す信号は、所望される処置を講じるように構成された適切な機能に伝達されてもよい。例えば、障害物の表示は、自動的に（すなわちユーザの行為なしに）車両を停止させるために使用され得る。障害物の表示は、カメラ１０６によって取り込まれた領域の画像を表示して、または表示せずに、ユーザ又は運転者に告知されてもよい。障害物の検知は、障害物検知システム１００が使用される特定の用途に従った任意のやり方で使用されてもよい。
【００１５】
図２は、障害物を検知するための例示の方法２００の動作を示すフローチャートである。図２に示される例示の方法２００は、図１に示される障害検知システム１００の例を使用して実行されてもよい。図２に示される障害物検知の方法２００は、運動の領域の中へ運動の方向で移動している車両１０２で実行されてもよい。車両１０２が移動するのにつれて、カメラ１０６はステップ２０２で示されるようにビデオストリームを記録する。画像フレームのシーケンスとして記憶されてもよいビデオストリームは、カメラレンズに起因する何らかの歪みを含むことがある。ステップ２０２で収集されるビデオストリームは、方法２００による処理のためにグレースケール画像で記録されてもよく、またはグレースケール画像に変換されてもよい。また、ビデオストリームはカラー画像として記録され、グレースケールに変換せずにカラー画像として処理されてもよい。ステップ２０４で、ビデオストリーム中の画像は歪みについて補正される。ステップ２０６で、ビデオストリームの最初のＮ個のフレームが処理のために選択される。「最初の」Ｎ個のフレームは、それらを時間において「最後の」Ｎ個のフレームにすることになる収集された最も最近のＮ個のフレームであってもよいことが留意される。代わりに、「最初の」Ｎ個のフレームは、「最初の」Ｎ個のフレームを時間において収集された最初のフレームにすることになる、Ｎ個のフレームの複数のシーケンスを含むメモリ空間内に記憶されるＮ個のフレームの第１のシーケンスであってもよい。
【００１６】
図２に参照される「Ｎ」の値は、障害物検知方法２００が実装されているアプリケーションに依存してもよい。いくつかの例の実装例では、約２と１０との間のＮの値が適切であることが判明している。Ｎの値は、画像解像度、画像のサイズ、および方法２００がハイウェイ等の比較的速く移動している車両で使用されているのか、それとも反対に駐車するために操作している車両で使用されているか等の要因に依存してもよい。障害物検知が移動中の車両で実行されており、車両の速度が比較的速い場合、Ｎの値は、例えば２また３等、比較的小さくするべきである。しかしながら、車両の速度が比較的遅い場合、Ｎの値は、例えば４から１０等、比較的大きくてもよい。
【００１７】
ステップ２０８で、Ｎ−１個の差異画像のセットは、Ｎ番目の画像からＮ−１個の画像フレームのそれぞれを差し引くことによって生成される。ステップ２１０で、Ｎ−１個の差異画像が合計されて、 結合画像を生成する。ステップ２１２で、その結合画像上で透視変換が実行される。透視変換は、逆透視マッピング（「ＩＰＭ」）変換アルゴリズムを使用して実行されてもよい。結合画像の透視変換は、運動の領域１１０の表面から上方へ突出するオブジェクトに起因するかもしれない画像の異常または様相を強調表示するように画像を修正する。例えば、運動の領域１１０の表面に垂直に突出するオブジェクトは、変換された画像上で、カメラの射影点を通って伸びる直線として表示されてもよい。ＩＰＭアルゴリズムの例は、参照するより本明細書に組み込まれるＣｈｉｎ−Ｔｅｎｇ Ｌｉｎ、Ｔｚｕ−Ｋｕｅｉ Ｓｈｅｎ、およびＹｕ−Ｗｅｎ Ｓｈｏｕ、「Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｆｉｓｈｅｙｅ Ｌｅｎｓ Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ Ｍｏｄｅｌ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔｉｏｎ」、ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、第２０１０巻（２０１０年）、記事ＩＤ２９６５９８に説明されている。
【００１８】
ステップ２１４で、変換された画像は、運動の領域１１０の表面上に属さないオブジェクトの表示について分析される。ステップ２１４での分析は、カメラの射影点を通って伸びる延長線を、運動の領域上での障害物であるかもしれないオブジェクトの端縁を示す線として識別することを含んでもよい。変換された画像は、運動の領域上に属している、または少なくとも車両のための障害物を表していない影、ストリップ、車線標識、および他のオブジェクトからの線を含んでよい。障害物ではないオブジェクトによって引き起こされるかかる線は、カメラの射影点を通って伸びず、したがってオブジェクトの端縁としての検討から拒絶される。
【００１９】
ステップ２１６で、障害物オブジェクトを分けるために極性ヒストグラムが計算される。通常、極性ヒストグラムは二値画像で実行される。図２に関して説明される実装例の極性ヒストグラムは、グレースケール画像で実行される。二値画像を生成するために画像強度をどのような閾値に比較する必要もない。極性ヒストグラムは、変換された画像内で識別される射影点から発するそれぞれの直線を使用して計算される。一実装例では、射影点から発する各線上にあるピクセルの強度値が足し合わされる。極性ヒストグラムの値は、次いで正規化され、低域通過フィルタを通されて、ノイズの影響を削減する。
【００２０】
結果として生じるヒストグラムは、次いで決定ブロック２１８で障害物を識別するために分析される。ヒストグラム中のピークは、障害物に相当すると見なされる。障害物は、いくつかの規則を適用することによってヒストグラム中で識別されてもよい。障害物を識別するための極性ヒストグラム分析の例は、図６Ａおよび図６Ｂを参照して以下に説明される。決定ブロック２１８で障害物が識別されると、ステップ２２０で障害物が運動の領域で検知されたことを示す信号。いくつかのアプリケーションは、警報信号を送信する以上のことを実行してもよい。例えば、障害物が検知されたことを示す信号は、運動領域の中に移動して入る車両を停止させる自動停止機能をトリガするために使用されてもよい。決定ブロック２１８で障害物が検知されなかった場合、プロセスは、ステップ２２２で選択されてもよい別のＮ個のフレームについて繰り返されてもよい。次のＮ個のフレームは、ちょうど処理されたばかりのＮ個のフレームの後に受信されたビデオ画像からであってもよい。次のＮ個のフレームは、ビデオ画像データのより大きなブロックのあるメモリ記憶領域内に記憶されるフレームであってもよい。
【００２１】
図２のフローチャートによって示される例示の方法２００は、車両１０２が運動の領域１１０の中に移動している限り連続して実行されてもよい。
【００２２】
図２にを参照して上述されたように、障害検知機能は、レンズ歪みのために歪曲されることがあるビデオ画像に対して実行されてもよい。ビデオ画像の歪みは、レンズ歪み係数を使用して補正される場合がある。図３Ａから図３Ｂは、歪み補正の動作の例示を示す画像の概略表現である。図３Ａは、レンズ歪みに対して補正されていない画像３００を示す。画像３００は、構造物上の（３０２で）水平線および（３０４で）垂直線を曲線として示す。曲線は、障害物検知の精度に影響を及ぼすことがある。図３Ｂは、よりまっすぐな、つまりより曲線状ではない、（３５２における）水平線および（３５４における）垂直線を示す歪み補正済み画像３５０を示す。
【００２３】
歪み補正は、画像からレンズの影響を取り除くことによって画像を修正する。この種の補正は、カメラ座標空間内の画像で、ワールド座標空間内の場面がどのように表示されるのかに作用する。歪み補正は、画像座標空間への場面変換で実行される。以下は、ワールド座標空間内の三次元点を、透視変換を使用してピクセルベースの画像座標空間内の画像平面内に投射するために使用されるピンホールカメラモデルのための歪み補正を説明する。以下の説明では、次の仮定がなされている。
（Ｘ、Ｙ、Ｚ）は、ワールド座標空間内の三次元点の座標であり、
（ｘ、ｙ、ｚ）は、カメラ座標空間内の三次元点の座標であり、
（ｕ、ｖ）はピクセル（画像座標）単位での画像の点射影の座標であり、
（ｃｘ、ｃｙ）は、（通常は、画像中心にある）主点であり、
ｆｘ、ｆｙは、ピクセル関係の単位で表される焦点距離であり、
行列Ｒは回転行列であり、
行列ｔは変換行列である。
【００２４】
Ｒ行列およびｔ行列は、静的な場面の回りでのカメラの運動、つまり静止カメラの前のオブジェクトの剛体運動を説明するパラメータを含む。行列Ｒおよび行列ｔは、点（Ｘ、Ｙ、Ｚ）の座標を、カメラに対して固定されるカメラ座標系に変換する。変換は、方程式１の（ｘ、ｙ、ｚ）として以下に表される。
【００２５】
【数１】
【００２６】
カメラ座標系の点（ｘ、ｙ、ｚ）は、歪みについて補正せずに、方程式２および３に示されるように、ピクセル（ｕ、ｖ）として画像座標系に従って画像平面上で投射されてもよい。
【００２７】
【数２】
【００２８】
【数３】
【００２９】
【数４】
【００３０】
【数５】
【００３１】
上記の計算は、以下の通り歪み補正を組み込んでもよい。本物のレンズは、通常、２つの主要な成分、つまり放射歪みおよびわずかな接線歪みを有するいくつかの歪みを有する。それぞれの変換のための上記モデルは、以下のように拡張されてもよい。
【００３２】
【数６】
【００３３】
【数７】
【００３４】
【数８】
【００３５】
【数９】
【００３６】
【数１０】
【００３７】
【数１１】
【００３８】
【数１２】
【００３９】
上式では、
【００４０】
【数１３】
【００４１】
ｋ１、ｋ２ は、放射方向歪み係数であり、
ｐ１、ｐ２ は接線方向歪み係数である。
【００４２】
ここで説明されている例では、所望される補正精度は、高次係数を使用する必要なく取得される場合があると仮定される。歪み係数は表示されている場面には依存せず、取り込まれた画像解像度とは関係なく同じままとなることが留意される。歪み係数は記憶されてもよく、焦点距離（ｆｘ、ｆｙ）および固定された焦点距離のための主点（ｃｘ、ｃｙ）等の他の固有パラメータとともに使用されてもよい。ズームレンズが使用される場合、固有パラメータは、焦点距離の関数として記憶されてもよく、または特定の焦点距離のために事前設定されてもよい。
【００４３】
回転行列および変換行列（Ｒおよびｔ）は、静的な場面の回りのカメラ運動、または静止カメラの前のオブジェクトの運動を記述するために使用されるので外部パラメータである。一実装例では、内部カメラパラメータおよび外部カメラパラメータは、既知の較正パターンのいくつかのビューから推定されてもよく、あらゆる図はいくつかの３Ｄ−２Ｄ点対応によって記述されている。使用されてもよい較正パターンの一例は、ワールド空間座標が既知である空間内に設置される、既知のサイズかつ正方形寸法の白黒のチェス盤である。例えば、チェス盤の各正方形が２２ｍｍ×２２ｍｍの正方形サイズを有する、平らな板に固着された（例えば、１枚のＡ３の用紙等の）平らな表面上の白黒のチェス盤である。例えば、正方形の角での３Ｄ点と、２Ｄ画像点との間の対応が決定され、方程式４から７に関して上述されるように、ワールド空間座標からカメラ座標に、次いで（ピクセル単位の）画像座標に変換する際に再利用されてもよい。
【００４４】
処理される画像内の歪みの補正は、逆透視変換を使用して障害物を検知するシステムの能力を改善する場合がある。ビデオストリームが障害物検知関数１０４によって入力されるに従い、画像は各フレームで補正を実行することによって補正されてもよい。図２に関して上述された例の方法では、補正されたフレームは、次いで結合画像だけではなく差異画像も計算するために使用される。差異画像は、以前のＮ個のフレームとＮ番目のフレームとの間の差異を採取することによって取得される画像フレームである。差異画像が合計されて、結合画像を生成する。結合画像は、次いで逆透視マッピング（「ＩＰＭ」）を使用して処理される。
【００４５】
図４Ａから図４Ｃは、例示の歪み補正された画像に対する逆透視変換を示す画像の概略表示である。図４Ａは、差異画像および結合画像を生成するために処理の前に歪み補正された画像４００である。図４Ａの補正された画像４００は、障害物検知を実行するために選択されるＮ個の画像のシーケンス内のＮ番目の画像であってもよい。補正画像４００は、また、Ｎ個の画像のシーケンスの最初であってもよい。ここで説明されている例では、補正画像４００はシーケンス中のＮ番目の画像であると仮定される。図４Ａの補正画像４００は、障害物４０２、道路表面パターン４０４、車両４０６、および歩道の縁石４０８を有する道路表面を示す。図４Ａに示される道路上のオブジェクトは、差異画像が透視変換によって結合され、処理された後に可視パターンを示させてもよい。例示の障害物検知機能の実装例では、障害物ではない可能性があるオブジェクトは、変換された画像で実質的に縮小されるか、変換画像の分析で拒絶されるかのどちらかである。
【００４６】
図４Ｂは、以前のＮ−１の画像を使用して差異画像を計算することによって生成される結合画像４２０の例である。Ｎ＝５の場合、以前の４つの画像（Ｎ−１、Ｎ−２、Ｎ−３、Ｎ−４）がそれぞれ５番目の画像から差し引かれて４つの（Ｎ−１）個の差異画像を取得する。画像フレームＮ、Ｎ−１、Ｎ−２、Ｎ−３、およびＮ−４は、対応するピクセル場所でグレースケール強度を含む行列 ｜Ｎ｜、 ｜Ｎ−１｜、 ｜Ｎ−２｜、 ｜Ｎ−３｜および ｜Ｎ−４｜であると定義されてもよく、この場合Ｎは分析のために選択された画像フレームである。 差異画像の計算は、次いで、次に示すように進んでよい。
【００４７】
（数１４）
差異画像 Δ（Ｎ−１） ＝ ｜Ｎ｜ − ｜Ｎ−１｜ 方程式 （８ａ）
（数１５）
差異画像 Δ（Ｎ−２） ＝ ｜Ｎ｜ − ｜Ｎ−２｜ 方程式 （８ｂ）
（数１６）
差異画像 Δ（Ｎ−３） ＝ ｜Ｎ｜ − ｜Ｎ−３｜ 方程式 （８ｃ）
（数１７）
差異画像 Δ（Ｎ−４） ＝ ｜Ｎ｜ − ｜Ｎ−４｜ 方程式 （８ｄ）
方程式８の差異画像計算は、フレーム｜Ｎ｜の中の対応するピクセル場所での強度から、１つのフレーム（例えば｜Ｎ−１｜）内の強度を差し引くことによって実行される。方程式８で計算される差異画像は、次いで合計され、以下の通りに結合画像を生成する。
【００４８】
（数１８）
結合画像 ｜Ｃ｜ ＝ Δ（Ｎ−１） ＋ Δ（Ｎ−２） ＋ Δ（Ｎ−３） ＋ Δ（Ｎ−４） 方程式 （９）
差異画像の合計は、それぞれの差異画像フレーム中の対応するピクセル場所での強度の行列の加算によって実行される。結合画像４２０の例は、図４Ａに示される画像４００について図４Ｂに示される。図４Ｂの結合画像４２０は、差異画像および結合画像の計算が図４Ａの画像４００内のオブジェクトの表示に対して有する影響を示し、影響は、一般に、潜在的な障害物であるかもしれないオブジェクトの端縁を抽出することである。図４Ａにおける障害物４０２は、運動の線に沿ってわずかに不鮮明にされた、図４Ｂにおける障害物４２２として示される。図４Ａの路面パターン４０４は、オリジナルパターンのよりぼやけた表現として図４Ｂのパターン４２４で示され、それは運動の線に沿って通る線を含む。縁石４０８は、図４Ｂの４２６でぼやけた線として示されている。図４Ｂは、他のオブジェクトの輪郭線も示す。ただし、障害物の検知に関連しないであろう画像中の詳細の大部分は効果的にフィルターされて除去されている。
【００４９】
Ｎ個の画像の内の第１番目が差異画像を取得するための補正画像として選択される場合、方程式（８ａ）以下参照、および方程式（９）は、第１の画像に続く画像が第１の画像から差し引かれるという点だけで異なることが留意される。
【００５０】
図４Ｂの結合画像４２０は、ＩＰＭを使用して実行される斜視変換によって変換されてもよい。ＩＰＭは１つの透視図からの画像を俯瞰図、または上面図にマッピングするための周知の技法であり、より詳しく説明する必要はない。図４Ｃは、図４Ｂの結合画像４２０上でＩＰＭを実行することによって生成されてもよい変換画像４５０の例を示す。上述されたように、ＩＰＭは、例えばある角度からの立面図等の異なる透視図から記録された画像の俯瞰図（または上面図）を生成する。ＩＰＭ変換は、射影点で収束する線に沿った障害物かもしれないオブジェクトの端縁を拡張する効果を有する。射影点は、カメラの焦点を表す点であり、実際には画像上に表示されない場合がある。射影点は、カメラに最も近い画像の端縁に平行であり、この端縁と長さが等しい線分のほぼ中心にあると仮定される。変換画像４５０は、射影点に向かって伸びるように見える端縁によって形成されるオブジェクト画像４５２を示す。変換画像４５０は、図４Ａの路面パターン４０４等の他のオブジェクトを表す線４５４も含む。路面パターンを表す線４５４は射影点に向かって伸びていないように見え、したがってオブジェクトイメージ４５２を形成する端縁から区別できる。
【００５１】
図５Ａから図５Ｂは、逆透視マッピングされた差異画像の障害物オブジェクト分割を示す画像の概略表示である。図５Ａは、歪み補正後のオリジナル画像５００を示す。画像５００は、オブジェクト５０２が運動の領域５０４内で移動中の車両に対する障害物と見なされるように、運動の領域５０４内に設置されるオブジェクト５０２を含む。図５Ｂは、ＩＰＭを使用する透視変換後の結合画像５２０を示す。結合されたＩＰＭ画像５２０はＩＰＭオブジェクト５２２として、図５Ａからの元のオブジェクト５０２を示す。ＩＰＭオブジェクト５２２を形成する端縁は、伸びて、画像の下端を越えた射影点に収束する延長線５３０上にある。図５Ｂの結合されたＩＰＭ画像５２０は、どのようにして画像中の線が、画像中で線としてあらわれるが障害物を提示しないオブジェクトまたはパターンから、障害物を提示するかもしれないオブジェクトを区別するために分析される場合があるかを示す。図５Ｂに示される分析は、例えば、図２のフローチャート中のステップ２１４で実行される分析の例を示す。
【００５２】
図５Ｂの結合されたＩＰＭ画像５２０は、極性ヒストグラムを使用してセグメンテーションおよび分析によってさらに処理されてもよい。図６Ａから図６Ｂは、極性ヒストグラムを使用して逆透視マッピングされた結合差異画像の分析例を示す図である。図６Ａを参照すると、結合されたＩＰＭ画像は、図５Ｂの結合されたＩＰＭ画像５２０で示される射影点上で収束する複数の線に従って、６０２で示されるように分割されてもよい。図５Ｂの結合されたＩＰＭ画像５２０は、画像５２０で識別された端縁から伸びる線を示す。図６０２で示される画像を分割する際に使用される複数の線は、複数の角度で画像を通して形成される線であってもよく、１つの共通の頂点としての射影点。
【００５３】
極性ヒストグラムは、６０４で示される各角度を形成する線上のピクセルの強度値を足し合わせることによって形成される。極性ヒストグラムは、６０５で示される各角度での合計値のプロットである。結合されたＩＰＭ画像内でオブジェクトの端縁を形成する線は、６０８で示されるそれぞれの線の角度での極性ヒストグラム上のピークを形成する。ピークの高さは、オブジェクトである可能性がある端縁の角度に沿って伸びる線によって示される端縁の鋭さおよび長さとおおよそ相関している。極性ヒストグラムで描画された値は正規化されてもよく、極性ヒストグラムは、例えば低域通過ガウスフィルタ６１２を使用して６０６で示されるようにフィルタにかけられて、ノイズの影響を低減してもよい。６０６での極性ヒストグラムは、次いで分析され、さらに正確に障害物を識別してもよい。
【００５４】
図６Ｂに示されるように、極性ヒストグラムは互いに近いピークおよび谷の識別のために分析されてもよい。図２から図５Ｂに関して上述された画像の処理に基づいて、極性ヒストグラムの分析は、選択された基準に従って配置されるピークおよび谷によって示される障害物の検知をもたらす場合がある。基準は、例えば極性ヒストグラム内の２つのピークがオブジェクトの端縁を構成するために互いにとってどれほど近いか、および２つのピークの間には最小ピークの内のどれほど多くがあるべきかを決定することによって選択されてもよい。すなわち、２つのピークが互いに近い場合、それらは、より障害物であるかもしれないオブジェクトの端縁である可能性がより高い。ピーク間の距離が増すにつれて、ピークが同じオブジェクトの端縁を表さない可能性がより高くなる。
【００５５】
図６Ｂを参照すると、極性ヒストグラムのピークは、局所的な最大値６２２および局所的な最小値６２４として識別されてもよく、局所的な最小値６２４は谷の最小値である。谷は、互いに実質的に近接しているピーク間の間隔であると定義されてもよい。局所的な最大値６２２および最小値６２４は、次いで互いに対するそれらの位置に従って分析されてもよい。極性ヒストグラムの走査および走査中に識別された構成要素のグラフである例が、図６Ｂの６３０で示される。６３０で示されるように、極性ヒストグラムは開始ピークｓｐを識別するために６４０で走査されてもよい。開始ピークｓｐと以前の最小値との間の角度の差異は、開始ピークｓｖに対する（図６Ｂでの）開始上昇ｓｖとして識別されてもよい。極性ヒストグラムの走査は、中心ピークｃｐとして識別されてもよい次の局所的な最小値まで識別された開始ピークｓｐを越えて続行してもよい。走査は、中心ピークｃｐを越えて終了ピークｅｐまで続行してもよい。開始ピークｓｐと終了ピークｅｐとの間の角度の距離は、中心谷ｃｖとして定義されてもよい。走査は、次いで終了ピークｅｐを越えて次の最小値まで続行してもよく、終了ピークｅｐと次の最小値との間の角度の差異として終了上昇ｅｖを決定してもよい。
【００５６】
いったんピークとピーク間の角度の差異のセットが、上記に定められるようにｓｖ、ｓｐ、ｃｖ、ｃｐ、ｅｐ、ｅｖについて決定されると、障害物の端縁として識別されたピークを排除するか、または障害物が検知されたことを示すかのどちらかのために条件が適用されてもよい。一例では、以下の条件が適用される。
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖの場合には、
局所的なピークｓｐおよび候補障害物端縁としてｓｖを決定するために使用される最小値を削除し、
ｓｐ ＝ ｅｐ、と設定し、
ｓｖ＝ｃｐとｅｐとの間の角度距離、と設定し、
新しいｃｖ、ｃｐ、およびｅｖがないか走査し、検出された場合再試験し、
ｃｖ、ｅｐおよびｅｖが検出されない場合、ｓｐ、ｓｖ、ｃｐ、ｅｐおよびｅｖをリセットし、極性ヒストグラムの走査を続行する。
それ以外の場合、障害物端縁としてピークｓｐおよびｅｐを識別する。
極性ヒストグラムの走査を続行する。
【００５７】
候補ピークは、６５０で示されるピーク対のセットが障害物を表すための強力な候補として識別されてもよい上記条件を満たしたとして識別されてもよい。いったん極性ヒストグラムが走査されると、走査中に候補ピークとして識別されたピークは障害物端縁を識別するために図６Ｂで６６０として示されるように局所化されてもよい。ピークを局所化する際には、極性ヒストグラム内のピークに対してさらなる分析が実行され、障害物端縁をより正確に識別してもよい。例えば、６７２でのピークは、同じ障害物の端縁になる程度に、互いに対して十分に近くない最大振幅を有してもよい。他のタイプの分析は、障害物検知をより正確且つ的確にするために極性ヒストグラム上で実行されてもよい。
【００５８】
上記説明は、カメラが運動中の車両内部にあると仮定していることが留意される。当業者は、上記に説明されたシステムおよび方法が車両内、または移動中の構造物内での使用に限られないことを理解するであろう。上記に説明される障害物検知システムの例は、移動面にわたる静止構造物内、および障害物検知が使用されてもよい任意の用途で実装されてもよい。
【００５９】
図１から図６に関連して説明される１つまたは複数のプロセス、サブプロセス、またはプロセスステップがハードウェアおよび／またはソフトウェアによって実行されてもよいことは、当業者によって理解され認識されるだろう。プロセスがソフトウェアによって実行される場合、ソフトウェアは、図１から図６に概略で示される機能部品またはモジュールの内の１つまたは複数等の適切な電子処理部品またはシステム内のソフトウェアメモリ（不図示）に常駐してもよい。ソフトウェアメモリ内のソフトウェアは、論理関数（つまり、デジタル回路またはソースコード等のデジタル形式、あるいはアナログ電気信号、アナログ音声信号、もしくはアナログビデオ信号等のアナログ回路またはアナログソース等のアナログ形式のどちらかで実装されてもよい「論理」）を実装するための実行可能命令の順序付きリストを含んでもよく、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行してもよい他のシステム等の命令実行システム、装置、もしくはデバイスによる、使用またはそれらと関連した使用のために任意のコンピュータ可読媒体内で選択的に具現化されてもよい。本開示の文脈において、「コンピュータ可読媒体」は命令実行システム、装置もしくはデバイスによる使用またはそれらに関連した使用のためのプログラムを含み、記憶し、または通信してもよい任意の手段である。コンピュータ可読媒体は、選択的に例えば電子、磁気、光学、電磁、赤外線、または半導体のシステム、装置、またはデバイスであってもよいが、これらに制限されない。コンピュータ可読媒体の、より具体的ではあるが、完全に網羅したリストではない例は、携帯用のコンピュータディスケット（磁気的）、ＲＡＭ（電子的）、読取専用メモリ「ＲＯＭ」（電子的）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）（電子的）および携帯用のコンパクトディスク読み取り専用メモリ「ＣＤＲＯＭ」（光学的）を含むことになる。プログラムは例えば紙または他の媒体の光学走査を介して電子的に取り込まれ、ついでコンパイルされ、翻訳され、または必要な場合に適切な方法で処理され、次いでコンピュータメモリに記憶できるので、コンピュータ可読媒体は、プログラムが上に印刷される紙媒体または別の適切な媒体であってもよいことに留意されたい。
【００６０】
前記の実装の説明は図解および説明のために提示された。それは網羅的ではなく、特許請求されている本発明を開示されている正確な形に制限しない。変型および変形は、上記説明を鑑みて可能であるか、または本発明を実践することから取得されてもよい。請求項およびその同等物が本発明の範囲を定める。
【技術分野】
【０００１】
本発明は、移動する構造物を有する環境における画像システムに関し、さらに詳細には障害物を検知するための画像システムおよび方法に関する。
【背景技術】
【０００２】
画像システムは、所望される運動を妨害することがある障害物を検知するために（ロボットナビゲーションまたは運搬機構等の）ナビゲーションが関与する車両および駆動装置付きの機械等の移動構造物で使用される。かかる画像システムは、通常、運動の経路に照準が定められた１台または複数のカメラ、および取り込まれた画像を分析し、障害物を検知する画像処理システムを使用する。障害物が検知されるとき、警報または他の適切な通知が、障害物の回避を可能にするために通信されてもよい。障害検知システムは、障害物を示す画像中のパターンを検知することによって動作する。障害物検知は、構造物が移動中である場合には困難であることがあり、適切な結果は多くの場合、所望される用途では障害物検知を高価すぎるものにするハードウェアおよびソフトウェア機器の使用を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
障害物検知システムの一例は、画像を記録するためにステレオカメラ装置（右カメラおよび左カメラ）を使用する。カメラからの画像はステレオ逆透視マッピング（ＩＰＭ）を使用して処理され、左画像と右画像との間の差異を表す差異画像を生じさせる。画像は左カメラおよび右カメラによって同期して取り込まれるので、車両のための用途で使用されるステレオＩＰＭは、道路の凹凸、道路のマーキング、および通常道路表面上で平面的なオブジェクトに見える影を効果的にフィルターして取り除いてもよい。二値画像は、差異画像上でなんらかのフィルタおよび標識化を実行することによって取得される。二値画像は、信頼性のある障害物オブジェクトである場合もあれば、信頼性のある障害物オブジェクトではない場合もあるいくつかのブロブを含むことがある。ブロブごとに極性ヒストグラムが計算され、ピークが分析される。極性ヒストグラムの強力なピークは、障害物を識別するものとして解釈されてもよい。効果的であるが、ステレオＩＰＭは２台のカメラの使用を必要とし、それは実装における費用を増加する。実際問題としては、ステレオＩＰＭ障害物検知を使用するアプリケーションは、空間の必要性および第２のカメラの適切な設置の必要性も織り込まなければならない。
【０００４】
別の例示の検知システムは、移動する車内で１台のカメラを使用し、ＩＰＭ画像（平面図）も採用する。単眼カメラは、任意の所与の時間Ｔに１つのフレームを取得し、いくつかの時間間隔の間に２つのフレームを取り込み、ＩＰＭ差異画像を生成するために使用されてもよい２つの画像を取得する。車両の移動のため、道路上に描かれた文字列、道路標識、および影等の道路表面上の平面的なオブジェクトは、偽のポジティブを生じさせる。かかる偽のポジティブを拒絶するためには、単眼カメラシステムは（車線マーク等の）道標または道路環境での顕著な道路の凹凸を表すオブジェクトを識別し、これらのオブジェクトを使用して２つの画像を登録するために使用される車の移動を計算する。単眼カメラに基づく障害物検知システムの別の例では、車両の運動パラメータを計算するためにオプティカルフローが使用される
単眼カメラ障害物検知システムは、ただ１台のカメラを使用して障害物を検知できる。ただし、かかるシステムは、通常、画像を登録するために、車両の運動および運動パラメータを計算する必要がある。足し合わされた計算は、システムを低速化するほど十分に複雑となり、効果的な時間枠内での障害物検知を困難にすることがある。
【０００５】
複数のカメラを必要とせず、車両運動パラメータの計算を必要としない障害物検知システムのためのニーズが存在する。
【課題を解決するための手段】
【０００６】
前記を鑑みて、運動の領域にわたって運動中の、または移動している運動の領域にわたって静止している装置上に配置される単一のカメラを使用して障害物を検知するためのシステムおよび方法が提供される。例示の実装例では、運動の領域の画像のビデオストリームが取り込まれる。ビデオストリーム内の画像は、さらなる処理の前にレンズ歪みに対して補正されてもよい。Ｎ番目の画像フレームは、ビデオストリーム内のＮ個の画像のシーケンスから選択される。Ｎ−１個の差異画像のセットは、Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによって計算される。Ｎ−１個の差異画像は、互いに足し合わされ、結合された差異画像を生成する。 逆透視変換が結合された差異画像で実行され、変換された画像を生成する。変換された画像は、変換された画像内の障害物の端縁を検知するために分析される。運動の領域内で障害物の検知を示す信号は、次いで生成されてもよい。
【０００７】
本発明の他のデバイス、装置、システム、方法、特徴、および優位点は、以下の図および詳細な説明を調べると当業者に明らかであろう、または明らかになるであろう。かかる追加のシステム、方法、特徴、および優位点の全てはこの説明の中に含まれ、本発明の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。
【０００８】
例えば、本願発明は以下の項目を提供する。
（項目１）
障害物を検知するためのシステムであって、
装置上に配置されて、上記装置が移動中である運動の領域の画像のビデオストリームを取り込む１台のカメラと、
上記画像のビデオストリームを受信し、
上記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
上記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
上記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
上記結合された差異画像に透視変換を実行して、変換画像を生成することと、
上記変換画像内の障害物の端縁を検知することと、
上記運動の領域内での障害物の検知を示す信号を生成することと、
によって上記画像のビデオストリームを処理するように構成される障害物検知機能と、
を備えるシステム。
（項目２）
上記装置が、上記運動の領域を含む路面にわたって移動する車両である、上記項目に記載のシステム。
（項目３）
上記装置が観察者から見て静止装置であり、上記装置が上記運動の領域を含む表面の上方に配置され、上記表面が上記静止装置に対して移動している、上記項目のうちのいずれか一項に記載のシステム。
（項目４）
画像フレームの数Ｎが２と約１０の間である、上記項目のうちのいずれか一項に記載のシステム。
（項目５）
上記障害物検知機能が、
上記Ｎ番目の画像フレームを選択する前に上記画像のビデオストリームのレンズ歪みを補正する、
ように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目６）
上記障害物検知機能が、逆透視マッピング（ＩＰＭ）を使用して上記透視変換を実行するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目７）
上記障害物検知機能が、上記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別し、さらなる処理からオブジェクトの上記識別された端縁を拒絶することによって上記変換画像を分析するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目８）
上記障害物検知機能が、上記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別することによって上記変換画像を分析するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目９）
上記障害物検知機能が、
上記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークのための基準に従って、上記極性ヒストグラム内に形成されるピークを分析することと、
によって障害物の端縁を検知するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目１０）
上記障害物検知機能が、
射影点から伸びる線によって形成される角度の間の領域に従って上記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、上記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
上記対応する角度に対して上記ピクセル値をプロットすることと、
によって上記極性ヒストグラムを構築するように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目１１）
上記障害物検知機能が、上記極性ヒストグラムを走査することによって障害物の端縁を識別し、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別し、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別し、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別し、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶し、
追加の候補ピークに対して走査を続行し、
候補ピークを局所化して、検知された障害物を示す、
ように構成される、上記項目のうちのいずれか一項に記載のシステム。
（項目１２）
装置上に配置される単一のカメラを使用して障害物を検知するための方法であって、
上記装置が移動中である運動の領域の画像のビデオストリームを取り込むことと、
上記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
上記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
上記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
上記結合された差異画像に透視変換を実行して、変換画像を生成することと、
上記変換画像内の障害物の端縁を検知することと、
上記運動の領域内での障害物の検知を示す信号を生成することと、
を含む方法。
（項目１３）
上記装置が上記運動の領域を含む路面にわたって移動する車両である、上記項目に記載の方法。
（項目１４）
上記装置が観察者から見て静止装置であり、上記装置が上記運動の領域を含む表面の上方に配置され、上記表面が上記静止装置に対して移動中である、上記項目のうちのいずれか一項に記載の方法。
（項目１５）
画像フレームの数Ｎが２と約１０の間である、上記項目のうちのいずれか一項に記載のシステム。
（項目１６）
上記Ｎ番目の画像フレームを選択する前に画像の上記ビデオストリームのレンズ歪みを補正すること、
をさらに含む、上記項目のうちのいずれか一項に記載のシステム。
（項目１７）
透視変換の上記ステップが、逆透視マッピング（ＩＰＭ）を使用して実行される、上記項目のうちのいずれか一項に記載の方法。
（項目１８）
障害物の端縁を検知する上記ステップが、
上記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別することと、
さらなる処理からオブジェクトの上記識別された端縁を拒絶することと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目１９）
障害物の端縁を検知する上記ステップが、
上記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別すること、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２０）
障害物の端縁を検知する上記ステップが、
上記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークの基準に従って上記極性ヒストグラム内に形成されるピークを分析することと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２１）
上記極性ヒストグラムを構築する上記ステップが、
射影点から伸びる線によって形成される角度の間の領域に従って上記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、上記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
上記対応する角度に対して上記ピクセル値をプロットすることと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２２）
上記極性ヒストグラムで形成されるピークを分析する上記ステップが、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別することと、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別することと、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶することと、
追加の候補ピークに対して走査を続行することと、
候補ピークを局所化して、検知された障害物を示すことと、
を含む、上記項目のうちのいずれか一項に記載の方法。
（項目２３）
ｓｖを評価する上記ステップが、
局所ピークｓｐ、およびｓｖを候補障害端縁として決定するために使用される最小値を削除することと、
ｓｐ ＝ ｅｐ、と設定することと、
ｓｖ＝ｃｐとｅｐとの間の角度距離、と設定することと、
ｃｐからの上記極性ヒストグラムを走査して、ｃｖ、ｅｐ、およびｅｖの新しいセットを識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを再評価することと、
をさらに含む、上記項目のうちのいずれか一項に記載の方法。
【０００９】
（摘要）
運動の領域にわたって運動中の、または移動している運動の領域にわたって静止している装置上に配置される単一のカメラを使用して障害物を検知するためのシステムおよび方法。例示の方法では、運動の領域の画像のビデオストリームが取り込まれる。ビデオストリーム内の画像は、さらなる処理の前にレンズ歪みに対して補正されてもよい。Ｎ番目の画像フレームは、ビデオストリーム内のＮ個の画像のシーケンスから選択される。Ｎ−１個の差異画像のセットは、Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによって計算される。Ｎ−１個の差異画像は、互いに追加され、結合された差異画像を生成する。透視変換が結合された差異画像で実行され、変換された画像を生成する。変換された画像は、変換された画像内の障害物の端縁を検知するために分析される。運動の領域内で障害物の検知を示す信号は、次いで生成されてもよい。
【００１０】
以下の説明は、以下の図を参照することによってよりよく理解されるかもしれない。図中の構成要素は、必ずしも縮尺どおりではなく、代わりに本発明の原則を示す強調が加えられている。図中、類似する参照番号は、異なる図を通して対応する部分を示す。
【図面の簡単な説明】
【００１１】
【図１】例示の障害物検知システムのブロック図である。
【図２】障害物を検知するための例の方法の動作を示すフローチャートである。
【図３Ａ】歪み補正の動作を示す画像の概略図である。
【図３Ｂ】歪み補正の動作を示す画像の概略図である。
【図４Ａ】逆透視変換を示す画像の概略表現を示す図である。
【図４Ｂ】逆透視変換を示す画像の概略表現を示す図である。
【図４Ｃ】逆透視変換を示す画像の概略表現を示す図である。
【図５Ａ】逆透視マッピングされた差異画像の障害物オブジェクトの分割を示す画像の概略表現である。
【図５Ｂ】逆透視マッピングされた差異画像の障害物オブジェクトの分割を示す画像の概略表現である。
【図６Ａ】極性ヒストグラムを使用して逆透視マッピングされた差異画像の例示の分析を示す図である。
【図６Ｂ】極性ヒストグラムを使用して逆透視マッピングされた差異画像の例示の分析を示す図である。
【発明を実施するための形態】
【００１２】
図１は、単一のカメラ１０６を使用する例示の障害物検知システム１００のブロック図である。図１の障害物検知システムは、道路表面１１０にわたって示された運動方向で移動する車両１０２に実装される。カメラ１０６は、車両１０２が領域１５０にわたって移動する前に、領域１５０のビデオ画像を収集するように車両１０２上に配置されている。車両１０２は、カメラ１０６から画像データを受信し、画像データを処理して、障害物が領域１５０上に設置されているかどうかを決定するように構成される障害物検知機能１０４を含む。図１は、車両１０２上で動作する例示の障害物検知システム１００を示す。しかしながら、例示の障害物検知システム１００は、構造物がそこにわたって移動している領域内の障害物を検知することが所望される任意のタイプの構造物内に実装されてもよい。
【００１３】
障害物検知機能１０４は、単一のカメラ１０６からのビデオデータを処理して、いかなる車両運動パラメータの計算も必要とせずに、障害物が車両運動の領域内にあるかどうかを判断するように構成される。さらに以下で説明される一例では、一連の差異画像がビデオ画像データのＮ個のフレームのシーケンスから生成される。差異画像が足し合わされて、結合画像を形成し、結合画像は次いで、結合画像上で逆透視変換を実行することによって処理される。逆透視変換では、画像は、異なる透視図からの光景を近似するために処理される。以下に説明される例では、透視変換は、図１のカメラ１０６’によって示される運動の領域の頭上の上から見た光景から画像を生成するために実行される。変換された差異画像は、次いで、例えばそこから障害物が検知されることがある極性ヒストグラムを使用して分析される。
【００１４】
障害物が検知されると、障害物検知システム１０６は、障害物が検知されたことを信号で伝えてもよい。障害物の検知を示す信号は、所望される処置を講じるように構成された適切な機能に伝達されてもよい。例えば、障害物の表示は、自動的に（すなわちユーザの行為なしに）車両を停止させるために使用され得る。障害物の表示は、カメラ１０６によって取り込まれた領域の画像を表示して、または表示せずに、ユーザ又は運転者に告知されてもよい。障害物の検知は、障害物検知システム１００が使用される特定の用途に従った任意のやり方で使用されてもよい。
【００１５】
図２は、障害物を検知するための例示の方法２００の動作を示すフローチャートである。図２に示される例示の方法２００は、図１に示される障害検知システム１００の例を使用して実行されてもよい。図２に示される障害物検知の方法２００は、運動の領域の中へ運動の方向で移動している車両１０２で実行されてもよい。車両１０２が移動するのにつれて、カメラ１０６はステップ２０２で示されるようにビデオストリームを記録する。画像フレームのシーケンスとして記憶されてもよいビデオストリームは、カメラレンズに起因する何らかの歪みを含むことがある。ステップ２０２で収集されるビデオストリームは、方法２００による処理のためにグレースケール画像で記録されてもよく、またはグレースケール画像に変換されてもよい。また、ビデオストリームはカラー画像として記録され、グレースケールに変換せずにカラー画像として処理されてもよい。ステップ２０４で、ビデオストリーム中の画像は歪みについて補正される。ステップ２０６で、ビデオストリームの最初のＮ個のフレームが処理のために選択される。「最初の」Ｎ個のフレームは、それらを時間において「最後の」Ｎ個のフレームにすることになる収集された最も最近のＮ個のフレームであってもよいことが留意される。代わりに、「最初の」Ｎ個のフレームは、「最初の」Ｎ個のフレームを時間において収集された最初のフレームにすることになる、Ｎ個のフレームの複数のシーケンスを含むメモリ空間内に記憶されるＮ個のフレームの第１のシーケンスであってもよい。
【００１６】
図２に参照される「Ｎ」の値は、障害物検知方法２００が実装されているアプリケーションに依存してもよい。いくつかの例の実装例では、約２と１０との間のＮの値が適切であることが判明している。Ｎの値は、画像解像度、画像のサイズ、および方法２００がハイウェイ等の比較的速く移動している車両で使用されているのか、それとも反対に駐車するために操作している車両で使用されているか等の要因に依存してもよい。障害物検知が移動中の車両で実行されており、車両の速度が比較的速い場合、Ｎの値は、例えば２また３等、比較的小さくするべきである。しかしながら、車両の速度が比較的遅い場合、Ｎの値は、例えば４から１０等、比較的大きくてもよい。
【００１７】
ステップ２０８で、Ｎ−１個の差異画像のセットは、Ｎ番目の画像からＮ−１個の画像フレームのそれぞれを差し引くことによって生成される。ステップ２１０で、Ｎ−１個の差異画像が合計されて、 結合画像を生成する。ステップ２１２で、その結合画像上で透視変換が実行される。透視変換は、逆透視マッピング（「ＩＰＭ」）変換アルゴリズムを使用して実行されてもよい。結合画像の透視変換は、運動の領域１１０の表面から上方へ突出するオブジェクトに起因するかもしれない画像の異常または様相を強調表示するように画像を修正する。例えば、運動の領域１１０の表面に垂直に突出するオブジェクトは、変換された画像上で、カメラの射影点を通って伸びる直線として表示されてもよい。ＩＰＭアルゴリズムの例は、参照するより本明細書に組み込まれるＣｈｉｎ−Ｔｅｎｇ Ｌｉｎ、Ｔｚｕ−Ｋｕｅｉ Ｓｈｅｎ、およびＹｕ−Ｗｅｎ Ｓｈｏｕ、「Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｆｉｓｈｅｙｅ Ｌｅｎｓ Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ Ｍｏｄｅｌ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔｉｏｎ」、ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、第２０１０巻（２０１０年）、記事ＩＤ２９６５９８に説明されている。
【００１８】
ステップ２１４で、変換された画像は、運動の領域１１０の表面上に属さないオブジェクトの表示について分析される。ステップ２１４での分析は、カメラの射影点を通って伸びる延長線を、運動の領域上での障害物であるかもしれないオブジェクトの端縁を示す線として識別することを含んでもよい。変換された画像は、運動の領域上に属している、または少なくとも車両のための障害物を表していない影、ストリップ、車線標識、および他のオブジェクトからの線を含んでよい。障害物ではないオブジェクトによって引き起こされるかかる線は、カメラの射影点を通って伸びず、したがってオブジェクトの端縁としての検討から拒絶される。
【００１９】
ステップ２１６で、障害物オブジェクトを分けるために極性ヒストグラムが計算される。通常、極性ヒストグラムは二値画像で実行される。図２に関して説明される実装例の極性ヒストグラムは、グレースケール画像で実行される。二値画像を生成するために画像強度をどのような閾値に比較する必要もない。極性ヒストグラムは、変換された画像内で識別される射影点から発するそれぞれの直線を使用して計算される。一実装例では、射影点から発する各線上にあるピクセルの強度値が足し合わされる。極性ヒストグラムの値は、次いで正規化され、低域通過フィルタを通されて、ノイズの影響を削減する。
【００２０】
結果として生じるヒストグラムは、次いで決定ブロック２１８で障害物を識別するために分析される。ヒストグラム中のピークは、障害物に相当すると見なされる。障害物は、いくつかの規則を適用することによってヒストグラム中で識別されてもよい。障害物を識別するための極性ヒストグラム分析の例は、図６Ａおよび図６Ｂを参照して以下に説明される。決定ブロック２１８で障害物が識別されると、ステップ２２０で障害物が運動の領域で検知されたことを示す信号。いくつかのアプリケーションは、警報信号を送信する以上のことを実行してもよい。例えば、障害物が検知されたことを示す信号は、運動領域の中に移動して入る車両を停止させる自動停止機能をトリガするために使用されてもよい。決定ブロック２１８で障害物が検知されなかった場合、プロセスは、ステップ２２２で選択されてもよい別のＮ個のフレームについて繰り返されてもよい。次のＮ個のフレームは、ちょうど処理されたばかりのＮ個のフレームの後に受信されたビデオ画像からであってもよい。次のＮ個のフレームは、ビデオ画像データのより大きなブロックのあるメモリ記憶領域内に記憶されるフレームであってもよい。
【００２１】
図２のフローチャートによって示される例示の方法２００は、車両１０２が運動の領域１１０の中に移動している限り連続して実行されてもよい。
【００２２】
図２にを参照して上述されたように、障害検知機能は、レンズ歪みのために歪曲されることがあるビデオ画像に対して実行されてもよい。ビデオ画像の歪みは、レンズ歪み係数を使用して補正される場合がある。図３Ａから図３Ｂは、歪み補正の動作の例示を示す画像の概略表現である。図３Ａは、レンズ歪みに対して補正されていない画像３００を示す。画像３００は、構造物上の（３０２で）水平線および（３０４で）垂直線を曲線として示す。曲線は、障害物検知の精度に影響を及ぼすことがある。図３Ｂは、よりまっすぐな、つまりより曲線状ではない、（３５２における）水平線および（３５４における）垂直線を示す歪み補正済み画像３５０を示す。
【００２３】
歪み補正は、画像からレンズの影響を取り除くことによって画像を修正する。この種の補正は、カメラ座標空間内の画像で、ワールド座標空間内の場面がどのように表示されるのかに作用する。歪み補正は、画像座標空間への場面変換で実行される。以下は、ワールド座標空間内の三次元点を、透視変換を使用してピクセルベースの画像座標空間内の画像平面内に投射するために使用されるピンホールカメラモデルのための歪み補正を説明する。以下の説明では、次の仮定がなされている。
（Ｘ、Ｙ、Ｚ）は、ワールド座標空間内の三次元点の座標であり、
（ｘ、ｙ、ｚ）は、カメラ座標空間内の三次元点の座標であり、
（ｕ、ｖ）はピクセル（画像座標）単位での画像の点射影の座標であり、
（ｃｘ、ｃｙ）は、（通常は、画像中心にある）主点であり、
ｆｘ、ｆｙは、ピクセル関係の単位で表される焦点距離であり、
行列Ｒは回転行列であり、
行列ｔは変換行列である。
【００２４】
Ｒ行列およびｔ行列は、静的な場面の回りでのカメラの運動、つまり静止カメラの前のオブジェクトの剛体運動を説明するパラメータを含む。行列Ｒおよび行列ｔは、点（Ｘ、Ｙ、Ｚ）の座標を、カメラに対して固定されるカメラ座標系に変換する。変換は、方程式１の（ｘ、ｙ、ｚ）として以下に表される。
【００２５】
【数１】
【００２６】
カメラ座標系の点（ｘ、ｙ、ｚ）は、歪みについて補正せずに、方程式２および３に示されるように、ピクセル（ｕ、ｖ）として画像座標系に従って画像平面上で投射されてもよい。
【００２７】
【数２】
【００２８】
【数３】
【００２９】
【数４】
【００３０】
【数５】
【００３１】
上記の計算は、以下の通り歪み補正を組み込んでもよい。本物のレンズは、通常、２つの主要な成分、つまり放射歪みおよびわずかな接線歪みを有するいくつかの歪みを有する。それぞれの変換のための上記モデルは、以下のように拡張されてもよい。
【００３２】
【数６】
【００３３】
【数７】
【００３４】
【数８】
【００３５】
【数９】
【００３６】
【数１０】
【００３７】
【数１１】
【００３８】
【数１２】
【００３９】
上式では、
【００４０】
【数１３】
【００４１】
ｋ１、ｋ２ は、放射方向歪み係数であり、
ｐ１、ｐ２ は接線方向歪み係数である。
【００４２】
ここで説明されている例では、所望される補正精度は、高次係数を使用する必要なく取得される場合があると仮定される。歪み係数は表示されている場面には依存せず、取り込まれた画像解像度とは関係なく同じままとなることが留意される。歪み係数は記憶されてもよく、焦点距離（ｆｘ、ｆｙ）および固定された焦点距離のための主点（ｃｘ、ｃｙ）等の他の固有パラメータとともに使用されてもよい。ズームレンズが使用される場合、固有パラメータは、焦点距離の関数として記憶されてもよく、または特定の焦点距離のために事前設定されてもよい。
【００４３】
回転行列および変換行列（Ｒおよびｔ）は、静的な場面の回りのカメラ運動、または静止カメラの前のオブジェクトの運動を記述するために使用されるので外部パラメータである。一実装例では、内部カメラパラメータおよび外部カメラパラメータは、既知の較正パターンのいくつかのビューから推定されてもよく、あらゆる図はいくつかの３Ｄ−２Ｄ点対応によって記述されている。使用されてもよい較正パターンの一例は、ワールド空間座標が既知である空間内に設置される、既知のサイズかつ正方形寸法の白黒のチェス盤である。例えば、チェス盤の各正方形が２２ｍｍ×２２ｍｍの正方形サイズを有する、平らな板に固着された（例えば、１枚のＡ３の用紙等の）平らな表面上の白黒のチェス盤である。例えば、正方形の角での３Ｄ点と、２Ｄ画像点との間の対応が決定され、方程式４から７に関して上述されるように、ワールド空間座標からカメラ座標に、次いで（ピクセル単位の）画像座標に変換する際に再利用されてもよい。
【００４４】
処理される画像内の歪みの補正は、逆透視変換を使用して障害物を検知するシステムの能力を改善する場合がある。ビデオストリームが障害物検知関数１０４によって入力されるに従い、画像は各フレームで補正を実行することによって補正されてもよい。図２に関して上述された例の方法では、補正されたフレームは、次いで結合画像だけではなく差異画像も計算するために使用される。差異画像は、以前のＮ個のフレームとＮ番目のフレームとの間の差異を採取することによって取得される画像フレームである。差異画像が合計されて、結合画像を生成する。結合画像は、次いで逆透視マッピング（「ＩＰＭ」）を使用して処理される。
【００４５】
図４Ａから図４Ｃは、例示の歪み補正された画像に対する逆透視変換を示す画像の概略表示である。図４Ａは、差異画像および結合画像を生成するために処理の前に歪み補正された画像４００である。図４Ａの補正された画像４００は、障害物検知を実行するために選択されるＮ個の画像のシーケンス内のＮ番目の画像であってもよい。補正画像４００は、また、Ｎ個の画像のシーケンスの最初であってもよい。ここで説明されている例では、補正画像４００はシーケンス中のＮ番目の画像であると仮定される。図４Ａの補正画像４００は、障害物４０２、道路表面パターン４０４、車両４０６、および歩道の縁石４０８を有する道路表面を示す。図４Ａに示される道路上のオブジェクトは、差異画像が透視変換によって結合され、処理された後に可視パターンを示させてもよい。例示の障害物検知機能の実装例では、障害物ではない可能性があるオブジェクトは、変換された画像で実質的に縮小されるか、変換画像の分析で拒絶されるかのどちらかである。
【００４６】
図４Ｂは、以前のＮ−１の画像を使用して差異画像を計算することによって生成される結合画像４２０の例である。Ｎ＝５の場合、以前の４つの画像（Ｎ−１、Ｎ−２、Ｎ−３、Ｎ−４）がそれぞれ５番目の画像から差し引かれて４つの（Ｎ−１）個の差異画像を取得する。画像フレームＮ、Ｎ−１、Ｎ−２、Ｎ−３、およびＮ−４は、対応するピクセル場所でグレースケール強度を含む行列 ｜Ｎ｜、 ｜Ｎ−１｜、 ｜Ｎ−２｜、 ｜Ｎ−３｜および ｜Ｎ−４｜であると定義されてもよく、この場合Ｎは分析のために選択された画像フレームである。 差異画像の計算は、次いで、次に示すように進んでよい。
【００４７】
（数１４）
差異画像 Δ（Ｎ−１） ＝ ｜Ｎ｜ − ｜Ｎ−１｜ 方程式 （８ａ）
（数１５）
差異画像 Δ（Ｎ−２） ＝ ｜Ｎ｜ − ｜Ｎ−２｜ 方程式 （８ｂ）
（数１６）
差異画像 Δ（Ｎ−３） ＝ ｜Ｎ｜ − ｜Ｎ−３｜ 方程式 （８ｃ）
（数１７）
差異画像 Δ（Ｎ−４） ＝ ｜Ｎ｜ − ｜Ｎ−４｜ 方程式 （８ｄ）
方程式８の差異画像計算は、フレーム｜Ｎ｜の中の対応するピクセル場所での強度から、１つのフレーム（例えば｜Ｎ−１｜）内の強度を差し引くことによって実行される。方程式８で計算される差異画像は、次いで合計され、以下の通りに結合画像を生成する。
【００４８】
（数１８）
結合画像 ｜Ｃ｜ ＝ Δ（Ｎ−１） ＋ Δ（Ｎ−２） ＋ Δ（Ｎ−３） ＋ Δ（Ｎ−４） 方程式 （９）
差異画像の合計は、それぞれの差異画像フレーム中の対応するピクセル場所での強度の行列の加算によって実行される。結合画像４２０の例は、図４Ａに示される画像４００について図４Ｂに示される。図４Ｂの結合画像４２０は、差異画像および結合画像の計算が図４Ａの画像４００内のオブジェクトの表示に対して有する影響を示し、影響は、一般に、潜在的な障害物であるかもしれないオブジェクトの端縁を抽出することである。図４Ａにおける障害物４０２は、運動の線に沿ってわずかに不鮮明にされた、図４Ｂにおける障害物４２２として示される。図４Ａの路面パターン４０４は、オリジナルパターンのよりぼやけた表現として図４Ｂのパターン４２４で示され、それは運動の線に沿って通る線を含む。縁石４０８は、図４Ｂの４２６でぼやけた線として示されている。図４Ｂは、他のオブジェクトの輪郭線も示す。ただし、障害物の検知に関連しないであろう画像中の詳細の大部分は効果的にフィルターされて除去されている。
【００４９】
Ｎ個の画像の内の第１番目が差異画像を取得するための補正画像として選択される場合、方程式（８ａ）以下参照、および方程式（９）は、第１の画像に続く画像が第１の画像から差し引かれるという点だけで異なることが留意される。
【００５０】
図４Ｂの結合画像４２０は、ＩＰＭを使用して実行される斜視変換によって変換されてもよい。ＩＰＭは１つの透視図からの画像を俯瞰図、または上面図にマッピングするための周知の技法であり、より詳しく説明する必要はない。図４Ｃは、図４Ｂの結合画像４２０上でＩＰＭを実行することによって生成されてもよい変換画像４５０の例を示す。上述されたように、ＩＰＭは、例えばある角度からの立面図等の異なる透視図から記録された画像の俯瞰図（または上面図）を生成する。ＩＰＭ変換は、射影点で収束する線に沿った障害物かもしれないオブジェクトの端縁を拡張する効果を有する。射影点は、カメラの焦点を表す点であり、実際には画像上に表示されない場合がある。射影点は、カメラに最も近い画像の端縁に平行であり、この端縁と長さが等しい線分のほぼ中心にあると仮定される。変換画像４５０は、射影点に向かって伸びるように見える端縁によって形成されるオブジェクト画像４５２を示す。変換画像４５０は、図４Ａの路面パターン４０４等の他のオブジェクトを表す線４５４も含む。路面パターンを表す線４５４は射影点に向かって伸びていないように見え、したがってオブジェクトイメージ４５２を形成する端縁から区別できる。
【００５１】
図５Ａから図５Ｂは、逆透視マッピングされた差異画像の障害物オブジェクト分割を示す画像の概略表示である。図５Ａは、歪み補正後のオリジナル画像５００を示す。画像５００は、オブジェクト５０２が運動の領域５０４内で移動中の車両に対する障害物と見なされるように、運動の領域５０４内に設置されるオブジェクト５０２を含む。図５Ｂは、ＩＰＭを使用する透視変換後の結合画像５２０を示す。結合されたＩＰＭ画像５２０はＩＰＭオブジェクト５２２として、図５Ａからの元のオブジェクト５０２を示す。ＩＰＭオブジェクト５２２を形成する端縁は、伸びて、画像の下端を越えた射影点に収束する延長線５３０上にある。図５Ｂの結合されたＩＰＭ画像５２０は、どのようにして画像中の線が、画像中で線としてあらわれるが障害物を提示しないオブジェクトまたはパターンから、障害物を提示するかもしれないオブジェクトを区別するために分析される場合があるかを示す。図５Ｂに示される分析は、例えば、図２のフローチャート中のステップ２１４で実行される分析の例を示す。
【００５２】
図５Ｂの結合されたＩＰＭ画像５２０は、極性ヒストグラムを使用してセグメンテーションおよび分析によってさらに処理されてもよい。図６Ａから図６Ｂは、極性ヒストグラムを使用して逆透視マッピングされた結合差異画像の分析例を示す図である。図６Ａを参照すると、結合されたＩＰＭ画像は、図５Ｂの結合されたＩＰＭ画像５２０で示される射影点上で収束する複数の線に従って、６０２で示されるように分割されてもよい。図５Ｂの結合されたＩＰＭ画像５２０は、画像５２０で識別された端縁から伸びる線を示す。図６０２で示される画像を分割する際に使用される複数の線は、複数の角度で画像を通して形成される線であってもよく、１つの共通の頂点としての射影点。
【００５３】
極性ヒストグラムは、６０４で示される各角度を形成する線上のピクセルの強度値を足し合わせることによって形成される。極性ヒストグラムは、６０５で示される各角度での合計値のプロットである。結合されたＩＰＭ画像内でオブジェクトの端縁を形成する線は、６０８で示されるそれぞれの線の角度での極性ヒストグラム上のピークを形成する。ピークの高さは、オブジェクトである可能性がある端縁の角度に沿って伸びる線によって示される端縁の鋭さおよび長さとおおよそ相関している。極性ヒストグラムで描画された値は正規化されてもよく、極性ヒストグラムは、例えば低域通過ガウスフィルタ６１２を使用して６０６で示されるようにフィルタにかけられて、ノイズの影響を低減してもよい。６０６での極性ヒストグラムは、次いで分析され、さらに正確に障害物を識別してもよい。
【００５４】
図６Ｂに示されるように、極性ヒストグラムは互いに近いピークおよび谷の識別のために分析されてもよい。図２から図５Ｂに関して上述された画像の処理に基づいて、極性ヒストグラムの分析は、選択された基準に従って配置されるピークおよび谷によって示される障害物の検知をもたらす場合がある。基準は、例えば極性ヒストグラム内の２つのピークがオブジェクトの端縁を構成するために互いにとってどれほど近いか、および２つのピークの間には最小ピークの内のどれほど多くがあるべきかを決定することによって選択されてもよい。すなわち、２つのピークが互いに近い場合、それらは、より障害物であるかもしれないオブジェクトの端縁である可能性がより高い。ピーク間の距離が増すにつれて、ピークが同じオブジェクトの端縁を表さない可能性がより高くなる。
【００５５】
図６Ｂを参照すると、極性ヒストグラムのピークは、局所的な最大値６２２および局所的な最小値６２４として識別されてもよく、局所的な最小値６２４は谷の最小値である。谷は、互いに実質的に近接しているピーク間の間隔であると定義されてもよい。局所的な最大値６２２および最小値６２４は、次いで互いに対するそれらの位置に従って分析されてもよい。極性ヒストグラムの走査および走査中に識別された構成要素のグラフである例が、図６Ｂの６３０で示される。６３０で示されるように、極性ヒストグラムは開始ピークｓｐを識別するために６４０で走査されてもよい。開始ピークｓｐと以前の最小値との間の角度の差異は、開始ピークｓｖに対する（図６Ｂでの）開始上昇ｓｖとして識別されてもよい。極性ヒストグラムの走査は、中心ピークｃｐとして識別されてもよい次の局所的な最小値まで識別された開始ピークｓｐを越えて続行してもよい。走査は、中心ピークｃｐを越えて終了ピークｅｐまで続行してもよい。開始ピークｓｐと終了ピークｅｐとの間の角度の距離は、中心谷ｃｖとして定義されてもよい。走査は、次いで終了ピークｅｐを越えて次の最小値まで続行してもよく、終了ピークｅｐと次の最小値との間の角度の差異として終了上昇ｅｖを決定してもよい。
【００５６】
いったんピークとピーク間の角度の差異のセットが、上記に定められるようにｓｖ、ｓｐ、ｃｖ、ｃｐ、ｅｐ、ｅｖについて決定されると、障害物の端縁として識別されたピークを排除するか、または障害物が検知されたことを示すかのどちらかのために条件が適用されてもよい。一例では、以下の条件が適用される。
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖの場合には、
局所的なピークｓｐおよび候補障害物端縁としてｓｖを決定するために使用される最小値を削除し、
ｓｐ ＝ ｅｐ、と設定し、
ｓｖ＝ｃｐとｅｐとの間の角度距離、と設定し、
新しいｃｖ、ｃｐ、およびｅｖがないか走査し、検出された場合再試験し、
ｃｖ、ｅｐおよびｅｖが検出されない場合、ｓｐ、ｓｖ、ｃｐ、ｅｐおよびｅｖをリセットし、極性ヒストグラムの走査を続行する。
それ以外の場合、障害物端縁としてピークｓｐおよびｅｐを識別する。
極性ヒストグラムの走査を続行する。
【００５７】
候補ピークは、６５０で示されるピーク対のセットが障害物を表すための強力な候補として識別されてもよい上記条件を満たしたとして識別されてもよい。いったん極性ヒストグラムが走査されると、走査中に候補ピークとして識別されたピークは障害物端縁を識別するために図６Ｂで６６０として示されるように局所化されてもよい。ピークを局所化する際には、極性ヒストグラム内のピークに対してさらなる分析が実行され、障害物端縁をより正確に識別してもよい。例えば、６７２でのピークは、同じ障害物の端縁になる程度に、互いに対して十分に近くない最大振幅を有してもよい。他のタイプの分析は、障害物検知をより正確且つ的確にするために極性ヒストグラム上で実行されてもよい。
【００５８】
上記説明は、カメラが運動中の車両内部にあると仮定していることが留意される。当業者は、上記に説明されたシステムおよび方法が車両内、または移動中の構造物内での使用に限られないことを理解するであろう。上記に説明される障害物検知システムの例は、移動面にわたる静止構造物内、および障害物検知が使用されてもよい任意の用途で実装されてもよい。
【００５９】
図１から図６に関連して説明される１つまたは複数のプロセス、サブプロセス、またはプロセスステップがハードウェアおよび／またはソフトウェアによって実行されてもよいことは、当業者によって理解され認識されるだろう。プロセスがソフトウェアによって実行される場合、ソフトウェアは、図１から図６に概略で示される機能部品またはモジュールの内の１つまたは複数等の適切な電子処理部品またはシステム内のソフトウェアメモリ（不図示）に常駐してもよい。ソフトウェアメモリ内のソフトウェアは、論理関数（つまり、デジタル回路またはソースコード等のデジタル形式、あるいはアナログ電気信号、アナログ音声信号、もしくはアナログビデオ信号等のアナログ回路またはアナログソース等のアナログ形式のどちらかで実装されてもよい「論理」）を実装するための実行可能命令の順序付きリストを含んでもよく、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行してもよい他のシステム等の命令実行システム、装置、もしくはデバイスによる、使用またはそれらと関連した使用のために任意のコンピュータ可読媒体内で選択的に具現化されてもよい。本開示の文脈において、「コンピュータ可読媒体」は命令実行システム、装置もしくはデバイスによる使用またはそれらに関連した使用のためのプログラムを含み、記憶し、または通信してもよい任意の手段である。コンピュータ可読媒体は、選択的に例えば電子、磁気、光学、電磁、赤外線、または半導体のシステム、装置、またはデバイスであってもよいが、これらに制限されない。コンピュータ可読媒体の、より具体的ではあるが、完全に網羅したリストではない例は、携帯用のコンピュータディスケット（磁気的）、ＲＡＭ（電子的）、読取専用メモリ「ＲＯＭ」（電子的）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）（電子的）および携帯用のコンパクトディスク読み取り専用メモリ「ＣＤＲＯＭ」（光学的）を含むことになる。プログラムは例えば紙または他の媒体の光学走査を介して電子的に取り込まれ、ついでコンパイルされ、翻訳され、または必要な場合に適切な方法で処理され、次いでコンピュータメモリに記憶できるので、コンピュータ可読媒体は、プログラムが上に印刷される紙媒体または別の適切な媒体であってもよいことに留意されたい。
【００６０】
前記の実装の説明は図解および説明のために提示された。それは網羅的ではなく、特許請求されている本発明を開示されている正確な形に制限しない。変型および変形は、上記説明を鑑みて可能であるか、または本発明を実践することから取得されてもよい。請求項およびその同等物が本発明の範囲を定める。
【特許請求の範囲】
【請求項１】
障害物を検知するためのシステムであって、
装置上に配置されて、前記装置が移動中である運動の領域の画像のビデオストリームを取り込む１台のカメラと、
前記画像のビデオストリームを受信し、
前記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
前記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
前記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
前記結合された差異画像に透視変換を実行して、変換画像を生成することと、
前記変換画像内の障害物の端縁を検知することと、
前記運動の領域内での障害物の検知を示す信号を生成することと、
によって前記画像のビデオストリームを処理するように構成される障害物検知機能と、
を備えるシステム。
【請求項２】
前記装置が、前記運動の領域を含む路面にわたって移動する車両である、請求項１に記載のシステム。
【請求項３】
前記装置が観察者から見て静止装置であり、前記装置が前記運動の領域を含む表面の上方に配置され、前記表面が前記静止装置に対して移動している、請求項１に記載のシステム。
【請求項４】
画像フレームの数Ｎが２と約１０の間である、請求項１に記載のシステム。
【請求項５】
前記障害物検知機能が、
前記Ｎ番目の画像フレームを選択する前に前記画像のビデオストリームのレンズ歪みを補正する、
ように構成される、請求項１に記載のシステム。
【請求項６】
前記障害物検知機能が、逆透視マッピング（ＩＰＭ）を使用して前記透視変換を実行するように構成される、請求項１に記載のシステム。
【請求項７】
前記障害物検知機能が、前記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別し、さらなる処理からオブジェクトの前記識別された端縁を拒絶することによって前記変換画像を分析するように構成される、請求項１に記載のシステム。
【請求項８】
前記障害物検知機能が、前記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別することによって前記変換画像を分析するように構成される、請求項１に記載のシステム。
【請求項９】
前記障害物検知機能が、
前記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークのための基準に従って、前記極性ヒストグラム内に形成されるピークを分析することと、
によって障害物の端縁を検知するように構成される、請求項１に記載のシステム。
【請求項１０】
前記障害物検知機能が、
射影点から伸びる線によって形成される角度の間の領域に従って前記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、前記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
前記対応する角度に対して前記ピクセル値をプロットすることと、
によって前記極性ヒストグラムを構築するように構成される、請求項９に記載のシステム。
【請求項１１】
前記障害物検知機能が、前記極性ヒストグラムを走査することによって障害物の端縁を識別し、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別し、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別し、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別し、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶し、
追加の候補ピークに対して走査を続行し、
候補ピークを局所化して、検知された障害物を示す、
ように構成される、請求項１０に記載のシステム。
【請求項１２】
装置上に配置される単一のカメラを使用して障害物を検知するための方法であって、
前記装置が移動中である運動の領域の画像のビデオストリームを取り込むことと、
前記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
前記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
前記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
前記結合された差異画像に透視変換を実行して、変換画像を生成することと、
前記変換画像内の障害物の端縁を検知することと、
前記運動の領域内での障害物の検知を示す信号を生成することと、
を含む方法。
【請求項１３】
前記装置が前記運動の領域を含む路面にわたって移動する車両である、請求項１２に記載の方法。
【請求項１４】
前記装置が観察者から見て静止装置であり、前記装置が前記運動の領域を含む表面の上方に配置され、前記表面が前記静止装置に対して移動中である、請求項１２に記載の方法。
【請求項１５】
画像フレームの数Ｎが２と約１０の間である、請求項１２に記載のシステム。
【請求項１６】
前記Ｎ番目の画像フレームを選択する前に画像の前記ビデオストリームのレンズ歪みを補正すること、
をさらに含む、請求項１２に記載のシステム。
【請求項１７】
透視変換の前記ステップが、逆透視マッピング（ＩＰＭ）を使用して実行される、請求項１２に記載の方法。
【請求項１８】
障害物の端縁を検知する前記ステップが、
前記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別することと、
さらなる処理からオブジェクトの前記識別された端縁を拒絶することと、
を含む、請求項１２に記載の方法。
【請求項１９】
障害物の端縁を検知する前記ステップが、
前記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別すること、
を含む、請求項１２に記載の方法。
【請求項２０】
障害物の端縁を検知する前記ステップが、
前記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークの基準に従って前記極性ヒストグラム内に形成されるピークを分析することと、
を含む、請求項１２に記載の方法。
【請求項２１】
前記極性ヒストグラムを構築する前記ステップが、
射影点から伸びる線によって形成される角度の間の領域に従って前記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、前記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
前記対応する角度に対して前記ピクセル値をプロットすることと、
を含む、請求項２０に記載の方法。
【請求項２２】
前記極性ヒストグラムで形成されるピークを分析する前記ステップが、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別することと、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別することと、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶することと、
追加の候補ピークに対して走査を続行することと、
候補ピークを局所化して、検知された障害物を示すことと、
を含む、請求項２１に記載の方法。
【請求項２３】
ｓｖを評価する前記ステップが、
局所ピークｓｐ、およびｓｖを候補障害端縁として決定するために使用される最小値を削除することと、
ｓｐ ＝ ｅｐ、と設定することと、
ｓｖ＝ｃｐとｅｐとの間の角度距離、と設定することと、
ｃｐからの前記極性ヒストグラムを走査して、ｃｖ、ｅｐ、およびｅｖの新しいセットを識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを再評価することと、
をさらに含む、請求項２２に記載の方法。
【請求項１】
障害物を検知するためのシステムであって、
装置上に配置されて、前記装置が移動中である運動の領域の画像のビデオストリームを取り込む１台のカメラと、
前記画像のビデオストリームを受信し、
前記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
前記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
前記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
前記結合された差異画像に透視変換を実行して、変換画像を生成することと、
前記変換画像内の障害物の端縁を検知することと、
前記運動の領域内での障害物の検知を示す信号を生成することと、
によって前記画像のビデオストリームを処理するように構成される障害物検知機能と、
を備えるシステム。
【請求項２】
前記装置が、前記運動の領域を含む路面にわたって移動する車両である、請求項１に記載のシステム。
【請求項３】
前記装置が観察者から見て静止装置であり、前記装置が前記運動の領域を含む表面の上方に配置され、前記表面が前記静止装置に対して移動している、請求項１に記載のシステム。
【請求項４】
画像フレームの数Ｎが２と約１０の間である、請求項１に記載のシステム。
【請求項５】
前記障害物検知機能が、
前記Ｎ番目の画像フレームを選択する前に前記画像のビデオストリームのレンズ歪みを補正する、
ように構成される、請求項１に記載のシステム。
【請求項６】
前記障害物検知機能が、逆透視マッピング（ＩＰＭ）を使用して前記透視変換を実行するように構成される、請求項１に記載のシステム。
【請求項７】
前記障害物検知機能が、前記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別し、さらなる処理からオブジェクトの前記識別された端縁を拒絶することによって前記変換画像を分析するように構成される、請求項１に記載のシステム。
【請求項８】
前記障害物検知機能が、前記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別することによって前記変換画像を分析するように構成される、請求項１に記載のシステム。
【請求項９】
前記障害物検知機能が、
前記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークのための基準に従って、前記極性ヒストグラム内に形成されるピークを分析することと、
によって障害物の端縁を検知するように構成される、請求項１に記載のシステム。
【請求項１０】
前記障害物検知機能が、
射影点から伸びる線によって形成される角度の間の領域に従って前記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、前記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
前記対応する角度に対して前記ピクセル値をプロットすることと、
によって前記極性ヒストグラムを構築するように構成される、請求項９に記載のシステム。
【請求項１１】
前記障害物検知機能が、前記極性ヒストグラムを走査することによって障害物の端縁を識別し、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別し、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別し、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別し、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶し、
追加の候補ピークに対して走査を続行し、
候補ピークを局所化して、検知された障害物を示す、
ように構成される、請求項１０に記載のシステム。
【請求項１２】
装置上に配置される単一のカメラを使用して障害物を検知するための方法であって、
前記装置が移動中である運動の領域の画像のビデオストリームを取り込むことと、
前記ビデオストリーム内で受信されるＮ個の画像のシーケンスからＮ番目の画像フレームを選択することと、
前記Ｎ番目の画像からＮ−１個の以前の画像のそれぞれを差し引くことによってＮ−１個の差異画像を決定することと、
前記Ｎ−１個の差異画像を足し合わせて、結合された差異画像を生成することと、
前記結合された差異画像に透視変換を実行して、変換画像を生成することと、
前記変換画像内の障害物の端縁を検知することと、
前記運動の領域内での障害物の検知を示す信号を生成することと、
を含む方法。
【請求項１３】
前記装置が前記運動の領域を含む路面にわたって移動する車両である、請求項１２に記載の方法。
【請求項１４】
前記装置が観察者から見て静止装置であり、前記装置が前記運動の領域を含む表面の上方に配置され、前記表面が前記静止装置に対して移動中である、請求項１２に記載の方法。
【請求項１５】
画像フレームの数Ｎが２と約１０の間である、請求項１２に記載のシステム。
【請求項１６】
前記Ｎ番目の画像フレームを選択する前に画像の前記ビデオストリームのレンズ歪みを補正すること、
をさらに含む、請求項１２に記載のシステム。
【請求項１７】
透視変換の前記ステップが、逆透視マッピング（ＩＰＭ）を使用して実行される、請求項１２に記載の方法。
【請求項１８】
障害物の端縁を検知する前記ステップが、
前記変換画像の射影点まで伸びない線に沿って形成されるオブジェクトの端縁を識別することと、
さらなる処理からオブジェクトの前記識別された端縁を拒絶することと、
を含む、請求項１２に記載の方法。
【請求項１９】
障害物の端縁を検知する前記ステップが、
前記変換画像の射影点まで伸びる線に沿って形成されるオブジェクトの端縁を、障害物の端縁の候補として識別すること、
を含む、請求項１２に記載の方法。
【請求項２０】
障害物の端縁を検知する前記ステップが、
前記変換画像の極性ヒストグラムを構築することと、
障害物の端縁に属するピークの基準に従って前記極性ヒストグラム内に形成されるピークを分析することと、
を含む、請求項１２に記載の方法。
【請求項２１】
前記極性ヒストグラムを構築する前記ステップが、
射影点から伸びる線によって形成される角度の間の領域に従って前記変換画像を分割することと、
潜在的なオブジェクト端縁の端縁線を、前記対応する端縁線の角度に沿って形成するピクセルのピクセル値を足し合わせることと、
前記対応する角度に対して前記ピクセル値をプロットすることと、
を含む、請求項２０に記載の方法。
【請求項２２】
前記極性ヒストグラムで形成されるピークを分析する前記ステップが、
近傍の角度での値よりも大きい値を有する角度での値に対する局所的な最大値としてピークを識別することと、
近傍の角度での値よりも低い値を有する角度での値に対する局所的な最小値としてピークを識別することと、
ピークおよびピーク間の角度距離を、
ｓｐ ＝ 開始局所最大値、
ｓｖ ＝以前の局所最小値とｓｐとの間の角度距離
ｃｐ ＝ ｓｐの後の次の局所最小値
ｅｐ ＝ ｃｐの後の次の局所最大値
ｃｖ ＝ ｓｐとｅｐとの間の角度距離
ｅｖ ＝ ｅｐとｅｐの後の次の局所最小値との間の角度距離
として識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを評価して、候補ピークとしてｓｐを拒絶することと、
追加の候補ピークに対して走査を続行することと、
候補ピークを局所化して、検知された障害物を示すことと、
を含む、請求項２１に記載の方法。
【請求項２３】
ｓｖを評価する前記ステップが、
局所ピークｓｐ、およびｓｖを候補障害端縁として決定するために使用される最小値を削除することと、
ｓｐ ＝ ｅｐ、と設定することと、
ｓｖ＝ｃｐとｅｐとの間の角度距離、と設定することと、
ｃｐからの前記極性ヒストグラムを走査して、ｃｖ、ｅｐ、およびｅｖの新しいセットを識別することと、
ｓｖ ＋ （ｅｖ−ｓｖ）（ｃｐ−ｓｐ）／（ｅｐ−ｓｐ） ＞ ２ｃｖを再評価することと、
をさらに含む、請求項２２に記載の方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【公開番号】特開２０１３−６５３０４（Ｐ２０１３−６５３０４Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１２−２０４３１５（Ｐ２０１２−２０４３１５）
【出願日】平成２４年９月１８日（２０１２．９．１８）
【出願人】（５１２２３４９１３）ハーマン インターナショナル （チャイナ） ホールディングス カンパニー， リミテッド (2)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２４年９月１８日（２０１２．９．１８）
【出願人】（５１２２３４９１３）ハーマン インターナショナル （チャイナ） ホールディングス カンパニー， リミテッド (2)
【Ｆターム（参考）】
[ Back to top ]