車両周辺監視装置
【課題】 本発明は、物標以外の物体の影響やノイズの影響を受け難く、良好な物標の認識精度を実現する車両周辺監視装置の提供を目的とする。
【解決手段】 本発明は、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、認識対象の静止物体を認識する車両周辺監視装置であって、車両の移動に伴って変化する認識物体の画素位置の移動方向を算出し、該移動方向の算出結果に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断することを特徴とする。
【解決手段】 本発明は、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、認識対象の静止物体を認識する車両周辺監視装置であって、車両の移動に伴って変化する認識物体の画素位置の移動方向を算出し、該移動方向の算出結果に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の画像処理結果を利用して車両周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、交差点の存在を画像処理により認識し、次いで、信号機を認識するための認識枠を、当該交差点に対して所定の位置関係で設定し、撮像画像の全領域を画像処理するのではなく、設定した認識枠の範囲だけ画像処理を行うことで、信号機の認識精度を高めようとする技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開平１−２６５４００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般的に、ある物体を含む撮像画像から当該物体を画像処理により抽出・認識する場合、当該物体の特徴点を撮像画像内で探索する必要がある。この際、認識すべき対象物体（以下、「物標」という）の位置が予測できれば、撮像画像の全領域を画像処理する必要が無く、処理時間及び認識率の向上を図ることができる。しかしながら、かかる構成であっても、物標の位置の予測精度には限界があるので、物標の存在を見落としてしまうことのないように、依然として大きな画像処理範囲が必要とされる。一方、画像処理範囲を大きくすると、物標以外の物体やノイズの影響を受けやすくなり、物標の認識精度が悪影響を受けることになる。
【０００４】
そこで、本発明は、物標以外の物体の影響やノイズの影響を受け難く、良好な物標の認識精度を実現する車両周辺監視装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の一局面によれば、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、認識対象の静止物体を認識する車両周辺監視装置であって、
車両の移動に伴って変化する認識物体の画素位置の移動方向を算出し、該移動方向の算出結果に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断することを特徴とする、車両周辺監視装置が提供される。
【０００６】
本局面において、前記認識物体の画素位置の移動方向において画面上下方向の成分が支配的な場合、該認識物体が前記認識対象の静止物体であると判断されてよい。
【０００７】
また、本発明のその他の一局面によれば、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の画像フレームのそれぞれに対して、それぞれの撮像時点の車両位置と交差点位置との位置関係に基づいて、前記認識対象の静止物体を認識するための画像処理領域を設定する認識枠生成手段と、
撮像手段により撮像される一連の画像フレームに対して、前記設定された画像処理領域内で画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備え、
前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置に基づいて、前記判断を行うことを特徴とする、車両周辺監視装置が提供される。
【０００８】
本局面において、前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置が、前記画像処理領域内の画面上側の領域にある場合、該物体は認識対象の静止物体としての信号機であると判断してよい。また、前記認識枠生成手段は、車両が交差点に近づくにつれて、画像処理領域を画面上方に移動させ、且つ、画像処理領域の画面上下方向の大きさを小さくしていってよい。
【０００９】
また、本発明のその他の一局面によれば、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の撮像画像に対して画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された認識物体の位置情報を前記一連の撮像画像から算出し、所与の地図データから得られる交差点の位置情報を用いて、前記認識物体と交差点との相対位置関係を導出し、該相対位置関係に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備えることを特徴とする、車両周辺監視装置が提供される。
【００１０】
本局面において、撮像手段の視線方向に係る前記相対位置関係に比較的大きなが誤差が含まれ易いことを考慮して、撮像手段の視線方向に直角な方向に係る前記相対位置関係が、前記物体識別手段による判断に用いられてよい。また、上記各局面において、前記認識対象の静止物体は、信号機であってよい。
【発明の効果】
【００１１】
本発明によれば、物標以外の物体の影響やノイズの影響を受け難く、良好な物標の認識精度を実現する車両周辺監視装置を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１３】
図１は、本発明による車両周辺監視装置の一実施形態を示すシステム構成図である。車両周辺監視装置は、画像認識・モデル作成プロセッサ１０（以下、単に「プロセッサ１０」という）を中心に構成される。プロセッサ１０は、ＣＰＵやＲＯＭ等を含み、後述する各処理を実行する。尚、プロセッサ１０は、画像処理回路を構成するＦＰＧＡ（Field Programmable Gate Array）を更に含んでよい。
【００１４】
プロセッサ１０には、車両の位置（車両の向きを含む）を計測可能な位置検出手段１２が接続されている。位置検出手段１２は、ＧＰＳ（Global Positioning System）受信機を含む。ＧＰＳ受信機は、衛星からの衛星信号や他の基準局からの情報に基づいて車両の位置及び方位を計測する。尚、車両の位置の測位手法としては、単独測位や干渉測位（キネマティック法（ＲＴＫ−ＧＰＳ測位アルゴリズム））に基づくものであってよい。
【００１５】
位置検出手段１２は、ＩＮＳ（Inertial
Navigation Sensor）を含んでもよい。ＩＮＳは、車両を中心に定義されるボデー座標系の３軸まわりの回転パラメータを検出するジャイロセンサ、及び、同３軸の各方向の加速度を検出する加速度センサにより構成されてよい。ＩＮＳは、これらのセンサの検出値に基づいて、走行時の車両の動的な状態量を表わす運動状態量を検出する。この場合、位置検出手段１２は、ＧＰＳ受信機と共にＩＮＳの検出結果を考慮して、車両の位置を決定してよい。例えば、位置検出手段１２は、ＧＰＳ受信機の受信状態が良好でない場合（典型的には、電波遮断時）、ＧＰＳ受信機の受信状態が回復するまでＩＮＳによる検出結果を利用して、車両の位置を決定してよい。
【００１６】
プロセッサ１０には、地図データベース２２が接続されている。地図データベース２２には、ＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体上に所与の地図情報が格納されている。地図情報には、交差点・高速道路の合流点／分岐点に各々対応する各ノードの座標情報、隣接するノードを接続するリンク情報、及び、各リンクに対応する道路の幅員情報が含まれており、その他、各リンクに対応する国道・県道・高速道路等の道路種別、各リンクの通行規制情報及び各リンク間の通行規制情報等が含まれていてよい。
【００１７】
プロセッサ１０には、空間モデルデータベース３０が接続されている。空間モデルデータベース３０は、ハードディスクのような書き込み可能な記録媒体により構成される。空間モデルデータベース３０には、地図データベース２２内の地図情報には存在しない有用な情報（後述する補助情報）が随時格納されていく。
【００１８】
プロセッサ１０には、更に、レーダーセンサ１９が接続されてもよい。レーダーセンサ１９は、ミリ波レーダセンサであってよく、例えば車両のフロントグリル付近に配設される。レーダーセンサ１９がミリ波レーダセンサの場合、例えば２周波ＣＷ（Continuous Wave）方式により、２つの周波数の位相情報から車両前方の物体の相対位置（自車に対する相対位置）が計測されてよい。尚、レーダーセンサ１９は、車両前方の所定領域内に放射ビームを１次元的又は２次元的に走査するように構成されていてよい。
【００１９】
プロセッサ１０には、ＣＣＤカメラのような撮像手段１８が接続されている。撮像手段１８は、車両周辺の風景を撮像するように車両の適切な位置に搭載され、例えば車両の室内のルームミラー付近に固定される。撮像手段１８が撮像した撮像画像の画像データはプロセッサ１０に供給される。尚、撮像手段１８が撮像した撮像画像は、映像信号として表示装置２４に供給され、液晶ディスプレイのような表示装置２４上に表示される。
【００２０】
プロセッサ１０は、以下詳説する如く、撮像手段１８からの撮像画像に対して画像認識処理を行い、認識すべき対象物体（以下、「物標」という）の特徴点を撮像画像内で探索し、物標の有無やその状態等を認識する。プロセッサ１０は、その認識結果に応じて、所定の制御を実行させてもよい。例えば、プロセッサ１０は、物標として信号機を認識し、その状態として信号機が“赤”の点灯状態である場合、信号機と車両の相対位置関係や車速等に応じて警報を出力するようにしてもよい。
【００２１】
このような車両周辺監視装置の物標認識機能は、撮像手段１８という新たな“目”として乗員の目を効果的に補助できる点で非常に有用である。このような車両周辺監視装置による物標認識機能の有用性を向上させるには、物標の認識率（即ち、物標と物標以外の物体の識別能力）を高めることが肝要となる。
【００２２】
以下、本発明による車両周辺監視装置の特徴的な構成について実施例毎に順に説明していく。尚、以下の説明では、物標として信号機を想定する。
【実施例１】
【００２３】
図２は、実施例１に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００２４】
先ず、プロセッサ１０は、撮像手段１８から撮像画像を取得し（ステップ１００）、当該撮像画像に対して画像認識処理を行うことで、信号機の特徴点を探索する（ステップ１１０）。信号機の特徴点が認識されると、プロセッサ１０は、前回の周期で入力された撮像画像（前フレーム）に対する画像認識処理結果との対応付けを行う（ステップ１２０）。この際、プロセッサ１０は、今回の周期で認識された信号機の特徴点の画素位置と、前回の周期で認識された同信号機の特徴点の画素位置とに基づいて、信号機の特徴点の移動ベクトルを算出する（ステップ１３０）。
【００２５】
続くステップ１４０では、プロセッサ１０は、信号機の特徴点の移動ベクトルに基づいて、当該特徴点を有する物体が信号機であるか否かを判断する。即ち、実際の信号機は、おおよそ高さ５ｍに設置されている（即ち、撮像手段１８の視線方向よりも上に位置している）ため、車両が信号機に向かって走行している場合には、撮像画像での信号機の位置は、画面の上に向かって移動する。従って、プロセッサ１０は、移動ベクトルが画面上向きの成分を有している場合（或いは、画面上向きの成分が、車両の移動量に略対応している場合）、認識した物体は信号機であると判断する（図３のＸ参照）。一方、移動ベクトルが画面上向きの成分を実質的に有していない場合、認識した物体は信号機でない（ノイズである）と判断して（図３のＹ参照）、ステップ１００に戻る。尚、本ステップ１４０において、移動ベクトルを考慮する際、フレーム間での車両の向きの変化量が考慮・補償されてよい。
【００２６】
信号機であると判断した場合、プロセッサ１０は、撮像手段１８の撮像画像を表示装置２４上に表示させる（ステップ１５０）。
【００２７】
このように本実施例によれば、車両の移動に伴う信号機の撮像画像上での移動態様の特徴に着目することで、物標である信号機と、物標でない他の物体（ノイズを含む）との識別精度を高めることができる。
【００２８】
尚、本実施例において、移動ベクトルは、３以上の一連のフレーム（必ずしも連続している必要は無い）を利用して算出されてよい。また、本実施例は、レーン表示、一時停止表示、交通標識等のような信号機以外の物標に対しても適用可能である。但し、レーン表示や一時停止表示のような路面上の物標は、車両の移動に伴って画面の下に向かって移動する点が考慮される。
【００２９】
また、本実施例において、画像処理範囲は、撮像手段１８からの撮像画像の全範囲であってもよいが、好ましくは、画像上半分のみ（路面上の物標に対しては画像下半分のみ）、更に好ましくは、地図データベース２２内の地図情報や後述する空間モデルデータベース３０内の補助情報を利用して更に限定された範囲であってよい。
【実施例２】
【００３０】
図４は、実施例２に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００３１】
先ず、プロセッサ１０は、位置検出手段１２からの車両位置情報に基づいて、車両位置（向きを含む）を認識する（ステップ２１０）。プロセッサ１０は、現在の車両位置を基準として車両位置周辺の地図情報を地図データベース２２から読み込む（ステップ２２０）。次いで、プロセッサ１０は、撮像手段１８から撮像画像を取得し（ステップ２３０）、信号機を認識するための画像処理領域（認識枠）を生成する（ステップ２４０）。認識枠は、車両位置と交差点の位置（若しくは信号機の位置）との相対位置関係に基づいて、生成されてよく、この場合、交差点の位置等に関する情報は、上記ステップ２２０で取得した地図データベース２２内の地図情報や、後述する空間モデルデータベース３０内の補助情報が利用されてよい。
【００３２】
プロセッサ１０は、撮像手段１８の撮像画像に対して画像認識処理を行うことで、信号機の特徴点を探索する（ステップ２５０）。この際、プロセッサ１０は、上記ステップ２４０で生成した認識枠内の画像領域に対してのみ画像認識処理を行う。信号機の特徴点が認識されると、プロセッサ１０は、前回の周期で入力された撮像画像（前フレーム）に対する画像認識処理結果との対応付けを行う（ステップ２６０）。この際、上述の実施例１と同様、プロセッサ１０は、今回の周期で認識された信号機の特徴点の画素位置と、前回の周期で認識された同信号機の特徴点の画素位置とに基づいて、信号機の特徴点の移動ベクトルを算出してよい。この場合、当該移動ベクトルの向きに応じて、認識した物体が信号機であるか否かを予備的に判断してもよい。
【００３３】
プロセッサ１０は、所定周期毎に入力される撮像手段１８からの撮像画像に対して同様の処理を繰り返し、信号機の特徴点が認識されなくなる直前のフレームにおける、即ち物体の位置が認識枠外になる直前のフレームにおける、当該物体の画像上の座標（画素位置）を算出する（ステップ２７０）。
【００３４】
ここで、図５を参照するに、時刻ｔ１で認識された信号機は、車両の走行に伴って、最終的には画像上で認識枠外へと上方向に出て行く（時刻ｔ２、ｔ３参照）。一方、時刻ｔ１で認識された物標以外の物体（本例では広告塔）は、車両の走行に伴って、最終的には画像上で認識枠外へと下方向に出て行く（時刻ｔ２、ｔ３参照）。尚、認識枠は、上述の如く、車両位置と交差点の位置（若しくは信号機の位置）との相対位置関係に基づいて生成されており、従って、認識枠は、車両が交差点に近づくにつれて、画面上側に移動しつつ、画面奥行き方向の大きさが小さくなると共に画面幅方向の大きさが大きくなっている。
【００３５】
プロセッサ１０は、認識された物体の画像上の最終座標値（即ち、認識枠から出る直前の画素位置）に基づいて、認識された物体が信号機であるか否かを判断する（ステップ２８０）。即ち、認識された物体の画像上の最終座標値が、画像の上側領域にある場合（若しくは、認識枠の上側領域にある場合）、認識された物体は信号機であると判断する。一方、認識された物体の画像上の最終座標値が、画像の上側領域にない場合（若しくは、認識枠の下側領域にある場合）、認識された物体は信号機でないと判断する。これにより、図５に示す広告塔のような、信号機と同様の高さの位置にあり且つ信号機と同様の特徴点を有する物体であっても、識別対象から確実に除外することができる。
【００３６】
尚、本実施例は、レーン表示、一時停止表示、交通標識等のような信号機以外の物標に対しても適用可能である。但し、レーン表示や一時停止表示のような路面上の物標は、車両の移動に伴って画面の下に向かって移動する点が考慮される。即ち、レーン表示や一時停止表示のような路面上の物標の最終座標値は、画像の下側領域（若しくは、認識枠の下側領域）になるのに対して、他の物体の最終座標値は、認識枠の上側領域になること（即ち、認識枠の上側から認識枠外へ出て行くこと）が考慮される。
【実施例３】
【００３７】
図６は、実施例３に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００３８】
ステップ３１０乃至ステップ３５０の処理は、図４を参照して説明したステップ２１０乃至ステップ２５０の処理と同様でよい。
【００３９】
プロセッサ１０は、ステップ３５０にて信号機の特徴点を有する物体を認識すると、以後入力される一連の画像フレームに対する画像処理結果に基づいて、当該認識物体の位置を算出し、算出した認識物体の位置と、交差点の位置との位置関係に基づいて、認識物体が信号機であるか否かを判断する（ステップ３６０）。この際、交差点の位置は、ステップ３２０にて取得される地図データベース２２内の地図情報（即ち、交差点ノードの座標値）が用いられてよい。プロセッサ１０は、認識物体の交差点に対する相対位置が、信号機の交差点に対する相対位置として適切であると判断した場合、認識物体は信号機であると判断する。この際、認識物体の交差点に対する相対位置（Δｘ、Δｙ、Δｚ）は、図７に示すように、認識物体の高さ方向の成分Δｚと幅方向の成分Δｘ（即ち、奥行き方向の成分Δｙを除く成分）のみが考慮されてよい。これは、撮像手段１８として単眼カメラを用いた場合、物標の３次元位置測定には運動視差（motion
stereo）が利用されるが、この場合、（空間的・時間的な）視差が確保され難く、奥行き方向（撮像手段１８の視線ベクトル方向）の測定誤差が大きいことに基づく。また、撮像手段１８としてステレオカメラを用いた場合であっても、車両に搭載される関係上、十分な視差を確保し難く、依然として奥行き方向（撮像手段１８の視線ベクトル方向）の測定誤差が大きいことに基づく。これにより、信号機と同様の特徴点を有する物体であっても、交差点に対する相対位置を判断することで、識別対象から確実に除外することができる。
【００４０】
尚、本実施例は、レーン表示、一時停止表示、交通標識等のような信号機以外の物標に対しても適用可能である。この場合、信号機の場合と同様、レーン表示や一時停止表示の交差点に対する相対位置（上記ステップ３６０での比較基準）は、地図データベース２２内の地図情報（交差道路の幅員情報）を考慮して設定されてよい。
【実施例４】
【００４１】
図８は、実施例４に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００４２】
ステップ４１０乃至ステップ４５０の処理は、図４を参照して説明したステップ２１０乃至ステップ２５０の処理と同様でよい。
【００４３】
ステップ４６０では、ステップ４５０にて認識した物体（信号機の特徴点を有する物体）が信号機であるか否かを判断する。この判断処理には、上述の第１実施例、第２実施例及び第３実施例の判断手法の何れか１つ若しくは任意の組み合せが用いられてよい。
【００４４】
ステップ４６０で認識物体が信号機であると判断された場合、当該認識物体（信号機）の位置情報が生成され、空間モデルデータベース３０内に補助情報として保存される（ステップ４７０）。尚、補助情報は、好ましくは、物標の種類（この場合、“信号機”）と共に、対応する交差点に関連付けて空間モデルデータベース３０内に格納される。
【００４５】
これにより、次回、同一の道路を同一方向に走行する際、プロセッサ１０は、空間モデルデータベース３０内に補助情報を利用して、認識枠を生成することができる（ステップ４４０）。従って、空間モデルデータベース３０内に補助情報が存在しない場合に比して小さな認識枠を設定することが可能となり、物標認識処理に要する時間の短縮や認識率の向上（認識誤差の低減）が可能となる。即ち、図５と対照して図９を参照するに、２回目走行時（図９）には、１回目走行時（図５）に比して認識枠を小さく設定でき、これにより、例えば、１回目走行時には認識された広告塔が、信号機の候補として認識されることが無くなる。
【実施例５】
【００４６】
次に、実施例５として、信号機の識別処理の詳細について説明する。この識別処理は、上述の各実施例における信号機認識処理（ステップ１１０、２５０，３５０，４５０等）に利用されてよい。
【００４７】
図１０は、実施例５に係る車両周辺監視装置のプロセッサ１０により実行される信号機認識処理のフローチャートである。
【００４８】
先ず、プロセッサ１０は、撮像手段１８から出力される撮像画像（ＲＧＢフルカラー画像）を取得する（ステップ５００）。プロセッサ１０は、取得した画像データに対してＨＳＶ(Hue Saturation Value:色相、彩度、明度)変換処理を行い、色相成分（Ｈ成分）のみを抽出する（ステップ５１０）。次いで、プロセッサ１０は、ＨＳＶ変換処理された色相成分の画像データに対して二値化処理を行う（ステップ５２０）。この際、青、黄、赤成分毎に二値化処理が実行される。
【００４９】
プロセッサ１０は、青成分に対する二値化画像に対して青の領域を探索し（ステップ５３０）、青の領域が発見できた場合には、黄成分に対する二値化画像に対して黄の領域を探索し（ステップ５４０）、黄の領域が発見できた場合には、赤成分に対する二値化画像に対して赤の領域を探索し（ステップ５５０）、赤の領域が発見できた場合には、ステップ５６０に進む。
【００５０】
この一連の探索ステップ５３０乃至５５０において、青の領域が発見できた場合、黄の領域は、発見された青領域の右側の所定領域内のみで探索され、また、黄の領域が発見できた場合、赤の領域は、発見された黄領域の右側の所定領域内のみで探索されてよい。これにより、図１１に示すような信号機の３色を有していない物体（広告塔や案内標識）が、信号機の候補として認識されることが無くなる。また、信号機の３色を有する物体であっても、信号機と同一の順番で３色を有していない物体が、信号機の候補として認識されることが無くなる。尚、本実施例において、図１１に示すように、信号機の３色の並びに対応した信号機検出枠７０を導入して、各色の領域を探索してもよい。
【００５１】
ステップ５６０では、信号機の特徴点を有する物体が認識された旨を示す出力信号が生成される。本実施例では、上述の如く、信号機の３色の検出と共に当該３色の配列態様が複合的に考慮されるので、信号機の認識精度が向上する。
【００５２】
尚、本実施例において、信号機の３色の配列態様は、車両のロール情報を考慮して判断されてもよい。即ち、図１２に示すように、車両のロールに伴い撮像画像上の信号機が傾斜することが考慮されてもよい。例えば、車両のロール角に応じて、各色の領域の探索領域（若しくは信号機検出枠７０の傾き）が変化されてもよい。この場合、車両のロール情報は、位置検出手段１２、横加速度センサ、ロールレートセンサ等の検出結果に基づいて生成されてもよい。これにより、バンク路や悪路走行時等においても高い信号機の認識精度を維持することができる。
【００５３】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００５４】
例えば、本発明は、図示したような車両用の信号機のみならず歩行者用の信号機に対しても適用可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明による車両周辺監視装置の一実施形態を示すシステム構成図である。
【図２】実施例１に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図３】実際の物標認識処理結果を示す実施例１の説明図である。
【図４】実施例２に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図５】実際の物標認識処理結果を示す実施例２の説明図である。
【図６】実施例３に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図７】物標（信号機）の位置情報の一例を示す説明図である。
【図８】実施例４に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図９】実際の物標認識処理結果を示す実施例４の説明図である。
【図１０】実施例５に係る車両周辺監視装置のプロセッサ１０により実行される信号機認識処理のフローチャートである。
【図１１】信号機と他の物体との間の特徴点の差異を示す説明図である。
【図１２】車両のロールにより信号機の見え方が変わることを示す説明図である。
【符号の説明】
【００５６】
１０ 画像認識・モデル作成プロセッサ
１２ 位置検出手段
１８ 撮像手段
１９ レーダーセンサ
２２ 地図データベース
２４ 表示装置
３０ 空間モデルデータベース
【技術分野】
【０００１】
本発明は、撮像画像の画像処理結果を利用して車両周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、交差点の存在を画像処理により認識し、次いで、信号機を認識するための認識枠を、当該交差点に対して所定の位置関係で設定し、撮像画像の全領域を画像処理するのではなく、設定した認識枠の範囲だけ画像処理を行うことで、信号機の認識精度を高めようとする技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開平１−２６５４００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般的に、ある物体を含む撮像画像から当該物体を画像処理により抽出・認識する場合、当該物体の特徴点を撮像画像内で探索する必要がある。この際、認識すべき対象物体（以下、「物標」という）の位置が予測できれば、撮像画像の全領域を画像処理する必要が無く、処理時間及び認識率の向上を図ることができる。しかしながら、かかる構成であっても、物標の位置の予測精度には限界があるので、物標の存在を見落としてしまうことのないように、依然として大きな画像処理範囲が必要とされる。一方、画像処理範囲を大きくすると、物標以外の物体やノイズの影響を受けやすくなり、物標の認識精度が悪影響を受けることになる。
【０００４】
そこで、本発明は、物標以外の物体の影響やノイズの影響を受け難く、良好な物標の認識精度を実現する車両周辺監視装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の一局面によれば、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、認識対象の静止物体を認識する車両周辺監視装置であって、
車両の移動に伴って変化する認識物体の画素位置の移動方向を算出し、該移動方向の算出結果に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断することを特徴とする、車両周辺監視装置が提供される。
【０００６】
本局面において、前記認識物体の画素位置の移動方向において画面上下方向の成分が支配的な場合、該認識物体が前記認識対象の静止物体であると判断されてよい。
【０００７】
また、本発明のその他の一局面によれば、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の画像フレームのそれぞれに対して、それぞれの撮像時点の車両位置と交差点位置との位置関係に基づいて、前記認識対象の静止物体を認識するための画像処理領域を設定する認識枠生成手段と、
撮像手段により撮像される一連の画像フレームに対して、前記設定された画像処理領域内で画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備え、
前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置に基づいて、前記判断を行うことを特徴とする、車両周辺監視装置が提供される。
【０００８】
本局面において、前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置が、前記画像処理領域内の画面上側の領域にある場合、該物体は認識対象の静止物体としての信号機であると判断してよい。また、前記認識枠生成手段は、車両が交差点に近づくにつれて、画像処理領域を画面上方に移動させ、且つ、画像処理領域の画面上下方向の大きさを小さくしていってよい。
【０００９】
また、本発明のその他の一局面によれば、車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の撮像画像に対して画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された認識物体の位置情報を前記一連の撮像画像から算出し、所与の地図データから得られる交差点の位置情報を用いて、前記認識物体と交差点との相対位置関係を導出し、該相対位置関係に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備えることを特徴とする、車両周辺監視装置が提供される。
【００１０】
本局面において、撮像手段の視線方向に係る前記相対位置関係に比較的大きなが誤差が含まれ易いことを考慮して、撮像手段の視線方向に直角な方向に係る前記相対位置関係が、前記物体識別手段による判断に用いられてよい。また、上記各局面において、前記認識対象の静止物体は、信号機であってよい。
【発明の効果】
【００１１】
本発明によれば、物標以外の物体の影響やノイズの影響を受け難く、良好な物標の認識精度を実現する車両周辺監視装置を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１３】
図１は、本発明による車両周辺監視装置の一実施形態を示すシステム構成図である。車両周辺監視装置は、画像認識・モデル作成プロセッサ１０（以下、単に「プロセッサ１０」という）を中心に構成される。プロセッサ１０は、ＣＰＵやＲＯＭ等を含み、後述する各処理を実行する。尚、プロセッサ１０は、画像処理回路を構成するＦＰＧＡ（Field Programmable Gate Array）を更に含んでよい。
【００１４】
プロセッサ１０には、車両の位置（車両の向きを含む）を計測可能な位置検出手段１２が接続されている。位置検出手段１２は、ＧＰＳ（Global Positioning System）受信機を含む。ＧＰＳ受信機は、衛星からの衛星信号や他の基準局からの情報に基づいて車両の位置及び方位を計測する。尚、車両の位置の測位手法としては、単独測位や干渉測位（キネマティック法（ＲＴＫ−ＧＰＳ測位アルゴリズム））に基づくものであってよい。
【００１５】
位置検出手段１２は、ＩＮＳ（Inertial
Navigation Sensor）を含んでもよい。ＩＮＳは、車両を中心に定義されるボデー座標系の３軸まわりの回転パラメータを検出するジャイロセンサ、及び、同３軸の各方向の加速度を検出する加速度センサにより構成されてよい。ＩＮＳは、これらのセンサの検出値に基づいて、走行時の車両の動的な状態量を表わす運動状態量を検出する。この場合、位置検出手段１２は、ＧＰＳ受信機と共にＩＮＳの検出結果を考慮して、車両の位置を決定してよい。例えば、位置検出手段１２は、ＧＰＳ受信機の受信状態が良好でない場合（典型的には、電波遮断時）、ＧＰＳ受信機の受信状態が回復するまでＩＮＳによる検出結果を利用して、車両の位置を決定してよい。
【００１６】
プロセッサ１０には、地図データベース２２が接続されている。地図データベース２２には、ＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体上に所与の地図情報が格納されている。地図情報には、交差点・高速道路の合流点／分岐点に各々対応する各ノードの座標情報、隣接するノードを接続するリンク情報、及び、各リンクに対応する道路の幅員情報が含まれており、その他、各リンクに対応する国道・県道・高速道路等の道路種別、各リンクの通行規制情報及び各リンク間の通行規制情報等が含まれていてよい。
【００１７】
プロセッサ１０には、空間モデルデータベース３０が接続されている。空間モデルデータベース３０は、ハードディスクのような書き込み可能な記録媒体により構成される。空間モデルデータベース３０には、地図データベース２２内の地図情報には存在しない有用な情報（後述する補助情報）が随時格納されていく。
【００１８】
プロセッサ１０には、更に、レーダーセンサ１９が接続されてもよい。レーダーセンサ１９は、ミリ波レーダセンサであってよく、例えば車両のフロントグリル付近に配設される。レーダーセンサ１９がミリ波レーダセンサの場合、例えば２周波ＣＷ（Continuous Wave）方式により、２つの周波数の位相情報から車両前方の物体の相対位置（自車に対する相対位置）が計測されてよい。尚、レーダーセンサ１９は、車両前方の所定領域内に放射ビームを１次元的又は２次元的に走査するように構成されていてよい。
【００１９】
プロセッサ１０には、ＣＣＤカメラのような撮像手段１８が接続されている。撮像手段１８は、車両周辺の風景を撮像するように車両の適切な位置に搭載され、例えば車両の室内のルームミラー付近に固定される。撮像手段１８が撮像した撮像画像の画像データはプロセッサ１０に供給される。尚、撮像手段１８が撮像した撮像画像は、映像信号として表示装置２４に供給され、液晶ディスプレイのような表示装置２４上に表示される。
【００２０】
プロセッサ１０は、以下詳説する如く、撮像手段１８からの撮像画像に対して画像認識処理を行い、認識すべき対象物体（以下、「物標」という）の特徴点を撮像画像内で探索し、物標の有無やその状態等を認識する。プロセッサ１０は、その認識結果に応じて、所定の制御を実行させてもよい。例えば、プロセッサ１０は、物標として信号機を認識し、その状態として信号機が“赤”の点灯状態である場合、信号機と車両の相対位置関係や車速等に応じて警報を出力するようにしてもよい。
【００２１】
このような車両周辺監視装置の物標認識機能は、撮像手段１８という新たな“目”として乗員の目を効果的に補助できる点で非常に有用である。このような車両周辺監視装置による物標認識機能の有用性を向上させるには、物標の認識率（即ち、物標と物標以外の物体の識別能力）を高めることが肝要となる。
【００２２】
以下、本発明による車両周辺監視装置の特徴的な構成について実施例毎に順に説明していく。尚、以下の説明では、物標として信号機を想定する。
【実施例１】
【００２３】
図２は、実施例１に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００２４】
先ず、プロセッサ１０は、撮像手段１８から撮像画像を取得し（ステップ１００）、当該撮像画像に対して画像認識処理を行うことで、信号機の特徴点を探索する（ステップ１１０）。信号機の特徴点が認識されると、プロセッサ１０は、前回の周期で入力された撮像画像（前フレーム）に対する画像認識処理結果との対応付けを行う（ステップ１２０）。この際、プロセッサ１０は、今回の周期で認識された信号機の特徴点の画素位置と、前回の周期で認識された同信号機の特徴点の画素位置とに基づいて、信号機の特徴点の移動ベクトルを算出する（ステップ１３０）。
【００２５】
続くステップ１４０では、プロセッサ１０は、信号機の特徴点の移動ベクトルに基づいて、当該特徴点を有する物体が信号機であるか否かを判断する。即ち、実際の信号機は、おおよそ高さ５ｍに設置されている（即ち、撮像手段１８の視線方向よりも上に位置している）ため、車両が信号機に向かって走行している場合には、撮像画像での信号機の位置は、画面の上に向かって移動する。従って、プロセッサ１０は、移動ベクトルが画面上向きの成分を有している場合（或いは、画面上向きの成分が、車両の移動量に略対応している場合）、認識した物体は信号機であると判断する（図３のＸ参照）。一方、移動ベクトルが画面上向きの成分を実質的に有していない場合、認識した物体は信号機でない（ノイズである）と判断して（図３のＹ参照）、ステップ１００に戻る。尚、本ステップ１４０において、移動ベクトルを考慮する際、フレーム間での車両の向きの変化量が考慮・補償されてよい。
【００２６】
信号機であると判断した場合、プロセッサ１０は、撮像手段１８の撮像画像を表示装置２４上に表示させる（ステップ１５０）。
【００２７】
このように本実施例によれば、車両の移動に伴う信号機の撮像画像上での移動態様の特徴に着目することで、物標である信号機と、物標でない他の物体（ノイズを含む）との識別精度を高めることができる。
【００２８】
尚、本実施例において、移動ベクトルは、３以上の一連のフレーム（必ずしも連続している必要は無い）を利用して算出されてよい。また、本実施例は、レーン表示、一時停止表示、交通標識等のような信号機以外の物標に対しても適用可能である。但し、レーン表示や一時停止表示のような路面上の物標は、車両の移動に伴って画面の下に向かって移動する点が考慮される。
【００２９】
また、本実施例において、画像処理範囲は、撮像手段１８からの撮像画像の全範囲であってもよいが、好ましくは、画像上半分のみ（路面上の物標に対しては画像下半分のみ）、更に好ましくは、地図データベース２２内の地図情報や後述する空間モデルデータベース３０内の補助情報を利用して更に限定された範囲であってよい。
【実施例２】
【００３０】
図４は、実施例２に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００３１】
先ず、プロセッサ１０は、位置検出手段１２からの車両位置情報に基づいて、車両位置（向きを含む）を認識する（ステップ２１０）。プロセッサ１０は、現在の車両位置を基準として車両位置周辺の地図情報を地図データベース２２から読み込む（ステップ２２０）。次いで、プロセッサ１０は、撮像手段１８から撮像画像を取得し（ステップ２３０）、信号機を認識するための画像処理領域（認識枠）を生成する（ステップ２４０）。認識枠は、車両位置と交差点の位置（若しくは信号機の位置）との相対位置関係に基づいて、生成されてよく、この場合、交差点の位置等に関する情報は、上記ステップ２２０で取得した地図データベース２２内の地図情報や、後述する空間モデルデータベース３０内の補助情報が利用されてよい。
【００３２】
プロセッサ１０は、撮像手段１８の撮像画像に対して画像認識処理を行うことで、信号機の特徴点を探索する（ステップ２５０）。この際、プロセッサ１０は、上記ステップ２４０で生成した認識枠内の画像領域に対してのみ画像認識処理を行う。信号機の特徴点が認識されると、プロセッサ１０は、前回の周期で入力された撮像画像（前フレーム）に対する画像認識処理結果との対応付けを行う（ステップ２６０）。この際、上述の実施例１と同様、プロセッサ１０は、今回の周期で認識された信号機の特徴点の画素位置と、前回の周期で認識された同信号機の特徴点の画素位置とに基づいて、信号機の特徴点の移動ベクトルを算出してよい。この場合、当該移動ベクトルの向きに応じて、認識した物体が信号機であるか否かを予備的に判断してもよい。
【００３３】
プロセッサ１０は、所定周期毎に入力される撮像手段１８からの撮像画像に対して同様の処理を繰り返し、信号機の特徴点が認識されなくなる直前のフレームにおける、即ち物体の位置が認識枠外になる直前のフレームにおける、当該物体の画像上の座標（画素位置）を算出する（ステップ２７０）。
【００３４】
ここで、図５を参照するに、時刻ｔ１で認識された信号機は、車両の走行に伴って、最終的には画像上で認識枠外へと上方向に出て行く（時刻ｔ２、ｔ３参照）。一方、時刻ｔ１で認識された物標以外の物体（本例では広告塔）は、車両の走行に伴って、最終的には画像上で認識枠外へと下方向に出て行く（時刻ｔ２、ｔ３参照）。尚、認識枠は、上述の如く、車両位置と交差点の位置（若しくは信号機の位置）との相対位置関係に基づいて生成されており、従って、認識枠は、車両が交差点に近づくにつれて、画面上側に移動しつつ、画面奥行き方向の大きさが小さくなると共に画面幅方向の大きさが大きくなっている。
【００３５】
プロセッサ１０は、認識された物体の画像上の最終座標値（即ち、認識枠から出る直前の画素位置）に基づいて、認識された物体が信号機であるか否かを判断する（ステップ２８０）。即ち、認識された物体の画像上の最終座標値が、画像の上側領域にある場合（若しくは、認識枠の上側領域にある場合）、認識された物体は信号機であると判断する。一方、認識された物体の画像上の最終座標値が、画像の上側領域にない場合（若しくは、認識枠の下側領域にある場合）、認識された物体は信号機でないと判断する。これにより、図５に示す広告塔のような、信号機と同様の高さの位置にあり且つ信号機と同様の特徴点を有する物体であっても、識別対象から確実に除外することができる。
【００３６】
尚、本実施例は、レーン表示、一時停止表示、交通標識等のような信号機以外の物標に対しても適用可能である。但し、レーン表示や一時停止表示のような路面上の物標は、車両の移動に伴って画面の下に向かって移動する点が考慮される。即ち、レーン表示や一時停止表示のような路面上の物標の最終座標値は、画像の下側領域（若しくは、認識枠の下側領域）になるのに対して、他の物体の最終座標値は、認識枠の上側領域になること（即ち、認識枠の上側から認識枠外へ出て行くこと）が考慮される。
【実施例３】
【００３７】
図６は、実施例３に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００３８】
ステップ３１０乃至ステップ３５０の処理は、図４を参照して説明したステップ２１０乃至ステップ２５０の処理と同様でよい。
【００３９】
プロセッサ１０は、ステップ３５０にて信号機の特徴点を有する物体を認識すると、以後入力される一連の画像フレームに対する画像処理結果に基づいて、当該認識物体の位置を算出し、算出した認識物体の位置と、交差点の位置との位置関係に基づいて、認識物体が信号機であるか否かを判断する（ステップ３６０）。この際、交差点の位置は、ステップ３２０にて取得される地図データベース２２内の地図情報（即ち、交差点ノードの座標値）が用いられてよい。プロセッサ１０は、認識物体の交差点に対する相対位置が、信号機の交差点に対する相対位置として適切であると判断した場合、認識物体は信号機であると判断する。この際、認識物体の交差点に対する相対位置（Δｘ、Δｙ、Δｚ）は、図７に示すように、認識物体の高さ方向の成分Δｚと幅方向の成分Δｘ（即ち、奥行き方向の成分Δｙを除く成分）のみが考慮されてよい。これは、撮像手段１８として単眼カメラを用いた場合、物標の３次元位置測定には運動視差（motion
stereo）が利用されるが、この場合、（空間的・時間的な）視差が確保され難く、奥行き方向（撮像手段１８の視線ベクトル方向）の測定誤差が大きいことに基づく。また、撮像手段１８としてステレオカメラを用いた場合であっても、車両に搭載される関係上、十分な視差を確保し難く、依然として奥行き方向（撮像手段１８の視線ベクトル方向）の測定誤差が大きいことに基づく。これにより、信号機と同様の特徴点を有する物体であっても、交差点に対する相対位置を判断することで、識別対象から確実に除外することができる。
【００４０】
尚、本実施例は、レーン表示、一時停止表示、交通標識等のような信号機以外の物標に対しても適用可能である。この場合、信号機の場合と同様、レーン表示や一時停止表示の交差点に対する相対位置（上記ステップ３６０での比較基準）は、地図データベース２２内の地図情報（交差道路の幅員情報）を考慮して設定されてよい。
【実施例４】
【００４１】
図８は、実施例４に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【００４２】
ステップ４１０乃至ステップ４５０の処理は、図４を参照して説明したステップ２１０乃至ステップ２５０の処理と同様でよい。
【００４３】
ステップ４６０では、ステップ４５０にて認識した物体（信号機の特徴点を有する物体）が信号機であるか否かを判断する。この判断処理には、上述の第１実施例、第２実施例及び第３実施例の判断手法の何れか１つ若しくは任意の組み合せが用いられてよい。
【００４４】
ステップ４６０で認識物体が信号機であると判断された場合、当該認識物体（信号機）の位置情報が生成され、空間モデルデータベース３０内に補助情報として保存される（ステップ４７０）。尚、補助情報は、好ましくは、物標の種類（この場合、“信号機”）と共に、対応する交差点に関連付けて空間モデルデータベース３０内に格納される。
【００４５】
これにより、次回、同一の道路を同一方向に走行する際、プロセッサ１０は、空間モデルデータベース３０内に補助情報を利用して、認識枠を生成することができる（ステップ４４０）。従って、空間モデルデータベース３０内に補助情報が存在しない場合に比して小さな認識枠を設定することが可能となり、物標認識処理に要する時間の短縮や認識率の向上（認識誤差の低減）が可能となる。即ち、図５と対照して図９を参照するに、２回目走行時（図９）には、１回目走行時（図５）に比して認識枠を小さく設定でき、これにより、例えば、１回目走行時には認識された広告塔が、信号機の候補として認識されることが無くなる。
【実施例５】
【００４６】
次に、実施例５として、信号機の識別処理の詳細について説明する。この識別処理は、上述の各実施例における信号機認識処理（ステップ１１０、２５０，３５０，４５０等）に利用されてよい。
【００４７】
図１０は、実施例５に係る車両周辺監視装置のプロセッサ１０により実行される信号機認識処理のフローチャートである。
【００４８】
先ず、プロセッサ１０は、撮像手段１８から出力される撮像画像（ＲＧＢフルカラー画像）を取得する（ステップ５００）。プロセッサ１０は、取得した画像データに対してＨＳＶ(Hue Saturation Value:色相、彩度、明度)変換処理を行い、色相成分（Ｈ成分）のみを抽出する（ステップ５１０）。次いで、プロセッサ１０は、ＨＳＶ変換処理された色相成分の画像データに対して二値化処理を行う（ステップ５２０）。この際、青、黄、赤成分毎に二値化処理が実行される。
【００４９】
プロセッサ１０は、青成分に対する二値化画像に対して青の領域を探索し（ステップ５３０）、青の領域が発見できた場合には、黄成分に対する二値化画像に対して黄の領域を探索し（ステップ５４０）、黄の領域が発見できた場合には、赤成分に対する二値化画像に対して赤の領域を探索し（ステップ５５０）、赤の領域が発見できた場合には、ステップ５６０に進む。
【００５０】
この一連の探索ステップ５３０乃至５５０において、青の領域が発見できた場合、黄の領域は、発見された青領域の右側の所定領域内のみで探索され、また、黄の領域が発見できた場合、赤の領域は、発見された黄領域の右側の所定領域内のみで探索されてよい。これにより、図１１に示すような信号機の３色を有していない物体（広告塔や案内標識）が、信号機の候補として認識されることが無くなる。また、信号機の３色を有する物体であっても、信号機と同一の順番で３色を有していない物体が、信号機の候補として認識されることが無くなる。尚、本実施例において、図１１に示すように、信号機の３色の並びに対応した信号機検出枠７０を導入して、各色の領域を探索してもよい。
【００５１】
ステップ５６０では、信号機の特徴点を有する物体が認識された旨を示す出力信号が生成される。本実施例では、上述の如く、信号機の３色の検出と共に当該３色の配列態様が複合的に考慮されるので、信号機の認識精度が向上する。
【００５２】
尚、本実施例において、信号機の３色の配列態様は、車両のロール情報を考慮して判断されてもよい。即ち、図１２に示すように、車両のロールに伴い撮像画像上の信号機が傾斜することが考慮されてもよい。例えば、車両のロール角に応じて、各色の領域の探索領域（若しくは信号機検出枠７０の傾き）が変化されてもよい。この場合、車両のロール情報は、位置検出手段１２、横加速度センサ、ロールレートセンサ等の検出結果に基づいて生成されてもよい。これにより、バンク路や悪路走行時等においても高い信号機の認識精度を維持することができる。
【００５３】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００５４】
例えば、本発明は、図示したような車両用の信号機のみならず歩行者用の信号機に対しても適用可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明による車両周辺監視装置の一実施形態を示すシステム構成図である。
【図２】実施例１に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図３】実際の物標認識処理結果を示す実施例１の説明図である。
【図４】実施例２に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図５】実際の物標認識処理結果を示す実施例２の説明図である。
【図６】実施例３に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図７】物標（信号機）の位置情報の一例を示す説明図である。
【図８】実施例４に係る車両周辺監視装置のプロセッサ１０により実行される物標認識処理のフローチャートである。
【図９】実際の物標認識処理結果を示す実施例４の説明図である。
【図１０】実施例５に係る車両周辺監視装置のプロセッサ１０により実行される信号機認識処理のフローチャートである。
【図１１】信号機と他の物体との間の特徴点の差異を示す説明図である。
【図１２】車両のロールにより信号機の見え方が変わることを示す説明図である。
【符号の説明】
【００５６】
１０ 画像認識・モデル作成プロセッサ
１２ 位置検出手段
１８ 撮像手段
１９ レーダーセンサ
２２ 地図データベース
２４ 表示装置
３０ 空間モデルデータベース
【特許請求の範囲】
【請求項１】
車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、認識対象の静止物体を認識する車両周辺監視装置であって、
車両の移動に伴って変化する認識物体の画素位置の移動方向を算出し、該移動方向の算出結果に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断することを特徴とする、車両周辺監視装置。
【請求項２】
前記認識物体の画素位置の移動方向において画面上下方向の成分が支配的な場合、該認識物体を前記認識対象の静止物体であると判断する、請求項１記載の車両周辺監視装置。
【請求項３】
車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の画像フレームのそれぞれに対して、それぞれの撮像時点の車両位置と交差点位置との位置関係に基づいて、前記認識対象の静止物体を認識するための画像処理領域を設定する認識枠生成手段と、
撮像手段により撮像される一連の画像フレームに対して、前記設定された画像処理領域内で画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備え、
前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置に基づいて、前記判断を行うことを特徴とする、車両周辺監視装置。
【請求項４】
前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置が、前記画像処理領域内の画面上側の領域にある場合、該物体は認識対象の静止物体としての信号機であると判断する、請求項３記載の車両周辺監視装置。
【請求項５】
車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の撮像画像に対して画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された認識物体の位置情報を前記一連の撮像画像から算出し、所与の地図データから得られる交差点の位置情報を用いて、前記認識物体と交差点との相対位置関係を導出し、該相対位置関係に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備えることを特徴とする、車両周辺監視装置。
【請求項６】
前記物体識別手段は、撮像手段の視線方向に直角な方向に係る前記相対位置関係を導出する、請求項５記載の車両周辺監視装置。
【請求項７】
前記認識対象の静止物体は、信号機である、請求項２又は５記載の車両周辺監視装置。
【請求項１】
車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、認識対象の静止物体を認識する車両周辺監視装置であって、
車両の移動に伴って変化する認識物体の画素位置の移動方向を算出し、該移動方向の算出結果に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断することを特徴とする、車両周辺監視装置。
【請求項２】
前記認識物体の画素位置の移動方向において画面上下方向の成分が支配的な場合、該認識物体を前記認識対象の静止物体であると判断する、請求項１記載の車両周辺監視装置。
【請求項３】
車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の画像フレームのそれぞれに対して、それぞれの撮像時点の車両位置と交差点位置との位置関係に基づいて、前記認識対象の静止物体を認識するための画像処理領域を設定する認識枠生成手段と、
撮像手段により撮像される一連の画像フレームに対して、前記設定された画像処理領域内で画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備え、
前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置に基づいて、前記判断を行うことを特徴とする、車両周辺監視装置。
【請求項４】
前記物体識別手段は、前記所定の特徴点を有する物体が認識されなくなる直前の画像フレームにおける該物体の画素位置が、前記画像処理領域内の画面上側の領域にある場合、該物体は認識対象の静止物体としての信号機であると判断する、請求項３記載の車両周辺監視装置。
【請求項５】
車両の所定位置に搭載された撮像手段の撮影画像に対して画像処理を行い、交差点付近に存在する認識対象の静止物体を認識する車両周辺監視装置であって、
撮像手段により撮像される一連の撮像画像に対して画像処理を行い、所定の特徴点を有する物体を認識する画像処理手段と、
前記画像処理手段により認識された認識物体の位置情報を前記一連の撮像画像から算出し、所与の地図データから得られる交差点の位置情報を用いて、前記認識物体と交差点との相対位置関係を導出し、該相対位置関係に基づいて、該認識物体が前記認識対象の静止物体であるか否かを判断する物体識別手段とを備えることを特徴とする、車両周辺監視装置。
【請求項６】
前記物体識別手段は、撮像手段の視線方向に直角な方向に係る前記相対位置関係を導出する、請求項５記載の車両周辺監視装置。
【請求項７】
前記認識対象の静止物体は、信号機である、請求項２又は５記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−４１７３（Ｐ２００６−４１７３Ａ）
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願番号】特願２００４−１７９７８３（Ｐ２００４−１７９７８３）
【出願日】平成１６年６月１７日（２００４．６．１７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願日】平成１６年６月１７日（２００４．６．１７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]