車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム
【課題】撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システム等を提供する。
【解決手段】本発明の車両周辺監視システム１０によれば、第１処理部１１が一対の赤外線カメラ１０２により得られたグレースケール画像において輝度が局所的にピークを示す連続性のある点群より構成される線分を、対象物体の対象部分候補として認識する。また、第２処理部１２が第１処理部１１により認識された対象部分候補の実空間における位置関係等が、対象物体における対象部分の配置等に応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該複数の対象部分に該当するか否かを判定する。
【解決手段】本発明の車両周辺監視システム１０によれば、第１処理部１１が一対の赤外線カメラ１０２により得られたグレースケール画像において輝度が局所的にピークを示す連続性のある点群より構成される線分を、対象物体の対象部分候補として認識する。また、第２処理部１２が第１処理部１１により認識された対象部分候補の実空間における位置関係等が、対象物体における対象部分の配置等に応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該複数の対象部分に該当するか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、当該車両周辺監視システムを構築するシステムに関する。
【背景技術】
【０００２】
車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている（たとえば、特許文献１参照）。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、人間と当該建造物等とが重なると、車両の周辺画像のグレースケール画像において図４に示されているように人間（破線で示されている。）ｘが背景の建造物に紛れ込んでしまい、この人間の存在を認識することが困難となる場合がある。
【０００４】
そこで、本発明は、撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、当該車両周辺監視システムを構築するシステムを提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するための第１発明の車両周辺監視システムは、車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視するシステムであって、前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理部と、該第１処理部により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理部とを備えていることを特徴とする。
【０００６】
第１発明の車両周辺監視システムによれば、人間等の対象物体の腕や脚等の対象部分に該当する可能性がある「対象部分候補」の中から、対象物体における複数の対象部分の位置関係等に鑑みて、この対象部分に該当する可能性が高いものが対象部分として認識される。これにより、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも当該対象物体が有する複数の対象部分、ひいては当該対象物体の存在が高い精度で認識されうる。なお「点」とは、画素のほか副画素等、画像を構成する任意の単位要素を意味する。
【０００７】
また、第２発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が、前記線分を１次対象部分候補とし、複数の当該１次対象部分候補のうち、前記画像において前記対象物体の複数の前記対象部分の形状および配置のうち一方または両方に応じた要件を満たす複数の当該１次対象部分候補を、前記対象部分候補に該当する２次対象部分候補として認識することを特徴とする。
【０００８】
第２発明の車両周辺監視システムによれば、複数の１次対象部分候補の中から、撮像装置により得られた画像における配置が、対象物体における対象部分の形状および配置のうち一方または両方に応じた要件を満たす複数の１次対象部分候補のみが２次対象部分候補として認識されうる。これにより、形状や配置に鑑みて対象物体が有する対象部分に該当する可能性が低い対象部分候補について、対象部分に該当するか否かを判定するための処理が実行されずに済み、情報処理の経済を図ることができる。
【０００９】
さらに、第３発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記画像において横並びの一対の縦長の前記線分を前記対象部分候補として認識し、前記第２処理部が該第１処理部により認識された該一対の前記対象部分候補のそれぞれの実空間における水平方向の間隔および鉛直方向のサイズを測定し、当該測定した水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率が、対象物体としての人間が有する複数の対象部分としての両脚の水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率に応じた要件を満たすか否かに応じて当該一対の対象部分候補が人間の両脚に該当するか否かを判定することを特徴とする。
【００１０】
本願発明者は、撮像装置により得られた画像において人間が背景の建造物等に紛れ込んだ場合でもこの人間の両脚が高い精度で認識されうることを知見した。そこで、第３発明の車両周辺監視システムによれば、対象物体である人間が有する複数の対象部分としての両脚に該当する可能性がある対象部分候補の中から、人間の両脚の水平方向の間隔等に鑑みて人間の両脚に該当する可能性が高いものが対象部分として判定される。この判定結果により、前記画像において人間が背景に紛れ込んだ場合でも当該人間の両脚、ひいては当該人間の存在が高い精度で認識されうる。
【００１１】
また、第４発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第２処理部により前記対象部分に該当すると認識された前記対象部分候補の時系列的な測定位置に基づき、前記車両と当該対象部分を有する当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする。
【００１２】
第４発明の車両周辺監視システムによれば、前記のように撮像装置により得られた画像において対象物体が背景に紛れ込んだ場合でも、当該対象物体またはその複数の対象部分の存在が高い精度で認識されうるので、車両とこの対象物体とが接触する可能性も高い精度で評価されうる。
【００１３】
さらに、第５発明の車両周辺監視システムは、第４発明の車両周辺監視システムにおいて、前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体またはその前記対象部分の存在を知らせるまたは強調する情報を当該車両に搭載されている情報出力装置に出力させることを特徴とする。
【００１４】
第５発明の車両周辺監視システムによれば、前記のように車両と対象物体との接触可能性が高い精度で評価されうるので、車両と対象物体との接触回避等の観点から、当該対象物体またはその複数の対象部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。
【００１５】
また、第６発明の車両周辺監視システムは、第４発明の車両周辺監視システムにおいて、前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体またはその前記対象部分の存在を知らせるまたは強調する情報を当該車両に搭載されている情報出力装置に出力させることを特徴とする。
【００１６】
第６発明の車両周辺監視システムによれば、前記のように高精度で評価された車両と対象物体との接触可能性に基づいて車載機器が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。
【００１７】
前記課題を解決するための第７発明の車両は、前記撮像装置と、第１〜第６発明のうちいずれか１つの車両周辺監視システムとが搭載されていることを特徴とする。
【００１８】
第７発明の車両によれば、当該撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該車両に搭載された車両周辺監視システムによって当該対象物体の存在が高い精度で認識されうる。そして、たとえば当該対象物体との接触回避の観点から当該車両の挙動が適当に制御されうる。
【００１９】
前記課題を解決するための第８発明の車両周辺監視プログラムは、車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視する機能を当該車両に搭載されているコンピュータに付与するプログラムであって、前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理機能と、該第１処理機能により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理機能とを車載コンピュータに付与することを特徴とする。
【００２０】
第８発明の車両周辺監視プログラムによれば、撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも当該対象物体またはその複数の対象部分の存在を高い精度で認識しうるように車両の周辺を監視する機能が車載コンピュータに付与される。
【００２１】
前記課題を解決するための第９発明の構築システムは、第１発明の車両周辺監視システムを構成するため、第８発明の車両周辺監視プログラムのうち一部または全部を前記車両に搭載されているコンピュータに配信または放送することを特徴とする。
【００２２】
本発明の方法によれば、撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも当該対象物体またはその複数の対象部分の存在を高い精度で認識しうるように車両の周辺を監視するシステムが、車載コンピュータへの任意のタイミングでのプログラムの一部または全部の配信または放送によって構成されうる。
【発明を実施するための最良の形態】
【００２３】
本発明の車両周辺監視システム、車両、車両周辺監視プログラム、および当該車両周辺監視システムの構築システムの実施形態について図面を用いて説明する。図１は本発明の車両、車両周辺監視システムおよびサーバの構成説明図であり、図２は本発明の車両周辺監視システムの構成説明図であり、図３〜図８は本発明の車両周辺監視システムの機能に関する説明図である。
【００２４】
本発明の車両、車両周辺監視システム、および構築システムのそれぞれの構成について図１を用いて説明する。
【００２５】
図１に示されているように車両１には、車両周辺監視システム１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。
【００２６】
車両周辺監視システム１０は車載の一対の撮像装置により得られた画像に基づいて車両の周辺を監視するシステムである。車両周辺監視システム１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ）に格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部または全部がサーバ（車両周辺監視システムの構築システムを構成する。）２０からネットワークや衛星を介して当該車載コンピュータに配信または放送され、そのメモリ（ＲＡＭ）等に格納されてもよい。
【００２７】
車両周辺監視システム１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。
【００２８】
第１処理部１１は赤外線カメラ１０２により得られた画像において輝度が局所的にピークを示す点を「ピーク点」として認識し、かつ、連続性のあるピーク点群より構成される線分を「対象部分候補」として認識する。
【００２９】
第２処理部１２は第１処理部１１により認識された対象部分候補の実空間における位置およびサイズを測定する。また、第２処理部１２は複数の対象部分候補の配置および複数の対象部分候補のサイズが、対象物体における複数の対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該複数の対象部分に該当するか否かを判定する。
【００３０】
第３処理部１３は第２処理部１２により対象部分に該当すると認識された対象部分候補の時系列的な測定位置に基づき、車両１と当該対象部分を有する対象物体との接触可能性を評価する。また、第３処理部１３は車両１と対象物体との接触可能性の評価に応じて、当該対象物体またはその複数の対象部分の存在を知らせるまたは強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。
【００３１】
前記構成の車両１および車両周辺監視システム１０の機能について図３〜図８を用いて説明する。
【００３２】
まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。
【００３３】
第１処理部１１は一対の赤外線カメラ１０２により撮像された赤外線画像をＡ／Ｄ変換することで得られるグレースケール画像において輝度が局所的にピークを示す点を「ピーク点」として認識する（図３／Ｓ１１１）。たとえば図４に示されているグレースケール画像が得られ、この画像のうち枠で囲まれた領域において走査ラインに沿って輝度が測定される。この場合、たとえば図５に示されているようにこの画像領域において高さＹ1，Ｙ2，Ｙ3の走査ライン沿って輝度がピーク（丸印が付されている。）を示す点がピーク点として認識される。なお、走査ラインに沿って連続する点の輝度の偏差が微小な閾値以下である場合、当該連続する点がともにピーク点として認識されうる。
【００３４】
また、第１処理部１１は連続性のあるピーク点群より構成される線分をそれぞれ「１次対象部分候補」として認識する（図３／Ｓ１１２）。たとえば、距離が閾値以下のピーク点が所定数以上つながっている場合、当該所定数以上のつながっているピーク点が連続性のあるピーク点群、ひいては１次対象部分候補として認識される。これにより、図５に示されている画像領域においてたとえば図６に示されているような複数の１次対象部分候補ｃ1が認識される。また、画像が平均化処理され、当該平均化処理された画像からピーク点が抽出され、当該抽出されたピーク点が８近傍処理され、当該８近傍処理されたピーク点が所定数以上つながっている場合に、当該つながっているピーク点がピーク点群（線分）として抽出されてもよい。
【００３５】
さらに、第１処理部１１は対象物体の１次候補のうち次の（要件１１）および（要件１２）を満たす一対の１次対象部分候補（または１次対象部分候補の一部）を「２次対象部分候補」として認識する（図３／Ｓ１１３）。
（要件１１）
画像における一対の１次対象部分候補の形状がともに縦長であること（たとえば、一対の１次対象部分候補のそれぞれの画像における外接四角形の縦方向の長さおよび横方向の長さの比率が所定範囲にあること）
（要件１２）
一対の１次対象部分候補が横並びに位置していること（たとえば、画像における一対の１次対象部分候補の縦方向の広がり範囲が、所定点以上重複していること）
（要件１１）および（要件１２）は、対象物体としての人間が有する複数の対象部分としての両脚の形状および配置に応じて設定されたものである。すなわち（要件１１）は人間の脚が縦長であることに応じて設定されたものである。また（要件１２）は通常の人間が横並びの２本の脚を有することに応じて設定されたものである。これにより、たとえば図６に破線で囲まれている一対の１次対象部分候補ｃ1が２次対象部分候補（以下、適宜「対象部分候補」という。）ｃ2として認識される。なお、（要件１１）および（要件１２）に代えて、または加えて次の（要件１３）を満たす一対の１次対象部分候補が２次対象部分候補として認識されてもよい。
（要件１３）
一対の１次対象部分候補の下端のＹ座標が地表から閾値以下であること
（要件１３）は、一般に人間の両脚が地面に接している又は地面の近くにあることに応じて設定されたものである。
【００３６】
次に、第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。
【００３７】
第２処理部１２は一対の赤外線カメラ１０２の視差を利用して、第１処理部１１により認識された対象部分候補の実空間における位置を測定する（図３／Ｓ１２１）。この際、第２処理部１２はヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による、画像における位置ずれを補正する。回頭角補正された対象部分候補の測定位置は時系列的にメモリに保存される。ここで実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では詳細な説明を省略する。
【００３８】
また、第２処理部１２は対象部分候補の実空間におけるサイズを測定する（図３／Ｓ１２２）。たとえば、画像における対象部分候補の上端点および下端点に相当する２つの実空間位置の間隔が算出され、この間隔が当該対象物体の２次候補のサイズとして測定される。
【００３９】
さらに、第２処理部１２は複数の対象部分候補の位置の相関関係および複数の対象部分候補のそれぞれのサイズが、次の（要件２１）および（要件２２）を満たすか否かに応じて、当該複数の対象部分候補が人間の両脚（対象物体の複数の対象部分）に該当するか否かを判定する（図３／Ｓ１２３）。
（要件２１）
一対の対象部分候補の水平方向の間隔が所定範囲にあること（たとえば、一対の対象部分候補の外接四角形の水平方向の間隔が０．１〜０．５［ｍ］にあること）
（要件２２）
対象部分候補のそれぞれのサイズが所定範囲にあること（たとえば、一対の対象部分候補の外接四角形の縦方向のサイズが０．５〜１．０［ｍ］にあること）
そして、第２処理部１２は（要件２１）および（要件２２）が満たされていると判定した場合（図３／Ｓ１２３‥ＹＥＳ）、当該一対の対象部分候補を複数の対象部分として認識する（図３／Ｓ１２４）。これにより、たとえば図６に示されている対象部分候補ｃ2が人間の両脚として認識される。要件２１および要件２２は、対象物体としての人間が有する複数の対象部分としての両脚の配置およびサイズに応じて設定されたものである。なお、（要件２１）および（要件２２）に代えてまたは加えて次の（要件２３）を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体に該当するか否かが判定されてもよい。
（要件２３）
一対の対象部分候補の水平方向の間隔と、一対の対象部分候補のうち一方のサイズまたは両方のサイズの平均値との比が所定範囲にあること（たとえば、一対の対象部分候補の外接四角形の水平方向の間隔と、当該一対の対照部分候補の外接四角形のうち一方または両方の鉛直方向のサイズの平均値との比が０．２〜０．５の範囲にあること）
続いて、第３処理部１３が「第３処理」を実行する（図３／Ｓ１３）。
【００４０】
第３処理部１３は第２処理部１２により対象部分に該当すると認識された対象部分候補の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした対象物体（またはその複数の対象部分）の相対速度（大きさおよび向きを含む。）を算出する（図３／Ｓ１３１）。
【００４１】
また、第３処理部１３は車両１と当該対象物体との接触可能性の高低を判定（または評価）する（図３／Ｓ１３２）。たとえば、図４に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ0よりも、車両１に対する二輪車等の物体ｘの相対速度ｖsと余裕時間Ｔとの積（ｖs×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ1と、第１領域Ａ1の左右の第２領域（侵入判定領域）Ａ2LおよびＡ2Rとが定義される。そして、物体ｘが第１領域Ａ1にある場合や、物体ｘが左右の第２領域Ａ2にあって、その相対速度ベクトルｖsに鑑みて第１領域Ａ1に侵入してくることが予測される場合、この物体ｘと車両１とが接触する可能性が高いと判定される。
【００４２】
そして、第３処理部１３は車両１と対象物体とが接触する可能性が高いと判定した場合（図３／Ｓ１３２‥ＹＥＳ）、この対象物体である人間ｘ（またはその複数の対象部分としての両脚）の存在を強調するため、図８に示されているように当該人間ｘを囲むフレームｆを、その色彩を橙色にして「第１情報」としてＨＵＤ１０４に表示させる（図３／Ｓ１３３）。なお、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。
【００４３】
一方、第３処理部１３は車両１と対象物体とが接触する可能性が低いと判定した場合（図３／Ｓ１３２‥ＮＯ）、この対象物体としての人間ｘの存在を控えめに強調するため、図８に示されているように当該人間ｘを囲むフレームｆを、その色彩を黄色にして「第２情報」としてＨＵＤ１０４に表示させる（図３／Ｓ１３４）。なお、第２情報として「ピッ」等、第１情報よりも短い（または小さい）音声がスピーカ（図示略）から出力されてもよい。
【００４４】
前記機能を発揮する本発明の車両周辺監視システム１０によれば、対象物体としての人間が有する複数の対象部分としての両脚に該当する可能性がある対象部分候補の中から、一般的な人間の両脚の配置およびサイズに鑑みて人間の両脚に該当する可能性が高いものが対象物体として認識される（図３／Ｓ１２３，Ｓ１２４、図６）。これにより、図４に示されているようにグレースケール画像において人間ｘが背景に紛れ込んだ場合でも当該人間ｘまたはその両脚の存在が高い精度で認識されうる。
【００４５】
また、複数の１次対象部分候補ｃ1の中から、画像における配置が、複数の対象部分としての人間の両脚の形状および配置に応じた（要件１１）および（要件１２）を満たすもののみが対象部分候補（２次対象部分候補）ｃ2として認識されうる。これにより、人間の両脚に該当する可能性が低い対象部分候補について、人間の両脚に該当するか否かを判定するための第２処理（図３／Ｓ１２）が実行されずに済み、情報処理の経済を図ることができる。
【００４６】
さらに、人間（対象物体）またはその両脚（複数の対象部分）の存在が高い精度で認識されうるので、車両１とこの対象物体とが接触する可能性も高い精度で評価されうる（図３／Ｓ１３２）。また、車両１と対象物体との接触可能性が高い精度で評価されうるので、車両１と対象物体との接触回避等の観点から、当該対象物体またはその複数の対象部分を強調するフレームｆ（第１情報または第２情報）が適当にＨＵＤ１０４に表示されうる（図８）。これにより、車両１の運転者に前方における人間の存在を認識させ、車両１とこの人間との接触を回避するために車両１の減速や操舵等、その挙動を適当に制御させることができる。
【００４７】
なお、前記実施形態では人間の脚が対象部分として認識されたが、他の実施形態として人間の両脚が認識される場合と同様の考え方に基づいて人間の両腕等、人間の他の身体部分が対象部分として認識されてもよい。
【００４８】
また、前記実施形態では第３処理部１３が、車両１と対象物体との接触可能性の評価に基づきこの対象物体の存在を強調する第１または第２情報をＨＵＤ１０４に表示させたが、他の実施形態として第３処理部１３が当該評価に基づき、車両１の挙動を制御するまたはステアリングシステムやブレーキシステム等の車載機器に制御させてもよい。当該構成の車両周辺監視システム１０によれば、前記のように高精度で評価された車両１と対象物体との接触可能性に基づいて車載機器が制御され、これにより、車両１と対象物体との接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。
【図面の簡単な説明】
【００４９】
【図１】本発明の車両、車両周辺監視システムおよびサーバの構成説明図
【図２】本発明の車両周辺監視システムの構成説明図
【図３】本発明の車両周辺監視システムの機能に関する説明図
【図４】本発明の車両周辺監視システムの機能に関する説明図
【図５】本発明の車両周辺監視システムの機能に関する説明図
【図６】本発明の車両周辺監視システムの機能に関する説明図
【図７】本発明の車両周辺監視システムの機能に関する説明図
【図８】本発明の車両周辺監視システムの機能に関する説明図
【符号の説明】
【００５０】
１‥車両、１０‥車両周辺監視システム、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、２０‥サーバ、１０２‥赤外線カメラ（撮像装置）、１０４‥ＨＵＤ（情報出力装置（車載機器））、１２２‥ヨーレートセンサ、１２４‥速度センサ
【技術分野】
【０００１】
本発明は、車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、当該車両周辺監視システムを構築するシステムに関する。
【背景技術】
【０００２】
車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている（たとえば、特許文献１参照）。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、人間と当該建造物等とが重なると、車両の周辺画像のグレースケール画像において図４に示されているように人間（破線で示されている。）ｘが背景の建造物に紛れ込んでしまい、この人間の存在を認識することが困難となる場合がある。
【０００４】
そこで、本発明は、撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、当該車両周辺監視システムを構築するシステムを提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するための第１発明の車両周辺監視システムは、車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視するシステムであって、前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理部と、該第１処理部により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理部とを備えていることを特徴とする。
【０００６】
第１発明の車両周辺監視システムによれば、人間等の対象物体の腕や脚等の対象部分に該当する可能性がある「対象部分候補」の中から、対象物体における複数の対象部分の位置関係等に鑑みて、この対象部分に該当する可能性が高いものが対象部分として認識される。これにより、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも当該対象物体が有する複数の対象部分、ひいては当該対象物体の存在が高い精度で認識されうる。なお「点」とは、画素のほか副画素等、画像を構成する任意の単位要素を意味する。
【０００７】
また、第２発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が、前記線分を１次対象部分候補とし、複数の当該１次対象部分候補のうち、前記画像において前記対象物体の複数の前記対象部分の形状および配置のうち一方または両方に応じた要件を満たす複数の当該１次対象部分候補を、前記対象部分候補に該当する２次対象部分候補として認識することを特徴とする。
【０００８】
第２発明の車両周辺監視システムによれば、複数の１次対象部分候補の中から、撮像装置により得られた画像における配置が、対象物体における対象部分の形状および配置のうち一方または両方に応じた要件を満たす複数の１次対象部分候補のみが２次対象部分候補として認識されうる。これにより、形状や配置に鑑みて対象物体が有する対象部分に該当する可能性が低い対象部分候補について、対象部分に該当するか否かを判定するための処理が実行されずに済み、情報処理の経済を図ることができる。
【０００９】
さらに、第３発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記画像において横並びの一対の縦長の前記線分を前記対象部分候補として認識し、前記第２処理部が該第１処理部により認識された該一対の前記対象部分候補のそれぞれの実空間における水平方向の間隔および鉛直方向のサイズを測定し、当該測定した水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率が、対象物体としての人間が有する複数の対象部分としての両脚の水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率に応じた要件を満たすか否かに応じて当該一対の対象部分候補が人間の両脚に該当するか否かを判定することを特徴とする。
【００１０】
本願発明者は、撮像装置により得られた画像において人間が背景の建造物等に紛れ込んだ場合でもこの人間の両脚が高い精度で認識されうることを知見した。そこで、第３発明の車両周辺監視システムによれば、対象物体である人間が有する複数の対象部分としての両脚に該当する可能性がある対象部分候補の中から、人間の両脚の水平方向の間隔等に鑑みて人間の両脚に該当する可能性が高いものが対象部分として判定される。この判定結果により、前記画像において人間が背景に紛れ込んだ場合でも当該人間の両脚、ひいては当該人間の存在が高い精度で認識されうる。
【００１１】
また、第４発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第２処理部により前記対象部分に該当すると認識された前記対象部分候補の時系列的な測定位置に基づき、前記車両と当該対象部分を有する当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする。
【００１２】
第４発明の車両周辺監視システムによれば、前記のように撮像装置により得られた画像において対象物体が背景に紛れ込んだ場合でも、当該対象物体またはその複数の対象部分の存在が高い精度で認識されうるので、車両とこの対象物体とが接触する可能性も高い精度で評価されうる。
【００１３】
さらに、第５発明の車両周辺監視システムは、第４発明の車両周辺監視システムにおいて、前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体またはその前記対象部分の存在を知らせるまたは強調する情報を当該車両に搭載されている情報出力装置に出力させることを特徴とする。
【００１４】
第５発明の車両周辺監視システムによれば、前記のように車両と対象物体との接触可能性が高い精度で評価されうるので、車両と対象物体との接触回避等の観点から、当該対象物体またはその複数の対象部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。
【００１５】
また、第６発明の車両周辺監視システムは、第４発明の車両周辺監視システムにおいて、前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体またはその前記対象部分の存在を知らせるまたは強調する情報を当該車両に搭載されている情報出力装置に出力させることを特徴とする。
【００１６】
第６発明の車両周辺監視システムによれば、前記のように高精度で評価された車両と対象物体との接触可能性に基づいて車載機器が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。
【００１７】
前記課題を解決するための第７発明の車両は、前記撮像装置と、第１〜第６発明のうちいずれか１つの車両周辺監視システムとが搭載されていることを特徴とする。
【００１８】
第７発明の車両によれば、当該撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該車両に搭載された車両周辺監視システムによって当該対象物体の存在が高い精度で認識されうる。そして、たとえば当該対象物体との接触回避の観点から当該車両の挙動が適当に制御されうる。
【００１９】
前記課題を解決するための第８発明の車両周辺監視プログラムは、車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視する機能を当該車両に搭載されているコンピュータに付与するプログラムであって、前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理機能と、該第１処理機能により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理機能とを車載コンピュータに付与することを特徴とする。
【００２０】
第８発明の車両周辺監視プログラムによれば、撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも当該対象物体またはその複数の対象部分の存在を高い精度で認識しうるように車両の周辺を監視する機能が車載コンピュータに付与される。
【００２１】
前記課題を解決するための第９発明の構築システムは、第１発明の車両周辺監視システムを構成するため、第８発明の車両周辺監視プログラムのうち一部または全部を前記車両に搭載されているコンピュータに配信または放送することを特徴とする。
【００２２】
本発明の方法によれば、撮像装置により得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも当該対象物体またはその複数の対象部分の存在を高い精度で認識しうるように車両の周辺を監視するシステムが、車載コンピュータへの任意のタイミングでのプログラムの一部または全部の配信または放送によって構成されうる。
【発明を実施するための最良の形態】
【００２３】
本発明の車両周辺監視システム、車両、車両周辺監視プログラム、および当該車両周辺監視システムの構築システムの実施形態について図面を用いて説明する。図１は本発明の車両、車両周辺監視システムおよびサーバの構成説明図であり、図２は本発明の車両周辺監視システムの構成説明図であり、図３〜図８は本発明の車両周辺監視システムの機能に関する説明図である。
【００２４】
本発明の車両、車両周辺監視システム、および構築システムのそれぞれの構成について図１を用いて説明する。
【００２５】
図１に示されているように車両１には、車両周辺監視システム１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。
【００２６】
車両周辺監視システム１０は車載の一対の撮像装置により得られた画像に基づいて車両の周辺を監視するシステムである。車両周辺監視システム１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ）に格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部または全部がサーバ（車両周辺監視システムの構築システムを構成する。）２０からネットワークや衛星を介して当該車載コンピュータに配信または放送され、そのメモリ（ＲＡＭ）等に格納されてもよい。
【００２７】
車両周辺監視システム１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。
【００２８】
第１処理部１１は赤外線カメラ１０２により得られた画像において輝度が局所的にピークを示す点を「ピーク点」として認識し、かつ、連続性のあるピーク点群より構成される線分を「対象部分候補」として認識する。
【００２９】
第２処理部１２は第１処理部１１により認識された対象部分候補の実空間における位置およびサイズを測定する。また、第２処理部１２は複数の対象部分候補の配置および複数の対象部分候補のサイズが、対象物体における複数の対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該複数の対象部分に該当するか否かを判定する。
【００３０】
第３処理部１３は第２処理部１２により対象部分に該当すると認識された対象部分候補の時系列的な測定位置に基づき、車両１と当該対象部分を有する対象物体との接触可能性を評価する。また、第３処理部１３は車両１と対象物体との接触可能性の評価に応じて、当該対象物体またはその複数の対象部分の存在を知らせるまたは強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。
【００３１】
前記構成の車両１および車両周辺監視システム１０の機能について図３〜図８を用いて説明する。
【００３２】
まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。
【００３３】
第１処理部１１は一対の赤外線カメラ１０２により撮像された赤外線画像をＡ／Ｄ変換することで得られるグレースケール画像において輝度が局所的にピークを示す点を「ピーク点」として認識する（図３／Ｓ１１１）。たとえば図４に示されているグレースケール画像が得られ、この画像のうち枠で囲まれた領域において走査ラインに沿って輝度が測定される。この場合、たとえば図５に示されているようにこの画像領域において高さＹ1，Ｙ2，Ｙ3の走査ライン沿って輝度がピーク（丸印が付されている。）を示す点がピーク点として認識される。なお、走査ラインに沿って連続する点の輝度の偏差が微小な閾値以下である場合、当該連続する点がともにピーク点として認識されうる。
【００３４】
また、第１処理部１１は連続性のあるピーク点群より構成される線分をそれぞれ「１次対象部分候補」として認識する（図３／Ｓ１１２）。たとえば、距離が閾値以下のピーク点が所定数以上つながっている場合、当該所定数以上のつながっているピーク点が連続性のあるピーク点群、ひいては１次対象部分候補として認識される。これにより、図５に示されている画像領域においてたとえば図６に示されているような複数の１次対象部分候補ｃ1が認識される。また、画像が平均化処理され、当該平均化処理された画像からピーク点が抽出され、当該抽出されたピーク点が８近傍処理され、当該８近傍処理されたピーク点が所定数以上つながっている場合に、当該つながっているピーク点がピーク点群（線分）として抽出されてもよい。
【００３５】
さらに、第１処理部１１は対象物体の１次候補のうち次の（要件１１）および（要件１２）を満たす一対の１次対象部分候補（または１次対象部分候補の一部）を「２次対象部分候補」として認識する（図３／Ｓ１１３）。
（要件１１）
画像における一対の１次対象部分候補の形状がともに縦長であること（たとえば、一対の１次対象部分候補のそれぞれの画像における外接四角形の縦方向の長さおよび横方向の長さの比率が所定範囲にあること）
（要件１２）
一対の１次対象部分候補が横並びに位置していること（たとえば、画像における一対の１次対象部分候補の縦方向の広がり範囲が、所定点以上重複していること）
（要件１１）および（要件１２）は、対象物体としての人間が有する複数の対象部分としての両脚の形状および配置に応じて設定されたものである。すなわち（要件１１）は人間の脚が縦長であることに応じて設定されたものである。また（要件１２）は通常の人間が横並びの２本の脚を有することに応じて設定されたものである。これにより、たとえば図６に破線で囲まれている一対の１次対象部分候補ｃ1が２次対象部分候補（以下、適宜「対象部分候補」という。）ｃ2として認識される。なお、（要件１１）および（要件１２）に代えて、または加えて次の（要件１３）を満たす一対の１次対象部分候補が２次対象部分候補として認識されてもよい。
（要件１３）
一対の１次対象部分候補の下端のＹ座標が地表から閾値以下であること
（要件１３）は、一般に人間の両脚が地面に接している又は地面の近くにあることに応じて設定されたものである。
【００３６】
次に、第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。
【００３７】
第２処理部１２は一対の赤外線カメラ１０２の視差を利用して、第１処理部１１により認識された対象部分候補の実空間における位置を測定する（図３／Ｓ１２１）。この際、第２処理部１２はヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による、画像における位置ずれを補正する。回頭角補正された対象部分候補の測定位置は時系列的にメモリに保存される。ここで実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では詳細な説明を省略する。
【００３８】
また、第２処理部１２は対象部分候補の実空間におけるサイズを測定する（図３／Ｓ１２２）。たとえば、画像における対象部分候補の上端点および下端点に相当する２つの実空間位置の間隔が算出され、この間隔が当該対象物体の２次候補のサイズとして測定される。
【００３９】
さらに、第２処理部１２は複数の対象部分候補の位置の相関関係および複数の対象部分候補のそれぞれのサイズが、次の（要件２１）および（要件２２）を満たすか否かに応じて、当該複数の対象部分候補が人間の両脚（対象物体の複数の対象部分）に該当するか否かを判定する（図３／Ｓ１２３）。
（要件２１）
一対の対象部分候補の水平方向の間隔が所定範囲にあること（たとえば、一対の対象部分候補の外接四角形の水平方向の間隔が０．１〜０．５［ｍ］にあること）
（要件２２）
対象部分候補のそれぞれのサイズが所定範囲にあること（たとえば、一対の対象部分候補の外接四角形の縦方向のサイズが０．５〜１．０［ｍ］にあること）
そして、第２処理部１２は（要件２１）および（要件２２）が満たされていると判定した場合（図３／Ｓ１２３‥ＹＥＳ）、当該一対の対象部分候補を複数の対象部分として認識する（図３／Ｓ１２４）。これにより、たとえば図６に示されている対象部分候補ｃ2が人間の両脚として認識される。要件２１および要件２２は、対象物体としての人間が有する複数の対象部分としての両脚の配置およびサイズに応じて設定されたものである。なお、（要件２１）および（要件２２）に代えてまたは加えて次の（要件２３）を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体に該当するか否かが判定されてもよい。
（要件２３）
一対の対象部分候補の水平方向の間隔と、一対の対象部分候補のうち一方のサイズまたは両方のサイズの平均値との比が所定範囲にあること（たとえば、一対の対象部分候補の外接四角形の水平方向の間隔と、当該一対の対照部分候補の外接四角形のうち一方または両方の鉛直方向のサイズの平均値との比が０．２〜０．５の範囲にあること）
続いて、第３処理部１３が「第３処理」を実行する（図３／Ｓ１３）。
【００４０】
第３処理部１３は第２処理部１２により対象部分に該当すると認識された対象部分候補の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした対象物体（またはその複数の対象部分）の相対速度（大きさおよび向きを含む。）を算出する（図３／Ｓ１３１）。
【００４１】
また、第３処理部１３は車両１と当該対象物体との接触可能性の高低を判定（または評価）する（図３／Ｓ１３２）。たとえば、図４に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ0よりも、車両１に対する二輪車等の物体ｘの相対速度ｖsと余裕時間Ｔとの積（ｖs×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ1と、第１領域Ａ1の左右の第２領域（侵入判定領域）Ａ2LおよびＡ2Rとが定義される。そして、物体ｘが第１領域Ａ1にある場合や、物体ｘが左右の第２領域Ａ2にあって、その相対速度ベクトルｖsに鑑みて第１領域Ａ1に侵入してくることが予測される場合、この物体ｘと車両１とが接触する可能性が高いと判定される。
【００４２】
そして、第３処理部１３は車両１と対象物体とが接触する可能性が高いと判定した場合（図３／Ｓ１３２‥ＹＥＳ）、この対象物体である人間ｘ（またはその複数の対象部分としての両脚）の存在を強調するため、図８に示されているように当該人間ｘを囲むフレームｆを、その色彩を橙色にして「第１情報」としてＨＵＤ１０４に表示させる（図３／Ｓ１３３）。なお、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。
【００４３】
一方、第３処理部１３は車両１と対象物体とが接触する可能性が低いと判定した場合（図３／Ｓ１３２‥ＮＯ）、この対象物体としての人間ｘの存在を控えめに強調するため、図８に示されているように当該人間ｘを囲むフレームｆを、その色彩を黄色にして「第２情報」としてＨＵＤ１０４に表示させる（図３／Ｓ１３４）。なお、第２情報として「ピッ」等、第１情報よりも短い（または小さい）音声がスピーカ（図示略）から出力されてもよい。
【００４４】
前記機能を発揮する本発明の車両周辺監視システム１０によれば、対象物体としての人間が有する複数の対象部分としての両脚に該当する可能性がある対象部分候補の中から、一般的な人間の両脚の配置およびサイズに鑑みて人間の両脚に該当する可能性が高いものが対象物体として認識される（図３／Ｓ１２３，Ｓ１２４、図６）。これにより、図４に示されているようにグレースケール画像において人間ｘが背景に紛れ込んだ場合でも当該人間ｘまたはその両脚の存在が高い精度で認識されうる。
【００４５】
また、複数の１次対象部分候補ｃ1の中から、画像における配置が、複数の対象部分としての人間の両脚の形状および配置に応じた（要件１１）および（要件１２）を満たすもののみが対象部分候補（２次対象部分候補）ｃ2として認識されうる。これにより、人間の両脚に該当する可能性が低い対象部分候補について、人間の両脚に該当するか否かを判定するための第２処理（図３／Ｓ１２）が実行されずに済み、情報処理の経済を図ることができる。
【００４６】
さらに、人間（対象物体）またはその両脚（複数の対象部分）の存在が高い精度で認識されうるので、車両１とこの対象物体とが接触する可能性も高い精度で評価されうる（図３／Ｓ１３２）。また、車両１と対象物体との接触可能性が高い精度で評価されうるので、車両１と対象物体との接触回避等の観点から、当該対象物体またはその複数の対象部分を強調するフレームｆ（第１情報または第２情報）が適当にＨＵＤ１０４に表示されうる（図８）。これにより、車両１の運転者に前方における人間の存在を認識させ、車両１とこの人間との接触を回避するために車両１の減速や操舵等、その挙動を適当に制御させることができる。
【００４７】
なお、前記実施形態では人間の脚が対象部分として認識されたが、他の実施形態として人間の両脚が認識される場合と同様の考え方に基づいて人間の両腕等、人間の他の身体部分が対象部分として認識されてもよい。
【００４８】
また、前記実施形態では第３処理部１３が、車両１と対象物体との接触可能性の評価に基づきこの対象物体の存在を強調する第１または第２情報をＨＵＤ１０４に表示させたが、他の実施形態として第３処理部１３が当該評価に基づき、車両１の挙動を制御するまたはステアリングシステムやブレーキシステム等の車載機器に制御させてもよい。当該構成の車両周辺監視システム１０によれば、前記のように高精度で評価された車両１と対象物体との接触可能性に基づいて車載機器が制御され、これにより、車両１と対象物体との接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。
【図面の簡単な説明】
【００４９】
【図１】本発明の車両、車両周辺監視システムおよびサーバの構成説明図
【図２】本発明の車両周辺監視システムの構成説明図
【図３】本発明の車両周辺監視システムの機能に関する説明図
【図４】本発明の車両周辺監視システムの機能に関する説明図
【図５】本発明の車両周辺監視システムの機能に関する説明図
【図６】本発明の車両周辺監視システムの機能に関する説明図
【図７】本発明の車両周辺監視システムの機能に関する説明図
【図８】本発明の車両周辺監視システムの機能に関する説明図
【符号の説明】
【００５０】
１‥車両、１０‥車両周辺監視システム、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、２０‥サーバ、１０２‥赤外線カメラ（撮像装置）、１０４‥ＨＵＤ（情報出力装置（車載機器））、１２２‥ヨーレートセンサ、１２４‥速度センサ
【特許請求の範囲】
【請求項１】
車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視するシステムであって、
前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理部と、
該第１処理部により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理部とを備えていることを特徴とする車両周辺監視システム。
【請求項２】
前記第１処理部が、前記線分を１次対象部分候補とし、複数の当該１次対象部分候補のうち、前記画像において前記対象物体の複数の前記対象部分の形状および配置のうち一方または両方に応じた要件を満たす複数の当該１次対象部分候補を、前記対象部分候補に該当する２次対象部分候補として認識することを特徴とする請求項１記載の車両周辺監視システム。
【請求項３】
前記第１処理部が前記画像において横並びの一対の縦長の前記線分を前記対象部分候補として認識し、
前記第２処理部が該第１処理部により認識された該一対の前記対象部分候補のそれぞれの実空間における水平方向の間隔および鉛直方向のサイズを測定し、当該測定した水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率が、対象物体としての人間が有する複数の対象部分としての両脚の水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率に応じた要件を満たすか否かに応じて当該一対の対象部分候補が人間の両脚に該当するか否かを判定することを特徴とする請求項１記載の車両周辺監視システム。
【請求項４】
前記第２処理部により前記対象部分に該当すると認識された前記対象部分候補の時系列的な測定位置に基づき、前記車両と当該対象部分を有する当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする請求項１記載の車両周辺監視システム。
【請求項５】
前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体またはその前記対象部分の存在を知らせるまたは強調する情報を当該車両に搭載されている情報出力装置に出力させることを特徴とする請求項４記載の車両周辺監視システム。
【請求項６】
前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該車両の挙動を制御するまたは当該車両に搭載されている機器に制御させることを特徴とする請求項４記載の車両周辺監視システム。
【請求項７】
前記撮像装置と、請求項１〜６のうちいずれか１つに記載の車両周辺監視システムとが搭載されていることを特徴とする車両。
【請求項８】
車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視する機能を当該車両に搭載されているコンピュータに付与するプログラムであって、
前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理機能と、
該第１処理機能により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理機能とを車載コンピュータに付与することを特徴とする車両周辺監視プログラム。
【請求項９】
請求項１記載の車両周辺監視システムを構成するため請求項８記載の車両周辺監視プログラムのうち一部または全部を前記車両に搭載されているコンピュータに配信または放送することを特徴とする車両周辺監視システムの構築システム。
【請求項１】
車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視するシステムであって、
前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理部と、
該第１処理部により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理部とを備えていることを特徴とする車両周辺監視システム。
【請求項２】
前記第１処理部が、前記線分を１次対象部分候補とし、複数の当該１次対象部分候補のうち、前記画像において前記対象物体の複数の前記対象部分の形状および配置のうち一方または両方に応じた要件を満たす複数の当該１次対象部分候補を、前記対象部分候補に該当する２次対象部分候補として認識することを特徴とする請求項１記載の車両周辺監視システム。
【請求項３】
前記第１処理部が前記画像において横並びの一対の縦長の前記線分を前記対象部分候補として認識し、
前記第２処理部が該第１処理部により認識された該一対の前記対象部分候補のそれぞれの実空間における水平方向の間隔および鉛直方向のサイズを測定し、当該測定した水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率が、対象物体としての人間が有する複数の対象部分としての両脚の水平方向の間隔および鉛直方向のサイズ、当該間隔および当該サイズの比率、または当該間隔および当該サイズならびに当該比率に応じた要件を満たすか否かに応じて当該一対の対象部分候補が人間の両脚に該当するか否かを判定することを特徴とする請求項１記載の車両周辺監視システム。
【請求項４】
前記第２処理部により前記対象部分に該当すると認識された前記対象部分候補の時系列的な測定位置に基づき、前記車両と当該対象部分を有する当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする請求項１記載の車両周辺監視システム。
【請求項５】
前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体またはその前記対象部分の存在を知らせるまたは強調する情報を当該車両に搭載されている情報出力装置に出力させることを特徴とする請求項４記載の車両周辺監視システム。
【請求項６】
前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該車両の挙動を制御するまたは当該車両に搭載されている機器に制御させることを特徴とする請求項４記載の車両周辺監視システム。
【請求項７】
前記撮像装置と、請求項１〜６のうちいずれか１つに記載の車両周辺監視システムとが搭載されていることを特徴とする車両。
【請求項８】
車両に搭載されている撮像装置により得られた画像に基づいて当該車両の周辺を監視する機能を当該車両に搭載されているコンピュータに付与するプログラムであって、
前記画像において輝度が局所的にピークを示す点をピーク点として認識し、かつ、連続性のあるピーク点群より構成される線分を対象物体の対象部分候補として認識する第１処理機能と、
該第１処理機能により認識された対象部分候補の実空間における位置およびサイズを測定し、複数の当該対象部分候補の位置関係およびサイズが、当該対象物体における対象部分の配置およびサイズに応じた要件を満たすか否かに応じて、当該複数の対象部分候補が当該対象物体の対象部分に該当するか否かを判定する第２処理機能とを車載コンピュータに付与することを特徴とする車両周辺監視プログラム。
【請求項９】
請求項１記載の車両周辺監視システムを構成するため請求項８記載の車両周辺監視プログラムのうち一部または全部を前記車両に搭載されているコンピュータに配信または放送することを特徴とする車両周辺監視システムの構築システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１７３６０（Ｐ２００８−１７３６０Ａ）
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願番号】特願２００６−１８８６７５（Ｐ２００６−１８８６７５）
【出願日】平成１８年７月７日（２００６．７．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願日】平成１８年７月７日（２００６．７．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]