車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構築システム
【課題】車載の撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システム等を提供する。
【解決手段】本発明の車両周辺監視システム１０によれば、第１処理部１１によって赤外線カメラ１０２を通じて得られたグレースケール画像における高輝度領域の上側のエッジ（第１エッジ）Ｅ1を構成する複数の画素（対象要素）のそれぞれの当該画像における上下運動振幅の分布関数ｆ（ｖ）に基づき、第２エッジ（対象物体候補）Ｅ2が認識される。また、第２処理部１２によって第２エッジＥ2の実空間における特徴量が、対象物体の特徴量に応じた要件を満たすか否かに応じて、第２エッジＥ2が当該対象物体ＰのエッジＥPに該当するか否かが判定される。
【解決手段】本発明の車両周辺監視システム１０によれば、第１処理部１１によって赤外線カメラ１０２を通じて得られたグレースケール画像における高輝度領域の上側のエッジ（第１エッジ）Ｅ1を構成する複数の画素（対象要素）のそれぞれの当該画像における上下運動振幅の分布関数ｆ（ｖ）に基づき、第２エッジ（対象物体候補）Ｅ2が認識される。また、第２処理部１２によって第２エッジＥ2の実空間における特徴量が、対象物体の特徴量に応じた要件を満たすか否かに応じて、第２エッジＥ2が当該対象物体ＰのエッジＥPに該当するか否かが判定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、および当該車両周辺監視システムを構築するシステムに関する。
【背景技術】
【０００２】
車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている（たとえば、特許文献１参照）。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、人間と当該建造物等とが重なると、車両の周辺画像のグレースケール画像において図４に示されているように人間（破線で示されている。）等の対象物体Ｐが背景の建造物に紛れ込んでしまい、対象物体Ｐの存在を認識することが困難となる場合がある。
【０００４】
そこで、本発明は、車載の撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、および当該車両周辺監視システムを構築するシステムを提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
本願発明者は、車載の撮像装置を通じて得られた画像において、当該車両のピッチングに伴う物体の上下運動パターンが異なることに着目した。そして、本願発明者は当該画像における人間等の対象物体Ｐの上下運動パターン（図５／白両矢印参照）と、対象物体Ｐの背景（車両からみて対象物体よりも遠方）にある建造物や森林等Ｂの上下運動パターン（図５／黒両矢印参照）との相違を利用して対象物体を背景から識別することを着想した。
【０００６】
この着想に基づき、前記課題を解決するための第１発明の車両周辺監視システムは、前記画像における一または複数の高輝度画素により構成される複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理部と、該第１処理部により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理部とを備えていることを特徴とする。
【０００７】
第１発明の車両周辺監視システムによれば、撮像装置を通じて得られた画像における一または複数の高輝度画像により構成される複数の「対象要素」が認識される。高輝度領域の存在は、撮像装置の撮像範囲における何らかの物体の存在を示しているので、対象要素には対象物体の少なくとも一部が含まれている可能性がある。
【０００８】
複数の対象要素から対象物体またはその一部を抽出または選定するため、複数の対象要素の、当該画像における上下運動に応じた運動変数の分布関数が作成される。「運動変数」には、運動の速度、振幅、角速度（運動周期の逆数に比例する）等が含まれる。また、当該分布関数が「第１極大値」を示す「第１値」とは異なり、かつ、当該分布関数が第１極大値より小さい「第２極大値」を示す「第２値」が含まれる区間に属する対象要素が対象物体またはその一部として認識される。
【０００９】
分布関数が第１極大値を示す第１値は、車両のピッチング等が反映された、画像全体の上下運動パターンを表すものである可能性が高い。このため、第１値を含む区間に運動変数が属する対象要素は、建造物や森林等またはその一部に相当する可能性が高い。一方、分布関数が第１極大値より小さい第２極大値を示す第２値を含む区間に運動変数が属する対象要素は、背景とは異なるパターンで上下運動をしている人間等の対象物体またはその一部である可能性がある。
【００１０】
これらの処理により、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該画像において全体的な上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部が複数の対象要素から高い精度で抽出されうる。そして、対象物体の存在が高い精度で認識されうる。特に、車両の前方等、撮像装置の撮像範囲に森林が広がってこの森林に人間等の対象物体が紛れ込みやすく、かつ、道路にアップダウンや凹凸がある等、ピッチングが生じやすい環境下で車両が走行している状況ではその真価が発揮されうる。
【００１１】
また、第２発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記画像における高輝度領域の上側または下側のエッジを構成する複数の画素を前記複数の対象要素として認識し、前記第２処理部が前記区間に前記運動変数が含まれ、かつ、連続性のある対象要素群を前記対象物体の上側または下側のエッジとして認識することを特徴とする。
【００１２】
第２発明の車両周辺監視システムによれば、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該画像において全体的な上下運動パターンとは異なるパターンで上下運動する対象物体の上側または下側のエッジが高い精度で抽出されうる。なお、複数の対象要素（画素）に連続性があるとは、たとえば撮像装置を通じて得られた画像において横隣りの画素列における、画素の上下偏差が閾値以下であることを意味する。また、連続性がある対象要素群（画素群）がエッジとして認識されるための要件として、当該画素群に属する画素数が規定値以上であることが設定される。
【００１３】
さらに、第３発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記画像における複数の高輝度領域を前記複数の対象要素として認識することを特徴とする。
【００１４】
第３発明の車両周辺監視システムによれば、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該画像において全体的な上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部が高い精度で抽出されうる。
【００１５】
また、第４発明の車両周辺監視システムは、第１〜第３発明のうちいずれか１つの車両周辺監視システムにおいて、前記第１処理部が前記区間に前記運動変数が含まれる前記対象要素を対象物体候補として認識し、前記第２処理部が該第１処理部により認識された該対象物体候補の実空間における特徴量を測定し、当該測定した当該対象物体候補の実空間における特徴量が、前記対象物体の特徴量に応じた要件を満たすか否かを判定し、当該要件を満たすと判定した該対象物体候補を当該対象物体または当該対象物体の一部として認識することを特徴とする。
【００１６】
第４発明の車両周辺監視システムによれば、前記のように第１値とは異なる第２値を含む区間に運動変数が属する対象要素は、背景とは異なるパターンで上下運動をしている人間等の対象物体またはその一部である可能性があることに鑑みて「対象物体候補」として認識される。また、対象物体候補の実空間における特徴量が測定される。そして、対象物体候補の実空間における測定特徴量が、対象物体の特徴量に鑑みて設定された要件を満たす場合、対象物体候補が対象物体またはその一部として認識される。これにより、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部が対象要素、ひいては対象物体候補からさらに高い精度で抽出されうる。
【００１７】
さらに、第５発明の車両周辺監視システムは、第４発明の車両周辺監視システムにおいて、前記第２処理部が前記対象物体候補の実空間における前記特徴量として、当該対象物体候補の位置、形状、サイズ、またはこれらの組み合わせを測定することを特徴とする。
【００１８】
第５発明の車両周辺監視システムによれば、対象物体候補のうち、実空間における位置、形状、サイズまたはこれらの組合せが、対象物体の位置、形状、サイズまたはこれらの組み合わせに応じた要件を満たすものが対象物体またはその一部として認識される。ここで、位置、形状、サイズまたはこれらの組み合わせとは、「位置」「形状」「サイズ」「位置および形状」「形状およびサイズ」「サイズおよび位置」または「位置、形状およびサイズ」を意味する。
【００１９】
また、第６発明の車両周辺監視システムは、第１〜第６発明のうちいずれか１つの車両周辺監視システムにおいて、前記第２処理部により前記対象物体または当該対象物体の一部の時系列的な測定位置に基づき、前記車両と当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする。
【００２０】
第６発明の車両周辺監視システムによれば、前記のように撮像装置を通じて得られた画像において対象物体が背景に紛れ込んだ場合でも、当該対象物体またはその一部が高い精度で認識されうるので、車両とこの対象物体とが接触する可能性も高い精度で評価されうる。
【００２１】
さらに、第７発明の車両周辺監視システムは、第６発明の車両周辺監視システムにおいて、前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせるまたは強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることを特徴とする。
【００２２】
第７発明の車両周辺監視システムによれば、前記のように車両と対象物体との接触可能性が高い精度で評価されうるので、車両と対象物体との接触回避等の観点から、当該対象物体またはその複数の対象部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。
【００２３】
また、前記のように高精度で評価された車両と対象物体との接触可能性に基づいて車載機器が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。
【００２４】
前記課題を解決するための第８発明の車両は、前記撮像装置と、第１〜第７発明のうちいずれか１つの車両周辺監視システムとが搭載されていることを特徴とする。
【００２５】
第８発明の車両によれば、撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体候補が対象物体またはその一部として抽出されることにより、当該対象物体の存在が高い精度で認識されうる。
【００２６】
前記課題を解決するための第９発明の車両周辺監視プログラムは、前記画像における複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理機能と、該第１処理機能により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理機能とを前記車載コンピュータに付与することを特徴とする。
【００２７】
第９発明の車両周辺監視プログラムによれば、撮像装置を通じて得られた前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部を高い精度で認識しうるように車両の周辺を監視する機能が車載コンピュータに付与される。
【００２８】
前記課題を解決するための第１０発明の車両周辺監視システムの構築システムは、第１発明の車両周辺監視システムを構成するため、第９発明の車両周辺監視プログラムの一部または全部を前記車載コンピュータに配信または放送することを特徴とする。
【００２９】
第１０発明の方法によれば、撮像装置を通じて得られた前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部を高い精度で認識しうるように車両の周辺を監視するシステムが、車載コンピュータへの任意のタイミングでのプログラムの一部または全部の配信または放送によって構築されうる。
【発明を実施するための最良の形態】
【００３０】
本発明の車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システムの実施形態について図面を用いて説明する。図１は本発明の車両、車両周辺監視システムおよび構築システムの構成説明図であり、図２は本発明の車両周辺監視システムの構成説明図であり、図３〜図９は本発明の第１実施形態である車両周辺監視システムの機能説明図であり、図１０〜図１２は本発明の第２実施形態である車両周辺監視システムの機能説明図である。
【００３１】
本発明の第１実施形態である車両、車両周辺監視システムおよび構築システムの構成および機能について図１〜図９を用いて説明する。
【００３２】
まず、本発明の第１実施形態である車両、車両周辺監視システムおよびサーバの構成について図１および図２を用いて説明する。
【００３３】
図１に示されているように車両１には、車両周辺監視システム１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。
【００３４】
車両周辺監視システム１０は車載の一対の撮像装置を通じて得られた画像に基づいて車両の周辺を監視するシステムである。車両周辺監視システム１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の「車両周辺監視プログラム」とにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリに格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部または全部がサーバ（構築システムを構成する。）２０からネットワークや人工衛星を介して当該車載コンピュータに配信または放送され、そのメモリに格納されてもよい。
【００３５】
車両周辺監視システム１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。
【００３６】
第１処理部１１は赤外線カメラ１０２により得られた画像における高輝度領域の上側のエッジを第１エッジＥ1として認識する。また、第１処理部１１は第１エッジＥ1を構成する複数の画素（複数の「対象要素」に相当する。）の当該画像における上下運動速度（運動変数）ｖを測定する。さらに、第１処理部１１は当該複数の画素の上下運動速度ｖの分布関数ｆ（ｖ）を作成する。そして、第１処理部１１は当該分布関数に基づき、第１エッジＥ1を構成する画素群の一部により構成される第２エッジ（「対象物体候補」に相当する。）Ｅ2を認識する。
【００３７】
第２処理部１２は第１処理部１１により認識された第２エッジＥ2の実空間における実空間位置等の特徴量を測定する。また、第２処理部１２は第２エッジＥ2の実空間位置等の特徴量が、対象物体Ｐの標準的なサイズ等の特徴量に応じた要件を満たすか否かを判定し、当該要件を満たすと判定した第２エッジＥ2を当該対象物体Ｐの上側のエッジとして認識する。
【００３８】
第３処理部１３は第２処理部１２により対象物体Ｐの上側のエッジとして認識された第２エッジＥ2の時系列的な測定位置に基づき、車両１と当該対象物体Ｐとの接触可能性を評価する。また、第３処理部１３は車両１と対象物体Ｐとの接触可能性の評価に応じて、当該対象物体Ｐの存在を知らせるまたは強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。
【００３９】
前記構成の本発明の第１実施形態である車両１および車両周辺監視システム１０の機能について図３〜図９を用いて説明する。
【００４０】
まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。
【００４１】
第１処理部１１は一対の赤外線カメラ１０２を通じて得られた２値化画像における高輝度領域の上側または下側のエッジを第１エッジＥ1として認識する（図３／Ｓ１１１）。当該２値化画像は、赤外線画像がＡ／Ｄ変換されて得られたグレースケール画像が２値化処理されることで得られる。たとえば図４に示されている２値化画像が得られた場合、図６に白抜きで示されているような高輝度領域が認識され、かつ、図６に太線で示されているような第１エッジ（水平エッジ。画像縦方向への広がりが閾値以下であり、かつ、画像横方向への広がりが規定値以上である、連続性のある高輝度画素群を意味する。）Ｅ1が認識される。
【００４２】
また、第１処理部１１は第１エッジＥ1を構成する各画素（対象要素）の画像における上下運動速度ｖを測定する（図３／Ｓ１１２）。さらに、第１処理部１１は当該複数の画素の上下運動速度ｖの分布関数ｆ（ｖ）を作成する（図３／Ｓ１１３）。これにより、たとえば図７に示されているように第１速度ｖ1で第１極大値を示す一方、第２速度ｖ2で第１極大値よりも小さい第２極大値を示す分布関数ｆ（ｖ）が得られる。
【００４３】
そして、第１処理部１１は分布関数ｆ（ｖ）に基づき、第１エッジＥ1から第２エッジＥ2を抽出または認識する（図３／Ｓ１１４）。具体的には、たとえば図７に示されている分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、かつ、分布関数ｆ（ｖ）が最大値ｆ（ｖ1）とは別の極大値を示す第２速度ｖ2を含む区間に属する連続性のある画素により構成されるエッジ（第１エッジＥ1の一部）が第２エッジＥ2として認識される。画素の連続性があるとは、たとえば画像において横隣りの画素列における、エッジを構成する画素の上下偏差が閾値以下であることを意味する。これにより、たとえば図６に示されているような第２エッジＥ2が認識される。
【００４４】
次に、第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。
【００４５】
第２処理部１２は一対の赤外線カメラ１０２の視差を利用して、第１処理部１１により認識された第２エッジＥ2の重心のＹ座標値（「特徴量」（具体的には「実空間位置」）に相当する。）を測定する（図３／Ｓ１２１）。この際、第２処理部１２はヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による、画像における位置ずれを補正する。回頭角補正されたエッジＥPの測定位置は時系列的にメモリに保存される。ここで実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では詳細な説明を省略する。
【００４６】
さらに、第２処理部１２は、第２エッジＥ2のＹ座標値が、人間の標準的な身長（「特徴量」（具体的には「サイズ」）に相当する。）に鑑みて設定された範囲（メモリに格納されている。）に含まれるという要件が満たされるか否かを判定する（図３／Ｓ１２２）。
【００４７】
そして、第２処理部１２は当該要件が満たされていると判定した場合（図３／Ｓ１２２‥ＹＥＳ）、第２エッジＥ2を対象物体（人間）Ｐの上側のエッジＥPとして認識する（図３／Ｓ１２３）。これにより、たとえば図６に示されているようなエッジＥPが認識され、同じく図６に破線で示されているような対象物体Ｐの存在が認識される。
【００４８】
続いて、第３処理部１３が「第３処理」を実行する（図３／Ｓ１３）。
【００４９】
第３処理部１３は第２処理部１２により対象物体Ｐの上側のエッジＥPとして認識された第２エッジＥ2の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした対象物体Ｐの相対速度（大きさおよび向きを含む。）を算出する（図３／Ｓ１３１）。
【００５０】
また、第３処理部１３は車両１と当該対象物体Ｐとの接触可能性を評価する（図３／Ｓ１３２）。たとえば、図６に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ0よりも、車両１に対する人間（対象物体）Ｐの相対速度ｖsと余裕時間Ｔとの積（ｖs×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ1と、第１領域Ａ1の左右の第２領域（侵入判定領域）Ａ2LおよびＡ2Rとが定義される。そして、物体ｘが第１領域Ａ1にある場合や、対象物体Ｐが左右の第２領域Ａ2にあって、その相対速度ベクトルｖsに鑑みて第１領域Ａ1に侵入してくることが予測される場合、この対象物体Ｐと車両１とが接触する可能性が高く評価される。
【００５１】
そして、第３処理部１３は車両１と対象物体（人間）Ｐとの接触可能性を高く評価した場合（図３／Ｓ１３３‥ＹＥＳ）、「第１制御処理」を実行する（図３／Ｓ１３４）。これにより、たとえば対象物体Ｐの存在を強調するため、図９に示されているように対象物体ＰのエッジＥPを囲む橙色のフレームｆが「第１情報」としてＨＵＤ１０４に表示される。対象物体ＰのエッジＥPを囲むことを要件としてフレームｆの形状、サイズ、および色彩のそれぞれは任意に変更されてもよい。なお、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。
【００５２】
一方、第３処理部１３は車両１と対象物体Ｐとが接触する可能性が低いと判定した場合（図３／Ｓ１３３‥ＮＯ）、「第２制御処理」を実行する（図３／Ｓ１３５）。これにより、たとえば対象物体Ｐの存在を控えめに強調するため、図９に示されているように対象物体ＰのエッジＥPを囲む黄色のフレームｆが「第２情報」としてＨＵＤ１０４に表示される。なお、第２情報として「ピッ」等、第１情報よりも短い（または音量が小さい）音声がスピーカ（図示略）から出力されてもよい。
【００５３】
前記機能を発揮する本発明の第１実施形態である車両周辺監視システム１０によれば、赤外線カメラ（撮像装置）１０２を通じて得られた画像（グレースケール画像）において高輝度領域の上側または下側のエッジ（第１エッジ）Ｅ1が認識される（図３／Ｓ１１１、図６）。高輝度領域の存在は、赤外線カメラ１０２の撮像範囲における物体の存在を示しているので、第１エッジＥ1には人間（対象物体）ＰのエッジＥPが含まれている可能性がある。
【００５４】
第１エッジＥ1から対象物体ＰのエッジＥPを抽出するため、第１エッジＥ1を構成する複数の画素の、当該画像における上下運動速度ｖの分布関数ｆ（ｖ）が作成される（図３／Ｓ１１３、図７）。また、分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、分布関数ｆ（ｖ）が最大値とは別の極大値を示す第２速度ｖ2が含まれる速度区間に属する連続性のある画素により構成される第２エッジＥ2が認識される（図３／Ｓ１１４、図６、図７）。
【００５５】
分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1は画像全体の上下運動パターン、ひいては車両１のピッチングの状態を表すものである。このため、第１速度ｖ1を含む区間に属する画素は、建造物や森林等の上側または下側のエッジに相当する可能性が高い。一方、分布関数ｆ（ｖ）が最大値とは別の極大値を示す第２速度ｖ2を含む区間に属する、画像において連続性のある画素により構成される第２エッジＥ2は、背景とは異なるパターンで上下運動をしている対象物体Ｐの上側または下側のエッジＥPである可能性がある。
【００５６】
さらに、第２エッジＥ2の実空間における位置（Ｙ座標）が、対象物体（人間）Ｐの標準的な身長（サイズ）に鑑みて設定されている要件を満たす場合、第２エッジＥ2が対象物体Ｐの上側のエッジＥPとして認識される（図３／Ｓ１２２〜Ｓ１２３、図６）。これにより、図４に示されているようにグレースケール画像において対象物体Ｐが背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体Ｐの上側のエッジＥPが第１エッジＥ1から高い精度で識別されうる。そして、対象物体Ｐの存在が高い精度で認識されうる。特に、車両１の前方、すなわち赤外線カメラ１０２の撮像範囲に森林が広がってこの森林に人間等の対象物体が紛れ込みやすく、かつ、道路にアップダウンや凹凸がある等、ピッチングが生じやすい環境下で車両１が走行している状況ではその真価が発揮されうる。
【００５７】
また、前記のように対象物体Ｐが背景に紛れ込んだ場合でも、この対象物体ＰまたはそのエッジＥPの存在が高い精度で認識されうるので、車両１と対象物体Ｐとが接触する可能性も高い精度で評価されうる（図３／Ｓ１３２）。
【００５８】
さらに、前記のように車両１と対象物体Ｐとの接触可能性が高い精度で評価されうるので、車両１と対象物体Ｐとの接触回避等の観点から、当該対象物体Ｐまたはその部分を強調する第１または第２情報が適当にＨＵＤ１０４に表示（出力）されうる（図３／Ｓ１３４，Ｓ１３５、図９）。これにより、車両１の運転者に対象物体Ｐの存在を認識させ、車両１と対象物体Ｐとの接触を回避するために車両１の減速や操舵等、車両１の挙動を適当に制御させることができる。
【００５９】
なお、第１実施形態では赤外線カメラ１０２を通じて得られた画像における高輝度画像の上側のエッジが第１エッジＥ1として認識され、第１エッジＥ1から第２エッジＥ2が抽出され、第２エッジＥ2が対象物体Ｐの上側のエッジＥPに該当するか否かが判定されたが（図３／Ｓ１１１，Ｓ１１４，Ｓ１２３）、他の実施形態として同様の手法によって画像における高輝度画像の下側のエッジが第１エッジＥ1として認識され、第１エッジＥ1から第２エッジＥ2が抽出され、第２エッジＥ2が対象物体Ｐの下側のエッジに該当するか否かが判定されてもよい。
【００６０】
第１実施形態では第２エッジＥ2のＹ座標値（実空間位置）が対象物体（人間）Ｐの標準的な身長（サイズ）に鑑みた適当な範囲に含まれているか否かに応じて第２エッジＥ2が対象物体Ｐの上側のエッジＥPであるか否かが判定されたが（図３／Ｓ１２２）、他の実施形態として第２エッジＥ2の実空間における形状やサイズなどの他の特徴量が、対象物体Ｐの標準的な実空間位置や形状などの特徴量に鑑みたさまざまな要件を満たすか否かが判定されてもよい。たとえば、第２エッジＥ2の実空間における横幅が、人間（対象物体）Ｐの標準的な頭の幅や肩幅等に応じて第２エッジＥ2が対象物体ＰのエッジＥPであるか否かが判定されてもよい。
【００６１】
続いて、本発明の第２実施形態である車両、車両周辺監視システムおよびサーバの構成および機能について図１、図２、および図１０〜図１２を用いて説明する。
【００６２】
まず、本発明の第２実施形態である車両、車両周辺監視システムおよびサーバの構成について図１および図２を用いて説明する。本発明の第２実施形態である車両、車両周辺監視システムおよびサーバの構成は、第１処理部１１、第２処理部１２および第３処理部１３の機能を除き、図１および図２に示されている第１実施形態である車両等の構成と同一なので、当該同一の構成については説明を省略する。
【００６３】
第１処理部１１は赤外線カメラ１０２を通じて得られた画像（グレースケール画像または２値化画像）における複数の高輝度領域を１次対象物体候補（「対象要素」に相当する。）Ｐ1として認識する。また、第１処理部１１は各１次対象物体候補Ｐ1の当該画像における上下運動速度（運動変数）ｖを測定し、当該各１次対象物体候補Ｐ1の上下運動速度ｖの分布関数ｆ（ｖ）を作成する。そして、第１処理部１１は当該分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、かつ、当該分布関数ｆ（ｖ）が最大値とは別の極大値を示す第２速度ｖ2を含む速度区間に属する１次対象物体候補Ｐ1を２次対象物体候補（「対象物体候補」に相当する。）Ｐ2として認識する。
【００６４】
第２処理部１２は第１処理部１１により認識された２次対象物体候補Ｐ2の実空間位置等の特徴量を測定する。また、第２処理部１２は２次対象物体候補Ｐ2の実空間における測定特徴量が、対象物体Ｐの標準的なサイズ等の特徴量に鑑みて設定されている要件を満たすか否かを判定する。そして、第２処理部１２は当該要件を満たす２次対象物体候補Ｐ2を当該対象物体Ｐとして認識する。
【００６５】
第３処理部１３は第２処理部１２により対象物体Ｐとして認識された２次対象物体候補Ｐ2の時系列的な測定位置に基づき車両１と当該対象物体Ｐとの接触可能性を評価する。また、第３処理部１３は車両１と対象物体Ｐとの接触可能性の評価に応じて、当該対象物体Ｐの存在を知らせるまたは強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。
【００６６】
前記構成の本発明の第２実施形態である車両１および車両周辺監視システム１０の機能について図１０〜図１２を用いて説明する。
【００６７】
まず、第１処理部１１が「第１処理」を実行する（図１０／Ｓ２１）。
【００６８】
第１処理部１１は赤外線カメラ１０２を通じて得られた画像（グレースケール画像または２値化画像）における複数の高輝度領域を１次対象物体候補Ｐ1として認識する（図１０／Ｓ２１１）。これにより、たとえば図１１に示されているように当該画像において複数の１次対象物体候補Ｐ1が認識される。また、第１処理部１１は各１次対象物体候補Ｐ1（正確にはその重心等の代表点）の当該画像における上下運動速度ｖを測定する（図１０／Ｓ２１２）。さらに、第１処理部１１は当該各１次対象物体候補Ｐ1の上下運動速度ｖの分布関数ｆ（ｖ）を作成する（図１０／Ｓ２１３）。これにより、本発明の第１実施形態における第１処理によって作成されたのと同様にたとえば図７に示されているような分布関数ｆ（ｖ）が作成されうる。
【００６９】
そして、第１処理部１１は分布関数ｆ（ｖ）に基づき、複数の１次対象物体候補Ｐ1の中から２次対象物体候補Ｐ2を抽出または認識する（図１０／Ｓ２１４）。具体的には、図７に示されている分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、かつ、分布関数ｆ（ｖ）が最大値ｆ（ｖ1）とは別の極大値を示す第２速度ｖ2を含む区間に属する１次対象物体候補Ｐ1が２次対象物体候補Ｐ2として認識される。これにより、たとえば図１１に示されている複数の１次対象物体候補Ｐのうち、左から２番目の１次対象物体候補が２次対象物体候補Ｐ2として認識される。
【００７０】
次に第２処理部１２が第２処理を実行する（図１０／Ｓ２２）。
【００７１】
第２処理部１２は第１処理部１１により認識された２次対象物体候補Ｐ2のＹ座標値（「特徴量」（具体的には「実空間位置」）に相当する。）を測定する（図１０／Ｓ２２１）。また、第２処理部１２は２次対象物体候補Ｐ2のＹ座標値が、対象物体（人間）Ｐの標準的な身長（「特徴量」（具体的には「サイズ」）に相当する。）に鑑みて設定されている要件（メモリに格納されている。）を満たすか否かを判定する（図１０／Ｓ２２２）。そして、第２処理部１２は２次対象物体候補Ｐ2のＹ座標値が当該要件を満たすと判定した場合（図１０／Ｓ２２２‥ＹＥＳ）、当該２次対象物体候補Ｐ2を対象物体Ｐとして認識する（図１０／Ｓ２２３）。
【００７２】
さらに第３処理部１３が「第３処理」を実行する（図１０／Ｓ２３）。
【００７３】
第３処理部１３は第２処理部１２により対象物体Ｐとして認識された２次対象物体候補Ｐ2の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした対象物体Ｐの相対速度（大きさおよび向きを含む。）ｖsを算出する（図１０／Ｓ２３１）。
【００７４】
以降の第３処理の内容は本発明の第１実施形態における第３処理の内容と同様であるので簡単に説明すると、第３処理部１３は車両１と当該対象物体Ｐとの接触可能性を評価する（図１０／Ｓ２３２）。そして、第３処理部１３は車両１と対象物体Ｐとの接触可能性の高低に応じて「第１制御処理」または「第２制御処理」を実行する（図１０／Ｓ２３４，Ｓ２３５）。第１制御処理または第２制御処理により、たとえば対象物体Ｐの存在を強調するため、図１２に示されているように対象物体Ｐを囲むフレームｆが「第１情報」または「第２情報」としてＨＵＤ１０４に表示されうる。
【００７５】
前記機能を発揮する本発明の第２実施形態である車両周辺監視システム１０によれば、赤外線カメラ１０２を通じて得られた画像（グレースケール画像または２値化画像）において人間等の対象物体Ｐが背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する１次対象物体候補Ｐ1が２次対象物体候補Ｐ2として抽出される（図１０／Ｓ２１）。また、２次対象物体候補Ｐ2の実空間における位置等が、対象物体Ｐの位置等に鑑みて設定された要件を満たす場合、２次対象物体候補Ｐ2が当該対象物体Ｐとして認識される（図１０／Ｓ２２）。以上により、対象物体Ｐの存在が高い精度で認識されうる。
【００７６】
なお、前記第１および第２実施形態では対象物体候補（２次エッジＥ2または２次対象物体候補Ｐ2）の実空間における特徴量が対象物体Ｐの特徴量に鑑みた要件を満たすと判定された場合に当該対象物体候補が当該対象物体Ｐとして認識されたが（図３／Ｓ１２１〜Ｓ１２３，図１０／Ｓ２２１〜Ｓ２２３参照）、他の実施形態としてこのような要件充足性が判定されることなく対象物体候補がそのまま対象物体Ｐとして認識されてもよい。
【００７７】
また、第１および第２実施形態では第３処理部１３が、第１または第２制御処理としてこの対象物体Ｐの存在を強調する第１または第２情報をＨＵＤ１０４に表示させたが（図９、図１２）、他の実施形態として第３処理部１３が、第１または第２制御処理として車両１の挙動を制御するためにステアリングシステムやブレーキシステム等の車載機器を制御する、または当該車載機器に車両１の挙動を制御させてもよい。当該構成の車両周辺監視システム１０によれば、前記のように高精度で評価された車両１と対象物体Ｐとの接触可能性に基づいて車載機器が制御され、これにより、車両１と対象物体Ｐとの接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。
【００７８】
前記実施形態では第１エッジＥ1または第１対象物体候補Ｐ1の上下運動に応じた運動変数として運動速度ｖが測定されたが（図３／Ｓ１１２，図１０／Ｓ２１２）、他の実施形態として第１エッジＥ1または第１対象物体候補Ｐ1の上下運動の振幅、角速度、振動数等が測定されてもよい。
【００７９】
また、第１エッジＥ1または第１対象物体候補Ｐ1の上下運動に応じた任意の運動変数ｘについて、第１値ｘ1よりも高い第２値ｘ2において第１極大値ｆ（ｘ1）よりも低い第２極大値ｆ（ｘ2）を示す分布関数ｆ（ｖ）が得られる場合のほか（図７参照）、第１値ｘ1よりも低い第２値ｘ2において第１極大値ｆ（ｘ1）よりも低い第２極大値ｆ（ｘ2）を示す分布関数ｆ（ｖ）が得られる場合もある。さらに、複数の第１値ｘ1i（ｉ＝１，２，‥）のそれぞれにおいて第１極大値ｆ（ｘ1i）を示す一方、これらの第１値ｘ1iとは異なる第２値ｘ1iで、全ての第１極大値ｆ（ｘ1i）よりも小さい第２極大値ｆ（ｘ2）を示すような分布関数ｆ（ｘ）が得られる場合もありうる。
【図面の簡単な説明】
【００８０】
【図１】本発明の車両、車両周辺監視システムおよび構築システムの構成説明図
【図２】本発明の車両周辺監視システムの構成説明図
【図３】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図４】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図５】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図６】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図７】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図８】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図９】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図１０】本発明の第２実施形態である車両周辺監視システムの機能説明図
【図１１】本発明の第２実施形態である車両周辺監視システムの機能説明図
【図１２】本発明の第２実施形態である車両周辺監視システムの機能説明図
【符号の説明】
【００８１】
１‥車両、１０‥車両周辺監視システム、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、２０‥サーバ、１０２‥赤外線カメラ（撮像装置）、１０４‥ＨＵＤ（情報出力装置（車載機器））、１２２‥ヨーレートセンサ、１２４‥速度センサ
【技術分野】
【０００１】
本発明は、車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、および当該車両周辺監視システムを構築するシステムに関する。
【背景技術】
【０００２】
車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている（たとえば、特許文献１参照）。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、人間と当該建造物等とが重なると、車両の周辺画像のグレースケール画像において図４に示されているように人間（破線で示されている。）等の対象物体Ｐが背景の建造物に紛れ込んでしまい、対象物体Ｐの存在を認識することが困難となる場合がある。
【０００４】
そこで、本発明は、車載の撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、および当該車両周辺監視システムを構築するシステムを提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
本願発明者は、車載の撮像装置を通じて得られた画像において、当該車両のピッチングに伴う物体の上下運動パターンが異なることに着目した。そして、本願発明者は当該画像における人間等の対象物体Ｐの上下運動パターン（図５／白両矢印参照）と、対象物体Ｐの背景（車両からみて対象物体よりも遠方）にある建造物や森林等Ｂの上下運動パターン（図５／黒両矢印参照）との相違を利用して対象物体を背景から識別することを着想した。
【０００６】
この着想に基づき、前記課題を解決するための第１発明の車両周辺監視システムは、前記画像における一または複数の高輝度画素により構成される複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理部と、該第１処理部により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理部とを備えていることを特徴とする。
【０００７】
第１発明の車両周辺監視システムによれば、撮像装置を通じて得られた画像における一または複数の高輝度画像により構成される複数の「対象要素」が認識される。高輝度領域の存在は、撮像装置の撮像範囲における何らかの物体の存在を示しているので、対象要素には対象物体の少なくとも一部が含まれている可能性がある。
【０００８】
複数の対象要素から対象物体またはその一部を抽出または選定するため、複数の対象要素の、当該画像における上下運動に応じた運動変数の分布関数が作成される。「運動変数」には、運動の速度、振幅、角速度（運動周期の逆数に比例する）等が含まれる。また、当該分布関数が「第１極大値」を示す「第１値」とは異なり、かつ、当該分布関数が第１極大値より小さい「第２極大値」を示す「第２値」が含まれる区間に属する対象要素が対象物体またはその一部として認識される。
【０００９】
分布関数が第１極大値を示す第１値は、車両のピッチング等が反映された、画像全体の上下運動パターンを表すものである可能性が高い。このため、第１値を含む区間に運動変数が属する対象要素は、建造物や森林等またはその一部に相当する可能性が高い。一方、分布関数が第１極大値より小さい第２極大値を示す第２値を含む区間に運動変数が属する対象要素は、背景とは異なるパターンで上下運動をしている人間等の対象物体またはその一部である可能性がある。
【００１０】
これらの処理により、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該画像において全体的な上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部が複数の対象要素から高い精度で抽出されうる。そして、対象物体の存在が高い精度で認識されうる。特に、車両の前方等、撮像装置の撮像範囲に森林が広がってこの森林に人間等の対象物体が紛れ込みやすく、かつ、道路にアップダウンや凹凸がある等、ピッチングが生じやすい環境下で車両が走行している状況ではその真価が発揮されうる。
【００１１】
また、第２発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記画像における高輝度領域の上側または下側のエッジを構成する複数の画素を前記複数の対象要素として認識し、前記第２処理部が前記区間に前記運動変数が含まれ、かつ、連続性のある対象要素群を前記対象物体の上側または下側のエッジとして認識することを特徴とする。
【００１２】
第２発明の車両周辺監視システムによれば、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該画像において全体的な上下運動パターンとは異なるパターンで上下運動する対象物体の上側または下側のエッジが高い精度で抽出されうる。なお、複数の対象要素（画素）に連続性があるとは、たとえば撮像装置を通じて得られた画像において横隣りの画素列における、画素の上下偏差が閾値以下であることを意味する。また、連続性がある対象要素群（画素群）がエッジとして認識されるための要件として、当該画素群に属する画素数が規定値以上であることが設定される。
【００１３】
さらに、第３発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記画像における複数の高輝度領域を前記複数の対象要素として認識することを特徴とする。
【００１４】
第３発明の車両周辺監視システムによれば、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該画像において全体的な上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部が高い精度で抽出されうる。
【００１５】
また、第４発明の車両周辺監視システムは、第１〜第３発明のうちいずれか１つの車両周辺監視システムにおいて、前記第１処理部が前記区間に前記運動変数が含まれる前記対象要素を対象物体候補として認識し、前記第２処理部が該第１処理部により認識された該対象物体候補の実空間における特徴量を測定し、当該測定した当該対象物体候補の実空間における特徴量が、前記対象物体の特徴量に応じた要件を満たすか否かを判定し、当該要件を満たすと判定した該対象物体候補を当該対象物体または当該対象物体の一部として認識することを特徴とする。
【００１６】
第４発明の車両周辺監視システムによれば、前記のように第１値とは異なる第２値を含む区間に運動変数が属する対象要素は、背景とは異なるパターンで上下運動をしている人間等の対象物体またはその一部である可能性があることに鑑みて「対象物体候補」として認識される。また、対象物体候補の実空間における特徴量が測定される。そして、対象物体候補の実空間における測定特徴量が、対象物体の特徴量に鑑みて設定された要件を満たす場合、対象物体候補が対象物体またはその一部として認識される。これにより、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部が対象要素、ひいては対象物体候補からさらに高い精度で抽出されうる。
【００１７】
さらに、第５発明の車両周辺監視システムは、第４発明の車両周辺監視システムにおいて、前記第２処理部が前記対象物体候補の実空間における前記特徴量として、当該対象物体候補の位置、形状、サイズ、またはこれらの組み合わせを測定することを特徴とする。
【００１８】
第５発明の車両周辺監視システムによれば、対象物体候補のうち、実空間における位置、形状、サイズまたはこれらの組合せが、対象物体の位置、形状、サイズまたはこれらの組み合わせに応じた要件を満たすものが対象物体またはその一部として認識される。ここで、位置、形状、サイズまたはこれらの組み合わせとは、「位置」「形状」「サイズ」「位置および形状」「形状およびサイズ」「サイズおよび位置」または「位置、形状およびサイズ」を意味する。
【００１９】
また、第６発明の車両周辺監視システムは、第１〜第６発明のうちいずれか１つの車両周辺監視システムにおいて、前記第２処理部により前記対象物体または当該対象物体の一部の時系列的な測定位置に基づき、前記車両と当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする。
【００２０】
第６発明の車両周辺監視システムによれば、前記のように撮像装置を通じて得られた画像において対象物体が背景に紛れ込んだ場合でも、当該対象物体またはその一部が高い精度で認識されうるので、車両とこの対象物体とが接触する可能性も高い精度で評価されうる。
【００２１】
さらに、第７発明の車両周辺監視システムは、第６発明の車両周辺監視システムにおいて、前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせるまたは強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることを特徴とする。
【００２２】
第７発明の車両周辺監視システムによれば、前記のように車両と対象物体との接触可能性が高い精度で評価されうるので、車両と対象物体との接触回避等の観点から、当該対象物体またはその複数の対象部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。
【００２３】
また、前記のように高精度で評価された車両と対象物体との接触可能性に基づいて車載機器が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。
【００２４】
前記課題を解決するための第８発明の車両は、前記撮像装置と、第１〜第７発明のうちいずれか１つの車両周辺監視システムとが搭載されていることを特徴とする。
【００２５】
第８発明の車両によれば、撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体候補が対象物体またはその一部として抽出されることにより、当該対象物体の存在が高い精度で認識されうる。
【００２６】
前記課題を解決するための第９発明の車両周辺監視プログラムは、前記画像における複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理機能と、該第１処理機能により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理機能とを前記車載コンピュータに付与することを特徴とする。
【００２７】
第９発明の車両周辺監視プログラムによれば、撮像装置を通じて得られた前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部を高い精度で認識しうるように車両の周辺を監視する機能が車載コンピュータに付与される。
【００２８】
前記課題を解決するための第１０発明の車両周辺監視システムの構築システムは、第１発明の車両周辺監視システムを構成するため、第９発明の車両周辺監視プログラムの一部または全部を前記車載コンピュータに配信または放送することを特徴とする。
【００２９】
第１０発明の方法によれば、撮像装置を通じて得られた前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体またはその一部を高い精度で認識しうるように車両の周辺を監視するシステムが、車載コンピュータへの任意のタイミングでのプログラムの一部または全部の配信または放送によって構築されうる。
【発明を実施するための最良の形態】
【００３０】
本発明の車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システムの実施形態について図面を用いて説明する。図１は本発明の車両、車両周辺監視システムおよび構築システムの構成説明図であり、図２は本発明の車両周辺監視システムの構成説明図であり、図３〜図９は本発明の第１実施形態である車両周辺監視システムの機能説明図であり、図１０〜図１２は本発明の第２実施形態である車両周辺監視システムの機能説明図である。
【００３１】
本発明の第１実施形態である車両、車両周辺監視システムおよび構築システムの構成および機能について図１〜図９を用いて説明する。
【００３２】
まず、本発明の第１実施形態である車両、車両周辺監視システムおよびサーバの構成について図１および図２を用いて説明する。
【００３３】
図１に示されているように車両１には、車両周辺監視システム１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。
【００３４】
車両周辺監視システム１０は車載の一対の撮像装置を通じて得られた画像に基づいて車両の周辺を監視するシステムである。車両周辺監視システム１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の「車両周辺監視プログラム」とにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリに格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部または全部がサーバ（構築システムを構成する。）２０からネットワークや人工衛星を介して当該車載コンピュータに配信または放送され、そのメモリに格納されてもよい。
【００３５】
車両周辺監視システム１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。
【００３６】
第１処理部１１は赤外線カメラ１０２により得られた画像における高輝度領域の上側のエッジを第１エッジＥ1として認識する。また、第１処理部１１は第１エッジＥ1を構成する複数の画素（複数の「対象要素」に相当する。）の当該画像における上下運動速度（運動変数）ｖを測定する。さらに、第１処理部１１は当該複数の画素の上下運動速度ｖの分布関数ｆ（ｖ）を作成する。そして、第１処理部１１は当該分布関数に基づき、第１エッジＥ1を構成する画素群の一部により構成される第２エッジ（「対象物体候補」に相当する。）Ｅ2を認識する。
【００３７】
第２処理部１２は第１処理部１１により認識された第２エッジＥ2の実空間における実空間位置等の特徴量を測定する。また、第２処理部１２は第２エッジＥ2の実空間位置等の特徴量が、対象物体Ｐの標準的なサイズ等の特徴量に応じた要件を満たすか否かを判定し、当該要件を満たすと判定した第２エッジＥ2を当該対象物体Ｐの上側のエッジとして認識する。
【００３８】
第３処理部１３は第２処理部１２により対象物体Ｐの上側のエッジとして認識された第２エッジＥ2の時系列的な測定位置に基づき、車両１と当該対象物体Ｐとの接触可能性を評価する。また、第３処理部１３は車両１と対象物体Ｐとの接触可能性の評価に応じて、当該対象物体Ｐの存在を知らせるまたは強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。
【００３９】
前記構成の本発明の第１実施形態である車両１および車両周辺監視システム１０の機能について図３〜図９を用いて説明する。
【００４０】
まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。
【００４１】
第１処理部１１は一対の赤外線カメラ１０２を通じて得られた２値化画像における高輝度領域の上側または下側のエッジを第１エッジＥ1として認識する（図３／Ｓ１１１）。当該２値化画像は、赤外線画像がＡ／Ｄ変換されて得られたグレースケール画像が２値化処理されることで得られる。たとえば図４に示されている２値化画像が得られた場合、図６に白抜きで示されているような高輝度領域が認識され、かつ、図６に太線で示されているような第１エッジ（水平エッジ。画像縦方向への広がりが閾値以下であり、かつ、画像横方向への広がりが規定値以上である、連続性のある高輝度画素群を意味する。）Ｅ1が認識される。
【００４２】
また、第１処理部１１は第１エッジＥ1を構成する各画素（対象要素）の画像における上下運動速度ｖを測定する（図３／Ｓ１１２）。さらに、第１処理部１１は当該複数の画素の上下運動速度ｖの分布関数ｆ（ｖ）を作成する（図３／Ｓ１１３）。これにより、たとえば図７に示されているように第１速度ｖ1で第１極大値を示す一方、第２速度ｖ2で第１極大値よりも小さい第２極大値を示す分布関数ｆ（ｖ）が得られる。
【００４３】
そして、第１処理部１１は分布関数ｆ（ｖ）に基づき、第１エッジＥ1から第２エッジＥ2を抽出または認識する（図３／Ｓ１１４）。具体的には、たとえば図７に示されている分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、かつ、分布関数ｆ（ｖ）が最大値ｆ（ｖ1）とは別の極大値を示す第２速度ｖ2を含む区間に属する連続性のある画素により構成されるエッジ（第１エッジＥ1の一部）が第２エッジＥ2として認識される。画素の連続性があるとは、たとえば画像において横隣りの画素列における、エッジを構成する画素の上下偏差が閾値以下であることを意味する。これにより、たとえば図６に示されているような第２エッジＥ2が認識される。
【００４４】
次に、第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。
【００４５】
第２処理部１２は一対の赤外線カメラ１０２の視差を利用して、第１処理部１１により認識された第２エッジＥ2の重心のＹ座標値（「特徴量」（具体的には「実空間位置」）に相当する。）を測定する（図３／Ｓ１２１）。この際、第２処理部１２はヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による、画像における位置ずれを補正する。回頭角補正されたエッジＥPの測定位置は時系列的にメモリに保存される。ここで実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では詳細な説明を省略する。
【００４６】
さらに、第２処理部１２は、第２エッジＥ2のＹ座標値が、人間の標準的な身長（「特徴量」（具体的には「サイズ」）に相当する。）に鑑みて設定された範囲（メモリに格納されている。）に含まれるという要件が満たされるか否かを判定する（図３／Ｓ１２２）。
【００４７】
そして、第２処理部１２は当該要件が満たされていると判定した場合（図３／Ｓ１２２‥ＹＥＳ）、第２エッジＥ2を対象物体（人間）Ｐの上側のエッジＥPとして認識する（図３／Ｓ１２３）。これにより、たとえば図６に示されているようなエッジＥPが認識され、同じく図６に破線で示されているような対象物体Ｐの存在が認識される。
【００４８】
続いて、第３処理部１３が「第３処理」を実行する（図３／Ｓ１３）。
【００４９】
第３処理部１３は第２処理部１２により対象物体Ｐの上側のエッジＥPとして認識された第２エッジＥ2の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした対象物体Ｐの相対速度（大きさおよび向きを含む。）を算出する（図３／Ｓ１３１）。
【００５０】
また、第３処理部１３は車両１と当該対象物体Ｐとの接触可能性を評価する（図３／Ｓ１３２）。たとえば、図６に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ0よりも、車両１に対する人間（対象物体）Ｐの相対速度ｖsと余裕時間Ｔとの積（ｖs×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ1と、第１領域Ａ1の左右の第２領域（侵入判定領域）Ａ2LおよびＡ2Rとが定義される。そして、物体ｘが第１領域Ａ1にある場合や、対象物体Ｐが左右の第２領域Ａ2にあって、その相対速度ベクトルｖsに鑑みて第１領域Ａ1に侵入してくることが予測される場合、この対象物体Ｐと車両１とが接触する可能性が高く評価される。
【００５１】
そして、第３処理部１３は車両１と対象物体（人間）Ｐとの接触可能性を高く評価した場合（図３／Ｓ１３３‥ＹＥＳ）、「第１制御処理」を実行する（図３／Ｓ１３４）。これにより、たとえば対象物体Ｐの存在を強調するため、図９に示されているように対象物体ＰのエッジＥPを囲む橙色のフレームｆが「第１情報」としてＨＵＤ１０４に表示される。対象物体ＰのエッジＥPを囲むことを要件としてフレームｆの形状、サイズ、および色彩のそれぞれは任意に変更されてもよい。なお、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。
【００５２】
一方、第３処理部１３は車両１と対象物体Ｐとが接触する可能性が低いと判定した場合（図３／Ｓ１３３‥ＮＯ）、「第２制御処理」を実行する（図３／Ｓ１３５）。これにより、たとえば対象物体Ｐの存在を控えめに強調するため、図９に示されているように対象物体ＰのエッジＥPを囲む黄色のフレームｆが「第２情報」としてＨＵＤ１０４に表示される。なお、第２情報として「ピッ」等、第１情報よりも短い（または音量が小さい）音声がスピーカ（図示略）から出力されてもよい。
【００５３】
前記機能を発揮する本発明の第１実施形態である車両周辺監視システム１０によれば、赤外線カメラ（撮像装置）１０２を通じて得られた画像（グレースケール画像）において高輝度領域の上側または下側のエッジ（第１エッジ）Ｅ1が認識される（図３／Ｓ１１１、図６）。高輝度領域の存在は、赤外線カメラ１０２の撮像範囲における物体の存在を示しているので、第１エッジＥ1には人間（対象物体）ＰのエッジＥPが含まれている可能性がある。
【００５４】
第１エッジＥ1から対象物体ＰのエッジＥPを抽出するため、第１エッジＥ1を構成する複数の画素の、当該画像における上下運動速度ｖの分布関数ｆ（ｖ）が作成される（図３／Ｓ１１３、図７）。また、分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、分布関数ｆ（ｖ）が最大値とは別の極大値を示す第２速度ｖ2が含まれる速度区間に属する連続性のある画素により構成される第２エッジＥ2が認識される（図３／Ｓ１１４、図６、図７）。
【００５５】
分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1は画像全体の上下運動パターン、ひいては車両１のピッチングの状態を表すものである。このため、第１速度ｖ1を含む区間に属する画素は、建造物や森林等の上側または下側のエッジに相当する可能性が高い。一方、分布関数ｆ（ｖ）が最大値とは別の極大値を示す第２速度ｖ2を含む区間に属する、画像において連続性のある画素により構成される第２エッジＥ2は、背景とは異なるパターンで上下運動をしている対象物体Ｐの上側または下側のエッジＥPである可能性がある。
【００５６】
さらに、第２エッジＥ2の実空間における位置（Ｙ座標）が、対象物体（人間）Ｐの標準的な身長（サイズ）に鑑みて設定されている要件を満たす場合、第２エッジＥ2が対象物体Ｐの上側のエッジＥPとして認識される（図３／Ｓ１２２〜Ｓ１２３、図６）。これにより、図４に示されているようにグレースケール画像において対象物体Ｐが背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する対象物体Ｐの上側のエッジＥPが第１エッジＥ1から高い精度で識別されうる。そして、対象物体Ｐの存在が高い精度で認識されうる。特に、車両１の前方、すなわち赤外線カメラ１０２の撮像範囲に森林が広がってこの森林に人間等の対象物体が紛れ込みやすく、かつ、道路にアップダウンや凹凸がある等、ピッチングが生じやすい環境下で車両１が走行している状況ではその真価が発揮されうる。
【００５７】
また、前記のように対象物体Ｐが背景に紛れ込んだ場合でも、この対象物体ＰまたはそのエッジＥPの存在が高い精度で認識されうるので、車両１と対象物体Ｐとが接触する可能性も高い精度で評価されうる（図３／Ｓ１３２）。
【００５８】
さらに、前記のように車両１と対象物体Ｐとの接触可能性が高い精度で評価されうるので、車両１と対象物体Ｐとの接触回避等の観点から、当該対象物体Ｐまたはその部分を強調する第１または第２情報が適当にＨＵＤ１０４に表示（出力）されうる（図３／Ｓ１３４，Ｓ１３５、図９）。これにより、車両１の運転者に対象物体Ｐの存在を認識させ、車両１と対象物体Ｐとの接触を回避するために車両１の減速や操舵等、車両１の挙動を適当に制御させることができる。
【００５９】
なお、第１実施形態では赤外線カメラ１０２を通じて得られた画像における高輝度画像の上側のエッジが第１エッジＥ1として認識され、第１エッジＥ1から第２エッジＥ2が抽出され、第２エッジＥ2が対象物体Ｐの上側のエッジＥPに該当するか否かが判定されたが（図３／Ｓ１１１，Ｓ１１４，Ｓ１２３）、他の実施形態として同様の手法によって画像における高輝度画像の下側のエッジが第１エッジＥ1として認識され、第１エッジＥ1から第２エッジＥ2が抽出され、第２エッジＥ2が対象物体Ｐの下側のエッジに該当するか否かが判定されてもよい。
【００６０】
第１実施形態では第２エッジＥ2のＹ座標値（実空間位置）が対象物体（人間）Ｐの標準的な身長（サイズ）に鑑みた適当な範囲に含まれているか否かに応じて第２エッジＥ2が対象物体Ｐの上側のエッジＥPであるか否かが判定されたが（図３／Ｓ１２２）、他の実施形態として第２エッジＥ2の実空間における形状やサイズなどの他の特徴量が、対象物体Ｐの標準的な実空間位置や形状などの特徴量に鑑みたさまざまな要件を満たすか否かが判定されてもよい。たとえば、第２エッジＥ2の実空間における横幅が、人間（対象物体）Ｐの標準的な頭の幅や肩幅等に応じて第２エッジＥ2が対象物体ＰのエッジＥPであるか否かが判定されてもよい。
【００６１】
続いて、本発明の第２実施形態である車両、車両周辺監視システムおよびサーバの構成および機能について図１、図２、および図１０〜図１２を用いて説明する。
【００６２】
まず、本発明の第２実施形態である車両、車両周辺監視システムおよびサーバの構成について図１および図２を用いて説明する。本発明の第２実施形態である車両、車両周辺監視システムおよびサーバの構成は、第１処理部１１、第２処理部１２および第３処理部１３の機能を除き、図１および図２に示されている第１実施形態である車両等の構成と同一なので、当該同一の構成については説明を省略する。
【００６３】
第１処理部１１は赤外線カメラ１０２を通じて得られた画像（グレースケール画像または２値化画像）における複数の高輝度領域を１次対象物体候補（「対象要素」に相当する。）Ｐ1として認識する。また、第１処理部１１は各１次対象物体候補Ｐ1の当該画像における上下運動速度（運動変数）ｖを測定し、当該各１次対象物体候補Ｐ1の上下運動速度ｖの分布関数ｆ（ｖ）を作成する。そして、第１処理部１１は当該分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、かつ、当該分布関数ｆ（ｖ）が最大値とは別の極大値を示す第２速度ｖ2を含む速度区間に属する１次対象物体候補Ｐ1を２次対象物体候補（「対象物体候補」に相当する。）Ｐ2として認識する。
【００６４】
第２処理部１２は第１処理部１１により認識された２次対象物体候補Ｐ2の実空間位置等の特徴量を測定する。また、第２処理部１２は２次対象物体候補Ｐ2の実空間における測定特徴量が、対象物体Ｐの標準的なサイズ等の特徴量に鑑みて設定されている要件を満たすか否かを判定する。そして、第２処理部１２は当該要件を満たす２次対象物体候補Ｐ2を当該対象物体Ｐとして認識する。
【００６５】
第３処理部１３は第２処理部１２により対象物体Ｐとして認識された２次対象物体候補Ｐ2の時系列的な測定位置に基づき車両１と当該対象物体Ｐとの接触可能性を評価する。また、第３処理部１３は車両１と対象物体Ｐとの接触可能性の評価に応じて、当該対象物体Ｐの存在を知らせるまたは強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。
【００６６】
前記構成の本発明の第２実施形態である車両１および車両周辺監視システム１０の機能について図１０〜図１２を用いて説明する。
【００６７】
まず、第１処理部１１が「第１処理」を実行する（図１０／Ｓ２１）。
【００６８】
第１処理部１１は赤外線カメラ１０２を通じて得られた画像（グレースケール画像または２値化画像）における複数の高輝度領域を１次対象物体候補Ｐ1として認識する（図１０／Ｓ２１１）。これにより、たとえば図１１に示されているように当該画像において複数の１次対象物体候補Ｐ1が認識される。また、第１処理部１１は各１次対象物体候補Ｐ1（正確にはその重心等の代表点）の当該画像における上下運動速度ｖを測定する（図１０／Ｓ２１２）。さらに、第１処理部１１は当該各１次対象物体候補Ｐ1の上下運動速度ｖの分布関数ｆ（ｖ）を作成する（図１０／Ｓ２１３）。これにより、本発明の第１実施形態における第１処理によって作成されたのと同様にたとえば図７に示されているような分布関数ｆ（ｖ）が作成されうる。
【００６９】
そして、第１処理部１１は分布関数ｆ（ｖ）に基づき、複数の１次対象物体候補Ｐ1の中から２次対象物体候補Ｐ2を抽出または認識する（図１０／Ｓ２１４）。具体的には、図７に示されている分布関数ｆ（ｖ）が最大値を示す第１速度ｖ1とは異なり、かつ、分布関数ｆ（ｖ）が最大値ｆ（ｖ1）とは別の極大値を示す第２速度ｖ2を含む区間に属する１次対象物体候補Ｐ1が２次対象物体候補Ｐ2として認識される。これにより、たとえば図１１に示されている複数の１次対象物体候補Ｐのうち、左から２番目の１次対象物体候補が２次対象物体候補Ｐ2として認識される。
【００７０】
次に第２処理部１２が第２処理を実行する（図１０／Ｓ２２）。
【００７１】
第２処理部１２は第１処理部１１により認識された２次対象物体候補Ｐ2のＹ座標値（「特徴量」（具体的には「実空間位置」）に相当する。）を測定する（図１０／Ｓ２２１）。また、第２処理部１２は２次対象物体候補Ｐ2のＹ座標値が、対象物体（人間）Ｐの標準的な身長（「特徴量」（具体的には「サイズ」）に相当する。）に鑑みて設定されている要件（メモリに格納されている。）を満たすか否かを判定する（図１０／Ｓ２２２）。そして、第２処理部１２は２次対象物体候補Ｐ2のＹ座標値が当該要件を満たすと判定した場合（図１０／Ｓ２２２‥ＹＥＳ）、当該２次対象物体候補Ｐ2を対象物体Ｐとして認識する（図１０／Ｓ２２３）。
【００７２】
さらに第３処理部１３が「第３処理」を実行する（図１０／Ｓ２３）。
【００７３】
第３処理部１３は第２処理部１２により対象物体Ｐとして認識された２次対象物体候補Ｐ2の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした対象物体Ｐの相対速度（大きさおよび向きを含む。）ｖsを算出する（図１０／Ｓ２３１）。
【００７４】
以降の第３処理の内容は本発明の第１実施形態における第３処理の内容と同様であるので簡単に説明すると、第３処理部１３は車両１と当該対象物体Ｐとの接触可能性を評価する（図１０／Ｓ２３２）。そして、第３処理部１３は車両１と対象物体Ｐとの接触可能性の高低に応じて「第１制御処理」または「第２制御処理」を実行する（図１０／Ｓ２３４，Ｓ２３５）。第１制御処理または第２制御処理により、たとえば対象物体Ｐの存在を強調するため、図１２に示されているように対象物体Ｐを囲むフレームｆが「第１情報」または「第２情報」としてＨＵＤ１０４に表示されうる。
【００７５】
前記機能を発揮する本発明の第２実施形態である車両周辺監視システム１０によれば、赤外線カメラ１０２を通じて得られた画像（グレースケール画像または２値化画像）において人間等の対象物体Ｐが背景に紛れ込んだ場合でも、画像全体の上下運動パターンとは異なるパターンで上下運動する１次対象物体候補Ｐ1が２次対象物体候補Ｐ2として抽出される（図１０／Ｓ２１）。また、２次対象物体候補Ｐ2の実空間における位置等が、対象物体Ｐの位置等に鑑みて設定された要件を満たす場合、２次対象物体候補Ｐ2が当該対象物体Ｐとして認識される（図１０／Ｓ２２）。以上により、対象物体Ｐの存在が高い精度で認識されうる。
【００７６】
なお、前記第１および第２実施形態では対象物体候補（２次エッジＥ2または２次対象物体候補Ｐ2）の実空間における特徴量が対象物体Ｐの特徴量に鑑みた要件を満たすと判定された場合に当該対象物体候補が当該対象物体Ｐとして認識されたが（図３／Ｓ１２１〜Ｓ１２３，図１０／Ｓ２２１〜Ｓ２２３参照）、他の実施形態としてこのような要件充足性が判定されることなく対象物体候補がそのまま対象物体Ｐとして認識されてもよい。
【００７７】
また、第１および第２実施形態では第３処理部１３が、第１または第２制御処理としてこの対象物体Ｐの存在を強調する第１または第２情報をＨＵＤ１０４に表示させたが（図９、図１２）、他の実施形態として第３処理部１３が、第１または第２制御処理として車両１の挙動を制御するためにステアリングシステムやブレーキシステム等の車載機器を制御する、または当該車載機器に車両１の挙動を制御させてもよい。当該構成の車両周辺監視システム１０によれば、前記のように高精度で評価された車両１と対象物体Ｐとの接触可能性に基づいて車載機器が制御され、これにより、車両１と対象物体Ｐとの接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。
【００７８】
前記実施形態では第１エッジＥ1または第１対象物体候補Ｐ1の上下運動に応じた運動変数として運動速度ｖが測定されたが（図３／Ｓ１１２，図１０／Ｓ２１２）、他の実施形態として第１エッジＥ1または第１対象物体候補Ｐ1の上下運動の振幅、角速度、振動数等が測定されてもよい。
【００７９】
また、第１エッジＥ1または第１対象物体候補Ｐ1の上下運動に応じた任意の運動変数ｘについて、第１値ｘ1よりも高い第２値ｘ2において第１極大値ｆ（ｘ1）よりも低い第２極大値ｆ（ｘ2）を示す分布関数ｆ（ｖ）が得られる場合のほか（図７参照）、第１値ｘ1よりも低い第２値ｘ2において第１極大値ｆ（ｘ1）よりも低い第２極大値ｆ（ｘ2）を示す分布関数ｆ（ｖ）が得られる場合もある。さらに、複数の第１値ｘ1i（ｉ＝１，２，‥）のそれぞれにおいて第１極大値ｆ（ｘ1i）を示す一方、これらの第１値ｘ1iとは異なる第２値ｘ1iで、全ての第１極大値ｆ（ｘ1i）よりも小さい第２極大値ｆ（ｘ2）を示すような分布関数ｆ（ｘ）が得られる場合もありうる。
【図面の簡単な説明】
【００８０】
【図１】本発明の車両、車両周辺監視システムおよび構築システムの構成説明図
【図２】本発明の車両周辺監視システムの構成説明図
【図３】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図４】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図５】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図６】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図７】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図８】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図９】本発明の第１実施形態である車両周辺監視システムの機能説明図
【図１０】本発明の第２実施形態である車両周辺監視システムの機能説明図
【図１１】本発明の第２実施形態である車両周辺監視システムの機能説明図
【図１２】本発明の第２実施形態である車両周辺監視システムの機能説明図
【符号の説明】
【００８１】
１‥車両、１０‥車両周辺監視システム、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、２０‥サーバ、１０２‥赤外線カメラ（撮像装置）、１０４‥ＨＵＤ（情報出力装置（車載機器））、１２２‥ヨーレートセンサ、１２４‥速度センサ
【特許請求の範囲】
【請求項１】
車載の撮像装置を通じて得られた画像に基づいて車両の周辺を監視するシステムであって、
前記画像における一または複数の高輝度画素により構成される複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理部と、
該第１処理部により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理部とを備えていることを特徴とする車両周辺監視システム。
【請求項２】
前記第１処理部が前記画像における高輝度領域の上側または下側のエッジを構成する複数の画素を前記複数の対象要素として認識し、
前記第２処理部が前記区間に前記運動変数が含まれ、かつ、連続性のある対象要素群を前記対象物体の上側または下側のエッジとして認識することを特徴とする請求項１記載の車両周辺監視システム。
【請求項３】
前記第１処理部が前記画像における複数の高輝度領域を前記複数の対象要素として認識することを特徴とする請求項１記載の車両周辺監視システム。
【請求項４】
前記第１処理部が前記区間に前記運動変数が含まれる前記対象要素を対象物体候補として認識し、
前記第２処理部が該第１処理部により認識された該対象物体候補の実空間における特徴量を測定し、当該測定した当該対象物体候補の実空間における特徴量が、前記対象物体の特徴量に応じた要件を満たすか否かを判定し、当該要件を満たすと判定した該対象物体候補を当該対象物体または当該対象物体の一部として認識することを特徴とする請求項１〜３のうちいずれか１つに記載の車両周辺監視システム。
【請求項５】
前記第２処理部が前記対象物体候補の実空間における前記特徴量として、当該対象物体候補の位置、形状、サイズ、またはこれらの組み合わせを測定することを特徴とする請求項４記載の車両周辺監視システム。
【請求項６】
前記第２処理部により認識された前記対象物体または当該対象物体の一部の時系列的な測定位置に基づき前記車両と当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする請求項１〜５のうちいずれか１つに記載の車両周辺監視システム。
【請求項７】
前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせるまたは強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることを特徴とする請求項６記載の車両周辺監視システム。
【請求項８】
前記撮像装置と、請求項１〜７のうちいずれか１つに記載の車両周辺監視システムとが搭載されていることを特徴とする車両。
【請求項９】
車載の撮像装置を通じて得られた画像に基づいて車両の周辺を監視する機能を車載コンピュータに付与するプログラムであって、
前記画像における複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理機能と、
該第１処理機能により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理機能とを前記車載コンピュータに付与することを特徴とする車両周辺監視プログラム。
【請求項１０】
請求項１記載の車両周辺監視システムを構築するため請求項９記載の車両周辺監視プログラムの一部または全部を車載コンピュータに配信または放送することを特徴とするシステム。
【請求項１】
車載の撮像装置を通じて得られた画像に基づいて車両の周辺を監視するシステムであって、
前記画像における一または複数の高輝度画素により構成される複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理部と、
該第１処理部により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理部とを備えていることを特徴とする車両周辺監視システム。
【請求項２】
前記第１処理部が前記画像における高輝度領域の上側または下側のエッジを構成する複数の画素を前記複数の対象要素として認識し、
前記第２処理部が前記区間に前記運動変数が含まれ、かつ、連続性のある対象要素群を前記対象物体の上側または下側のエッジとして認識することを特徴とする請求項１記載の車両周辺監視システム。
【請求項３】
前記第１処理部が前記画像における複数の高輝度領域を前記複数の対象要素として認識することを特徴とする請求項１記載の車両周辺監視システム。
【請求項４】
前記第１処理部が前記区間に前記運動変数が含まれる前記対象要素を対象物体候補として認識し、
前記第２処理部が該第１処理部により認識された該対象物体候補の実空間における特徴量を測定し、当該測定した当該対象物体候補の実空間における特徴量が、前記対象物体の特徴量に応じた要件を満たすか否かを判定し、当該要件を満たすと判定した該対象物体候補を当該対象物体または当該対象物体の一部として認識することを特徴とする請求項１〜３のうちいずれか１つに記載の車両周辺監視システム。
【請求項５】
前記第２処理部が前記対象物体候補の実空間における前記特徴量として、当該対象物体候補の位置、形状、サイズ、またはこれらの組み合わせを測定することを特徴とする請求項４記載の車両周辺監視システム。
【請求項６】
前記第２処理部により認識された前記対象物体または当該対象物体の一部の時系列的な測定位置に基づき前記車両と当該対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする請求項１〜５のうちいずれか１つに記載の車両周辺監視システム。
【請求項７】
前記第３処理部が、前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせるまたは強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることを特徴とする請求項６記載の車両周辺監視システム。
【請求項８】
前記撮像装置と、請求項１〜７のうちいずれか１つに記載の車両周辺監視システムとが搭載されていることを特徴とする車両。
【請求項９】
車載の撮像装置を通じて得られた画像に基づいて車両の周辺を監視する機能を車載コンピュータに付与するプログラムであって、
前記画像における複数の対象要素のそれぞれの当該画像における上下運動に応じた運動変数を測定し、当該複数の対象要素の運動変数の分布関数を作成する第１処理機能と、
該第１処理機能により作成された当該分布関数が第１極大値を示す第１値とは異なり、かつ、当該分布関数が該第１極大値よりも小さい第２極大値を示す第２値を含む区間に当該運動変数が含まれる該対象要素を対象物体または当該対象物体の一部として認識する第２処理機能とを前記車載コンピュータに付与することを特徴とする車両周辺監視プログラム。
【請求項１０】
請求項１記載の車両周辺監視システムを構築するため請求項９記載の車両周辺監視プログラムの一部または全部を車載コンピュータに配信または放送することを特徴とするシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−４２７７９（Ｐ２００８−４２７７９Ａ）
【公開日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願番号】特願２００６−２１７４９６（Ｐ２００６−２１７４９６）
【出願日】平成１８年８月９日（２００６．８．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願日】平成１８年８月９日（２００６．８．９）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]