車両周辺監視システム
【課題】 車両周辺の歩行者を検出する場合の誤検出を適切に抑えることができ、車両周辺の歩行者を適切に検出する。
【解決手段】 車両周辺監視システム１は、撮影画像にあって車両直近の部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に歩行者が存在するか否かを判定する。撮影画像にあって車両直近の部分、つまり、運転に支障のある部分を画像処理して歩行者が存在するか否かを判定できる一方で、運転に支障のない部分を画像処理して歩行者が存在するか否かを判定してしまうことを未然に回避できる。
【解決手段】 車両周辺監視システム１は、撮影画像にあって車両直近の部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に歩行者が存在するか否かを判定する。撮影画像にあって車両直近の部分、つまり、運転に支障のある部分を画像処理して歩行者が存在するか否かを判定できる一方で、運転に支障のない部分を画像処理して歩行者が存在するか否かを判定してしまうことを未然に回避できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を撮影して撮影画像に基づいて車両付近に移動物体が存在するか否かを判定する車両周辺監視システムに関する。
【背景技術】
【０００２】
従来技術として、カメラにより撮影された撮影画像の全画面にわたって水平方向および垂直方向の濃度分布の差分を算出し、広域の監視エリアにて移動物体が存在するか否かを判定するものが供されている（例えば特許文献１参照）。
【特許文献１】特公平７−３１２４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した特許文献１に記載されているものを車両周辺の例えば歩行者を検出する方法に適用すると、車両周辺を監視する車両周辺監視システムではカメラを車両に搭載せざるを得ないことから、必然的に低い位置にカメラを設置せざるを得ず、そのため、撮影画像に地平線方向が映り込んでしまい、運転には全く支障のない位置に存在する移動物体をも検出してしまうことになり、歩行者の往来が頻繁な場所では誤検出が多発してしまうという問題がある。
【０００４】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、例えば歩行者などの移動物体を検出する場合の誤検出を適切に抑えることができ、車両周辺の移動物体を適切に検出することができる車両周辺監視システムを提供することにある。
【課題を解決するための手段】
【０００５】
請求項１に記載した発明によれば、車両周辺が撮影手段により撮影されると、画像処理手段は、その撮影画像にあっていずれかの部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に移動物体が存在するか否かを判定する。このとき、画像処理手段は、検知領域を切り替えながら車両付近に移動物体が存在するか否かを判定する。これにより、撮影画像にあって車両直近を検知領域として設定することにより、撮影画像にあって車両直近の部分、つまり、運転に支障のある部分を画像処理して移動物体が存在するか否かを判定することができる一方で、運転に支障のない部分を画像処理して移動物体が存在するか否かを判定してしまうことを未然に回避することができるので、例えば歩行者を検出する場合の誤検出を適切に抑えることができ、車両周辺の歩行者を適切に検出することができる。
【０００６】
請求項２に記載した発明によれば、画像処理手段は、車両周辺に移動物体が存在する旨を検出すると、撮影手段により撮影された撮影画像にあって当該検出された移動物体の周辺部分または垂線方向部分をも検知領域として追加設定し、その検知領域として追加設定された部分をも画像処理する。これにより、移動物体の周辺部分または垂線方向部分を画像処理することにより、検出された移動物体を適切に検出することができ、例えば移動物体（人物）が立ち止まり振り向いた場合なども、追加設定する以前の検知領域だけでは検出できなかった上半身だけの動きをも適切に検出することができる。
【０００７】
請求項３に記載した発明によれば、画像処理手段は、予め初期検知領域として設定された部分を画像処理して車両周辺に移動物体が存在する旨を検出した場合に、検知領域を変更する。これにより、車両運行上危険となる初期検知領域を優先的に画像処理することで、車両運行上危険となる移動物体のみを速やかに検出することができ、その後に移動物体全体の動向を捕捉することができる。
【０００８】
請求項４に記載した発明によれば、画像処理手段は、車両周辺に移動物体が存在する旨を検出すると、撮影手段により撮影された撮影画像を当該検出された移動物体に半透過の色付け処理を施して表示手段に表示させる。これにより、移動物体を強調して表示することができ、移動物体の存在をユーザに適切に知らせることができる。
【０００９】
請求項５に記載した発明によれば、画像処理手段は、撮影手段により撮影された撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、撮影手段により撮影された撮影画像を当該特徴点として特定された箇所にマーキング処理を施して表示手段に表示させる。これにより、移動物体の特徴点を強調して表示することができ、例えば移動物体が歩行者であれば、歩行者の頭部の位置をユーザに適切に知らせることができると共に、顔の向きから歩行者の進行方向をもユーザに適切に知らせることができる。
【００１０】
請求項６に記載した発明によれば、画像処理手段は、撮影手段により撮影された撮影画像を当該特徴点として特定された箇所と車両の一部とが同時に表示されるように拡大処理やスクロール処理して表示手段に表示させる。これにより、例えば移動物体が歩行者であれば、歩行者の頭部と車両との位置関係をユーザに適切に知らせることができ、歩行者の安全確保をユーザに促すことができる。
【００１１】
請求項７に記載した発明によれば、画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出すると、警告手段による警告動作を行わせる。これにより、例えば移動物体が車両に接近して移動物体のピクセル数が閾値以上になると、警告動作を行うことにより、移動物体が車両に接近した旨をユーザに適切に知らせることができ、例えば移動物体が歩行者であれば、歩行者の安全確保をユーザに促すことができる。
【００１２】
請求項８に記載した発明によれば、画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出すると、車両制御手段による車両制御動作を行わせる。これにより、例えば車両が走行して移動物体に接近して移動物体のピクセル数が閾値以上になると、ブレーキ制御動作を行うことにより、例えば移動物体が歩行者であれば、車両が歩行者に接触（衝突）してしまうことを未然に回避することができる。
【００１３】
請求項９に記載した発明によれば、車両が停車中にあるときに運転手が運転席に着座したこと、車両が停車中にあるときに運転席のシートベルトがロックされたこと、車両が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立した場合に起動する。これにより、車両が走行を開始しようとする（発進しようとする）以前に上記した処理を行うことで安全確認を行うことができ、車両が走行を開始しようとする場合の運転支援を適切に行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して説明する。まず、図１は、車両周辺監視システムの全体構成を機能ブロック図として示している。車両周辺監視システム１は、演算ユニット２、魚眼レンズカメラ３（本発明でいう撮影手段）、操作部４、表示装置５（本発明でいう表示手段）、音響装置６（本発明でいう警告手段）および車内ＬＡＮインターフェース部７を備えて構成されている。また、演算ユニット２は、カメラインターフェース部８および画像処理部９（本発明でいう画像処理手段）を備えて構成されている。
【００１５】
魚眼レンズカメラ３は、図２に示すように、車両１０の左側方を撮影するように車両１０の左側部（左側ドアミラーの脇）に取付けられている。この魚眼レンズカメラ３は、短焦点レンズの特徴でもある広範囲を一度に撮影可能であり、撮影された撮影画像においては歪曲収差である大きな樽型歪、つまり、レンズ中心の垂線から水平方向になす角度が大きくなる程に垂直方向からの歪みの程度が大きくなる特性を有している。つまり、魚眼レンズカメラ３により撮影された撮影画像（原画像）においては、図２に示すように、魚眼レンズカメラ３からの距離が遠ざかる程に（遠方になればなる程に）垂直方向からの歪みの程度が大きくなっている。
【００１６】
尚、図２に示す撮影画像は、一例として２ドアタイプの車両１０が路上に引かれている白線で仕切られた駐車エリアに駐車され、その駐車中の車両１０の左側を車両１０の前方から後方へ向かって歩行者が歩いており、車両１０の左側に建物が建っている態様を示す画像であり、「ａ」は路上に引かれている白線、「ｂ」は車両１０の左側ボデー、「ｂ１」は左側ドアの前端部、「ｂ２」は左側ドアの後端部、「ｂ３」は左側ドアのドアノブ、「ｂ４」は左側前輪、「ｂ５」は左側後輪、「ｃ」は歩行者、「ｄ」は建物に相当する。
【００１７】
カメラインターフェース部８は、魚眼レンズカメラ３から撮影画像が入力されると、その入力された撮影画像を画像処理部９へ出力する。操作部４は、本実施形態では、ユーザがシステムの音響動作やブレーキ制御動作を設定したり、表示系の撮影画像を拡大（ズーム）表示したりスクロール表示したりする場合に操作されるもので、ユーザにより操作されると、その操作内容を表す操作検出信号を演算ユニット２へ出力する。尚、この操作部４は、例えば機械的な幾つかのキー（ボタン）が規則的に配設されて構成されていても良いし、表示装置５に表示されるタッチキー（タッチボタン）から構成されていても良い。
【００１８】
画像処理部９は、操作部４から演算ユニット２へ操作検出信号が出力されると、その操作検出信号の内容を解析し、魚眼レンズカメラ３からカメラインターフェース部８を通じて入力された撮影画像を当該操作検出信号に基づいて画像処理する。ここでいう画像処理とは、検知領域から移動物体を検出したり、移動物体に半透過の色づけやマーキング処理したり、処理画像を拡大させる処理やスクロールさせる処理や必要に応じて回転させる処理である。
【００１９】
表示装置５は、演算ユニット２から表示信号が入力されると、その入力された表示信号に基づいて表示動作を行う。音響装置６は、演算ユニット２から音響信号が入力されると、その入力された音響信号に基づいて音響動作（本発明でいう警告動作）を行う。車内ＬＡＮインターフェース部７は、車内ＬＡＮ１１とのインターフェース機能を有して構成されており、車両１０のブレーキ制御動作（本発明でいう車両制御動作）を行うブレーキＥＣＵ１２（本発明でいう車両制御手段）に車内ＬＡＮ１１を通じて接続されている。この場合、ブレーキＥＣＵ１２は、演算ユニット２から車内ＬＡＮインターフェース部７を通じてブレーキ制御信号が入力されると、その入力されたブレーキ制御信号に基づいて車両１０のブレーキ制御動作を行う。尚、上記した構成において、演算ユニット２、操作部４、表示装置５および音響装置６などは、その一部が車両１０に搭載されているカーナビゲーション装置のもので代用されて構成されていても良い。
【００２０】
次に、上記した構成の作用について、図３ないし図６を参照して説明する。ここで、図３は、演算ユニット２が行う処理をフローチャートとして示している。また、ここでは、移動物体として歩行者を検出する場合を例にして説明する。
【００２１】
演算ユニット２は、国土交通省から平成１５年７月７日付けで公表された「道路運送車両の保安基準等の一部改正及び道路運送車両の保安基準の細目を定める告示の一部改正について」で定められている「直前側方運転視界基準」に基づいた領域（図４参照）を初期検知領域として設定している。参考までに「直前側方運転視界基準」の基準内容は、
（１）要件
自動車の前面及び左側面（左ハンドル車にあっては右側面）に接する高さ１ｍ、直径０．３ｍの円柱（６歳児を模したもの）を直接に又は鏡、画像等により間接に視認できること。
（２）適用除外
（ア）Ａピラー（窓枠のうち車両最前にあるもの）及び室外後写鏡による一定の大きさ以下の死角
（イ）ワイパー、ステアリングホイールにより死角となる部分
となっている。
【００２２】
さて、演算ユニット２は、車両１０が停車中にあるときに運転席のシートベルトがロックされたこと、車両１０が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立すると、以下の処理を行う。
【００２３】
すなわち、演算ユニット２は、車両１０が停車中にあるときに運転席のシートベルトがロックされたこと、車両１０が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立した後では、魚眼レンズカメラ３から撮影画像が入力されると（ステップＳ１）、その入力された撮影画像にあって初期検知領域として設定している車両運行上危険となる部分（図４中破線にて示した領域を含む部分であり、図５（ａ）中「Ｐ」にて示す部分）を画像処理部９により画像処理し（ステップＳ２）、初期検知領域として設定されている部分に移動物体が存在しているか否かを判定する（ステップＳ３）。
【００２４】
ここで、演算ユニット２は、初期検知領域として設定されている部分に移動物体が存在している旨を検出すると（ステップＳ３にて「ＹＥＳ」）、その検出された移動物体の周辺部分（図５（ｂ）中「Ｑ」にて示す部分）または垂線方向部分（図５（ｃ）中「Ｒ」にて示す部分）を検知領域として追加設定し、その追加設定された部分をも画像処理部９により画像処理する（ステップＳ４）。
【００２５】
そして、演算ユニット２は、表示信号を表示装置５へ出力し、撮影画像にあって検出された移動物体を含む部分を車両１０のボデーと共に表示装置５に表示させる（ステップＳ５）。この場合、演算ユニット２は、図６（ａ）に示すように、検出された移動物体（本実施形態では歩行者）に半透過の色付け処理（ハッチングにて示す）を施して表示させると共に、撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、図６（ｂ）に示すように、その特定された箇所（本実施形態では歩行者の頭部）にマーキング処理を施して表示させる。
【００２６】
また、演算ユニット２は、このように撮影画像のレンズ端付近の一部を切出して表示装置５に表示させる場合には、撮影画像が魚眼レンズカメラ３により撮影されたものであることから、その撮影画像の一部を単に切出して表示させるのではなく、この場合であれば、撮影画像の中心部からスクロールされた距離に応じた回転角度で時計回り方向へ回転させることにより、撮影画像における垂直方向からの歪みを緩和して表示させる。すなわち、演算ユニット２は、このような撮影画像の回転処理を実施しなければ、歩行者が垂直方向から傾いて歩いている違和感の有る撮影画像を表示させてしまうことになるが、本実施形態では、上記したような撮影画像の回転処理を実施することにより、歩行者が垂直方向から傾くことなく歩いている違和感の無い撮影画像を表示させることが可能となる。
【００２７】
次いで、演算ユニット２は、音響装置６による音響動作が有効に設定されているか否かを判定し（ステップＳ６）、音響装置６による音響動作が有効に設定されている旨を検出すると（ステップＳ６にて「ＹＥＳ」）、移動物体のピクセル数が閾値以上であること、つまり、移動物体と車両とが接近していることを条件として、音響信号を音響装置６へ出力し、音響装置６に音響動作を行わせ（ステップＳ７）、移動物体の存在をユーザに聴覚的に知らせる。
【００２８】
また、演算ユニット２は、車両１０が走行している場合には、ブレーキＥＣＵ１２による車両１０のブレーキ制御動作が有効に設定されているか否かを判定し（ステップＳ８）、ブレーキＥＣＵ１２による車両１０のブレーキ制御動作が有効に設定されている旨を検出すると（ステップＳ８にて「ＹＥＳ」）、この場合も、移動物体のピクセル数が閾値以上であること、つまり、移動物体と車両とが接近していることを条件として、ブレーキ制御信号を車内ＬＡＮインターフェース部７を通じてブレーキＥＣＵ１２へ出力し、ブレーキＥＣＵ１２によるブレーキ制御動作を行わせ（ステップＳ９）、移動物体と車両１０との接触（衝突）を未然に回避させる。
【００２９】
尚、演算ユニット２は、初期検知領域として設定されている部分に移動物体が存在している旨を検出すると（ステップＳ３にて「ＮＯ」）、撮影画像を画像処理することなく原画像を表示装置５に表示させる（ステップＳ１０）。ところで、以上は、移動物体として歩行者を検出した場合を例にして説明したものであるが、移動物体として犬や猫などの動物を検出した場合も、これと同様の処理を行う。
【００３０】
以上に説明したように本実施形態によれば、車両周辺監視システム１において、撮影画像にあって車両直近の部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に移動物体が存在するか否かを判定するように構成したので、撮影画像にあって車両直近の部分、つまり、運転に支障のある部分を画像処理して移動物体が存在するか否かを判定することができる一方で、運転に支障のない部分を画像処理して移動物体が存在するか否かを判定してしまうことを未然に回避することができ、歩行者を検出する場合の誤検出を適切に抑えることができ、車両周辺の歩行者を適切に検出することができる。
【００３１】
また、車両周辺に移動物体が存在する旨を検出すると、撮影画像にあって当該検出された移動物体の周辺部分または垂線方向部分をも検知領域として追加設定し、その検知領域として追加設定された部分をも画像処理するように構成したので、追加設定する以前の検知領域だけでは検出することができなかった移動物体の動きをも適切に検出することができる。
【００３２】
また、車両周辺に移動物体が存在する旨を検出すると、撮影画像を当該検出された移動物体に半透過の色付け処理を施して表示するように構成したので、移動物体を強調して表示することができ、移動物体の存在をユーザに適切に知らせることができる。また、撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、撮影画像を当該特徴点として特定された箇所にマーキング処理を施して表示するように構成したので、移動物体の特徴点を強調して表示することができ、例えば移動物体が歩行者であれば、歩行者の頭部の位置をユーザに適切に知らせることができると共に、顔の向きから歩行者の進行方向をもユーザに適切に知らせることができる。
【００３３】
さらに、撮影画像を特徴点として特定された箇所と車両１０のボデーとを同時に表示するように構成したので、例えば移動物体が歩行者であれば、歩行者の頭部の位置と車両との位置関係をユーザに適切に知らせることができ、歩行者の安全確保をユーザに促すことができる。
【００３４】
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
撮影手段として魚眼レンズカメラが採用される構成に限らず、撮影手段として広角レンズカメラが採用される構成であっても良い。
複数個の魚眼レンズカメラや広角レンズカメラが車両に搭載されている構成であっても良い。その場合、例えば車両の右後方に歩行者が検出された場合には、車室内の右後方に搭載されている音響装置に音響動作を行わせ、一方、車両の左後方に歩行者が検出された場合には、車室内の左後方に搭載されている音響装置に音響動作を行わせるように構成すれば、歩行者が検出された方向を音の到来方向によりユーザに知らせることができる。
検出された移動物体や当該移動物体の特徴点を例えば点滅などの他の表示形態により表示する構成であっても良い。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態を示す機能ブロック図
【図２】撮影画像（原画像）を概略的に示す図
【図３】フローチャート
【図４】直前側方運転視界基準に基づいた領域を概略的に示す図
【図５】撮影画像にあって検知領域を概略的に示す図
【図６】撮影画像の一部が切出されて表示される態様を概略的に示す図
【符号の説明】
【００３６】
図面中、１は車両周辺監視システム、３は魚眼レンズカメラ（撮影手段）、５は表示装置（表示手段）、６は音響装置（警告手段）、９は画像処理部（画像処理手段）、１２はブレーキＥＣＵ（車両制御手段）である。
【技術分野】
【０００１】
本発明は、車両周辺を撮影して撮影画像に基づいて車両付近に移動物体が存在するか否かを判定する車両周辺監視システムに関する。
【背景技術】
【０００２】
従来技術として、カメラにより撮影された撮影画像の全画面にわたって水平方向および垂直方向の濃度分布の差分を算出し、広域の監視エリアにて移動物体が存在するか否かを判定するものが供されている（例えば特許文献１参照）。
【特許文献１】特公平７−３１２４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した特許文献１に記載されているものを車両周辺の例えば歩行者を検出する方法に適用すると、車両周辺を監視する車両周辺監視システムではカメラを車両に搭載せざるを得ないことから、必然的に低い位置にカメラを設置せざるを得ず、そのため、撮影画像に地平線方向が映り込んでしまい、運転には全く支障のない位置に存在する移動物体をも検出してしまうことになり、歩行者の往来が頻繁な場所では誤検出が多発してしまうという問題がある。
【０００４】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、例えば歩行者などの移動物体を検出する場合の誤検出を適切に抑えることができ、車両周辺の移動物体を適切に検出することができる車両周辺監視システムを提供することにある。
【課題を解決するための手段】
【０００５】
請求項１に記載した発明によれば、車両周辺が撮影手段により撮影されると、画像処理手段は、その撮影画像にあっていずれかの部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に移動物体が存在するか否かを判定する。このとき、画像処理手段は、検知領域を切り替えながら車両付近に移動物体が存在するか否かを判定する。これにより、撮影画像にあって車両直近を検知領域として設定することにより、撮影画像にあって車両直近の部分、つまり、運転に支障のある部分を画像処理して移動物体が存在するか否かを判定することができる一方で、運転に支障のない部分を画像処理して移動物体が存在するか否かを判定してしまうことを未然に回避することができるので、例えば歩行者を検出する場合の誤検出を適切に抑えることができ、車両周辺の歩行者を適切に検出することができる。
【０００６】
請求項２に記載した発明によれば、画像処理手段は、車両周辺に移動物体が存在する旨を検出すると、撮影手段により撮影された撮影画像にあって当該検出された移動物体の周辺部分または垂線方向部分をも検知領域として追加設定し、その検知領域として追加設定された部分をも画像処理する。これにより、移動物体の周辺部分または垂線方向部分を画像処理することにより、検出された移動物体を適切に検出することができ、例えば移動物体（人物）が立ち止まり振り向いた場合なども、追加設定する以前の検知領域だけでは検出できなかった上半身だけの動きをも適切に検出することができる。
【０００７】
請求項３に記載した発明によれば、画像処理手段は、予め初期検知領域として設定された部分を画像処理して車両周辺に移動物体が存在する旨を検出した場合に、検知領域を変更する。これにより、車両運行上危険となる初期検知領域を優先的に画像処理することで、車両運行上危険となる移動物体のみを速やかに検出することができ、その後に移動物体全体の動向を捕捉することができる。
【０００８】
請求項４に記載した発明によれば、画像処理手段は、車両周辺に移動物体が存在する旨を検出すると、撮影手段により撮影された撮影画像を当該検出された移動物体に半透過の色付け処理を施して表示手段に表示させる。これにより、移動物体を強調して表示することができ、移動物体の存在をユーザに適切に知らせることができる。
【０００９】
請求項５に記載した発明によれば、画像処理手段は、撮影手段により撮影された撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、撮影手段により撮影された撮影画像を当該特徴点として特定された箇所にマーキング処理を施して表示手段に表示させる。これにより、移動物体の特徴点を強調して表示することができ、例えば移動物体が歩行者であれば、歩行者の頭部の位置をユーザに適切に知らせることができると共に、顔の向きから歩行者の進行方向をもユーザに適切に知らせることができる。
【００１０】
請求項６に記載した発明によれば、画像処理手段は、撮影手段により撮影された撮影画像を当該特徴点として特定された箇所と車両の一部とが同時に表示されるように拡大処理やスクロール処理して表示手段に表示させる。これにより、例えば移動物体が歩行者であれば、歩行者の頭部と車両との位置関係をユーザに適切に知らせることができ、歩行者の安全確保をユーザに促すことができる。
【００１１】
請求項７に記載した発明によれば、画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出すると、警告手段による警告動作を行わせる。これにより、例えば移動物体が車両に接近して移動物体のピクセル数が閾値以上になると、警告動作を行うことにより、移動物体が車両に接近した旨をユーザに適切に知らせることができ、例えば移動物体が歩行者であれば、歩行者の安全確保をユーザに促すことができる。
【００１２】
請求項８に記載した発明によれば、画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出すると、車両制御手段による車両制御動作を行わせる。これにより、例えば車両が走行して移動物体に接近して移動物体のピクセル数が閾値以上になると、ブレーキ制御動作を行うことにより、例えば移動物体が歩行者であれば、車両が歩行者に接触（衝突）してしまうことを未然に回避することができる。
【００１３】
請求項９に記載した発明によれば、車両が停車中にあるときに運転手が運転席に着座したこと、車両が停車中にあるときに運転席のシートベルトがロックされたこと、車両が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立した場合に起動する。これにより、車両が走行を開始しようとする（発進しようとする）以前に上記した処理を行うことで安全確認を行うことができ、車両が走行を開始しようとする場合の運転支援を適切に行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して説明する。まず、図１は、車両周辺監視システムの全体構成を機能ブロック図として示している。車両周辺監視システム１は、演算ユニット２、魚眼レンズカメラ３（本発明でいう撮影手段）、操作部４、表示装置５（本発明でいう表示手段）、音響装置６（本発明でいう警告手段）および車内ＬＡＮインターフェース部７を備えて構成されている。また、演算ユニット２は、カメラインターフェース部８および画像処理部９（本発明でいう画像処理手段）を備えて構成されている。
【００１５】
魚眼レンズカメラ３は、図２に示すように、車両１０の左側方を撮影するように車両１０の左側部（左側ドアミラーの脇）に取付けられている。この魚眼レンズカメラ３は、短焦点レンズの特徴でもある広範囲を一度に撮影可能であり、撮影された撮影画像においては歪曲収差である大きな樽型歪、つまり、レンズ中心の垂線から水平方向になす角度が大きくなる程に垂直方向からの歪みの程度が大きくなる特性を有している。つまり、魚眼レンズカメラ３により撮影された撮影画像（原画像）においては、図２に示すように、魚眼レンズカメラ３からの距離が遠ざかる程に（遠方になればなる程に）垂直方向からの歪みの程度が大きくなっている。
【００１６】
尚、図２に示す撮影画像は、一例として２ドアタイプの車両１０が路上に引かれている白線で仕切られた駐車エリアに駐車され、その駐車中の車両１０の左側を車両１０の前方から後方へ向かって歩行者が歩いており、車両１０の左側に建物が建っている態様を示す画像であり、「ａ」は路上に引かれている白線、「ｂ」は車両１０の左側ボデー、「ｂ１」は左側ドアの前端部、「ｂ２」は左側ドアの後端部、「ｂ３」は左側ドアのドアノブ、「ｂ４」は左側前輪、「ｂ５」は左側後輪、「ｃ」は歩行者、「ｄ」は建物に相当する。
【００１７】
カメラインターフェース部８は、魚眼レンズカメラ３から撮影画像が入力されると、その入力された撮影画像を画像処理部９へ出力する。操作部４は、本実施形態では、ユーザがシステムの音響動作やブレーキ制御動作を設定したり、表示系の撮影画像を拡大（ズーム）表示したりスクロール表示したりする場合に操作されるもので、ユーザにより操作されると、その操作内容を表す操作検出信号を演算ユニット２へ出力する。尚、この操作部４は、例えば機械的な幾つかのキー（ボタン）が規則的に配設されて構成されていても良いし、表示装置５に表示されるタッチキー（タッチボタン）から構成されていても良い。
【００１８】
画像処理部９は、操作部４から演算ユニット２へ操作検出信号が出力されると、その操作検出信号の内容を解析し、魚眼レンズカメラ３からカメラインターフェース部８を通じて入力された撮影画像を当該操作検出信号に基づいて画像処理する。ここでいう画像処理とは、検知領域から移動物体を検出したり、移動物体に半透過の色づけやマーキング処理したり、処理画像を拡大させる処理やスクロールさせる処理や必要に応じて回転させる処理である。
【００１９】
表示装置５は、演算ユニット２から表示信号が入力されると、その入力された表示信号に基づいて表示動作を行う。音響装置６は、演算ユニット２から音響信号が入力されると、その入力された音響信号に基づいて音響動作（本発明でいう警告動作）を行う。車内ＬＡＮインターフェース部７は、車内ＬＡＮ１１とのインターフェース機能を有して構成されており、車両１０のブレーキ制御動作（本発明でいう車両制御動作）を行うブレーキＥＣＵ１２（本発明でいう車両制御手段）に車内ＬＡＮ１１を通じて接続されている。この場合、ブレーキＥＣＵ１２は、演算ユニット２から車内ＬＡＮインターフェース部７を通じてブレーキ制御信号が入力されると、その入力されたブレーキ制御信号に基づいて車両１０のブレーキ制御動作を行う。尚、上記した構成において、演算ユニット２、操作部４、表示装置５および音響装置６などは、その一部が車両１０に搭載されているカーナビゲーション装置のもので代用されて構成されていても良い。
【００２０】
次に、上記した構成の作用について、図３ないし図６を参照して説明する。ここで、図３は、演算ユニット２が行う処理をフローチャートとして示している。また、ここでは、移動物体として歩行者を検出する場合を例にして説明する。
【００２１】
演算ユニット２は、国土交通省から平成１５年７月７日付けで公表された「道路運送車両の保安基準等の一部改正及び道路運送車両の保安基準の細目を定める告示の一部改正について」で定められている「直前側方運転視界基準」に基づいた領域（図４参照）を初期検知領域として設定している。参考までに「直前側方運転視界基準」の基準内容は、
（１）要件
自動車の前面及び左側面（左ハンドル車にあっては右側面）に接する高さ１ｍ、直径０．３ｍの円柱（６歳児を模したもの）を直接に又は鏡、画像等により間接に視認できること。
（２）適用除外
（ア）Ａピラー（窓枠のうち車両最前にあるもの）及び室外後写鏡による一定の大きさ以下の死角
（イ）ワイパー、ステアリングホイールにより死角となる部分
となっている。
【００２２】
さて、演算ユニット２は、車両１０が停車中にあるときに運転席のシートベルトがロックされたこと、車両１０が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立すると、以下の処理を行う。
【００２３】
すなわち、演算ユニット２は、車両１０が停車中にあるときに運転席のシートベルトがロックされたこと、車両１０が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立した後では、魚眼レンズカメラ３から撮影画像が入力されると（ステップＳ１）、その入力された撮影画像にあって初期検知領域として設定している車両運行上危険となる部分（図４中破線にて示した領域を含む部分であり、図５（ａ）中「Ｐ」にて示す部分）を画像処理部９により画像処理し（ステップＳ２）、初期検知領域として設定されている部分に移動物体が存在しているか否かを判定する（ステップＳ３）。
【００２４】
ここで、演算ユニット２は、初期検知領域として設定されている部分に移動物体が存在している旨を検出すると（ステップＳ３にて「ＹＥＳ」）、その検出された移動物体の周辺部分（図５（ｂ）中「Ｑ」にて示す部分）または垂線方向部分（図５（ｃ）中「Ｒ」にて示す部分）を検知領域として追加設定し、その追加設定された部分をも画像処理部９により画像処理する（ステップＳ４）。
【００２５】
そして、演算ユニット２は、表示信号を表示装置５へ出力し、撮影画像にあって検出された移動物体を含む部分を車両１０のボデーと共に表示装置５に表示させる（ステップＳ５）。この場合、演算ユニット２は、図６（ａ）に示すように、検出された移動物体（本実施形態では歩行者）に半透過の色付け処理（ハッチングにて示す）を施して表示させると共に、撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、図６（ｂ）に示すように、その特定された箇所（本実施形態では歩行者の頭部）にマーキング処理を施して表示させる。
【００２６】
また、演算ユニット２は、このように撮影画像のレンズ端付近の一部を切出して表示装置５に表示させる場合には、撮影画像が魚眼レンズカメラ３により撮影されたものであることから、その撮影画像の一部を単に切出して表示させるのではなく、この場合であれば、撮影画像の中心部からスクロールされた距離に応じた回転角度で時計回り方向へ回転させることにより、撮影画像における垂直方向からの歪みを緩和して表示させる。すなわち、演算ユニット２は、このような撮影画像の回転処理を実施しなければ、歩行者が垂直方向から傾いて歩いている違和感の有る撮影画像を表示させてしまうことになるが、本実施形態では、上記したような撮影画像の回転処理を実施することにより、歩行者が垂直方向から傾くことなく歩いている違和感の無い撮影画像を表示させることが可能となる。
【００２７】
次いで、演算ユニット２は、音響装置６による音響動作が有効に設定されているか否かを判定し（ステップＳ６）、音響装置６による音響動作が有効に設定されている旨を検出すると（ステップＳ６にて「ＹＥＳ」）、移動物体のピクセル数が閾値以上であること、つまり、移動物体と車両とが接近していることを条件として、音響信号を音響装置６へ出力し、音響装置６に音響動作を行わせ（ステップＳ７）、移動物体の存在をユーザに聴覚的に知らせる。
【００２８】
また、演算ユニット２は、車両１０が走行している場合には、ブレーキＥＣＵ１２による車両１０のブレーキ制御動作が有効に設定されているか否かを判定し（ステップＳ８）、ブレーキＥＣＵ１２による車両１０のブレーキ制御動作が有効に設定されている旨を検出すると（ステップＳ８にて「ＹＥＳ」）、この場合も、移動物体のピクセル数が閾値以上であること、つまり、移動物体と車両とが接近していることを条件として、ブレーキ制御信号を車内ＬＡＮインターフェース部７を通じてブレーキＥＣＵ１２へ出力し、ブレーキＥＣＵ１２によるブレーキ制御動作を行わせ（ステップＳ９）、移動物体と車両１０との接触（衝突）を未然に回避させる。
【００２９】
尚、演算ユニット２は、初期検知領域として設定されている部分に移動物体が存在している旨を検出すると（ステップＳ３にて「ＮＯ」）、撮影画像を画像処理することなく原画像を表示装置５に表示させる（ステップＳ１０）。ところで、以上は、移動物体として歩行者を検出した場合を例にして説明したものであるが、移動物体として犬や猫などの動物を検出した場合も、これと同様の処理を行う。
【００３０】
以上に説明したように本実施形態によれば、車両周辺監視システム１において、撮影画像にあって車両直近の部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に移動物体が存在するか否かを判定するように構成したので、撮影画像にあって車両直近の部分、つまり、運転に支障のある部分を画像処理して移動物体が存在するか否かを判定することができる一方で、運転に支障のない部分を画像処理して移動物体が存在するか否かを判定してしまうことを未然に回避することができ、歩行者を検出する場合の誤検出を適切に抑えることができ、車両周辺の歩行者を適切に検出することができる。
【００３１】
また、車両周辺に移動物体が存在する旨を検出すると、撮影画像にあって当該検出された移動物体の周辺部分または垂線方向部分をも検知領域として追加設定し、その検知領域として追加設定された部分をも画像処理するように構成したので、追加設定する以前の検知領域だけでは検出することができなかった移動物体の動きをも適切に検出することができる。
【００３２】
また、車両周辺に移動物体が存在する旨を検出すると、撮影画像を当該検出された移動物体に半透過の色付け処理を施して表示するように構成したので、移動物体を強調して表示することができ、移動物体の存在をユーザに適切に知らせることができる。また、撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、撮影画像を当該特徴点として特定された箇所にマーキング処理を施して表示するように構成したので、移動物体の特徴点を強調して表示することができ、例えば移動物体が歩行者であれば、歩行者の頭部の位置をユーザに適切に知らせることができると共に、顔の向きから歩行者の進行方向をもユーザに適切に知らせることができる。
【００３３】
さらに、撮影画像を特徴点として特定された箇所と車両１０のボデーとを同時に表示するように構成したので、例えば移動物体が歩行者であれば、歩行者の頭部の位置と車両との位置関係をユーザに適切に知らせることができ、歩行者の安全確保をユーザに促すことができる。
【００３４】
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
撮影手段として魚眼レンズカメラが採用される構成に限らず、撮影手段として広角レンズカメラが採用される構成であっても良い。
複数個の魚眼レンズカメラや広角レンズカメラが車両に搭載されている構成であっても良い。その場合、例えば車両の右後方に歩行者が検出された場合には、車室内の右後方に搭載されている音響装置に音響動作を行わせ、一方、車両の左後方に歩行者が検出された場合には、車室内の左後方に搭載されている音響装置に音響動作を行わせるように構成すれば、歩行者が検出された方向を音の到来方向によりユーザに知らせることができる。
検出された移動物体や当該移動物体の特徴点を例えば点滅などの他の表示形態により表示する構成であっても良い。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態を示す機能ブロック図
【図２】撮影画像（原画像）を概略的に示す図
【図３】フローチャート
【図４】直前側方運転視界基準に基づいた領域を概略的に示す図
【図５】撮影画像にあって検知領域を概略的に示す図
【図６】撮影画像の一部が切出されて表示される態様を概略的に示す図
【符号の説明】
【００３６】
図面中、１は車両周辺監視システム、３は魚眼レンズカメラ（撮影手段）、５は表示装置（表示手段）、６は音響装置（警告手段）、９は画像処理部（画像処理手段）、１２はブレーキＥＣＵ（車両制御手段）である。
【特許請求の範囲】
【請求項１】
車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像にあっていずれかの部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に移動物体が存在するか否かを判定する画像処理手段とを備え、
前記画像処理手段は、検知領域を切り替えながら車両付近に移動物体が存在するか否かを判定することを特徴とする車両周辺監視システム。
【請求項２】
請求項１に記載した車両周辺監視システムにおいて、
前記画像処理手段は、車両周辺に移動物体が存在する旨を検出した場合には、前記撮影手段により撮影された撮影画像にあって当該検出された移動物体の周辺部分または垂線方向部分をも検知領域として追加設定し、その検知領域として追加設定された部分をも画像処理することを特徴とする請求項１記載の車両周辺監視システム。
【請求項３】
請求項１または２に記載した車両周辺監視システムにおいて、
前記画像処理手段は、予め初期検知領域として設定された部分を画像処理して車両周辺に移動物体が存在する旨を検出した場合に、検知領域を変更することを特徴とする車両周辺監視システム。
【請求項４】
請求項１ないし３のいずれかに記載した車両周辺監視システムにおいて、
前記撮影手段により撮影された撮影画像を表示する表示手段を備え、
前記画像処理手段は、車両周辺に移動物体が存在する旨を検出した場合には、前記撮影手段により撮影された撮影画像を当該検出された移動物体に半透過の色付け処理を施して前記表示手段に表示させることを特徴とする車両周辺監視システム。
【請求項５】
請求項４に記載した車両周辺監視システムにおいて、
前記画像処理手段は、前記撮影手段により撮影された撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、前記撮影手段により撮影された撮影画像を当該特徴点として特定された箇所にマーキング処理を施して前記表示手段に表示させることを特徴とする車両周辺監視システム。
【請求項６】
請求項５に記載した車両周辺監視システムにおいて、
前記画像処理手段は、前記撮影手段により撮影された撮影画像を当該特徴点として特定された箇所と車両の一部とが同時に表示されるように拡大処理やスクロール処理して前記表示手段に表示させることを特徴とする車両周辺監視システム。
【請求項７】
請求項１ないし６のいずれかに記載した車両周辺監視システムにおいて、
警告動作を行う警告手段を備え、
前記画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出した場合には、前記警告手段による警告動作を行わせることを特徴とする車両周辺監視システム。
【請求項８】
請求項１ないし７のいずれかに記載した車両周辺監視システムにおいて、
車両制御を行う車両制御手段を備え、
前記画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出した場合には、前記車両制御手段による車両制御動作を行わせることを特徴とする車両周辺監視システム。
【請求項９】
請求項１ないし８のいずれかに記載した車両周辺監視システムにおいて、
車両が停車中にあるときに運転手が運転席に着座したこと、車両が停車中にあるときに運転席のシートベルトがロックされたこと、車両が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立した場合に起動することを特徴とする車両周辺監視システム。
【請求項１】
車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像にあっていずれかの部分を検知領域として設定し、その検知領域として設定された部分を画像処理して車両付近に移動物体が存在するか否かを判定する画像処理手段とを備え、
前記画像処理手段は、検知領域を切り替えながら車両付近に移動物体が存在するか否かを判定することを特徴とする車両周辺監視システム。
【請求項２】
請求項１に記載した車両周辺監視システムにおいて、
前記画像処理手段は、車両周辺に移動物体が存在する旨を検出した場合には、前記撮影手段により撮影された撮影画像にあって当該検出された移動物体の周辺部分または垂線方向部分をも検知領域として追加設定し、その検知領域として追加設定された部分をも画像処理することを特徴とする請求項１記載の車両周辺監視システム。
【請求項３】
請求項１または２に記載した車両周辺監視システムにおいて、
前記画像処理手段は、予め初期検知領域として設定された部分を画像処理して車両周辺に移動物体が存在する旨を検出した場合に、検知領域を変更することを特徴とする車両周辺監視システム。
【請求項４】
請求項１ないし３のいずれかに記載した車両周辺監視システムにおいて、
前記撮影手段により撮影された撮影画像を表示する表示手段を備え、
前記画像処理手段は、車両周辺に移動物体が存在する旨を検出した場合には、前記撮影手段により撮影された撮影画像を当該検出された移動物体に半透過の色付け処理を施して前記表示手段に表示させることを特徴とする車両周辺監視システム。
【請求項５】
請求項４に記載した車両周辺監視システムにおいて、
前記画像処理手段は、前記撮影手段により撮影された撮影画像の上側から画像処理し、閾値以上となる色付け処理されたピクセルが集まっている箇所を移動物体の特徴点として特定し、前記撮影手段により撮影された撮影画像を当該特徴点として特定された箇所にマーキング処理を施して前記表示手段に表示させることを特徴とする車両周辺監視システム。
【請求項６】
請求項５に記載した車両周辺監視システムにおいて、
前記画像処理手段は、前記撮影手段により撮影された撮影画像を当該特徴点として特定された箇所と車両の一部とが同時に表示されるように拡大処理やスクロール処理して前記表示手段に表示させることを特徴とする車両周辺監視システム。
【請求項７】
請求項１ないし６のいずれかに記載した車両周辺監視システムにおいて、
警告動作を行う警告手段を備え、
前記画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出した場合には、前記警告手段による警告動作を行わせることを特徴とする車両周辺監視システム。
【請求項８】
請求項１ないし７のいずれかに記載した車両周辺監視システムにおいて、
車両制御を行う車両制御手段を備え、
前記画像処理手段は、移動物体のピクセル数が閾値以上である旨を検出した場合には、前記車両制御手段による車両制御動作を行わせることを特徴とする車両周辺監視システム。
【請求項９】
請求項１ないし８のいずれかに記載した車両周辺監視システムにおいて、
車両が停車中にあるときに運転手が運転席に着座したこと、車両が停車中にあるときに運転席のシートベルトがロックされたこと、車両が停車中にあるときにパーキングブレーキ以外のブレーキが動作されたこと、のうち少なくともいずれか１つの条件が成立した場合に起動することを特徴とする車両周辺監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−３９６４１（Ｐ２００６−３９６４１Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１４３６４（Ｐ２００４−２１４３６４）
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]