車両用周辺監視装置
【課題】本発明は、運転者への不要な障害物検出通知を抑制することを課題とする。
【解決手段】車外の画像を撮像する撮像手段と、車両の運転者の視線の方向を検出する視線検出手段と、車両のハンドルの操舵角方向を検出する操舵角検出手段と、前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、を備えている。
【解決手段】車外の画像を撮像する撮像手段と、車両の運転者の視線の方向を検出する視線検出手段と、車両のハンドルの操舵角方向を検出する操舵角検出手段と、前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の画像に基づいて車両の周辺を監視する周辺監視装置に関する。
【背景技術】
【０００２】
特許文献１には、車両の左右側方の視界を含む画像をカメラにより取得するとともに、車両の右側方の視界を操舵ハンドル軸より左にある左画面に表示し、車両の左側方の視界を操舵ハンドル軸より右にある右画面に表示する技術が開示されている。また、特許文献１には、車両の走行速度が時速６０ｋｍ以下に変化したときに、上記のような左又は右画面への視界表示を実行する技術も開示されている。
【０００３】
特許文献２には、超広角レンズ及びイメージセンサを有する車載カメラにおいて、イメージセンサが撮像した歪画像の内、注目領域に相当する部分を切り出し、切り出された部分の画像を正画像に補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９６８４４号公報
【特許文献２】特開２００９−８１４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、車両周辺の画像に基づいて車両の周辺を監視する周辺監視装置が開発されている。このような車両用周辺監視装置においては、撮像された車外の画像に基づいて障害物を検出するとともに、障害物が検出されたときにはその存在を車両の運転者に通知する。しかしながら、車両の運転者が自身の視覚によっても該障害物を認識している場合、このような周辺監視装置よる障害物検出通知は本来不要であって、該通知がかえって運転者に煩わしさを感じさせる虞がある。
【０００６】
本発明は、上記のような問題に鑑みてなされたものであって、車両周辺の障害物を検出した際にその存在を運転者に通知する車両用周辺監視装置において、運転者への不要な通知を抑制することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、車外の画像に基づいて障害物が検出されたときにおいて、該障害物が運転者の視線の方向と異なる方向に存在し、且つ運転者の視線の方向とハンドルの操舵角とが一致する場合にのみ、該障害物の存在を車両の運転者に通知するものである。
【０００８】
より詳しくは、本発明に係る車両用周辺監視装置は、
車外の画像を撮像する撮像手段と、
車両の運転者の視線の方向を検出する視線検出手段と、
車両のハンドルの操舵角方向を検出する操舵角検出手段と、
前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、
前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、
を備えたことを特徴とする。
【０００９】
ここで、所定範囲は、運転者の視界を超えた範囲又は運転者の視界の境界近傍を含んだ範囲として設定される。運転者の視線の方向とハンドルの操舵角方向とが一致しているときは、運転者の視線の方向が変化する可能性が低い。従って、このときに、運転者の視線の方向から外れた所定範囲内に障害物が存在していると、該障害物を運転者が自身の視覚によって認識する可能性は低い。
【００１０】
本発明では、このような場合にのみ障害物の存在を運転者に通知する。換言すれば、運転者が自身の視覚によって障害物を認識する可能性が高いとき、即ち運転者への通知が不要なときは、運転者への障害物検出通知を行なわない。
【００１１】
本発明によれば、運転者への不要な障害物検出通知を抑制することができる。その結果、不要な障害物検出通知に起因して運転者の車両運転への集中力が低下することを抑制することができる。
【００１２】
尚、本発明における「運転者の視線の方向とハンドルの操舵角方向とが一致する場合」とは、両方向が完全に一致する場合のみならず、両方向のずれが所定角度以内である場合を含んでもよい。
【００１３】
本発明に係る車両用周辺監視装置は、車両の速度を検出する車速検出手段をさらに備えてもよい。この場合、通知手段は、上記のような条件が成立し、更に車両の速度が所定速度以下の場合に運転者への障害物検出通知を実行してもよい。
【００１４】
ここで、所定速度とは、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高いと判断できる閾値である。車両の速度が該所定速度以下の場合は、所定範囲内に存在する障害物を運転者が自身の視覚によって認識する可能性がより低くなる。
【００１５】
つまり、上記によれば、運転者が自身の視覚によって障害物を認識する可能性がより低いときにのみ障害物検出通知が実行される。これにより、運転者への不要な通知をより抑制することができる。
【００１６】
本発明に係る車両用周辺監視装置は、視線検出手段によって検出された運転者の視線の方向が一定である時間が所定時間以上継続しているか否かを判別する判別手段をさらに備えてもよい。この場合、通知手段は、上記のような条件が成立し、更に判別手段によって肯定判定された場合に運転者への障害物検出通知を実行してもよい。
【００１７】
運転者の視線の方向が一定である時間が長く継続している場合、所定範囲内に存在する障害物を運転者が自身の視覚によって認識する可能性は低くなる。ここで、所定時間とは、所定範囲内に存在する障害物を運転者が自身の視覚によって認識することが困難と判断できる閾値である。
【００１８】
上記の場合も、運転者が障害物を自身の視覚によって認識する可能性がより低いときにのみ障害物検出通知が実行されることになる。これにより、運転者への不要な通知をより抑制することができる。
【発明の効果】
【００１９】
本発明によれば、車両用周辺監視装置よる運転者への不要な障害物検出通知を抑制することができる。
【図面の簡単な説明】
【００２０】
【図１】実施例１に係る車両用周辺監視装置の概略構成を示すブロック図である。
【図２】実施例１に係る歪み補正処理について説明するための図である。図（ａ）は入力画像を示しており、図２（ｂ）は入力画像の中心点を画像処理の中心位置として歪み補正処理を実行した画像を示しており、図２（ｃ）は、実施例１に係る歪み補正処理によって入力画像の歪みを補正した画像を示している。
【図３】実施例１に係る切り出し画像の歪み補正処理の具体例のイメージを示す図である。
【図４】実施例１に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。
【図５】実施例２に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。
【図６】実施例３に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００２２】
＜実施例１＞
本発明に係る車両用周辺監視装置の実施例について図１〜４に基づいて説明する。
【００２３】
（概略構成）
図１は、本実施例に係る車両用周辺監視装置の概略構成を示すブロック図である。本実施例においては、周辺監視装置１が車両１００に搭載されている。周辺監視装置１は、広角カメラ２、視線検知センサ３、車速センサ４、操舵角センサ５、通知装置６及び電子制御装置（ＥＣＵ）１０を備えている。
【００２４】
広角カメラ２は車両１００の前側に設置されている。広角カメラ２は、魚眼レンズ及びイメージセンサを有しており、車両１００の正面を中心に該車両１００の前方の画像を広角で撮像する。広角カメラ２によって撮像された画像はＥＣＵ１０に入力される。ＥＣＵ１０は、入力された画像について画像処理を行い、他車両や歩行者等の障害物の検出を実行する。
【００２５】
視線検知センサ３は、車両１００の車内に設置されており、該車両１００の運転者の視線の方向を検知するセンサである。視線検知センサ３によって検知された運転者の視線の方向についての情報はＥＣＵ１０に入力される。
【００２６】
車速センサ４は、車両１００の速度を検知するセンサである。車速センサ４によって検知された車速情報はＥＣＵ１０に入力される。
【００２７】
操舵角センサ５は、車両１００のハンドルの操舵角方向を検知するセンサである。操舵角センサ５によって検知された車両１００のハンドルの操舵角方向についての情報はＥＣＵ１０に入力される。
【００２８】
通知装置６は、車両１００の運転者に車外に障害物が存在することを通知する装置である。通知装置６は、ＥＣＵ１０から通知ＯＮの信号が入力されると該通知を実行する。通知装置６は、例えば、車両１００の車内に設けられたモニタに障害物の画像を出力することで該通知を実行してもよく、また音声や警報ランプ等によって該通知を実行してもよい
。以下、通知装置６によって実行される通知を障害物検知通知と称する場合もある。
【００２９】
尚、本実施例においては、広角カメラ２が本発明に係る撮像手段に相当する。また、視線検知センサ３が本発明に係る視線検出手段に相当する。また、操舵角センサ５が本発明に係る操舵角検出手段に相当する。
【００３０】
（歪み補正処理）
次に、本実施例に係るＥＣＵでの画像処理の詳細について図２及び３に基づいて説明する。図２（ａ）は、広角カメラ２によって撮像されＥＣＵ１０に入力された画像（以下、入力画像と称する）を示す図である。図２（ｂ）は、入力画像の中心点を画像処理の中心位置として該入力画像の歪みを補正した画像を示す図である。図２（ｃ）は、本実施例に係る画像処理によって入力画像の歪みを補正した画像を示す図である。図２に示す画像中のＰは障害物の一例たる歩行者を表している。
【００３１】
本実施例に係る入力画像は、魚眼レンズを有する広角カメラ２によって撮像された画像である。そのため、該入力画像には、図２（ａ）に示すように、歪みが生じている。このような歪みが生じた画像に基づいて障害物検出処理を実行した場合、例えば、図２（ａ）に示すように入力画像の左上隅近傍に歩行者Ｐが存在するようなときは、該歩行者Ｐを検出することが困難となる場合がある。
【００３２】
このような入力画像から障害物を高精度で検出するためには、該入力画像の歪みを補正するための画像処理（以下、歪み補正処理と称する）を行なう必要がある。しかしながら、入力画像の中心点を画像処理の中止位置として歪み補正処理を実行すると、図２（ｂ）に示すように、画像中心から離れた位置の歪みがより大きくなる。従って、歪み補正処理後の画像に基づいて障害物検出処理を実行したとしても、歩行者Ｐを検出することが困難な場合がある。
【００３３】
そこで、本実施例では以下のような歪み補正処理を実行する。図２（ａ）における実線矢印は、車両１００の運転者の視線の方向を示している。つまり、図２においては、運転者の視線の方向は車両１００に対して右斜め前方となっている。ここで、運転者の視線の方向に障害物が存在している場合、該障害物は運転者自身の視覚によって認識される可能性が高い。一方、運転者の視界を超えた位置又は運転者の視界の境界近傍に障害物が存在している場合、該障害物は運転者自身の視覚によって認識される可能性が低くなる。
【００３４】
そのため、周辺監視装置１においては、運転者の視線の方向とは異なる方向に存在し運転者自身の視覚によって認識され難い障害物を検出するのが重要である。そこで、本実施例では、入力画像における運転者の視線の方向とは異なる方向であって運転者自身の視覚によって認識され難い位置に、画像を切り出すための切り出し中心を設定する。さらに、入力画像中において該切り出し中心から所定の切り出し範囲内に属する画像（以下、切り出し画像と称する）を切り出す。そして、該切り出し画像について、切り出し中心を中心位置として歪み補正処理を実行する。
【００３５】
このような歪み補正処理によれば、運転者自身の視覚によって認識され難い位置の画像の歪みを補正することができる。従って、該歪み補正処理後の画像に基づいて障害物検出処理を実行することで、運転者の視線の方向とは異なる方向に存在し運転者自身の視覚によって認識され難い障害物を高精度で検出することが可能となる。
【００３６】
図２（ａ）の場合、運転者の視線の方向は画像の右方向に向かっている。この場合、該視線の方向に対して左回りに所定角度Ｃｅずれた方向（図２（ａ）における破線矢印で示す方向）を切り出し中心の設定方向とする。そして、該設定方向上における広角カメラ２
から所定距離Ｌｅに相当する位置を切り出し中心として設定する。
【００３７】
尚、所定角度Ｃｅは運転者の視界角度に基づいて予め設定された値である。つまり、所定角度Ｃｅは、視線の方向から、該視線の方向を中心した視界の境界又はその近傍までの角度として設定される。例えば、人間の視界角度は８０〜１００°であるため、その平均値（９０°）に基づき所定角度Ｃｅを４５°としてもよい。また、所定距離Ｌｅを、障害物を検出することが必要な車両１００からの距離として設定してもよい。このような所定角度Ｃｅ及び所定距離Ｌｅは、実験等に基づいて予め定めることができる。尚、視界角度には個人差があるため、運転者毎の視界角度を学習し、該学習結果に応じて所定角度Ｃｅを変更してもよい。
【００３８】
また、図２（ａ）の場合、運転者の視線の方向は画像の右方向、即ち車両１００の真正面に向かって延びる軸に対して右方向に向かっているため、該視線の方向に対して左回りに所定角度Ｃｅずれた方向を切り出し中心の設定方向とした。ここで、運転者の視線の方向が画像の左方向、即ち車両１００の真正面に向かって延びる軸に対して左方向に向かっている場合は、該視線の方向に対して右回りに所定角度Ｃｅずれた方向を切り出し中心の設定方向とする。
【００３９】
図２（ａ）の場合、上記のように設定された切り出し中心の近傍に歩行者Ｐが存在する。従って、該切り出し中心を中心位置として切り出し画像について歪み補正処理を実行することで、図２（ｃ）に示すように、歩行者Ｐの画像はほとんど歪みのない状態となる。そのため、図２（ｃ）に示す画像に基づいて障害物検出処理を実行することで、歩行者Ｐを高精度で検出するここが可能となる。
【００４０】
ここで、本実施例に係る切り出し画像の歪み補正処理の具体的な処理方法の一例について図３に基づいて説明する。尚、以下の方法はあくまでも一例であり、具体的な処理内容はこれに限定されるものではない。
【００４１】
図３は、本実施例に係る切り出し画像の歪み補正処理の具体例のイメージを示す図である。本実施例では、切り出し画像を正像化画像として仮想スクリーンに投影することで歪み補正処理を実現する。つまり、図２（ａ）から切り出した切り出し画像を仮想スクリーンに投影した画像が図２（ｃ）に相当する。
【００４２】
図３において、カメラＯｃが広角カメラ２に相当する。また、図３において、ＺｖはカメラＯｃから仮想スクリーンまでの距離を示しており、Ωは横方向の投影視野角度を表しており、Ｗは正像化画像の横幅を表している。ここで、Ｚｖ，Ω，Ｗの関係は下記式（１）のように表される。
【００４３】
該歪み補正処理では、魚眼画像（即ち、入力画像）の像点（ｕｐ，ｖｐ）を仮想スクリーン上に表示点（Ｘｐ，Ｙｐ）として投影する。魚眼画像の像点（ｕｐ，ｖｐ）と仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）との関係は下記式（２）〜（４）のように表される。
【００４４】
ここで、ｆは広角カメラ２の特性関数を示しており、Ｌは魚眼画像の半径を示している。また、パラメータＸ´ｓｅ，Ｙ´ｓｅ，Ｚ´ｓｅはアフィン変換式によって式（３）のように表される。
【００４５】
ここで、λはカメラ向き横角度を表しており、ξはカメラ向き縦角度を表しており、ωはカメラ向き回転角度を表している。また、パラメータＸｓｅ，Ｙｓｅ，Ｚｓｅは式（４）のように表される。
【００４６】
ただし、
【００４７】
従って、式（１），（３）及び（４）を式（２）に代入して解くことにより、魚眼画像の像点（ｕｐ，ｖｐ）を仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）に変換することができる。
【００４８】
（障害物検知通知）
本実施例においては、上記のような画像処理を行なうことによって、運転者自身の視覚によって認識され難い位置、即ち運転者の視界の境界近傍又は運転者の視界から外れた位置に存在する障害物を高精度で検出することができる。そして、本実施例では、このような障害物が検出された場合、通知装置６によって障害物検知通知が実行される。
【００４９】
しかしながら、通常、車両を運転している運転者の視線の方向は頻繁に変化する。そして、運転者の視界の境界近傍又は運転者の視界から外れた位置に障害物が存在しても、運転者の視線の方向が頻繁に変化していれば、周辺監視装置１によって該障害物が検出された直後に運転者自身の視覚によっても該障害物が認識される可能性が高い。
【００５０】
運転者自身の視覚によって障害物を認識することができる場合、該障害物についての周辺監視装置１よる障害物検出通知は本来不要である。このような不要な通知はかえって運転者に煩わしさを感じさせ、その結果、運転者の車両運転への集中力の低下を招く虞がある。
【００５１】
そこで、本実施例では、運転者自身の視覚によって障害物が認識される可能性が低いときにのみ通知装置６による障害物検出通知を実行する。より具体的には、運転者の視線の方向と車両１００のハンドルの操舵角方向とが一致している場合にのみ通知装置６による障害物検出通知を実行する。
【００５２】
運転者の視線の方向と車両１００のハンドルの操舵角方向とが一致している場合として、例えば、車両１００が交差点やコーナーを曲がっている場合が考えられる。つまり、このような場合、運転者の視線の方向がある程度の期間一定に保たれる可能性が高い。そのため、このような場合に運転者の視界の境界近傍又は運転者の視界から外れた位置に障害物が存在する場合、運転者の視覚によって該障害物が認識される可能性は低い。
【００５３】
上記のような場合にのみ通知装置６による障害物検出通知を実行することで、運転者への不要な障害物検出通知を抑制することが可能となる。その結果、不要な障害物検出通知に起因して運転者の車両運転への集中力が低下することを抑制することができる。
【００５４】
（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図４に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ１０によって所定の間隔で繰り返し実行される。
【００５５】
本フローでは、先ずステップＳ１０１において、入力画像が取得される。
【００５６】
次に、ステップＳ１０２において、運転者の視線の方向及び車両１００のハンドルの操舵角方向が取得される。尚、これらのは、車両１００の真正面に向かって延びる軸に対する角度として取得される。
【００５７】
次に、ステップＳ１０３において、入力画像における切り出し中心の設定方向が運転者の視線の方向に基づいて決定される。上述したように、該切り出し中心の設定方向は、運転者の視線の方向に対して左回り又は右回りに所定角度Ｃｅずれた方向に決定される。
【００５８】
次に、ステップＳ１０４において、入力画像における切り出し中心の設定方向上に切り出し中心が設定される。上述したように、該切り出し中心は、ステップＳ１０３において決定された設定方向上における、広角カメラ２から所定距離Ｌｅに相当する位置に設定される。
【００５９】
次に、ステップＳ１０５において、ステップＳ１０４で設定された切り出し中心を中心として切り出し画像が切り出され、該切り出し画像について切り出し中心を中心位置として上述した歪み補正処理が実行される。
【００６０】
次に、ステップＳ１０６において、歪み補正処理後の画像について障害物検出処理が実行される。
【００６１】
次に、ステップＳ１０７において、ステップＳ１０６における障害物検出処理によって障害物が検出されたか否かが判別される。該ステップＳ１０７において、肯定判定された場合、次にステップ１０８の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００６２】
ステップＳ１０８においては、運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かが判別される。尚、ここでは、両者のずれが所定角度以内であれば両者は一致していると判定される。該ステップＳ１０８において、肯定判定された場合、次にステ
ップ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００６３】
ステップＳ１０９においては、通知装置６によって障害物検出通知が実行される。一方、ステップＳ１１０においては、通知装置６による障害物検出通知の実行が禁止される。
【００６４】
尚、本実施例においては、上記フローにおけるステップＳ１０６を実行するＥＣＵ１０が本発明に係る障害物検出手段に相当する。また、上記フローにおけるステップＳ１０９を実行するＥＣＵ１０が本発明に係る通知手段に相当する。また、本実施例において、入力画像から切り出される切り出し画像に相当する範囲が本発明に係る所定範囲に相当する。
【００６５】
また、上記フローにおいては、入力画像について歪み補正処理及び障害物検出処理を実行した後に、運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かの判別を実行した。しかしながら、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かの判別を実行し、両者が一致していないと判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。
【００６６】
また、本実施例では、魚眼レンズを有する広角カメラによって車外の画像を撮像したが、車外の画像を撮像するカメラはこれに限られるものではない。例えば、標準レンズを有するカメラを車両の前側に複数設置することで、広角カメラを設置した場合と同様の範囲の画像を撮像するようにしてもよい。
【００６７】
このような場合、複数のカメラからＥＣＵ１０に入力された入力画像について、上記のような歪み補正処理を行なうことなく、障害物検出処理を行なうことで障害物を高精度で検出することができる。また、このような場合は、運転者の視線の方向を基準に、運転者の視界を超えた範囲又は運転者の視界の境界近傍を含んだ範囲として所定範囲を設定する。そして、該所定範囲内に障害物が検出されたときに、運転者の視線の方向とハンドルの操舵角方向とが一致していれば、通知装置６によって障害物検出通知を実行する。
【００６８】
＜実施例２＞
本発明に係る車両用周辺監視装置の実施例について図５に基づいて説明する。尚、ここでは、実施例１とは異なる点についてのみ説明する。
【００６９】
（障害物検知通知）
本実施例においては、実施例１と同様に入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致したときにおいて、車速センサ４によって検知された車両１００の速度が所定速度以下の場合にのみ、通知装置６によって障害物検出通知を実行する。
【００７０】
ここでの所定速度とは、車両１００が交差点に進入したと判断できる閾値として設定された値である。該所定速度を、例えば、２０ｋｍ／ｈに設定してもよい。車両１００が交差点に進入した場合は、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高い。つまり、この場合、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低い。
【００７１】
つまり、本実施例によれば、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低いときにのみ通知装置６によって障害物検出通知を実行する。これにより、運転者への不要な通知をより抑制することができる。
【００７２】
尚、本実施例においては、車速センサ４が本発明に係る車速検出手段に相当する。
【００７３】
（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図５に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ１０によって所定の間隔で繰り返し実行される。尚、本フローは、図４に示すフローチャートにステップＳ２０９及び２１０を追加したものである。そのため、ステップＳ２０９及び２１０の処理についてのみ説明し、その他のステップについての説明は省略する。
【００７４】
本フローでは、ステップＳ１０８において肯定判定された場合、ステップＳ２０９の処理が実行される。ステップＳ２０９においては、車両１００の速度ｖｃが取得される。
【００７５】
次に、ステップＳ２１０において、車両１００の速度ｖｃが所定速度ｖ０以下であるか否かが判別される。ステップＳ２１０において、肯定判定された場合、次にステップＳ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００７６】
尚、本実施例に係る所定速度ｖ０は、車両１００が交差点に進入したと判断できる閾値に限られるものではなく、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高いと判断できる閾値であればよい。
【００７７】
また、本実施例においては、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否か、及び車両１００の速度が所定速度以下であるか否かを判別し、両方において肯定判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。
【００７８】
＜実施例３＞
本発明に係る車両用周辺監視装置の実施例について図６に基づいて説明する。尚、ここでは、実施例１とは異なる点についてのみ説明する。
【００７９】
（障害物検知通知）
本実施例においては、実施例１と同様に入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致したときにおいて、運転者の視線の方向が一定である時間が所定時間以上継続している場合にのみ、通知装置６によって障害物検出通知を実行する。
【００８０】
運転者の視線の方向が一定である時間が長く継続している場合、運転者の視界を超えた範囲又は運転者の視界の境界近傍に存在する障害物、即ち切り出し画像から検出された障害物が、運転者の視覚によって認識される可能性はより低い。
ここで、所定時間とは、切り出し画像から検出された障害物が運転者の視覚によって認識されることは困難と判断できる閾値である。
【００８１】
本実施例によっても、実施例２と同様、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低いときにのみ通知装置６によって障害物検出通知も実行することになる。これにより、運転者への不要な通知をより抑制することができる。
【００８２】
（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図６に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ
１０によって所定の間隔で繰り返し実行される。尚、本フローは、図４に示すフローチャートにステップＳ３０９を追加したものである。そのため、ステップＳ３０９の処理についてのみ説明し、その他のステップについての説明は省略する。
【００８３】
本フローでは、ステップＳ１０８において肯定判定された場合、ステップＳ３０９の処理が実行される。ステップＳ３０９においては、運転者の視線の方向が一定である時間が所定時間Δｔ０以上継続しているか否かが判別される。ここでは、例えば、運転者の視線の方向を所定時間Δｔ０の間記録し、記録された運転者の視線の方向が一定であるか否かを判別してもよい。ステップＳ３０９において、肯定判定された場合、次にステップＳ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００８４】
尚、本実施例においては、上記フローにおけるステップＳ３０９の処理を実行するＥＣＵ１０が、本発明に係る判別手段に相当する。
【００８５】
また、本実施例においては、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否か、及び運転者の視線の方向が一定ある時間が所定時間以上継続しているか否かを判別し、両方において肯定判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。
【００８６】
また、本実施例においては、入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致しており、さらに、実施例２の場合と同様、車両１００の速度が所定速度以下であるときにおいて、運転者の視線の方向が一定である時間が所定時間以上継続している場合にのみ、通知装置６によって障害物検出通知を実行するようにしてもよい。
【符号の説明】
【００８７】
１・・・周辺監視装置
２・・・広角カメラ
３・・・視線検知センサ
４・・・車速センサ
５・・・操舵角センサ
６・・・通知装置
１０・・ＥＣＵ
１００・・車両
【技術分野】
【０００１】
本発明は、車両周辺の画像に基づいて車両の周辺を監視する周辺監視装置に関する。
【背景技術】
【０００２】
特許文献１には、車両の左右側方の視界を含む画像をカメラにより取得するとともに、車両の右側方の視界を操舵ハンドル軸より左にある左画面に表示し、車両の左側方の視界を操舵ハンドル軸より右にある右画面に表示する技術が開示されている。また、特許文献１には、車両の走行速度が時速６０ｋｍ以下に変化したときに、上記のような左又は右画面への視界表示を実行する技術も開示されている。
【０００３】
特許文献２には、超広角レンズ及びイメージセンサを有する車載カメラにおいて、イメージセンサが撮像した歪画像の内、注目領域に相当する部分を切り出し、切り出された部分の画像を正画像に補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９６８４４号公報
【特許文献２】特開２００９−８１４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、車両周辺の画像に基づいて車両の周辺を監視する周辺監視装置が開発されている。このような車両用周辺監視装置においては、撮像された車外の画像に基づいて障害物を検出するとともに、障害物が検出されたときにはその存在を車両の運転者に通知する。しかしながら、車両の運転者が自身の視覚によっても該障害物を認識している場合、このような周辺監視装置よる障害物検出通知は本来不要であって、該通知がかえって運転者に煩わしさを感じさせる虞がある。
【０００６】
本発明は、上記のような問題に鑑みてなされたものであって、車両周辺の障害物を検出した際にその存在を運転者に通知する車両用周辺監視装置において、運転者への不要な通知を抑制することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、車外の画像に基づいて障害物が検出されたときにおいて、該障害物が運転者の視線の方向と異なる方向に存在し、且つ運転者の視線の方向とハンドルの操舵角とが一致する場合にのみ、該障害物の存在を車両の運転者に通知するものである。
【０００８】
より詳しくは、本発明に係る車両用周辺監視装置は、
車外の画像を撮像する撮像手段と、
車両の運転者の視線の方向を検出する視線検出手段と、
車両のハンドルの操舵角方向を検出する操舵角検出手段と、
前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、
前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、
を備えたことを特徴とする。
【０００９】
ここで、所定範囲は、運転者の視界を超えた範囲又は運転者の視界の境界近傍を含んだ範囲として設定される。運転者の視線の方向とハンドルの操舵角方向とが一致しているときは、運転者の視線の方向が変化する可能性が低い。従って、このときに、運転者の視線の方向から外れた所定範囲内に障害物が存在していると、該障害物を運転者が自身の視覚によって認識する可能性は低い。
【００１０】
本発明では、このような場合にのみ障害物の存在を運転者に通知する。換言すれば、運転者が自身の視覚によって障害物を認識する可能性が高いとき、即ち運転者への通知が不要なときは、運転者への障害物検出通知を行なわない。
【００１１】
本発明によれば、運転者への不要な障害物検出通知を抑制することができる。その結果、不要な障害物検出通知に起因して運転者の車両運転への集中力が低下することを抑制することができる。
【００１２】
尚、本発明における「運転者の視線の方向とハンドルの操舵角方向とが一致する場合」とは、両方向が完全に一致する場合のみならず、両方向のずれが所定角度以内である場合を含んでもよい。
【００１３】
本発明に係る車両用周辺監視装置は、車両の速度を検出する車速検出手段をさらに備えてもよい。この場合、通知手段は、上記のような条件が成立し、更に車両の速度が所定速度以下の場合に運転者への障害物検出通知を実行してもよい。
【００１４】
ここで、所定速度とは、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高いと判断できる閾値である。車両の速度が該所定速度以下の場合は、所定範囲内に存在する障害物を運転者が自身の視覚によって認識する可能性がより低くなる。
【００１５】
つまり、上記によれば、運転者が自身の視覚によって障害物を認識する可能性がより低いときにのみ障害物検出通知が実行される。これにより、運転者への不要な通知をより抑制することができる。
【００１６】
本発明に係る車両用周辺監視装置は、視線検出手段によって検出された運転者の視線の方向が一定である時間が所定時間以上継続しているか否かを判別する判別手段をさらに備えてもよい。この場合、通知手段は、上記のような条件が成立し、更に判別手段によって肯定判定された場合に運転者への障害物検出通知を実行してもよい。
【００１７】
運転者の視線の方向が一定である時間が長く継続している場合、所定範囲内に存在する障害物を運転者が自身の視覚によって認識する可能性は低くなる。ここで、所定時間とは、所定範囲内に存在する障害物を運転者が自身の視覚によって認識することが困難と判断できる閾値である。
【００１８】
上記の場合も、運転者が障害物を自身の視覚によって認識する可能性がより低いときにのみ障害物検出通知が実行されることになる。これにより、運転者への不要な通知をより抑制することができる。
【発明の効果】
【００１９】
本発明によれば、車両用周辺監視装置よる運転者への不要な障害物検出通知を抑制することができる。
【図面の簡単な説明】
【００２０】
【図１】実施例１に係る車両用周辺監視装置の概略構成を示すブロック図である。
【図２】実施例１に係る歪み補正処理について説明するための図である。図（ａ）は入力画像を示しており、図２（ｂ）は入力画像の中心点を画像処理の中心位置として歪み補正処理を実行した画像を示しており、図２（ｃ）は、実施例１に係る歪み補正処理によって入力画像の歪みを補正した画像を示している。
【図３】実施例１に係る切り出し画像の歪み補正処理の具体例のイメージを示す図である。
【図４】実施例１に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。
【図５】実施例２に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。
【図６】実施例３に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００２２】
＜実施例１＞
本発明に係る車両用周辺監視装置の実施例について図１〜４に基づいて説明する。
【００２３】
（概略構成）
図１は、本実施例に係る車両用周辺監視装置の概略構成を示すブロック図である。本実施例においては、周辺監視装置１が車両１００に搭載されている。周辺監視装置１は、広角カメラ２、視線検知センサ３、車速センサ４、操舵角センサ５、通知装置６及び電子制御装置（ＥＣＵ）１０を備えている。
【００２４】
広角カメラ２は車両１００の前側に設置されている。広角カメラ２は、魚眼レンズ及びイメージセンサを有しており、車両１００の正面を中心に該車両１００の前方の画像を広角で撮像する。広角カメラ２によって撮像された画像はＥＣＵ１０に入力される。ＥＣＵ１０は、入力された画像について画像処理を行い、他車両や歩行者等の障害物の検出を実行する。
【００２５】
視線検知センサ３は、車両１００の車内に設置されており、該車両１００の運転者の視線の方向を検知するセンサである。視線検知センサ３によって検知された運転者の視線の方向についての情報はＥＣＵ１０に入力される。
【００２６】
車速センサ４は、車両１００の速度を検知するセンサである。車速センサ４によって検知された車速情報はＥＣＵ１０に入力される。
【００２７】
操舵角センサ５は、車両１００のハンドルの操舵角方向を検知するセンサである。操舵角センサ５によって検知された車両１００のハンドルの操舵角方向についての情報はＥＣＵ１０に入力される。
【００２８】
通知装置６は、車両１００の運転者に車外に障害物が存在することを通知する装置である。通知装置６は、ＥＣＵ１０から通知ＯＮの信号が入力されると該通知を実行する。通知装置６は、例えば、車両１００の車内に設けられたモニタに障害物の画像を出力することで該通知を実行してもよく、また音声や警報ランプ等によって該通知を実行してもよい
。以下、通知装置６によって実行される通知を障害物検知通知と称する場合もある。
【００２９】
尚、本実施例においては、広角カメラ２が本発明に係る撮像手段に相当する。また、視線検知センサ３が本発明に係る視線検出手段に相当する。また、操舵角センサ５が本発明に係る操舵角検出手段に相当する。
【００３０】
（歪み補正処理）
次に、本実施例に係るＥＣＵでの画像処理の詳細について図２及び３に基づいて説明する。図２（ａ）は、広角カメラ２によって撮像されＥＣＵ１０に入力された画像（以下、入力画像と称する）を示す図である。図２（ｂ）は、入力画像の中心点を画像処理の中心位置として該入力画像の歪みを補正した画像を示す図である。図２（ｃ）は、本実施例に係る画像処理によって入力画像の歪みを補正した画像を示す図である。図２に示す画像中のＰは障害物の一例たる歩行者を表している。
【００３１】
本実施例に係る入力画像は、魚眼レンズを有する広角カメラ２によって撮像された画像である。そのため、該入力画像には、図２（ａ）に示すように、歪みが生じている。このような歪みが生じた画像に基づいて障害物検出処理を実行した場合、例えば、図２（ａ）に示すように入力画像の左上隅近傍に歩行者Ｐが存在するようなときは、該歩行者Ｐを検出することが困難となる場合がある。
【００３２】
このような入力画像から障害物を高精度で検出するためには、該入力画像の歪みを補正するための画像処理（以下、歪み補正処理と称する）を行なう必要がある。しかしながら、入力画像の中心点を画像処理の中止位置として歪み補正処理を実行すると、図２（ｂ）に示すように、画像中心から離れた位置の歪みがより大きくなる。従って、歪み補正処理後の画像に基づいて障害物検出処理を実行したとしても、歩行者Ｐを検出することが困難な場合がある。
【００３３】
そこで、本実施例では以下のような歪み補正処理を実行する。図２（ａ）における実線矢印は、車両１００の運転者の視線の方向を示している。つまり、図２においては、運転者の視線の方向は車両１００に対して右斜め前方となっている。ここで、運転者の視線の方向に障害物が存在している場合、該障害物は運転者自身の視覚によって認識される可能性が高い。一方、運転者の視界を超えた位置又は運転者の視界の境界近傍に障害物が存在している場合、該障害物は運転者自身の視覚によって認識される可能性が低くなる。
【００３４】
そのため、周辺監視装置１においては、運転者の視線の方向とは異なる方向に存在し運転者自身の視覚によって認識され難い障害物を検出するのが重要である。そこで、本実施例では、入力画像における運転者の視線の方向とは異なる方向であって運転者自身の視覚によって認識され難い位置に、画像を切り出すための切り出し中心を設定する。さらに、入力画像中において該切り出し中心から所定の切り出し範囲内に属する画像（以下、切り出し画像と称する）を切り出す。そして、該切り出し画像について、切り出し中心を中心位置として歪み補正処理を実行する。
【００３５】
このような歪み補正処理によれば、運転者自身の視覚によって認識され難い位置の画像の歪みを補正することができる。従って、該歪み補正処理後の画像に基づいて障害物検出処理を実行することで、運転者の視線の方向とは異なる方向に存在し運転者自身の視覚によって認識され難い障害物を高精度で検出することが可能となる。
【００３６】
図２（ａ）の場合、運転者の視線の方向は画像の右方向に向かっている。この場合、該視線の方向に対して左回りに所定角度Ｃｅずれた方向（図２（ａ）における破線矢印で示す方向）を切り出し中心の設定方向とする。そして、該設定方向上における広角カメラ２
から所定距離Ｌｅに相当する位置を切り出し中心として設定する。
【００３７】
尚、所定角度Ｃｅは運転者の視界角度に基づいて予め設定された値である。つまり、所定角度Ｃｅは、視線の方向から、該視線の方向を中心した視界の境界又はその近傍までの角度として設定される。例えば、人間の視界角度は８０〜１００°であるため、その平均値（９０°）に基づき所定角度Ｃｅを４５°としてもよい。また、所定距離Ｌｅを、障害物を検出することが必要な車両１００からの距離として設定してもよい。このような所定角度Ｃｅ及び所定距離Ｌｅは、実験等に基づいて予め定めることができる。尚、視界角度には個人差があるため、運転者毎の視界角度を学習し、該学習結果に応じて所定角度Ｃｅを変更してもよい。
【００３８】
また、図２（ａ）の場合、運転者の視線の方向は画像の右方向、即ち車両１００の真正面に向かって延びる軸に対して右方向に向かっているため、該視線の方向に対して左回りに所定角度Ｃｅずれた方向を切り出し中心の設定方向とした。ここで、運転者の視線の方向が画像の左方向、即ち車両１００の真正面に向かって延びる軸に対して左方向に向かっている場合は、該視線の方向に対して右回りに所定角度Ｃｅずれた方向を切り出し中心の設定方向とする。
【００３９】
図２（ａ）の場合、上記のように設定された切り出し中心の近傍に歩行者Ｐが存在する。従って、該切り出し中心を中心位置として切り出し画像について歪み補正処理を実行することで、図２（ｃ）に示すように、歩行者Ｐの画像はほとんど歪みのない状態となる。そのため、図２（ｃ）に示す画像に基づいて障害物検出処理を実行することで、歩行者Ｐを高精度で検出するここが可能となる。
【００４０】
ここで、本実施例に係る切り出し画像の歪み補正処理の具体的な処理方法の一例について図３に基づいて説明する。尚、以下の方法はあくまでも一例であり、具体的な処理内容はこれに限定されるものではない。
【００４１】
図３は、本実施例に係る切り出し画像の歪み補正処理の具体例のイメージを示す図である。本実施例では、切り出し画像を正像化画像として仮想スクリーンに投影することで歪み補正処理を実現する。つまり、図２（ａ）から切り出した切り出し画像を仮想スクリーンに投影した画像が図２（ｃ）に相当する。
【００４２】
図３において、カメラＯｃが広角カメラ２に相当する。また、図３において、ＺｖはカメラＯｃから仮想スクリーンまでの距離を示しており、Ωは横方向の投影視野角度を表しており、Ｗは正像化画像の横幅を表している。ここで、Ｚｖ，Ω，Ｗの関係は下記式（１）のように表される。
【００４３】
該歪み補正処理では、魚眼画像（即ち、入力画像）の像点（ｕｐ，ｖｐ）を仮想スクリーン上に表示点（Ｘｐ，Ｙｐ）として投影する。魚眼画像の像点（ｕｐ，ｖｐ）と仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）との関係は下記式（２）〜（４）のように表される。
【００４４】
ここで、ｆは広角カメラ２の特性関数を示しており、Ｌは魚眼画像の半径を示している。また、パラメータＸ´ｓｅ，Ｙ´ｓｅ，Ｚ´ｓｅはアフィン変換式によって式（３）のように表される。
【００４５】
ここで、λはカメラ向き横角度を表しており、ξはカメラ向き縦角度を表しており、ωはカメラ向き回転角度を表している。また、パラメータＸｓｅ，Ｙｓｅ，Ｚｓｅは式（４）のように表される。
【００４６】
ただし、
【００４７】
従って、式（１），（３）及び（４）を式（２）に代入して解くことにより、魚眼画像の像点（ｕｐ，ｖｐ）を仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）に変換することができる。
【００４８】
（障害物検知通知）
本実施例においては、上記のような画像処理を行なうことによって、運転者自身の視覚によって認識され難い位置、即ち運転者の視界の境界近傍又は運転者の視界から外れた位置に存在する障害物を高精度で検出することができる。そして、本実施例では、このような障害物が検出された場合、通知装置６によって障害物検知通知が実行される。
【００４９】
しかしながら、通常、車両を運転している運転者の視線の方向は頻繁に変化する。そして、運転者の視界の境界近傍又は運転者の視界から外れた位置に障害物が存在しても、運転者の視線の方向が頻繁に変化していれば、周辺監視装置１によって該障害物が検出された直後に運転者自身の視覚によっても該障害物が認識される可能性が高い。
【００５０】
運転者自身の視覚によって障害物を認識することができる場合、該障害物についての周辺監視装置１よる障害物検出通知は本来不要である。このような不要な通知はかえって運転者に煩わしさを感じさせ、その結果、運転者の車両運転への集中力の低下を招く虞がある。
【００５１】
そこで、本実施例では、運転者自身の視覚によって障害物が認識される可能性が低いときにのみ通知装置６による障害物検出通知を実行する。より具体的には、運転者の視線の方向と車両１００のハンドルの操舵角方向とが一致している場合にのみ通知装置６による障害物検出通知を実行する。
【００５２】
運転者の視線の方向と車両１００のハンドルの操舵角方向とが一致している場合として、例えば、車両１００が交差点やコーナーを曲がっている場合が考えられる。つまり、このような場合、運転者の視線の方向がある程度の期間一定に保たれる可能性が高い。そのため、このような場合に運転者の視界の境界近傍又は運転者の視界から外れた位置に障害物が存在する場合、運転者の視覚によって該障害物が認識される可能性は低い。
【００５３】
上記のような場合にのみ通知装置６による障害物検出通知を実行することで、運転者への不要な障害物検出通知を抑制することが可能となる。その結果、不要な障害物検出通知に起因して運転者の車両運転への集中力が低下することを抑制することができる。
【００５４】
（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図４に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ１０によって所定の間隔で繰り返し実行される。
【００５５】
本フローでは、先ずステップＳ１０１において、入力画像が取得される。
【００５６】
次に、ステップＳ１０２において、運転者の視線の方向及び車両１００のハンドルの操舵角方向が取得される。尚、これらのは、車両１００の真正面に向かって延びる軸に対する角度として取得される。
【００５７】
次に、ステップＳ１０３において、入力画像における切り出し中心の設定方向が運転者の視線の方向に基づいて決定される。上述したように、該切り出し中心の設定方向は、運転者の視線の方向に対して左回り又は右回りに所定角度Ｃｅずれた方向に決定される。
【００５８】
次に、ステップＳ１０４において、入力画像における切り出し中心の設定方向上に切り出し中心が設定される。上述したように、該切り出し中心は、ステップＳ１０３において決定された設定方向上における、広角カメラ２から所定距離Ｌｅに相当する位置に設定される。
【００５９】
次に、ステップＳ１０５において、ステップＳ１０４で設定された切り出し中心を中心として切り出し画像が切り出され、該切り出し画像について切り出し中心を中心位置として上述した歪み補正処理が実行される。
【００６０】
次に、ステップＳ１０６において、歪み補正処理後の画像について障害物検出処理が実行される。
【００６１】
次に、ステップＳ１０７において、ステップＳ１０６における障害物検出処理によって障害物が検出されたか否かが判別される。該ステップＳ１０７において、肯定判定された場合、次にステップ１０８の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００６２】
ステップＳ１０８においては、運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かが判別される。尚、ここでは、両者のずれが所定角度以内であれば両者は一致していると判定される。該ステップＳ１０８において、肯定判定された場合、次にステ
ップ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００６３】
ステップＳ１０９においては、通知装置６によって障害物検出通知が実行される。一方、ステップＳ１１０においては、通知装置６による障害物検出通知の実行が禁止される。
【００６４】
尚、本実施例においては、上記フローにおけるステップＳ１０６を実行するＥＣＵ１０が本発明に係る障害物検出手段に相当する。また、上記フローにおけるステップＳ１０９を実行するＥＣＵ１０が本発明に係る通知手段に相当する。また、本実施例において、入力画像から切り出される切り出し画像に相当する範囲が本発明に係る所定範囲に相当する。
【００６５】
また、上記フローにおいては、入力画像について歪み補正処理及び障害物検出処理を実行した後に、運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かの判別を実行した。しかしながら、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かの判別を実行し、両者が一致していないと判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。
【００６６】
また、本実施例では、魚眼レンズを有する広角カメラによって車外の画像を撮像したが、車外の画像を撮像するカメラはこれに限られるものではない。例えば、標準レンズを有するカメラを車両の前側に複数設置することで、広角カメラを設置した場合と同様の範囲の画像を撮像するようにしてもよい。
【００６７】
このような場合、複数のカメラからＥＣＵ１０に入力された入力画像について、上記のような歪み補正処理を行なうことなく、障害物検出処理を行なうことで障害物を高精度で検出することができる。また、このような場合は、運転者の視線の方向を基準に、運転者の視界を超えた範囲又は運転者の視界の境界近傍を含んだ範囲として所定範囲を設定する。そして、該所定範囲内に障害物が検出されたときに、運転者の視線の方向とハンドルの操舵角方向とが一致していれば、通知装置６によって障害物検出通知を実行する。
【００６８】
＜実施例２＞
本発明に係る車両用周辺監視装置の実施例について図５に基づいて説明する。尚、ここでは、実施例１とは異なる点についてのみ説明する。
【００６９】
（障害物検知通知）
本実施例においては、実施例１と同様に入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致したときにおいて、車速センサ４によって検知された車両１００の速度が所定速度以下の場合にのみ、通知装置６によって障害物検出通知を実行する。
【００７０】
ここでの所定速度とは、車両１００が交差点に進入したと判断できる閾値として設定された値である。該所定速度を、例えば、２０ｋｍ／ｈに設定してもよい。車両１００が交差点に進入した場合は、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高い。つまり、この場合、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低い。
【００７１】
つまり、本実施例によれば、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低いときにのみ通知装置６によって障害物検出通知を実行する。これにより、運転者への不要な通知をより抑制することができる。
【００７２】
尚、本実施例においては、車速センサ４が本発明に係る車速検出手段に相当する。
【００７３】
（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図５に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ１０によって所定の間隔で繰り返し実行される。尚、本フローは、図４に示すフローチャートにステップＳ２０９及び２１０を追加したものである。そのため、ステップＳ２０９及び２１０の処理についてのみ説明し、その他のステップについての説明は省略する。
【００７４】
本フローでは、ステップＳ１０８において肯定判定された場合、ステップＳ２０９の処理が実行される。ステップＳ２０９においては、車両１００の速度ｖｃが取得される。
【００７５】
次に、ステップＳ２１０において、車両１００の速度ｖｃが所定速度ｖ０以下であるか否かが判別される。ステップＳ２１０において、肯定判定された場合、次にステップＳ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００７６】
尚、本実施例に係る所定速度ｖ０は、車両１００が交差点に進入したと判断できる閾値に限られるものではなく、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高いと判断できる閾値であればよい。
【００７７】
また、本実施例においては、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否か、及び車両１００の速度が所定速度以下であるか否かを判別し、両方において肯定判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。
【００７８】
＜実施例３＞
本発明に係る車両用周辺監視装置の実施例について図６に基づいて説明する。尚、ここでは、実施例１とは異なる点についてのみ説明する。
【００７９】
（障害物検知通知）
本実施例においては、実施例１と同様に入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致したときにおいて、運転者の視線の方向が一定である時間が所定時間以上継続している場合にのみ、通知装置６によって障害物検出通知を実行する。
【００８０】
運転者の視線の方向が一定である時間が長く継続している場合、運転者の視界を超えた範囲又は運転者の視界の境界近傍に存在する障害物、即ち切り出し画像から検出された障害物が、運転者の視覚によって認識される可能性はより低い。
ここで、所定時間とは、切り出し画像から検出された障害物が運転者の視覚によって認識されることは困難と判断できる閾値である。
【００８１】
本実施例によっても、実施例２と同様、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低いときにのみ通知装置６によって障害物検出通知も実行することになる。これにより、運転者への不要な通知をより抑制することができる。
【００８２】
（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図６に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ
１０によって所定の間隔で繰り返し実行される。尚、本フローは、図４に示すフローチャートにステップＳ３０９を追加したものである。そのため、ステップＳ３０９の処理についてのみ説明し、その他のステップについての説明は省略する。
【００８３】
本フローでは、ステップＳ１０８において肯定判定された場合、ステップＳ３０９の処理が実行される。ステップＳ３０９においては、運転者の視線の方向が一定である時間が所定時間Δｔ０以上継続しているか否かが判別される。ここでは、例えば、運転者の視線の方向を所定時間Δｔ０の間記録し、記録された運転者の視線の方向が一定であるか否かを判別してもよい。ステップＳ３０９において、肯定判定された場合、次にステップＳ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。
【００８４】
尚、本実施例においては、上記フローにおけるステップＳ３０９の処理を実行するＥＣＵ１０が、本発明に係る判別手段に相当する。
【００８５】
また、本実施例においては、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否か、及び運転者の視線の方向が一定ある時間が所定時間以上継続しているか否かを判別し、両方において肯定判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。
【００８６】
また、本実施例においては、入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致しており、さらに、実施例２の場合と同様、車両１００の速度が所定速度以下であるときにおいて、運転者の視線の方向が一定である時間が所定時間以上継続している場合にのみ、通知装置６によって障害物検出通知を実行するようにしてもよい。
【符号の説明】
【００８７】
１・・・周辺監視装置
２・・・広角カメラ
３・・・視線検知センサ
４・・・車速センサ
５・・・操舵角センサ
６・・・通知装置
１０・・ＥＣＵ
１００・・車両
【特許請求の範囲】
【請求項１】
車外の画像を撮像する撮像手段と、
車両の運転者の視線の方向を検出する視線検出手段と、
車両のハンドルの操舵角方向を検出する操舵角検出手段と、
前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、
前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、
を備えたことを特徴とする車両用周辺監視装置。
【請求項２】
車両の速度を検出する車速検出手段をさらに備え、
前記通知手段が、前記障害物検出手段によって前記所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致し、更に前記車速検出手段によって検出された車両の速度が所定速度以下の場合に、障害物の存在を車両の運転者に通知することを特徴とする請求項１に記載の車両用周辺監視装置。
【請求項３】
前記視線検出手段によって検出された運転者の視線の方向が一定である時間が所定時間以上継続しているか否かを判別する判別手段をさらに備え、
前記通知手段が、前記障害物検出手段によって前記所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致し、更に前記判別手段によって肯定判定された場合に、障害物の存在を車両の運転者に通知することを特徴とする請求項１又は２に記載の車両用周辺監視装置。
【請求項１】
車外の画像を撮像する撮像手段と、
車両の運転者の視線の方向を検出する視線検出手段と、
車両のハンドルの操舵角方向を検出する操舵角検出手段と、
前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、
前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、
を備えたことを特徴とする車両用周辺監視装置。
【請求項２】
車両の速度を検出する車速検出手段をさらに備え、
前記通知手段が、前記障害物検出手段によって前記所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致し、更に前記車速検出手段によって検出された車両の速度が所定速度以下の場合に、障害物の存在を車両の運転者に通知することを特徴とする請求項１に記載の車両用周辺監視装置。
【請求項３】
前記視線検出手段によって検出された運転者の視線の方向が一定である時間が所定時間以上継続しているか否かを判別する判別手段をさらに備え、
前記通知手段が、前記障害物検出手段によって前記所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致し、更に前記判別手段によって肯定判定された場合に、障害物の存在を車両の運転者に通知することを特徴とする請求項１又は２に記載の車両用周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１１３１２０（Ｐ２０１１−１１３１２０Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６６２９９（Ｐ２００９−２６６２９９）
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]