周辺監視装置
【課題】運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供する。
【解決手段】周辺監視カメラ11により撮影された周辺映像を表示する装置であって、周辺映像を表示する表示装置15と、運転操作の意図を検知する検知部21と、運転操作の実施を判定する判定部22と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置15を制御する表示制御部23とを備える。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【解決手段】周辺監視カメラ11により撮影された周辺映像を表示する装置であって、周辺映像を表示する表示装置15と、運転操作の意図を検知する検知部21と、運転操作の実施を判定する判定部22と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置15を制御する表示制御部23とを備える。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラにより撮影された周辺映像を表示する周辺監視装置に関する。
【背景技術】
【0002】
従来、車載カメラにより撮影された周辺映像をナビゲーション情報などとともに表示する周辺監視装置が知られている。例えば特開2001−006097号公報には、運転操作に応じて車両の進行方向に対応する周辺映像を大きく表示する運転支援措置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−006097号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、このような運転支援装置では、車両の進行方向に対応する周辺映像を表示し続けるので、運転者が他の情報を確認したくても十分に確認できないことがあった。つまり、運転者のニーズを見越して周辺映像を適切に表示することができなかった。
【0005】
そこで、本発明は、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供しようとするものである。
【課題を解決するための手段】
【0006】
周辺監視装置は、車載カメラにより撮影された周辺映像を表示する装置であって、周辺映像を表示する表示部と、運転操作の意図を検知する検知部と、運転操作の実施を判定する判定部と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示部を制御する表示制御部とを備える。
【0007】
この発明によれば、運転操作の意図が検知されると、周辺映像が縮小表示され、運転操作が開始されると、周辺映像が拡大表示され、運転操作が収束すると、周辺映像の表示が終了する。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【0008】
また、表示制御部は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示部を制御してもよい。これにより、運転者のニーズを見越して周辺映像と他の情報を適切に表示することができる。
【0009】
また、判定部は、運転操作に関する操作値を所定の閾値と比較して、運転操作の開始または収束を判定してもよい。これにより、運転操作の開始または収束を適切に判定することができる。
【0010】
また、閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、判定部は、閾値を操作値が上回る場合に、運転操作が開始したと判定してもよい。これにより、運転操作の意図に沿う操作が検知された時点までの期間に基づいて、運転操作の開始を適切に判定することができる。この期間が短いほど閾値を小さな値に設定することで、周辺映像のニーズが特に高い場合に、周辺映像を早いタイミングで拡大表示することができる。
【0011】
また、閾値は、運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、判定部は、閾値を操作値が下回る場合に、運転操作が収束したと判定してもよい。これにより、周辺映像のニーズが低くなると、周辺映像の表示を終了して他の情報を表示することができる。
【0012】
また、運転操作は、車両の進路または進行方向を変更するための操作であり、周辺映像は、車両の側方映像であってもよい。これにより、車両の進路または進行方向を変更する際に、運転者のニーズを見越して車両の側方映像を適切に表示することができる。
【0013】
また、判定部は、ステアリング角または車両の速度変化から運転操作の実施を判定してもよい。これにより、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【0014】
また、検知部は、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知してもよい。これにより、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【0015】
また、検知部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知してもよい。これにより、運転操作の意図をより正確に検知することができる。
【0016】
また、判定部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定してもよい。これにより、運転操作の実施をより正確に判定することができる。
【0017】
また、表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイであってもよい。これにより、様々な表示装置において、運転者のニーズを見越して周辺映像を適切に表示することができる。
【発明の効果】
【0018】
本発明によれば、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態に係る周辺監視装置を示すブロック図である。
【図2】第1の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図3A】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3B】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3C】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3D】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3E】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図4】ステアリングの操作状態から運転操作の開始を判定する方法の一例を示す図である。
【図5】ステアリングの操作状態から運転操作の収束を判定する方法の一例を示す図である。
【図6】第2の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図7A】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7B】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7C】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7D】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7E】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図8】車両の速度変化から運転操作の開始を判定する方法の一例を示す図である。
【図9】車両の速度変化から運転操作の収束を判定する方法の一例を示す図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0021】
まず、図1を参照して、本発明の実施形態に係る周辺監視装置10の構成について説明する。周辺監視装置10は、運転操作を支援するために、周辺映像を用いて車両の周辺状況を監視する装置である。図1に示すように、周辺監視装置10は、周辺監視カメラ11(車載カメラ)、視線追跡カメラ12、ナビゲーション装置13、レーダー装置14、表示装置15(表示部)、ECU(Electronic Control Unit)20を含む。
【0022】
周辺監視カメラ11は、フロントカメラ、リアカメラ、サイドカメラ(いずれも不図示)を含み、車両の周辺状況を撮影し、周辺映像信号として出力する。視線追跡カメラ12は、運転席(不図示)上方に配置され、運転者の顔面を撮影し、撮影した画像から視線移動を検出し、視線移動信号として出力する。
【0023】
ナビゲーション装置13は、GPS(Ground Positioning System)情報、地図情報に基づいて、現在位置の特定、走行予定経路の設定、道路情報、地図情報の検索などに利用される。レーダー装置14は、車両の周辺物体(静止物体、移動物体)の検出、周辺物体との距離・相対速度の検出などに利用される。
【0024】
表示装置15は、車載モニタ15a、インナーミラー15b、またはフロントウィンドウディスプレイ(不図示)などである。車載モニタ15aは、運転席前方に配置され、通常、モニタ面の全体にナビゲーション映像などを表示し、必要に応じて少なくとも一部に周辺映像を表示する。インナーミラー15bは、運転席上方のルーフ(不図示)に配置され、必要に応じて反射状態を調節したミラー面の少なくとも一部に周辺映像を表示する。フロントウィンドウディスプレイ(ヘッドアップディスプレイ)は、必要に応じてウィンドウ面の少なくとも一部に周辺映像を投影して表示する。
【0025】
ECU20は、運転操作の意図および実施に応じて、運転者のニーズを見越して周辺映像を適切に表示するように表示装置15を制御する。運転操作としては、車両の進路または進行方向の変更、前進後退、発進・駐停車などが挙げられるが、以下では、進路または進行方向を変更する場合について説明する。また、周辺映像として、車両前方、後方、側方の映像、車両全体の鳥瞰映像などが挙げられるが、以下では、車両の側方映像を表示する場合について説明する。ここで、側方映像は、車両側方の領域のうち、運転席から死角領域となる領域を含む映像を意味する。
【0026】
ECU20は、検知部21、判定部22、および表示制御部23を有している。ECU20には、ウィンカ(不図示)の操作状態、視線追跡カメラ12の検出結果、ステアリング(不図示)の操作状態(ステアリング角)、速度センサ(不図示)の検出結果(車両の速度)、レーダー装置14の検出結果(レーダー情報)を示す信号が供給される。
【0027】
検知部21は、運転者による運転操作の意図を検知する。運転操作の意図は、ウィンカの操作状態から検知される。左ウィンカおよび右ウィンカの操作に応じて、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。
【0028】
また、運転操作の意図は、運転者の視線移動から検知されてもよい。ここで、視線移動は、視線追跡カメラ12の視線移動信号に基づいて検知される。運転者の視線が左サイドミラーを含む車両の左側方および右サイドミラーを含む車両の右側方に移動する傾向にあるときに、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。運転操作の意図は、ナビゲーション情報(設定経路情報、道路情報、車線情報、交差点情報など)、レーダー情報(周辺物体の距離、相対速度など)を考慮して検知されてもよい。
【0029】
判定部22は、運転者による運転操作の実施を判定する。運転操作の実施は、ステアリングの操作状態から判定される。判定部22は、ステアリング角(操作値)を所定の閾値と比較し、運転操作の開始または収束を判定する。また、運転操作の実施は、車両の速度変化(操作値)から判定されてもよい。判定部22は、速度センサの検出値の変化を所定の閾値と比較し、運転操作の開始または収束を判定する。ここで、運転操作の収束は、運転操作が終了する前の状態であり、例えば、運転操作の開始と共に増加または減少し始める操作値が減少または増加し始める状態を意味する。運転操作の実施は、ナビゲーション情報(設定経路情報、道路情報、車線情報、交差点情報など)、レーダー情報(周辺車両の車間距離、相対速度など)を考慮して判定されてもよい。
【0030】
表示制御部23は、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置15を制御する。特に、表示制御部23は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示装置15を制御することが好ましい。
【0031】
つぎに、図2〜図5を参照して、第1の実施形態に係る周辺監視装置10の動作について説明する。図2は、第1の実施形態に係る周辺監視装置10の動作を示すフロー図である。図3A〜3Eは、第1の実施形態に係る車載モニタ15aの表示状態を示す図である。図4および図5は、ステアリングの操作状態から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【0032】
ここでは、ウィンカの操作状態から進路または進行方向を変更するための運転操作の意図を検知し、ステアリング角から運転操作の実施を判定し、車載モニタ15aに側方映像31を表示する場合を想定している。
【0033】
周辺監視装置10は、図2に示す処理を車両の走行中に所定の動作周期で繰り返す。表示制御部23は、ウィンカの操作状態から運転操作の意図が検知されるまで、側方映像31とは異なるナビゲーション映像32をモニタ面全体に表示する(ステップS11)ように、車載モニタ15aを制御する(図3A参照)。なお、ナビゲーション映像32は、図2に示す処理中にリアルタイムで変化するものとする。
【0034】
検知部21が運転操作の意図を検知すると(ステップS12でYes)、表示制御部23は、ナビゲーション映像32に重畳して側方映像31をモニタ面の一部に縮小表示する(ステップS13)ように、車載モニタ15aを制御する(図3B参照)。なお、側方映像31も、図2に示す処理中にリアルタイムで変化するものとする。ここで、左ウィンカおよび右ウィンカの操作に応じて左側および右側の側方映像31がそれぞれに表示される。なお、運転操作の意図が検知されなければ(ステップS12でNo)、ナビゲーション映像32がモニタ面全体に継続して表示される(図3A参照)。これにより、運転者は、進路または進行方向を変更するための運転操作を意図する(ウィンカを倒す)まで、ナビゲーション映像32を確認でき、運転操作を意図すると、車両側方の状況をおおむね確認できる。
【0035】
側方映像31が縮小表示されると、判定部22は、ステアリング角と第1の閾値の比較を通じて運転操作の開始を判定する(ステップS14)。判定部22は、例えば、ステアリング角が第1の閾値を上回ると、運転操作が開始したと判定し(ステップS14でYes)、表示制御部23は、側方映像31をモニタ面に拡大表示する(ステップS15)ように、車載モニタ15aを制御する(図3C参照)。側方映像31は、モニタ面の一部に拡大表示されてもよく、モニタ面全体に拡大表示されてもよい。
【0036】
なお、運転操作が開始したと判定されなければ(ステップS14でNo)、側方映像31がモニタ面に継続して縮小表示される(図3B参照)。また、側方映像31が縮小表示された後に、ウィンカが元に戻されると、ナビゲーション映像32がモニタ面全体に再び表示される(図3A参照)。これにより、運転者は、進路または進行方向を変更するための運転操作を開始する(ステアリング角が第1の閾値を上回るまでステアリングを切る)と、車両側方の状況を詳細に確認できる。
【0037】
側方映像31が拡大表示されると、判定部22は、ステアリング角と第2の閾値の比較を通じて運転操作の収束を判定する(ステップS16)。判定部22は、例えば、ステアリング角が第2の閾値を下回ると、運転操作が収束したと判定し(ステップS16でYes)、表示制御部23は、側方映像31の表示を終了してナビゲーション映像32をモニタ全面に表示する(ステップS17)ように、車載モニタ15aを制御する(図3D、3E参照)。
【0038】
なお、運転操作が収束したと判定されなければ(ステップS16でNo)、側方映像31がモニタ面に継続して拡大表示される(図3C参照)。これにより、運転者は、進路または進行方向を変更するための運転操作を収束する(ステアリング角が第2の閾値を下回るまでステアリングを戻す)と、従前のとおりナビゲーション映像32を確認できる。
【0039】
ここで、第1および第2の閾値は、互いに異なる値に設定されてもよく、共通の値に設定されてもよい。第1の閾値は、ステアリングを多少切った状態での値に設定されるが、具体的には、同一車線内で有意な進路変更を開始するための値に設定されてもよく、車線変更を伴う進路変更を開始するための値に設定されてもよい。第2の閾値は、進路または進行方向の変更を収束するための値に設定されてもよく、進路または進行方向の変更を終了するための値(直進走行時のステアリング角)に設定されてもよい。
【0040】
第1の閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点(ステアリングを切り始めた時点)までの期間に応じて設定されてもよい。これにより、進路または進行方向の変更状況に応じて、側方映像31を拡大表示するタイミングを調節することができる。
【0041】
第1の閾値は、図4に示すように、この期間が短いほど小さな値に設定されることが好ましい。つまり、図4(b)では、図4(a)に示す場合と比べて、ウィンカの操作からステアリングの切り始めまでの期間が短い(t2<t1)ので、図4(a)、(b)に示す場合では、第1の閾値がα1a、α1b(<α1a)にそれぞれ設定される。よって、図4(a)に示す場合では、ステアリング角αaが第1の閾値α1aを上回るまで、側方映像31が拡大表示されないが、図4(b)に示す場合では、ステアリング角αbが第1の閾値α1b(<α1a)を上回れば、側方映像31が拡大表示される。
【0042】
これは、この期間が短いほど運転者による状況判断が不十分となり易く、それを補うために側方映像31のニーズが高くなるためである。これにより、側方映像31のニーズが特に高い場合に、側方映像31を早いタイミングで拡大表示することができる。
【0043】
第2の閾値は、図5に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化するステアリング角の最大値に相当する値に設定されてもよい。つまり、第2の閾値が運転操作の開始から連続して変化するステアリング角の最大値α2に設定され、ステアリング角αが第2の閾値α2を越えなくなる(つまりステアリングを戻し始めると)と、側方映像31の表示が終了されてナビゲーション映像32が表示される。
【0044】
これは、進路または進行方向の変更に際しては、側方車両などの巻き込みを防止するために、ステアリングを切る期間の方がステアリングを戻す期間よりも、側方映像31のニーズが高くなるためである。これにより、側方映像31のニーズが低くなると、側方映像31の表示を終了してナビゲーション映像32を表示することができる。
【0045】
ここで、ステアリングの操作状態から運転操作の開始または収束を判定する場合には、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、ステアリングの操作状態のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となるステアリング角を正確に推定することができる。さらに、これらの情報を用いて第1および第2の閾値を調節することで、ナビゲーション映像および周辺映像を適切に表示することができる。
【0046】
つぎに、図6〜図9を参照して、第2の実施形態に係る周辺監視装置10の動作について説明する。図6は、第2の実施形態に係る周辺監視装置10の動作を示すフロー図である。図7A〜7Eは、第2の実施形態に係るインナーミラー15bの表示状態を示す図である。図8および図9は、車両の速度変化から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【0047】
ここでは、運転者の視線移動から進路または進行方向を変更するための運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定し、インナーミラー15bに側方映像31を表示する場合を想定している。なお、以下では、第1の実施形態と重複する説明を省略する。
【0048】
インナーミラー15bは、運転者の視線移動から運転操作の意図が検知されるまで、側方映像31とは異なる車両後方の状況33をミラー面全体に写している(ステップS21)(図7A参照)。なお、車両後方の状況33は、図6に示す処理中にリアルタイムで変化するものとする。
【0049】
ECU20が運転操作の意図を検知すると(ステップS22でYes)、インナーミラー15bは、車両後方の状況33に重畳して側方映像31をミラー面の一部に縮小表示する(ステップS22)(図7B参照)。なお、側方映像31は、図6に示す処理中にリアルタイムで変化するものとする。第2の実施形態では、特に、ナビゲーション情報およびレーダー情報を考慮して運転操作の意図を検知することが好ましい。これにより、視線移動のみから検知する場合よりも運転操作の意図を確実に検知できる。なお、運転操作の意図が検知されなければ(ステップS22でNo)、インナーミラー15bは、車両後方の状況33をミラー面全体に継続して表示する(ステップS23)(図7A参照)。
【0050】
側方映像31が縮小表示されると、ECU20は、車両の速度変化と第1の閾値の比較を通じて運転操作の開始を判定する(ステップS24)。ECU20は、例えば、速度変化が第1の閾値を上回ると、運転操作が開始したと判定し(ステップS24でYes)、インナーミラー15bは、側方映像31をミラー面に拡大表示する(ステップS25)(図7C参照)。
【0051】
側方映像31が拡大表示されると、ECU20は、車両の速度変化と第2の閾値の比較を通じて運転操作の収束を判定する(ステップS26)。ECU20は、例えば、速度変化が第2の閾値を上回ると、運転操作が収束したと判定し(ステップS26でYes)、インナーミラー15bは、側方映像31の表示を終了して車両後方の状況33をミラー面全体に表示する(ステップS27)(図7D、7E参照)。
【0052】
ここで、第1の閾値は、進路または進行方向の変更を開始する際に必要となる速度変化に応じて設定される。これは、進路の変更を開始する際に、先行車を追い越すための加速、または隣接する車線に割り込むための減速がしばしば必要となり、進行方向の変更を開始する際に、右左折するための速度変化がしばしば必要となるためである。このために、第1の閾値は、速度変化がこの閾値を上回る(つまり速度変化が大きい)と、進路または進行方向を変更する運転操作が開始したと判定されることになる。
【0053】
同様に、第2の閾値は、進路または進行方向の変更を収束する際に必要となる速度変化に応じて設定される。これは、進路または進行方向の変更を開始した後に収束する際に、車両速度を元の状態に復帰させるための速度変化がしばしば必要となるためである。このために、第2の閾値は、速度変化がこの閾値を下回る(速度変化が小さい)と、進路または進行方向を変更する運転操作が収束したと判定されることになる。
【0054】
第2の実施形態でも、第1の閾値は、図8に示すように、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点(速度変化を始めた時点)までの期間に応じて設定されてもよい。つまり、図8(a)に示す場合では、この期間がt1であり速度変化Δaが第1の閾値Δ1aを上回るまで、側方映像31が拡大表示されないが、図8(b)に示す場合では、この期間がt2(<t1)であり速度変化Δbが第1の閾値Δ1b(<Δ1a)を上回れば、側方映像31が拡大表示される。この期間が短いほど第1の閾値を小さな値に設定することで、側方映像31のニーズが特に高い場合に、側方映像31を早いタイミングで拡大表示することができる。
【0055】
また、第2の閾値は、図9に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化する速度変化の最大値に相当する値に設定されてもよい。つまり、第2の閾値が運転操作の開始から連続して変化する速度変化の最大値Δ2に設定され、速度変化Δが第2の閾値Δ2を越えなくなる(例えば加速後に減速し始めると)と、側方映像31の表示が終了される。第2の閾値を速度変化の最大値に設定することで、側方映像31のニーズが低くなると、側方映像31の表示を終了して車両後方の状況33を写すことができる。
【0056】
ここで、車両の速度変化から運転操作の開始または収束を判定する場合には、特に、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、車両速度の変化のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となる速度変化を正確に推定することができる。さらに、これらの情報を用いて第1および第2の閾値を調節することで、後方の状況33および周辺映像を適切に表示することができる。
【0057】
以上説明したように、本発明の実施形態に係る周辺監視装置10によれば、車両の進路または進行方向を変更するための運転操作の意図が検知されると、側方映像31が縮小表示され、運転操作が開始されると、側方映像31が拡大表示され、運転操作が収束すると、側方映像31の表示が終了する。よって、運転操作の開始前に側方映像31の表示を開始し、運転操作の終了前に側方映像31の表示を終了するので、運転者のニーズを見越して側方映像31を適切に表示することができる。
【0058】
また、運転操作の意図が検知されるまで、側方映像31とは異なる他の情報(ナビゲーション映像32、後方の状況33)を表示し、運転操作の意図が検知されると、他の情報に重畳して側方映像31を縮小表示し、運転操作が開始すると、側方映像31を拡大表示し、運転操作が収束すると、側方映像31の表示を終了して他の情報を表示することで、運転者のニーズを見越して側方映像31と他の情報を適切に表示することができる。
【0059】
また、運転操作に関する操作値(ステアリング角、車両の速度変化)を所定の閾値と比較して、運転操作の開始または収束を判定することで、車両の進路または進行方向を変更する際に、運転操作の開始または収束を適切に判定することができる。
【0060】
また、運転操作の意図に沿う操作が検知された時点までの期間に応じて閾値(第1の閾値)を設定し、閾値を操作値が上回る場合に、運転操作が開始したと判定することで、運転操作の開始を適切に判定することができる。この期間が短いほど小さな値に閾値を設定することで、側方映像31のニーズが特に高い場合に、側方映像31を早いタイミングで拡大表示することができる。
【0061】
また、運転操作に際して連続して変化する操作値の最大値に相当するように閾値(第2の閾値)を設定し、閾値を操作値が下回る場合に、運転操作が収束したと判定することで、側方映像31のニーズが低くなると、側方映像31の表示を終了して他の情報を表示することができる。
【0062】
また、ステアリング角または車両の速度変化から運転操作の実施を判定することで、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【0063】
また、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知することで、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【0064】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知することで、運転操作の意図をより正確に検知することができる。
【0065】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定することで、運転操作の実施をより正確に判定することができる。
【0066】
また、車載モニタ15a、インナーミラー15b、またはフロントウィンドウディスプレイを制御することで、様々な表示装置15において、運転者のニーズを見越して側方映像31を適切に表示することができる。
【0067】
なお、前述した実施形態は、本発明に係る周辺監視装置10の最良な実施形態を説明したものであり、本発明に係る周辺監視装置10は、本実施形態に記載したものに限定されるものではない。本発明に係る周辺監視装置10は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る周辺監視装置10を変形し、または他のものに適用したものであってもよい。
【0068】
例えば、本発明は、前述した方法に従って、運転者のニーズを見越して周辺映像を適切に表示するためのプログラム、または当該プログラムを記憶しているコンピュータ読取可能な記録媒体にも同様に適用できる。
【0069】
また、上記実施形態の説明では、ウィンカの操作状態から運転操作の意図を検知し、ステアリング角から運転操作の実施を判定する場合と、運転者の視線移動から運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定する場合とを想定した。しかし、これらの組合せは、ウィンカの操作状態と車両の速度変化の組合せ、運転者の視線移動とステアリング角の組合せについても、同様に説明することができる。
【0070】
また、上記実施形態の説明では、車両の進路または進行方向を変更するための運転操作に際して、側方映像を表示する場合について説明した。しかし、車両の前進後退、発進・駐停車するための運転操作に際して、前方映像、後方映像、側方映像、鳥瞰図映像などを表示する場合についても、同様に説明することができる。
【0071】
また、上記実施形態の説明では、運転者のニーズを見越して周辺映像とナビゲーション映像を適切に表示する場合について説明したが、ナビゲーション映像に代えて、オーディオ情報などを表示する場合についても、同様に説明することができる。
【0072】
また、上記実施形態の説明では、車載モニタ15aおよびインナーミラー15bに周辺映像を表示する場合について説明したが、フロントウィンドウディスプレイに周辺映像を表示する場合についても、同様に説明することができる。
【符号の説明】
【0073】
10…周辺監視装置、11…周辺監視カメラ、12…視線追跡カメラ、13…ナビゲーション装置、14…レーダー装置、15…表示装置、20…ECU、21…検知部、22…判定部、23…表示制御部、31…周辺映像、32…ナビゲーション映像、33…車両後方の状況
【技術分野】
【0001】
本発明は、車載カメラにより撮影された周辺映像を表示する周辺監視装置に関する。
【背景技術】
【0002】
従来、車載カメラにより撮影された周辺映像をナビゲーション情報などとともに表示する周辺監視装置が知られている。例えば特開2001−006097号公報には、運転操作に応じて車両の進行方向に対応する周辺映像を大きく表示する運転支援措置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−006097号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、このような運転支援装置では、車両の進行方向に対応する周辺映像を表示し続けるので、運転者が他の情報を確認したくても十分に確認できないことがあった。つまり、運転者のニーズを見越して周辺映像を適切に表示することができなかった。
【0005】
そこで、本発明は、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供しようとするものである。
【課題を解決するための手段】
【0006】
周辺監視装置は、車載カメラにより撮影された周辺映像を表示する装置であって、周辺映像を表示する表示部と、運転操作の意図を検知する検知部と、運転操作の実施を判定する判定部と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示部を制御する表示制御部とを備える。
【0007】
この発明によれば、運転操作の意図が検知されると、周辺映像が縮小表示され、運転操作が開始されると、周辺映像が拡大表示され、運転操作が収束すると、周辺映像の表示が終了する。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【0008】
また、表示制御部は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示部を制御してもよい。これにより、運転者のニーズを見越して周辺映像と他の情報を適切に表示することができる。
【0009】
また、判定部は、運転操作に関する操作値を所定の閾値と比較して、運転操作の開始または収束を判定してもよい。これにより、運転操作の開始または収束を適切に判定することができる。
【0010】
また、閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、判定部は、閾値を操作値が上回る場合に、運転操作が開始したと判定してもよい。これにより、運転操作の意図に沿う操作が検知された時点までの期間に基づいて、運転操作の開始を適切に判定することができる。この期間が短いほど閾値を小さな値に設定することで、周辺映像のニーズが特に高い場合に、周辺映像を早いタイミングで拡大表示することができる。
【0011】
また、閾値は、運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、判定部は、閾値を操作値が下回る場合に、運転操作が収束したと判定してもよい。これにより、周辺映像のニーズが低くなると、周辺映像の表示を終了して他の情報を表示することができる。
【0012】
また、運転操作は、車両の進路または進行方向を変更するための操作であり、周辺映像は、車両の側方映像であってもよい。これにより、車両の進路または進行方向を変更する際に、運転者のニーズを見越して車両の側方映像を適切に表示することができる。
【0013】
また、判定部は、ステアリング角または車両の速度変化から運転操作の実施を判定してもよい。これにより、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【0014】
また、検知部は、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知してもよい。これにより、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【0015】
また、検知部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知してもよい。これにより、運転操作の意図をより正確に検知することができる。
【0016】
また、判定部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定してもよい。これにより、運転操作の実施をより正確に判定することができる。
【0017】
また、表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイであってもよい。これにより、様々な表示装置において、運転者のニーズを見越して周辺映像を適切に表示することができる。
【発明の効果】
【0018】
本発明によれば、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態に係る周辺監視装置を示すブロック図である。
【図2】第1の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図3A】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3B】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3C】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3D】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図3E】第1の実施形態に係る車載モニタの表示状態を示す図である。
【図4】ステアリングの操作状態から運転操作の開始を判定する方法の一例を示す図である。
【図5】ステアリングの操作状態から運転操作の収束を判定する方法の一例を示す図である。
【図6】第2の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図7A】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7B】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7C】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7D】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図7E】第2の実施形態に係るインナーミラーの表示状態を示す図である。
【図8】車両の速度変化から運転操作の開始を判定する方法の一例を示す図である。
【図9】車両の速度変化から運転操作の収束を判定する方法の一例を示す図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0021】
まず、図1を参照して、本発明の実施形態に係る周辺監視装置10の構成について説明する。周辺監視装置10は、運転操作を支援するために、周辺映像を用いて車両の周辺状況を監視する装置である。図1に示すように、周辺監視装置10は、周辺監視カメラ11(車載カメラ)、視線追跡カメラ12、ナビゲーション装置13、レーダー装置14、表示装置15(表示部)、ECU(Electronic Control Unit)20を含む。
【0022】
周辺監視カメラ11は、フロントカメラ、リアカメラ、サイドカメラ(いずれも不図示)を含み、車両の周辺状況を撮影し、周辺映像信号として出力する。視線追跡カメラ12は、運転席(不図示)上方に配置され、運転者の顔面を撮影し、撮影した画像から視線移動を検出し、視線移動信号として出力する。
【0023】
ナビゲーション装置13は、GPS(Ground Positioning System)情報、地図情報に基づいて、現在位置の特定、走行予定経路の設定、道路情報、地図情報の検索などに利用される。レーダー装置14は、車両の周辺物体(静止物体、移動物体)の検出、周辺物体との距離・相対速度の検出などに利用される。
【0024】
表示装置15は、車載モニタ15a、インナーミラー15b、またはフロントウィンドウディスプレイ(不図示)などである。車載モニタ15aは、運転席前方に配置され、通常、モニタ面の全体にナビゲーション映像などを表示し、必要に応じて少なくとも一部に周辺映像を表示する。インナーミラー15bは、運転席上方のルーフ(不図示)に配置され、必要に応じて反射状態を調節したミラー面の少なくとも一部に周辺映像を表示する。フロントウィンドウディスプレイ(ヘッドアップディスプレイ)は、必要に応じてウィンドウ面の少なくとも一部に周辺映像を投影して表示する。
【0025】
ECU20は、運転操作の意図および実施に応じて、運転者のニーズを見越して周辺映像を適切に表示するように表示装置15を制御する。運転操作としては、車両の進路または進行方向の変更、前進後退、発進・駐停車などが挙げられるが、以下では、進路または進行方向を変更する場合について説明する。また、周辺映像として、車両前方、後方、側方の映像、車両全体の鳥瞰映像などが挙げられるが、以下では、車両の側方映像を表示する場合について説明する。ここで、側方映像は、車両側方の領域のうち、運転席から死角領域となる領域を含む映像を意味する。
【0026】
ECU20は、検知部21、判定部22、および表示制御部23を有している。ECU20には、ウィンカ(不図示)の操作状態、視線追跡カメラ12の検出結果、ステアリング(不図示)の操作状態(ステアリング角)、速度センサ(不図示)の検出結果(車両の速度)、レーダー装置14の検出結果(レーダー情報)を示す信号が供給される。
【0027】
検知部21は、運転者による運転操作の意図を検知する。運転操作の意図は、ウィンカの操作状態から検知される。左ウィンカおよび右ウィンカの操作に応じて、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。
【0028】
また、運転操作の意図は、運転者の視線移動から検知されてもよい。ここで、視線移動は、視線追跡カメラ12の視線移動信号に基づいて検知される。運転者の視線が左サイドミラーを含む車両の左側方および右サイドミラーを含む車両の右側方に移動する傾向にあるときに、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。運転操作の意図は、ナビゲーション情報(設定経路情報、道路情報、車線情報、交差点情報など)、レーダー情報(周辺物体の距離、相対速度など)を考慮して検知されてもよい。
【0029】
判定部22は、運転者による運転操作の実施を判定する。運転操作の実施は、ステアリングの操作状態から判定される。判定部22は、ステアリング角(操作値)を所定の閾値と比較し、運転操作の開始または収束を判定する。また、運転操作の実施は、車両の速度変化(操作値)から判定されてもよい。判定部22は、速度センサの検出値の変化を所定の閾値と比較し、運転操作の開始または収束を判定する。ここで、運転操作の収束は、運転操作が終了する前の状態であり、例えば、運転操作の開始と共に増加または減少し始める操作値が減少または増加し始める状態を意味する。運転操作の実施は、ナビゲーション情報(設定経路情報、道路情報、車線情報、交差点情報など)、レーダー情報(周辺車両の車間距離、相対速度など)を考慮して判定されてもよい。
【0030】
表示制御部23は、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置15を制御する。特に、表示制御部23は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示装置15を制御することが好ましい。
【0031】
つぎに、図2〜図5を参照して、第1の実施形態に係る周辺監視装置10の動作について説明する。図2は、第1の実施形態に係る周辺監視装置10の動作を示すフロー図である。図3A〜3Eは、第1の実施形態に係る車載モニタ15aの表示状態を示す図である。図4および図5は、ステアリングの操作状態から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【0032】
ここでは、ウィンカの操作状態から進路または進行方向を変更するための運転操作の意図を検知し、ステアリング角から運転操作の実施を判定し、車載モニタ15aに側方映像31を表示する場合を想定している。
【0033】
周辺監視装置10は、図2に示す処理を車両の走行中に所定の動作周期で繰り返す。表示制御部23は、ウィンカの操作状態から運転操作の意図が検知されるまで、側方映像31とは異なるナビゲーション映像32をモニタ面全体に表示する(ステップS11)ように、車載モニタ15aを制御する(図3A参照)。なお、ナビゲーション映像32は、図2に示す処理中にリアルタイムで変化するものとする。
【0034】
検知部21が運転操作の意図を検知すると(ステップS12でYes)、表示制御部23は、ナビゲーション映像32に重畳して側方映像31をモニタ面の一部に縮小表示する(ステップS13)ように、車載モニタ15aを制御する(図3B参照)。なお、側方映像31も、図2に示す処理中にリアルタイムで変化するものとする。ここで、左ウィンカおよび右ウィンカの操作に応じて左側および右側の側方映像31がそれぞれに表示される。なお、運転操作の意図が検知されなければ(ステップS12でNo)、ナビゲーション映像32がモニタ面全体に継続して表示される(図3A参照)。これにより、運転者は、進路または進行方向を変更するための運転操作を意図する(ウィンカを倒す)まで、ナビゲーション映像32を確認でき、運転操作を意図すると、車両側方の状況をおおむね確認できる。
【0035】
側方映像31が縮小表示されると、判定部22は、ステアリング角と第1の閾値の比較を通じて運転操作の開始を判定する(ステップS14)。判定部22は、例えば、ステアリング角が第1の閾値を上回ると、運転操作が開始したと判定し(ステップS14でYes)、表示制御部23は、側方映像31をモニタ面に拡大表示する(ステップS15)ように、車載モニタ15aを制御する(図3C参照)。側方映像31は、モニタ面の一部に拡大表示されてもよく、モニタ面全体に拡大表示されてもよい。
【0036】
なお、運転操作が開始したと判定されなければ(ステップS14でNo)、側方映像31がモニタ面に継続して縮小表示される(図3B参照)。また、側方映像31が縮小表示された後に、ウィンカが元に戻されると、ナビゲーション映像32がモニタ面全体に再び表示される(図3A参照)。これにより、運転者は、進路または進行方向を変更するための運転操作を開始する(ステアリング角が第1の閾値を上回るまでステアリングを切る)と、車両側方の状況を詳細に確認できる。
【0037】
側方映像31が拡大表示されると、判定部22は、ステアリング角と第2の閾値の比較を通じて運転操作の収束を判定する(ステップS16)。判定部22は、例えば、ステアリング角が第2の閾値を下回ると、運転操作が収束したと判定し(ステップS16でYes)、表示制御部23は、側方映像31の表示を終了してナビゲーション映像32をモニタ全面に表示する(ステップS17)ように、車載モニタ15aを制御する(図3D、3E参照)。
【0038】
なお、運転操作が収束したと判定されなければ(ステップS16でNo)、側方映像31がモニタ面に継続して拡大表示される(図3C参照)。これにより、運転者は、進路または進行方向を変更するための運転操作を収束する(ステアリング角が第2の閾値を下回るまでステアリングを戻す)と、従前のとおりナビゲーション映像32を確認できる。
【0039】
ここで、第1および第2の閾値は、互いに異なる値に設定されてもよく、共通の値に設定されてもよい。第1の閾値は、ステアリングを多少切った状態での値に設定されるが、具体的には、同一車線内で有意な進路変更を開始するための値に設定されてもよく、車線変更を伴う進路変更を開始するための値に設定されてもよい。第2の閾値は、進路または進行方向の変更を収束するための値に設定されてもよく、進路または進行方向の変更を終了するための値(直進走行時のステアリング角)に設定されてもよい。
【0040】
第1の閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点(ステアリングを切り始めた時点)までの期間に応じて設定されてもよい。これにより、進路または進行方向の変更状況に応じて、側方映像31を拡大表示するタイミングを調節することができる。
【0041】
第1の閾値は、図4に示すように、この期間が短いほど小さな値に設定されることが好ましい。つまり、図4(b)では、図4(a)に示す場合と比べて、ウィンカの操作からステアリングの切り始めまでの期間が短い(t2<t1)ので、図4(a)、(b)に示す場合では、第1の閾値がα1a、α1b(<α1a)にそれぞれ設定される。よって、図4(a)に示す場合では、ステアリング角αaが第1の閾値α1aを上回るまで、側方映像31が拡大表示されないが、図4(b)に示す場合では、ステアリング角αbが第1の閾値α1b(<α1a)を上回れば、側方映像31が拡大表示される。
【0042】
これは、この期間が短いほど運転者による状況判断が不十分となり易く、それを補うために側方映像31のニーズが高くなるためである。これにより、側方映像31のニーズが特に高い場合に、側方映像31を早いタイミングで拡大表示することができる。
【0043】
第2の閾値は、図5に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化するステアリング角の最大値に相当する値に設定されてもよい。つまり、第2の閾値が運転操作の開始から連続して変化するステアリング角の最大値α2に設定され、ステアリング角αが第2の閾値α2を越えなくなる(つまりステアリングを戻し始めると)と、側方映像31の表示が終了されてナビゲーション映像32が表示される。
【0044】
これは、進路または進行方向の変更に際しては、側方車両などの巻き込みを防止するために、ステアリングを切る期間の方がステアリングを戻す期間よりも、側方映像31のニーズが高くなるためである。これにより、側方映像31のニーズが低くなると、側方映像31の表示を終了してナビゲーション映像32を表示することができる。
【0045】
ここで、ステアリングの操作状態から運転操作の開始または収束を判定する場合には、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、ステアリングの操作状態のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となるステアリング角を正確に推定することができる。さらに、これらの情報を用いて第1および第2の閾値を調節することで、ナビゲーション映像および周辺映像を適切に表示することができる。
【0046】
つぎに、図6〜図9を参照して、第2の実施形態に係る周辺監視装置10の動作について説明する。図6は、第2の実施形態に係る周辺監視装置10の動作を示すフロー図である。図7A〜7Eは、第2の実施形態に係るインナーミラー15bの表示状態を示す図である。図8および図9は、車両の速度変化から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【0047】
ここでは、運転者の視線移動から進路または進行方向を変更するための運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定し、インナーミラー15bに側方映像31を表示する場合を想定している。なお、以下では、第1の実施形態と重複する説明を省略する。
【0048】
インナーミラー15bは、運転者の視線移動から運転操作の意図が検知されるまで、側方映像31とは異なる車両後方の状況33をミラー面全体に写している(ステップS21)(図7A参照)。なお、車両後方の状況33は、図6に示す処理中にリアルタイムで変化するものとする。
【0049】
ECU20が運転操作の意図を検知すると(ステップS22でYes)、インナーミラー15bは、車両後方の状況33に重畳して側方映像31をミラー面の一部に縮小表示する(ステップS22)(図7B参照)。なお、側方映像31は、図6に示す処理中にリアルタイムで変化するものとする。第2の実施形態では、特に、ナビゲーション情報およびレーダー情報を考慮して運転操作の意図を検知することが好ましい。これにより、視線移動のみから検知する場合よりも運転操作の意図を確実に検知できる。なお、運転操作の意図が検知されなければ(ステップS22でNo)、インナーミラー15bは、車両後方の状況33をミラー面全体に継続して表示する(ステップS23)(図7A参照)。
【0050】
側方映像31が縮小表示されると、ECU20は、車両の速度変化と第1の閾値の比較を通じて運転操作の開始を判定する(ステップS24)。ECU20は、例えば、速度変化が第1の閾値を上回ると、運転操作が開始したと判定し(ステップS24でYes)、インナーミラー15bは、側方映像31をミラー面に拡大表示する(ステップS25)(図7C参照)。
【0051】
側方映像31が拡大表示されると、ECU20は、車両の速度変化と第2の閾値の比較を通じて運転操作の収束を判定する(ステップS26)。ECU20は、例えば、速度変化が第2の閾値を上回ると、運転操作が収束したと判定し(ステップS26でYes)、インナーミラー15bは、側方映像31の表示を終了して車両後方の状況33をミラー面全体に表示する(ステップS27)(図7D、7E参照)。
【0052】
ここで、第1の閾値は、進路または進行方向の変更を開始する際に必要となる速度変化に応じて設定される。これは、進路の変更を開始する際に、先行車を追い越すための加速、または隣接する車線に割り込むための減速がしばしば必要となり、進行方向の変更を開始する際に、右左折するための速度変化がしばしば必要となるためである。このために、第1の閾値は、速度変化がこの閾値を上回る(つまり速度変化が大きい)と、進路または進行方向を変更する運転操作が開始したと判定されることになる。
【0053】
同様に、第2の閾値は、進路または進行方向の変更を収束する際に必要となる速度変化に応じて設定される。これは、進路または進行方向の変更を開始した後に収束する際に、車両速度を元の状態に復帰させるための速度変化がしばしば必要となるためである。このために、第2の閾値は、速度変化がこの閾値を下回る(速度変化が小さい)と、進路または進行方向を変更する運転操作が収束したと判定されることになる。
【0054】
第2の実施形態でも、第1の閾値は、図8に示すように、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点(速度変化を始めた時点)までの期間に応じて設定されてもよい。つまり、図8(a)に示す場合では、この期間がt1であり速度変化Δaが第1の閾値Δ1aを上回るまで、側方映像31が拡大表示されないが、図8(b)に示す場合では、この期間がt2(<t1)であり速度変化Δbが第1の閾値Δ1b(<Δ1a)を上回れば、側方映像31が拡大表示される。この期間が短いほど第1の閾値を小さな値に設定することで、側方映像31のニーズが特に高い場合に、側方映像31を早いタイミングで拡大表示することができる。
【0055】
また、第2の閾値は、図9に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化する速度変化の最大値に相当する値に設定されてもよい。つまり、第2の閾値が運転操作の開始から連続して変化する速度変化の最大値Δ2に設定され、速度変化Δが第2の閾値Δ2を越えなくなる(例えば加速後に減速し始めると)と、側方映像31の表示が終了される。第2の閾値を速度変化の最大値に設定することで、側方映像31のニーズが低くなると、側方映像31の表示を終了して車両後方の状況33を写すことができる。
【0056】
ここで、車両の速度変化から運転操作の開始または収束を判定する場合には、特に、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、車両速度の変化のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となる速度変化を正確に推定することができる。さらに、これらの情報を用いて第1および第2の閾値を調節することで、後方の状況33および周辺映像を適切に表示することができる。
【0057】
以上説明したように、本発明の実施形態に係る周辺監視装置10によれば、車両の進路または進行方向を変更するための運転操作の意図が検知されると、側方映像31が縮小表示され、運転操作が開始されると、側方映像31が拡大表示され、運転操作が収束すると、側方映像31の表示が終了する。よって、運転操作の開始前に側方映像31の表示を開始し、運転操作の終了前に側方映像31の表示を終了するので、運転者のニーズを見越して側方映像31を適切に表示することができる。
【0058】
また、運転操作の意図が検知されるまで、側方映像31とは異なる他の情報(ナビゲーション映像32、後方の状況33)を表示し、運転操作の意図が検知されると、他の情報に重畳して側方映像31を縮小表示し、運転操作が開始すると、側方映像31を拡大表示し、運転操作が収束すると、側方映像31の表示を終了して他の情報を表示することで、運転者のニーズを見越して側方映像31と他の情報を適切に表示することができる。
【0059】
また、運転操作に関する操作値(ステアリング角、車両の速度変化)を所定の閾値と比較して、運転操作の開始または収束を判定することで、車両の進路または進行方向を変更する際に、運転操作の開始または収束を適切に判定することができる。
【0060】
また、運転操作の意図に沿う操作が検知された時点までの期間に応じて閾値(第1の閾値)を設定し、閾値を操作値が上回る場合に、運転操作が開始したと判定することで、運転操作の開始を適切に判定することができる。この期間が短いほど小さな値に閾値を設定することで、側方映像31のニーズが特に高い場合に、側方映像31を早いタイミングで拡大表示することができる。
【0061】
また、運転操作に際して連続して変化する操作値の最大値に相当するように閾値(第2の閾値)を設定し、閾値を操作値が下回る場合に、運転操作が収束したと判定することで、側方映像31のニーズが低くなると、側方映像31の表示を終了して他の情報を表示することができる。
【0062】
また、ステアリング角または車両の速度変化から運転操作の実施を判定することで、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【0063】
また、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知することで、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【0064】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知することで、運転操作の意図をより正確に検知することができる。
【0065】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定することで、運転操作の実施をより正確に判定することができる。
【0066】
また、車載モニタ15a、インナーミラー15b、またはフロントウィンドウディスプレイを制御することで、様々な表示装置15において、運転者のニーズを見越して側方映像31を適切に表示することができる。
【0067】
なお、前述した実施形態は、本発明に係る周辺監視装置10の最良な実施形態を説明したものであり、本発明に係る周辺監視装置10は、本実施形態に記載したものに限定されるものではない。本発明に係る周辺監視装置10は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る周辺監視装置10を変形し、または他のものに適用したものであってもよい。
【0068】
例えば、本発明は、前述した方法に従って、運転者のニーズを見越して周辺映像を適切に表示するためのプログラム、または当該プログラムを記憶しているコンピュータ読取可能な記録媒体にも同様に適用できる。
【0069】
また、上記実施形態の説明では、ウィンカの操作状態から運転操作の意図を検知し、ステアリング角から運転操作の実施を判定する場合と、運転者の視線移動から運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定する場合とを想定した。しかし、これらの組合せは、ウィンカの操作状態と車両の速度変化の組合せ、運転者の視線移動とステアリング角の組合せについても、同様に説明することができる。
【0070】
また、上記実施形態の説明では、車両の進路または進行方向を変更するための運転操作に際して、側方映像を表示する場合について説明した。しかし、車両の前進後退、発進・駐停車するための運転操作に際して、前方映像、後方映像、側方映像、鳥瞰図映像などを表示する場合についても、同様に説明することができる。
【0071】
また、上記実施形態の説明では、運転者のニーズを見越して周辺映像とナビゲーション映像を適切に表示する場合について説明したが、ナビゲーション映像に代えて、オーディオ情報などを表示する場合についても、同様に説明することができる。
【0072】
また、上記実施形態の説明では、車載モニタ15aおよびインナーミラー15bに周辺映像を表示する場合について説明したが、フロントウィンドウディスプレイに周辺映像を表示する場合についても、同様に説明することができる。
【符号の説明】
【0073】
10…周辺監視装置、11…周辺監視カメラ、12…視線追跡カメラ、13…ナビゲーション装置、14…レーダー装置、15…表示装置、20…ECU、21…検知部、22…判定部、23…表示制御部、31…周辺映像、32…ナビゲーション映像、33…車両後方の状況
【特許請求の範囲】
【請求項1】
車載カメラにより撮影された周辺映像を表示する周辺監視装置であって、
前記周辺映像を表示する表示部と、
運転操作の意図を検知する検知部と、
前記運転操作の実施を判定する判定部と、
前記運転操作の意図が検知されると、前記周辺映像を縮小表示し、前記運転操作が開始されると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了するように、前記表示部を制御する表示制御部と、
を備える周辺監視装置。
【請求項2】
前記表示制御部が、前記運転操作の意図が検知されるまで、前記周辺映像とは異なる他の情報を表示し、前記運転操作の意図が検知されると、前記他の情報に重畳して前記周辺映像を縮小表示し、前記運転操作が開始すると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了して前記他の情報を表示するように、前記表示部を制御する、請求項1に記載の周辺監視装置。
【請求項3】
前記判定部が、前記運転操作に関する操作値を所定の閾値と比較して、前記運転操作の開始または収束を判定する、請求項1または2に記載の周辺監視装置。
【請求項4】
前記閾値が、前記運転操作の意図が検知された時点から、前記運転操作の開始前における前記運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、
前記判定部が、前記閾値を前記操作値が上回る場合に、前記運転操作が開始したと判定する、請求項3に記載の周辺監視装置。
【請求項5】
前記閾値が、前記期間が短いほど小さな値に設定される、請求項4に記載の周辺監視装置。
【請求項6】
前記閾値が、前記運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、
前記判定部が、前記閾値を前記操作値が下回る場合に、前記運転操作が収束したと判定する、請求項3〜5のいずれか一項に記載の周辺監視装置。
【請求項7】
前記運転操作が、車両の進路または進行方向を変更するための操作であり、
前記周辺映像が、前記車両の側方映像である、請求項1〜6のいずれか一項に記載の周辺監視装置。
【請求項8】
前記操作値がステアリング角である、請求項7に記載の周辺監視装置。
【請求項9】
前記操作値が前記車両の速度変化である、請求項7に記載の周辺監視装置。
【請求項10】
前記検知部が、ウィンカの操作状態を検知する、請求項7〜9のいずれか一項に記載の周辺監視装置。
【請求項11】
前記検知部が、運転者の視線移動を検知する、請求項7〜9のいずれか一項に記載の周辺監視装置。
【請求項12】
前記検知部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の意図を検知する、請求項1〜11のいずれか一項に記載の周辺監視装置。
【請求項13】
前記判定部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の実施を判定する、請求項1〜12のいずれか一項に記載の周辺監視装置。
【請求項14】
前記表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイである、請求項1〜13のいずれか一項に記載の周辺監視装置。
【請求項1】
車載カメラにより撮影された周辺映像を表示する周辺監視装置であって、
前記周辺映像を表示する表示部と、
運転操作の意図を検知する検知部と、
前記運転操作の実施を判定する判定部と、
前記運転操作の意図が検知されると、前記周辺映像を縮小表示し、前記運転操作が開始されると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了するように、前記表示部を制御する表示制御部と、
を備える周辺監視装置。
【請求項2】
前記表示制御部が、前記運転操作の意図が検知されるまで、前記周辺映像とは異なる他の情報を表示し、前記運転操作の意図が検知されると、前記他の情報に重畳して前記周辺映像を縮小表示し、前記運転操作が開始すると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了して前記他の情報を表示するように、前記表示部を制御する、請求項1に記載の周辺監視装置。
【請求項3】
前記判定部が、前記運転操作に関する操作値を所定の閾値と比較して、前記運転操作の開始または収束を判定する、請求項1または2に記載の周辺監視装置。
【請求項4】
前記閾値が、前記運転操作の意図が検知された時点から、前記運転操作の開始前における前記運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、
前記判定部が、前記閾値を前記操作値が上回る場合に、前記運転操作が開始したと判定する、請求項3に記載の周辺監視装置。
【請求項5】
前記閾値が、前記期間が短いほど小さな値に設定される、請求項4に記載の周辺監視装置。
【請求項6】
前記閾値が、前記運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、
前記判定部が、前記閾値を前記操作値が下回る場合に、前記運転操作が収束したと判定する、請求項3〜5のいずれか一項に記載の周辺監視装置。
【請求項7】
前記運転操作が、車両の進路または進行方向を変更するための操作であり、
前記周辺映像が、前記車両の側方映像である、請求項1〜6のいずれか一項に記載の周辺監視装置。
【請求項8】
前記操作値がステアリング角である、請求項7に記載の周辺監視装置。
【請求項9】
前記操作値が前記車両の速度変化である、請求項7に記載の周辺監視装置。
【請求項10】
前記検知部が、ウィンカの操作状態を検知する、請求項7〜9のいずれか一項に記載の周辺監視装置。
【請求項11】
前記検知部が、運転者の視線移動を検知する、請求項7〜9のいずれか一項に記載の周辺監視装置。
【請求項12】
前記検知部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の意図を検知する、請求項1〜11のいずれか一項に記載の周辺監視装置。
【請求項13】
前記判定部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の実施を判定する、請求項1〜12のいずれか一項に記載の周辺監視装置。
【請求項14】
前記表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイである、請求項1〜13のいずれか一項に記載の周辺監視装置。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8】
【図9】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8】
【図9】
【公開番号】特開2013−109505(P2013−109505A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−253018(P2011−253018)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
[ Back to top ]