周辺監視装置
【課題】運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供する。
【解決手段】周辺監視カメラ１１により撮影された周辺映像を表示する装置であって、周辺映像を表示する表示装置１５と、運転操作の意図を検知する検知部２１と、運転操作の実施を判定する判定部２２と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置１５を制御する表示制御部２３とを備える。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【解決手段】周辺監視カメラ１１により撮影された周辺映像を表示する装置であって、周辺映像を表示する表示装置１５と、運転操作の意図を検知する検知部２１と、運転操作の実施を判定する判定部２２と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置１５を制御する表示制御部２３とを備える。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにより撮影された周辺映像を表示する周辺監視装置に関する。
【背景技術】
【０００２】
従来、車載カメラにより撮影された周辺映像をナビゲーション情報などとともに表示する周辺監視装置が知られている。例えば特開２００１−００６０９７号公報には、運転操作に応じて車両の進行方向に対応する周辺映像を大きく表示する運転支援措置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−００６０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、このような運転支援装置では、車両の進行方向に対応する周辺映像を表示し続けるので、運転者が他の情報を確認したくても十分に確認できないことがあった。つまり、運転者のニーズを見越して周辺映像を適切に表示することができなかった。
【０００５】
そこで、本発明は、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
周辺監視装置は、車載カメラにより撮影された周辺映像を表示する装置であって、周辺映像を表示する表示部と、運転操作の意図を検知する検知部と、運転操作の実施を判定する判定部と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示部を制御する表示制御部とを備える。
【０００７】
この発明によれば、運転操作の意図が検知されると、周辺映像が縮小表示され、運転操作が開始されると、周辺映像が拡大表示され、運転操作が収束すると、周辺映像の表示が終了する。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【０００８】
また、表示制御部は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示部を制御してもよい。これにより、運転者のニーズを見越して周辺映像と他の情報を適切に表示することができる。
【０００９】
また、判定部は、運転操作に関する操作値を所定の閾値と比較して、運転操作の開始または収束を判定してもよい。これにより、運転操作の開始または収束を適切に判定することができる。
【００１０】
また、閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、判定部は、閾値を操作値が上回る場合に、運転操作が開始したと判定してもよい。これにより、運転操作の意図に沿う操作が検知された時点までの期間に基づいて、運転操作の開始を適切に判定することができる。この期間が短いほど閾値を小さな値に設定することで、周辺映像のニーズが特に高い場合に、周辺映像を早いタイミングで拡大表示することができる。
【００１１】
また、閾値は、運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、判定部は、閾値を操作値が下回る場合に、運転操作が収束したと判定してもよい。これにより、周辺映像のニーズが低くなると、周辺映像の表示を終了して他の情報を表示することができる。
【００１２】
また、運転操作は、車両の進路または進行方向を変更するための操作であり、周辺映像は、車両の側方映像であってもよい。これにより、車両の進路または進行方向を変更する際に、運転者のニーズを見越して車両の側方映像を適切に表示することができる。
【００１３】
また、判定部は、ステアリング角または車両の速度変化から運転操作の実施を判定してもよい。これにより、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【００１４】
また、検知部は、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知してもよい。これにより、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【００１５】
また、検知部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知してもよい。これにより、運転操作の意図をより正確に検知することができる。
【００１６】
また、判定部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定してもよい。これにより、運転操作の実施をより正確に判定することができる。
【００１７】
また、表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイであってもよい。これにより、様々な表示装置において、運転者のニーズを見越して周辺映像を適切に表示することができる。
【発明の効果】
【００１８】
本発明によれば、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る周辺監視装置を示すブロック図である。
【図２】第１の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図３Ａ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｂ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｃ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｄ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｅ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図４】ステアリングの操作状態から運転操作の開始を判定する方法の一例を示す図である。
【図５】ステアリングの操作状態から運転操作の収束を判定する方法の一例を示す図である。
【図６】第２の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図７Ａ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｂ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｃ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｄ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｅ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図８】車両の速度変化から運転操作の開始を判定する方法の一例を示す図である。
【図９】車両の速度変化から運転操作の収束を判定する方法の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２１】
まず、図１を参照して、本発明の実施形態に係る周辺監視装置１０の構成について説明する。周辺監視装置１０は、運転操作を支援するために、周辺映像を用いて車両の周辺状況を監視する装置である。図１に示すように、周辺監視装置１０は、周辺監視カメラ１１（車載カメラ）、視線追跡カメラ１２、ナビゲーション装置１３、レーダー装置１４、表示装置１５（表示部）、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０を含む。
【００２２】
周辺監視カメラ１１は、フロントカメラ、リアカメラ、サイドカメラ（いずれも不図示）を含み、車両の周辺状況を撮影し、周辺映像信号として出力する。視線追跡カメラ１２は、運転席（不図示）上方に配置され、運転者の顔面を撮影し、撮影した画像から視線移動を検出し、視線移動信号として出力する。
【００２３】
ナビゲーション装置１３は、ＧＰＳ（Ｇｒｏｕｎｄ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報、地図情報に基づいて、現在位置の特定、走行予定経路の設定、道路情報、地図情報の検索などに利用される。レーダー装置１４は、車両の周辺物体（静止物体、移動物体）の検出、周辺物体との距離・相対速度の検出などに利用される。
【００２４】
表示装置１５は、車載モニタ１５ａ、インナーミラー１５ｂ、またはフロントウィンドウディスプレイ（不図示）などである。車載モニタ１５ａは、運転席前方に配置され、通常、モニタ面の全体にナビゲーション映像などを表示し、必要に応じて少なくとも一部に周辺映像を表示する。インナーミラー１５ｂは、運転席上方のルーフ（不図示）に配置され、必要に応じて反射状態を調節したミラー面の少なくとも一部に周辺映像を表示する。フロントウィンドウディスプレイ（ヘッドアップディスプレイ）は、必要に応じてウィンドウ面の少なくとも一部に周辺映像を投影して表示する。
【００２５】
ＥＣＵ２０は、運転操作の意図および実施に応じて、運転者のニーズを見越して周辺映像を適切に表示するように表示装置１５を制御する。運転操作としては、車両の進路または進行方向の変更、前進後退、発進・駐停車などが挙げられるが、以下では、進路または進行方向を変更する場合について説明する。また、周辺映像として、車両前方、後方、側方の映像、車両全体の鳥瞰映像などが挙げられるが、以下では、車両の側方映像を表示する場合について説明する。ここで、側方映像は、車両側方の領域のうち、運転席から死角領域となる領域を含む映像を意味する。
【００２６】
ＥＣＵ２０は、検知部２１、判定部２２、および表示制御部２３を有している。ＥＣＵ２０には、ウィンカ（不図示）の操作状態、視線追跡カメラ１２の検出結果、ステアリング（不図示）の操作状態（ステアリング角）、速度センサ（不図示）の検出結果（車両の速度）、レーダー装置１４の検出結果（レーダー情報）を示す信号が供給される。
【００２７】
検知部２１は、運転者による運転操作の意図を検知する。運転操作の意図は、ウィンカの操作状態から検知される。左ウィンカおよび右ウィンカの操作に応じて、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。
【００２８】
また、運転操作の意図は、運転者の視線移動から検知されてもよい。ここで、視線移動は、視線追跡カメラ１２の視線移動信号に基づいて検知される。運転者の視線が左サイドミラーを含む車両の左側方および右サイドミラーを含む車両の右側方に移動する傾向にあるときに、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。運転操作の意図は、ナビゲーション情報（設定経路情報、道路情報、車線情報、交差点情報など）、レーダー情報（周辺物体の距離、相対速度など）を考慮して検知されてもよい。
【００２９】
判定部２２は、運転者による運転操作の実施を判定する。運転操作の実施は、ステアリングの操作状態から判定される。判定部２２は、ステアリング角（操作値）を所定の閾値と比較し、運転操作の開始または収束を判定する。また、運転操作の実施は、車両の速度変化（操作値）から判定されてもよい。判定部２２は、速度センサの検出値の変化を所定の閾値と比較し、運転操作の開始または収束を判定する。ここで、運転操作の収束は、運転操作が終了する前の状態であり、例えば、運転操作の開始と共に増加または減少し始める操作値が減少または増加し始める状態を意味する。運転操作の実施は、ナビゲーション情報（設定経路情報、道路情報、車線情報、交差点情報など）、レーダー情報（周辺車両の車間距離、相対速度など）を考慮して判定されてもよい。
【００３０】
表示制御部２３は、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置１５を制御する。特に、表示制御部２３は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示装置１５を制御することが好ましい。
【００３１】
つぎに、図２〜図５を参照して、第１の実施形態に係る周辺監視装置１０の動作について説明する。図２は、第１の実施形態に係る周辺監視装置１０の動作を示すフロー図である。図３Ａ〜３Ｅは、第１の実施形態に係る車載モニタ１５ａの表示状態を示す図である。図４および図５は、ステアリングの操作状態から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【００３２】
ここでは、ウィンカの操作状態から進路または進行方向を変更するための運転操作の意図を検知し、ステアリング角から運転操作の実施を判定し、車載モニタ１５ａに側方映像３１を表示する場合を想定している。
【００３３】
周辺監視装置１０は、図２に示す処理を車両の走行中に所定の動作周期で繰り返す。表示制御部２３は、ウィンカの操作状態から運転操作の意図が検知されるまで、側方映像３１とは異なるナビゲーション映像３２をモニタ面全体に表示する（ステップＳ１１）ように、車載モニタ１５ａを制御する（図３Ａ参照）。なお、ナビゲーション映像３２は、図２に示す処理中にリアルタイムで変化するものとする。
【００３４】
検知部２１が運転操作の意図を検知すると（ステップＳ１２でＹｅｓ）、表示制御部２３は、ナビゲーション映像３２に重畳して側方映像３１をモニタ面の一部に縮小表示する（ステップＳ１３）ように、車載モニタ１５ａを制御する（図３Ｂ参照）。なお、側方映像３１も、図２に示す処理中にリアルタイムで変化するものとする。ここで、左ウィンカおよび右ウィンカの操作に応じて左側および右側の側方映像３１がそれぞれに表示される。なお、運転操作の意図が検知されなければ（ステップＳ１２でＮｏ）、ナビゲーション映像３２がモニタ面全体に継続して表示される（図３Ａ参照）。これにより、運転者は、進路または進行方向を変更するための運転操作を意図する（ウィンカを倒す）まで、ナビゲーション映像３２を確認でき、運転操作を意図すると、車両側方の状況をおおむね確認できる。
【００３５】
側方映像３１が縮小表示されると、判定部２２は、ステアリング角と第１の閾値の比較を通じて運転操作の開始を判定する（ステップＳ１４）。判定部２２は、例えば、ステアリング角が第１の閾値を上回ると、運転操作が開始したと判定し（ステップＳ１４でＹｅｓ）、表示制御部２３は、側方映像３１をモニタ面に拡大表示する（ステップＳ１５）ように、車載モニタ１５ａを制御する（図３Ｃ参照）。側方映像３１は、モニタ面の一部に拡大表示されてもよく、モニタ面全体に拡大表示されてもよい。
【００３６】
なお、運転操作が開始したと判定されなければ（ステップＳ１４でＮｏ）、側方映像３１がモニタ面に継続して縮小表示される（図３Ｂ参照）。また、側方映像３１が縮小表示された後に、ウィンカが元に戻されると、ナビゲーション映像３２がモニタ面全体に再び表示される（図３Ａ参照）。これにより、運転者は、進路または進行方向を変更するための運転操作を開始する（ステアリング角が第１の閾値を上回るまでステアリングを切る）と、車両側方の状況を詳細に確認できる。
【００３７】
側方映像３１が拡大表示されると、判定部２２は、ステアリング角と第２の閾値の比較を通じて運転操作の収束を判定する（ステップＳ１６）。判定部２２は、例えば、ステアリング角が第２の閾値を下回ると、運転操作が収束したと判定し（ステップＳ１６でＹｅｓ）、表示制御部２３は、側方映像３１の表示を終了してナビゲーション映像３２をモニタ全面に表示する（ステップＳ１７）ように、車載モニタ１５ａを制御する（図３Ｄ、３Ｅ参照）。
【００３８】
なお、運転操作が収束したと判定されなければ（ステップＳ１６でＮｏ）、側方映像３１がモニタ面に継続して拡大表示される（図３Ｃ参照）。これにより、運転者は、進路または進行方向を変更するための運転操作を収束する（ステアリング角が第２の閾値を下回るまでステアリングを戻す）と、従前のとおりナビゲーション映像３２を確認できる。
【００３９】
ここで、第１および第２の閾値は、互いに異なる値に設定されてもよく、共通の値に設定されてもよい。第１の閾値は、ステアリングを多少切った状態での値に設定されるが、具体的には、同一車線内で有意な進路変更を開始するための値に設定されてもよく、車線変更を伴う進路変更を開始するための値に設定されてもよい。第２の閾値は、進路または進行方向の変更を収束するための値に設定されてもよく、進路または進行方向の変更を終了するための値（直進走行時のステアリング角）に設定されてもよい。
【００４０】
第１の閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点（ステアリングを切り始めた時点）までの期間に応じて設定されてもよい。これにより、進路または進行方向の変更状況に応じて、側方映像３１を拡大表示するタイミングを調節することができる。
【００４１】
第１の閾値は、図４に示すように、この期間が短いほど小さな値に設定されることが好ましい。つまり、図４（ｂ）では、図４（ａ）に示す場合と比べて、ウィンカの操作からステアリングの切り始めまでの期間が短い（ｔ２＜ｔ１）ので、図４（ａ）、（ｂ）に示す場合では、第１の閾値がα１ａ、α１ｂ（＜α１ａ）にそれぞれ設定される。よって、図４（ａ）に示す場合では、ステアリング角αａが第１の閾値α１ａを上回るまで、側方映像３１が拡大表示されないが、図４（ｂ）に示す場合では、ステアリング角αｂが第１の閾値α１ｂ（＜α１ａ）を上回れば、側方映像３１が拡大表示される。
【００４２】
これは、この期間が短いほど運転者による状況判断が不十分となり易く、それを補うために側方映像３１のニーズが高くなるためである。これにより、側方映像３１のニーズが特に高い場合に、側方映像３１を早いタイミングで拡大表示することができる。
【００４３】
第２の閾値は、図５に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化するステアリング角の最大値に相当する値に設定されてもよい。つまり、第２の閾値が運転操作の開始から連続して変化するステアリング角の最大値α２に設定され、ステアリング角αが第２の閾値α２を越えなくなる（つまりステアリングを戻し始めると）と、側方映像３１の表示が終了されてナビゲーション映像３２が表示される。
【００４４】
これは、進路または進行方向の変更に際しては、側方車両などの巻き込みを防止するために、ステアリングを切る期間の方がステアリングを戻す期間よりも、側方映像３１のニーズが高くなるためである。これにより、側方映像３１のニーズが低くなると、側方映像３１の表示を終了してナビゲーション映像３２を表示することができる。
【００４５】
ここで、ステアリングの操作状態から運転操作の開始または収束を判定する場合には、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、ステアリングの操作状態のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となるステアリング角を正確に推定することができる。さらに、これらの情報を用いて第１および第２の閾値を調節することで、ナビゲーション映像および周辺映像を適切に表示することができる。
【００４６】
つぎに、図６〜図９を参照して、第２の実施形態に係る周辺監視装置１０の動作について説明する。図６は、第２の実施形態に係る周辺監視装置１０の動作を示すフロー図である。図７Ａ〜７Ｅは、第２の実施形態に係るインナーミラー１５ｂの表示状態を示す図である。図８および図９は、車両の速度変化から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【００４７】
ここでは、運転者の視線移動から進路または進行方向を変更するための運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定し、インナーミラー１５ｂに側方映像３１を表示する場合を想定している。なお、以下では、第１の実施形態と重複する説明を省略する。
【００４８】
インナーミラー１５ｂは、運転者の視線移動から運転操作の意図が検知されるまで、側方映像３１とは異なる車両後方の状況３３をミラー面全体に写している（ステップＳ２１）（図７Ａ参照）。なお、車両後方の状況３３は、図６に示す処理中にリアルタイムで変化するものとする。
【００４９】
ＥＣＵ２０が運転操作の意図を検知すると（ステップＳ２２でＹｅｓ）、インナーミラー１５ｂは、車両後方の状況３３に重畳して側方映像３１をミラー面の一部に縮小表示する（ステップＳ２２）（図７Ｂ参照）。なお、側方映像３１は、図６に示す処理中にリアルタイムで変化するものとする。第２の実施形態では、特に、ナビゲーション情報およびレーダー情報を考慮して運転操作の意図を検知することが好ましい。これにより、視線移動のみから検知する場合よりも運転操作の意図を確実に検知できる。なお、運転操作の意図が検知されなければ（ステップＳ２２でＮｏ）、インナーミラー１５ｂは、車両後方の状況３３をミラー面全体に継続して表示する（ステップＳ２３）（図７Ａ参照）。
【００５０】
側方映像３１が縮小表示されると、ＥＣＵ２０は、車両の速度変化と第１の閾値の比較を通じて運転操作の開始を判定する（ステップＳ２４）。ＥＣＵ２０は、例えば、速度変化が第１の閾値を上回ると、運転操作が開始したと判定し（ステップＳ２４でＹｅｓ）、インナーミラー１５ｂは、側方映像３１をミラー面に拡大表示する（ステップＳ２５）（図７Ｃ参照）。
【００５１】
側方映像３１が拡大表示されると、ＥＣＵ２０は、車両の速度変化と第２の閾値の比較を通じて運転操作の収束を判定する（ステップＳ２６）。ＥＣＵ２０は、例えば、速度変化が第２の閾値を上回ると、運転操作が収束したと判定し（ステップＳ２６でＹｅｓ）、インナーミラー１５ｂは、側方映像３１の表示を終了して車両後方の状況３３をミラー面全体に表示する（ステップＳ２７）（図７Ｄ、７Ｅ参照）。
【００５２】
ここで、第１の閾値は、進路または進行方向の変更を開始する際に必要となる速度変化に応じて設定される。これは、進路の変更を開始する際に、先行車を追い越すための加速、または隣接する車線に割り込むための減速がしばしば必要となり、進行方向の変更を開始する際に、右左折するための速度変化がしばしば必要となるためである。このために、第１の閾値は、速度変化がこの閾値を上回る（つまり速度変化が大きい）と、進路または進行方向を変更する運転操作が開始したと判定されることになる。
【００５３】
同様に、第２の閾値は、進路または進行方向の変更を収束する際に必要となる速度変化に応じて設定される。これは、進路または進行方向の変更を開始した後に収束する際に、車両速度を元の状態に復帰させるための速度変化がしばしば必要となるためである。このために、第２の閾値は、速度変化がこの閾値を下回る（速度変化が小さい）と、進路または進行方向を変更する運転操作が収束したと判定されることになる。
【００５４】
第２の実施形態でも、第１の閾値は、図８に示すように、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点（速度変化を始めた時点）までの期間に応じて設定されてもよい。つまり、図８（ａ）に示す場合では、この期間がｔ１であり速度変化Δａが第１の閾値Δ１ａを上回るまで、側方映像３１が拡大表示されないが、図８（ｂ）に示す場合では、この期間がｔ２（＜ｔ１）であり速度変化Δｂが第１の閾値Δ１ｂ（＜Δ１ａ）を上回れば、側方映像３１が拡大表示される。この期間が短いほど第１の閾値を小さな値に設定することで、側方映像３１のニーズが特に高い場合に、側方映像３１を早いタイミングで拡大表示することができる。
【００５５】
また、第２の閾値は、図９に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化する速度変化の最大値に相当する値に設定されてもよい。つまり、第２の閾値が運転操作の開始から連続して変化する速度変化の最大値Δ２に設定され、速度変化Δが第２の閾値Δ２を越えなくなる（例えば加速後に減速し始めると）と、側方映像３１の表示が終了される。第２の閾値を速度変化の最大値に設定することで、側方映像３１のニーズが低くなると、側方映像３１の表示を終了して車両後方の状況３３を写すことができる。
【００５６】
ここで、車両の速度変化から運転操作の開始または収束を判定する場合には、特に、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、車両速度の変化のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となる速度変化を正確に推定することができる。さらに、これらの情報を用いて第１および第２の閾値を調節することで、後方の状況３３および周辺映像を適切に表示することができる。
【００５７】
以上説明したように、本発明の実施形態に係る周辺監視装置１０によれば、車両の進路または進行方向を変更するための運転操作の意図が検知されると、側方映像３１が縮小表示され、運転操作が開始されると、側方映像３１が拡大表示され、運転操作が収束すると、側方映像３１の表示が終了する。よって、運転操作の開始前に側方映像３１の表示を開始し、運転操作の終了前に側方映像３１の表示を終了するので、運転者のニーズを見越して側方映像３１を適切に表示することができる。
【００５８】
また、運転操作の意図が検知されるまで、側方映像３１とは異なる他の情報（ナビゲーション映像３２、後方の状況３３）を表示し、運転操作の意図が検知されると、他の情報に重畳して側方映像３１を縮小表示し、運転操作が開始すると、側方映像３１を拡大表示し、運転操作が収束すると、側方映像３１の表示を終了して他の情報を表示することで、運転者のニーズを見越して側方映像３１と他の情報を適切に表示することができる。
【００５９】
また、運転操作に関する操作値（ステアリング角、車両の速度変化）を所定の閾値と比較して、運転操作の開始または収束を判定することで、車両の進路または進行方向を変更する際に、運転操作の開始または収束を適切に判定することができる。
【００６０】
また、運転操作の意図に沿う操作が検知された時点までの期間に応じて閾値（第１の閾値）を設定し、閾値を操作値が上回る場合に、運転操作が開始したと判定することで、運転操作の開始を適切に判定することができる。この期間が短いほど小さな値に閾値を設定することで、側方映像３１のニーズが特に高い場合に、側方映像３１を早いタイミングで拡大表示することができる。
【００６１】
また、運転操作に際して連続して変化する操作値の最大値に相当するように閾値（第２の閾値）を設定し、閾値を操作値が下回る場合に、運転操作が収束したと判定することで、側方映像３１のニーズが低くなると、側方映像３１の表示を終了して他の情報を表示することができる。
【００６２】
また、ステアリング角または車両の速度変化から運転操作の実施を判定することで、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【００６３】
また、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知することで、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【００６４】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知することで、運転操作の意図をより正確に検知することができる。
【００６５】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定することで、運転操作の実施をより正確に判定することができる。
【００６６】
また、車載モニタ１５ａ、インナーミラー１５ｂ、またはフロントウィンドウディスプレイを制御することで、様々な表示装置１５において、運転者のニーズを見越して側方映像３１を適切に表示することができる。
【００６７】
なお、前述した実施形態は、本発明に係る周辺監視装置１０の最良な実施形態を説明したものであり、本発明に係る周辺監視装置１０は、本実施形態に記載したものに限定されるものではない。本発明に係る周辺監視装置１０は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る周辺監視装置１０を変形し、または他のものに適用したものであってもよい。
【００６８】
例えば、本発明は、前述した方法に従って、運転者のニーズを見越して周辺映像を適切に表示するためのプログラム、または当該プログラムを記憶しているコンピュータ読取可能な記録媒体にも同様に適用できる。
【００６９】
また、上記実施形態の説明では、ウィンカの操作状態から運転操作の意図を検知し、ステアリング角から運転操作の実施を判定する場合と、運転者の視線移動から運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定する場合とを想定した。しかし、これらの組合せは、ウィンカの操作状態と車両の速度変化の組合せ、運転者の視線移動とステアリング角の組合せについても、同様に説明することができる。
【００７０】
また、上記実施形態の説明では、車両の進路または進行方向を変更するための運転操作に際して、側方映像を表示する場合について説明した。しかし、車両の前進後退、発進・駐停車するための運転操作に際して、前方映像、後方映像、側方映像、鳥瞰図映像などを表示する場合についても、同様に説明することができる。
【００７１】
また、上記実施形態の説明では、運転者のニーズを見越して周辺映像とナビゲーション映像を適切に表示する場合について説明したが、ナビゲーション映像に代えて、オーディオ情報などを表示する場合についても、同様に説明することができる。
【００７２】
また、上記実施形態の説明では、車載モニタ１５ａおよびインナーミラー１５ｂに周辺映像を表示する場合について説明したが、フロントウィンドウディスプレイに周辺映像を表示する場合についても、同様に説明することができる。
【符号の説明】
【００７３】
１０…周辺監視装置、１１…周辺監視カメラ、１２…視線追跡カメラ、１３…ナビゲーション装置、１４…レーダー装置、１５…表示装置、２０…ＥＣＵ、２１…検知部、２２…判定部、２３…表示制御部、３１…周辺映像、３２…ナビゲーション映像、３３…車両後方の状況
【技術分野】
【０００１】
本発明は、車載カメラにより撮影された周辺映像を表示する周辺監視装置に関する。
【背景技術】
【０００２】
従来、車載カメラにより撮影された周辺映像をナビゲーション情報などとともに表示する周辺監視装置が知られている。例えば特開２００１−００６０９７号公報には、運転操作に応じて車両の進行方向に対応する周辺映像を大きく表示する運転支援措置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−００６０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、このような運転支援装置では、車両の進行方向に対応する周辺映像を表示し続けるので、運転者が他の情報を確認したくても十分に確認できないことがあった。つまり、運転者のニーズを見越して周辺映像を適切に表示することができなかった。
【０００５】
そこで、本発明は、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
周辺監視装置は、車載カメラにより撮影された周辺映像を表示する装置であって、周辺映像を表示する表示部と、運転操作の意図を検知する検知部と、運転操作の実施を判定する判定部と、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示部を制御する表示制御部とを備える。
【０００７】
この発明によれば、運転操作の意図が検知されると、周辺映像が縮小表示され、運転操作が開始されると、周辺映像が拡大表示され、運転操作が収束すると、周辺映像の表示が終了する。よって、運転操作の開始前に周辺映像の表示を開始し、運転操作の終了前に周辺映像の表示を終了するので、運転者のニーズを見越して周辺映像を適切に表示することができる。
【０００８】
また、表示制御部は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示部を制御してもよい。これにより、運転者のニーズを見越して周辺映像と他の情報を適切に表示することができる。
【０００９】
また、判定部は、運転操作に関する操作値を所定の閾値と比較して、運転操作の開始または収束を判定してもよい。これにより、運転操作の開始または収束を適切に判定することができる。
【００１０】
また、閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、判定部は、閾値を操作値が上回る場合に、運転操作が開始したと判定してもよい。これにより、運転操作の意図に沿う操作が検知された時点までの期間に基づいて、運転操作の開始を適切に判定することができる。この期間が短いほど閾値を小さな値に設定することで、周辺映像のニーズが特に高い場合に、周辺映像を早いタイミングで拡大表示することができる。
【００１１】
また、閾値は、運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、判定部は、閾値を操作値が下回る場合に、運転操作が収束したと判定してもよい。これにより、周辺映像のニーズが低くなると、周辺映像の表示を終了して他の情報を表示することができる。
【００１２】
また、運転操作は、車両の進路または進行方向を変更するための操作であり、周辺映像は、車両の側方映像であってもよい。これにより、車両の進路または進行方向を変更する際に、運転者のニーズを見越して車両の側方映像を適切に表示することができる。
【００１３】
また、判定部は、ステアリング角または車両の速度変化から運転操作の実施を判定してもよい。これにより、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【００１４】
また、検知部は、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知してもよい。これにより、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【００１５】
また、検知部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知してもよい。これにより、運転操作の意図をより正確に検知することができる。
【００１６】
また、判定部は、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定してもよい。これにより、運転操作の実施をより正確に判定することができる。
【００１７】
また、表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイであってもよい。これにより、様々な表示装置において、運転者のニーズを見越して周辺映像を適切に表示することができる。
【発明の効果】
【００１８】
本発明によれば、運転者のニーズを見越して周辺映像を適切に表示可能な周辺監視装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る周辺監視装置を示すブロック図である。
【図２】第１の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図３Ａ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｂ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｃ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｄ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図３Ｅ】第１の実施形態に係る車載モニタの表示状態を示す図である。
【図４】ステアリングの操作状態から運転操作の開始を判定する方法の一例を示す図である。
【図５】ステアリングの操作状態から運転操作の収束を判定する方法の一例を示す図である。
【図６】第２の実施形態に係る周辺監視装置の動作を示すフロー図である。
【図７Ａ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｂ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｃ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｄ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図７Ｅ】第２の実施形態に係るインナーミラーの表示状態を示す図である。
【図８】車両の速度変化から運転操作の開始を判定する方法の一例を示す図である。
【図９】車両の速度変化から運転操作の収束を判定する方法の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２１】
まず、図１を参照して、本発明の実施形態に係る周辺監視装置１０の構成について説明する。周辺監視装置１０は、運転操作を支援するために、周辺映像を用いて車両の周辺状況を監視する装置である。図１に示すように、周辺監視装置１０は、周辺監視カメラ１１（車載カメラ）、視線追跡カメラ１２、ナビゲーション装置１３、レーダー装置１４、表示装置１５（表示部）、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０を含む。
【００２２】
周辺監視カメラ１１は、フロントカメラ、リアカメラ、サイドカメラ（いずれも不図示）を含み、車両の周辺状況を撮影し、周辺映像信号として出力する。視線追跡カメラ１２は、運転席（不図示）上方に配置され、運転者の顔面を撮影し、撮影した画像から視線移動を検出し、視線移動信号として出力する。
【００２３】
ナビゲーション装置１３は、ＧＰＳ（Ｇｒｏｕｎｄ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報、地図情報に基づいて、現在位置の特定、走行予定経路の設定、道路情報、地図情報の検索などに利用される。レーダー装置１４は、車両の周辺物体（静止物体、移動物体）の検出、周辺物体との距離・相対速度の検出などに利用される。
【００２４】
表示装置１５は、車載モニタ１５ａ、インナーミラー１５ｂ、またはフロントウィンドウディスプレイ（不図示）などである。車載モニタ１５ａは、運転席前方に配置され、通常、モニタ面の全体にナビゲーション映像などを表示し、必要に応じて少なくとも一部に周辺映像を表示する。インナーミラー１５ｂは、運転席上方のルーフ（不図示）に配置され、必要に応じて反射状態を調節したミラー面の少なくとも一部に周辺映像を表示する。フロントウィンドウディスプレイ（ヘッドアップディスプレイ）は、必要に応じてウィンドウ面の少なくとも一部に周辺映像を投影して表示する。
【００２５】
ＥＣＵ２０は、運転操作の意図および実施に応じて、運転者のニーズを見越して周辺映像を適切に表示するように表示装置１５を制御する。運転操作としては、車両の進路または進行方向の変更、前進後退、発進・駐停車などが挙げられるが、以下では、進路または進行方向を変更する場合について説明する。また、周辺映像として、車両前方、後方、側方の映像、車両全体の鳥瞰映像などが挙げられるが、以下では、車両の側方映像を表示する場合について説明する。ここで、側方映像は、車両側方の領域のうち、運転席から死角領域となる領域を含む映像を意味する。
【００２６】
ＥＣＵ２０は、検知部２１、判定部２２、および表示制御部２３を有している。ＥＣＵ２０には、ウィンカ（不図示）の操作状態、視線追跡カメラ１２の検出結果、ステアリング（不図示）の操作状態（ステアリング角）、速度センサ（不図示）の検出結果（車両の速度）、レーダー装置１４の検出結果（レーダー情報）を示す信号が供給される。
【００２７】
検知部２１は、運転者による運転操作の意図を検知する。運転操作の意図は、ウィンカの操作状態から検知される。左ウィンカおよび右ウィンカの操作に応じて、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。
【００２８】
また、運転操作の意図は、運転者の視線移動から検知されてもよい。ここで、視線移動は、視線追跡カメラ１２の視線移動信号に基づいて検知される。運転者の視線が左サイドミラーを含む車両の左側方および右サイドミラーを含む車両の右側方に移動する傾向にあるときに、走行方向の左側および右側へ進路または進行方向を変更する運転操作の意図がそれぞれに検知される。運転操作の意図は、ナビゲーション情報（設定経路情報、道路情報、車線情報、交差点情報など）、レーダー情報（周辺物体の距離、相対速度など）を考慮して検知されてもよい。
【００２９】
判定部２２は、運転者による運転操作の実施を判定する。運転操作の実施は、ステアリングの操作状態から判定される。判定部２２は、ステアリング角（操作値）を所定の閾値と比較し、運転操作の開始または収束を判定する。また、運転操作の実施は、車両の速度変化（操作値）から判定されてもよい。判定部２２は、速度センサの検出値の変化を所定の閾値と比較し、運転操作の開始または収束を判定する。ここで、運転操作の収束は、運転操作が終了する前の状態であり、例えば、運転操作の開始と共に増加または減少し始める操作値が減少または増加し始める状態を意味する。運転操作の実施は、ナビゲーション情報（設定経路情報、道路情報、車線情報、交差点情報など）、レーダー情報（周辺車両の車間距離、相対速度など）を考慮して判定されてもよい。
【００３０】
表示制御部２３は、運転操作の意図が検知されると、周辺映像を縮小表示し、運転操作が開始されると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了するように、表示装置１５を制御する。特に、表示制御部２３は、運転操作の意図が検知されるまで、周辺映像とは異なる他の情報を表示し、運転操作の意図が検知されると、他の情報に重畳して周辺映像を縮小表示し、運転操作が開始すると、周辺映像を拡大表示し、運転操作が収束すると、周辺映像の表示を終了して他の情報を表示するように、表示装置１５を制御することが好ましい。
【００３１】
つぎに、図２〜図５を参照して、第１の実施形態に係る周辺監視装置１０の動作について説明する。図２は、第１の実施形態に係る周辺監視装置１０の動作を示すフロー図である。図３Ａ〜３Ｅは、第１の実施形態に係る車載モニタ１５ａの表示状態を示す図である。図４および図５は、ステアリングの操作状態から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【００３２】
ここでは、ウィンカの操作状態から進路または進行方向を変更するための運転操作の意図を検知し、ステアリング角から運転操作の実施を判定し、車載モニタ１５ａに側方映像３１を表示する場合を想定している。
【００３３】
周辺監視装置１０は、図２に示す処理を車両の走行中に所定の動作周期で繰り返す。表示制御部２３は、ウィンカの操作状態から運転操作の意図が検知されるまで、側方映像３１とは異なるナビゲーション映像３２をモニタ面全体に表示する（ステップＳ１１）ように、車載モニタ１５ａを制御する（図３Ａ参照）。なお、ナビゲーション映像３２は、図２に示す処理中にリアルタイムで変化するものとする。
【００３４】
検知部２１が運転操作の意図を検知すると（ステップＳ１２でＹｅｓ）、表示制御部２３は、ナビゲーション映像３２に重畳して側方映像３１をモニタ面の一部に縮小表示する（ステップＳ１３）ように、車載モニタ１５ａを制御する（図３Ｂ参照）。なお、側方映像３１も、図２に示す処理中にリアルタイムで変化するものとする。ここで、左ウィンカおよび右ウィンカの操作に応じて左側および右側の側方映像３１がそれぞれに表示される。なお、運転操作の意図が検知されなければ（ステップＳ１２でＮｏ）、ナビゲーション映像３２がモニタ面全体に継続して表示される（図３Ａ参照）。これにより、運転者は、進路または進行方向を変更するための運転操作を意図する（ウィンカを倒す）まで、ナビゲーション映像３２を確認でき、運転操作を意図すると、車両側方の状況をおおむね確認できる。
【００３５】
側方映像３１が縮小表示されると、判定部２２は、ステアリング角と第１の閾値の比較を通じて運転操作の開始を判定する（ステップＳ１４）。判定部２２は、例えば、ステアリング角が第１の閾値を上回ると、運転操作が開始したと判定し（ステップＳ１４でＹｅｓ）、表示制御部２３は、側方映像３１をモニタ面に拡大表示する（ステップＳ１５）ように、車載モニタ１５ａを制御する（図３Ｃ参照）。側方映像３１は、モニタ面の一部に拡大表示されてもよく、モニタ面全体に拡大表示されてもよい。
【００３６】
なお、運転操作が開始したと判定されなければ（ステップＳ１４でＮｏ）、側方映像３１がモニタ面に継続して縮小表示される（図３Ｂ参照）。また、側方映像３１が縮小表示された後に、ウィンカが元に戻されると、ナビゲーション映像３２がモニタ面全体に再び表示される（図３Ａ参照）。これにより、運転者は、進路または進行方向を変更するための運転操作を開始する（ステアリング角が第１の閾値を上回るまでステアリングを切る）と、車両側方の状況を詳細に確認できる。
【００３７】
側方映像３１が拡大表示されると、判定部２２は、ステアリング角と第２の閾値の比較を通じて運転操作の収束を判定する（ステップＳ１６）。判定部２２は、例えば、ステアリング角が第２の閾値を下回ると、運転操作が収束したと判定し（ステップＳ１６でＹｅｓ）、表示制御部２３は、側方映像３１の表示を終了してナビゲーション映像３２をモニタ全面に表示する（ステップＳ１７）ように、車載モニタ１５ａを制御する（図３Ｄ、３Ｅ参照）。
【００３８】
なお、運転操作が収束したと判定されなければ（ステップＳ１６でＮｏ）、側方映像３１がモニタ面に継続して拡大表示される（図３Ｃ参照）。これにより、運転者は、進路または進行方向を変更するための運転操作を収束する（ステアリング角が第２の閾値を下回るまでステアリングを戻す）と、従前のとおりナビゲーション映像３２を確認できる。
【００３９】
ここで、第１および第２の閾値は、互いに異なる値に設定されてもよく、共通の値に設定されてもよい。第１の閾値は、ステアリングを多少切った状態での値に設定されるが、具体的には、同一車線内で有意な進路変更を開始するための値に設定されてもよく、車線変更を伴う進路変更を開始するための値に設定されてもよい。第２の閾値は、進路または進行方向の変更を収束するための値に設定されてもよく、進路または進行方向の変更を終了するための値（直進走行時のステアリング角）に設定されてもよい。
【００４０】
第１の閾値は、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点（ステアリングを切り始めた時点）までの期間に応じて設定されてもよい。これにより、進路または進行方向の変更状況に応じて、側方映像３１を拡大表示するタイミングを調節することができる。
【００４１】
第１の閾値は、図４に示すように、この期間が短いほど小さな値に設定されることが好ましい。つまり、図４（ｂ）では、図４（ａ）に示す場合と比べて、ウィンカの操作からステアリングの切り始めまでの期間が短い（ｔ２＜ｔ１）ので、図４（ａ）、（ｂ）に示す場合では、第１の閾値がα１ａ、α１ｂ（＜α１ａ）にそれぞれ設定される。よって、図４（ａ）に示す場合では、ステアリング角αａが第１の閾値α１ａを上回るまで、側方映像３１が拡大表示されないが、図４（ｂ）に示す場合では、ステアリング角αｂが第１の閾値α１ｂ（＜α１ａ）を上回れば、側方映像３１が拡大表示される。
【００４２】
これは、この期間が短いほど運転者による状況判断が不十分となり易く、それを補うために側方映像３１のニーズが高くなるためである。これにより、側方映像３１のニーズが特に高い場合に、側方映像３１を早いタイミングで拡大表示することができる。
【００４３】
第２の閾値は、図５に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化するステアリング角の最大値に相当する値に設定されてもよい。つまり、第２の閾値が運転操作の開始から連続して変化するステアリング角の最大値α２に設定され、ステアリング角αが第２の閾値α２を越えなくなる（つまりステアリングを戻し始めると）と、側方映像３１の表示が終了されてナビゲーション映像３２が表示される。
【００４４】
これは、進路または進行方向の変更に際しては、側方車両などの巻き込みを防止するために、ステアリングを切る期間の方がステアリングを戻す期間よりも、側方映像３１のニーズが高くなるためである。これにより、側方映像３１のニーズが低くなると、側方映像３１の表示を終了してナビゲーション映像３２を表示することができる。
【００４５】
ここで、ステアリングの操作状態から運転操作の開始または収束を判定する場合には、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、ステアリングの操作状態のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となるステアリング角を正確に推定することができる。さらに、これらの情報を用いて第１および第２の閾値を調節することで、ナビゲーション映像および周辺映像を適切に表示することができる。
【００４６】
つぎに、図６〜図９を参照して、第２の実施形態に係る周辺監視装置１０の動作について説明する。図６は、第２の実施形態に係る周辺監視装置１０の動作を示すフロー図である。図７Ａ〜７Ｅは、第２の実施形態に係るインナーミラー１５ｂの表示状態を示す図である。図８および図９は、車両の速度変化から運転操作の開始および収束を判定する方法の一例をそれぞれに示す図である。
【００４７】
ここでは、運転者の視線移動から進路または進行方向を変更するための運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定し、インナーミラー１５ｂに側方映像３１を表示する場合を想定している。なお、以下では、第１の実施形態と重複する説明を省略する。
【００４８】
インナーミラー１５ｂは、運転者の視線移動から運転操作の意図が検知されるまで、側方映像３１とは異なる車両後方の状況３３をミラー面全体に写している（ステップＳ２１）（図７Ａ参照）。なお、車両後方の状況３３は、図６に示す処理中にリアルタイムで変化するものとする。
【００４９】
ＥＣＵ２０が運転操作の意図を検知すると（ステップＳ２２でＹｅｓ）、インナーミラー１５ｂは、車両後方の状況３３に重畳して側方映像３１をミラー面の一部に縮小表示する（ステップＳ２２）（図７Ｂ参照）。なお、側方映像３１は、図６に示す処理中にリアルタイムで変化するものとする。第２の実施形態では、特に、ナビゲーション情報およびレーダー情報を考慮して運転操作の意図を検知することが好ましい。これにより、視線移動のみから検知する場合よりも運転操作の意図を確実に検知できる。なお、運転操作の意図が検知されなければ（ステップＳ２２でＮｏ）、インナーミラー１５ｂは、車両後方の状況３３をミラー面全体に継続して表示する（ステップＳ２３）（図７Ａ参照）。
【００５０】
側方映像３１が縮小表示されると、ＥＣＵ２０は、車両の速度変化と第１の閾値の比較を通じて運転操作の開始を判定する（ステップＳ２４）。ＥＣＵ２０は、例えば、速度変化が第１の閾値を上回ると、運転操作が開始したと判定し（ステップＳ２４でＹｅｓ）、インナーミラー１５ｂは、側方映像３１をミラー面に拡大表示する（ステップＳ２５）（図７Ｃ参照）。
【００５１】
側方映像３１が拡大表示されると、ＥＣＵ２０は、車両の速度変化と第２の閾値の比較を通じて運転操作の収束を判定する（ステップＳ２６）。ＥＣＵ２０は、例えば、速度変化が第２の閾値を上回ると、運転操作が収束したと判定し（ステップＳ２６でＹｅｓ）、インナーミラー１５ｂは、側方映像３１の表示を終了して車両後方の状況３３をミラー面全体に表示する（ステップＳ２７）（図７Ｄ、７Ｅ参照）。
【００５２】
ここで、第１の閾値は、進路または進行方向の変更を開始する際に必要となる速度変化に応じて設定される。これは、進路の変更を開始する際に、先行車を追い越すための加速、または隣接する車線に割り込むための減速がしばしば必要となり、進行方向の変更を開始する際に、右左折するための速度変化がしばしば必要となるためである。このために、第１の閾値は、速度変化がこの閾値を上回る（つまり速度変化が大きい）と、進路または進行方向を変更する運転操作が開始したと判定されることになる。
【００５３】
同様に、第２の閾値は、進路または進行方向の変更を収束する際に必要となる速度変化に応じて設定される。これは、進路または進行方向の変更を開始した後に収束する際に、車両速度を元の状態に復帰させるための速度変化がしばしば必要となるためである。このために、第２の閾値は、速度変化がこの閾値を下回る（速度変化が小さい）と、進路または進行方向を変更する運転操作が収束したと判定されることになる。
【００５４】
第２の実施形態でも、第１の閾値は、図８に示すように、運転操作の意図が検知された時点から、運転操作の開始前における運転操作の意図に沿う操作が検知された時点（速度変化を始めた時点）までの期間に応じて設定されてもよい。つまり、図８（ａ）に示す場合では、この期間がｔ１であり速度変化Δａが第１の閾値Δ１ａを上回るまで、側方映像３１が拡大表示されないが、図８（ｂ）に示す場合では、この期間がｔ２（＜ｔ１）であり速度変化Δｂが第１の閾値Δ１ｂ（＜Δ１ａ）を上回れば、側方映像３１が拡大表示される。この期間が短いほど第１の閾値を小さな値に設定することで、側方映像３１のニーズが特に高い場合に、側方映像３１を早いタイミングで拡大表示することができる。
【００５５】
また、第２の閾値は、図９に示すように、進路または進行方向を変更する運転操作の収束を表すように、運転操作に際して連続して変化する速度変化の最大値に相当する値に設定されてもよい。つまり、第２の閾値が運転操作の開始から連続して変化する速度変化の最大値Δ２に設定され、速度変化Δが第２の閾値Δ２を越えなくなる（例えば加速後に減速し始めると）と、側方映像３１の表示が終了される。第２の閾値を速度変化の最大値に設定することで、側方映像３１のニーズが低くなると、側方映像３１の表示を終了して車両後方の状況３３を写すことができる。
【００５６】
ここで、車両の速度変化から運転操作の開始または収束を判定する場合には、特に、ナビゲーション情報およびレーダー情報を考慮することが好ましい。これにより、車両速度の変化のみから判定する場合よりも運転操作の開始および収束を確実に判定できる。つまり、ナビゲーション情報、レーダー情報を考慮することで、進路または進行方向の変更を開始または収束するタイミング、およびこれに必要となる速度変化を正確に推定することができる。さらに、これらの情報を用いて第１および第２の閾値を調節することで、後方の状況３３および周辺映像を適切に表示することができる。
【００５７】
以上説明したように、本発明の実施形態に係る周辺監視装置１０によれば、車両の進路または進行方向を変更するための運転操作の意図が検知されると、側方映像３１が縮小表示され、運転操作が開始されると、側方映像３１が拡大表示され、運転操作が収束すると、側方映像３１の表示が終了する。よって、運転操作の開始前に側方映像３１の表示を開始し、運転操作の終了前に側方映像３１の表示を終了するので、運転者のニーズを見越して側方映像３１を適切に表示することができる。
【００５８】
また、運転操作の意図が検知されるまで、側方映像３１とは異なる他の情報（ナビゲーション映像３２、後方の状況３３）を表示し、運転操作の意図が検知されると、他の情報に重畳して側方映像３１を縮小表示し、運転操作が開始すると、側方映像３１を拡大表示し、運転操作が収束すると、側方映像３１の表示を終了して他の情報を表示することで、運転者のニーズを見越して側方映像３１と他の情報を適切に表示することができる。
【００５９】
また、運転操作に関する操作値（ステアリング角、車両の速度変化）を所定の閾値と比較して、運転操作の開始または収束を判定することで、車両の進路または進行方向を変更する際に、運転操作の開始または収束を適切に判定することができる。
【００６０】
また、運転操作の意図に沿う操作が検知された時点までの期間に応じて閾値（第１の閾値）を設定し、閾値を操作値が上回る場合に、運転操作が開始したと判定することで、運転操作の開始を適切に判定することができる。この期間が短いほど小さな値に閾値を設定することで、側方映像３１のニーズが特に高い場合に、側方映像３１を早いタイミングで拡大表示することができる。
【００６１】
また、運転操作に際して連続して変化する操作値の最大値に相当するように閾値（第２の閾値）を設定し、閾値を操作値が下回る場合に、運転操作が収束したと判定することで、側方映像３１のニーズが低くなると、側方映像３１の表示を終了して他の情報を表示することができる。
【００６２】
また、ステアリング角または車両の速度変化から運転操作の実施を判定することで、車両の進路または進行方向の変更のための運転操作の実施を適切に判定することができる。
【００６３】
また、ウィンカの操作状態または運転者の視線移動から運転操作の意図を検知することで、車両の進路または進行方向の変更のための運転操作の意図を適切に検知することができる。
【００６４】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の意図を検知することで、運転操作の意図をより正確に検知することができる。
【００６５】
また、ナビゲーション情報またはレーダー情報を考慮して運転操作の実施を判定することで、運転操作の実施をより正確に判定することができる。
【００６６】
また、車載モニタ１５ａ、インナーミラー１５ｂ、またはフロントウィンドウディスプレイを制御することで、様々な表示装置１５において、運転者のニーズを見越して側方映像３１を適切に表示することができる。
【００６７】
なお、前述した実施形態は、本発明に係る周辺監視装置１０の最良な実施形態を説明したものであり、本発明に係る周辺監視装置１０は、本実施形態に記載したものに限定されるものではない。本発明に係る周辺監視装置１０は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る周辺監視装置１０を変形し、または他のものに適用したものであってもよい。
【００６８】
例えば、本発明は、前述した方法に従って、運転者のニーズを見越して周辺映像を適切に表示するためのプログラム、または当該プログラムを記憶しているコンピュータ読取可能な記録媒体にも同様に適用できる。
【００６９】
また、上記実施形態の説明では、ウィンカの操作状態から運転操作の意図を検知し、ステアリング角から運転操作の実施を判定する場合と、運転者の視線移動から運転操作の意図を検知し、車両の速度変化から運転操作の実施を判定する場合とを想定した。しかし、これらの組合せは、ウィンカの操作状態と車両の速度変化の組合せ、運転者の視線移動とステアリング角の組合せについても、同様に説明することができる。
【００７０】
また、上記実施形態の説明では、車両の進路または進行方向を変更するための運転操作に際して、側方映像を表示する場合について説明した。しかし、車両の前進後退、発進・駐停車するための運転操作に際して、前方映像、後方映像、側方映像、鳥瞰図映像などを表示する場合についても、同様に説明することができる。
【００７１】
また、上記実施形態の説明では、運転者のニーズを見越して周辺映像とナビゲーション映像を適切に表示する場合について説明したが、ナビゲーション映像に代えて、オーディオ情報などを表示する場合についても、同様に説明することができる。
【００７２】
また、上記実施形態の説明では、車載モニタ１５ａおよびインナーミラー１５ｂに周辺映像を表示する場合について説明したが、フロントウィンドウディスプレイに周辺映像を表示する場合についても、同様に説明することができる。
【符号の説明】
【００７３】
１０…周辺監視装置、１１…周辺監視カメラ、１２…視線追跡カメラ、１３…ナビゲーション装置、１４…レーダー装置、１５…表示装置、２０…ＥＣＵ、２１…検知部、２２…判定部、２３…表示制御部、３１…周辺映像、３２…ナビゲーション映像、３３…車両後方の状況
【特許請求の範囲】
【請求項１】
車載カメラにより撮影された周辺映像を表示する周辺監視装置であって、
前記周辺映像を表示する表示部と、
運転操作の意図を検知する検知部と、
前記運転操作の実施を判定する判定部と、
前記運転操作の意図が検知されると、前記周辺映像を縮小表示し、前記運転操作が開始されると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了するように、前記表示部を制御する表示制御部と、
を備える周辺監視装置。
【請求項２】
前記表示制御部が、前記運転操作の意図が検知されるまで、前記周辺映像とは異なる他の情報を表示し、前記運転操作の意図が検知されると、前記他の情報に重畳して前記周辺映像を縮小表示し、前記運転操作が開始すると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了して前記他の情報を表示するように、前記表示部を制御する、請求項１に記載の周辺監視装置。
【請求項３】
前記判定部が、前記運転操作に関する操作値を所定の閾値と比較して、前記運転操作の開始または収束を判定する、請求項１または２に記載の周辺監視装置。
【請求項４】
前記閾値が、前記運転操作の意図が検知された時点から、前記運転操作の開始前における前記運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、
前記判定部が、前記閾値を前記操作値が上回る場合に、前記運転操作が開始したと判定する、請求項３に記載の周辺監視装置。
【請求項５】
前記閾値が、前記期間が短いほど小さな値に設定される、請求項４に記載の周辺監視装置。
【請求項６】
前記閾値が、前記運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、
前記判定部が、前記閾値を前記操作値が下回る場合に、前記運転操作が収束したと判定する、請求項３〜５のいずれか一項に記載の周辺監視装置。
【請求項７】
前記運転操作が、車両の進路または進行方向を変更するための操作であり、
前記周辺映像が、前記車両の側方映像である、請求項１〜６のいずれか一項に記載の周辺監視装置。
【請求項８】
前記操作値がステアリング角である、請求項７に記載の周辺監視装置。
【請求項９】
前記操作値が前記車両の速度変化である、請求項７に記載の周辺監視装置。
【請求項１０】
前記検知部が、ウィンカの操作状態を検知する、請求項７〜９のいずれか一項に記載の周辺監視装置。
【請求項１１】
前記検知部が、運転者の視線移動を検知する、請求項７〜９のいずれか一項に記載の周辺監視装置。
【請求項１２】
前記検知部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の意図を検知する、請求項１〜１１のいずれか一項に記載の周辺監視装置。
【請求項１３】
前記判定部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の実施を判定する、請求項１〜１２のいずれか一項に記載の周辺監視装置。
【請求項１４】
前記表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイである、請求項１〜１３のいずれか一項に記載の周辺監視装置。
【請求項１】
車載カメラにより撮影された周辺映像を表示する周辺監視装置であって、
前記周辺映像を表示する表示部と、
運転操作の意図を検知する検知部と、
前記運転操作の実施を判定する判定部と、
前記運転操作の意図が検知されると、前記周辺映像を縮小表示し、前記運転操作が開始されると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了するように、前記表示部を制御する表示制御部と、
を備える周辺監視装置。
【請求項２】
前記表示制御部が、前記運転操作の意図が検知されるまで、前記周辺映像とは異なる他の情報を表示し、前記運転操作の意図が検知されると、前記他の情報に重畳して前記周辺映像を縮小表示し、前記運転操作が開始すると、前記周辺映像を拡大表示し、前記運転操作が収束すると、前記周辺映像の表示を終了して前記他の情報を表示するように、前記表示部を制御する、請求項１に記載の周辺監視装置。
【請求項３】
前記判定部が、前記運転操作に関する操作値を所定の閾値と比較して、前記運転操作の開始または収束を判定する、請求項１または２に記載の周辺監視装置。
【請求項４】
前記閾値が、前記運転操作の意図が検知された時点から、前記運転操作の開始前における前記運転操作の意図に沿う操作が検知された時点までの期間に応じて設定され、
前記判定部が、前記閾値を前記操作値が上回る場合に、前記運転操作が開始したと判定する、請求項３に記載の周辺監視装置。
【請求項５】
前記閾値が、前記期間が短いほど小さな値に設定される、請求項４に記載の周辺監視装置。
【請求項６】
前記閾値が、前記運転操作の実施に際して連続して変化する操作値の最大値に相当するように設定され、
前記判定部が、前記閾値を前記操作値が下回る場合に、前記運転操作が収束したと判定する、請求項３〜５のいずれか一項に記載の周辺監視装置。
【請求項７】
前記運転操作が、車両の進路または進行方向を変更するための操作であり、
前記周辺映像が、前記車両の側方映像である、請求項１〜６のいずれか一項に記載の周辺監視装置。
【請求項８】
前記操作値がステアリング角である、請求項７に記載の周辺監視装置。
【請求項９】
前記操作値が前記車両の速度変化である、請求項７に記載の周辺監視装置。
【請求項１０】
前記検知部が、ウィンカの操作状態を検知する、請求項７〜９のいずれか一項に記載の周辺監視装置。
【請求項１１】
前記検知部が、運転者の視線移動を検知する、請求項７〜９のいずれか一項に記載の周辺監視装置。
【請求項１２】
前記検知部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の意図を検知する、請求項１〜１１のいずれか一項に記載の周辺監視装置。
【請求項１３】
前記判定部が、ナビゲーション情報またはレーダー情報を考慮して前記運転操作の実施を判定する、請求項１〜１２のいずれか一項に記載の周辺監視装置。
【請求項１４】
前記表示部が、車載モニタ、インナーミラー、またはフロントウィンドウディスプレイである、請求項１〜１３のいずれか一項に記載の周辺監視装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図７Ｅ】
【図８】
【図９】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図７Ｅ】
【図８】
【図９】
【公開番号】特開２０１３−１０９５０５（Ｐ２０１３−１０９５０５Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３０１８（Ｐ２０１１−２５３０１８）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]