車両用情報提示装置
【課題】運転者の死角に存在する接近物体を素早く確実に運転者に提示する。
【解決手段】自車両の正面、右側方、左側方を撮像する正面カメラ２、右カメラ３、左カメラ４と、カメラ２〜４で撮像した撮像画像を車内に表示するディスプレイ５と、右カメラ３と左カメラ４で撮像した撮像画像に基づいて自車両に接近する接近物体を検出する接近物体検出部１２と、接近物体検出部１２により検出した接近物体に関する情報を運転者へ報知する報知用画像を前記撮像画像に重畳表示する画像制御部１１と、を備えた車両用情報提示装置１において、ディスプレイ５は自車両前方領域および左右側方領域の撮像画像を表示可能であり、画像制御部１１は、自車両前方領域の撮像画像の中央に報知用画像を重畳表示するとともに、接近物体が検出された場合には報知用画像を接近物体が存在する方向を示す画像に変更する。
【解決手段】自車両の正面、右側方、左側方を撮像する正面カメラ２、右カメラ３、左カメラ４と、カメラ２〜４で撮像した撮像画像を車内に表示するディスプレイ５と、右カメラ３と左カメラ４で撮像した撮像画像に基づいて自車両に接近する接近物体を検出する接近物体検出部１２と、接近物体検出部１２により検出した接近物体に関する情報を運転者へ報知する報知用画像を前記撮像画像に重畳表示する画像制御部１１と、を備えた車両用情報提示装置１において、ディスプレイ５は自車両前方領域および左右側方領域の撮像画像を表示可能であり、画像制御部１１は、自車両前方領域の撮像画像の中央に報知用画像を重畳表示するとともに、接近物体が検出された場合には報知用画像を接近物体が存在する方向を示す画像に変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の運転者に自車両周辺の情報を提供する車両用情報提示装置に関するものである。
【背景技術】
【０００２】
特許文献１には、自車両の運転者の死角となる車両前方の左右側方領域をカメラで撮像し、左右側方領域の撮像画像を表示画面に左右に並べて表示し、各領域の撮像画像中に車両を検出した場合に、車両が検出された画像に報知用マークを重ねて表示することによって運転者に注意を喚起する車両周辺監視装置が開示されている。
【特許文献１】特開２００４−５６４８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記車両周辺監視装置では、左右両方向から同時に車両が接近してくる場合には、表示画面の左右の画像にそれぞれ報知用マークが表示されるが、一方の画像の報知用マークを注視することによって、他の方向から接近してくる車両の認識が遅れる場合がある。
【０００４】
また、左右いずれの方向からも接近してくる他車両が存在しないときにも、運転者はその情報を得るためには表示画面に表示された左右側方領域の画像を目視する必要があるが、左側の画像と右側の画像に順番に視線を移さなければならないため、左右の画像の目視に時間差が生じ、安全確認が不十分になる虞がある。
【０００５】
そこで、この発明は、自車両前方の左右側方から接近する物体の存在を素早く確実に運転者に提示することができる車両用情報提示装置を提供するものである。
【課題を解決するための手段】
【０００６】
この発明に係る車両用情報提示装置では、上記課題を解決するために以下の手段を採用した。
請求項１に係る発明は、自車両周辺を撮像する撮像手段（例えば、後述する実施例における正面カメラ２、右カメラ３、左カメラ４）と、前記撮像手段で撮像した撮像画像を車内に表示する表示手段（例えば、後述する実施例におけるディスプレイ５）と、前記撮像手段で撮像した撮像画像に基づいて自車両に接近する接近物体を検出する接近物体検出手段（例えば、後述する実施例における接近物体検出部１２）と、前記接近物体検出手段により検出した接近物体に関する情報を運転者へ報知する報知用画像（例えば、後述する実施例におけるマスコット画像Ｍ）を前記撮像画像に重畳表示する画像制御手段（例えば、後述する実施例における画像制御部１１）と、を備えた車両用情報提示装置（例えば、後述する実施例における車両用情報提示装置１）において、前記表示手段は、自車両前方領域および左右側方領域の撮像画像を表示可能であり、前記画像制御手段は、自車両前方領域の撮像画像の中央に報知用画像を重畳表示するとともに、接近物体が検出された場合には前記報知用画像を該接近物体が存在する方向を示す画像に変更することを特徴とする。
【０００７】
請求項２に係る発明は、請求項１に記載の発明において、前記画像制御手段は、前記接近物体検出手段によって接近物体が検出されていない場合に、前記報知用画像を所定周期で左右に向ける画像に変更することを特徴とする。
【０００８】
請求項３に係る発明は、請求項１または請求項２に記載の発明において、前記画像制御手段は、前記接近物体検出手段によって前記接近物体が左右側方領域の両方で検出されている場合に、前記報知用画像の色を、左右側方領域の両方で検出されている場合以外の色と異なる色に変更することを特徴とする。
【０００９】
請求項４に係る発明は、請求項１から請求項３のいずれか１項に記載の発明において、前記報知用画像は、実在する動物の形態、あるいは想像上の動物の形態、あるいはキャラクターの形態をなすことを特徴とする。
【発明の効果】
【００１０】
請求項１に係る発明によれば、報知用画像を接近物体が存在する方向に向けるので、視線誘導効果により接近物体の存在を確実に運転者へ提示することができる。また、報知用画像は自車両前方領域の撮像画像の中央に重畳表示されるので、運転者が左右側方領域の撮像画像のいずれかを注視中であっても報知用画像が運転者の周辺視野内に入り易くなり、視線誘導を効果的に行うことができる。
【００１１】
請求項２に係る発明によれば、接近物体が検出されていない場合には報知用画像が左右に振り向く動作をし続けるので、運転者による左右の安全確認を促すことができる。
【００１２】
請求項３に係る発明によれば、接近物体が左右両側に存在する危険度の高い状況を的確に運転者に提示することができる。
【００１３】
請求項４に係る発明によれば、運転者に威圧感を与えることなく情報提示ができる。また、視線誘導効果も高い。
【発明を実施するための最良の形態】
【００１４】
以下、この発明に係る車両用情報提示装置の実施例を図１から図１８の図面を参照して説明する。なお、この実施例の車両用情報提示装置１は、交差点等を安全走行するための情報提示装置としての態様である。
図１に示すように、この実施例における車両用情報提示装置１は、正面カメラ２と、右カメラ３と、左カメラ４と、ディスプレイ５と、画像処理ユニット１０とを備えている。この実施例において、正面カメラ２と右カメラ３と左カメラ４は撮像手段を構成し、ディスプレイ５は表示手段を構成する。
【００１５】
正面カメラ２、右カメラ３、左カメラ４は、例えば可視光領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる。
図２に示すように、正面カメラ２は例えば自車両Ｖにおける車体前部のグリル６付近に設置され、自車両の前方領域を撮像する。右カメラ３は例えばフロントバンパー７の右端部に設置され、自車両前方の右側方領域を撮像する。左カメラ４は例えばフロントバンパー７の左端部に設置され、自車両前方の左側方領域を撮像する。各カメラ２〜４はそれぞれ撮像した画像情報を画像処理ユニット１０に出力する。
【００１６】
図３は各カメラ２，３，４の撮像範囲を示しており、左右カメラ３，４は自車両の車幅方向を含む視野角約４７度の範囲を撮像可能で、正面カメラ２は自車両の正面を中心に視野角約１９０度の範囲を撮像可能で、左右カメラ３，４の撮像範囲の空き領域を正面カメラ２の撮像画像で補間することにより、図４に示すように自車両の正面を含む１８０度の範囲の画像を得ることができるように構成されている。なお、各カメラ２〜４の前記視野角はあくまで一例であって、この角度に限るものではない。
【００１７】
画像処理ユニット１０は、画像制御部（画像制御手段）１１と接近物体検出部（接近物体検出手段）１２とを備えて構成されており、例えば、図２に示すように、自車両Ｖの後部座席の後方等に搭載されている。
画像制御部１１は、前記３つのカメラ２〜４から入力した三方向の画像情報に対して、例えばフィルタリング等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成するとともに、これら三方向の画像データが図６に示すようにスムーズに連続した一つの合成画像Ｇとしてディスプレイ５に表示されるように、所定の画像処理を行う。なお、図６において、符号Ｇ１は正面カメラ２の撮像に基づいて生成された画像、符号Ｇ２は右カメラ３の撮像に基づいて生成された画像、符号Ｇ３は左カメラ４の撮像に基づいて生成された画像を示している。
【００１８】
また、画像制御部１１は、接近物体に関する情報を運転者に報知するための報知用画像としてのマスコット画像（この実施例では、熊のぬいぐるみの形態をしたマスコット画像）を作成し、図６に示すように、作成したマスコット画像Ｍを正面カメラ２の画像Ｇ１の中央に重畳表示するとともに、接近物体検出部１２から入力した接近物体検出結果に基づいてマスコット画像Ｍの動き等を所定に制御する。マスコット画像Ｍの制御については後で説明する。
マスコット画像Ｍは、頭、胴、手足を備え、特にその顔面には左右の目Ｍｉを備えている。この実施例の車両用情報提示装置１では、マスコット画像Ｍの目Ｍｉの存在が重要な役割を果たす。これについては後で詳述する。
【００１９】
接近物体検出部１２は、画像制御部１１から入力した右カメラ３と左カメラ４の画像データに基づいて、自車両の前方左右側方から自車両に接近する物体（以下、接近物体という）を検出する。すなわち、右カメラ３の画像データに基づいて自車両の前方右側方から自車両に接近してくる接近物体を検出するとともに、左カメラ４の画像データに基づいて自車両の前方左側方から自車両に接近してくる接近物体を検出する。そして接近物体検出部１２は検出結果を画像制御部１１に出力する。接近物体の検出方法については後で説明する。
【００２０】
なお、左右カメラ３，４の撮像範囲に限って言えば、左右カメラ３，４の解像度の方が正面カメラ２の解像度よりも高く、この高解像度の左右カメラ３，４で撮像された撮像画像に基づいて自車両の左右方向から接近する接近物体を検出するので、高精度の検出が可能となる。
【００２１】
ディスプレイ５は、図２に示すように、自車両Ｖの車内の運転席前方に設置されており、画像処理ユニット１０から出力される合成画像Ｇおよびマスコット画像Ｍを、自車両の乗員に視認可能に表示する。なお、この実施例では、ディスプレイ５に合成画像Ｇおよびマスコット画像Ｍが表示されるのは、自車両ＶがＴ字路や交差点に進入する直前から該Ｔ字路や交差点を通過完了するまでの期間に限定されており、それ以外のときはディスプレイ５に合成画像Ｇおよびマスコット画像Ｍは表示されないものとする。なお、自車両がＴ字路や交差点に接近中か否かの情報は、車両に搭載の図示しないナビゲーションシステムから取得することが可能である。
【００２２】
ディスプレイ５の設置位置について詳述すると、図５に示すように、ハンドル２１の前方にはスピードメータやタコメータ等が配置されたメータディスプレイ２２が設置されており、このメータディスプレイ２２の直ぐ上方に、接近物体情報提供用のディスプレイ５が設置されている。したがって、運転者は自車両の前方を見るときには、ディスプレイ５越しにその上方のフロントガラス２３を通して目視することとなる。したがって、視線を外界からディスプレイ５、あるいはその逆に移動する場合も、運転者の視線移動量を少なくすることができる。
なお、ディスプレイ５は、フロントガラス２３の下部において運転者の前方視界を妨げないように表示するＨＵＤ（Head Up Display）で構成してもよい。
【００２３】
次に、接近物体検出部１２で実行される接近物体の検出処理について説明する。
一般に、動画から物体の動きを抽出する手法の一つとしてオプティカルフローが知られている。オプティカルフローは物体の移動ベクトルであり、時間的に連続する２つの画像間において、同一物体の輝度変化は小さいという仮定の下で、同程度の輝度を持つ点の移動量から算出する。オプティカルフローの算出には、Lucas-Knanade法（略してＬＫ法）を例示することができる。
【００２４】
接近物体の検出には、このオプティカルフローを利用する。例えば、図７に示すように、交差点に接近してくる車両（以下、接近車両という）ＶＴを、交差点の手前で停止している自車両のカメラで撮像し、画像上のエッジの交点を特徴点として抽出すると、特徴点の分布が極めて少ない領域と、特徴点の分布が多い領域とが存在する。特徴点の分布が極めて少ない領域は路面と推定できるので、前記二つの領域の境を平面境界と推定する。建物や接近車両ＶＴ等の立体物は平面境界より上に存在する。
【００２５】
そして、図７（Ａ）に示される画像を撮像してから所定時間Δｔ後に、図７（Ｂ）に示される画像を撮像した場合に、接近車両ＶＴの画像から抽出した前記特徴点からは自車両に接近する方向にオプティカルフローが抽出されるが、不動の建物など静止物の画像から抽出した前記特徴点からは、オプティカルフローは抽出されない。つまり、静止物からはオプティカルフローは抽出されず、自車両に対して相対移動する物体だけからオプティカルフローが抽出され、しかも、接近物体からは自車両に接近する方向のオプティカルフローが抽出される。
【００２６】
次に、オプティカルフローに基づいて接近物体を検出する接近物体検出処理を図８のフローチャートに従って説明する。なお、前述したように、前方右側方から自車両Ｖに接近してくる接近物体を検出する場合には右カメラ３の画像データに基づいて検出し、前方左側方から自車両Ｖに接近してくる接近物体を検出する場合には左カメラ４の画像データに基づいて検出するので、以下に記載する接近物体検出処理は左右カメラ３，４の画像データに対してそれぞれ別々に実行する。
【００２７】
まず、ステップＳ０１において、カメラにより撮像された画像上の特徴点（エッジの交点）の分布に基づいて、平面境界を設定する。
次に、ステップＳ０２において、所定時間間隔で撮像された画像上の特徴点の軌跡に基づいて、自車両に接近する方向のオプティカルフローを算出する。
【００２８】
次に、ステップＳ０３において、ステップＳ０２で算出された自車両方向のオプティカルフローのヒストグラムを算出する。オプティカルフローのヒストグラムは、図９に示すように、画像をその幅方向に微少幅を有する区間に細分し、前記各区間毎にオプティカルフローの出現頻度を算出することによって求める。
【００２９】
次に、ステップＳ０４において、オプティカルフローのヒストグラムに基づいて、オプティカルフローがノイズか否かを判別する。すなわち、出現頻度が所定の閾値よりも少ない区間のオプティカルフローはノイズにより生じたものであると判断し、以後の処理対象から除外し、出現頻度が前記閾値以上の区間のオプティカルフローを以後の処理対象とする。
【００３０】
次に、ステップＳ０５において、オプティカルフローのヒストグラムに基づいて、オプティカルフローのグループ化を行う。すなわち、出現頻度が前記閾値以上の区間のオプティカルフローにおいて、略同一方向で略同一長さのオプティカルフロー毎にグループ化して、１つのグループ毎に１つの接近物体と判断し、各グループにおける区間幅を接近物体の幅および高さに設定する。
【００３１】
次に、ステップＳ０６に進み、ステップＳ０５において実行したグループ化処理の結果に基づいて、接近物体を抽出し、本ルーチンの実行を一旦終了する。
【００３２】
次に、画像制御部１１において実行されるマスコット画像Ｍの動作制御を図１０から図１８の図面を参照して説明する。
マスコット画像Ｍの動作制御のメインフローを図１０のフローチャートに従って説明する。
【００３３】
まず、ステップＳ１０１において、前述したオプティカルフローに基づく接近物体検出処理を実行する。
次に、ステップＳ１０２に進み、接近物体が存在するか否かを判定する。
ステップＳ１０２における判定結果が「ＮＯ」である場合には、自車両Ｖの前方左側方および前方右側方のいずれにも接近物体が存在しないので、ステップＳ１０３に進み、マスコット動作１にしたがってマスコット画像Ｍを動作させる。マスコット動作１については後で詳述する。
【００３４】
ステップＳ１０２における判定結果が「ＹＥＳ」である場合には、ステップＳ１０４に進み、接近物体は自車両Ｖの前方左側方および前方右側方の両方に存在するか否かを判定する。
ステップＳ１０４における判定結果が「ＹＥＳ」である場合には、自車両Ｖの前方左側方および前方右側方の両方に接近物体が存在するので、ステップＳ１０５に進み、マスコット動作４にしたがってマスコット画像Ｍを動作させる。マスコット動作４については後で詳述する。
【００３５】
ステップＳ１０４における判定結果が「ＮＯ」である場合には、ステップＳ１０６に進み、接近物体は自車両Ｖの前方左側方に存在するか否かを判定する。
ステップＳ１０６における判定結果が「ＮＯ」である場合には、接近物体は自車両Ｖの前方右側方に存在するので、ステップＳ１０７に進み、マスコット動作３にしたがってマスコット画像Ｍを動作させる。マスコット動作３については後で詳述する。
ステップＳ１０６における判定結果が「ＹＥＳ」である場合には、接近物体は自車両Ｖの前方左側方に存在するので、ステップＳ１０８に進み、マスコット動作２にしたがってマスコット画像Ｍを動作させる。マスコット動作２については後で詳述する。
【００３６】
次に、ステップＳ１０３において実行されるマスコット動作１、すなわち、自車両Ｖの前方左側方および前方右側方のいずれにも接近物体が存在しない場合のマスコット画像Ｍの動作について、図１１および図１２の図面を参照して説明する。
図１１に示すように、マスコット動作１では、マスコット画像Ｍの色を黄色とし、マスコット画像Ｍ全体を運転者と対面する方向（Ｚ軸方向）を中心にして左右各４０度の角度範囲で、周期３秒で回動させる。つまり、マスコット画像Ｍを、マスコット画像Ｍの上下方向中心軸（以下、Ｙ軸）回りに、Ｚ軸を０゜として−４０゜〜＋４０゜の角度範囲で、周期３秒で回動させる。図１２にマスコット動作１のフローチャートを示す。
【００３７】
人間は、相手の視線を追って相手の見ている対象を見るというコミュニケーション能力を持っており、換言すると、相手の視線には強い視線誘導機能がある。この車両用情報提示装置１では、この相手視線の視線誘導機能に着目し、運転者と対面するマスコット画像Ｍ全体を回動することによって、マスコット画像Ｍが視線を左右に振っているように見せかけて、これにより運転者はマスコット画像Ｍに視線誘導される。
【００３８】
ただし、マスコット動作１では、マスコット画像Ｍの回動周期が３秒と比較的に長く、また回動角度も８０度と大きく設定されているので、この長い周期と大きな回動角度により、また必要に応じてディスプレイ５の合成画像Ｇを確認することにより、運転者は自身の死角となる自車両Ｖの左右側方から接近物体が存在しないことを確認できるので、運転者はマスコット画像Ｍのゆったりとした回動動作に合わせるようにして、運転者自身の目視による左右の安全確認をしながら交差点内に進入していくこととなる。
【００３９】
次に、ステップＳ１０８において実行されるマスコット動作２、すなわち、自車両Ｖの前方左側方だけに接近物体が存在する場合のマスコット画像Ｍの動作について、図１３および図１４の図面を参照して説明する。
図１３に示すように、マスコット動作２では、マスコット画像Ｍの色を黄色とし、マスコット画像Ｍ全体を、運転者との対面位置から左方へ４０度回転した位置を中心にして左右各１０度の角度範囲で、周期１．５秒で回動させる。つまり、マスコット画像ＭをＹ軸回りに、Ｚ軸を０゜として−５０゜〜−３０゜の角度範囲で、周期１．５秒で回動させる。
【００４０】
このマスコット動作２では、マスコット画像Ｍの回動周期が１．５秒とマスコット動作１の場合に比べて短く、また回動角度も２０度とマスコット動作１の場合に比べて小さく設定されているので、この短い周期と小さな回動角度により、また必要に応じてディスプレイ５の合成画像Ｇの内の左側画像Ｇ３を確認することにより、運転者は自身の死角となる自車両Ｖの左側方から接近車両ＶＴが存在することを確認できるので、運転者はマスコット画像Ｍの小刻みな左向き回動動作（振り向き動作）に視線誘導されて、運転者自身の目視による左方安全確認を促されることとなる。
【００４１】
マスコット動作２におけるマスコット画像Ｍの動作制御を図１４のフローチャートに従って説明する。
まず、ステップＳ１２１において、マスコット画像Ｍ全体をＹ軸回りに−４０゜の角度になるように回転する。
次に、ステップＳ１２２に進み、マスコット画像Ｍの現在の角度が、−３０゜以下且つ−５０゜以上の範囲に入っているか否かを判定する。
【００４２】
ステップＳ１２２における判定結果が「ＹＥＳ」（範囲内）である場合には、ステップＳ１２３に進み、フラグ（ｆｌａｇ）に１を立て、ステップＳ１２４に進む。
一方、ステップＳ１２２における判定結果が「ＮＯ」（範囲外）である場合には、ステップＳ１２５に進み、フラグ（ｆｌａｇ）に０を立て、ステップＳ１２４に進む。
【００４３】
ステップＳ１２４においては、フラグ（ｆｌａｇ）が１か否かを判定する。
ステップＳ１２４における判定結果が「ＹＥＳ」（ｆｌａｇ＝１）である場合には、ステップＳ１２６に進み、マスコット画像Ｍ全体をＹ軸回りに、−５０゜〜−３０゜の角度範囲で、周期１．５秒で回動（振り向き動作）させる。
ステップＳ１２４における判定結果が「ＮＯ」（ｆｌａｇ＝０）である場合には、本ルーチンの実行を一旦終了する。
【００４４】
このように制御することにより、マスコット動作２以外の動作を行っている状態からマスコット動作２に移行する場合に、マスコット動作２以外の動作から連続的に且つ自然な感じでスムーズにマスコット動作２に移行させることができる。つまり、マスコット動作の不自然な切り替わりを防止することができる。
【００４５】
次に、ステップＳ１０７において実行されるマスコット動作３、すなわち、自車両Ｖの前方右側方だけに接近物体が存在する場合のマスコット画像Ｍの動作について、図１５および図１６の図面を参照して説明する。
図１５に示すように、マスコット動作３では、マスコット画像Ｍの色を黄色とし、マスコット画像Ｍ全体を、運転者との対面位置から右方へ４０度回転した位置を中心にして左右各１０度の角度範囲で、周期１．５秒で回動させる。つまり、マスコット画像ＭをＹ軸回りに、Ｚ軸を０゜として３０゜〜５０゜の角度範囲で、周期１．５秒で回動させる。
【００４６】
このマスコット動作３では、マスコット画像Ｍの回動周期が１．５秒とマスコット動作１の場合に比べて短く、また回動角度も２０度とマスコット動作１の場合に比べて小さく設定されているので、この短い周期と小さな回動角度により、また必要に応じてディスプレイ５の合成画像Ｇの内の右側画像Ｇ２を確認することにより、運転者は自身の死角となる自車両Ｖの右側方に接近車両ＶＴが存在することを確認できるので、運転者はマスコット画像Ｍの小刻みな右向き回動動作（振り向き動作）に視線誘導されて、運転者自身の目視による右方安全確認を促されることとなる。
【００４７】
マスコット動作３におけるマスコット画像Ｍの動作制御を図１６のフローチャートに従って説明する。
まず、ステップＳ１３１において、マスコット画像Ｍ全体をＹ軸回りに４０゜の角度になるように回転する。
次に、ステップＳ１３２に進み、マスコット画像Ｍの現在の角度が、３０゜以上且つ５０゜以下の範囲に入っているか否かを判定する。
【００４８】
ステップＳ１３２における判定結果が「ＹＥＳ」（範囲内）である場合には、ステップＳ１３３に進み、フラグ（ｆｌａｇ）に１を立て、ステップＳ１３４に進む。
一方、ステップＳ１３２における判定結果が「ＮＯ」（範囲外）である場合には、ステップＳ１３５に進み、フラグ（ｆｌａｇ）に０を立て、ステップＳ１３４に進む。
【００４９】
ステップＳ１３４においては、フラグ（ｆｌａｇ）が１か否かを判定する。
ステップＳ１３４における判定結果が「ＹＥＳ」（ｆｌａｇ＝１）である場合には、ステップＳ１３６に進み、マスコット画像Ｍ全体をＹ軸回りに、３０゜〜５０゜の角度範囲で、周期１．５秒で回動（振り向き動作）させる。
ステップＳ１３４における判定結果が「ＮＯ」（ｆｌａｇ＝０）である場合には、本ルーチンの実行を一旦終了する。
【００５０】
このように制御することにより、マスコット動作３以外の動作を行っている状態からマスコット動作３に移行する場合に、マスコット動作３以外の動作から連続的に且つ自然な感じでスムーズにマスコット動作３に移行させることができる。つまり、マスコット動作の不自然な切り替わりを防止することができる。
【００５１】
次に、ステップＳ１０５において実行されるマスコット動作４、すなわち、自車両Ｖの前方左側方および前方右側方の両方に接近物体が存在する場合のマスコット画像Ｍの動作について、図１７および図１８の図面を参照して説明する。
図１７に示すように、マスコット動作４では、マスコット画像Ｍの色を赤色に変更し、マスコット画像Ｍ全体を運転者と対面する方向（Ｚ軸方向）を中心にして左右各３０度の角度範囲で、周期１．５秒で回動させる。つまり、マスコット画像ＭをＹ軸回りに、Ｚ軸を０゜として−３０゜〜＋３０゜の角度範囲で、周期１．５秒で回動させる。
【００５２】
このマスコット動作４では、マスコット画像Ｍの色がマスコット動作１〜３のときの黄色から赤色に変更するので、特に危険度の高い状況であると運転者に注意を喚起することができる。また、マスコット画像Ｍの回動周期が１．５秒とマスコット動作１の場合に比べて短く、回動角度も６０度とマスコット動作１の場合に比べて小さく設定されているので、これら色の変更と短い周期と小さな回動角度により、ディスプレイ５の合成画像Ｇの内の右側画像Ｇ２と左側画像Ｇ３を確認しなくても、運転者は自身の死角となる自車両Ｖの左側方および右側方に接近車両ＶＴ１，ＶＴ２が存在することを瞬時に認識することができる。そして、運転者はマスコット画像Ｍの小刻みな左右回動動作（振向き動作）に視線誘導されて、運転者自身の目視による左右両方向の安全確認を促されることとなる。
【００５３】
マスコット動作４におけるマスコット画像Ｍの動作制御を図１８のフローチャートに従って説明する。
まず、ステップＳ１４１において、マスコット画像Ｍ全体をＹ軸回りに、−３０゜〜＋３０゜の角度範囲で、周期１．５秒で回動（振り向き動作）させる。
次に、ステップＳ１４２に進み、マスコット画像Ｍの色を赤色に変更する。
【００５４】
以上説明するように、この実施例の車両用情報提示装置１によれば、マスコット画像Ｍを接近物体が存在する方向に向けるので、視線誘導効果により接近物体の存在を確実に運転者へ提示することができる。また、マスコット画像Ｍは自車両前方領域の画像Ｇ１の中央に重畳表示されるので、運転者が左右側方領域の画像Ｇ２あるいはＧ３のいずれかを注視中であっても、マスコット画像Ｍが運転者の周辺視野内に入り易くなり、視線誘導を効果的に行うことができる。
【００５５】
また、接近物体が検出されていない場合にも、マスコット画像Ｍが正面を中心に左右に振り向き動作を行うので、運転者の目視による左右の安全確認を促すことができる。
【００５６】
さらに、接近物体が左右側方領域の両方で検出されている場合には、マスコット画像Ｍの色を赤色に変更し、左右側方領域の一方の領域で接近物体が検出されている場合や左右側方領域のいずれにも接近物体が検出されない場合におけるマスコット画像Ｍの色である黄色と異なるので、接近物体が左右両側に存在する危険度の高い状況を的確に運転者に提示することができる。
【００５７】
また、マスコット画像Ｍは熊のぬいぐるみの形態をしているので、運転者に威圧感を与えることなく情報提示ができる。また、視線誘導効果も高い。
【００５８】
〔他の実施例〕
なお、この発明は前述した実施例に限られるものではない。
例えば、前述した実施例では、報知用画像として熊のぬいぐるみの形態をしたマスコット画像としたが、これに限られるものではなく、例えば、実在する動物（例えば、犬、猫、パンダなど）の形態や、想像上の動物の形態や、漫画の主人公などのキャラクターの形態などでもよいし、あるいは単なる矢印であってもよく、要は方向性を提示することができるものであれば、いかなる形態であってもよい。
【００５９】
また、前述した実施例では報知用画像としてのマスコット画像の全体を回動することで接近物体の存在する方向を提示したが、これに限るものではなく、マスコット画像の向きは正面に固定したまま、接近物体が存在する側の腕を上げる等の動作で接近物体の存在する方向を提示することも可能である。あるいは、実施例のようにマスコット画像全体の回動動作に、前記腕の動作を加えることも可能である。
さらに、接近物体の存在する方向を提示する方法は、報知用画像の形態に応じて種々の動作が採用可能である。
【００６０】
また、前述した実施例では、３つのカメラ２〜４から取得した三方向の画像データをスムーズに連続した一つの画像となるように画像処理を行っているが、必ずしもディスプレイ５にスムーズに連続した画像で表示しなければならないものではなく、ディスプレイ５に不連続な三方向の画像データを並べて表示するようにしても構わない。
【図面の簡単な説明】
【００６１】
【図１】この発明に係る車両用情報提示装置の実施例における概略構成図である。
【図２】前記実施例の車両用情報提示装置を備えた車両の外観斜視図である。
【図３】前記実施例の車両用情報提示装置における各カメラの視野角を示す図である。
【図４】前記実施例の車両用情報提示装置におけるカメラの撮像範囲を示す図である。
【図５】前記実施例の車両用情報提示装置におけるディスプレイの配置を示す斜視図である。
【図６】前記実施例の車両用情報提示装置におけるディスプレイに表示された合成画像とマスコット画像の正面図である。
【図７】オプティカルフローを説明する図である。
【図８】前記実施例の車両用情報提示装置において接近物体検出処理を示すフローチャートである。
【図９】オプティカルフローのヒストグラムの一例を示す図である。
【図１０】前記実施例の車両用情報提示装置におけるマスコット画像の動作制御を示すフローチャートである。
【図１１】前記実施例の車両用情報提示装置におけるマスコット動作１を説明する図である。
【図１２】前記マスコット動作１の制御を示すフローチャートである。
【図１３】前記実施例の車両用情報提示装置におけるマスコット動作２を説明する図である。
【図１４】前記マスコット動作２の制御を示すフローチャートである。
【図１５】前記実施例の車両用情報提示装置におけるマスコット動作３を説明する図である。
【図１６】前記マスコット動作３の制御を示すフローチャートである。
【図１７】前記実施例の車両用情報提示装置におけるマスコット動作４を説明する図である。
【図１８】前記マスコット動作４の制御を示すフローチャートである。
【符号の説明】
【００６２】
１ 車両用情報提示装置
２ 正面カメラ（撮像手段）
３ 右カメラ（撮像手段）
４ 左カメラ（撮像手段）
５ ディスプレイ（表示手段）
１１ 画像制御部（画像制御手段）
１２ 接近物体検出部（接近物体検出手段）
Ｍ マスコット画像（報知用画像）
Ｖ 自車両
ＶＴ 接近車両（接近物体）
【技術分野】
【０００１】
この発明は、車両の運転者に自車両周辺の情報を提供する車両用情報提示装置に関するものである。
【背景技術】
【０００２】
特許文献１には、自車両の運転者の死角となる車両前方の左右側方領域をカメラで撮像し、左右側方領域の撮像画像を表示画面に左右に並べて表示し、各領域の撮像画像中に車両を検出した場合に、車両が検出された画像に報知用マークを重ねて表示することによって運転者に注意を喚起する車両周辺監視装置が開示されている。
【特許文献１】特開２００４−５６４８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記車両周辺監視装置では、左右両方向から同時に車両が接近してくる場合には、表示画面の左右の画像にそれぞれ報知用マークが表示されるが、一方の画像の報知用マークを注視することによって、他の方向から接近してくる車両の認識が遅れる場合がある。
【０００４】
また、左右いずれの方向からも接近してくる他車両が存在しないときにも、運転者はその情報を得るためには表示画面に表示された左右側方領域の画像を目視する必要があるが、左側の画像と右側の画像に順番に視線を移さなければならないため、左右の画像の目視に時間差が生じ、安全確認が不十分になる虞がある。
【０００５】
そこで、この発明は、自車両前方の左右側方から接近する物体の存在を素早く確実に運転者に提示することができる車両用情報提示装置を提供するものである。
【課題を解決するための手段】
【０００６】
この発明に係る車両用情報提示装置では、上記課題を解決するために以下の手段を採用した。
請求項１に係る発明は、自車両周辺を撮像する撮像手段（例えば、後述する実施例における正面カメラ２、右カメラ３、左カメラ４）と、前記撮像手段で撮像した撮像画像を車内に表示する表示手段（例えば、後述する実施例におけるディスプレイ５）と、前記撮像手段で撮像した撮像画像に基づいて自車両に接近する接近物体を検出する接近物体検出手段（例えば、後述する実施例における接近物体検出部１２）と、前記接近物体検出手段により検出した接近物体に関する情報を運転者へ報知する報知用画像（例えば、後述する実施例におけるマスコット画像Ｍ）を前記撮像画像に重畳表示する画像制御手段（例えば、後述する実施例における画像制御部１１）と、を備えた車両用情報提示装置（例えば、後述する実施例における車両用情報提示装置１）において、前記表示手段は、自車両前方領域および左右側方領域の撮像画像を表示可能であり、前記画像制御手段は、自車両前方領域の撮像画像の中央に報知用画像を重畳表示するとともに、接近物体が検出された場合には前記報知用画像を該接近物体が存在する方向を示す画像に変更することを特徴とする。
【０００７】
請求項２に係る発明は、請求項１に記載の発明において、前記画像制御手段は、前記接近物体検出手段によって接近物体が検出されていない場合に、前記報知用画像を所定周期で左右に向ける画像に変更することを特徴とする。
【０００８】
請求項３に係る発明は、請求項１または請求項２に記載の発明において、前記画像制御手段は、前記接近物体検出手段によって前記接近物体が左右側方領域の両方で検出されている場合に、前記報知用画像の色を、左右側方領域の両方で検出されている場合以外の色と異なる色に変更することを特徴とする。
【０００９】
請求項４に係る発明は、請求項１から請求項３のいずれか１項に記載の発明において、前記報知用画像は、実在する動物の形態、あるいは想像上の動物の形態、あるいはキャラクターの形態をなすことを特徴とする。
【発明の効果】
【００１０】
請求項１に係る発明によれば、報知用画像を接近物体が存在する方向に向けるので、視線誘導効果により接近物体の存在を確実に運転者へ提示することができる。また、報知用画像は自車両前方領域の撮像画像の中央に重畳表示されるので、運転者が左右側方領域の撮像画像のいずれかを注視中であっても報知用画像が運転者の周辺視野内に入り易くなり、視線誘導を効果的に行うことができる。
【００１１】
請求項２に係る発明によれば、接近物体が検出されていない場合には報知用画像が左右に振り向く動作をし続けるので、運転者による左右の安全確認を促すことができる。
【００１２】
請求項３に係る発明によれば、接近物体が左右両側に存在する危険度の高い状況を的確に運転者に提示することができる。
【００１３】
請求項４に係る発明によれば、運転者に威圧感を与えることなく情報提示ができる。また、視線誘導効果も高い。
【発明を実施するための最良の形態】
【００１４】
以下、この発明に係る車両用情報提示装置の実施例を図１から図１８の図面を参照して説明する。なお、この実施例の車両用情報提示装置１は、交差点等を安全走行するための情報提示装置としての態様である。
図１に示すように、この実施例における車両用情報提示装置１は、正面カメラ２と、右カメラ３と、左カメラ４と、ディスプレイ５と、画像処理ユニット１０とを備えている。この実施例において、正面カメラ２と右カメラ３と左カメラ４は撮像手段を構成し、ディスプレイ５は表示手段を構成する。
【００１５】
正面カメラ２、右カメラ３、左カメラ４は、例えば可視光領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる。
図２に示すように、正面カメラ２は例えば自車両Ｖにおける車体前部のグリル６付近に設置され、自車両の前方領域を撮像する。右カメラ３は例えばフロントバンパー７の右端部に設置され、自車両前方の右側方領域を撮像する。左カメラ４は例えばフロントバンパー７の左端部に設置され、自車両前方の左側方領域を撮像する。各カメラ２〜４はそれぞれ撮像した画像情報を画像処理ユニット１０に出力する。
【００１６】
図３は各カメラ２，３，４の撮像範囲を示しており、左右カメラ３，４は自車両の車幅方向を含む視野角約４７度の範囲を撮像可能で、正面カメラ２は自車両の正面を中心に視野角約１９０度の範囲を撮像可能で、左右カメラ３，４の撮像範囲の空き領域を正面カメラ２の撮像画像で補間することにより、図４に示すように自車両の正面を含む１８０度の範囲の画像を得ることができるように構成されている。なお、各カメラ２〜４の前記視野角はあくまで一例であって、この角度に限るものではない。
【００１７】
画像処理ユニット１０は、画像制御部（画像制御手段）１１と接近物体検出部（接近物体検出手段）１２とを備えて構成されており、例えば、図２に示すように、自車両Ｖの後部座席の後方等に搭載されている。
画像制御部１１は、前記３つのカメラ２〜４から入力した三方向の画像情報に対して、例えばフィルタリング等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成するとともに、これら三方向の画像データが図６に示すようにスムーズに連続した一つの合成画像Ｇとしてディスプレイ５に表示されるように、所定の画像処理を行う。なお、図６において、符号Ｇ１は正面カメラ２の撮像に基づいて生成された画像、符号Ｇ２は右カメラ３の撮像に基づいて生成された画像、符号Ｇ３は左カメラ４の撮像に基づいて生成された画像を示している。
【００１８】
また、画像制御部１１は、接近物体に関する情報を運転者に報知するための報知用画像としてのマスコット画像（この実施例では、熊のぬいぐるみの形態をしたマスコット画像）を作成し、図６に示すように、作成したマスコット画像Ｍを正面カメラ２の画像Ｇ１の中央に重畳表示するとともに、接近物体検出部１２から入力した接近物体検出結果に基づいてマスコット画像Ｍの動き等を所定に制御する。マスコット画像Ｍの制御については後で説明する。
マスコット画像Ｍは、頭、胴、手足を備え、特にその顔面には左右の目Ｍｉを備えている。この実施例の車両用情報提示装置１では、マスコット画像Ｍの目Ｍｉの存在が重要な役割を果たす。これについては後で詳述する。
【００１９】
接近物体検出部１２は、画像制御部１１から入力した右カメラ３と左カメラ４の画像データに基づいて、自車両の前方左右側方から自車両に接近する物体（以下、接近物体という）を検出する。すなわち、右カメラ３の画像データに基づいて自車両の前方右側方から自車両に接近してくる接近物体を検出するとともに、左カメラ４の画像データに基づいて自車両の前方左側方から自車両に接近してくる接近物体を検出する。そして接近物体検出部１２は検出結果を画像制御部１１に出力する。接近物体の検出方法については後で説明する。
【００２０】
なお、左右カメラ３，４の撮像範囲に限って言えば、左右カメラ３，４の解像度の方が正面カメラ２の解像度よりも高く、この高解像度の左右カメラ３，４で撮像された撮像画像に基づいて自車両の左右方向から接近する接近物体を検出するので、高精度の検出が可能となる。
【００２１】
ディスプレイ５は、図２に示すように、自車両Ｖの車内の運転席前方に設置されており、画像処理ユニット１０から出力される合成画像Ｇおよびマスコット画像Ｍを、自車両の乗員に視認可能に表示する。なお、この実施例では、ディスプレイ５に合成画像Ｇおよびマスコット画像Ｍが表示されるのは、自車両ＶがＴ字路や交差点に進入する直前から該Ｔ字路や交差点を通過完了するまでの期間に限定されており、それ以外のときはディスプレイ５に合成画像Ｇおよびマスコット画像Ｍは表示されないものとする。なお、自車両がＴ字路や交差点に接近中か否かの情報は、車両に搭載の図示しないナビゲーションシステムから取得することが可能である。
【００２２】
ディスプレイ５の設置位置について詳述すると、図５に示すように、ハンドル２１の前方にはスピードメータやタコメータ等が配置されたメータディスプレイ２２が設置されており、このメータディスプレイ２２の直ぐ上方に、接近物体情報提供用のディスプレイ５が設置されている。したがって、運転者は自車両の前方を見るときには、ディスプレイ５越しにその上方のフロントガラス２３を通して目視することとなる。したがって、視線を外界からディスプレイ５、あるいはその逆に移動する場合も、運転者の視線移動量を少なくすることができる。
なお、ディスプレイ５は、フロントガラス２３の下部において運転者の前方視界を妨げないように表示するＨＵＤ（Head Up Display）で構成してもよい。
【００２３】
次に、接近物体検出部１２で実行される接近物体の検出処理について説明する。
一般に、動画から物体の動きを抽出する手法の一つとしてオプティカルフローが知られている。オプティカルフローは物体の移動ベクトルであり、時間的に連続する２つの画像間において、同一物体の輝度変化は小さいという仮定の下で、同程度の輝度を持つ点の移動量から算出する。オプティカルフローの算出には、Lucas-Knanade法（略してＬＫ法）を例示することができる。
【００２４】
接近物体の検出には、このオプティカルフローを利用する。例えば、図７に示すように、交差点に接近してくる車両（以下、接近車両という）ＶＴを、交差点の手前で停止している自車両のカメラで撮像し、画像上のエッジの交点を特徴点として抽出すると、特徴点の分布が極めて少ない領域と、特徴点の分布が多い領域とが存在する。特徴点の分布が極めて少ない領域は路面と推定できるので、前記二つの領域の境を平面境界と推定する。建物や接近車両ＶＴ等の立体物は平面境界より上に存在する。
【００２５】
そして、図７（Ａ）に示される画像を撮像してから所定時間Δｔ後に、図７（Ｂ）に示される画像を撮像した場合に、接近車両ＶＴの画像から抽出した前記特徴点からは自車両に接近する方向にオプティカルフローが抽出されるが、不動の建物など静止物の画像から抽出した前記特徴点からは、オプティカルフローは抽出されない。つまり、静止物からはオプティカルフローは抽出されず、自車両に対して相対移動する物体だけからオプティカルフローが抽出され、しかも、接近物体からは自車両に接近する方向のオプティカルフローが抽出される。
【００２６】
次に、オプティカルフローに基づいて接近物体を検出する接近物体検出処理を図８のフローチャートに従って説明する。なお、前述したように、前方右側方から自車両Ｖに接近してくる接近物体を検出する場合には右カメラ３の画像データに基づいて検出し、前方左側方から自車両Ｖに接近してくる接近物体を検出する場合には左カメラ４の画像データに基づいて検出するので、以下に記載する接近物体検出処理は左右カメラ３，４の画像データに対してそれぞれ別々に実行する。
【００２７】
まず、ステップＳ０１において、カメラにより撮像された画像上の特徴点（エッジの交点）の分布に基づいて、平面境界を設定する。
次に、ステップＳ０２において、所定時間間隔で撮像された画像上の特徴点の軌跡に基づいて、自車両に接近する方向のオプティカルフローを算出する。
【００２８】
次に、ステップＳ０３において、ステップＳ０２で算出された自車両方向のオプティカルフローのヒストグラムを算出する。オプティカルフローのヒストグラムは、図９に示すように、画像をその幅方向に微少幅を有する区間に細分し、前記各区間毎にオプティカルフローの出現頻度を算出することによって求める。
【００２９】
次に、ステップＳ０４において、オプティカルフローのヒストグラムに基づいて、オプティカルフローがノイズか否かを判別する。すなわち、出現頻度が所定の閾値よりも少ない区間のオプティカルフローはノイズにより生じたものであると判断し、以後の処理対象から除外し、出現頻度が前記閾値以上の区間のオプティカルフローを以後の処理対象とする。
【００３０】
次に、ステップＳ０５において、オプティカルフローのヒストグラムに基づいて、オプティカルフローのグループ化を行う。すなわち、出現頻度が前記閾値以上の区間のオプティカルフローにおいて、略同一方向で略同一長さのオプティカルフロー毎にグループ化して、１つのグループ毎に１つの接近物体と判断し、各グループにおける区間幅を接近物体の幅および高さに設定する。
【００３１】
次に、ステップＳ０６に進み、ステップＳ０５において実行したグループ化処理の結果に基づいて、接近物体を抽出し、本ルーチンの実行を一旦終了する。
【００３２】
次に、画像制御部１１において実行されるマスコット画像Ｍの動作制御を図１０から図１８の図面を参照して説明する。
マスコット画像Ｍの動作制御のメインフローを図１０のフローチャートに従って説明する。
【００３３】
まず、ステップＳ１０１において、前述したオプティカルフローに基づく接近物体検出処理を実行する。
次に、ステップＳ１０２に進み、接近物体が存在するか否かを判定する。
ステップＳ１０２における判定結果が「ＮＯ」である場合には、自車両Ｖの前方左側方および前方右側方のいずれにも接近物体が存在しないので、ステップＳ１０３に進み、マスコット動作１にしたがってマスコット画像Ｍを動作させる。マスコット動作１については後で詳述する。
【００３４】
ステップＳ１０２における判定結果が「ＹＥＳ」である場合には、ステップＳ１０４に進み、接近物体は自車両Ｖの前方左側方および前方右側方の両方に存在するか否かを判定する。
ステップＳ１０４における判定結果が「ＹＥＳ」である場合には、自車両Ｖの前方左側方および前方右側方の両方に接近物体が存在するので、ステップＳ１０５に進み、マスコット動作４にしたがってマスコット画像Ｍを動作させる。マスコット動作４については後で詳述する。
【００３５】
ステップＳ１０４における判定結果が「ＮＯ」である場合には、ステップＳ１０６に進み、接近物体は自車両Ｖの前方左側方に存在するか否かを判定する。
ステップＳ１０６における判定結果が「ＮＯ」である場合には、接近物体は自車両Ｖの前方右側方に存在するので、ステップＳ１０７に進み、マスコット動作３にしたがってマスコット画像Ｍを動作させる。マスコット動作３については後で詳述する。
ステップＳ１０６における判定結果が「ＹＥＳ」である場合には、接近物体は自車両Ｖの前方左側方に存在するので、ステップＳ１０８に進み、マスコット動作２にしたがってマスコット画像Ｍを動作させる。マスコット動作２については後で詳述する。
【００３６】
次に、ステップＳ１０３において実行されるマスコット動作１、すなわち、自車両Ｖの前方左側方および前方右側方のいずれにも接近物体が存在しない場合のマスコット画像Ｍの動作について、図１１および図１２の図面を参照して説明する。
図１１に示すように、マスコット動作１では、マスコット画像Ｍの色を黄色とし、マスコット画像Ｍ全体を運転者と対面する方向（Ｚ軸方向）を中心にして左右各４０度の角度範囲で、周期３秒で回動させる。つまり、マスコット画像Ｍを、マスコット画像Ｍの上下方向中心軸（以下、Ｙ軸）回りに、Ｚ軸を０゜として−４０゜〜＋４０゜の角度範囲で、周期３秒で回動させる。図１２にマスコット動作１のフローチャートを示す。
【００３７】
人間は、相手の視線を追って相手の見ている対象を見るというコミュニケーション能力を持っており、換言すると、相手の視線には強い視線誘導機能がある。この車両用情報提示装置１では、この相手視線の視線誘導機能に着目し、運転者と対面するマスコット画像Ｍ全体を回動することによって、マスコット画像Ｍが視線を左右に振っているように見せかけて、これにより運転者はマスコット画像Ｍに視線誘導される。
【００３８】
ただし、マスコット動作１では、マスコット画像Ｍの回動周期が３秒と比較的に長く、また回動角度も８０度と大きく設定されているので、この長い周期と大きな回動角度により、また必要に応じてディスプレイ５の合成画像Ｇを確認することにより、運転者は自身の死角となる自車両Ｖの左右側方から接近物体が存在しないことを確認できるので、運転者はマスコット画像Ｍのゆったりとした回動動作に合わせるようにして、運転者自身の目視による左右の安全確認をしながら交差点内に進入していくこととなる。
【００３９】
次に、ステップＳ１０８において実行されるマスコット動作２、すなわち、自車両Ｖの前方左側方だけに接近物体が存在する場合のマスコット画像Ｍの動作について、図１３および図１４の図面を参照して説明する。
図１３に示すように、マスコット動作２では、マスコット画像Ｍの色を黄色とし、マスコット画像Ｍ全体を、運転者との対面位置から左方へ４０度回転した位置を中心にして左右各１０度の角度範囲で、周期１．５秒で回動させる。つまり、マスコット画像ＭをＹ軸回りに、Ｚ軸を０゜として−５０゜〜−３０゜の角度範囲で、周期１．５秒で回動させる。
【００４０】
このマスコット動作２では、マスコット画像Ｍの回動周期が１．５秒とマスコット動作１の場合に比べて短く、また回動角度も２０度とマスコット動作１の場合に比べて小さく設定されているので、この短い周期と小さな回動角度により、また必要に応じてディスプレイ５の合成画像Ｇの内の左側画像Ｇ３を確認することにより、運転者は自身の死角となる自車両Ｖの左側方から接近車両ＶＴが存在することを確認できるので、運転者はマスコット画像Ｍの小刻みな左向き回動動作（振り向き動作）に視線誘導されて、運転者自身の目視による左方安全確認を促されることとなる。
【００４１】
マスコット動作２におけるマスコット画像Ｍの動作制御を図１４のフローチャートに従って説明する。
まず、ステップＳ１２１において、マスコット画像Ｍ全体をＹ軸回りに−４０゜の角度になるように回転する。
次に、ステップＳ１２２に進み、マスコット画像Ｍの現在の角度が、−３０゜以下且つ−５０゜以上の範囲に入っているか否かを判定する。
【００４２】
ステップＳ１２２における判定結果が「ＹＥＳ」（範囲内）である場合には、ステップＳ１２３に進み、フラグ（ｆｌａｇ）に１を立て、ステップＳ１２４に進む。
一方、ステップＳ１２２における判定結果が「ＮＯ」（範囲外）である場合には、ステップＳ１２５に進み、フラグ（ｆｌａｇ）に０を立て、ステップＳ１２４に進む。
【００４３】
ステップＳ１２４においては、フラグ（ｆｌａｇ）が１か否かを判定する。
ステップＳ１２４における判定結果が「ＹＥＳ」（ｆｌａｇ＝１）である場合には、ステップＳ１２６に進み、マスコット画像Ｍ全体をＹ軸回りに、−５０゜〜−３０゜の角度範囲で、周期１．５秒で回動（振り向き動作）させる。
ステップＳ１２４における判定結果が「ＮＯ」（ｆｌａｇ＝０）である場合には、本ルーチンの実行を一旦終了する。
【００４４】
このように制御することにより、マスコット動作２以外の動作を行っている状態からマスコット動作２に移行する場合に、マスコット動作２以外の動作から連続的に且つ自然な感じでスムーズにマスコット動作２に移行させることができる。つまり、マスコット動作の不自然な切り替わりを防止することができる。
【００４５】
次に、ステップＳ１０７において実行されるマスコット動作３、すなわち、自車両Ｖの前方右側方だけに接近物体が存在する場合のマスコット画像Ｍの動作について、図１５および図１６の図面を参照して説明する。
図１５に示すように、マスコット動作３では、マスコット画像Ｍの色を黄色とし、マスコット画像Ｍ全体を、運転者との対面位置から右方へ４０度回転した位置を中心にして左右各１０度の角度範囲で、周期１．５秒で回動させる。つまり、マスコット画像ＭをＹ軸回りに、Ｚ軸を０゜として３０゜〜５０゜の角度範囲で、周期１．５秒で回動させる。
【００４６】
このマスコット動作３では、マスコット画像Ｍの回動周期が１．５秒とマスコット動作１の場合に比べて短く、また回動角度も２０度とマスコット動作１の場合に比べて小さく設定されているので、この短い周期と小さな回動角度により、また必要に応じてディスプレイ５の合成画像Ｇの内の右側画像Ｇ２を確認することにより、運転者は自身の死角となる自車両Ｖの右側方に接近車両ＶＴが存在することを確認できるので、運転者はマスコット画像Ｍの小刻みな右向き回動動作（振り向き動作）に視線誘導されて、運転者自身の目視による右方安全確認を促されることとなる。
【００４７】
マスコット動作３におけるマスコット画像Ｍの動作制御を図１６のフローチャートに従って説明する。
まず、ステップＳ１３１において、マスコット画像Ｍ全体をＹ軸回りに４０゜の角度になるように回転する。
次に、ステップＳ１３２に進み、マスコット画像Ｍの現在の角度が、３０゜以上且つ５０゜以下の範囲に入っているか否かを判定する。
【００４８】
ステップＳ１３２における判定結果が「ＹＥＳ」（範囲内）である場合には、ステップＳ１３３に進み、フラグ（ｆｌａｇ）に１を立て、ステップＳ１３４に進む。
一方、ステップＳ１３２における判定結果が「ＮＯ」（範囲外）である場合には、ステップＳ１３５に進み、フラグ（ｆｌａｇ）に０を立て、ステップＳ１３４に進む。
【００４９】
ステップＳ１３４においては、フラグ（ｆｌａｇ）が１か否かを判定する。
ステップＳ１３４における判定結果が「ＹＥＳ」（ｆｌａｇ＝１）である場合には、ステップＳ１３６に進み、マスコット画像Ｍ全体をＹ軸回りに、３０゜〜５０゜の角度範囲で、周期１．５秒で回動（振り向き動作）させる。
ステップＳ１３４における判定結果が「ＮＯ」（ｆｌａｇ＝０）である場合には、本ルーチンの実行を一旦終了する。
【００５０】
このように制御することにより、マスコット動作３以外の動作を行っている状態からマスコット動作３に移行する場合に、マスコット動作３以外の動作から連続的に且つ自然な感じでスムーズにマスコット動作３に移行させることができる。つまり、マスコット動作の不自然な切り替わりを防止することができる。
【００５１】
次に、ステップＳ１０５において実行されるマスコット動作４、すなわち、自車両Ｖの前方左側方および前方右側方の両方に接近物体が存在する場合のマスコット画像Ｍの動作について、図１７および図１８の図面を参照して説明する。
図１７に示すように、マスコット動作４では、マスコット画像Ｍの色を赤色に変更し、マスコット画像Ｍ全体を運転者と対面する方向（Ｚ軸方向）を中心にして左右各３０度の角度範囲で、周期１．５秒で回動させる。つまり、マスコット画像ＭをＹ軸回りに、Ｚ軸を０゜として−３０゜〜＋３０゜の角度範囲で、周期１．５秒で回動させる。
【００５２】
このマスコット動作４では、マスコット画像Ｍの色がマスコット動作１〜３のときの黄色から赤色に変更するので、特に危険度の高い状況であると運転者に注意を喚起することができる。また、マスコット画像Ｍの回動周期が１．５秒とマスコット動作１の場合に比べて短く、回動角度も６０度とマスコット動作１の場合に比べて小さく設定されているので、これら色の変更と短い周期と小さな回動角度により、ディスプレイ５の合成画像Ｇの内の右側画像Ｇ２と左側画像Ｇ３を確認しなくても、運転者は自身の死角となる自車両Ｖの左側方および右側方に接近車両ＶＴ１，ＶＴ２が存在することを瞬時に認識することができる。そして、運転者はマスコット画像Ｍの小刻みな左右回動動作（振向き動作）に視線誘導されて、運転者自身の目視による左右両方向の安全確認を促されることとなる。
【００５３】
マスコット動作４におけるマスコット画像Ｍの動作制御を図１８のフローチャートに従って説明する。
まず、ステップＳ１４１において、マスコット画像Ｍ全体をＹ軸回りに、−３０゜〜＋３０゜の角度範囲で、周期１．５秒で回動（振り向き動作）させる。
次に、ステップＳ１４２に進み、マスコット画像Ｍの色を赤色に変更する。
【００５４】
以上説明するように、この実施例の車両用情報提示装置１によれば、マスコット画像Ｍを接近物体が存在する方向に向けるので、視線誘導効果により接近物体の存在を確実に運転者へ提示することができる。また、マスコット画像Ｍは自車両前方領域の画像Ｇ１の中央に重畳表示されるので、運転者が左右側方領域の画像Ｇ２あるいはＧ３のいずれかを注視中であっても、マスコット画像Ｍが運転者の周辺視野内に入り易くなり、視線誘導を効果的に行うことができる。
【００５５】
また、接近物体が検出されていない場合にも、マスコット画像Ｍが正面を中心に左右に振り向き動作を行うので、運転者の目視による左右の安全確認を促すことができる。
【００５６】
さらに、接近物体が左右側方領域の両方で検出されている場合には、マスコット画像Ｍの色を赤色に変更し、左右側方領域の一方の領域で接近物体が検出されている場合や左右側方領域のいずれにも接近物体が検出されない場合におけるマスコット画像Ｍの色である黄色と異なるので、接近物体が左右両側に存在する危険度の高い状況を的確に運転者に提示することができる。
【００５７】
また、マスコット画像Ｍは熊のぬいぐるみの形態をしているので、運転者に威圧感を与えることなく情報提示ができる。また、視線誘導効果も高い。
【００５８】
〔他の実施例〕
なお、この発明は前述した実施例に限られるものではない。
例えば、前述した実施例では、報知用画像として熊のぬいぐるみの形態をしたマスコット画像としたが、これに限られるものではなく、例えば、実在する動物（例えば、犬、猫、パンダなど）の形態や、想像上の動物の形態や、漫画の主人公などのキャラクターの形態などでもよいし、あるいは単なる矢印であってもよく、要は方向性を提示することができるものであれば、いかなる形態であってもよい。
【００５９】
また、前述した実施例では報知用画像としてのマスコット画像の全体を回動することで接近物体の存在する方向を提示したが、これに限るものではなく、マスコット画像の向きは正面に固定したまま、接近物体が存在する側の腕を上げる等の動作で接近物体の存在する方向を提示することも可能である。あるいは、実施例のようにマスコット画像全体の回動動作に、前記腕の動作を加えることも可能である。
さらに、接近物体の存在する方向を提示する方法は、報知用画像の形態に応じて種々の動作が採用可能である。
【００６０】
また、前述した実施例では、３つのカメラ２〜４から取得した三方向の画像データをスムーズに連続した一つの画像となるように画像処理を行っているが、必ずしもディスプレイ５にスムーズに連続した画像で表示しなければならないものではなく、ディスプレイ５に不連続な三方向の画像データを並べて表示するようにしても構わない。
【図面の簡単な説明】
【００６１】
【図１】この発明に係る車両用情報提示装置の実施例における概略構成図である。
【図２】前記実施例の車両用情報提示装置を備えた車両の外観斜視図である。
【図３】前記実施例の車両用情報提示装置における各カメラの視野角を示す図である。
【図４】前記実施例の車両用情報提示装置におけるカメラの撮像範囲を示す図である。
【図５】前記実施例の車両用情報提示装置におけるディスプレイの配置を示す斜視図である。
【図６】前記実施例の車両用情報提示装置におけるディスプレイに表示された合成画像とマスコット画像の正面図である。
【図７】オプティカルフローを説明する図である。
【図８】前記実施例の車両用情報提示装置において接近物体検出処理を示すフローチャートである。
【図９】オプティカルフローのヒストグラムの一例を示す図である。
【図１０】前記実施例の車両用情報提示装置におけるマスコット画像の動作制御を示すフローチャートである。
【図１１】前記実施例の車両用情報提示装置におけるマスコット動作１を説明する図である。
【図１２】前記マスコット動作１の制御を示すフローチャートである。
【図１３】前記実施例の車両用情報提示装置におけるマスコット動作２を説明する図である。
【図１４】前記マスコット動作２の制御を示すフローチャートである。
【図１５】前記実施例の車両用情報提示装置におけるマスコット動作３を説明する図である。
【図１６】前記マスコット動作３の制御を示すフローチャートである。
【図１７】前記実施例の車両用情報提示装置におけるマスコット動作４を説明する図である。
【図１８】前記マスコット動作４の制御を示すフローチャートである。
【符号の説明】
【００６２】
１ 車両用情報提示装置
２ 正面カメラ（撮像手段）
３ 右カメラ（撮像手段）
４ 左カメラ（撮像手段）
５ ディスプレイ（表示手段）
１１ 画像制御部（画像制御手段）
１２ 接近物体検出部（接近物体検出手段）
Ｍ マスコット画像（報知用画像）
Ｖ 自車両
ＶＴ 接近車両（接近物体）
【特許請求の範囲】
【請求項１】
自車両周辺を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像を車内に表示する表示手段と、
前記撮像手段で撮像した撮像画像に基づいて自車両に接近する接近物体を検出する接近物体検出手段と、
前記接近物体検出手段により検出した接近物体に関する情報を運転者へ報知する報知用画像を前記撮像画像に重畳表示する画像制御手段と、
を備えた車両用情報提示装置において、
前記表示手段は、自車両前方領域および左右側方領域の撮像画像を表示可能であり、
前記画像制御手段は、自車両前方領域の撮像画像の中央に報知用画像を重畳表示するとともに、接近物体が検出された場合には前記報知用画像を該接近物体が存在する方向を示す画像に変更することを特徴とする車両用情報提示装置。
【請求項２】
前記画像制御手段は、前記接近物体検出手段によって接近物体が検出されていない場合に、前記報知用画像を所定周期で左右に向ける画像に変更することを特徴とする請求項１に記載の車両用情報提示装置。
【請求項３】
前記画像制御手段は、前記接近物体検出手段によって前記接近物体が左右側方領域の両方で検出されている場合に、前記報知用画像の色を、左右側方領域の両方で検出されている場合以外の色と異なる色に変更することを特徴とする請求項１または請求項２に記載の車両用情報提示装置。
【請求項４】
前記報知用画像は、実在する動物の形態、あるいは想像上の動物の形態、あるいはキャラクターの形態をなすことを特徴とする請求項１から請求項３のいずれか１項に記載の車両用情報提示装置。
【請求項１】
自車両周辺を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像を車内に表示する表示手段と、
前記撮像手段で撮像した撮像画像に基づいて自車両に接近する接近物体を検出する接近物体検出手段と、
前記接近物体検出手段により検出した接近物体に関する情報を運転者へ報知する報知用画像を前記撮像画像に重畳表示する画像制御手段と、
を備えた車両用情報提示装置において、
前記表示手段は、自車両前方領域および左右側方領域の撮像画像を表示可能であり、
前記画像制御手段は、自車両前方領域の撮像画像の中央に報知用画像を重畳表示するとともに、接近物体が検出された場合には前記報知用画像を該接近物体が存在する方向を示す画像に変更することを特徴とする車両用情報提示装置。
【請求項２】
前記画像制御手段は、前記接近物体検出手段によって接近物体が検出されていない場合に、前記報知用画像を所定周期で左右に向ける画像に変更することを特徴とする請求項１に記載の車両用情報提示装置。
【請求項３】
前記画像制御手段は、前記接近物体検出手段によって前記接近物体が左右側方領域の両方で検出されている場合に、前記報知用画像の色を、左右側方領域の両方で検出されている場合以外の色と異なる色に変更することを特徴とする請求項１または請求項２に記載の車両用情報提示装置。
【請求項４】
前記報知用画像は、実在する動物の形態、あるいは想像上の動物の形態、あるいはキャラクターの形態をなすことを特徴とする請求項１から請求項３のいずれか１項に記載の車両用情報提示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００９−１４０３０５（Ｐ２００９−１４０３０５Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１６９５３（Ｐ２００７−３１６９５３）
【出願日】平成１９年１２月７日（２００７．１２．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月７日（２００７．１２．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]