車両用運転支援装置
【課題】運転者の運転操作に影響を及ぼす心身状態に応じた適切な運転支援を行う車両用運転支援装置を提供することを目的とする。
【解決手段】制御部２０において、車両搭載装置５０のＧＰＳ車載器５４から車両の前方にある交差点までの距離をし、その距離が小さければ危険度が大きく、距離が小さければ危険度は小さいとして危険度を決定する。また、室内カメラ１２から入力した運転者のまぶたの動きから運転操作に影響を及ぼすような運転者の状態を推定する。さらに、ＧＰＳ車載器５４から走行履歴を取得して走行履歴記録装置１８に記録する。そして、走行履歴及び運転者の心身の状態から、危険度に応じて、車両搭載装置５０の表示装置５６や音声出力部５８で運転支援のための告知を行ったり、車両走行装置３０のブレーキ制御装置３４、エンジン制御装置３６、ステアリング制御装置３８で運転制御支援を行う。
【解決手段】制御部２０において、車両搭載装置５０のＧＰＳ車載器５４から車両の前方にある交差点までの距離をし、その距離が小さければ危険度が大きく、距離が小さければ危険度は小さいとして危険度を決定する。また、室内カメラ１２から入力した運転者のまぶたの動きから運転操作に影響を及ぼすような運転者の状態を推定する。さらに、ＧＰＳ車載器５４から走行履歴を取得して走行履歴記録装置１８に記録する。そして、走行履歴及び運転者の心身の状態から、危険度に応じて、車両搭載装置５０の表示装置５６や音声出力部５８で運転支援のための告知を行ったり、車両走行装置３０のブレーキ制御装置３４、エンジン制御装置３６、ステアリング制御装置３８で運転制御支援を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の走行経験や車両の周囲状況に応じて、適切な運転支援を行う車両用運転支援装置に関する。
【背景技術】
【０００２】
従来、運転者の走行経験を考慮して、運転者に適切なタイミングで警報などを出す走行状況告知システムがある。この走行状況告知システムでは、例えば、ある道路の通行経験がない場合や通行経験が少ない場合には、速度制限、車線数の変更などの走行条件を警報として告知する。逆に、その道路の通行経験が多く、その道路の状況を熟知している場合には、警報を発しない構成となっている。
【０００３】
以上のように、従来の走行状況告知システムでは、運転者の道路状況の精通度合いに応じて適切な告知と推奨走行条件の提示を行うことにより、運転者に必要以上の告知を行わないようにし運転者に煩わしさを与えないようになっている。（例えば、特許文献１参照）。
【特許文献１】特開２００５−１２１３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記の走行状況告知システムでは、運転者の過去の走行経験や道路状況から告知タイミングとその内容を提示しているのみであり、運転者の現在の状況、例えば、ブレーキ操作やステアリング操作といった運転者の運転行動、あるいは、覚醒度や運転集中度といった運転者の心理状態は考慮されていない。したがって、運転者の心理状態によっては、告知などが煩わしいものである場合があった。
【０００５】
本発明は、このような問題に鑑みなされたものであり、運転者の運転操作に影響を及ぼす心身状態に応じた適切な運転支援を行う車両用運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
かかる問題を解決するためになされた請求項１に記載の車両用運転支援装置は、心身状態推定手段、支援度決定手段及び制御手段を備えている。
心身状態推定手段は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定し、支援度決定手段は、心身状態推定手段により推定された運転者の心身の状態に応じて運転支援の度合いを決定し、制御手段は、支援度決定手段により決定した運転支援の度合いに基づいて、少なくとも、車両搭載機器又は車両走行装置の何れかの作動内容を制御する。
【０００７】
ここで、「運転時の運転操作に影響を及ぼすような運転者の心身の状態」とは、運転者の覚醒度や運転への集中度を意味しており、例えば、運転者が居眠り状態にあるか否か、運転中に脇見をしているか否かなどを意味している。
【０００８】
また、「車両走行装置」とは、車両の走行に直接関わる装置であり、例えば、ブレーキ装置、ステアリング装置、エンジン制御装置などである。また、「車両搭載機器」とは、車両に搭載されて補助的に作動する機器であり。例えば、カーナビゲーション装置、音響装置などである。
【０００９】
さらに、「運転支援の度合い」とは、運転者や車両に対する運転支援の内容を意味している。例えば、車両搭載機器を介して運転者に告知をするか車両走行装置を制御するかであったり、また、告知をする場合であれば、その告知内容、告知の頻度、タイミングあるいは告知の強さ（表示による告知の場合には表現内容や表示色、音響による告知の場合音量など）であったり、車両走行装置を制御する場合であれば、制御対象となる装置の選択や選択した装置の制御タイミングや制御内容を意味している。
【００１０】
このような車両用運転支援装置では、心身状態推定手段により、運転者の覚醒度や運転への集中度などの運転者の心身の状態を推定し、推定した運転者の心身の状態によって、運転支援の度合いを決定する。そして、決定した運転支援の度合いに基づいて車両搭載機器を介して運転者に運転支援のための告知をしたり、車両走行装置を制御したりして運転支援を行ったりする。
【００１１】
このように、請求項１に記載の車両用運転支援装置によれば、運転者の心身の状態を推定した結果に基づいて運転支援が行われる。したがって、例えば、運転者の覚醒度が十分でなかったり、運転者が脇見運転をしている状態のときには、車両搭載機器を介して運転者への告知の強さを強くしたり、告知の頻度を上げたり、あるいは、車両走行装置の制御を行うようにしたりすれば、より適切に危険回避を行うことができる。
【００１２】
逆に、運転者が十分に覚醒しており、また、脇見運転もしていない状態、つまり、運転に集中している状態であれば、運転支援のための告知の強さを弱めたり、告知の頻度を下げたり、あるいは、運転支援のための制御を行わないようにしたりすれば、運転者が安全に運転できる状態を保ちつつ、運転者にとって煩わしくない運転支援を行うことができる。
【００１３】
ところで、運転者の心身の状態を推定するには、運転者に関する情報を直接的に得る方法と間接的に得る方法とがある。このうち、直接的に得る方法としては、請求項２に記載のように運転者の生体情報に基づいて運転者の心身の状態を推定する方法がある。
【００１４】
ここで、「生体情報」とは、運転者の身体の心身の状態を直接測定するための情報であり、例えば、まぶたの動き、心拍数、脳波などである。また、「生体情報取得手段」とは、例えば、まぶたや顔の表情を撮像する車載カメラ、心拍数を計測するための心電図測定器、脳波を計測するための脳波計などである。
【００１５】
このようにすると、運転者の心身の状態を医学的又は心理学的に推定できるので危険回避を行うために、より適切な運転支援の度合いを決定できる。
一方、運転者の心身の状態を間接的に推定する方法としては、請求項３に記載のように、
車両の走行状態を取得する走行状態取得手段を備え、心身状態推定手段は、走行状態取得手段により取得した車両の走行状態に基づいて運転者の心身の状態を推定する方法がある。
【００１６】
つまり、運転者の覚醒度が落ちていたり、脇見運転をしていたりすると、運転者が運転している車両がふらついたり、ブレーキをかけるタイミングが遅かったりすることがある。そこで、例えば、走行中に車載カメラでセンターラインを含む画像を取得し、取得した画像から走行中の車両のセンターラインからのずれの変化度を算出して車両のふらつきを取得したり、カーナビゲーション装置で車両の進行方向前方にある交差点からの距離を取得し、その距離に対してブレーキを掛けるタイミングが遅いか否かを判定したりして運転者の心身の状態を推定するのである。
【００１７】
ここで、「車両の走行状態」とは、運転者の心身の状態によって変化する車両の走行中の状態のことであり、例えば、車速の変化、車両の進行方向に対する車両の横方向のふらつき度合い、ブレーキをかけるタイミングなどである。
【００１８】
このように、車両の走行状態に基づいて運転者の心身の状態を推定すれば、運転者の心身の状態を推定できる。さらに、車両自体が危険な状態で走行していないか否かを判定することも可能となるので、より緊急性の高い運転支援の度合いを決定できる。
【００１９】
ところで、車両運転中においては、交差点における危険度が高いと考えられる。そこで請求項４に記載のように、進行方向前方の交差点までの距離を取得する距離取得手段を備え、支援度決定手段は、距離取得手段により取得した進行方向前方の交差点までの距離を加味して運転支援の度合いを決定するようにするとよい。
【００２０】
すなわち、交差点からの距離が遠いところに車両がある場合には、告知の頻度を下げて、簡潔な告知を行い、交差点からの距離が近くなった場合には、告知の頻度を上げたり、音声での告知を行う場合には音量を上げたりする。そのようにすれば、告知を受けた運転者は、交差点において告知に基づいて安全に運転を行うことができる。
【００２１】
ここで、「距離取得手段」とは、例えば、車載装置がカーナビゲーション装置の場合には、カーナビゲーション装置から車両の進行方向前方にある交差点までの距離を取得する手段である。つまり、カーナビゲーション装置のＧＰＳ車載器では、車両の現在位置と車両の進行方向とを取得し、予め記憶したおいた道路地図上で車両の進行方向前方にある交差点を検索し、検索した交差点から車両の現在位置までの距離が算出される。したがって、算出された交差点から車両の現在位置までの距離を取得するのである。
【００２２】
ところで、前述のように、車両運転中においては、交差点における危険度が高いと考えられる。ところが、運転者が通り慣れた道路の交差点を通過する際に、運転者が覚醒状態で運転に集中しているときに頻繁に運転支援のための告知などがなされると運転者は煩わしさを感じ、却って運転者の集中度を低下させる場合がある。逆に、運転者があまり通ったことがない道の交差点では、運転者の覚醒度が高くても運転支援の告知などを行った方が危険回避ができてよい場合が多いと考えられる。
【００２３】
そこで、請求項５に記載のように、車両の走行履歴を取得する走行履歴取得手段と、走行履歴取得手段で取得した車両の走行履歴を記録する走行履歴記録手段と、を備え、支援度決定手段は、走行履歴記録手段に記録された走行履歴と走行履歴取得手段により取得された車両の走行履歴と比較しその比較結果を加味して運転支援の度合いを決定するようにするとよい。
【００２４】
例えば、走行した道路の走行回数を記録し、車両が現在走行している道路が過去に所定の回数以上走行したことがある道路であり、かつ、運転者が覚醒した状態で運転している場合には、交差点の手前での告知を行わないようにすれば運転にとって煩わしさがなくなる。
【００２５】
一方、走行している道路が過去に所定の回数以上走行したことがある道路であっても、運転者が覚醒していない状態であれば、交差点から所定の距離の位置で危険告知を行うようにすれば、危険回避を行うことができる。
【００２６】
さらに、走行している道路が過去に所定の回数以下しか走行したことがない道路である場合には、運転者の覚醒度に拘りなく交差点から所定の距離以内になったときに、運転支援のための告知を行うようにすれば、運転者の注意度が高まるので、運転者は交差点を安全に通行することができる。
【００２７】
同様に、当該道路における現在の走行時刻と過去の走行時刻が同一であれば、その道路の渋滞状況によって運転支援の度合いを決定するようにしてもよい。
なお、「車両の走行履歴」とは、走行した道路名称、その道路を走行した回数、その道路を走行した時刻、その時刻における当該道路の混雑状況などを意味している。また、「道路の混雑状況」とは、ＶＩＣＳなどで取得した混雑情報や当該道路のある区間を走行するのに要した時間などを意味している。
【００２８】
ところで、車両を運転する際には、車両の周囲状況、例えば、天候状況、日照状況、道路面の状態などによって危険度が変わってくる。そこで、請求項６に記載のように、車両の周囲状況を取得するための周囲状況取得手段を備え、支援度決定手段は、周囲状況取得手段により取得した車両の周囲状況を加味して運転支援の度合いを決定するようにするとよい。
【００２９】
例えば、インターネットから気象情報を取得して、車両の進行する方面に対して雨や霧の発生が予報されていれば、運転支援の度合いを高める、つまり、告知の頻度を多くしたり、支援制御を行うようにする。また、照度計により車両周囲の照度を測定し、測定した照度が所定の値以下であれば車両周囲が暗く見通しが悪くなっていると考えられるので、運転支援の度合いを高めるようにしてもよい。
【００３０】
このようにすれば、車両の周囲状況を加味して運転支援の度合いを高めることができるので、運転者は安全運転ができるようになる。
ここで、「車両の周囲状況」とは、道路の見通し、晴れ、雨、霧といった車両の周囲の天候状況や昼間又は夜間といった日照状況、道路面の状態などを意味する。なお、車両の周囲状況は現在の状況だけでなく、気象予報など予報された状況も含んでいる。
【００３１】
また、「周囲状況取得手段」としては、道路の見通しや道路面の状態を取得するためのカメラ、無線通信装置によりインターネットから気象予報データを取得するものや車両周囲の照度を測定する照度計などがある。
【００３２】
ところで、車両を運転中の運転者にとって交差点又はその近傍に人がいる状態は、危険回避のために最も注意しなければならない状態である。そこで、請求項７に記載のように、進行方向前方の交差点近傍の生体の有無を検知する生体検知手段を備え、支援度決定手段は、生体検知手段により検知した進行方向前方の交差点近傍の生体の有無を加味して運転支援の度合いを決定するようにするとよい。
【００３３】
例えば、赤外線カメラで交差点及び交差点近傍の赤外線画像を取得し、その中に人の体温に相当する熱源があるか否かを判定し、人の体温に相当する熱源があれば人がいると判定して、運転者の覚醒度に拘わらず、運転支援の度合いを高めて、交差点又は交差点近傍に人がいる旨の告知を行うようにする。
【００３４】
このようにすれば、人との衝突を避けるという重要な危険回避運転を支援することが可能となる。
ここで、「生体」とは、例えば、人であったり犬や猫などの動物を意味している。犬や猫の場合、その犬や猫がペットであった場合、その近辺にその飼い主である人がいる可能性が高いからである。
【００３５】
また、「生体検知手段」とは、例えば、可視カメラや赤外線カメラで撮像した画像を画像処理して、撮像した画像の中に生体がいるか否かを検知する装置など、生体反応を直接検知するものや、携帯電話など歩行者が持っている通信機器と通信可能な通信装置であって、歩行者の持っている通信機器と通信を行い、例えば、歩行者の個人識別データを受信することによって、生体の存在を間接的に検知するものなどである。
【００３６】
また、「交差点近傍」とは、例えば、人が交差点で信号待ちをしている場所など、その場所にいる人などが、現在の車速で車両が交差点に進入した場合に、交差点内で当該車両に衝突する可能性がある領域を意味している。
【００３７】
ところで、支援度決定手段にて決定した運転支援の度合いに基づいて車両搭載機器を制御する方法は、制御すべき車両搭載機器によって異なる。例えば、車両搭載機器が音響装置や表示装置あるいは表示灯などのような告知手段を有している場合には、請求項８に記載のように、制御手段により、車両搭載機器が備えている告知手段を制御して、運転者に対し運転支援の度合いに応じた告知を行うようにするとよい。
【００３８】
このようにすると、音響装置を備えている場合には、運転支援の度合いに応じた内容や音量の音声や警報音によって運転支援のための告知を行うことができる。また、表示装置を備えている場合には、運転支援の度合いに応じた内容の表示によって運転支援のための告知を行うことができる。さらに、表示灯を備えている場合には、運転支援の度合いに応じた表示灯の点灯・消灯のさせ方によって運転支援のための告知を行うことができる。
【００３９】
また、支援度決定手段にて決定した運転支援の度合いに基づいて車両走行装置を制御する方法は、制御すべき車両走行装置によって異なる。
例えば、請求項９に記載のように、車両走行装置がブレーキ装置である場合には、運転支援の度合いに基づき、例えば、ブレーキ装置を作動させるタイミングや作動の強さ、あるいは、作動のパターンを制御するようにすればよい。
【００４０】
また、請求項１０のように、車両走行装置がエンジン制御装置の場合には、運転支援の度合いに基づき、エンジンの出力を絞るなどのエンジン制御を行うようにすればよい。
さらに、請求項１１に記載のように、車両走行装置がステアリング装置の場合、走行中の道路の端に車を移動させるなどの制御を行うようにすればよい。なお、この場合、ブレーキ装置やエンジン制御装置と併用し、車速が遅くなったときにステアリング装置の制御を行うようにすると危険回避をより効果的におこうことができる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００４２】
［第１実施形態］
図１は、本発明に係る車両用運転支援装置１０が組み込まれた運転支援システム１の概略構成を示すブロック図である。
【００４３】
運転支援システム１は、車両用運転支援装置１０、車両搭載装置５０、車両走行装置３０などから構成される。
車両用運転支援装置１０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８、制御部２０などから構成される。
【００４４】
室内カメラ１２は、運転者の生体情報を取得するためのものであり、フロントガラスの上方に運転者の表情を撮像できるように車室内に向けて取り付けられている。この室内カメラ１２は、可視光画像を取得する小型カメラであり、ＣＣＤカメラやピンホールカメラなどが用いられている。
【００４５】
車両周辺カメラ１４は、車両の周囲状況を取得するためのものであり、車両の周囲を撮像できるように車室内又は車体に取り付けられている。この車両周辺カメラ１４は、可視光画像を取得するカメラであり、車両周辺の画像が取得できるように複数のレンズや撮像素子（以下、光学系と称する。）を備え、車両の周辺を全方位にわたって撮像できるようにしたものや、１つの光学系を光学軸と直交する方向に回転させて車両の周辺を全方位のわたって撮像できるようにしたものなどがある。
【００４６】
入出力部１６は、車両用運転支援装置１０と車両搭載装置５０及び車両走行装置３０との間のデータの入出力を行うためのものであり、車両搭載装置５０から車両の現在位置、車両の走行履歴、道路の周囲状況などのデータを入力し、制御部２０へ出力したり、制御部２０から出力される告知のためのデータを車両搭載装置５０へ出力する。
【００４７】
また、入出力部１６は、制御部２０から出力される車両制御データを車両走行装置３０へ出力する。
なお、「車両の走行履歴」とは、走行した道路名称、その道路を走行した回数、その道路を走行した時刻、その時刻における当該道路の混雑状況などを意味している。また、「道路の周囲状況」とは、ＶＩＣＳなどで取得した道路の混雑情報や当該道路のある区間を走行するのに要した時間などを意味している。
【００４８】
また、「告知のためのデータ」とは、車両搭載装置５０の表示装置５６で表示させる告知用の表示データや音声出力装置５８で告知用の音声出力を行うための音声データであり、「車両制御データ」とは、車両走行装置３０のうちブレーキ制御装置３４を制御するためのブレーキ力の強さやブレーキ作動時間などを指令するためのブレーキ制御データ、エンジン制御装置３６を制御するためのエンジン出力を指令するエンジン制御データ、あるいは、ステアリング制御装置３８を制御するためのステアリング角度を指示するステアリング制御データなどをいう。
【００４９】
走行履歴記録装置１８は、入出力部１６を介して取得した車両の走行履歴を記録するためのものであり、例えば、不揮発性メモリ、メモリスティック、ハードディスク装置などである。
【００５０】
制御部２０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８を制御するためのものであり、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどから構成されている。
【００５１】
また、制御部２０は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する心身状態推定処理と推定された運転者の心身の状態に応じて運転支援の度合いを決定する支援度決定処理とを行う。そして、決定された支援度に基づいて、車両搭載装置５０や車両走行装置３０に入出力部１６を介して制御データを出力することによって車両搭載装置５０や車両走行装置３０を制御する。
【００５２】
心身状態推定処理は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する処理であり、室内カメラ１２で撮像した運転者の表情、特にまぶたの動きに基づいて画像処理を行い、運転者の心身の状態を推定する。
【００５３】
例えば、室内カメラ１２で撮像した運転者の表情から画像処理により運転者の眼の部分の領域を抽出する。次に、抽出した眼の部分の領域におけるまぶたの動きを検出する。そして、まぶたが所定時間以上閉じたままになっていたり、まぶたが閉じて開くまでの間隔が次第に長くなったり、まぶたを閉じる速さが次第に遅くなったりした場合などに運転者が覚醒状態でないと推定する。
【００５４】
支援度決定処理は、心身状態推定処理により推定された運転操作に影響を及ぼすような運転者の心身の状態に応じて運転支援の度合いを決定するものであり、後述するように、心身状態推定処理により得られた運転者の心身の状態に、車両搭載装置５０のＧＰＳ車載器５４により取得した進行方向前方の交差点までの距離、走行履歴記録装置１８に記録された走行履歴とＧＰＳ車載器５４から取得された車両の走行履歴との比較結果、あるいは、赤外線カメラ２２により検知した進行方向前方の交差点近傍の生体の有無を加味して運転支援の度合いを決定する。
【００５５】
また制御部２０は、赤外線カメラで取得した前方の交差点及び交差点近傍の赤外線画像中に人の体温に相当する熱源があるか否かを判定し、人の体温に相当する熱源があれば交差点や交差点近傍に人が居ると判定する。
【００５６】
車両搭載装置５０は、ＧＰＳ車載器５４、表示装置５６、音声出力装置５８、車両搭載装置制御部５２などから構成されている。
ＧＰＳ車載器５４は、少なくとも４つのＧＰＳ衛星からの電波を受信して車両の現在位置を検出し、その時々刻々の現在値を現在走行中の道路名称やその道路を走行した回数、その道路を走行した時刻とともに走行履歴として、 以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００５７】
［第１実施形態］
図１は、本発明に係る車両用運転支援装置１０が組み込まれた運転支援システム１の概略構成を示すブロック図である。
【００５８】
運転支援システム１は、車両用運転支援装置１０、車両搭載装置５０、車両走行装置３０などから構成される。
車両用運転支援装置１０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８、制御部２０などから構成される。
【００５９】
室内カメラ１２は、運転者の生体情報を取得するためのものであり、フロントガラスの上方に運転者の表情を撮像できるように車室内に向けて取り付けられている。この室内カメラ１２は、可視光画像を取得する小型カメラであり、ＣＣＤカメラやピンホールカメラなどが用いられている。
【００６０】
車両周辺カメラ１４は、車両の周囲状況を取得するためのものであり、車両の周囲を撮像できるように車室内又は車体に取り付けられている。この車両周辺カメラ１４は、可視光画像を取得するカメラであり、車両周辺の画像が取得できるように、複数のレンズや撮像素子（以下、光学系と称する。）を備え、車両の周辺を全方位にわたって撮像できるようにしたものや、１つの光学系を光学軸と直交する方向に回転させて車両の周辺を全方位のわたって撮像できるようにしたものなどがある。
【００６１】
入出力部１６は、車両用運転支援装置１０と車両搭載装置５０及び車両走行装置３０との間のデータの入出力を行うためのものであり、車両搭載装置５０から車両の現在位置、車両の走行履歴、道路の周囲状況などのデータを入力し、制御部２０へ出力したり、制御部２０から出力される告知のためのデータを車両搭載装置５０へ出力する。
【００６２】
また、入出力部１６は、制御部２０から出力される車両制御データを車両走行装置３０へ出力する。
なお、「車両の走行履歴」とは、走行した道路名称、その道路を走行した回数、その道路を走行した時刻、その時刻における当該道路の混雑状況などを意味している。また、「道路の周囲状況」とは、ＶＩＣＳなどで取得した道路の混雑情報や当該道路のある区間を走行するのに要した時間などを意味している。
【００６３】
また、「告知のためのデータ」とは、車両搭載装置５０の表示装置５６で表示させる告知用の表示データや音声出力装置５８で告知用の音声出力を行うための音声データであり、「車両制御データ」とは、車両走行装置３０のうちブレーキ制御装置３４を制御するためのブレーキ力の強さやブレーキ作動時間などを指令するためのブレーキ制御データ、エンジン制御装置３６を制御するためのエンジン出力を指令するエンジン制御データ、あるいは、ステアリング制御装置３８を制御するためのステアリング角度を指示するステアリング制御データなどをいう。
【００６４】
走行履歴記録装置１８は、入出力部１６を介して取得した車両の走行履歴を記録するためのものであり、例えば、不揮発性メモリ、メモリスティック、ハードディスク装置などである。
【００６５】
制御部２０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８を制御するためのものであり、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどから構成されている。
【００６６】
また、制御部２０は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する心身状態推定処理と推定された運転者の心身の状態に応じて運転支援の度合いを決定する支援度決定処理とを行う。そして、決定された支援度に基づいて、車両搭載装置５０や車両走行装置３０に入出力部１６を介して制御データを出力することによって車両搭載装置５０や車両走行装置３０を制御する。
【００６７】
心身状態推定処理は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する処理であり、室内カメラ１２で撮像した運転者の表情、特にまぶたの動きに基づいて画像処理を行い、運転者の心身の状態を推定する。
【００６８】
例えば、室内カメラ１２で撮像した運転者の表情から画像処理により運転者の眼の部分の領域を抽出する。次に、抽出した眼の部分の領域におけるまぶたの動きを検出する。そして、まぶたが所定時間以上閉じたままになっていたり、まぶたが閉じて開くまでの間隔が次第に長くなったり、まぶたを閉じる速さが次第に遅くなったりした場合などに運転者が覚醒状態でないと推定する。
【００６９】
支援度決定処理は、心身状態推定処理により推定された運転操作に影響を及ぼすような運転者の心身の状態に応じて運転支援の度合いを決定するものであり、後述するように、心身状態推定処理により得られた運転者の心身の状態に、車両搭載装置５０のＧＰＳ車載器５４により取得した進行方向前方の交差点までの距離、走行履歴記録装置１８に記録された走行履歴とＧＰＳ車載器５４から取得された車両の走行履歴との比較結果、あるいは、赤外線カメラ２２により検知した進行方向前方の交差点近傍の生体の有無を加味して運転支援の度合いを決定する。
【００７０】
また制御部２０は、赤外線カメラで取得した前方の交差点及び交差点近傍の赤外線画像中に人の体温に相当する熱源があるか否かを判定し、人の体温に相当する熱源があれば交差点や交差点近傍に人が居ると判定する。
【００７１】
車両搭載装置５０は、ＧＰＳ車載器５４、表示装置５６、音声出力装置５８、車両搭載装置制御部５２などから構成されている。
ＧＰＳ車載器５４は、少なくとも４つのＧＰＳ衛星からの電波を受信して車両の現在位置を検出し、その時々刻々の現在値を現在走行中の道路名称やその道路を走行した回数、その道路を走行した時刻とともに走行履歴として、車両搭載装置制御部５２を介して、車両用運転支援装置１０へ出力する。
【００７２】
また、ＧＰＳ車載器５４は、所定の地点、例えば、進行方向前方にある交差点までの距離などを算出して、車両搭載装置制御部５２を介して、車両用運転支援装置１０へ出力する。また、ＧＰＳ車載器５４は、ＶＩＣＳ機能を有しており、ＶＩＣＳ機能により取得した現在走行中の道路の混雑情報や当該道路のある区間を走行するために要した時間を道路の周囲状況として車両搭載装置制御部５２を介して車両用運転支援装置１０へ出力する。
【００７３】
表示装置５６は、地図表示を行いＧＰＳ車載器で取得した車両の現在位置を地図上に表示したり、地図上で目標地点までの経路を表示したり、その他種々の情報を表示するための装置である。具体的には、液晶パネル、ＣＲＴ、ＨＵＤ（Head Up Displayの略）、ＨＭＤ（Head Mounted Display又はHelmet Mounted Displayの略)などである。また、音声出力装置５８は、経路案内その他種々の情報を音声出力するための装置である。
【００７４】
車両搭載装置制御部５２は、車両用運転支援装置１０からの告知のためのデータを入力してＧＰＳ車載器５４、表示装置５６、音声出力装置５８を制御するとともに、車両用運転支援装置１０の入出力部１６へ車両の現在位置、車両の走行履歴、道路の周囲状況などのデータを出力する。
【００７５】
車両走行装置３０は、ブレーキ制御装置３４、エンジン制御装置３６，ステアリング制御装置３８、走行装置制御部３２などから構成されている。
ブレーキ制御装置３４は、走行装置制御部３２を介して車両用運転支援装置１０から入力されるブレーキ制御データのブレーキ力の強さやブレーキ作動時間に基づいて、図示しないブレーキの作動力や作動時間を制御して車両の制動を行う。
【００７６】
エンジン制御装置３６は、走行装置制御部３２を介して車両用運転支援装置１０から入力されるエンジン制御データのエンジン出力データに基づいて、図示しないエンジンの出力を制御する。
【００７７】
ステアリング制御装置３８は、走行装置制御部３２を介して運転支援システムから入力されるステアリング制御データのステアリング角度に基づいて、図示しないステアリングの角度を制御する。
【００７８】
走行装置制御部３２は、車両用運転支援装置１０の入出力部１６から出力されるブレーキ制御データ、エンジン制御データ、ステアリング制御データをブレーキ制御装置３４、エンジン制御装置３６，ステアリング制御装置３８に出力する。
【００７９】
（支援度決定処理）
次に、図２、図３及び図４に基づいて車両用運転支援装置１０の制御部で実行される支援度決定処理について説明する。
【００８０】
図２は、支援度決定処理の処理の流れを示すフローチャートである。図３は、車両６０の進行方向前方にある交差点から車両６０までの距離による危険度と告知内容を示す図である。また、図４は、条件別の告知方法や運転制御支援方法を示す図である。
【００８１】
図２に示すようにＳ１００では、車両搭載装置５０のＧＰＳ車載器５４から車両搭載装置制御部５２を介して、「車両６０が走行している道路名称」、「その道路を走行した回数」、「現在時刻」、あるいは、ＶＩＣＳ機能から得られる「渋滞情報」が入力される。
【００８２】
次に、Ｓ１０５では、Ｓ１００において入力されたＧＰＳ車載器５４からの各種データが走行履歴情報として、走行履歴記録装置１８へ記録される。
そして、Ｓ１１０では、室内カメラ１２で取得された運転者の顔画像が入力され、続くＳ１１５では、Ｓ１１０において取得された運転者の顔画像に基づいて運転操作に影響を及ぼすような運転者の心身の状態が推定される。
【００８３】
具体的には、室内カメラ１２で撮像された運転者の顔画像から運転者の眼の部分の領域が抽出される。次に、抽出された眼の部分の領域におけるまぶたの動きが検出される。そして、まぶたが所定時間以上閉したままになっていたら運転者が居眠り状態であると推定され、まぶたが閉じて開くまでの間隔が次第に長くなっていったり、まぶたを開閉する速さが次第に遅くなったりした場合には、運転者が居眠り状態に入りかけていると推定される。このように、運転者が居眠り状態や居眠り状態に入りかけていると推定されると運転者の心身の状態が「悪」と推定される。
【００８４】
逆に、運転者のまぶたが一定時間以上開いていたり、まぶたを開いている時間がまぶたを閉じている時間よりも長かったり、まぶたが一定以上の速さで開閉されている状態であれば、運転者は覚醒状態であり、運転者の心身の状態は「良」と推定される。
【００８５】
次に、Ｓ１２０では、車両周辺カメラ１４で取得された車両の周辺画像が入力され、続くＳ１２５では、Ｓ１２０において取得された車両の周辺画像から車両周囲の見通しが判定される。
【００８６】
具体的には、取得された周辺画像のうち車両前方の画像から車両前方に障害物がなく、交差点信号機等が運転者から見なくなっているか否かや、天候の悪化（霧、雨等）により信号機等が見えなくなったか否かが判定される。例えば、信号機等が見えなくなっているか否か次にように判定される。
【００８７】
車両が走行中であれば、画像中で車両の進行方向前方に対して車両の近い方にある物体ほど画像中で大きくなる割合が早いので、今回取得された画像と前回取得された画像とが比較されることにより、どの物体が交差点よりも手前にあるのかが判定される。そして、交差点よりも手前にある物体により交差点にある信号機等がが遮られるか否かにより車両周囲の見通しが良好であるか否かが判定されるのである。
【００８８】
また、天候が悪化し、霧や雨が発生している場合には、霧や雨により交差点に設置されている信号の像がぼやける。したがって、画像処理により信号機の輪郭の抽出を行うと、信号機の輪郭がはっきり抽出できないので、抽出した信号機の輪郭がぼやける。そして、信号機の輪郭のぼやけ度合いが所定の値以上の場合には、見通しが悪くなっていると判定され、ぼやけ度合いが所定の値未満であれば見通しは良いと判定されるのである。
【００８９】
続くＳ１３０では、車両周辺の危険対象物が抽出される。すなわち、Ｓ１２０において取得された車両の周辺画像から、車両の前方に、例えば、歩行者、他車両、自動二輪車、ベビーカー等、車両が危険を加える対象となるものや、工事現場や道路の陥没といった車両自体が危険になるものなどの危険対象物が画像処理により抽出される。
【００９０】
そして、危険対象物が抽出されるとともに、抽出された危険対象物が車両前方のどの位置にあるかが算出される。なお、この画像処理は、一般的な手法を用いれば実現できるため、画像処理の説明は省略する。
【００９１】
続くＳ１３５では、ＧＰＳ車載器５４を介して、ＶＩＣＳや情報センタから事故多発地点情報、例えば、交差点、スクールゾーン、踏切、道路の合流点などの位置情報が取得され、続くＳ１４０で、Ｓ１３５において取得された事故多発地点情報から、車両の走行方向前方に事故多発地点があるか否かが決定される。そして、車両の前方に事故多発地点がある場合には、ＧＰＳ車載器５４を介して、車両の現在値からその事故多発地点までの距離と車両の速度とが取得される。
【００９２】
続くＳ１４５では、危険の可能性がある要因が存在するか否かが判定される。具体的には、Ｓ１３０で危険対象物がある場合、又は、Ｓ１４０で事故多発地点がある場合に危険の可能性がある要因が存在すると判定される。そして、危険の可能性がある要因が存在すると判定された場合（Ｓ１４５：Ｙｅｓ）、Ｓ１５０が実行され、危険の可能性がある要因が存在しない場合（Ｓ１４５：Ｎｏ）、Ｓ１７５にて告知処理や車両支援制御を行わず、Ｓ１００へ戻って本処理が繰り返される。
【００９３】
Ｓ１５０では、Ｓ１３０にて算出された危険対象物の位置と車両の位置とから車両と危険対象物までの距離が算出され、続くＳ１５５では、Ｓ１５０において算出された車両と危険対象物までの距離と危険対象物とに応じて危険度が決定される。
【００９４】
具体的には、まず、Ｓ１３０において抽出された危険対象物の画像の移動距離と画像処理速度とから車両方向に対する危険対象物の移動速度が算出される。つまり、前回取得した画像から抽出された危険対象物と今回取得した画像から抽出された同じ危険対象物の移動距離が前回の画像処理から今回の画像処理までにかかる時間で除されることにより移動対象物の移動速度が算出される。
【００９５】
次に、算出された危険対象物の車両方向への速度とＳ１３５で取得された車両の速度とから車両と危険対象物との相対速度が算出され、算出された相対速度とＳ１５０において算出された車両と危険対象物との距離とから、車両が危険対象物へ到達する時間が算出される。そして、その到達時間が大きい場合、危険度は小、到達時間が小さい場合、危険度は大、到達時間が大と小の中間程度であれば、危険度は中と決定される。
【００９６】
これを、図３を用いて、さらに具体的に説明する。図３においては、説明を簡単にするため、車両６０の速度は一定であり、歩行者は止まっている、つまり、車両６０と歩行者６４との相対速度は一定とする。図３に示すように、交差点６２にいる歩行者６４までの距離が大きい場合（本実施形態では７００ｍ）、つまり、歩行者までの到達時間が大きい場合には、危険度は「小」と決定され（図３のシーンＩ参照）、歩行者６４までの到達時間が中の場合（本実施形態では３００ｍ）には、危険度も「中」と決定され（図３のシーンＩＩ参照）、歩行者６４までの到達時間が小さい場合（本実施形態では３０ｍ）には、危険度は「大」と決定される（図３のシーンＩＩＩ参照）。
【００９７】
次に、Ｓ１６０では、Ｓ１５５において決定された危険度とＳ１０５において入力された走行履歴情報とＳ１１５において推定された、運転操作に及ぼす運転者の心身の状態とに応じて運転支援内容が決定される。
【００９８】
具体的には、図４（ａ）に示すように、渋滞情報があった場合には、他の条件に拘わらず、危険度ごと、つまり、危険度の大、中、小に応じて以下のように運転支援内容が決定される
（ア）危険度：小の場合には、運転支援が行われない。すなわち、車両搭載装置５０の表示装置５６及び音声出力装置５８での告知も行われず、車両走行装置３０における運転支援制御も行われない。
【００９９】
（イ）危険度：中の場合には、注意喚起、つまり、表示装置５６での注意喚起表示や音声出力装置５８での注意喚起音声出力が行われる。
（ウ）危険度が大の場合には、車両制御支援が行われる。
【０１００】
（エ）車両が交差点に入った場合（図３のシーンＩＶ）には、車両が停止される。
ドライバの状態：「悪」の場合、つまり、運転者が覚醒状態にない場合には、他の条件に拘わらず、危険度：小で情報提供が行われ、危険度：中で注意喚起が行われ、危険度大で車両制御支援が行われる。
【０１０１】
また、運転者の心身の状態が「良」の場合、つまり、運転者が覚醒状態にあり、かつ、渋滞情報がない場合には、危険度：中で注意喚起が行われ、危険度：大で車両制御支援が行われる。さらに、その時間帯での走行経験がα回未満の場合には、危険度：小でも情報提供が行われ、その時間帯経験での走行経験がα回以上の場合には危険度：小では情報提供が行われない。
【０１０２】
このようにして、支援内容が決定された後、さらに、Ｓ１５５にて決定された危険度に応じた支援内容に基づき以下のように告知するか車両支援制御をするかの判定が行われ、Ｓ１６５における告知やＳ１７０における車両制御支援が行われる。
【０１０３】
具体的には、図４（ｂ）の（１）に示すように、（エ）運転者の状態：「悪」で周囲の見通し：「悪」の場合、以下のようになる。
（エ）危険度：小の場合、早いタイミングで告知が行われる。つまり、交差点からの距離が７００ｍになったら即刻情報提供が行われる。また、情報提供の内容も、例えば、警告表示が点滅するとともに警告音が鳴り、かつ、「この先に信号のある交差点があります。」という音声が出力されるというように告知内容が強調されたものとなる。
【０１０４】
（オ）危険度：中の場合、告知タイミングは早く、交差点からの距離が３００ｍになったら即刻告知が行われる。また、より速いテンポで警告音が鳴り、「もうすぐ交差点です注意して走行してください。」というように、危険度：小の場合に比べ、危険度をより強調する表現の警告音と音声出力内容とがなされる。さらに、音声出力の音量も危険度：小の場合に比べ大きくなり、運転者の覚醒を促すようになっている。
【０１０５】
（カ）危険度：大の場合、告知タイミングは早く、交差点からの距離が３０ｍになったら即刻告知車両制御支援が行われる。つまり、交差点からの距離が３０ｍになったら、エンジン制御装置３６にエンジン出力を絞る旨のエンジン制御データが出力され、車両の速度を低下させる。
【０１０６】
（キ）その状態でもドライバが覚醒せず、車両が交差点に入った場合（この状態を図４のシーンＩＶで「遅く」と称している。）には、ブレーキ制御装置３４にブレーキを作動させる旨のブレーキ作動データを出力して車両を停止させる。
【０１０７】
次に、図４（ｂ）の（２）に示すように、運転者の状態：「悪」で周囲の見通し：良の場合、危険度：小であっても図４（ｂ）の（１）の場合と同様に早いタイミングで告知が行われる。ただし、情報提供の内容が図４（ｂ）の（１）の場合とは異なり、通常の告知、例えば、「交差点に近づきます。」が点滅せずに表示され、「交差点に近づきます。」という音声出力が１回だけなされるというような告知となる。危険度：中及び危険度：大の場合には、図４（ｂ）の（１）の場合と同様の情報提供がなされる。
【０１０８】
そして、図４（ｂ）の（３）に示すように、運転者の状態：「良」で周囲の見通し：「悪」の場合には、危険度：小及び危険度：中のときは、上記図４（ｂ）の（２）の場合と同様のタイミングで同様の情報提供がなされる。また、危険度：大のときには、通常のタイミング、つまり、交差点から３０ｍとなったら、車速に応じ、例えば、車速が小さい場合にはタイムラグを持たせて車両制御支援を行う。このときの車両制御支援の内容は、上記（１）の場合と同じである。
【０１０９】
また、図４（ｂ）の（４）に示すように、運転者の状態：「良」で周囲の見通し：「良」の場合には、危険度：小、中、大いずれのときも通常のタイミングで情報提供、注意喚起及び車両制御支援が行われる。
【０１１０】
以上のように、告知や車両運転制御支援が行われた後、Ｓ１００へ戻って処理が繰り返される。
（運転支援システムの特徴）
以上に説明した運転支援システム１では、車両搭載装置５０のＧＰＳ車載器５４から取得した車両の現在位置から車両の進行方向前方にある交差点までの距離に応じて危険度を決定し、その危険度に応じて、情報提供、注意喚起、車両制御支援、車両停止制御などを行っている。
【０１１１】
また、室内カメラ１２で撮像した画像を用い、心身状態推定処理により運転者の覚醒度や運転への集中度などの運転操作に影響を及ぼすような運転者の心身の状態を推定し、推定した運転者の心身の状態によって、運転支援の度合いを決定する。そして、決定した運転支援の度合いに基づいて車両搭載装置５０の表示装置５６や音声出力装置５８を介して運転者に運転支援のための告知をしたり、車両走行装置３０を制御したりして運転支援を行ったりする。
【０１１２】
したがって、例えば、運転者の覚醒度が十分でない状態のときには、交差点からの距離に応じて、車両搭載装置５０を介して運転者へ情報提供、注意喚起が行われたり、車両走行装置３０を介して車両制御支援が行われるので、より適切に危険回避を行うことができる。
【０１１３】
逆に、運転者が十分に覚醒している状態、つまり、運転に集中している状態であれば、運転支援のための情報提供を行わなかったり、注意喚起のタイミングを遅らせたりしているので、運転者が安全に運転できる状態を保ちつつ、運転者にとって煩わしくない運転支援を行うことができる。
【０１１４】
また、室内カメラ１２で撮像した画像により、運転者の心身の状態を医学的又は心理学的に推定できるので危険回避を行うためにより適切な運転支援の度合いを決定できる。
また、走行した道路の走行回数を記録し、車両が現在走行している道路が過去に所定の回数（本実施形態ではα回）以上走行したことがある道路であり、かつ、運転者が覚醒した状態で運転している場合には、交差点の手前での告知を行わないようにしている（図４（ａ）の（３）に示す場合）ので運転にとって煩わしさがなくなる。
【０１１５】
一方、走行している道路が過去にα回以上走行したことがある道路であっても、運転者が覚醒していない状態であれば、交差点から所定の距離の位置で危険告知を行う（図４（ａ）の（４）に示す場合）ので、危険回避を行うことができる。
【０１１６】
さらに、走行している道路が過去にα回未満しか走行したことがない道路である場合には、運転者の覚醒度に拘りなく交差点から所定の距離以内になったときに、運転支援のための告知を行うようにすれば、運転者の注意度が高まるので、運転者は交差点を安全に通行することができる。
【０１１７】
また、車両周辺カメラ１４で車両周囲の見通しを測定し、車両周囲の見通しが悪くなっている場合、運転支援の度合いを高める、つまり、告知を強調したり、支援制御を行うようにしたりしているので、運転者は安全運転ができるようになる。
【０１１８】
また、運転支援の度合いに基づき、車両走行装置３０のブレーキ制御装置３４やエンジン制御装置３６やステアリング制御装置３８の制御を行うようにしているので、危険回避をより効果的に行うことができる。
【０１１９】
［第２実施形態］
次に、第２実施形態として、赤外線カメラ２２を用いて、危険対象物として交差点近傍の人を検知して運転支援を行う運転支援システム２について図５及び図６に基づき説明する。運転支援システム２の構成及び支援度決定処理は、赤外線カメラ２２を備えること及び赤外線カメラ２２を備えたことによる処理の追加以外は第１実施形態の運転支援システム１と同じであるので、同じ構成要素及び処理には同じ符号を付して、説明を省略し、異なる部分について説明する。
【０１２０】
赤外線カメラ２２は、車両進行方向前方にある交差点及び交差点近傍の生体の有無を検知するものであり、車両の前方の生体を撮像できるように車室内又は車体の前部に車両前方に向けて取り付けられている。この赤外線カメラ２２は、人体や犬などの生体の発する熱を赤外線画像として取得するカメラであり、室内カメラ１２に比べて比較的広い範囲の画像が取得できるようになっている。
【０１２１】
制御部２０は、第１実施形態で説明した支援度決定処理の内容に加え、赤外線カメラ２２で取得した画像中に人の体温に相当する熱源があるか否かを判定し、それに基づいて告知や車両制御支援を行う。
【０１２２】
具体的には、図６に示すように、第１実施形態と同様にＳ１００〜Ｓ１２５が実行され、Ｓ１２５において車両周囲の見通しが判定された後、Ｓ２００において、赤外線カメラ２２で取得された赤外線画像が入力される。
【０１２３】
次に、Ｓ２０５では、Ｓ２００において入力された赤外線画像から人の温度に相当する熱源があるか否かが判定され、続くＳ２１０では、人の体温に相当する熱源があれば画像中に人が居る、つまり、車両前方の交差点又は交差点近傍に人が居ると判定されれば（Ｓ２１０：Ｙｅｓ）、処理がＳ２３５へ移行され、熱源がなければ人は居ないと判定され（Ｓ２１０：Ｎｏ）、処理がＳ２１５へ移行される。
【０１２４】
Ｓ２１５では、交差点までの距離が算出され、続くＳ２２０及びＳ２２５において第１実施形態のＳ１５５と同様に交差点までの到達時間に応じて危険度と支援内容が決定される。そして、Ｓ２３０で、第１実施形態のＳ１６０と同様に支援内容が決定され、Ｓ１６５とＳ１７０とで第１実施形態と同様に告知、又は、車両支援制御が行われる。
【０１２５】
一方、Ｓ２３５では、車両の交差点までの距離が小以下であるか否かが判定され、距離が小以下（Ｓ２３５：Ｙｅｓ）であれば、処理がＳ２４５へ移行され、距離が小より大きければ（Ｓ２３５：Ｎｏ）、処理がＳ２４０へ移行される。
【０１２６】
Ｓ２４０では、車両搭載装置５０の表示装置５６に「交差点に人が居ます。」との点滅表示を行わせる指令が出力されるとともに、音声出力装置５８に「交差点に人がいます。注意してください。」との音声出力を行わせる指令が出力された後、Ｓ１００へ戻って処理が繰り返される。
【０１２７】
Ｓ２４５では、交差点までの距離が短いので、車両走行装置３０のエンジン制御装置３６にエンジン出力を絞る旨の指令が出力されるとともに、ブレーキ制御装置３４にブレーキを掛ける旨の指令が出力された後、Ｓ１００へ戻って処理が繰り返される。
【０１２８】
以上のように、運転支援システム２では、赤外線カメラ２２により取得した赤外線画像により交差点又は交差点近傍に人がいる旨の告知や車両制御支援が行われるので、人との衝突を避けるという重要な危険回避運転を支援することが可能となる。
【０１２９】
［第３実施形態］
次に、運転操作に影響を及ぼすような運転者の心身の状態を車両の走行状態から間接的に推定するようにした運転支援システムについて説明する。
【０１３０】
システムの構成や支援度決定処理は上記第１実施形態及び第２実施形態と同じであるので生命は省略する。
第３実施形態における心身状態推定処理は、車両周辺カメラ１４によって車両走行中に連続的に取得した画像から、画像処理によってセンターラインを抽出し、抽出したセンターラインからの車両横方向へのずれ変化率を算出する。算出した変化率が周期的に変化していたり、不規則に変化している場合に車両がふらついていると判定し、運転者が居眠り状態にある、つまり、運転者が覚醒状態ではないと推定するのである。
【０１３１】
このように、車両の走行状態に基づいて運転者の心身の状態を推定すれば、運転者の心身の状態を推定できる。さらに、車両自体が危険な状態で走行していないか否かを判定することも可能となるので、より緊急性の高い運転支援の度合いを決定できる
［その他の実施形態］
（１）上記各実施形態では、運転者の心身の状態を直接推定するために、室内カメラ１２を用いていたが、心電図測定器を用いて運転者の心拍数を計測し、心拍数が下がったら覚醒度が下がっていると推定してもよいし、脳波計を用いて脳波を計測し、覚醒度を推定するようにしてもよい。
【０１３２】
（２）また、運転者の心身の状態を間接的に推定するために、室内カメラ１２を用いる代りに、車両搭載装置５０で車両の進行方向前方にある交差点からの距離を取得し、その距離に対してブレーキを掛けるタイミングが遅いか否かを判定して運転者の心身の状態を推定してもよい。
【０１３３】
（３）また、道路の混雑状態を取得するために、ＶＩＣＳ情報の代りに、走行中の道路のある区間を走行するのに要した時間を計測し、過去の所要時間と比較して道路の混雑状態を取得するようにしてもよい。
【０１３４】
（４）また、道路の周囲状態は、交差点までの見通し以外に、インターネットで配信される気象予報等で取得した晴れ、雨、霧といった車両の周囲の天候状況、照度計で昼間又は夜間といった日照状況、車両周辺カメラ１４で所得した道路面の状態などであってもよい。
【０１３５】
（５）また、赤外線カメラ２２で取得する熱画像（つめり、危険対象物）は人だけでなく、例えば、犬や猫などの動物であってもよい。なぜならば、犬や猫の場合、その犬や猫がペットであった場合、その近辺にその飼い主である人がいる可能性が高いからである。
【０１３６】
（６）また、室内カメラ１２によって取得した画像から人のまぶたの動きを抽出する代りに、取得した画像から運転者の顔画像を抽出し、運転者が前方を見ているか否か、つまり、運転者が脇見運転をしている状態であるか否かを推定するようにしてもよい。
【０１３７】
なお、上記各実施形態において、制御部２０が制御手段、心身状態推定手段及び支援度決定手段に相当する。
（７）事故多発地点は、ＧＰＳ車載器５４の地図データ中に予め事故多発地点データとして設定されている場合には、その事故多発地点データを用いてもよい。
【０１３８】
（８）生体検知手段としては、赤外線カメラ２２のように生体反応を直接検知するもの以外に、携帯電話など歩行者が持っている通信機器と通信可能な通信装置を設け、歩行者の持っている通信機器と通信を行い、例えば、歩行者の個人識別データを受信することによって、生体の存在を間接的に検知するものなどを用いてもよい。
【０１３９】
（９）また、事故多発地帯としては、交差点以外に、スクールゾーン、踏切、道路の合流点などであってもよい。
なお、本明細書において、車両搭載装置５０が車両搭載機器に、ブレーキ制御装置３４、エンジン制御装置３６、ステアリング制御装置３８が車両走行装置に各々相当し、室内カメラ１２が生体情報取得手段に、入出力部１６が距離取得手段及び走行履歴取得手段に、走行履歴記録装置１８が走行履歴記録手段に各々相当する。
【０１４０】
また、車両周辺カメラ１４及び入出力部１６が周囲状況取得手段に、赤外線カメラ２２が生体検知手段に、表示装置５６及び音声出力装置５８が告知手段に各々相当する。
【図面の簡単な説明】
【０１４１】
【図１】車両用運転支援装置１０が組み込まれた運転支援システム１の概略構成を示すブロック図である。
【図２】第１実施形態における支援度決定処理の処理の流れを示すフローチャートである。
【図３】車両６０の進行方向前方にある交差点から車両６０までの距離による危険度と告知内容を示す図である。
【図４】条件別の告知方法を示す図である。
【図５】車両用運転支援装置１０が組み込まれた運転支援システム２の概略構成を示すブロック図である。
【図６】第２実施形態における支援度決定処理の処理の流れを示すフローチャートである。
【符号の説明】
【０１４２】
１，２…運転支援システム、１０…車両用運転支援装置、１２…室内カメラ、１４…車両周辺カメラ、１６…入出力部、１８…走行履歴記録装置、２０…制御部、２２…赤外線カメラ、３０…車両走行装置、３２…走行装置制御部、３４…ブレーキ制御装置、３６…エンジン制御装置、３８…ステアリング制御装置、５０…車両搭載装置、５２…車両搭載装置制御部、５４…ＧＰＳ車載器、５６…表示装置、５８…音声出力装置、６０…車両、６２…交差点、６４…歩行者。
【技術分野】
【０００１】
本発明は、運転者の走行経験や車両の周囲状況に応じて、適切な運転支援を行う車両用運転支援装置に関する。
【背景技術】
【０００２】
従来、運転者の走行経験を考慮して、運転者に適切なタイミングで警報などを出す走行状況告知システムがある。この走行状況告知システムでは、例えば、ある道路の通行経験がない場合や通行経験が少ない場合には、速度制限、車線数の変更などの走行条件を警報として告知する。逆に、その道路の通行経験が多く、その道路の状況を熟知している場合には、警報を発しない構成となっている。
【０００３】
以上のように、従来の走行状況告知システムでは、運転者の道路状況の精通度合いに応じて適切な告知と推奨走行条件の提示を行うことにより、運転者に必要以上の告知を行わないようにし運転者に煩わしさを与えないようになっている。（例えば、特許文献１参照）。
【特許文献１】特開２００５−１２１３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記の走行状況告知システムでは、運転者の過去の走行経験や道路状況から告知タイミングとその内容を提示しているのみであり、運転者の現在の状況、例えば、ブレーキ操作やステアリング操作といった運転者の運転行動、あるいは、覚醒度や運転集中度といった運転者の心理状態は考慮されていない。したがって、運転者の心理状態によっては、告知などが煩わしいものである場合があった。
【０００５】
本発明は、このような問題に鑑みなされたものであり、運転者の運転操作に影響を及ぼす心身状態に応じた適切な運転支援を行う車両用運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
かかる問題を解決するためになされた請求項１に記載の車両用運転支援装置は、心身状態推定手段、支援度決定手段及び制御手段を備えている。
心身状態推定手段は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定し、支援度決定手段は、心身状態推定手段により推定された運転者の心身の状態に応じて運転支援の度合いを決定し、制御手段は、支援度決定手段により決定した運転支援の度合いに基づいて、少なくとも、車両搭載機器又は車両走行装置の何れかの作動内容を制御する。
【０００７】
ここで、「運転時の運転操作に影響を及ぼすような運転者の心身の状態」とは、運転者の覚醒度や運転への集中度を意味しており、例えば、運転者が居眠り状態にあるか否か、運転中に脇見をしているか否かなどを意味している。
【０００８】
また、「車両走行装置」とは、車両の走行に直接関わる装置であり、例えば、ブレーキ装置、ステアリング装置、エンジン制御装置などである。また、「車両搭載機器」とは、車両に搭載されて補助的に作動する機器であり。例えば、カーナビゲーション装置、音響装置などである。
【０００９】
さらに、「運転支援の度合い」とは、運転者や車両に対する運転支援の内容を意味している。例えば、車両搭載機器を介して運転者に告知をするか車両走行装置を制御するかであったり、また、告知をする場合であれば、その告知内容、告知の頻度、タイミングあるいは告知の強さ（表示による告知の場合には表現内容や表示色、音響による告知の場合音量など）であったり、車両走行装置を制御する場合であれば、制御対象となる装置の選択や選択した装置の制御タイミングや制御内容を意味している。
【００１０】
このような車両用運転支援装置では、心身状態推定手段により、運転者の覚醒度や運転への集中度などの運転者の心身の状態を推定し、推定した運転者の心身の状態によって、運転支援の度合いを決定する。そして、決定した運転支援の度合いに基づいて車両搭載機器を介して運転者に運転支援のための告知をしたり、車両走行装置を制御したりして運転支援を行ったりする。
【００１１】
このように、請求項１に記載の車両用運転支援装置によれば、運転者の心身の状態を推定した結果に基づいて運転支援が行われる。したがって、例えば、運転者の覚醒度が十分でなかったり、運転者が脇見運転をしている状態のときには、車両搭載機器を介して運転者への告知の強さを強くしたり、告知の頻度を上げたり、あるいは、車両走行装置の制御を行うようにしたりすれば、より適切に危険回避を行うことができる。
【００１２】
逆に、運転者が十分に覚醒しており、また、脇見運転もしていない状態、つまり、運転に集中している状態であれば、運転支援のための告知の強さを弱めたり、告知の頻度を下げたり、あるいは、運転支援のための制御を行わないようにしたりすれば、運転者が安全に運転できる状態を保ちつつ、運転者にとって煩わしくない運転支援を行うことができる。
【００１３】
ところで、運転者の心身の状態を推定するには、運転者に関する情報を直接的に得る方法と間接的に得る方法とがある。このうち、直接的に得る方法としては、請求項２に記載のように運転者の生体情報に基づいて運転者の心身の状態を推定する方法がある。
【００１４】
ここで、「生体情報」とは、運転者の身体の心身の状態を直接測定するための情報であり、例えば、まぶたの動き、心拍数、脳波などである。また、「生体情報取得手段」とは、例えば、まぶたや顔の表情を撮像する車載カメラ、心拍数を計測するための心電図測定器、脳波を計測するための脳波計などである。
【００１５】
このようにすると、運転者の心身の状態を医学的又は心理学的に推定できるので危険回避を行うために、より適切な運転支援の度合いを決定できる。
一方、運転者の心身の状態を間接的に推定する方法としては、請求項３に記載のように、
車両の走行状態を取得する走行状態取得手段を備え、心身状態推定手段は、走行状態取得手段により取得した車両の走行状態に基づいて運転者の心身の状態を推定する方法がある。
【００１６】
つまり、運転者の覚醒度が落ちていたり、脇見運転をしていたりすると、運転者が運転している車両がふらついたり、ブレーキをかけるタイミングが遅かったりすることがある。そこで、例えば、走行中に車載カメラでセンターラインを含む画像を取得し、取得した画像から走行中の車両のセンターラインからのずれの変化度を算出して車両のふらつきを取得したり、カーナビゲーション装置で車両の進行方向前方にある交差点からの距離を取得し、その距離に対してブレーキを掛けるタイミングが遅いか否かを判定したりして運転者の心身の状態を推定するのである。
【００１７】
ここで、「車両の走行状態」とは、運転者の心身の状態によって変化する車両の走行中の状態のことであり、例えば、車速の変化、車両の進行方向に対する車両の横方向のふらつき度合い、ブレーキをかけるタイミングなどである。
【００１８】
このように、車両の走行状態に基づいて運転者の心身の状態を推定すれば、運転者の心身の状態を推定できる。さらに、車両自体が危険な状態で走行していないか否かを判定することも可能となるので、より緊急性の高い運転支援の度合いを決定できる。
【００１９】
ところで、車両運転中においては、交差点における危険度が高いと考えられる。そこで請求項４に記載のように、進行方向前方の交差点までの距離を取得する距離取得手段を備え、支援度決定手段は、距離取得手段により取得した進行方向前方の交差点までの距離を加味して運転支援の度合いを決定するようにするとよい。
【００２０】
すなわち、交差点からの距離が遠いところに車両がある場合には、告知の頻度を下げて、簡潔な告知を行い、交差点からの距離が近くなった場合には、告知の頻度を上げたり、音声での告知を行う場合には音量を上げたりする。そのようにすれば、告知を受けた運転者は、交差点において告知に基づいて安全に運転を行うことができる。
【００２１】
ここで、「距離取得手段」とは、例えば、車載装置がカーナビゲーション装置の場合には、カーナビゲーション装置から車両の進行方向前方にある交差点までの距離を取得する手段である。つまり、カーナビゲーション装置のＧＰＳ車載器では、車両の現在位置と車両の進行方向とを取得し、予め記憶したおいた道路地図上で車両の進行方向前方にある交差点を検索し、検索した交差点から車両の現在位置までの距離が算出される。したがって、算出された交差点から車両の現在位置までの距離を取得するのである。
【００２２】
ところで、前述のように、車両運転中においては、交差点における危険度が高いと考えられる。ところが、運転者が通り慣れた道路の交差点を通過する際に、運転者が覚醒状態で運転に集中しているときに頻繁に運転支援のための告知などがなされると運転者は煩わしさを感じ、却って運転者の集中度を低下させる場合がある。逆に、運転者があまり通ったことがない道の交差点では、運転者の覚醒度が高くても運転支援の告知などを行った方が危険回避ができてよい場合が多いと考えられる。
【００２３】
そこで、請求項５に記載のように、車両の走行履歴を取得する走行履歴取得手段と、走行履歴取得手段で取得した車両の走行履歴を記録する走行履歴記録手段と、を備え、支援度決定手段は、走行履歴記録手段に記録された走行履歴と走行履歴取得手段により取得された車両の走行履歴と比較しその比較結果を加味して運転支援の度合いを決定するようにするとよい。
【００２４】
例えば、走行した道路の走行回数を記録し、車両が現在走行している道路が過去に所定の回数以上走行したことがある道路であり、かつ、運転者が覚醒した状態で運転している場合には、交差点の手前での告知を行わないようにすれば運転にとって煩わしさがなくなる。
【００２５】
一方、走行している道路が過去に所定の回数以上走行したことがある道路であっても、運転者が覚醒していない状態であれば、交差点から所定の距離の位置で危険告知を行うようにすれば、危険回避を行うことができる。
【００２６】
さらに、走行している道路が過去に所定の回数以下しか走行したことがない道路である場合には、運転者の覚醒度に拘りなく交差点から所定の距離以内になったときに、運転支援のための告知を行うようにすれば、運転者の注意度が高まるので、運転者は交差点を安全に通行することができる。
【００２７】
同様に、当該道路における現在の走行時刻と過去の走行時刻が同一であれば、その道路の渋滞状況によって運転支援の度合いを決定するようにしてもよい。
なお、「車両の走行履歴」とは、走行した道路名称、その道路を走行した回数、その道路を走行した時刻、その時刻における当該道路の混雑状況などを意味している。また、「道路の混雑状況」とは、ＶＩＣＳなどで取得した混雑情報や当該道路のある区間を走行するのに要した時間などを意味している。
【００２８】
ところで、車両を運転する際には、車両の周囲状況、例えば、天候状況、日照状況、道路面の状態などによって危険度が変わってくる。そこで、請求項６に記載のように、車両の周囲状況を取得するための周囲状況取得手段を備え、支援度決定手段は、周囲状況取得手段により取得した車両の周囲状況を加味して運転支援の度合いを決定するようにするとよい。
【００２９】
例えば、インターネットから気象情報を取得して、車両の進行する方面に対して雨や霧の発生が予報されていれば、運転支援の度合いを高める、つまり、告知の頻度を多くしたり、支援制御を行うようにする。また、照度計により車両周囲の照度を測定し、測定した照度が所定の値以下であれば車両周囲が暗く見通しが悪くなっていると考えられるので、運転支援の度合いを高めるようにしてもよい。
【００３０】
このようにすれば、車両の周囲状況を加味して運転支援の度合いを高めることができるので、運転者は安全運転ができるようになる。
ここで、「車両の周囲状況」とは、道路の見通し、晴れ、雨、霧といった車両の周囲の天候状況や昼間又は夜間といった日照状況、道路面の状態などを意味する。なお、車両の周囲状況は現在の状況だけでなく、気象予報など予報された状況も含んでいる。
【００３１】
また、「周囲状況取得手段」としては、道路の見通しや道路面の状態を取得するためのカメラ、無線通信装置によりインターネットから気象予報データを取得するものや車両周囲の照度を測定する照度計などがある。
【００３２】
ところで、車両を運転中の運転者にとって交差点又はその近傍に人がいる状態は、危険回避のために最も注意しなければならない状態である。そこで、請求項７に記載のように、進行方向前方の交差点近傍の生体の有無を検知する生体検知手段を備え、支援度決定手段は、生体検知手段により検知した進行方向前方の交差点近傍の生体の有無を加味して運転支援の度合いを決定するようにするとよい。
【００３３】
例えば、赤外線カメラで交差点及び交差点近傍の赤外線画像を取得し、その中に人の体温に相当する熱源があるか否かを判定し、人の体温に相当する熱源があれば人がいると判定して、運転者の覚醒度に拘わらず、運転支援の度合いを高めて、交差点又は交差点近傍に人がいる旨の告知を行うようにする。
【００３４】
このようにすれば、人との衝突を避けるという重要な危険回避運転を支援することが可能となる。
ここで、「生体」とは、例えば、人であったり犬や猫などの動物を意味している。犬や猫の場合、その犬や猫がペットであった場合、その近辺にその飼い主である人がいる可能性が高いからである。
【００３５】
また、「生体検知手段」とは、例えば、可視カメラや赤外線カメラで撮像した画像を画像処理して、撮像した画像の中に生体がいるか否かを検知する装置など、生体反応を直接検知するものや、携帯電話など歩行者が持っている通信機器と通信可能な通信装置であって、歩行者の持っている通信機器と通信を行い、例えば、歩行者の個人識別データを受信することによって、生体の存在を間接的に検知するものなどである。
【００３６】
また、「交差点近傍」とは、例えば、人が交差点で信号待ちをしている場所など、その場所にいる人などが、現在の車速で車両が交差点に進入した場合に、交差点内で当該車両に衝突する可能性がある領域を意味している。
【００３７】
ところで、支援度決定手段にて決定した運転支援の度合いに基づいて車両搭載機器を制御する方法は、制御すべき車両搭載機器によって異なる。例えば、車両搭載機器が音響装置や表示装置あるいは表示灯などのような告知手段を有している場合には、請求項８に記載のように、制御手段により、車両搭載機器が備えている告知手段を制御して、運転者に対し運転支援の度合いに応じた告知を行うようにするとよい。
【００３８】
このようにすると、音響装置を備えている場合には、運転支援の度合いに応じた内容や音量の音声や警報音によって運転支援のための告知を行うことができる。また、表示装置を備えている場合には、運転支援の度合いに応じた内容の表示によって運転支援のための告知を行うことができる。さらに、表示灯を備えている場合には、運転支援の度合いに応じた表示灯の点灯・消灯のさせ方によって運転支援のための告知を行うことができる。
【００３９】
また、支援度決定手段にて決定した運転支援の度合いに基づいて車両走行装置を制御する方法は、制御すべき車両走行装置によって異なる。
例えば、請求項９に記載のように、車両走行装置がブレーキ装置である場合には、運転支援の度合いに基づき、例えば、ブレーキ装置を作動させるタイミングや作動の強さ、あるいは、作動のパターンを制御するようにすればよい。
【００４０】
また、請求項１０のように、車両走行装置がエンジン制御装置の場合には、運転支援の度合いに基づき、エンジンの出力を絞るなどのエンジン制御を行うようにすればよい。
さらに、請求項１１に記載のように、車両走行装置がステアリング装置の場合、走行中の道路の端に車を移動させるなどの制御を行うようにすればよい。なお、この場合、ブレーキ装置やエンジン制御装置と併用し、車速が遅くなったときにステアリング装置の制御を行うようにすると危険回避をより効果的におこうことができる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００４２】
［第１実施形態］
図１は、本発明に係る車両用運転支援装置１０が組み込まれた運転支援システム１の概略構成を示すブロック図である。
【００４３】
運転支援システム１は、車両用運転支援装置１０、車両搭載装置５０、車両走行装置３０などから構成される。
車両用運転支援装置１０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８、制御部２０などから構成される。
【００４４】
室内カメラ１２は、運転者の生体情報を取得するためのものであり、フロントガラスの上方に運転者の表情を撮像できるように車室内に向けて取り付けられている。この室内カメラ１２は、可視光画像を取得する小型カメラであり、ＣＣＤカメラやピンホールカメラなどが用いられている。
【００４５】
車両周辺カメラ１４は、車両の周囲状況を取得するためのものであり、車両の周囲を撮像できるように車室内又は車体に取り付けられている。この車両周辺カメラ１４は、可視光画像を取得するカメラであり、車両周辺の画像が取得できるように複数のレンズや撮像素子（以下、光学系と称する。）を備え、車両の周辺を全方位にわたって撮像できるようにしたものや、１つの光学系を光学軸と直交する方向に回転させて車両の周辺を全方位のわたって撮像できるようにしたものなどがある。
【００４６】
入出力部１６は、車両用運転支援装置１０と車両搭載装置５０及び車両走行装置３０との間のデータの入出力を行うためのものであり、車両搭載装置５０から車両の現在位置、車両の走行履歴、道路の周囲状況などのデータを入力し、制御部２０へ出力したり、制御部２０から出力される告知のためのデータを車両搭載装置５０へ出力する。
【００４７】
また、入出力部１６は、制御部２０から出力される車両制御データを車両走行装置３０へ出力する。
なお、「車両の走行履歴」とは、走行した道路名称、その道路を走行した回数、その道路を走行した時刻、その時刻における当該道路の混雑状況などを意味している。また、「道路の周囲状況」とは、ＶＩＣＳなどで取得した道路の混雑情報や当該道路のある区間を走行するのに要した時間などを意味している。
【００４８】
また、「告知のためのデータ」とは、車両搭載装置５０の表示装置５６で表示させる告知用の表示データや音声出力装置５８で告知用の音声出力を行うための音声データであり、「車両制御データ」とは、車両走行装置３０のうちブレーキ制御装置３４を制御するためのブレーキ力の強さやブレーキ作動時間などを指令するためのブレーキ制御データ、エンジン制御装置３６を制御するためのエンジン出力を指令するエンジン制御データ、あるいは、ステアリング制御装置３８を制御するためのステアリング角度を指示するステアリング制御データなどをいう。
【００４９】
走行履歴記録装置１８は、入出力部１６を介して取得した車両の走行履歴を記録するためのものであり、例えば、不揮発性メモリ、メモリスティック、ハードディスク装置などである。
【００５０】
制御部２０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８を制御するためのものであり、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどから構成されている。
【００５１】
また、制御部２０は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する心身状態推定処理と推定された運転者の心身の状態に応じて運転支援の度合いを決定する支援度決定処理とを行う。そして、決定された支援度に基づいて、車両搭載装置５０や車両走行装置３０に入出力部１６を介して制御データを出力することによって車両搭載装置５０や車両走行装置３０を制御する。
【００５２】
心身状態推定処理は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する処理であり、室内カメラ１２で撮像した運転者の表情、特にまぶたの動きに基づいて画像処理を行い、運転者の心身の状態を推定する。
【００５３】
例えば、室内カメラ１２で撮像した運転者の表情から画像処理により運転者の眼の部分の領域を抽出する。次に、抽出した眼の部分の領域におけるまぶたの動きを検出する。そして、まぶたが所定時間以上閉じたままになっていたり、まぶたが閉じて開くまでの間隔が次第に長くなったり、まぶたを閉じる速さが次第に遅くなったりした場合などに運転者が覚醒状態でないと推定する。
【００５４】
支援度決定処理は、心身状態推定処理により推定された運転操作に影響を及ぼすような運転者の心身の状態に応じて運転支援の度合いを決定するものであり、後述するように、心身状態推定処理により得られた運転者の心身の状態に、車両搭載装置５０のＧＰＳ車載器５４により取得した進行方向前方の交差点までの距離、走行履歴記録装置１８に記録された走行履歴とＧＰＳ車載器５４から取得された車両の走行履歴との比較結果、あるいは、赤外線カメラ２２により検知した進行方向前方の交差点近傍の生体の有無を加味して運転支援の度合いを決定する。
【００５５】
また制御部２０は、赤外線カメラで取得した前方の交差点及び交差点近傍の赤外線画像中に人の体温に相当する熱源があるか否かを判定し、人の体温に相当する熱源があれば交差点や交差点近傍に人が居ると判定する。
【００５６】
車両搭載装置５０は、ＧＰＳ車載器５４、表示装置５６、音声出力装置５８、車両搭載装置制御部５２などから構成されている。
ＧＰＳ車載器５４は、少なくとも４つのＧＰＳ衛星からの電波を受信して車両の現在位置を検出し、その時々刻々の現在値を現在走行中の道路名称やその道路を走行した回数、その道路を走行した時刻とともに走行履歴として、 以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００５７】
［第１実施形態］
図１は、本発明に係る車両用運転支援装置１０が組み込まれた運転支援システム１の概略構成を示すブロック図である。
【００５８】
運転支援システム１は、車両用運転支援装置１０、車両搭載装置５０、車両走行装置３０などから構成される。
車両用運転支援装置１０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８、制御部２０などから構成される。
【００５９】
室内カメラ１２は、運転者の生体情報を取得するためのものであり、フロントガラスの上方に運転者の表情を撮像できるように車室内に向けて取り付けられている。この室内カメラ１２は、可視光画像を取得する小型カメラであり、ＣＣＤカメラやピンホールカメラなどが用いられている。
【００６０】
車両周辺カメラ１４は、車両の周囲状況を取得するためのものであり、車両の周囲を撮像できるように車室内又は車体に取り付けられている。この車両周辺カメラ１４は、可視光画像を取得するカメラであり、車両周辺の画像が取得できるように、複数のレンズや撮像素子（以下、光学系と称する。）を備え、車両の周辺を全方位にわたって撮像できるようにしたものや、１つの光学系を光学軸と直交する方向に回転させて車両の周辺を全方位のわたって撮像できるようにしたものなどがある。
【００６１】
入出力部１６は、車両用運転支援装置１０と車両搭載装置５０及び車両走行装置３０との間のデータの入出力を行うためのものであり、車両搭載装置５０から車両の現在位置、車両の走行履歴、道路の周囲状況などのデータを入力し、制御部２０へ出力したり、制御部２０から出力される告知のためのデータを車両搭載装置５０へ出力する。
【００６２】
また、入出力部１６は、制御部２０から出力される車両制御データを車両走行装置３０へ出力する。
なお、「車両の走行履歴」とは、走行した道路名称、その道路を走行した回数、その道路を走行した時刻、その時刻における当該道路の混雑状況などを意味している。また、「道路の周囲状況」とは、ＶＩＣＳなどで取得した道路の混雑情報や当該道路のある区間を走行するのに要した時間などを意味している。
【００６３】
また、「告知のためのデータ」とは、車両搭載装置５０の表示装置５６で表示させる告知用の表示データや音声出力装置５８で告知用の音声出力を行うための音声データであり、「車両制御データ」とは、車両走行装置３０のうちブレーキ制御装置３４を制御するためのブレーキ力の強さやブレーキ作動時間などを指令するためのブレーキ制御データ、エンジン制御装置３６を制御するためのエンジン出力を指令するエンジン制御データ、あるいは、ステアリング制御装置３８を制御するためのステアリング角度を指示するステアリング制御データなどをいう。
【００６４】
走行履歴記録装置１８は、入出力部１６を介して取得した車両の走行履歴を記録するためのものであり、例えば、不揮発性メモリ、メモリスティック、ハードディスク装置などである。
【００６５】
制御部２０は、室内カメラ１２、車両周辺カメラ１４、入出力部１６、走行履歴記録装置１８を制御するためのものであり、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどから構成されている。
【００６６】
また、制御部２０は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する心身状態推定処理と推定された運転者の心身の状態に応じて運転支援の度合いを決定する支援度決定処理とを行う。そして、決定された支援度に基づいて、車両搭載装置５０や車両走行装置３０に入出力部１６を介して制御データを出力することによって車両搭載装置５０や車両走行装置３０を制御する。
【００６７】
心身状態推定処理は、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する処理であり、室内カメラ１２で撮像した運転者の表情、特にまぶたの動きに基づいて画像処理を行い、運転者の心身の状態を推定する。
【００６８】
例えば、室内カメラ１２で撮像した運転者の表情から画像処理により運転者の眼の部分の領域を抽出する。次に、抽出した眼の部分の領域におけるまぶたの動きを検出する。そして、まぶたが所定時間以上閉じたままになっていたり、まぶたが閉じて開くまでの間隔が次第に長くなったり、まぶたを閉じる速さが次第に遅くなったりした場合などに運転者が覚醒状態でないと推定する。
【００６９】
支援度決定処理は、心身状態推定処理により推定された運転操作に影響を及ぼすような運転者の心身の状態に応じて運転支援の度合いを決定するものであり、後述するように、心身状態推定処理により得られた運転者の心身の状態に、車両搭載装置５０のＧＰＳ車載器５４により取得した進行方向前方の交差点までの距離、走行履歴記録装置１８に記録された走行履歴とＧＰＳ車載器５４から取得された車両の走行履歴との比較結果、あるいは、赤外線カメラ２２により検知した進行方向前方の交差点近傍の生体の有無を加味して運転支援の度合いを決定する。
【００７０】
また制御部２０は、赤外線カメラで取得した前方の交差点及び交差点近傍の赤外線画像中に人の体温に相当する熱源があるか否かを判定し、人の体温に相当する熱源があれば交差点や交差点近傍に人が居ると判定する。
【００７１】
車両搭載装置５０は、ＧＰＳ車載器５４、表示装置５６、音声出力装置５８、車両搭載装置制御部５２などから構成されている。
ＧＰＳ車載器５４は、少なくとも４つのＧＰＳ衛星からの電波を受信して車両の現在位置を検出し、その時々刻々の現在値を現在走行中の道路名称やその道路を走行した回数、その道路を走行した時刻とともに走行履歴として、車両搭載装置制御部５２を介して、車両用運転支援装置１０へ出力する。
【００７２】
また、ＧＰＳ車載器５４は、所定の地点、例えば、進行方向前方にある交差点までの距離などを算出して、車両搭載装置制御部５２を介して、車両用運転支援装置１０へ出力する。また、ＧＰＳ車載器５４は、ＶＩＣＳ機能を有しており、ＶＩＣＳ機能により取得した現在走行中の道路の混雑情報や当該道路のある区間を走行するために要した時間を道路の周囲状況として車両搭載装置制御部５２を介して車両用運転支援装置１０へ出力する。
【００７３】
表示装置５６は、地図表示を行いＧＰＳ車載器で取得した車両の現在位置を地図上に表示したり、地図上で目標地点までの経路を表示したり、その他種々の情報を表示するための装置である。具体的には、液晶パネル、ＣＲＴ、ＨＵＤ（Head Up Displayの略）、ＨＭＤ（Head Mounted Display又はHelmet Mounted Displayの略)などである。また、音声出力装置５８は、経路案内その他種々の情報を音声出力するための装置である。
【００７４】
車両搭載装置制御部５２は、車両用運転支援装置１０からの告知のためのデータを入力してＧＰＳ車載器５４、表示装置５６、音声出力装置５８を制御するとともに、車両用運転支援装置１０の入出力部１６へ車両の現在位置、車両の走行履歴、道路の周囲状況などのデータを出力する。
【００７５】
車両走行装置３０は、ブレーキ制御装置３４、エンジン制御装置３６，ステアリング制御装置３８、走行装置制御部３２などから構成されている。
ブレーキ制御装置３４は、走行装置制御部３２を介して車両用運転支援装置１０から入力されるブレーキ制御データのブレーキ力の強さやブレーキ作動時間に基づいて、図示しないブレーキの作動力や作動時間を制御して車両の制動を行う。
【００７６】
エンジン制御装置３６は、走行装置制御部３２を介して車両用運転支援装置１０から入力されるエンジン制御データのエンジン出力データに基づいて、図示しないエンジンの出力を制御する。
【００７７】
ステアリング制御装置３８は、走行装置制御部３２を介して運転支援システムから入力されるステアリング制御データのステアリング角度に基づいて、図示しないステアリングの角度を制御する。
【００７８】
走行装置制御部３２は、車両用運転支援装置１０の入出力部１６から出力されるブレーキ制御データ、エンジン制御データ、ステアリング制御データをブレーキ制御装置３４、エンジン制御装置３６，ステアリング制御装置３８に出力する。
【００７９】
（支援度決定処理）
次に、図２、図３及び図４に基づいて車両用運転支援装置１０の制御部で実行される支援度決定処理について説明する。
【００８０】
図２は、支援度決定処理の処理の流れを示すフローチャートである。図３は、車両６０の進行方向前方にある交差点から車両６０までの距離による危険度と告知内容を示す図である。また、図４は、条件別の告知方法や運転制御支援方法を示す図である。
【００８１】
図２に示すようにＳ１００では、車両搭載装置５０のＧＰＳ車載器５４から車両搭載装置制御部５２を介して、「車両６０が走行している道路名称」、「その道路を走行した回数」、「現在時刻」、あるいは、ＶＩＣＳ機能から得られる「渋滞情報」が入力される。
【００８２】
次に、Ｓ１０５では、Ｓ１００において入力されたＧＰＳ車載器５４からの各種データが走行履歴情報として、走行履歴記録装置１８へ記録される。
そして、Ｓ１１０では、室内カメラ１２で取得された運転者の顔画像が入力され、続くＳ１１５では、Ｓ１１０において取得された運転者の顔画像に基づいて運転操作に影響を及ぼすような運転者の心身の状態が推定される。
【００８３】
具体的には、室内カメラ１２で撮像された運転者の顔画像から運転者の眼の部分の領域が抽出される。次に、抽出された眼の部分の領域におけるまぶたの動きが検出される。そして、まぶたが所定時間以上閉したままになっていたら運転者が居眠り状態であると推定され、まぶたが閉じて開くまでの間隔が次第に長くなっていったり、まぶたを開閉する速さが次第に遅くなったりした場合には、運転者が居眠り状態に入りかけていると推定される。このように、運転者が居眠り状態や居眠り状態に入りかけていると推定されると運転者の心身の状態が「悪」と推定される。
【００８４】
逆に、運転者のまぶたが一定時間以上開いていたり、まぶたを開いている時間がまぶたを閉じている時間よりも長かったり、まぶたが一定以上の速さで開閉されている状態であれば、運転者は覚醒状態であり、運転者の心身の状態は「良」と推定される。
【００８５】
次に、Ｓ１２０では、車両周辺カメラ１４で取得された車両の周辺画像が入力され、続くＳ１２５では、Ｓ１２０において取得された車両の周辺画像から車両周囲の見通しが判定される。
【００８６】
具体的には、取得された周辺画像のうち車両前方の画像から車両前方に障害物がなく、交差点信号機等が運転者から見なくなっているか否かや、天候の悪化（霧、雨等）により信号機等が見えなくなったか否かが判定される。例えば、信号機等が見えなくなっているか否か次にように判定される。
【００８７】
車両が走行中であれば、画像中で車両の進行方向前方に対して車両の近い方にある物体ほど画像中で大きくなる割合が早いので、今回取得された画像と前回取得された画像とが比較されることにより、どの物体が交差点よりも手前にあるのかが判定される。そして、交差点よりも手前にある物体により交差点にある信号機等がが遮られるか否かにより車両周囲の見通しが良好であるか否かが判定されるのである。
【００８８】
また、天候が悪化し、霧や雨が発生している場合には、霧や雨により交差点に設置されている信号の像がぼやける。したがって、画像処理により信号機の輪郭の抽出を行うと、信号機の輪郭がはっきり抽出できないので、抽出した信号機の輪郭がぼやける。そして、信号機の輪郭のぼやけ度合いが所定の値以上の場合には、見通しが悪くなっていると判定され、ぼやけ度合いが所定の値未満であれば見通しは良いと判定されるのである。
【００８９】
続くＳ１３０では、車両周辺の危険対象物が抽出される。すなわち、Ｓ１２０において取得された車両の周辺画像から、車両の前方に、例えば、歩行者、他車両、自動二輪車、ベビーカー等、車両が危険を加える対象となるものや、工事現場や道路の陥没といった車両自体が危険になるものなどの危険対象物が画像処理により抽出される。
【００９０】
そして、危険対象物が抽出されるとともに、抽出された危険対象物が車両前方のどの位置にあるかが算出される。なお、この画像処理は、一般的な手法を用いれば実現できるため、画像処理の説明は省略する。
【００９１】
続くＳ１３５では、ＧＰＳ車載器５４を介して、ＶＩＣＳや情報センタから事故多発地点情報、例えば、交差点、スクールゾーン、踏切、道路の合流点などの位置情報が取得され、続くＳ１４０で、Ｓ１３５において取得された事故多発地点情報から、車両の走行方向前方に事故多発地点があるか否かが決定される。そして、車両の前方に事故多発地点がある場合には、ＧＰＳ車載器５４を介して、車両の現在値からその事故多発地点までの距離と車両の速度とが取得される。
【００９２】
続くＳ１４５では、危険の可能性がある要因が存在するか否かが判定される。具体的には、Ｓ１３０で危険対象物がある場合、又は、Ｓ１４０で事故多発地点がある場合に危険の可能性がある要因が存在すると判定される。そして、危険の可能性がある要因が存在すると判定された場合（Ｓ１４５：Ｙｅｓ）、Ｓ１５０が実行され、危険の可能性がある要因が存在しない場合（Ｓ１４５：Ｎｏ）、Ｓ１７５にて告知処理や車両支援制御を行わず、Ｓ１００へ戻って本処理が繰り返される。
【００９３】
Ｓ１５０では、Ｓ１３０にて算出された危険対象物の位置と車両の位置とから車両と危険対象物までの距離が算出され、続くＳ１５５では、Ｓ１５０において算出された車両と危険対象物までの距離と危険対象物とに応じて危険度が決定される。
【００９４】
具体的には、まず、Ｓ１３０において抽出された危険対象物の画像の移動距離と画像処理速度とから車両方向に対する危険対象物の移動速度が算出される。つまり、前回取得した画像から抽出された危険対象物と今回取得した画像から抽出された同じ危険対象物の移動距離が前回の画像処理から今回の画像処理までにかかる時間で除されることにより移動対象物の移動速度が算出される。
【００９５】
次に、算出された危険対象物の車両方向への速度とＳ１３５で取得された車両の速度とから車両と危険対象物との相対速度が算出され、算出された相対速度とＳ１５０において算出された車両と危険対象物との距離とから、車両が危険対象物へ到達する時間が算出される。そして、その到達時間が大きい場合、危険度は小、到達時間が小さい場合、危険度は大、到達時間が大と小の中間程度であれば、危険度は中と決定される。
【００９６】
これを、図３を用いて、さらに具体的に説明する。図３においては、説明を簡単にするため、車両６０の速度は一定であり、歩行者は止まっている、つまり、車両６０と歩行者６４との相対速度は一定とする。図３に示すように、交差点６２にいる歩行者６４までの距離が大きい場合（本実施形態では７００ｍ）、つまり、歩行者までの到達時間が大きい場合には、危険度は「小」と決定され（図３のシーンＩ参照）、歩行者６４までの到達時間が中の場合（本実施形態では３００ｍ）には、危険度も「中」と決定され（図３のシーンＩＩ参照）、歩行者６４までの到達時間が小さい場合（本実施形態では３０ｍ）には、危険度は「大」と決定される（図３のシーンＩＩＩ参照）。
【００９７】
次に、Ｓ１６０では、Ｓ１５５において決定された危険度とＳ１０５において入力された走行履歴情報とＳ１１５において推定された、運転操作に及ぼす運転者の心身の状態とに応じて運転支援内容が決定される。
【００９８】
具体的には、図４（ａ）に示すように、渋滞情報があった場合には、他の条件に拘わらず、危険度ごと、つまり、危険度の大、中、小に応じて以下のように運転支援内容が決定される
（ア）危険度：小の場合には、運転支援が行われない。すなわち、車両搭載装置５０の表示装置５６及び音声出力装置５８での告知も行われず、車両走行装置３０における運転支援制御も行われない。
【００９９】
（イ）危険度：中の場合には、注意喚起、つまり、表示装置５６での注意喚起表示や音声出力装置５８での注意喚起音声出力が行われる。
（ウ）危険度が大の場合には、車両制御支援が行われる。
【０１００】
（エ）車両が交差点に入った場合（図３のシーンＩＶ）には、車両が停止される。
ドライバの状態：「悪」の場合、つまり、運転者が覚醒状態にない場合には、他の条件に拘わらず、危険度：小で情報提供が行われ、危険度：中で注意喚起が行われ、危険度大で車両制御支援が行われる。
【０１０１】
また、運転者の心身の状態が「良」の場合、つまり、運転者が覚醒状態にあり、かつ、渋滞情報がない場合には、危険度：中で注意喚起が行われ、危険度：大で車両制御支援が行われる。さらに、その時間帯での走行経験がα回未満の場合には、危険度：小でも情報提供が行われ、その時間帯経験での走行経験がα回以上の場合には危険度：小では情報提供が行われない。
【０１０２】
このようにして、支援内容が決定された後、さらに、Ｓ１５５にて決定された危険度に応じた支援内容に基づき以下のように告知するか車両支援制御をするかの判定が行われ、Ｓ１６５における告知やＳ１７０における車両制御支援が行われる。
【０１０３】
具体的には、図４（ｂ）の（１）に示すように、（エ）運転者の状態：「悪」で周囲の見通し：「悪」の場合、以下のようになる。
（エ）危険度：小の場合、早いタイミングで告知が行われる。つまり、交差点からの距離が７００ｍになったら即刻情報提供が行われる。また、情報提供の内容も、例えば、警告表示が点滅するとともに警告音が鳴り、かつ、「この先に信号のある交差点があります。」という音声が出力されるというように告知内容が強調されたものとなる。
【０１０４】
（オ）危険度：中の場合、告知タイミングは早く、交差点からの距離が３００ｍになったら即刻告知が行われる。また、より速いテンポで警告音が鳴り、「もうすぐ交差点です注意して走行してください。」というように、危険度：小の場合に比べ、危険度をより強調する表現の警告音と音声出力内容とがなされる。さらに、音声出力の音量も危険度：小の場合に比べ大きくなり、運転者の覚醒を促すようになっている。
【０１０５】
（カ）危険度：大の場合、告知タイミングは早く、交差点からの距離が３０ｍになったら即刻告知車両制御支援が行われる。つまり、交差点からの距離が３０ｍになったら、エンジン制御装置３６にエンジン出力を絞る旨のエンジン制御データが出力され、車両の速度を低下させる。
【０１０６】
（キ）その状態でもドライバが覚醒せず、車両が交差点に入った場合（この状態を図４のシーンＩＶで「遅く」と称している。）には、ブレーキ制御装置３４にブレーキを作動させる旨のブレーキ作動データを出力して車両を停止させる。
【０１０７】
次に、図４（ｂ）の（２）に示すように、運転者の状態：「悪」で周囲の見通し：良の場合、危険度：小であっても図４（ｂ）の（１）の場合と同様に早いタイミングで告知が行われる。ただし、情報提供の内容が図４（ｂ）の（１）の場合とは異なり、通常の告知、例えば、「交差点に近づきます。」が点滅せずに表示され、「交差点に近づきます。」という音声出力が１回だけなされるというような告知となる。危険度：中及び危険度：大の場合には、図４（ｂ）の（１）の場合と同様の情報提供がなされる。
【０１０８】
そして、図４（ｂ）の（３）に示すように、運転者の状態：「良」で周囲の見通し：「悪」の場合には、危険度：小及び危険度：中のときは、上記図４（ｂ）の（２）の場合と同様のタイミングで同様の情報提供がなされる。また、危険度：大のときには、通常のタイミング、つまり、交差点から３０ｍとなったら、車速に応じ、例えば、車速が小さい場合にはタイムラグを持たせて車両制御支援を行う。このときの車両制御支援の内容は、上記（１）の場合と同じである。
【０１０９】
また、図４（ｂ）の（４）に示すように、運転者の状態：「良」で周囲の見通し：「良」の場合には、危険度：小、中、大いずれのときも通常のタイミングで情報提供、注意喚起及び車両制御支援が行われる。
【０１１０】
以上のように、告知や車両運転制御支援が行われた後、Ｓ１００へ戻って処理が繰り返される。
（運転支援システムの特徴）
以上に説明した運転支援システム１では、車両搭載装置５０のＧＰＳ車載器５４から取得した車両の現在位置から車両の進行方向前方にある交差点までの距離に応じて危険度を決定し、その危険度に応じて、情報提供、注意喚起、車両制御支援、車両停止制御などを行っている。
【０１１１】
また、室内カメラ１２で撮像した画像を用い、心身状態推定処理により運転者の覚醒度や運転への集中度などの運転操作に影響を及ぼすような運転者の心身の状態を推定し、推定した運転者の心身の状態によって、運転支援の度合いを決定する。そして、決定した運転支援の度合いに基づいて車両搭載装置５０の表示装置５６や音声出力装置５８を介して運転者に運転支援のための告知をしたり、車両走行装置３０を制御したりして運転支援を行ったりする。
【０１１２】
したがって、例えば、運転者の覚醒度が十分でない状態のときには、交差点からの距離に応じて、車両搭載装置５０を介して運転者へ情報提供、注意喚起が行われたり、車両走行装置３０を介して車両制御支援が行われるので、より適切に危険回避を行うことができる。
【０１１３】
逆に、運転者が十分に覚醒している状態、つまり、運転に集中している状態であれば、運転支援のための情報提供を行わなかったり、注意喚起のタイミングを遅らせたりしているので、運転者が安全に運転できる状態を保ちつつ、運転者にとって煩わしくない運転支援を行うことができる。
【０１１４】
また、室内カメラ１２で撮像した画像により、運転者の心身の状態を医学的又は心理学的に推定できるので危険回避を行うためにより適切な運転支援の度合いを決定できる。
また、走行した道路の走行回数を記録し、車両が現在走行している道路が過去に所定の回数（本実施形態ではα回）以上走行したことがある道路であり、かつ、運転者が覚醒した状態で運転している場合には、交差点の手前での告知を行わないようにしている（図４（ａ）の（３）に示す場合）ので運転にとって煩わしさがなくなる。
【０１１５】
一方、走行している道路が過去にα回以上走行したことがある道路であっても、運転者が覚醒していない状態であれば、交差点から所定の距離の位置で危険告知を行う（図４（ａ）の（４）に示す場合）ので、危険回避を行うことができる。
【０１１６】
さらに、走行している道路が過去にα回未満しか走行したことがない道路である場合には、運転者の覚醒度に拘りなく交差点から所定の距離以内になったときに、運転支援のための告知を行うようにすれば、運転者の注意度が高まるので、運転者は交差点を安全に通行することができる。
【０１１７】
また、車両周辺カメラ１４で車両周囲の見通しを測定し、車両周囲の見通しが悪くなっている場合、運転支援の度合いを高める、つまり、告知を強調したり、支援制御を行うようにしたりしているので、運転者は安全運転ができるようになる。
【０１１８】
また、運転支援の度合いに基づき、車両走行装置３０のブレーキ制御装置３４やエンジン制御装置３６やステアリング制御装置３８の制御を行うようにしているので、危険回避をより効果的に行うことができる。
【０１１９】
［第２実施形態］
次に、第２実施形態として、赤外線カメラ２２を用いて、危険対象物として交差点近傍の人を検知して運転支援を行う運転支援システム２について図５及び図６に基づき説明する。運転支援システム２の構成及び支援度決定処理は、赤外線カメラ２２を備えること及び赤外線カメラ２２を備えたことによる処理の追加以外は第１実施形態の運転支援システム１と同じであるので、同じ構成要素及び処理には同じ符号を付して、説明を省略し、異なる部分について説明する。
【０１２０】
赤外線カメラ２２は、車両進行方向前方にある交差点及び交差点近傍の生体の有無を検知するものであり、車両の前方の生体を撮像できるように車室内又は車体の前部に車両前方に向けて取り付けられている。この赤外線カメラ２２は、人体や犬などの生体の発する熱を赤外線画像として取得するカメラであり、室内カメラ１２に比べて比較的広い範囲の画像が取得できるようになっている。
【０１２１】
制御部２０は、第１実施形態で説明した支援度決定処理の内容に加え、赤外線カメラ２２で取得した画像中に人の体温に相当する熱源があるか否かを判定し、それに基づいて告知や車両制御支援を行う。
【０１２２】
具体的には、図６に示すように、第１実施形態と同様にＳ１００〜Ｓ１２５が実行され、Ｓ１２５において車両周囲の見通しが判定された後、Ｓ２００において、赤外線カメラ２２で取得された赤外線画像が入力される。
【０１２３】
次に、Ｓ２０５では、Ｓ２００において入力された赤外線画像から人の温度に相当する熱源があるか否かが判定され、続くＳ２１０では、人の体温に相当する熱源があれば画像中に人が居る、つまり、車両前方の交差点又は交差点近傍に人が居ると判定されれば（Ｓ２１０：Ｙｅｓ）、処理がＳ２３５へ移行され、熱源がなければ人は居ないと判定され（Ｓ２１０：Ｎｏ）、処理がＳ２１５へ移行される。
【０１２４】
Ｓ２１５では、交差点までの距離が算出され、続くＳ２２０及びＳ２２５において第１実施形態のＳ１５５と同様に交差点までの到達時間に応じて危険度と支援内容が決定される。そして、Ｓ２３０で、第１実施形態のＳ１６０と同様に支援内容が決定され、Ｓ１６５とＳ１７０とで第１実施形態と同様に告知、又は、車両支援制御が行われる。
【０１２５】
一方、Ｓ２３５では、車両の交差点までの距離が小以下であるか否かが判定され、距離が小以下（Ｓ２３５：Ｙｅｓ）であれば、処理がＳ２４５へ移行され、距離が小より大きければ（Ｓ２３５：Ｎｏ）、処理がＳ２４０へ移行される。
【０１２６】
Ｓ２４０では、車両搭載装置５０の表示装置５６に「交差点に人が居ます。」との点滅表示を行わせる指令が出力されるとともに、音声出力装置５８に「交差点に人がいます。注意してください。」との音声出力を行わせる指令が出力された後、Ｓ１００へ戻って処理が繰り返される。
【０１２７】
Ｓ２４５では、交差点までの距離が短いので、車両走行装置３０のエンジン制御装置３６にエンジン出力を絞る旨の指令が出力されるとともに、ブレーキ制御装置３４にブレーキを掛ける旨の指令が出力された後、Ｓ１００へ戻って処理が繰り返される。
【０１２８】
以上のように、運転支援システム２では、赤外線カメラ２２により取得した赤外線画像により交差点又は交差点近傍に人がいる旨の告知や車両制御支援が行われるので、人との衝突を避けるという重要な危険回避運転を支援することが可能となる。
【０１２９】
［第３実施形態］
次に、運転操作に影響を及ぼすような運転者の心身の状態を車両の走行状態から間接的に推定するようにした運転支援システムについて説明する。
【０１３０】
システムの構成や支援度決定処理は上記第１実施形態及び第２実施形態と同じであるので生命は省略する。
第３実施形態における心身状態推定処理は、車両周辺カメラ１４によって車両走行中に連続的に取得した画像から、画像処理によってセンターラインを抽出し、抽出したセンターラインからの車両横方向へのずれ変化率を算出する。算出した変化率が周期的に変化していたり、不規則に変化している場合に車両がふらついていると判定し、運転者が居眠り状態にある、つまり、運転者が覚醒状態ではないと推定するのである。
【０１３１】
このように、車両の走行状態に基づいて運転者の心身の状態を推定すれば、運転者の心身の状態を推定できる。さらに、車両自体が危険な状態で走行していないか否かを判定することも可能となるので、より緊急性の高い運転支援の度合いを決定できる
［その他の実施形態］
（１）上記各実施形態では、運転者の心身の状態を直接推定するために、室内カメラ１２を用いていたが、心電図測定器を用いて運転者の心拍数を計測し、心拍数が下がったら覚醒度が下がっていると推定してもよいし、脳波計を用いて脳波を計測し、覚醒度を推定するようにしてもよい。
【０１３２】
（２）また、運転者の心身の状態を間接的に推定するために、室内カメラ１２を用いる代りに、車両搭載装置５０で車両の進行方向前方にある交差点からの距離を取得し、その距離に対してブレーキを掛けるタイミングが遅いか否かを判定して運転者の心身の状態を推定してもよい。
【０１３３】
（３）また、道路の混雑状態を取得するために、ＶＩＣＳ情報の代りに、走行中の道路のある区間を走行するのに要した時間を計測し、過去の所要時間と比較して道路の混雑状態を取得するようにしてもよい。
【０１３４】
（４）また、道路の周囲状態は、交差点までの見通し以外に、インターネットで配信される気象予報等で取得した晴れ、雨、霧といった車両の周囲の天候状況、照度計で昼間又は夜間といった日照状況、車両周辺カメラ１４で所得した道路面の状態などであってもよい。
【０１３５】
（５）また、赤外線カメラ２２で取得する熱画像（つめり、危険対象物）は人だけでなく、例えば、犬や猫などの動物であってもよい。なぜならば、犬や猫の場合、その犬や猫がペットであった場合、その近辺にその飼い主である人がいる可能性が高いからである。
【０１３６】
（６）また、室内カメラ１２によって取得した画像から人のまぶたの動きを抽出する代りに、取得した画像から運転者の顔画像を抽出し、運転者が前方を見ているか否か、つまり、運転者が脇見運転をしている状態であるか否かを推定するようにしてもよい。
【０１３７】
なお、上記各実施形態において、制御部２０が制御手段、心身状態推定手段及び支援度決定手段に相当する。
（７）事故多発地点は、ＧＰＳ車載器５４の地図データ中に予め事故多発地点データとして設定されている場合には、その事故多発地点データを用いてもよい。
【０１３８】
（８）生体検知手段としては、赤外線カメラ２２のように生体反応を直接検知するもの以外に、携帯電話など歩行者が持っている通信機器と通信可能な通信装置を設け、歩行者の持っている通信機器と通信を行い、例えば、歩行者の個人識別データを受信することによって、生体の存在を間接的に検知するものなどを用いてもよい。
【０１３９】
（９）また、事故多発地帯としては、交差点以外に、スクールゾーン、踏切、道路の合流点などであってもよい。
なお、本明細書において、車両搭載装置５０が車両搭載機器に、ブレーキ制御装置３４、エンジン制御装置３６、ステアリング制御装置３８が車両走行装置に各々相当し、室内カメラ１２が生体情報取得手段に、入出力部１６が距離取得手段及び走行履歴取得手段に、走行履歴記録装置１８が走行履歴記録手段に各々相当する。
【０１４０】
また、車両周辺カメラ１４及び入出力部１６が周囲状況取得手段に、赤外線カメラ２２が生体検知手段に、表示装置５６及び音声出力装置５８が告知手段に各々相当する。
【図面の簡単な説明】
【０１４１】
【図１】車両用運転支援装置１０が組み込まれた運転支援システム１の概略構成を示すブロック図である。
【図２】第１実施形態における支援度決定処理の処理の流れを示すフローチャートである。
【図３】車両６０の進行方向前方にある交差点から車両６０までの距離による危険度と告知内容を示す図である。
【図４】条件別の告知方法を示す図である。
【図５】車両用運転支援装置１０が組み込まれた運転支援システム２の概略構成を示すブロック図である。
【図６】第２実施形態における支援度決定処理の処理の流れを示すフローチャートである。
【符号の説明】
【０１４２】
１，２…運転支援システム、１０…車両用運転支援装置、１２…室内カメラ、１４…車両周辺カメラ、１６…入出力部、１８…走行履歴記録装置、２０…制御部、２２…赤外線カメラ、３０…車両走行装置、３２…走行装置制御部、３４…ブレーキ制御装置、３６…エンジン制御装置、３８…ステアリング制御装置、５０…車両搭載装置、５２…車両搭載装置制御部、５４…ＧＰＳ車載器、５６…表示装置、５８…音声出力装置、６０…車両、６２…交差点、６４…歩行者。
【特許請求の範囲】
【請求項１】
運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する心身状態推定手段と、
前記心身状態推定手段により推定された運転者の心身の状態に応じて運転支援の度合いを決定する支援度決定手段と、
前記支援度決定手段により決定した前記運転支援の度合いに基づいて、少なくとも、車両搭載機器又は車両走行装置の何れかの作動内容を制御する制御手段と、
を備えたことを特徴とする車両用運転支援装置。
【請求項２】
請求項１に記載の車両用運転支援装置において、
運転者の生体情報を取得する生体情報取得手段を備え、
前記心身状態推定手段は、前記生体情報取得手段により取得した運転者の生体情報に基づいて運転者の心身の状態を推定することを特徴とする車両用運転支援装置。
【請求項３】
請求項１又は請求項２に記載の車両用運転支援装置において、
車両の走行状態を取得する走行状態取得手段を備え、
前記心身状態推定手段は、前記走行状態取得手段により取得した車両の走行状態に基づいて運転者の心身の状態を推定することを特徴とする車両用運転支援装置。
【請求項４】
請求項１〜請求項３の何れかに記載の車両用運転支援装置において、
進行方向前方の交差点までの距離を取得する距離取得手段を備え、
前記支援度決定手段は、前記距離取得手段により取得した進行方向前方の交差点までの距離を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項５】
請求項１〜請求項４の何れかに記載の車両用運転支援装置において、
車両の走行履歴を取得する走行履歴取得手段と、
前記走行履歴取得手段で取得した車両の走行履歴を記録する走行履歴記録手段と、
を備え、
前記支援度決定手段は、前記走行履歴記録手段に記録された走行履歴と前記走行履歴取得手段により取得された車両の走行履歴とを比較し、その比較結果を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項６】
請求項１〜請求項５の何れかに記載の車両用運転支援装置において、
車両の周囲状況を取得するための周囲状況取得手段を備え、
前記支援度決定手段は、前記周囲状況取得手段により取得した車両の周囲状況を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項７】
請求項１〜請求項６の何れかに記載の車両用運転支援装置において、
進行方向前方の交差点近傍の生体の有無を検知する生体検知手段を備え、
前記支援度決定手段は、前記生体検知手段により検知した進行方向前方の交差点近傍の生体の有無を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項８】
請求項１〜請求項７の何れかに記載の車両用運転支援装置において、
前記車両搭載機器は運転者に運転支援の告知を行うための告知手段を備えており、
前記制御手段は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記告知手段を介して告知を行うよう構成されていることを特徴とする車両用運転支援装置。
【請求項９】
請求項１〜請求項８の何れかに記載の車両用運転支援装置において、
前記車両走行装置は、ブレーキ装置であり、
前記制御装置は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記ブレーキ装置の作動を制御するように構成されていることを特徴とする車両用運転支援装置。
【請求項１０】
請求項１〜請求項９の何れかに記載の車両用運転支援装置において、
前記車両走行装置は、エンジン制御装置であり、
前記制御手段は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記エンジン制御装置の作動を制御するように構成されていることを特徴とする車両用運転支援装置。
【請求項１１】
請求項１〜請求項１０の何れかに記載の車両用運転支援装置において、
前記車両走行装置は、ステアリング装置であり、
前記制御手段は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記ステアリング装置の作動を制御するように構成されていることを特徴とする車両用運転支援装置。
【請求項１】
運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定する心身状態推定手段と、
前記心身状態推定手段により推定された運転者の心身の状態に応じて運転支援の度合いを決定する支援度決定手段と、
前記支援度決定手段により決定した前記運転支援の度合いに基づいて、少なくとも、車両搭載機器又は車両走行装置の何れかの作動内容を制御する制御手段と、
を備えたことを特徴とする車両用運転支援装置。
【請求項２】
請求項１に記載の車両用運転支援装置において、
運転者の生体情報を取得する生体情報取得手段を備え、
前記心身状態推定手段は、前記生体情報取得手段により取得した運転者の生体情報に基づいて運転者の心身の状態を推定することを特徴とする車両用運転支援装置。
【請求項３】
請求項１又は請求項２に記載の車両用運転支援装置において、
車両の走行状態を取得する走行状態取得手段を備え、
前記心身状態推定手段は、前記走行状態取得手段により取得した車両の走行状態に基づいて運転者の心身の状態を推定することを特徴とする車両用運転支援装置。
【請求項４】
請求項１〜請求項３の何れかに記載の車両用運転支援装置において、
進行方向前方の交差点までの距離を取得する距離取得手段を備え、
前記支援度決定手段は、前記距離取得手段により取得した進行方向前方の交差点までの距離を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項５】
請求項１〜請求項４の何れかに記載の車両用運転支援装置において、
車両の走行履歴を取得する走行履歴取得手段と、
前記走行履歴取得手段で取得した車両の走行履歴を記録する走行履歴記録手段と、
を備え、
前記支援度決定手段は、前記走行履歴記録手段に記録された走行履歴と前記走行履歴取得手段により取得された車両の走行履歴とを比較し、その比較結果を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項６】
請求項１〜請求項５の何れかに記載の車両用運転支援装置において、
車両の周囲状況を取得するための周囲状況取得手段を備え、
前記支援度決定手段は、前記周囲状況取得手段により取得した車両の周囲状況を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項７】
請求項１〜請求項６の何れかに記載の車両用運転支援装置において、
進行方向前方の交差点近傍の生体の有無を検知する生体検知手段を備え、
前記支援度決定手段は、前記生体検知手段により検知した進行方向前方の交差点近傍の生体の有無を加味して前記運転支援の度合いを決定することを特徴とする車両用運転支援装置。
【請求項８】
請求項１〜請求項７の何れかに記載の車両用運転支援装置において、
前記車両搭載機器は運転者に運転支援の告知を行うための告知手段を備えており、
前記制御手段は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記告知手段を介して告知を行うよう構成されていることを特徴とする車両用運転支援装置。
【請求項９】
請求項１〜請求項８の何れかに記載の車両用運転支援装置において、
前記車両走行装置は、ブレーキ装置であり、
前記制御装置は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記ブレーキ装置の作動を制御するように構成されていることを特徴とする車両用運転支援装置。
【請求項１０】
請求項１〜請求項９の何れかに記載の車両用運転支援装置において、
前記車両走行装置は、エンジン制御装置であり、
前記制御手段は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記エンジン制御装置の作動を制御するように構成されていることを特徴とする車両用運転支援装置。
【請求項１１】
請求項１〜請求項１０の何れかに記載の車両用運転支援装置において、
前記車両走行装置は、ステアリング装置であり、
前記制御手段は、前記支援度決定手段により決定した前記運転支援の度合いに基づき、前記ステアリング装置の作動を制御するように構成されていることを特徴とする車両用運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２９０５３９（Ｐ２００７−２９０５３９Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−１２０６０１（Ｐ２００６−１２０６０１）
【出願日】平成１８年４月２５日（２００６．４．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１８年４月２５日（２００６．４．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]