運転支援装置、及び運転支援方法
【課題】安全運転のための情報を運転者の注意状態に応じて適切に提供すること。
【解決手段】入力部２で計測された信号を元に注意すべき物体を検出する注意物体検出部３では、すぐに危険ではないが注意すべき一つ以上の物体を抽出する。運転者１に装着された生体信号検出部４で計測された脳波の信号を解析し、注意量推定部５で注意量が推定される。情報決定部６では、注意量推定部５から得られる注意量に基づき、注意物体検出部３にて検出された物体のうち、どの情報を運転者１に呈示するかを決定する。例えば、運転者１の注意量が低下した場合には、多くの物体を呈示すると運転の妨げになるために、表示個数を減らす制御が行われる。
【解決手段】入力部２で計測された信号を元に注意すべき物体を検出する注意物体検出部３では、すぐに危険ではないが注意すべき一つ以上の物体を抽出する。運転者１に装着された生体信号検出部４で計測された脳波の信号を解析し、注意量推定部５で注意量が推定される。情報決定部６では、注意量推定部５から得られる注意量に基づき、注意物体検出部３にて検出された物体のうち、どの情報を運転者１に呈示するかを決定する。例えば、運転者１の注意量が低下した場合には、多くの物体を呈示すると運転の妨げになるために、表示個数を減らす制御が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者に安全運転のための情報を呈示し、運転支援する装置に関する。より具体的には、運転者の注意散漫状態に応じて、安全運転のために知っておいた方がよい情報の呈示を制御し、運転支援する装置、方法、およびそのような機器において実行されるコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、自動車運運転に関連した事故防止装置の中で、安全運転のための情報を呈示する装置やシステムが開発されている。その装置やシステムは、基本的には安全運転の妨げになる状況や注意を配るべき物体をセンサ等によって検出し、検出された状況や物体をディスプレイやスピーカ等によって、運転者に警告や注意喚起の形式で呈示する方式が採用されている。
【０００３】
ここで、安全運転の妨げになる状況とは例えば運転者が居眠りしているときや眠気を感じている時である。また、注意を配るべき物体とは、例えば車両周辺の道路上や歩道に存在する他の車両やバイク、歩行者や自転車のことである。
【０００４】
従来の安全運転支援システムの例としては、車両の前方や後方を監視するセンサがある。このセンサによって車間距離を計測し、その車間距離が一定以上の近さになった場合に衝突の可能性があるとして、音や映像で運転者にその状況を伝達するシステムが実用化されている。
【０００５】
さらに、車両に搭載された画像センサや道路に設置された画像センサによって車両周辺状況を監視する。そして、画像認識処理や通信によって、周囲の物体や状況、例えば、前方車や側方車の動き、歩行者や自転車、バイクの位置や動き、信号の変化等を監視して、運転者に通知するシステムの開発が進められている（例えば特許文献１）。このシステムによって、運転者は自分で周囲の状況を確認する以外にも、運転支援システムの情報提供によっても周囲の状況を知ることができる。
【０００６】
このようなシステムでは、そのセンサと認識処理技術の向上に伴い、車両周辺の監視能力の向上が期待され、今後は車両周辺の物体の検出数の増加が想定される。この場合、検出した全ての物体の情報を運転者に呈示すると、運転者はそれらの情報の全てを認知して注意を配る必要が出てくるため、運転者にとっては情報過多になる可能性がある。
【０００７】
この状況に対して、検出された車両周辺の物体すべてを表示せずに、その注意すべき物体毎の重要性を算出して、その重要度に応じて表示方法を制御する方法が考えられる。特許文献１においては、危険度の判定を行い、その危険度によって表示の順位付けを行っている。
【０００８】
しかし、運転者への情報呈示を適切なものにするには、周辺状況の監視能力以外にも、運転者がシステムからの情報を適切に認識できるかという点も重要な情報になる。運転者は、運転時にはシステムからの安全運転情報以外にも運転のため周囲や計器類から多くの情報を認知する必要がある。
【０００９】
運転者の状況によって情報呈示を変化させる方式の例として、特許文献２が挙げられる。特許文献２では、運転者の覚醒度を検出し、その覚醒度が低下している場合には、安全運転情報が認知されにくいとして、情報を強調表示する方法を取っている。この方式により、覚醒度が低下していても、確実に情報が認知できるとされている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１５１５６６号公報（周辺監視で危険度に応じて表示レベルを変化）
【特許文献２】特開２００８−３０５０９６号公報（覚醒度に応じて注意喚起のレベルを変化）
【非特許文献】
【００１１】
【非特許文献１】入戸野、「映像に対する注意を測る−事象関連電位を用いたプローブ刺激法の応用例−」、生理心理学と精神心理学、２００６、２４（１）、５−１８
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、運転者は、常に周囲に注意を向けて安全を確保しながら車両の運転をすることが必要である。本願発明者らは、安全運転支援システムからの車両の周囲に関する情報は、運転者の運転への注意を妨げる余分な情報となりかねないという知見を見出した。その理由を２つ挙げる。一つ目は、すでに運転者が認知している物体であれば、改めてシステムから呈示を受ける必要はない点である。もう一つは、運転者が認知していない物体であっても、システムからの情報の認知をするにもある程度の注意の配分が必要であるため、例えば覚醒度低下時に安全運転支援システムから情報を多く出されるとそれらの情報に気を取られて、車両の運転自体に対する注意配分が減少する可能性もある点である。
【００１３】
この観点からは、特許文献２にあるようなシステムの情報伝達を確実にするための強調表示は、運転操作にとって外乱要因になる可能性もあり、安全運転の実現に必要な情報を呈示することと、運転者の運転の妨げにならないように情報を呈示することのバランスを取る必要がある。特に覚醒度が低下している場合や、注意が散漫になっているときは、情報の内容によっては、運転作業を優先してもらうために、情報呈示の内容を絞り込むことも必要である。
【００１４】
これまで、車両の運転において危険な車両等の情報を、確実に運転者に伝達するという目的のために、各種の方式が検討されてきた。しかし、本発明が対象とする周囲監視し、注意すべき物体の存在を通知するシステムに関しては、注意すべき物体がすぐに危険な状態になるとは限らない場合もある。よって、より柔軟に運転者に呈示すべき情報を選択する必要がある。すなわち、車両周辺監視においては、注意すべき物体を確認する作業にも注意配分が必要なことを考慮し、運転者の注意を引きすぎない方法が必要と考えられる。
【００１５】
本発明は、前記従来の課題のうち運転者が情報を理解する負荷に配慮した情報呈示が必要という課題を解決するもので、運転者の注意散漫度合いの変動に対応して、安全運転支援情報の呈示方法を制御できる運転支援装置の提供を目的とする。
【課題を解決するための手段】
【００１６】
本発明による運転支援装置は、車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、前記車両の運転者の脳波信号を検出する生体信号検出部と、前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、前記決定した注意喚起物体を、前記運転者に呈示する出力部とを備える。
【００１７】
本発明による運転支援方法は、車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、前記車両の運転者の脳波信号を検出する生体信号ステップと、前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、前記決定した注意喚起物体を、前記運転者に呈示する出力ステップとを有する。
【発明の効果】
【００１８】
本発明の運転支援装置によれば、脳波によって運転者の注意散漫度合いを把握し、注意散漫度合いに応じた情報呈示の表示内容や表示量の制御ができるため、運転者に必要以上の情報を呈示しないことで運転の妨げをせず、安全運転に集中できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１における運転支援装置の構成図
【図２】運転支援装置の全体処理のフローチャート
【図３】注意物体検出部のフローチャート
【図４】注意物体検出の例を示す図
【図５】注意物体リストの例を示す図
【図６】事象関連電位による注意量測定のフローチャート
【図７】脳波信号の処理を示す図
【図８】本願発明での注意散漫の定義を説明する図
【図９】注意散漫状態の評価実験における刺激呈示を示す図
【図１０】評価実験結果を示す図
【図１１】各視野領域におけるＰ３００の最大振幅を示す図
【図１２】眼球停留関連電位計測のための生体信号計測部及び注意量推定部の構成を示す図
【図１３】眼球停留関連電位による注意散漫状態検出のフローチャート
【図１４】眼球停留関連電位の処理を示す図
【図１５】評価実験結果を示す図
【図１６】呈示情報制御のフローチャート
【図１７】情報呈示個数の修正の例を示す図
【図１８】本発明の実施の形態２における運転支援装置の構成図
【図１９】運転支援装置の全体処理のフローチャート
【図２０】注意喚起物体ごとの注意量による呈示個数制御の例を示す図
【発明を実施するための形態】
【００２０】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１における運転支援装置の構成図である。運転支援装置は、運転者７が運転する車両の周辺を監視するためのセンサである入力部１と、入力部１で計測された情報から車両周辺で運転者７が注意すべき物体を検出する注意物体検出部２と、運転者７の生体信号を計測する生体信号検出部３と、生体信号検出部３で計測された生体信号を解析して、運転者７の注意状態を推定する注意量推定部４と、前記運転者７の注意量を受けて、前記注意物体検出部２で検出された注意物体のうち、どの情報を表示するかを決定する情報決定部５と、前記情報決定部５の結果を受けて、運転者に注意喚起の情報を呈示する出力部６により構成される。
【００２２】
（全体のシステム構成の流れ）
図２に運転支援装置の処理の全体のフローチャートを示す。
【００２３】
ステップＳ１０では、入力部１にて、周辺状況を計測する。入力部１は、例えば車両の前方を撮影するように取り付けられた画像センサ、物体までの距離が計測可能なレーザセンサ、車両後方監視用の画像センサなどが挙げられる。一つのセンサで周辺状況監視ができない場合には、複数個や複数種類のセンサを組合せる場合もありえる。ステップＳ１０では、これらのセンサによって周辺状況の情報（センサ情報）が取得される。以下の説明では、車両前方を撮影する画像センサを用いた例について説明する。
【００２４】
ステップＳ２０では、注意物体検出部２にて、ステップＳ１０で取得したセンサ情報に基づき、車両周辺に存在する注意物体を検出する。例えば、注意物体のテンプレートを予め保持しておき、センサ情報において、テンプレートに対応する物体を注意物体として検出する。また、センサ情報の時系列の変化を検出することにより、移動している物体を注意物体として検出することもできる。本明細書での「注意物体」とは、例えば、車両周辺の道路上や歩道に存在する他の車両、バイク、歩行者、及び自転車の移動体、又は、信号機の状態及び交通標識の交通規則に関連するもののことである。つまり、注意物体とは、運転者が、接触等を避けて車両を運転するために、把握しておくことが望ましい物体である。
【００２５】
注意物体の検出個数（例えば、自車両周辺の他車両の数）は、車両周辺の状況に応じて変化する。複数の注意物体を検出する場合も当然ありえる。
【００２６】
ここで、注意物体検出部２は、検出された注意物体の情報から注意物体リストを作成する。注意物体の情報は、物体のＩＤ、注意物体の位置、注意物体の状態等を含む。この注意物体リストは、ステップＳ５０の情報決定で使用される。処理の詳細については後述する。
【００２７】
ステップＳ３０では、生体信号検出部３にて、運転者７の脳波が取得される。「脳波」は、頭部の２点間の時間的な電位変化のことである。脳波は、一般的には頭部に装着された脳波計により計測可能である。脳波計は運転者が装着する必要があるが、脳波計のデバイスは小型化や簡易装着化が進み、容易な装着が可能になりつつある。
【００２８】
ステップＳ４０では、注意量推定部４にて、ステップＳ３０で計測された脳波信号から注意散漫度合いを推定する。ここで、「注意散漫度合い」とは、運転者が車内にいる時に行う全ての作業のうち、運転にどれだけ注意が配分できているかを示す指標を示す。注意の配分を考慮するので、覚醒度が高い場合でも例えば会話に夢中になっている場合などは運転への注意が配分できていないと判定される。処理の詳細については後述する。
【００２９】
ステップＳ５０では、情報決定部５にて、運転者７に呈示すべき情報の決定を行う。ステップＳ２０で検出された注意物体のうち、ステップＳ４０で推定された注意量に基づき、どの物体に関してどのように注意喚起をするかを決定する。基本的には注意散漫時には、運転者７は運転に十分な注意を配分するため注意喚起をする物体を少なくする等の呈示すべき情報の決定を行う。注意喚起の方法の詳細については後述する。
【００３０】
ステップＳ６０では、出力部６にて、注意喚起の情報として、情報決定部５で決定した情報を運転者に呈示する。出力部６は、映像や画像を呈示するディスプレイや音声情報を呈示するスピーカによって構成される。出力部６は、画像情報や音声情報によって注意喚起情報を呈示する。
【００３１】
以上のような流れにより安全運転情報制御が行われる。以下、順に各ステップでの詳細な流れについて説明する。
【００３２】
（注意物体検出部２の説明）
まず注意物体検出部２の処理の説明を図３のフローチャートを用いて行う。ここでは、入力部１のセンサが画像センサである場合の処理について説明する。
【００３３】
ステップＳ２１では、注意物体検出部２は、入力部１で計測された周辺状況の情報を受け付ける。ここでは、入力部１が画像センサであるため、周辺状況の情報として画像情報を受け付ける。以下では、画像情報がセンサ値である場合を説明するが、入力部１で計測された周辺状況の情報であれば適用可能である。
【００３４】
ステップＳ２２では、注意物体検出部２は、受け付けた画像センサ値と前回の画像センサの値との差分情報が計算する。そして、注意物体検出部２は、計算した差分情報から前回の画像センサ値から変化している部分や領域を検出する。前回の画像センサの値は、注意物体検出部２が保持するセンサ記憶部に記憶している。
【００３５】
車両に画像センサが搭載されている場合には、車両の動きに合わせて画像全体に差分が出る場合もあるので、動きの影響分を補正した上で画像中での物体の対応関係が算出されなければならない。
【００３６】
ステップＳ２３では、注意物体検出部２は、差分情報から、注意物体であるか否かを認識する。
【００３７】
注意物体検出部２は、注意物体毎の画像情報（形状又は色の情報などを含む）を記憶する物体情報記録部を保持している。注意物体検出部２は、ステップ２２で検出した変化している部分又は領域に該当する部分と、物体の画像情報とをパターンマッチングすることにより、注意物体を認識する。
【００３８】
また、注意物体検出部２は、これまで認識した注意物体の情報を記憶する認識物体記憶部を保持する。注意物体検出部２は、これまで認識した注意物体の情報を参照して、認識した注意物体が、これまで認識されていなかった新しい物体又は既に認識された物体かを認識する。これまで認識されていなかった新しい物体の場合、図５に示す注意物体リストに、注意物体の物体に関する情報を保存する。
【００３９】
次に、注意物体検出部２は、差分情報を用いて、物体認識部２０３が認識した物体の移動情報を抽出する。
【００４０】
差分情報は画像の変化を表しているので、（１）信号の色が変わった場合、（２）注意物体の前後左右への移動によって物体のサイズや位置が変化した場合、（３）建物の蔭などの死角から車が現れるなど新たに注意物体が発見された場合、などの情報が検出される。これらの差分情報から、上記の分類をすることが認識処理となる。
【００４１】
具体的な認識処理の例について、説明する。
【００４２】
物体情報記録部に物体の色情報を含む物体の画像情報を記憶しておく。この画像情報を用いて、注意物体検出部２が、色が異なる信号をそれぞれ認識する。注意物体検出部２は、色の異なる信号をそれぞれ認識した結果から、（１）信号の色が変わった場合を検出する。さらに、この信号の色が変わったことを検出した場合、注意物体リストの状態として記憶する。図５の注意物体リストの例では、ＩＤ１７の信号機の状態欄に記憶している。
【００４３】
また、注意物体検出部２は、物体の画像情報を拡大縮小させて、差分情報と物体の画像情報とをパターンマッチングする。注意物体検出部２は、このパターンマッチング時の物体の画像情報を拡大縮小したか否かの情報を受付け、注意物体のサイズの変化を検出する。さらに、注意物体検出部２が認識した物体が既に認識した物体であり、かつ、前回物体を認識した時に用いた画像情報より今回物体認識した時に画像情報が拡大されていた場合には、認識した物体の状態を（接近中）と検出する。
【００４４】
また、物体情報記録部に、建物などの死角となる高さや幅を有する物体の位置情報を「死角」というフラグと対応付けて記憶しておく。そして、物体情報記録部が新しい物体を認識した場合、注意物体検出部２は、死角と対応付けられた建物の位置情報と新しい物体の位置とが近い位置（例えば、３ｍ以内）であれば、死角から現れた注意物体であると検出する。
【００４５】
以下、注意物体を検出する状況の例を示す。図４に、交差点での右折時に交差点の周辺に注意物体が散在する状況を示す。注意物体検出部２の出力結果として、図４で枠によって囲まれて表示されている注意物体を表示する。図４では、例えば、他の車両や歩行者、自転車や、信号が注意物体として表示されている。これらの注意物体は、注意物体検出部２の記録部の注意物体リストとして保存される。
【００４６】
（注意物体リスト）
注意物体リストの例を図５に示す。図５に示すように、注意物体リストでは、注意物体を順に通し番号（ＩＤ）を付与して記録している。例えば、ＩＤ１１番の物体は、自転車である。その位置は、自車の向いている方向を０°とした場合に左２０°の方向で１５ｍ先に存在している。その物体の状態は、自車に「接近中」となる。
【００４７】
注意物体リストにおける物体の位置及び状態は、注意物体検出部２が検出して、注意物体リストに記録する。
【００４８】
自車両から物体への方向（物体の方向）は、例えば、画像情報における位置と自車両の位置との対応関係を参照して、物体認識部２０３が認識した物体がどの方向に存在するかを求める。
【００４９】
また、自車両と物体との距離（物体の距離）は、例えば、画像情報における距離と物体との距離の対応関係を参照して、物体認識部２０３が認識した物体と自車両との距離を求める。
【００５０】
画像情報における位置と自車両の位置との対応関係、及び画像情報における距離と物体との距離の対応関係は、予め求めておく。
【００５１】
また、物体の時系列の情報等を参照して、物体の状態を求める。例えば、前回求めた物体の位置より今回求めた物体の位置が短くなっていた場合には、（接近中）と求められる。また、接近中については、パターンマッチング時の物体の画像情報を拡大縮小したか否かの情報からも求めることができる。また、物体の距離の変化が小さくなっている場合には、（減速中）と求められる。なお、物体の状態を物体の位置情報から求める場合には、自車両の速度による物体の位置情報の変化分を除いて、物体の状態を求める必要がある。
【００５２】
（注意物体リストの順番）
注意物体リストでは、運転者が注意する必要の高い物体から順番に並べることもできる。注意物体リストの情報を参照して、注意する必要が高い物体の順番である注意物体順番を決める。
【００５３】
まず、注意物体の状態、注意物体の位置、物体のいずれかを優先して決める。例えば、車両に接近する可能性が高い注意物体を、運転者が注意する必要の高い物体とする場合を考える。
【００５４】
注意物体の状態において、接近中、減速中、停止中の順番で優先順位を高くする。つまり、停止状態に対して、移動している状態の優先順位を高くする。次に、注意状態が接近中の注意物体の中で注意物体の距離が小さい注意物体が注意する必要が高い物体として、その注意物体の優先順位を高くする。注意状態が減速中、停止中の注意物体においても、それぞれ同様に注意物体の優先順位を高くする。このようにして、注意物体リストの情報を参照して、注意する必要が高い物体の順番である注意物体順番を決める。
【００５５】
なお、注意物体の位置による注意物体順番を決める際に、自車両の前方に存在する注意物体を、より注意すべき物体であるとして、自車両の前方以外に存在する注意物体より、優先順位を高くすることもできる。自車両の前方以外に存在するか否かは、例えば、左右３０度以内又は左右９０度以内などの注意物体の方向に基づいて、自車両の前方に存在する注意物体として判定する。
【００５６】
なお、ここで説明した注意物体検出の処理のフローは一例である。様々な物体検出手法が開発されており、注意物体検出部２の出力が注意を配分すべき物体のリストである限りにおいては、それらの手法が適用できる。また、センサについてもカメラ等の撮像手段以外にも、レーザレーダやミリ波レーダなども使用可能である。
【００５７】
（注意量推定部４の説明）
次に、注意量測定部４の処理を図６のフローチャートに基づき説明する。また同時に図７の処理の例も説明する。なお、図７の波形は説明のために擬似的に作成した。
【００５８】
ステップＳ４１では、注意量測定部４は、生体信号計測部３にて取得された脳波を受け取る（図７の脳波２１）。どの範囲の脳波２１を受け取るかは運転者の状況等によって異なるが、例えば所定の時間前からその時点までの一定時間、例えば５分前から現在までの５分間の脳波データ等が取得される。なお、生体信号計測部３が測定した全ての脳波信号を取得しても良い。
【００５９】
また、このとき脳波データとともに、運転者が行う作業をイベントと捕らえ、そのイベントのタイミングを示すトリガ２２も同時に脳波データに付随しているものとする。
【００６０】
ここでは、脳波２１のうち事象関連電位を用いた例を説明する。「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。また、「イベント」とは、事象関連電位の計測に必要な計測開始点のことである。例えば、注意散漫を計測するために用いる事象関連電位の起点としては、カーナビから音声や効果音が発生した時、各種車内ディスプレイに呈示される情報が表示された時などが使用可能である。
【００６１】
ここで、脳波データに付随しているトリガ２２を作成について説明する。音声や効果音が発生した時刻をカーナビから注意量測定部４が取得する。そして、この音声や効果音が発生した時刻と脳波２１を測定した時刻とを対応付けることにより、トリガ２２を作成する。または、音声や効果音が発生した時刻をカーナビから生体信号計測部３が取得することにより、トリガ２２を作成しても良い。つまり、音声や効果音が発生した時刻と脳波２１を測定した時刻とを対応づけることにより、トリガ２２を作成する。
【００６２】
またトリガ２２は、脳波計測の時の脳波以外のチャンネルに記録してもよいし、時間的な同期を取って別の記録手段に記録されていてもよい。
【００６３】
ステップＳ４２では、注意量測定部４が、ステップＳ４１で取得したデータからトリガ２２が抽出する。注意配分の推定には、例えば事象関連電位のＰ３００成分の頂点の振幅などが用いられ、その事象関連電位を取得するための起点を示すトリガ２２が必要になる。トリガ２２は、どの時間にどのイベントが発生したかの情報を含む。ステップＳ４１で取得した脳波には、複数のイベントに対する複数のトリガ２２が含まれている。
【００６４】
ここで、「Ｐ３００」とは、ある事象を起点とした２００ミリ秒から４００ミリ秒における脳波信号において、陽性（正の方向）に振幅のピークを有する事象関連電位をいう。陽性に振幅のピークとは、極大値を含む。
【００６５】
ステップＳ４３では、注意量測定部４が、波形の切り出しを行う。ステップＳ４２で抽出されたトリガ２２のタイミングを用いて、そのタイミングから例えば−２００ミリ秒から６００ミリ秒などの範囲で脳波データが事象関連電位２３として切り出される。この切り出し範囲は、使用したい事象関連電位の性質等に応じて変更すればよい。ここで、「−２００ミリ秒」とは、トリガ２２のタイミングより２００ミリ秒前の時点を示す。
【００６６】
ステップＳ４４では、注意量測定部４が、ステップＳ４３で切り出された脳波データの振幅を算出する。イベントに対するＰ３００信号を使用する場合では、例えば２００ミリ秒から５００ミリ秒の範囲の中で陽性に最も大きな値をとった場合の電位の値を用いる方法などが考えられる。ある事象に対する注意の量と、振幅の大きさは関係があるとされ、注意の量が大きいほど、振幅も大きくなるとされる（非特許文献１参照）。ここで算出された振幅は、ステップＳ４６での処理のために、いったん注意量測定部４の記録部等に記録される。なお振幅の算出は、波形の加算平均を行った後に求める方法も考えられる。
【００６７】
振幅に基づいて注意量を判定する例としては、例えば前方車のブレーキに対する事象関連電位の振幅が所定の閾値以上の場合（閾値を含む）には、運転に対して集中していると判定できる。一方、例えばカーナビの動作に対する事象関連電位の振幅が大きい場合には、カーナビに対しては注意が向けられたが、その分運転そのものには注意が向けられてなかったと判定を行う。カーナビの事例は、プローブ刺激法（非特許文献１）の考え方にしたがって判定を行ったものである。
【００６８】
ステップＳ４５では、注意量測定部４が、すべてのトリガに対する処理が完了したかが判断される。もしもすべてのトリガに対する処理が完了していれば、ＹＥＳとしてステップＳ４６に進み、まだ完了していない場合にはＮＯとしてステップＳ４２に進む。
【００６９】
ステップＳ４６では、注意量測定部４が、ステップＳ４４にて複数の波形に対する複数の振幅データがそろった時点で、その値の平均２４を算出する。脳波は、各単独試行でのばらつきが大きいので、加算平均をすることで、その安定した波形２４と振幅２５を算出できる。
【００７０】
ステップＳ４７では、注意量測定部４が、ステップＳ４６で算出された振幅の平均値と注意配分量との関連付けを行う。振幅の平均値が大きい場合には注意配分量も大きいと判定される。この判定結果は、注意配分が十分であるか、不十分かの２状態に分離しても良いし、振幅量に応じた注意配分量が得られると考えて、注意配分量を連続値で出力しても良い。
【００７１】
（注意散漫の考え方説明）
ここで、本願発明者らの注意散漫状態の考え方と注意量について図８を用いて説明する。
【００７２】
本願発明では、注意を量として考える。図８（ａ）のように、現在の注意量は円筒に蓄えられた水のように量とする。このとき円筒の容量が、その運転者が持ちうる注意量の最大値になる。そして、蓄えられた水が注意量に相当すると考える。この量は集中度合いや覚醒度によって上下すると考える。
【００７３】
例えば、図８（ａ）の場合には、円筒には７０％の水が入っているため、７０％の注意量があるとする。この数値は注意配分の概念説明のために便宜的に付与した。この注意量がその時の運転者が行う作業に配分されると考えている。図８（ｂ）においては、音楽を聴きながら運転をしている場合、例えば運転に全体の５０％の注意が配分され、音楽に２０％の注意が配分されていると考えられる。この配分であれば、運転者は音楽を楽しみながら安全運転が遂行できている。
【００７４】
この考え方において、安全運転が遂行できない状況は２通りある。図８（ｃ）は眠気が強くなった場合の注意配分を示しており、覚醒度が低下して注意量自体が低下したために、安全運転に必要な注意量（５０％）が確保されずに注意喚起が必要な状況である。一方、図８（ｄ）では注意量は十分にあるが、電話応対に注意が多く（５０％）取られ、運転への配分が十分でなくなった場合である。この場合を本願明細書においては注意散漫状態と呼ぶ。この場合、眠気はないので図８（ｃ）とは別の注意喚起方法が必要になる。
【００７５】
（これまでの実験例）
この考えに基づき、本願発明者らが実施した運転に対する注意量の計測実験を２つ示す。一つ目は事象関連電位によるもので、もう一つは眼球停留関連電位を使用した場合である。
【００７６】
（事象関連電位による注意量の推定実験）
まず事象関連電位に基づく注意量推定の実験を説明する。この実験によって、本願発明者らは事象関連電位によって注意量が計測できること、特に周辺視野領域に発生する刺激に対しての事象関連電位の振幅が大きいことを見出した。以下にその実験の詳細を述べる。
【００７７】
被験者は男性１名、女性３名の合計４名で、平均年齢は２１±１．５歳である。図９を用いて実験内容を説明する。被験者に２つの課題を並行して実施してもらう二重課題法による実験を行った。第１の課題は、図９の７１に示した画面中央に呈示される記号（○／△／□／×）の切り替わり回数を頭の中で数える課題である。第２の課題は、図９の７２に示した周辺のランプがランダムな順番で点滅され、被験者はその点滅に気が付いた時点で手元のボタンを押す課題である。なお被験者には視線を常に画面中央に向けているように教示した。このように画面中央と周辺の２つの課題を同時に行わせることで、画面中央に注意を向けさせつつ、その周辺にもどの程度注意が向けられるかを調べることができる。周辺視野を被験者に呈示できるようにするために、２０インチのディスプレイを３台横に並べ、被験者と画面との距離は６０ｃｍとした。本実験は、車両運転環境を模擬したものではないが、注視点を監視しつつ、その周辺の変化に如何に早く気づき得るかを調べるための抽象化した実験として捉えることができる。
【００７８】
また、被験者は脳波計（ティアック製、ポリメイトＡＰ−１１２４）を装着し、電極の配置は国際１０−２０電極法を用い、導出電極をＰｚ（正中頭頂）、基準電極をＡ１（右耳朶）、接地電極を前額部とした。サンプリング周波数２００Ｈｚ、時定数３秒で計測した脳波データに対して１〜６Ｈｚのバンドパスフィルタ処理をかけ、周辺ランプ点滅時を起点に−１００ミリ秒から６００ミリ秒の脳波データを切り出し、−１００ミリ秒から０ミリ秒の平均電位でベースライン補正を行った。
【００７９】
図１０に上記の処理を行った後の、以下に述べる２つの条件ごとの脳波データの全被験者の加算平均波形を示す。
【００８０】
第１の条件は視野領域である。本実験では、図９に示すように、視角（被験者の眼の位置と画面中央の注視点までを結んだ線と、被験者の眼の位置と点滅ランプまでを結んだ線とが交差する角度）が０度以上１０度未満を領域１とし、１０度以上２０度未満を領域２とし、２０度以上を領域３として分類した。
【００８１】
第２の条件は被験者のボタン押し反応時間である。本実験では注意量の大小を実験条件として分類するために、ボタン押しまでの反応時間を用いた。生理心理の実験においては、反応時間は注意量を反映するとされている。
【００８２】
本実験ではボタン押し反応時間を注意量の指標とした際の脳波との関係について分析した。本実験における全ての反応時間を俯瞰したところ４００ミリ秒〜６００ミリ秒の間に非常に多くのサンプルが存在していた。そのため、６００ミリ秒以内に反応できた場合を反応時間が速い、すなわち当該刺激に対して高い注意状態にあったとし、６００ミリ秒以内に反応できなかった場合を反応時間が遅い、すなわち当該刺激に対して低い注意状態にあったとして分類した。図１０の各々のグラフは横軸がランプ点滅時を０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。また、各グラフ内で表記された数字（Ｎ）は各々の加算回数を表している。
【００８３】
図１０から、反応時間が速い場合、すなわち注意量が大きい場合（図１０の（ａ）〜（ｃ））は、視野領域に関わらず、潜時３００ミリ秒から５００ミリ秒の間の陽性成分であるＰ３００の振幅が大きくなっていることが分かる。図１０の（ａ）〜（ｃ）におけるＰ３００の最大振幅（８１（ａ）〜（ｃ））はそれぞれ２０．３μＶ、１９．６μＶ、２０．９μＶである。一方、反応時間が遅い場合、すなわち注意量が小さい場合（図１０の（ｄ）〜（ｆ））は、Ｐ３００の振幅が相対的に小さくなっている。特に、視覚２０度以上である領域３（一般的に周辺視野とされている領域）で且つ注意量が小さい場合（図１０の（ｆ））に、Ｐ３００の振幅が大幅に減少していることが分かる。図１０の（ｄ）〜（ｆ）におけるＰ３００の最大振幅（８１（ｄ）〜（ｆ））はそれぞれ１３．６μＶ、１３．２μＶ、２．５μＶである。
【００８４】
図１０の各々の条件におけるＰ３００最大振幅を図１１に示す。横軸は視野領域の領域１／領域２／領域３であり、縦軸は電位で単位はμＶである。実線は注意量が大きい場合、点線は注意量が小さい場合を表している。各視野領域における、注意量が大小のときの振幅差（９１（ａ）〜（ｃ））はそれぞれ６．７μＶ、６．４μＶ、１８．４μＶである。図１１からも領域によらずＰ３００の最大振幅には注意状態によって差が見られること、中でも視覚２０度以上である領域３（周辺視野領域）で差が大きいことがわかる。
【００８５】
（眼球停留関連電位による注意量の推定実験）
次に、眼球停留関連電位による注意量推定における生体信号計測部３および注意量推定４の構成と本願発明者らが行った実験結果について示す。
【００８６】
「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時点、すなわち眼球停留の開始時点に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、眼球の停留時点より約１００ミリ秒付近に後頭部で有意に出現する正の成分を「ラムダ反応」といい、視対象に対する注意集中度によって変動することが知られている。
【００８７】
図１２を用いて、眼球停留関連電位計測のための構成について説明する。眼球停留関連電位を用いる場合の運転支援装置の基本的な構成は図１に示した構成と同じであり、眼球停留関連電位の処理の特徴が現れる部分のみ生体信号検出部３ａと注意量推定部４ａとして説明する。
【００８８】
図１２において生体信号検出部３ａは、脳波計測と眼電計測の両方を担当する。眼球停留関連電位はサッケード後の眼球停留を起点とした事象関連電位の計測なので、運転者７には、あらかじめ脳波計測用の電極３０１と眼電計測用の電極３０３が装着される。眼球停留関連電位では後頭部に信号が現れるとされ、脳波計測用の電極３０１は、国際１０−２０法でＯｚと言われる位置（後頭部）の周辺に設置される。眼電に関してはＥＯＧ（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）法に基づいて計測する。「ＥＯＧ法」とは、眼球の角膜が網膜に対して正に帯電する性質を利用して、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。したがって眼電計測用の電極３０３は、眼電位を計測可能な目の周囲に設置される。具体的には、左右の変化を捉えるために両こめかみ、上下の変化を捉えるためにどちらかの目を挟み込むように上下に設置される。
【００８９】
次に、脳波用電極３０１を介して脳波計測部３０２にて脳波が、眼電用電極３０３を介して眼電計測部３０４にて眼電が計測される。脳波も眼電もその大きさは異なるものの微弱な電位差を計測するものであり、発明者らが使用している脳波計（ティアック製、ポリメイトＡＰ−１１２４）を含めて、脳波計の持つゲイン調整機能により、１台の生体アンプで脳波と眼電を同時に計測することが可能である。
【００９０】
サッケード検出部４０２では、眼電計測部３０４で計測された眼電情報を受けて、サッケードを検出し、サッケードの終了タイミングを算出し、事象関連電位検出部４０２に送る。
【００９１】
サッケードとは、眼球のすばやい動きのことで従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０〜７０ミリ秒で、サッケードの速度は視角で表すと３００〜５００度（ｄｅｇｒｅｅｓ）／秒であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０〜７０ミリ秒）連続して同じであり、かつ当該所定時間の平均角速度が３００度（ｄｅｇｒｅｅｓ）／秒以上である眼球運動をサッケードとして検出することができる。
【００９２】
サッケードの検出方法には、最初に水平および垂直方向のそれぞれのサッケードを検出し、その後で水平および垂直方向のサッケードで時区間が重複しているサッケードを１つに統合する方法を用いることができる。また、また最初に水平眼球運動データおよび垂直眼球運動データを合成して得られたベクトルデータを計算してから当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
【００９３】
事象関連電位抽出部４０１では、脳波計測部３０２から脳波データを、サッケード抽出部４０２からサッケード終了時点の情報を受けて、サッケード終了時を起点とした事象関連電位を抽出する。
【００９４】
この処理について図１３のフローチャートおよび図１４の処理例を用いて説明する。
【００９５】
ステップＳ７１では、眼電計測部３０４にて眼球運動データ８１の読み出しを行う。
【００９６】
ステップＳ７２では、サッケード抽出部４０２にて眼球停留開始時点を抽出する。
【００９７】
ステップＳ７３では、脳波計測部３０２にて、脳波データ８２の読み出しを行う。
【００９８】
ステップＳ７４では、事象関連電位抽出部４０１にて、脳波データの切り出しを行う。具体的にはステップＳ７２で抽出した眼球停留開始時点を起点とし、起点より例えば−３００ｍｓ〜６００ｍｓの事象関連電位を抽出し、最終判定で加算を行うために保存しておく。
【００９９】
ステップＳ７５では、ラムダ反応注意推定部４０３にて、ラムダ反応振幅値を算出する。これは判定対象時区間に得られた複数の事象関連電位を加算平均し、その加算平均波形に対するラムダ反応振幅値を算出するものである。図１４に、判定対象時区間８３（ａ）〜（ｄ）の例を示す。判定対象時区間は現在時刻Ｔａから過去ＴＷ（秒）遡った範囲とし、更にＴＳ（秒）後に再度このステップＳ７２が実行される場合には現在時刻Ｔｂ（＝Ｔａ＋ＴＳ）から過去ＴＷ（秒）遡った範囲とする。このように時間経過に応じて判定対象時区間を移動させることによって、その時々の運転注意状態を判定することができる。
【０１００】
図１５は、本願発明者らが実験により取得した眼球停留関連電位の波形例である。これは後頭部で計測された全被験者１２名分の各波形を加算平均した波形で、グラフにおいて、横軸は眼球停留の開始時点を０ミリ秒とした時間（潜時）を示しており、単位はミリ秒である。また、縦軸は電位（ＥＥＲＰの振幅）を示しており、単位はμＶ、下向きが正である。実線は運転に集中している状態の眼球停留関連電位を示し、点線は運転に注意が向けられていない状態（すなわち注意散漫状態）の眼球停留関連電位を示している。
【０１０１】
図１５のグラフによれば、眼球停留開始時より約１００ミリ秒付近に出現する正の成分（ラムダ反応）は、運転集中時にその振幅が３．４μＶと大きく、注意散漫時に１．２μＶと小さくなっており、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。
【０１０２】
（実験結果のまとめ）
以上で本願発明者らが実施した実験結果で示したように、運転に対する注意量は脳波計測によって推定可能であることが明らかになった。
【０１０３】
（情報決定部５の説明）
次に、情報決定部５の処理を図１６のフローチャートと図１７の情報呈示の制御の例を用いて説明する。
【０１０４】
ステップＳ５１では、情報決定部５が、注意物体検出部２より注意物体の情報を取得する。例えば、注意物体の情報として、複数の注意物体が記録されている注意物体のリストを取得する。図４の状況では、図５に示すリストが注意物体のリストとして取得される。
【０１０５】
ステップＳ５２では、情報決定部５が、注意量推定部４より現在の運転者７の注意状態を取得する。注意状態とは、運転者７が運転という行為に対して注意散漫かどうかの評価結果である。
【０１０６】
ステップＳ５３では、情報決定部５が、ステップＳ５２で得られた運転に対する評価結果が注意散漫かどうか判定する。注意散漫であると判定された場合にはＹＥＳとして、ステップＳ５４に進み、注意散漫でないと判定された場合にはＮＯとして、ステップＳ５５に進む。
【０１０７】
ステップＳ５４では、運転者７は多くの注意喚起情報を視認する余分な注意資源がないため、情報決定部５が、運転者に表示する注意物体の個数を減らす。例えば、最大表示個数を３から１に減らす。その後、ステップＳ５６に進む。
【０１０８】
ステップＳ５５では、運転者７は多くの注意喚起情報を視認する注意資源の余裕があるため、情報決定部５が、運転者に表示する注意物体の個数を増やす。例えば、最大表示個数を３から４に増やす。ここで、最大表示個数とは、同時に注意物体を呈示できる個数を示す。
【０１０９】
なお、最大表示個数は必ずしも４個に限るものではなく、運転者の認知能力によって適切に設定されればよい。運転者が一度に情報を認知して保持できる個数は、人の短期記憶の容量と関係があり、一度には５〜９個の情報しか保持できないとされる。このため余裕を持たせる意味でもここでは４個と設定した。また、ステップＳ５４及びステップＳ５５において、表示個数を減らす又は表示個数を多くするとは、所定の表示個数を決めておき、所定の表示個数から減らす又は多くするということも示す。つまり、通常３個の情報を呈示すると決めておき、ステップＳ５３の注意散漫かどうかの判定結果に基づいて、表示個数を減らす又は多くする。
【０１１０】
ステップＳ５６では、情報決定部５が、ステップＳ５１で取得した注意物体のうち、表示する物体を決める。ここで、表示すると決定する物体の個数は、ステップＳ５４又はステップＳ５５で決めた最大表示個数以下の個数である。本実施の形態では、注意物体のリストは、視認すべき順番に並べてあるため、上から順に最大表示個数までの物体を注意喚起物体として決定して、処理を終了する。注意物体のリストに掲載される物体の数が最大表示個数に届かない場合には、注意物体のリストに掲載された全ての物体が注意喚起物体になる。情報決定部５は、決定した呈示する物体の情報を出力部６に送信する。
【０１１１】
なお、上記のフローチャートでは運転者７の注意状態は、散漫か散漫でないかの２状態の場合の説明をしたが、注意量が連続値を取ることも可能である。この場合には、ステップＳ５５では、情報決定部５が記憶している予め定めた事象関連電位の振幅と最大表示個数（運転者に呈示する注意物体の最大個数）との関係を参照して、注意量に対応した表示個数を設定すればよい。例えば、事象関連電位の振幅に対応して、注意量が０〜１．０の間で求められた場合には、注意量の１０倍を最大表示個数に設定するなどである。こうすると、運転者７の注意量に応じて、最大表示個数は０〜１０の間で変化することになる。予め定めた事象関連電位の振幅と最大表示個数との関係とは、事象関連電位の振幅毎に最大表示個数と対応させたテーブル、又は注意量の１０倍を最大表示個数とする規則などである。
【０１１２】
なお、本発明の対象にしている注意物体は、危険が差し迫っているような物体は含まないことを想定している。それは、前方車との車間距離がとても近い場合等の危険が想定される状況では、注意喚起の情報呈示よりも、より強力な安全運転支援手段が必要と考えられる。このように危険度が高い場合には、危険であることを注意喚起ではなく、警告として表示したり、事故に至る直前では、シートベルトを事前にロックしたり、ブレーキの効きを良くする等のより積極的な支援が必要になる。
【０１１３】
図１７を用いて、情報呈示個数の違う場合の例を示す。図１７には、注意物体検出部２によって作成された注意物体のリストを示す。このリストは、ドライバに情報を呈示したい順番に優先度付けが既になされているとする。例えば、図４の状況において前方で接触の可能性の高いものから順位付けをしてあると考えてよい。
【０１１４】
ここで集中時には、運転以外にも安全運転支援システムが提供する情報を視認する余裕があるために、この場合には４個の情報が提供可能と判断されて、上位から４つの情報が呈示され、反対に注意散漫時には、運転そのものに配分される情報が少なく、新しい情報を視認する余裕が少ないと判断されて、注意喚起を行う物体は１つとなる。
【０１１５】
（出力部６の説明）
出力部６では、情報決定部５で算出された、注意喚起物体を表示する。表示方法としては、フロントガラスをスクリーンとして、物体体が存在する位置に枠を重畳して表示する方法や、カーナビ等の画面に画像センサで取得した画像を表示した上に、物体の上に枠をつけるなどの方法がありえる。
【０１１６】
以上のような処理によって、脳波信号から運転者の注意状態が分類され、注意散漫度合いに応じた情報呈示の表示内容や表示量の制御ができるため、運転者に必要以上の情報を呈示しないことで運転の妨げをせず、安全運転に集中できる。
【０１１７】
なお、入力部１の周辺状況監視のセンサは、車両本体に必ずしも設置される必要はない。例えば、交差点においては信号機等に周辺を監視する画像センサや車両センサの設置も可能で、この場合には信号機に設置されたセンサの情報を通信によって受信する方法もある。
【０１１８】
なお、従来の安全運転支援システムのうち、緊急度が高い状況や物体を検出して表示する安全運転支援システムとは共存が可能である。本発明の対象とする注意物体とは、運転者７が把握しておくことが望ましい車両周辺の道路上や歩道に存在する他の車両やバイク、歩行者や自転車、信号機の状態や交通標識のことであり、緊急度が高い物体に関する情報呈示とは異なるためである。緊急度が高い物体に対しては、注意喚起というレベルよりもよい緊急度が高い警告としての情報呈示が有効である。例えば、輝度を上げる、警告音と同時に呈示する等の強調表示である。この場合には、本発明の注意喚起システムの動作の優先順位は低いとして、動作を止めればよい。
【０１１９】
なお、表示方法において注意散漫の場合には、注意喚起物体を少なくした上で、その注意喚起の刺激強度を高くする方法もある。例えば、注意喚起の物体を枠表示する場合の枠の輝度や色彩をより目立つものに変更するなどである。こうすることで、注意喚起の個数は少ないまま確実に視認してもらえる効果がある。また、刺激の強度を高めることで、注意喚起物体の情報の伝達が確実になるだけでなく、覚醒レベルを高める効果がある。覚醒レベルが高まると、注意資源そのものが高まる可能性があり、安全運転が可能になる。
【０１２０】
（実施の形態２）
本実施の形態２では、脳波の事象関連電位を用いてどの物体に、どの程度注意が配分されているかを判定することで、より正確な注意喚起のための物体を選定する。
【０１２１】
図１８は、本発明の実施の形態２における運転支援装置の構成図である。図１８は図１を変形したものであり、図１と同じブロックについては同一の参照符号を付し、その説明は省略する。実施の形態１と異なるブロックは注意量推定部４ｂ、情報決定部５ｂ、及び出力部６ｂである。以下、これらのブロックの詳細動作を中心に説明する。
【０１２２】
出力部６ｂは、映像や画像を呈示するディスプレイや音声情報を呈示するスピーカによって構成される。出力部６ｂは、注意喚起情報として、画像情報や音声情報を運転者に呈示する。例えば、注意喚起情報の物体の周囲に枠を表示したり、注意喚起情報の物体を点滅させることにより、画像情報として注意喚起情報を呈示する。また、注意喚起情報の物体の名称と場所とをスピーカにより呈示することにより、音声情報として注意喚起情報を呈示する。
【０１２３】
図１の出力部６と異なる点は、出力部６ｂは、注意喚起情報として、物体を一つずつ呈示することである。また、出力部６ｂは、注意喚起情報を呈示した時刻を、注意量推定部４ｂに伝達する。
【０１２４】
注意量推定部４ｂは、図１の注意量推定部４と同様に注意状態の推定を行う。注意量推定部４ｂでは、車両周辺の注意喚起物体ごとの事象関連電位に基づき、注意量の評価を行う。
【０１２５】
注意量推定部４ｂは、出力部６ｂから、注意喚起を行った注意喚起物体とその注意喚起を行った時刻の情報が得られる。よって、注意喚起を行った時刻を起点とした事象関連電位の抽出が可能になる。すでに実験結果を説明したように、事象関連電位の反応によって注意状態が判定できるため、この事象関連電位の振幅によってそれぞれの注意量が推定できる。
【０１２６】
情報決定部５ｂでは、注意量推定部４ｂで推定された注意喚起物体ごとの注意量にしたがって、注意量が低いものから順に再度注意喚起を行う。
【０１２７】
このような構成で処理される運転支援装置の全体のフローチャートについて図１９を用いて説明する。図１９は図２の一部を修正したものであり、図２と同じ処理のステップについては同一の参照符号を付し、その詳細な説明を省略する。また、データ表現の例として図２０も併用する。
【０１２８】
ステップＳ１０では、センサ等により車両の周辺状況の情報を取得する。
【０１２９】
ステップＳ２０では、車両の周辺状況の情報から、注意物体のリストを作成する。これは、図２０では自転車や歩行者等７つの注意物体のリストが作成されている。
【０１３０】
ステップＳ３０では、脳波を計測する。この場合には、出力部からの注意喚起出力を起点とした事象関連電位を計測する。
【０１３１】
ステップＳ４０ａは、注意量推定部４ｂにて、注意量を推定する。事象関連電位の振幅が所定の閾値以上の場合（閾値を含む）、対応する注意喚起物体に対して注意が十分に配分されていると判定する。また、事象関連電位の振幅が小さい場合、対応する注意喚起物体に対して注意が十分ではないと判定する。
【０１３２】
図２０の例では、注意喚起物体に対する最初の注意喚起物体に対する事象関連電位の振幅が列３１に示されている。値は説明のために仮想的に設定したものである。数値がなく「未計測」と表示されている部分はまだ注意喚起が行われていない物体である。事象関連電位の振幅は様々な値をとりうるため、例えば、図１１の実験結果等を踏まえると閾値を１５μＶに設定するとその上下で、注意量の大小が判定できることになる。この基準で判定したのが、推定された注意状態の列３２で１５μＶ以上のところは集中していると判定される。
【０１３３】
また、列３２でＩＤ１１の自転車に対しては、０．６μＶの振幅が確認されている。これは集中状態と判定されておらず、運転者７は注意喚起情報を正しく認識しなかった可能性がある。このため、列３３において注意喚起表示が必要と判定され、「○」がつけられている。
【０１３４】
ステップＳ５０ａで、情報決定部５が、注意喚起を行う物体を決定する。図２０の列３３を参照し、ＩＤ１１の自転車やＩＤ１３の車の陰のバイク等に対する喚起が必要であると決定する。例えば、喚起が必要であると決定した物体のうち、予め定められた最大表示個数以下の物体を呈示すると決定する。
【０１３５】
ステップＳ６０ａで、決定した物体を運転者に提示することによって、注意喚起表示を行う。事象関連電位の抽出のために、物体を提示した時刻（タイミング）を、注意量推定部４ｂに送る。
【０１３６】
このような処理によって、注意喚起物体ごとの注意量を算出して、注意喚起の必要性の有無を決定できる。
【０１３７】
なお、ステップＳ５０ａにおいて、注意物体リストのうち集中していると推定された注意物体の数が、所定の数以上（閾値を含む）の場合には、最大表示個数を増やすことができる。そして、増やした最大表示個数に応じて、注意喚起を行う物体を決定する。一方、注意物体リストのうち集中していると推定された注意物体の数が、所定の数より少ない場合には、最大表示個数を減らし、その最大表示個数に対応する注意喚起を行う物体を決定する。
【０１３８】
また、注意物体リストのうち集中していないと推定された注意物体の数が、最大表示個数よりも大きい場合には、例えば、左右４５度以内、かつ３０ｍ以内に存在する集中していないと推定された全ての注意物体を呈示することができる。呈示の方法としては、注意物体ごとに枠で囲んで呈示しても良いが、左右４５度以内、かつ３０ｍ以内の範囲全体を枠で囲んで呈示する。
【０１３９】
注意物体リストのうち集中していないと推定された注意物体の数が多くなる場所として、注意物体の数が非常に多い交差点や交通量の多い場所等が考えられる。このような運転者が注意すべき物体が多く、又はその注意すべき物体が時々刻々変化していく。したがって、制限した範囲の注意物体を呈示することによって、運転の集中を妨げず、安全運転に必要最小限の部分を呈示することができる。
【０１４０】
以上のように本実施の形態２によれば、注意物体に対する注意喚起表示に対する事象関連電位の分析により、注意物体ごとの運転者７の視認状況が把握できるために、運転者７がまだ視認していない注意物体にのみ注意喚起の情報が提供できるので、運転の妨げをせず、安全運転に集中できる。
【０１４１】
なお、本実施の形態２の注意量推定部４ｂでは、各物体に対する注意喚起表示１回に対する事象関連電位に対して注意散漫判定を行った例について説明した。脳波はノイズ成分を含むため、より正確に判定を行いたい場合には、同一物体に対して複数回の注意喚起表示を行いその事象関連電位を加算平均した後に、判定を行ってもよい。この場合、各物体に対する注意状態の判定に要する時間は延びるため、アプリケーションによって、加算回数は調節すると良い。
【０１４２】
なお、実施の形態に対しては、注意喚起出力をトリガとした事象関連電位を用いて注意喚起物体ごとの注意量の推定を行ったが、トリガは注意喚起出力には限定されない。
【０１４３】
なお、事象関連電位の振幅の大小で注意量が判定できるとしたが、事象関連電位の振幅は注意量のみに影響を受けるわけではない。注意喚起物体に対する注意喚起を初めて見た場合には、その事象関連電位の振幅は大きいことが想定されるが、同一物体に対する２回目の注意喚起に対する振幅は、１回目よりも小さいことが想定されるので、その減少分も想定した判定が必要である。
【０１４４】
なお、事象関連電位の振幅の大小で注意量が判定できるとしたが、事象関連電位の振幅が小さいときには注意が散漫になっている場合以外にも、見落としていて注意喚起刺激を受けていない場合も考えられる。このどちらの場合も、再度注意喚起が必要な状況であることには代わりがないので、情報決定部５ｂで注意喚起をする決定を行えばよい。
【産業上の利用可能性】
【０１４５】
本発明にかかる運転支援装置は、安全運転を行うための情報呈示が必要な分野で幅広く利用可能であり、一般車両の運転者だけでなく、業務用車両を運転する運転者、たとえばトラックやタクシーやバスの運転者、車でなくても、電車や飛行機や船舶の操縦者、工場等のプラントの監視者等、運転や操作等の安全に運転を行うための大量の情報を選別する必要がある場合に利用可能である。
【符号の説明】
【０１４６】
１ 入力部
２ 注意物体検出部
３ 生体信号検出部
４ 注意量推定部
５ 情報決定部
６ 出力部
７ 運転者
１１ 自転車
１２ 歩行者
１３ バイク
１４ 歩行者
１５ 対向車
１６ 歩行者用信号機
１７ 信号機
２１ 脳波波形
２２ トリガ
２３ 事象関連電位
２４ 加算平均後の波形
２５ 事象関連電位の振幅
【技術分野】
【０００１】
本発明は、運転者に安全運転のための情報を呈示し、運転支援する装置に関する。より具体的には、運転者の注意散漫状態に応じて、安全運転のために知っておいた方がよい情報の呈示を制御し、運転支援する装置、方法、およびそのような機器において実行されるコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、自動車運運転に関連した事故防止装置の中で、安全運転のための情報を呈示する装置やシステムが開発されている。その装置やシステムは、基本的には安全運転の妨げになる状況や注意を配るべき物体をセンサ等によって検出し、検出された状況や物体をディスプレイやスピーカ等によって、運転者に警告や注意喚起の形式で呈示する方式が採用されている。
【０００３】
ここで、安全運転の妨げになる状況とは例えば運転者が居眠りしているときや眠気を感じている時である。また、注意を配るべき物体とは、例えば車両周辺の道路上や歩道に存在する他の車両やバイク、歩行者や自転車のことである。
【０００４】
従来の安全運転支援システムの例としては、車両の前方や後方を監視するセンサがある。このセンサによって車間距離を計測し、その車間距離が一定以上の近さになった場合に衝突の可能性があるとして、音や映像で運転者にその状況を伝達するシステムが実用化されている。
【０００５】
さらに、車両に搭載された画像センサや道路に設置された画像センサによって車両周辺状況を監視する。そして、画像認識処理や通信によって、周囲の物体や状況、例えば、前方車や側方車の動き、歩行者や自転車、バイクの位置や動き、信号の変化等を監視して、運転者に通知するシステムの開発が進められている（例えば特許文献１）。このシステムによって、運転者は自分で周囲の状況を確認する以外にも、運転支援システムの情報提供によっても周囲の状況を知ることができる。
【０００６】
このようなシステムでは、そのセンサと認識処理技術の向上に伴い、車両周辺の監視能力の向上が期待され、今後は車両周辺の物体の検出数の増加が想定される。この場合、検出した全ての物体の情報を運転者に呈示すると、運転者はそれらの情報の全てを認知して注意を配る必要が出てくるため、運転者にとっては情報過多になる可能性がある。
【０００７】
この状況に対して、検出された車両周辺の物体すべてを表示せずに、その注意すべき物体毎の重要性を算出して、その重要度に応じて表示方法を制御する方法が考えられる。特許文献１においては、危険度の判定を行い、その危険度によって表示の順位付けを行っている。
【０００８】
しかし、運転者への情報呈示を適切なものにするには、周辺状況の監視能力以外にも、運転者がシステムからの情報を適切に認識できるかという点も重要な情報になる。運転者は、運転時にはシステムからの安全運転情報以外にも運転のため周囲や計器類から多くの情報を認知する必要がある。
【０００９】
運転者の状況によって情報呈示を変化させる方式の例として、特許文献２が挙げられる。特許文献２では、運転者の覚醒度を検出し、その覚醒度が低下している場合には、安全運転情報が認知されにくいとして、情報を強調表示する方法を取っている。この方式により、覚醒度が低下していても、確実に情報が認知できるとされている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１５１５６６号公報（周辺監視で危険度に応じて表示レベルを変化）
【特許文献２】特開２００８−３０５０９６号公報（覚醒度に応じて注意喚起のレベルを変化）
【非特許文献】
【００１１】
【非特許文献１】入戸野、「映像に対する注意を測る−事象関連電位を用いたプローブ刺激法の応用例−」、生理心理学と精神心理学、２００６、２４（１）、５−１８
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、運転者は、常に周囲に注意を向けて安全を確保しながら車両の運転をすることが必要である。本願発明者らは、安全運転支援システムからの車両の周囲に関する情報は、運転者の運転への注意を妨げる余分な情報となりかねないという知見を見出した。その理由を２つ挙げる。一つ目は、すでに運転者が認知している物体であれば、改めてシステムから呈示を受ける必要はない点である。もう一つは、運転者が認知していない物体であっても、システムからの情報の認知をするにもある程度の注意の配分が必要であるため、例えば覚醒度低下時に安全運転支援システムから情報を多く出されるとそれらの情報に気を取られて、車両の運転自体に対する注意配分が減少する可能性もある点である。
【００１３】
この観点からは、特許文献２にあるようなシステムの情報伝達を確実にするための強調表示は、運転操作にとって外乱要因になる可能性もあり、安全運転の実現に必要な情報を呈示することと、運転者の運転の妨げにならないように情報を呈示することのバランスを取る必要がある。特に覚醒度が低下している場合や、注意が散漫になっているときは、情報の内容によっては、運転作業を優先してもらうために、情報呈示の内容を絞り込むことも必要である。
【００１４】
これまで、車両の運転において危険な車両等の情報を、確実に運転者に伝達するという目的のために、各種の方式が検討されてきた。しかし、本発明が対象とする周囲監視し、注意すべき物体の存在を通知するシステムに関しては、注意すべき物体がすぐに危険な状態になるとは限らない場合もある。よって、より柔軟に運転者に呈示すべき情報を選択する必要がある。すなわち、車両周辺監視においては、注意すべき物体を確認する作業にも注意配分が必要なことを考慮し、運転者の注意を引きすぎない方法が必要と考えられる。
【００１５】
本発明は、前記従来の課題のうち運転者が情報を理解する負荷に配慮した情報呈示が必要という課題を解決するもので、運転者の注意散漫度合いの変動に対応して、安全運転支援情報の呈示方法を制御できる運転支援装置の提供を目的とする。
【課題を解決するための手段】
【００１６】
本発明による運転支援装置は、車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、前記車両の運転者の脳波信号を検出する生体信号検出部と、前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、前記決定した注意喚起物体を、前記運転者に呈示する出力部とを備える。
【００１７】
本発明による運転支援方法は、車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、前記車両の運転者の脳波信号を検出する生体信号ステップと、前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、前記決定した注意喚起物体を、前記運転者に呈示する出力ステップとを有する。
【発明の効果】
【００１８】
本発明の運転支援装置によれば、脳波によって運転者の注意散漫度合いを把握し、注意散漫度合いに応じた情報呈示の表示内容や表示量の制御ができるため、運転者に必要以上の情報を呈示しないことで運転の妨げをせず、安全運転に集中できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１における運転支援装置の構成図
【図２】運転支援装置の全体処理のフローチャート
【図３】注意物体検出部のフローチャート
【図４】注意物体検出の例を示す図
【図５】注意物体リストの例を示す図
【図６】事象関連電位による注意量測定のフローチャート
【図７】脳波信号の処理を示す図
【図８】本願発明での注意散漫の定義を説明する図
【図９】注意散漫状態の評価実験における刺激呈示を示す図
【図１０】評価実験結果を示す図
【図１１】各視野領域におけるＰ３００の最大振幅を示す図
【図１２】眼球停留関連電位計測のための生体信号計測部及び注意量推定部の構成を示す図
【図１３】眼球停留関連電位による注意散漫状態検出のフローチャート
【図１４】眼球停留関連電位の処理を示す図
【図１５】評価実験結果を示す図
【図１６】呈示情報制御のフローチャート
【図１７】情報呈示個数の修正の例を示す図
【図１８】本発明の実施の形態２における運転支援装置の構成図
【図１９】運転支援装置の全体処理のフローチャート
【図２０】注意喚起物体ごとの注意量による呈示個数制御の例を示す図
【発明を実施するための形態】
【００２０】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１における運転支援装置の構成図である。運転支援装置は、運転者７が運転する車両の周辺を監視するためのセンサである入力部１と、入力部１で計測された情報から車両周辺で運転者７が注意すべき物体を検出する注意物体検出部２と、運転者７の生体信号を計測する生体信号検出部３と、生体信号検出部３で計測された生体信号を解析して、運転者７の注意状態を推定する注意量推定部４と、前記運転者７の注意量を受けて、前記注意物体検出部２で検出された注意物体のうち、どの情報を表示するかを決定する情報決定部５と、前記情報決定部５の結果を受けて、運転者に注意喚起の情報を呈示する出力部６により構成される。
【００２２】
（全体のシステム構成の流れ）
図２に運転支援装置の処理の全体のフローチャートを示す。
【００２３】
ステップＳ１０では、入力部１にて、周辺状況を計測する。入力部１は、例えば車両の前方を撮影するように取り付けられた画像センサ、物体までの距離が計測可能なレーザセンサ、車両後方監視用の画像センサなどが挙げられる。一つのセンサで周辺状況監視ができない場合には、複数個や複数種類のセンサを組合せる場合もありえる。ステップＳ１０では、これらのセンサによって周辺状況の情報（センサ情報）が取得される。以下の説明では、車両前方を撮影する画像センサを用いた例について説明する。
【００２４】
ステップＳ２０では、注意物体検出部２にて、ステップＳ１０で取得したセンサ情報に基づき、車両周辺に存在する注意物体を検出する。例えば、注意物体のテンプレートを予め保持しておき、センサ情報において、テンプレートに対応する物体を注意物体として検出する。また、センサ情報の時系列の変化を検出することにより、移動している物体を注意物体として検出することもできる。本明細書での「注意物体」とは、例えば、車両周辺の道路上や歩道に存在する他の車両、バイク、歩行者、及び自転車の移動体、又は、信号機の状態及び交通標識の交通規則に関連するもののことである。つまり、注意物体とは、運転者が、接触等を避けて車両を運転するために、把握しておくことが望ましい物体である。
【００２５】
注意物体の検出個数（例えば、自車両周辺の他車両の数）は、車両周辺の状況に応じて変化する。複数の注意物体を検出する場合も当然ありえる。
【００２６】
ここで、注意物体検出部２は、検出された注意物体の情報から注意物体リストを作成する。注意物体の情報は、物体のＩＤ、注意物体の位置、注意物体の状態等を含む。この注意物体リストは、ステップＳ５０の情報決定で使用される。処理の詳細については後述する。
【００２７】
ステップＳ３０では、生体信号検出部３にて、運転者７の脳波が取得される。「脳波」は、頭部の２点間の時間的な電位変化のことである。脳波は、一般的には頭部に装着された脳波計により計測可能である。脳波計は運転者が装着する必要があるが、脳波計のデバイスは小型化や簡易装着化が進み、容易な装着が可能になりつつある。
【００２８】
ステップＳ４０では、注意量推定部４にて、ステップＳ３０で計測された脳波信号から注意散漫度合いを推定する。ここで、「注意散漫度合い」とは、運転者が車内にいる時に行う全ての作業のうち、運転にどれだけ注意が配分できているかを示す指標を示す。注意の配分を考慮するので、覚醒度が高い場合でも例えば会話に夢中になっている場合などは運転への注意が配分できていないと判定される。処理の詳細については後述する。
【００２９】
ステップＳ５０では、情報決定部５にて、運転者７に呈示すべき情報の決定を行う。ステップＳ２０で検出された注意物体のうち、ステップＳ４０で推定された注意量に基づき、どの物体に関してどのように注意喚起をするかを決定する。基本的には注意散漫時には、運転者７は運転に十分な注意を配分するため注意喚起をする物体を少なくする等の呈示すべき情報の決定を行う。注意喚起の方法の詳細については後述する。
【００３０】
ステップＳ６０では、出力部６にて、注意喚起の情報として、情報決定部５で決定した情報を運転者に呈示する。出力部６は、映像や画像を呈示するディスプレイや音声情報を呈示するスピーカによって構成される。出力部６は、画像情報や音声情報によって注意喚起情報を呈示する。
【００３１】
以上のような流れにより安全運転情報制御が行われる。以下、順に各ステップでの詳細な流れについて説明する。
【００３２】
（注意物体検出部２の説明）
まず注意物体検出部２の処理の説明を図３のフローチャートを用いて行う。ここでは、入力部１のセンサが画像センサである場合の処理について説明する。
【００３３】
ステップＳ２１では、注意物体検出部２は、入力部１で計測された周辺状況の情報を受け付ける。ここでは、入力部１が画像センサであるため、周辺状況の情報として画像情報を受け付ける。以下では、画像情報がセンサ値である場合を説明するが、入力部１で計測された周辺状況の情報であれば適用可能である。
【００３４】
ステップＳ２２では、注意物体検出部２は、受け付けた画像センサ値と前回の画像センサの値との差分情報が計算する。そして、注意物体検出部２は、計算した差分情報から前回の画像センサ値から変化している部分や領域を検出する。前回の画像センサの値は、注意物体検出部２が保持するセンサ記憶部に記憶している。
【００３５】
車両に画像センサが搭載されている場合には、車両の動きに合わせて画像全体に差分が出る場合もあるので、動きの影響分を補正した上で画像中での物体の対応関係が算出されなければならない。
【００３６】
ステップＳ２３では、注意物体検出部２は、差分情報から、注意物体であるか否かを認識する。
【００３７】
注意物体検出部２は、注意物体毎の画像情報（形状又は色の情報などを含む）を記憶する物体情報記録部を保持している。注意物体検出部２は、ステップ２２で検出した変化している部分又は領域に該当する部分と、物体の画像情報とをパターンマッチングすることにより、注意物体を認識する。
【００３８】
また、注意物体検出部２は、これまで認識した注意物体の情報を記憶する認識物体記憶部を保持する。注意物体検出部２は、これまで認識した注意物体の情報を参照して、認識した注意物体が、これまで認識されていなかった新しい物体又は既に認識された物体かを認識する。これまで認識されていなかった新しい物体の場合、図５に示す注意物体リストに、注意物体の物体に関する情報を保存する。
【００３９】
次に、注意物体検出部２は、差分情報を用いて、物体認識部２０３が認識した物体の移動情報を抽出する。
【００４０】
差分情報は画像の変化を表しているので、（１）信号の色が変わった場合、（２）注意物体の前後左右への移動によって物体のサイズや位置が変化した場合、（３）建物の蔭などの死角から車が現れるなど新たに注意物体が発見された場合、などの情報が検出される。これらの差分情報から、上記の分類をすることが認識処理となる。
【００４１】
具体的な認識処理の例について、説明する。
【００４２】
物体情報記録部に物体の色情報を含む物体の画像情報を記憶しておく。この画像情報を用いて、注意物体検出部２が、色が異なる信号をそれぞれ認識する。注意物体検出部２は、色の異なる信号をそれぞれ認識した結果から、（１）信号の色が変わった場合を検出する。さらに、この信号の色が変わったことを検出した場合、注意物体リストの状態として記憶する。図５の注意物体リストの例では、ＩＤ１７の信号機の状態欄に記憶している。
【００４３】
また、注意物体検出部２は、物体の画像情報を拡大縮小させて、差分情報と物体の画像情報とをパターンマッチングする。注意物体検出部２は、このパターンマッチング時の物体の画像情報を拡大縮小したか否かの情報を受付け、注意物体のサイズの変化を検出する。さらに、注意物体検出部２が認識した物体が既に認識した物体であり、かつ、前回物体を認識した時に用いた画像情報より今回物体認識した時に画像情報が拡大されていた場合には、認識した物体の状態を（接近中）と検出する。
【００４４】
また、物体情報記録部に、建物などの死角となる高さや幅を有する物体の位置情報を「死角」というフラグと対応付けて記憶しておく。そして、物体情報記録部が新しい物体を認識した場合、注意物体検出部２は、死角と対応付けられた建物の位置情報と新しい物体の位置とが近い位置（例えば、３ｍ以内）であれば、死角から現れた注意物体であると検出する。
【００４５】
以下、注意物体を検出する状況の例を示す。図４に、交差点での右折時に交差点の周辺に注意物体が散在する状況を示す。注意物体検出部２の出力結果として、図４で枠によって囲まれて表示されている注意物体を表示する。図４では、例えば、他の車両や歩行者、自転車や、信号が注意物体として表示されている。これらの注意物体は、注意物体検出部２の記録部の注意物体リストとして保存される。
【００４６】
（注意物体リスト）
注意物体リストの例を図５に示す。図５に示すように、注意物体リストでは、注意物体を順に通し番号（ＩＤ）を付与して記録している。例えば、ＩＤ１１番の物体は、自転車である。その位置は、自車の向いている方向を０°とした場合に左２０°の方向で１５ｍ先に存在している。その物体の状態は、自車に「接近中」となる。
【００４７】
注意物体リストにおける物体の位置及び状態は、注意物体検出部２が検出して、注意物体リストに記録する。
【００４８】
自車両から物体への方向（物体の方向）は、例えば、画像情報における位置と自車両の位置との対応関係を参照して、物体認識部２０３が認識した物体がどの方向に存在するかを求める。
【００４９】
また、自車両と物体との距離（物体の距離）は、例えば、画像情報における距離と物体との距離の対応関係を参照して、物体認識部２０３が認識した物体と自車両との距離を求める。
【００５０】
画像情報における位置と自車両の位置との対応関係、及び画像情報における距離と物体との距離の対応関係は、予め求めておく。
【００５１】
また、物体の時系列の情報等を参照して、物体の状態を求める。例えば、前回求めた物体の位置より今回求めた物体の位置が短くなっていた場合には、（接近中）と求められる。また、接近中については、パターンマッチング時の物体の画像情報を拡大縮小したか否かの情報からも求めることができる。また、物体の距離の変化が小さくなっている場合には、（減速中）と求められる。なお、物体の状態を物体の位置情報から求める場合には、自車両の速度による物体の位置情報の変化分を除いて、物体の状態を求める必要がある。
【００５２】
（注意物体リストの順番）
注意物体リストでは、運転者が注意する必要の高い物体から順番に並べることもできる。注意物体リストの情報を参照して、注意する必要が高い物体の順番である注意物体順番を決める。
【００５３】
まず、注意物体の状態、注意物体の位置、物体のいずれかを優先して決める。例えば、車両に接近する可能性が高い注意物体を、運転者が注意する必要の高い物体とする場合を考える。
【００５４】
注意物体の状態において、接近中、減速中、停止中の順番で優先順位を高くする。つまり、停止状態に対して、移動している状態の優先順位を高くする。次に、注意状態が接近中の注意物体の中で注意物体の距離が小さい注意物体が注意する必要が高い物体として、その注意物体の優先順位を高くする。注意状態が減速中、停止中の注意物体においても、それぞれ同様に注意物体の優先順位を高くする。このようにして、注意物体リストの情報を参照して、注意する必要が高い物体の順番である注意物体順番を決める。
【００５５】
なお、注意物体の位置による注意物体順番を決める際に、自車両の前方に存在する注意物体を、より注意すべき物体であるとして、自車両の前方以外に存在する注意物体より、優先順位を高くすることもできる。自車両の前方以外に存在するか否かは、例えば、左右３０度以内又は左右９０度以内などの注意物体の方向に基づいて、自車両の前方に存在する注意物体として判定する。
【００５６】
なお、ここで説明した注意物体検出の処理のフローは一例である。様々な物体検出手法が開発されており、注意物体検出部２の出力が注意を配分すべき物体のリストである限りにおいては、それらの手法が適用できる。また、センサについてもカメラ等の撮像手段以外にも、レーザレーダやミリ波レーダなども使用可能である。
【００５７】
（注意量推定部４の説明）
次に、注意量測定部４の処理を図６のフローチャートに基づき説明する。また同時に図７の処理の例も説明する。なお、図７の波形は説明のために擬似的に作成した。
【００５８】
ステップＳ４１では、注意量測定部４は、生体信号計測部３にて取得された脳波を受け取る（図７の脳波２１）。どの範囲の脳波２１を受け取るかは運転者の状況等によって異なるが、例えば所定の時間前からその時点までの一定時間、例えば５分前から現在までの５分間の脳波データ等が取得される。なお、生体信号計測部３が測定した全ての脳波信号を取得しても良い。
【００５９】
また、このとき脳波データとともに、運転者が行う作業をイベントと捕らえ、そのイベントのタイミングを示すトリガ２２も同時に脳波データに付随しているものとする。
【００６０】
ここでは、脳波２１のうち事象関連電位を用いた例を説明する。「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。また、「イベント」とは、事象関連電位の計測に必要な計測開始点のことである。例えば、注意散漫を計測するために用いる事象関連電位の起点としては、カーナビから音声や効果音が発生した時、各種車内ディスプレイに呈示される情報が表示された時などが使用可能である。
【００６１】
ここで、脳波データに付随しているトリガ２２を作成について説明する。音声や効果音が発生した時刻をカーナビから注意量測定部４が取得する。そして、この音声や効果音が発生した時刻と脳波２１を測定した時刻とを対応付けることにより、トリガ２２を作成する。または、音声や効果音が発生した時刻をカーナビから生体信号計測部３が取得することにより、トリガ２２を作成しても良い。つまり、音声や効果音が発生した時刻と脳波２１を測定した時刻とを対応づけることにより、トリガ２２を作成する。
【００６２】
またトリガ２２は、脳波計測の時の脳波以外のチャンネルに記録してもよいし、時間的な同期を取って別の記録手段に記録されていてもよい。
【００６３】
ステップＳ４２では、注意量測定部４が、ステップＳ４１で取得したデータからトリガ２２が抽出する。注意配分の推定には、例えば事象関連電位のＰ３００成分の頂点の振幅などが用いられ、その事象関連電位を取得するための起点を示すトリガ２２が必要になる。トリガ２２は、どの時間にどのイベントが発生したかの情報を含む。ステップＳ４１で取得した脳波には、複数のイベントに対する複数のトリガ２２が含まれている。
【００６４】
ここで、「Ｐ３００」とは、ある事象を起点とした２００ミリ秒から４００ミリ秒における脳波信号において、陽性（正の方向）に振幅のピークを有する事象関連電位をいう。陽性に振幅のピークとは、極大値を含む。
【００６５】
ステップＳ４３では、注意量測定部４が、波形の切り出しを行う。ステップＳ４２で抽出されたトリガ２２のタイミングを用いて、そのタイミングから例えば−２００ミリ秒から６００ミリ秒などの範囲で脳波データが事象関連電位２３として切り出される。この切り出し範囲は、使用したい事象関連電位の性質等に応じて変更すればよい。ここで、「−２００ミリ秒」とは、トリガ２２のタイミングより２００ミリ秒前の時点を示す。
【００６６】
ステップＳ４４では、注意量測定部４が、ステップＳ４３で切り出された脳波データの振幅を算出する。イベントに対するＰ３００信号を使用する場合では、例えば２００ミリ秒から５００ミリ秒の範囲の中で陽性に最も大きな値をとった場合の電位の値を用いる方法などが考えられる。ある事象に対する注意の量と、振幅の大きさは関係があるとされ、注意の量が大きいほど、振幅も大きくなるとされる（非特許文献１参照）。ここで算出された振幅は、ステップＳ４６での処理のために、いったん注意量測定部４の記録部等に記録される。なお振幅の算出は、波形の加算平均を行った後に求める方法も考えられる。
【００６７】
振幅に基づいて注意量を判定する例としては、例えば前方車のブレーキに対する事象関連電位の振幅が所定の閾値以上の場合（閾値を含む）には、運転に対して集中していると判定できる。一方、例えばカーナビの動作に対する事象関連電位の振幅が大きい場合には、カーナビに対しては注意が向けられたが、その分運転そのものには注意が向けられてなかったと判定を行う。カーナビの事例は、プローブ刺激法（非特許文献１）の考え方にしたがって判定を行ったものである。
【００６８】
ステップＳ４５では、注意量測定部４が、すべてのトリガに対する処理が完了したかが判断される。もしもすべてのトリガに対する処理が完了していれば、ＹＥＳとしてステップＳ４６に進み、まだ完了していない場合にはＮＯとしてステップＳ４２に進む。
【００６９】
ステップＳ４６では、注意量測定部４が、ステップＳ４４にて複数の波形に対する複数の振幅データがそろった時点で、その値の平均２４を算出する。脳波は、各単独試行でのばらつきが大きいので、加算平均をすることで、その安定した波形２４と振幅２５を算出できる。
【００７０】
ステップＳ４７では、注意量測定部４が、ステップＳ４６で算出された振幅の平均値と注意配分量との関連付けを行う。振幅の平均値が大きい場合には注意配分量も大きいと判定される。この判定結果は、注意配分が十分であるか、不十分かの２状態に分離しても良いし、振幅量に応じた注意配分量が得られると考えて、注意配分量を連続値で出力しても良い。
【００７１】
（注意散漫の考え方説明）
ここで、本願発明者らの注意散漫状態の考え方と注意量について図８を用いて説明する。
【００７２】
本願発明では、注意を量として考える。図８（ａ）のように、現在の注意量は円筒に蓄えられた水のように量とする。このとき円筒の容量が、その運転者が持ちうる注意量の最大値になる。そして、蓄えられた水が注意量に相当すると考える。この量は集中度合いや覚醒度によって上下すると考える。
【００７３】
例えば、図８（ａ）の場合には、円筒には７０％の水が入っているため、７０％の注意量があるとする。この数値は注意配分の概念説明のために便宜的に付与した。この注意量がその時の運転者が行う作業に配分されると考えている。図８（ｂ）においては、音楽を聴きながら運転をしている場合、例えば運転に全体の５０％の注意が配分され、音楽に２０％の注意が配分されていると考えられる。この配分であれば、運転者は音楽を楽しみながら安全運転が遂行できている。
【００７４】
この考え方において、安全運転が遂行できない状況は２通りある。図８（ｃ）は眠気が強くなった場合の注意配分を示しており、覚醒度が低下して注意量自体が低下したために、安全運転に必要な注意量（５０％）が確保されずに注意喚起が必要な状況である。一方、図８（ｄ）では注意量は十分にあるが、電話応対に注意が多く（５０％）取られ、運転への配分が十分でなくなった場合である。この場合を本願明細書においては注意散漫状態と呼ぶ。この場合、眠気はないので図８（ｃ）とは別の注意喚起方法が必要になる。
【００７５】
（これまでの実験例）
この考えに基づき、本願発明者らが実施した運転に対する注意量の計測実験を２つ示す。一つ目は事象関連電位によるもので、もう一つは眼球停留関連電位を使用した場合である。
【００７６】
（事象関連電位による注意量の推定実験）
まず事象関連電位に基づく注意量推定の実験を説明する。この実験によって、本願発明者らは事象関連電位によって注意量が計測できること、特に周辺視野領域に発生する刺激に対しての事象関連電位の振幅が大きいことを見出した。以下にその実験の詳細を述べる。
【００７７】
被験者は男性１名、女性３名の合計４名で、平均年齢は２１±１．５歳である。図９を用いて実験内容を説明する。被験者に２つの課題を並行して実施してもらう二重課題法による実験を行った。第１の課題は、図９の７１に示した画面中央に呈示される記号（○／△／□／×）の切り替わり回数を頭の中で数える課題である。第２の課題は、図９の７２に示した周辺のランプがランダムな順番で点滅され、被験者はその点滅に気が付いた時点で手元のボタンを押す課題である。なお被験者には視線を常に画面中央に向けているように教示した。このように画面中央と周辺の２つの課題を同時に行わせることで、画面中央に注意を向けさせつつ、その周辺にもどの程度注意が向けられるかを調べることができる。周辺視野を被験者に呈示できるようにするために、２０インチのディスプレイを３台横に並べ、被験者と画面との距離は６０ｃｍとした。本実験は、車両運転環境を模擬したものではないが、注視点を監視しつつ、その周辺の変化に如何に早く気づき得るかを調べるための抽象化した実験として捉えることができる。
【００７８】
また、被験者は脳波計（ティアック製、ポリメイトＡＰ−１１２４）を装着し、電極の配置は国際１０−２０電極法を用い、導出電極をＰｚ（正中頭頂）、基準電極をＡ１（右耳朶）、接地電極を前額部とした。サンプリング周波数２００Ｈｚ、時定数３秒で計測した脳波データに対して１〜６Ｈｚのバンドパスフィルタ処理をかけ、周辺ランプ点滅時を起点に−１００ミリ秒から６００ミリ秒の脳波データを切り出し、−１００ミリ秒から０ミリ秒の平均電位でベースライン補正を行った。
【００７９】
図１０に上記の処理を行った後の、以下に述べる２つの条件ごとの脳波データの全被験者の加算平均波形を示す。
【００８０】
第１の条件は視野領域である。本実験では、図９に示すように、視角（被験者の眼の位置と画面中央の注視点までを結んだ線と、被験者の眼の位置と点滅ランプまでを結んだ線とが交差する角度）が０度以上１０度未満を領域１とし、１０度以上２０度未満を領域２とし、２０度以上を領域３として分類した。
【００８１】
第２の条件は被験者のボタン押し反応時間である。本実験では注意量の大小を実験条件として分類するために、ボタン押しまでの反応時間を用いた。生理心理の実験においては、反応時間は注意量を反映するとされている。
【００８２】
本実験ではボタン押し反応時間を注意量の指標とした際の脳波との関係について分析した。本実験における全ての反応時間を俯瞰したところ４００ミリ秒〜６００ミリ秒の間に非常に多くのサンプルが存在していた。そのため、６００ミリ秒以内に反応できた場合を反応時間が速い、すなわち当該刺激に対して高い注意状態にあったとし、６００ミリ秒以内に反応できなかった場合を反応時間が遅い、すなわち当該刺激に対して低い注意状態にあったとして分類した。図１０の各々のグラフは横軸がランプ点滅時を０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。また、各グラフ内で表記された数字（Ｎ）は各々の加算回数を表している。
【００８３】
図１０から、反応時間が速い場合、すなわち注意量が大きい場合（図１０の（ａ）〜（ｃ））は、視野領域に関わらず、潜時３００ミリ秒から５００ミリ秒の間の陽性成分であるＰ３００の振幅が大きくなっていることが分かる。図１０の（ａ）〜（ｃ）におけるＰ３００の最大振幅（８１（ａ）〜（ｃ））はそれぞれ２０．３μＶ、１９．６μＶ、２０．９μＶである。一方、反応時間が遅い場合、すなわち注意量が小さい場合（図１０の（ｄ）〜（ｆ））は、Ｐ３００の振幅が相対的に小さくなっている。特に、視覚２０度以上である領域３（一般的に周辺視野とされている領域）で且つ注意量が小さい場合（図１０の（ｆ））に、Ｐ３００の振幅が大幅に減少していることが分かる。図１０の（ｄ）〜（ｆ）におけるＰ３００の最大振幅（８１（ｄ）〜（ｆ））はそれぞれ１３．６μＶ、１３．２μＶ、２．５μＶである。
【００８４】
図１０の各々の条件におけるＰ３００最大振幅を図１１に示す。横軸は視野領域の領域１／領域２／領域３であり、縦軸は電位で単位はμＶである。実線は注意量が大きい場合、点線は注意量が小さい場合を表している。各視野領域における、注意量が大小のときの振幅差（９１（ａ）〜（ｃ））はそれぞれ６．７μＶ、６．４μＶ、１８．４μＶである。図１１からも領域によらずＰ３００の最大振幅には注意状態によって差が見られること、中でも視覚２０度以上である領域３（周辺視野領域）で差が大きいことがわかる。
【００８５】
（眼球停留関連電位による注意量の推定実験）
次に、眼球停留関連電位による注意量推定における生体信号計測部３および注意量推定４の構成と本願発明者らが行った実験結果について示す。
【００８６】
「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時点、すなわち眼球停留の開始時点に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、眼球の停留時点より約１００ミリ秒付近に後頭部で有意に出現する正の成分を「ラムダ反応」といい、視対象に対する注意集中度によって変動することが知られている。
【００８７】
図１２を用いて、眼球停留関連電位計測のための構成について説明する。眼球停留関連電位を用いる場合の運転支援装置の基本的な構成は図１に示した構成と同じであり、眼球停留関連電位の処理の特徴が現れる部分のみ生体信号検出部３ａと注意量推定部４ａとして説明する。
【００８８】
図１２において生体信号検出部３ａは、脳波計測と眼電計測の両方を担当する。眼球停留関連電位はサッケード後の眼球停留を起点とした事象関連電位の計測なので、運転者７には、あらかじめ脳波計測用の電極３０１と眼電計測用の電極３０３が装着される。眼球停留関連電位では後頭部に信号が現れるとされ、脳波計測用の電極３０１は、国際１０−２０法でＯｚと言われる位置（後頭部）の周辺に設置される。眼電に関してはＥＯＧ（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）法に基づいて計測する。「ＥＯＧ法」とは、眼球の角膜が網膜に対して正に帯電する性質を利用して、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。したがって眼電計測用の電極３０３は、眼電位を計測可能な目の周囲に設置される。具体的には、左右の変化を捉えるために両こめかみ、上下の変化を捉えるためにどちらかの目を挟み込むように上下に設置される。
【００８９】
次に、脳波用電極３０１を介して脳波計測部３０２にて脳波が、眼電用電極３０３を介して眼電計測部３０４にて眼電が計測される。脳波も眼電もその大きさは異なるものの微弱な電位差を計測するものであり、発明者らが使用している脳波計（ティアック製、ポリメイトＡＰ−１１２４）を含めて、脳波計の持つゲイン調整機能により、１台の生体アンプで脳波と眼電を同時に計測することが可能である。
【００９０】
サッケード検出部４０２では、眼電計測部３０４で計測された眼電情報を受けて、サッケードを検出し、サッケードの終了タイミングを算出し、事象関連電位検出部４０２に送る。
【００９１】
サッケードとは、眼球のすばやい動きのことで従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０〜７０ミリ秒で、サッケードの速度は視角で表すと３００〜５００度（ｄｅｇｒｅｅｓ）／秒であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０〜７０ミリ秒）連続して同じであり、かつ当該所定時間の平均角速度が３００度（ｄｅｇｒｅｅｓ）／秒以上である眼球運動をサッケードとして検出することができる。
【００９２】
サッケードの検出方法には、最初に水平および垂直方向のそれぞれのサッケードを検出し、その後で水平および垂直方向のサッケードで時区間が重複しているサッケードを１つに統合する方法を用いることができる。また、また最初に水平眼球運動データおよび垂直眼球運動データを合成して得られたベクトルデータを計算してから当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
【００９３】
事象関連電位抽出部４０１では、脳波計測部３０２から脳波データを、サッケード抽出部４０２からサッケード終了時点の情報を受けて、サッケード終了時を起点とした事象関連電位を抽出する。
【００９４】
この処理について図１３のフローチャートおよび図１４の処理例を用いて説明する。
【００９５】
ステップＳ７１では、眼電計測部３０４にて眼球運動データ８１の読み出しを行う。
【００９６】
ステップＳ７２では、サッケード抽出部４０２にて眼球停留開始時点を抽出する。
【００９７】
ステップＳ７３では、脳波計測部３０２にて、脳波データ８２の読み出しを行う。
【００９８】
ステップＳ７４では、事象関連電位抽出部４０１にて、脳波データの切り出しを行う。具体的にはステップＳ７２で抽出した眼球停留開始時点を起点とし、起点より例えば−３００ｍｓ〜６００ｍｓの事象関連電位を抽出し、最終判定で加算を行うために保存しておく。
【００９９】
ステップＳ７５では、ラムダ反応注意推定部４０３にて、ラムダ反応振幅値を算出する。これは判定対象時区間に得られた複数の事象関連電位を加算平均し、その加算平均波形に対するラムダ反応振幅値を算出するものである。図１４に、判定対象時区間８３（ａ）〜（ｄ）の例を示す。判定対象時区間は現在時刻Ｔａから過去ＴＷ（秒）遡った範囲とし、更にＴＳ（秒）後に再度このステップＳ７２が実行される場合には現在時刻Ｔｂ（＝Ｔａ＋ＴＳ）から過去ＴＷ（秒）遡った範囲とする。このように時間経過に応じて判定対象時区間を移動させることによって、その時々の運転注意状態を判定することができる。
【０１００】
図１５は、本願発明者らが実験により取得した眼球停留関連電位の波形例である。これは後頭部で計測された全被験者１２名分の各波形を加算平均した波形で、グラフにおいて、横軸は眼球停留の開始時点を０ミリ秒とした時間（潜時）を示しており、単位はミリ秒である。また、縦軸は電位（ＥＥＲＰの振幅）を示しており、単位はμＶ、下向きが正である。実線は運転に集中している状態の眼球停留関連電位を示し、点線は運転に注意が向けられていない状態（すなわち注意散漫状態）の眼球停留関連電位を示している。
【０１０１】
図１５のグラフによれば、眼球停留開始時より約１００ミリ秒付近に出現する正の成分（ラムダ反応）は、運転集中時にその振幅が３．４μＶと大きく、注意散漫時に１．２μＶと小さくなっており、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。
【０１０２】
（実験結果のまとめ）
以上で本願発明者らが実施した実験結果で示したように、運転に対する注意量は脳波計測によって推定可能であることが明らかになった。
【０１０３】
（情報決定部５の説明）
次に、情報決定部５の処理を図１６のフローチャートと図１７の情報呈示の制御の例を用いて説明する。
【０１０４】
ステップＳ５１では、情報決定部５が、注意物体検出部２より注意物体の情報を取得する。例えば、注意物体の情報として、複数の注意物体が記録されている注意物体のリストを取得する。図４の状況では、図５に示すリストが注意物体のリストとして取得される。
【０１０５】
ステップＳ５２では、情報決定部５が、注意量推定部４より現在の運転者７の注意状態を取得する。注意状態とは、運転者７が運転という行為に対して注意散漫かどうかの評価結果である。
【０１０６】
ステップＳ５３では、情報決定部５が、ステップＳ５２で得られた運転に対する評価結果が注意散漫かどうか判定する。注意散漫であると判定された場合にはＹＥＳとして、ステップＳ５４に進み、注意散漫でないと判定された場合にはＮＯとして、ステップＳ５５に進む。
【０１０７】
ステップＳ５４では、運転者７は多くの注意喚起情報を視認する余分な注意資源がないため、情報決定部５が、運転者に表示する注意物体の個数を減らす。例えば、最大表示個数を３から１に減らす。その後、ステップＳ５６に進む。
【０１０８】
ステップＳ５５では、運転者７は多くの注意喚起情報を視認する注意資源の余裕があるため、情報決定部５が、運転者に表示する注意物体の個数を増やす。例えば、最大表示個数を３から４に増やす。ここで、最大表示個数とは、同時に注意物体を呈示できる個数を示す。
【０１０９】
なお、最大表示個数は必ずしも４個に限るものではなく、運転者の認知能力によって適切に設定されればよい。運転者が一度に情報を認知して保持できる個数は、人の短期記憶の容量と関係があり、一度には５〜９個の情報しか保持できないとされる。このため余裕を持たせる意味でもここでは４個と設定した。また、ステップＳ５４及びステップＳ５５において、表示個数を減らす又は表示個数を多くするとは、所定の表示個数を決めておき、所定の表示個数から減らす又は多くするということも示す。つまり、通常３個の情報を呈示すると決めておき、ステップＳ５３の注意散漫かどうかの判定結果に基づいて、表示個数を減らす又は多くする。
【０１１０】
ステップＳ５６では、情報決定部５が、ステップＳ５１で取得した注意物体のうち、表示する物体を決める。ここで、表示すると決定する物体の個数は、ステップＳ５４又はステップＳ５５で決めた最大表示個数以下の個数である。本実施の形態では、注意物体のリストは、視認すべき順番に並べてあるため、上から順に最大表示個数までの物体を注意喚起物体として決定して、処理を終了する。注意物体のリストに掲載される物体の数が最大表示個数に届かない場合には、注意物体のリストに掲載された全ての物体が注意喚起物体になる。情報決定部５は、決定した呈示する物体の情報を出力部６に送信する。
【０１１１】
なお、上記のフローチャートでは運転者７の注意状態は、散漫か散漫でないかの２状態の場合の説明をしたが、注意量が連続値を取ることも可能である。この場合には、ステップＳ５５では、情報決定部５が記憶している予め定めた事象関連電位の振幅と最大表示個数（運転者に呈示する注意物体の最大個数）との関係を参照して、注意量に対応した表示個数を設定すればよい。例えば、事象関連電位の振幅に対応して、注意量が０〜１．０の間で求められた場合には、注意量の１０倍を最大表示個数に設定するなどである。こうすると、運転者７の注意量に応じて、最大表示個数は０〜１０の間で変化することになる。予め定めた事象関連電位の振幅と最大表示個数との関係とは、事象関連電位の振幅毎に最大表示個数と対応させたテーブル、又は注意量の１０倍を最大表示個数とする規則などである。
【０１１２】
なお、本発明の対象にしている注意物体は、危険が差し迫っているような物体は含まないことを想定している。それは、前方車との車間距離がとても近い場合等の危険が想定される状況では、注意喚起の情報呈示よりも、より強力な安全運転支援手段が必要と考えられる。このように危険度が高い場合には、危険であることを注意喚起ではなく、警告として表示したり、事故に至る直前では、シートベルトを事前にロックしたり、ブレーキの効きを良くする等のより積極的な支援が必要になる。
【０１１３】
図１７を用いて、情報呈示個数の違う場合の例を示す。図１７には、注意物体検出部２によって作成された注意物体のリストを示す。このリストは、ドライバに情報を呈示したい順番に優先度付けが既になされているとする。例えば、図４の状況において前方で接触の可能性の高いものから順位付けをしてあると考えてよい。
【０１１４】
ここで集中時には、運転以外にも安全運転支援システムが提供する情報を視認する余裕があるために、この場合には４個の情報が提供可能と判断されて、上位から４つの情報が呈示され、反対に注意散漫時には、運転そのものに配分される情報が少なく、新しい情報を視認する余裕が少ないと判断されて、注意喚起を行う物体は１つとなる。
【０１１５】
（出力部６の説明）
出力部６では、情報決定部５で算出された、注意喚起物体を表示する。表示方法としては、フロントガラスをスクリーンとして、物体体が存在する位置に枠を重畳して表示する方法や、カーナビ等の画面に画像センサで取得した画像を表示した上に、物体の上に枠をつけるなどの方法がありえる。
【０１１６】
以上のような処理によって、脳波信号から運転者の注意状態が分類され、注意散漫度合いに応じた情報呈示の表示内容や表示量の制御ができるため、運転者に必要以上の情報を呈示しないことで運転の妨げをせず、安全運転に集中できる。
【０１１７】
なお、入力部１の周辺状況監視のセンサは、車両本体に必ずしも設置される必要はない。例えば、交差点においては信号機等に周辺を監視する画像センサや車両センサの設置も可能で、この場合には信号機に設置されたセンサの情報を通信によって受信する方法もある。
【０１１８】
なお、従来の安全運転支援システムのうち、緊急度が高い状況や物体を検出して表示する安全運転支援システムとは共存が可能である。本発明の対象とする注意物体とは、運転者７が把握しておくことが望ましい車両周辺の道路上や歩道に存在する他の車両やバイク、歩行者や自転車、信号機の状態や交通標識のことであり、緊急度が高い物体に関する情報呈示とは異なるためである。緊急度が高い物体に対しては、注意喚起というレベルよりもよい緊急度が高い警告としての情報呈示が有効である。例えば、輝度を上げる、警告音と同時に呈示する等の強調表示である。この場合には、本発明の注意喚起システムの動作の優先順位は低いとして、動作を止めればよい。
【０１１９】
なお、表示方法において注意散漫の場合には、注意喚起物体を少なくした上で、その注意喚起の刺激強度を高くする方法もある。例えば、注意喚起の物体を枠表示する場合の枠の輝度や色彩をより目立つものに変更するなどである。こうすることで、注意喚起の個数は少ないまま確実に視認してもらえる効果がある。また、刺激の強度を高めることで、注意喚起物体の情報の伝達が確実になるだけでなく、覚醒レベルを高める効果がある。覚醒レベルが高まると、注意資源そのものが高まる可能性があり、安全運転が可能になる。
【０１２０】
（実施の形態２）
本実施の形態２では、脳波の事象関連電位を用いてどの物体に、どの程度注意が配分されているかを判定することで、より正確な注意喚起のための物体を選定する。
【０１２１】
図１８は、本発明の実施の形態２における運転支援装置の構成図である。図１８は図１を変形したものであり、図１と同じブロックについては同一の参照符号を付し、その説明は省略する。実施の形態１と異なるブロックは注意量推定部４ｂ、情報決定部５ｂ、及び出力部６ｂである。以下、これらのブロックの詳細動作を中心に説明する。
【０１２２】
出力部６ｂは、映像や画像を呈示するディスプレイや音声情報を呈示するスピーカによって構成される。出力部６ｂは、注意喚起情報として、画像情報や音声情報を運転者に呈示する。例えば、注意喚起情報の物体の周囲に枠を表示したり、注意喚起情報の物体を点滅させることにより、画像情報として注意喚起情報を呈示する。また、注意喚起情報の物体の名称と場所とをスピーカにより呈示することにより、音声情報として注意喚起情報を呈示する。
【０１２３】
図１の出力部６と異なる点は、出力部６ｂは、注意喚起情報として、物体を一つずつ呈示することである。また、出力部６ｂは、注意喚起情報を呈示した時刻を、注意量推定部４ｂに伝達する。
【０１２４】
注意量推定部４ｂは、図１の注意量推定部４と同様に注意状態の推定を行う。注意量推定部４ｂでは、車両周辺の注意喚起物体ごとの事象関連電位に基づき、注意量の評価を行う。
【０１２５】
注意量推定部４ｂは、出力部６ｂから、注意喚起を行った注意喚起物体とその注意喚起を行った時刻の情報が得られる。よって、注意喚起を行った時刻を起点とした事象関連電位の抽出が可能になる。すでに実験結果を説明したように、事象関連電位の反応によって注意状態が判定できるため、この事象関連電位の振幅によってそれぞれの注意量が推定できる。
【０１２６】
情報決定部５ｂでは、注意量推定部４ｂで推定された注意喚起物体ごとの注意量にしたがって、注意量が低いものから順に再度注意喚起を行う。
【０１２７】
このような構成で処理される運転支援装置の全体のフローチャートについて図１９を用いて説明する。図１９は図２の一部を修正したものであり、図２と同じ処理のステップについては同一の参照符号を付し、その詳細な説明を省略する。また、データ表現の例として図２０も併用する。
【０１２８】
ステップＳ１０では、センサ等により車両の周辺状況の情報を取得する。
【０１２９】
ステップＳ２０では、車両の周辺状況の情報から、注意物体のリストを作成する。これは、図２０では自転車や歩行者等７つの注意物体のリストが作成されている。
【０１３０】
ステップＳ３０では、脳波を計測する。この場合には、出力部からの注意喚起出力を起点とした事象関連電位を計測する。
【０１３１】
ステップＳ４０ａは、注意量推定部４ｂにて、注意量を推定する。事象関連電位の振幅が所定の閾値以上の場合（閾値を含む）、対応する注意喚起物体に対して注意が十分に配分されていると判定する。また、事象関連電位の振幅が小さい場合、対応する注意喚起物体に対して注意が十分ではないと判定する。
【０１３２】
図２０の例では、注意喚起物体に対する最初の注意喚起物体に対する事象関連電位の振幅が列３１に示されている。値は説明のために仮想的に設定したものである。数値がなく「未計測」と表示されている部分はまだ注意喚起が行われていない物体である。事象関連電位の振幅は様々な値をとりうるため、例えば、図１１の実験結果等を踏まえると閾値を１５μＶに設定するとその上下で、注意量の大小が判定できることになる。この基準で判定したのが、推定された注意状態の列３２で１５μＶ以上のところは集中していると判定される。
【０１３３】
また、列３２でＩＤ１１の自転車に対しては、０．６μＶの振幅が確認されている。これは集中状態と判定されておらず、運転者７は注意喚起情報を正しく認識しなかった可能性がある。このため、列３３において注意喚起表示が必要と判定され、「○」がつけられている。
【０１３４】
ステップＳ５０ａで、情報決定部５が、注意喚起を行う物体を決定する。図２０の列３３を参照し、ＩＤ１１の自転車やＩＤ１３の車の陰のバイク等に対する喚起が必要であると決定する。例えば、喚起が必要であると決定した物体のうち、予め定められた最大表示個数以下の物体を呈示すると決定する。
【０１３５】
ステップＳ６０ａで、決定した物体を運転者に提示することによって、注意喚起表示を行う。事象関連電位の抽出のために、物体を提示した時刻（タイミング）を、注意量推定部４ｂに送る。
【０１３６】
このような処理によって、注意喚起物体ごとの注意量を算出して、注意喚起の必要性の有無を決定できる。
【０１３７】
なお、ステップＳ５０ａにおいて、注意物体リストのうち集中していると推定された注意物体の数が、所定の数以上（閾値を含む）の場合には、最大表示個数を増やすことができる。そして、増やした最大表示個数に応じて、注意喚起を行う物体を決定する。一方、注意物体リストのうち集中していると推定された注意物体の数が、所定の数より少ない場合には、最大表示個数を減らし、その最大表示個数に対応する注意喚起を行う物体を決定する。
【０１３８】
また、注意物体リストのうち集中していないと推定された注意物体の数が、最大表示個数よりも大きい場合には、例えば、左右４５度以内、かつ３０ｍ以内に存在する集中していないと推定された全ての注意物体を呈示することができる。呈示の方法としては、注意物体ごとに枠で囲んで呈示しても良いが、左右４５度以内、かつ３０ｍ以内の範囲全体を枠で囲んで呈示する。
【０１３９】
注意物体リストのうち集中していないと推定された注意物体の数が多くなる場所として、注意物体の数が非常に多い交差点や交通量の多い場所等が考えられる。このような運転者が注意すべき物体が多く、又はその注意すべき物体が時々刻々変化していく。したがって、制限した範囲の注意物体を呈示することによって、運転の集中を妨げず、安全運転に必要最小限の部分を呈示することができる。
【０１４０】
以上のように本実施の形態２によれば、注意物体に対する注意喚起表示に対する事象関連電位の分析により、注意物体ごとの運転者７の視認状況が把握できるために、運転者７がまだ視認していない注意物体にのみ注意喚起の情報が提供できるので、運転の妨げをせず、安全運転に集中できる。
【０１４１】
なお、本実施の形態２の注意量推定部４ｂでは、各物体に対する注意喚起表示１回に対する事象関連電位に対して注意散漫判定を行った例について説明した。脳波はノイズ成分を含むため、より正確に判定を行いたい場合には、同一物体に対して複数回の注意喚起表示を行いその事象関連電位を加算平均した後に、判定を行ってもよい。この場合、各物体に対する注意状態の判定に要する時間は延びるため、アプリケーションによって、加算回数は調節すると良い。
【０１４２】
なお、実施の形態に対しては、注意喚起出力をトリガとした事象関連電位を用いて注意喚起物体ごとの注意量の推定を行ったが、トリガは注意喚起出力には限定されない。
【０１４３】
なお、事象関連電位の振幅の大小で注意量が判定できるとしたが、事象関連電位の振幅は注意量のみに影響を受けるわけではない。注意喚起物体に対する注意喚起を初めて見た場合には、その事象関連電位の振幅は大きいことが想定されるが、同一物体に対する２回目の注意喚起に対する振幅は、１回目よりも小さいことが想定されるので、その減少分も想定した判定が必要である。
【０１４４】
なお、事象関連電位の振幅の大小で注意量が判定できるとしたが、事象関連電位の振幅が小さいときには注意が散漫になっている場合以外にも、見落としていて注意喚起刺激を受けていない場合も考えられる。このどちらの場合も、再度注意喚起が必要な状況であることには代わりがないので、情報決定部５ｂで注意喚起をする決定を行えばよい。
【産業上の利用可能性】
【０１４５】
本発明にかかる運転支援装置は、安全運転を行うための情報呈示が必要な分野で幅広く利用可能であり、一般車両の運転者だけでなく、業務用車両を運転する運転者、たとえばトラックやタクシーやバスの運転者、車でなくても、電車や飛行機や船舶の操縦者、工場等のプラントの監視者等、運転や操作等の安全に運転を行うための大量の情報を選別する必要がある場合に利用可能である。
【符号の説明】
【０１４６】
１ 入力部
２ 注意物体検出部
３ 生体信号検出部
４ 注意量推定部
５ 情報決定部
６ 出力部
７ 運転者
１１ 自転車
１２ 歩行者
１３ バイク
１４ 歩行者
１５ 対向車
１６ 歩行者用信号機
１７ 信号機
２１ 脳波波形
２２ トリガ
２３ 事象関連電位
２４ 加算平均後の波形
２５ 事象関連電位の振幅
【特許請求の範囲】
【請求項１】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、
前記決定した注意喚起物体を、前記運転者に呈示する出力部と
を備えた運転支援装置。
【請求項２】
前記情報決定部は、予め定めた事象関連電位の振幅と運転者に呈示する注意物体の最大個数との関係を記憶しており、
前記関係を参照して、前記注意量推定部が推定した注意量に対応する運転者に呈示する注意物体の最大個数を決定し、前記最大個数以下の注意物体を運転者に呈示する注意喚起物体と決定する
請求項１に記載の運転支援装置。
【請求項３】
前記注意量推定部は、事象関連電位の振幅が所定の基準より小さい場合に、運転に対する注意が散漫になっていると判定する、
請求項１に記載の運転支援装置。
【請求項４】
前記注意量推定部は、運転者の周辺視野の物体に対する事象関連電位の振幅を利用する、
請求項１に記載の運転支援装置。
【請求項５】
前記注意量推定部は、運転者の眼球運動に連動した事象関連電位の振幅を利用する、
請求項１に記載の運転支援装置。
【請求項６】
前記情報決定部は、前記注意量推定部で前記運転者が注意散漫であると判定された場合に、前記出力部から出力する注意喚起物体の個数を減らす、
請求項１に記載の運転支援装置。
【請求項７】
前記注意物体検出部は、前記車両と前記注意物体との接触危険度を算出し、前記危険度の順番に並べられたリストを作成する、
請求項１に記載の運転支援装置。
【請求項８】
前記情報決定部は、前記危険度の順番に並べられたリストのうち、所定の値以上の危険度を有する注意物体がある場合には、注意喚起ではなく警告を行う、
請求項７に記載の運転支援装置。
【請求項９】
前記注意物体検出部は、さらに、前記注意物体が前記車両に接近しているか否かの情報及び前記注意物体の位置情報を検出し、
前記前記車両と前記注意物体との接触危険度は、前記注意物体が前記車両に接近しているか否かの情報及び前記注意物体の位置情報に基づいて、算出される
請求項７に記載の運転支援装置。
【請求項１０】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量を参照して、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数に対応する個数の前記運転者に呈示する注意物体として決定する情報決定部と、
を備え、
前記情報決定部は、前記決定した注意物体を、前記運転者に呈示する出力部に送信する
運転支援装置。
【請求項１１】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力部と、
前記車両の運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定部と
を備え、
前記出力部は、前記情報決定部が決定した注意喚起物を、前記運転者に呈示する
運転支援装置。
【請求項１２】
前記注意量推定部は、前記出力部が注意物体を１つずつ呈示した時点を起点とした事象関連電位の振幅から、それぞれの注意物体毎に、前記運転者の注意配分量を推定する
請求項１１に記載の運転支援装置。
【請求項１３】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
生体信号検出部が計測した前記車両の運転者の脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、
前記決定した注意喚起物体を、前記運転者に呈示する出力部と
を備えた運転支援装置。
【請求項１４】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力部と、
生体信号検出部が計測した前記脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定部と
を備え、
前記出力部は、前記情報決定部が決定した注意喚起物を、前記運転者に呈示する
運転支援装置。
【請求項１５】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、
前記車両の運転者の脳波信号を計測する生体信号ステップと、
前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、
前記決定した注意喚起物体を、前記運転者に呈示する出力ステップと
を有する運転支援方法。
【請求項１６】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出ステップと、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定ステップと
前記情報決定ステップで決定した注意喚起物を、前記運転者に呈示する呈示ステップと
を有する運転支援方法。
【請求項１７】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで計測した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、
前記決定した注意喚起物体を、前記運転者に呈示する出力ステップと
をコンピュータに実行させるためのプログラム。
【請求項１８】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出ステップと、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで計測した脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定ステップと
前記情報決定ステップで決定した注意喚起物を、前記運転者に呈示する呈示ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、
前記決定した注意喚起物体を、前記運転者に呈示する出力部と
を備えた運転支援装置。
【請求項２】
前記情報決定部は、予め定めた事象関連電位の振幅と運転者に呈示する注意物体の最大個数との関係を記憶しており、
前記関係を参照して、前記注意量推定部が推定した注意量に対応する運転者に呈示する注意物体の最大個数を決定し、前記最大個数以下の注意物体を運転者に呈示する注意喚起物体と決定する
請求項１に記載の運転支援装置。
【請求項３】
前記注意量推定部は、事象関連電位の振幅が所定の基準より小さい場合に、運転に対する注意が散漫になっていると判定する、
請求項１に記載の運転支援装置。
【請求項４】
前記注意量推定部は、運転者の周辺視野の物体に対する事象関連電位の振幅を利用する、
請求項１に記載の運転支援装置。
【請求項５】
前記注意量推定部は、運転者の眼球運動に連動した事象関連電位の振幅を利用する、
請求項１に記載の運転支援装置。
【請求項６】
前記情報決定部は、前記注意量推定部で前記運転者が注意散漫であると判定された場合に、前記出力部から出力する注意喚起物体の個数を減らす、
請求項１に記載の運転支援装置。
【請求項７】
前記注意物体検出部は、前記車両と前記注意物体との接触危険度を算出し、前記危険度の順番に並べられたリストを作成する、
請求項１に記載の運転支援装置。
【請求項８】
前記情報決定部は、前記危険度の順番に並べられたリストのうち、所定の値以上の危険度を有する注意物体がある場合には、注意喚起ではなく警告を行う、
請求項７に記載の運転支援装置。
【請求項９】
前記注意物体検出部は、さらに、前記注意物体が前記車両に接近しているか否かの情報及び前記注意物体の位置情報を検出し、
前記前記車両と前記注意物体との接触危険度は、前記注意物体が前記車両に接近しているか否かの情報及び前記注意物体の位置情報に基づいて、算出される
請求項７に記載の運転支援装置。
【請求項１０】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量を参照して、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数に対応する個数の前記運転者に呈示する注意物体として決定する情報決定部と、
を備え、
前記情報決定部は、前記決定した注意物体を、前記運転者に呈示する出力部に送信する
運転支援装置。
【請求項１１】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力部と、
前記車両の運転者の脳波信号を計測する生体信号検出部と、
前記脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定部と
を備え、
前記出力部は、前記情報決定部が決定した注意喚起物を、前記運転者に呈示する
運転支援装置。
【請求項１２】
前記注意量推定部は、前記出力部が注意物体を１つずつ呈示した時点を起点とした事象関連電位の振幅から、それぞれの注意物体毎に、前記運転者の注意配分量を推定する
請求項１１に記載の運転支援装置。
【請求項１３】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
生体信号検出部が計測した前記車両の運転者の脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定部と、
前記決定した注意喚起物体を、前記運転者に呈示する出力部と
を備えた運転支援装置。
【請求項１４】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出部と、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力部と、
生体信号検出部が計測した前記脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定部と、
前記注意量推定部で推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定部と
を備え、
前記出力部は、前記情報決定部が決定した注意喚起物を、前記運転者に呈示する
運転支援装置。
【請求項１５】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、
前記車両の運転者の脳波信号を計測する生体信号ステップと、
前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、
前記決定した注意喚起物体を、前記運転者に呈示する出力ステップと
を有する運転支援方法。
【請求項１６】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出ステップと、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで検出した脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定ステップと
前記情報決定ステップで決定した注意喚起物を、前記運転者に呈示する呈示ステップと
を有する運転支援方法。
【請求項１７】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで計測した脳波信号の事象関連電位の振幅から、前記運転者の運転に対する注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量から、前記運転者に呈示する注意物体の個数を決定し、前記注意物体検出部で検出された注意物体のうち、前記決定した個数以下の注意物体を前記運転者に呈示する注意喚起物体として決定する情報決定ステップと、
前記決定した注意喚起物体を、前記運転者に呈示する出力ステップと
をコンピュータに実行させるためのプログラム。
【請求項１８】
車両の周囲状況を測定した情報から、前記車両の周辺に存在する物体である注意物体を検出する注意物体検出ステップと、
前記車両の運転者に、前記検出した注意物体を１つずつ呈示する出力ステップと、
前記車両の運転者の脳波信号を計測する生体信号検出ステップと、
前記生体信号検出ステップで計測した脳波信号の事象関連電位の振幅から、前記注意物体毎に、前記運転者の注意配分量を推定する注意量推定ステップと、
前記注意量推定ステップで推定された注意量が所定のより低い注意物体から、前記運転者に呈示する注意喚起物体を決定する情報決定ステップと
前記情報決定ステップで決定した注意喚起物を、前記運転者に呈示する呈示ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−１８０８７３（Ｐ２０１１−１８０８７３Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４５１３１（Ｐ２０１０−４５１３１）
【出願日】平成２２年３月２日（２０１０．３．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月２日（２０１０．３．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]