情報提供装置
【課題】ドライバを取り巻く状況に応じた提供情報の制御が可能な情報提供装置を提供する。
【解決手段】予め用意された注意モデルとその時々で検出される特定情報とに基づいて注意分布を生成することにより、ドライバの注意が向けられている位置（注視点）を確率的に推定し（Ｓ１１０〜Ｓ２３０）、前方画像から抽出された各オブジェクトに対するドライバの注意量を、注意分布に従って設定する（Ｓ２４０）。更に、予め設定されたルールを用いて、特定情報から特定される状況に応じた各オブジェクトの重要度を設定し（Ｓ２５０）、その注意量と重要度とに基づいて、ドライバに対する情報の提供を制御する（Ｓ２６０）。
【解決手段】予め用意された注意モデルとその時々で検出される特定情報とに基づいて注意分布を生成することにより、ドライバの注意が向けられている位置（注視点）を確率的に推定し（Ｓ１１０〜Ｓ２３０）、前方画像から抽出された各オブジェクトに対するドライバの注意量を、注意分布に従って設定する（Ｓ２４０）。更に、予め設定されたルールを用いて、特定情報から特定される状況に応じた各オブジェクトの重要度を設定し（Ｓ２５０）、その注意量と重要度とに基づいて、ドライバに対する情報の提供を制御する（Ｓ２６０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバが認識すべき対象についての情報を提供する情報提供装置に関する。
【背景技術】
【０００２】
従来、車両の前方を撮像した画像等に基づいて、車両周辺の物体を認識し、ドライバに対して、認識すべき物体に関する情報を、表示や音声，振動等によって提供する装置が各種知られている。
【０００３】
この種の装置では、ドライバが必要としない過度な情報は、却って運転の妨げとなるおそれがあるため、必要最小限の情報を提供することが望ましい。
これに対して、画像中のオブジェクトが何であるかの認識のし易さを示す視認性、およびオブジェクトへの気づき易さを示す誘目性を指標として、ドライバが見にくく、気づきにくいオブジェクトについての情報を提供する装置が知られている（例えば、特許文献１参照）。
【０００４】
なお、視認性の算出には、オブジェクトと背景とのコントラストを利用し、コントラストが高いほど視認性が高いと判断し、誘目性の算出には、ドライバの注視点からオブジェクトまでの距離、およびオブジェクトと背景とのコントラストを利用し、距離が近いほど、また、コントラストが高いほど、誘目性が高いと判断している。
【０００５】
また、誘目性を求める手法としては、画像の低次の特徴量（輝度・色・エッジなど）を利用することも研究されている（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３０２１２号公報
【非特許文献】
【０００７】
【非特許文献１】L. Itti and C. Koch, “Computational Modeling of Visual Attention,” Nature Reviews Neuroscience, Vol. 2(3), pp. 194-203, (2001)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、視認性や誘目性の算出には、結局のところ、ドライバの注視点と、画像から一意に決まる情報（従来装置では、画像のコントラストやオブジェクトの位置）しか利用されていない。
【０００９】
しかし、実際の運転において、注意が必要なオブジェクトは、同じ状況であっても、その時のドライバの意図（どのような車両操作を行おうとしているか）等によって様々に変化する。
【００１０】
例えば、図７は、車両の運転席から車両前方を撮像した画像の一例である。この画像に示されたシーン（Ｔ字路の手前）において、ドライバが直進しようとしている時は、自車の進行方向にあるオブジェクト、即ち、先行車（トラック）に関する情報の重要度が高く、自車の進行方向から外れた位置にあるオブジェクト、例えば、対向車に関する情報の重要度は相対的に低い。特に、左折（自車からみれば右折）しようとしている対向車や、その先にいる歩行者に関する情報の重要度は極めて低い。一方、ドライバが右折しようとしている時は、先行車より、対向車に関する情報の重要度の方が相対的に高くなり、左折しようとしている対向車についても、一定の注意を払う必要が生じる。更に、右折先に歩行者が存在すれば、その歩行者に関する情報の重要度も非常に高くなる。
【００１１】
ところが、従来装置では、こういったドライバを取り巻く状況（ドライバの意図を含む）や、その状況に応じて変化するオブジェクトの重要度が考慮されず、ドライバの注視点と画像から一意に決まる情報とで提供内容が決まってしまうため、重要な情報が提供されない可能性があるという問題があった。
【００１２】
また、ドライバの注視点をリアルタイムに検出して利用する従来装置では、ドライバの注視点を計測するための装置を別途用意する必要があり、装置が高価なものとなるという問題もあった。
【００１３】
本発明は、上記問題点を解決するために、ドライバを取り巻く状況に応じた提供情報の制御が可能な情報提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するためになされた本発明の情報提供装置では、画像取得手段が、ドライバの視界に対応する画像を取得し、オブジェクト抽出手段が、画像取得手段が取得した画像からオブジェクトを抽出し、情報提供手段が、オブジェクト抽出手段にて抽出されたオブジェクトに関する情報を提供する。また、運転行動に対するドライバの意図が反映される情報又はドライバの運転行動に影響を与える情報を特定情報として、モデル記憶手段には、特定情報が示す値と画像上でドライバの注意が向いている位置である注視点との関係を示した注意モデルが記憶されている。
【００１５】
そして、情報取得手段が、特定情報を取得すると、注意分布生成手段が、モデル記憶手段に記憶された注意モデルに基づき、情報取得手段にて検出された特定情報から注視点を推定した注意分布を生成する。
【００１６】
この注意分布生成手段にて生成された注意分布に基づき、注意量算出手段が、オブジェクト抽出手段にて抽出されたオブジェクト毎に、該オブジェクトに対するドライバの注意の度合いを表す注意量を求め、情報提供手段は、前記注意量算出手段にて算出された注意量に従って提供する情報を制御する。
【００１７】
なお、ここで言う「提供する情報の制御」には、個々のオブジェクトについて、そのオブジェクトに関する情報提供の要否を判断すること、および情報提供の仕方（画像，音声，振動など）を選択することのうち、少なくとも一方が含まれている。
【００１８】
このように、本発明の情報提供装置によれば、ドライバの意図を示す情報やドライバの運転行動に影響を与える情報が反映された注意分布を用いて提供情報の制御を行うため、その時々の状況に応じた的確な情報提供を実現することができる。
【００１９】
即ち、注意分布は、同じ画像であっても、画像以外に基づく特定情報から特定される状況に応じて異なったものとなり、その状況において、多くのドライバはどこに注意を向けているかを示すもの、換言すれば、その状況において、ドライバの注意はどこに向けられているのかを推定したものとなるためである。
【００２０】
しかも、本発明の情報提供装置によれば、ドライバの注視点を計測する必要がないため、これを計測する従来装置と比較して、簡易で安価な構成であるにも関わらず、より的確な制御を実現することができる。
【００２１】
なお、モデル記憶手段に記憶される注意モデルは、特定情報を一括して一つだけ用意されていてもよいが、特定情報に属する一又は複数の情報で構成された複数種類の生成情報群毎に用意されていてもよい。
【００２２】
この場合、注意分布生成手段は、注意モデル毎に、情報取得手段にて検出された特定情報から注視点を推定した個別分布を生成し、その個別分布を統合することで注意分布を生成すればよい。
【００２３】
この場合、特定情報が全部揃っていなくても、取得可能な特定情報から得られた個別分布によって、注意分布を生成することができるため、車両がどのような特定情報を検出できるかによらず、本発明の情報提供装置を適用することができ、汎用性の高い装置を提供することができる。
【００２４】
なお、特定情報として、例えば、ドライバの操作に関する情報又は車両の挙動を示す情報のうち少なくとも一方を含む車両情報や、ドライバの生体反応に関する情報であるドライバ情報や、車両の走行環境に関する情報である環境情報を用いることが考えられる。
【００２５】
但し、ドライバの操作には、ドライバの意図が反映されているため、ドライバの操作に関する車両情報が、ドライバの意図が反映された情報に相当する。また、車両の挙動に関する車両情報や、環境情報、生体情報がドライバの運転行動に影響を与える情報に相当する。なお、車両の挙動に関する車両情報の一部や生体情報の一部についても、ドライバの意図との相関関係が明らかである場合は、ドライバの意図が反映された情報として扱ってもよい。
【００２６】
また、本発明の情報提供装置において、環境情報の少なくとも一部は、路車間通信又は車車間通信によって取得してもよい。具体的には、渋滞情報や、先行車や対向車の挙動に関する情報等、車両に搭載されている各種センサからは正確に把握できない情報を取得することが考えられる。
【００２７】
ところで、本発明の情報提供装置は、更に、重要度設定手段が、オブジェクト抽出手段にて抽出されたオブジェクトの重要度を、予め設定されたルールに従って設定し、情報提供手段は、注意量に加え、重要度設定手段にて設定された重要度に従って、提供する情報を制御するように構成されていてもよい。
【００２８】
このように構成された本発明の情報提供装置によれば、ドライバの注意が向けられている位置に関する情報だけでなく、オブジェクトの重要度に関する情報も利用できるため、オブジェクトに関する情報の提供を、状況に応じてより的確に制御することができる。
【００２９】
なお、重要度設定手段が重要度の設定に使用するルールには、情報取得手段にて取得される特定情報から特定される状況を条件とするものが少なくとも含まれていることが望ましい。
【００３０】
即ち、オブジェクトの重要度は、状況に応じて変化するものであるため、このように設定された重要度を利用することにより、提供情報の制御をより的確なものとすることができる。
【００３１】
また、重要度設定手段が重要度の設定に使用するルールには、オブジェクト抽出手段にて抽出されたオブジェクトの位置やオブジェクト同士の相関関係を条件とするものが少なくとも含まれていることが望ましい。
【００３２】
つまり、ある種のオブジェクトが同時に存在する場合や、オブジェクト同士が特定の位置関係にある場合など、オブジェクト間の関係性の中で、そのオブジェクトの重要度が変化する場合がある。従って、このような情報を使用することによって、提供情報の制御をより的確なものとすることができる。
【図面の簡単な説明】
【００３３】
【図１】運転支援システムの概要、および車載装置の全体構成を示すブロック図。
【図２】車載装置の制御部が実行する情報提供処理の内容を示すフローチャート。
【図３】注意分布の生成する際の処理のイメージを示した説明図。
【図４】情報を提示するか否か等の判断時に使用する提示制御テーブルの内容を例示した表。
【図５】注意モデルを学習する際に使用する学習用車載装置の構成を示すブロック図。
【図６】本発明の手法による効果を示すグラフ。
【図７】前方画像を例示した図。
【発明を実施するための形態】
【００３４】
以下に本発明の実施形態を図面と共に説明する。
［全体構成］
図１は、本発明が適用された運転支援システム１の概要を示すブロック図である。
【００３５】
図１に示すように、運転支援システム１は、車両に搭載され、ドライバに情報提供することによって運転支援を行う車載装置（情報提供装置）２と、車両の走行環境に関する各種情報をＶＩＣＳの路側機や携帯電話の基地局等を含む無線通信用の通信インフラ３を介して、車両（車載装置２）に提供する情報サーバ４とで構成されている。
【００３６】
そして、車載装置２は、通信インフラ３介した情報サーバ４との無線通信、即ち路車間通信だけでなく、車載装置２同士が直接行う無線通信、即ち車車間通信を行うように構成されている。
【００３７】
なお、路車間通信によって車載装置２が取得する情報には、例えば、渋滞情報、信号の色や待ち時間、天候（トンネルの出口の雨風情報など）、落下物の有無、路面状態、交通規制等の情報等が含まれ、車車間通信によって車載装置２同士が交換する情報には、例えば、車速、加速度、操舵角、およびそれらの情報から予測される車両の運転行動など（即ち、後述する車両情報の一部）が含まれている。
【００３８】
［車載装置］
車載装置２は、車両の挙動，ドライバによる車両操作，各種車載機器の作動状態などを検出するための各種センサからなる車両センサ群２１と、ドライバの身体的変化（生体反応）を検出するための各種センサからなる生体センサ群２２と、車両の周囲の走行環境を検出するための各種センサからなる環境センサ群２３と、ＧＰＳ衛星より送信されるＧＰＳ信号を受信して、車両の位置（緯度，経度）や進行方向を検出するＧＰＳ受信機２４とを備えている。
【００３９】
また、車載装置２は、通信インフラ３を利用した路車間通信、車両同士の車車間通信を行う無線通信部２５と、ドライバに対して、視覚，聴覚，触覚を利用した情報提示を行う情報提示部２６と、車載装置２に対する指令を入力するための各種入力装置からなる指令入力部２７と、地図データが記憶された地図データベース２８と、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等からなる周知のマイクロコンピュータを中心にして構成され、各種処理を実行する制御部２９とを備えている。
【００４０】
［センサ群］
車両センサ群２１の検出対象は、車体の速度，加速度，ヨーレート等の車両の挙動の他、アクセルペダル，ブレーキペダル，ステアリング等の操作量（アクセル開度率，ブレーキＭ／Ｃ圧，操舵角等）や、ウインカ，ワイパ，ヘッドライト，シートベルトの作動状態、走行モードの設定（スポーツモードやオートクルーズ機能がある場合）等である。
【００４１】
生体センサ群２２の検出対象は、視線や顔向き，心拍，血圧，発汗等である。また、 環境センサ群２３は、レーザレーダやミリ波レーダ、車両の前方や後方を撮影する各種カメラ、ソナー等の近距離センサ等からなり、その検出対象は、各種オブジェクト（車両、路側物、歩行者、路面標識を含む各種標識、その他の障害物）との距離や相対速度、オブジェクトの大きさ、画像における画素毎の輝度，色、画像中のエッジ分等である。
【００４２】
なお、これらセンサ群２１〜２３を構成する各センサは車両の各部に配置されており、制御部２９は、図示しない車載ＬＡＮ（ＣＡＮやＬＩＮ）を介して各センサでの検出結果を取得するようにされている。また、センサ群２１〜２３を構成する個々のセンサは、必ずしも全ての車両が全種類を備えている必要はなく、車両毎に部分的に異なっていてもよい。但し、環境センサ群２３のうち、ドライバの視界に対応する画像を取得するために設けられる車両の前方を撮影するカメラは必須であり、以下では、このカメラによって撮影された画像を「前方画像」と称する。
【００４３】
［情報提示部］
情報提示部２６は、各種画像を表示し視覚的に情報を提示するためのディスプレイ、警報音や音声を出力し聴覚的に情報を提示するためのスピーカ、ステアリングやシート等のドライバと接触する位置に埋め込まれ、振動を発生させることにより触覚的に情報を提示するための振動発生器等からなる。
【００４４】
［制御部］
制御部２９は、地図データベース２８に格納された地図データ、ＧＰＳ受信機２４から得られる位置データ等を用い、情報提示部２６を介して、車両位置周辺の地図の表示や設定経路に関する案内表示や音声ガイダンス等を行ういわゆるナビゲーション機能を実現するための処理を実行する。つまり、車載装置２は、基本的には、周知のナビゲーション装置として機能するように構成されている。
【００４５】
また、制御部２９は、センサ群等２１〜２４や無線通信部２５を介して各種情報を取得すると共に、取得した情報を更に加工（画像処理や各種演算，統計処理等を実行）することによって各種情報を生成し、これら取得，生成した各種情報を、ドライバを取り巻く状況を特定するための特定情報として記録する特定情報記録処理を実行する。
【００４６】
ここで、加工することによって得られる情報として、具体的には、それら情報の微分値，積分値，各種平均値の他、生体センサ群２２からの情報等から生成されるドライバの生理的状態（例えば、漫然，集中，脇見，眠気，疲労，焦り）を表す情報や、環境センサ群２３からの情報等から生成される、オブジェクトの位置や種類（例えば、車両，歩行者，標識，落下物，横断歩道，歩道）、オブジェクトが車両である場合に特有な情報（先行車や対向車の有無，車間距離，相対速度，相対加速度）、道路形状（曲率，勾配，交差点）、路面状態、車線数、道路幅、オブジェクトが標識である場合にその内容（制限速度、進入禁止、一方通行）などの情報がある。なお、環境センサ群２３からの情報を加工することによって得られる情報は、無線通信部２５を介して取得する情報と一部重複していてもよい。また、環境情報には、ＧＰＳ受信機２４や地図データベース２８から得られる情報を含めてもよい。
【００４７】
以下では、車両センサ群２１から取得した各種情報、およびそれらの情報を加工することで得られた情報を「車両情報」と称し、生体センサ群２２から取得した各種情報、およびそれらの情報を加工することで得られた情報を「ドライバ情報」と称し、環境センサ群２３（ＧＰＳ受信機２４や地図データベース２８を含む）から取得した各種情報、およびそれらの情報を加工することで得られた情報を「環境情報」と称し、無線通信部２５を介して取得した各種情報を、およびそれらの情報を加工することで得られた情報を「通信情報」と称する。
【００４８】
更に、特定情報（車両情報，ドライバ情報，環境情報，通信情報）のうち、ドライバの操作に関する車両情報を、運転行動に対するドライバの意図が反映された情報であるものとして「意図反映情報」とも称し、それ以外の情報を、ドライバの運転行動に影響を与える情報であるものとして「行動影響情報」とも称する。
【００４９】
更に、制御部２９は、特定情報記録処理によって記録された特定情報に基づき、ドライバの注意が向いている位置を推定し、その推定結果に基づいて、ドライバに対する情報提供を行う情報提供処理を実行する。
【００５０】
また、制御部２９を構成する不揮発性のメモリ（例えば、ＲＯＭ）には、情報提供処理で使用される注意モデルが格納されている。この注意モデルとは、特定情報を、該特定情報に属する一又は複数の情報で構成された複数種類の生成情報群に分割し、その生成情報群毎に、該生成情報群の値とドライバの注意が向く位置（以下「注視点」と称する）との関係を示したものであり、事前の学習によって生成される。
【００５１】
なお、生成情報群は、特定情報の分類（車両情報，環境情報，ドライバ情報，通信情報）を単位としてもよいし、特定情報を関連性の強い情報毎にグループ化したものを単位としてもよいし、個別の特定情報を単位としてもよい。但し、本実施形態では、特定情報の分類毎に注意モデルが用意されている。
【００５２】
また、注意モデルは、具体的には、生成情報群に属する情報を入力として、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０，１の二値によって分類す識別器や、注視点であるか否かを０〜１の間の連続値によって確率的に推定する推定器等によって実現される。
【００５３】
なお、注意モデルの形式（上述の識別器や推定器）は、全ての生成情報群について同じでもよいが、生成情報群毎に異なっていてもよい。
［情報提供処理］
ここで、制御部２９が実行する情報提供処理を、図２に示すフローチャートに沿って説明する。
【００５４】
本処理は、上述した特定情報取得処理が実行される毎、即ち、特定情報がＲＡＭ等に記録される毎に起動する。
本処理が起動すると、Ｓ１１０では、特定情報取得処理により記録された特定情報のうち、環境情報に基づき、前方画像中に存在するオブジェクトを抽出する。なお、抽出対象となるオブジェクトは、例えば、各種車両，歩行者，標識（路面標識を含む）信号機，道路上の障害物等、予め定められたものである。
【００５５】
Ｓ１２０では、Ｓ１１０にてオブジェクトが抽出されたか否かを判断し、オブジェクトが一つも抽出されていなければ、そのまま本処理を終了し、一つでも抽出されていれば、Ｓ１３０に進む。
【００５６】
Ｓ１３０では、抽出したオブジェクトに基づく注意分布を作成する。ここで作成される注意分布は、オブジェクトが存在する位置を示すものであり、オブジェクトが検出された領域の分布値を一律に高く設定してもよいし、オブジェクトの位置，大きさ，種類等によって分布値を変化（例えば、自車両に近いほど高くする等）させてもよい。
【００５７】
続くＳ１４０では、前方画像の画像情報（輝度、色、エッジ）に基づく注意分布を作成する。ここで作成される注意分布は、ドライバが注意を向け易い位置を示すものであり、予め設定された規則に従って、画素毎に画像情報に応じた分布値を設定することで生成する。つまり、Ｓ１３０およびＳ１４０で作成される注意分布は、注意モデルを用いることなく、画像から得られる情報のみを用いて作成される。但し、オブジェクトに基づく注意分布については、オブジェクトの位置，大きさ，色等を入力とする注意モデルを用いて生成してもよい。
【００５８】
続くＳ１５０では、特定情報取得処理により記録された特定情報の中に車両情報が存在するか否かを判断し、存在しない場合はそのままＳ１７０に進み、存在する場合はＳ１６０にて、車両情報に基づく注意分布を、学習モデルを用いて算出してＳ１７０に進む。
【００５９】
Ｓ１７０では、特定情報取得処理により記録された特定情報の中に環境情報が存在するか否かを判断し、存在しない場合はそのままＳ１９０に進み、存在する場合はＳ１８０にて、環境情報に基づく注意分布を、学習モデルを用いて算出してＳ１９０に進む。
【００６０】
Ｓ１９０では、特定情報取得処理により記録された特定情報の中にドライバ情報が存在するか否かを判断し、存在しない場合はそのままＳ２１０に進み、存在する場合はＳ２００にて、ドライバ情報に基づく注意分布を、学習モデルを用いて算出してＳ２１０に進む。
【００６１】
Ｓ２１０では、特定情報取得処理により記録された特定情報の中に通信情報が存在するか否かを判断し、存在しない場合はそのままＳ２３０に進み、存在する場合はＳ２２０にて、通信情報に基づく注意分布を、学習モデルを用いて算出してＳ２３０に進む。
【００６２】
なお、車両情報に基づく注意分布の生成（Ｓ１６０）は、車両情報を入力とする学習モデル（識別器または推定器）を用いて、注視点であるか否かの判定、あるいは注視点である確率はどの程度であるかの推定を、その判定や推定の対象となる領域毎に算出することによって行われる。ここでは、各車両情報について注意分布を生成し、生成された注意分布を加算／平均する等して統合する。このため、注意分布を生成する際に用いる車両情報は、注意モデルを生成する際に用いた車両情報が必ずしも全て揃っている必要はなく、車載装置２を搭載する個々の車両において、検出や生成が可能な車両情報だけを用いて車両情報に基づく注意分布を算出すればよい。このことは、環境情報に基づく注意分布の生成（Ｓ１８０）、ドライバ情報に基づく注意分布の生成（Ｓ２００）、通信情報に基づく注意分布の生成（Ｓ２２０）でも同様である。
【００６３】
Ｓ２３０では、先のＳ１３０，Ｓ１４０，Ｓ１６０，Ｓ１８０，Ｓ２００，Ｓ２２０で生成された注意分布（以下では「個別分布」とも称する）を統合する。この場合、全て同じ重みで統合（単純加算や単純平均）してもよいし、個々に重み付けして統合（重み付け加算や重み付け平均）してもよい。以下では、本ステップで生成される注意分布を「統合分布」と称する。
【００６４】
なお、図３は、Ｓ１３０〜Ｓ２３０の処理、即ち、特定情報に基づいて複数の個別分布を生成し、これらを統合することで最終的な統合分布を生成する処理のイメージを示した説明図である。
【００６５】
続く２４０では、Ｓ１１０で抽出されたオブジェクトのそれぞれについて、そのオブジェクトに対してドライバの注意がどの程度向いているかの推定結果を示す注意量を、Ｓ２３０にて求められた統合分布を用いて求める。具体的には、統合分布上でオブジェクトが存在する領域の分布値に従って、注意量を大，中，小のいずれかに設定する。即ち、分布値が第１閾値以上であれば注意量は大、第１閾値より小さな値に設定された第２閾値以下であれば注意量は小、第１閾値より小さく第２閾値より大きければ注意量は中となる。
【００６６】
なお、オブジェクトが存在する領域の分布値としては、その領域に属する全ての分布値の和を用いてもよいし、その領域に属する分布値の平均値を用いてもよい。そして、このように算出された領域の分布値を、予め設定された閾値と比較することで、注意量を設定する。
【００６７】
続くＳ２５０では、Ｓ１１０にて抽出されたオブジェクトのそれぞれについて、予め定められたルールに従って重要度を大，中，小のいずれかに設定する。
ここでのルールは、特定情報から特定される状況やオブジェクトの位置またはオブジェクト同士の相関関係、あるいはそれらの組合せを条件部とするＩＦ−ＴＨＥＮルールが用いられる。
【００６８】
具体的には、例えば、車両情報の一つである「ウインカの状態」が「右折」に設定されていれば（条件部）、画面の右側下方に位置するオブジェクトの重要度を大に設定する（帰結部）というルール、「（信号機や道路標識と推定される）オブジェクトまでの距離」が「所定値」以下であれば（条件部）、そのオブジェクトの重要度を大に設定する（帰結部）というルール、「横断歩道であると推定されるオブジェクト」が存在すれば（条件部）、そのオブジェクト上、および両端部付近に位置する歩行者であると推定されるオブジェクトの重要度を大に設定する（帰結部）というルール等が考えられる。なお、ルールの設定については、相関演算やApriori アルゴリズム等を利用することが考えられる。
【００６９】
続くＳ２６０では、Ｓ２４０で設定されたオブジェクトの注意量、Ｓ２５０で設定されたオブジェクトの重要度に基づき、そのオブジェクトに関する情報をドライバに提供するか否か、および、提示するのであればどのような形式で提示するかを判断し、その判断結果に従って情報提供を行って、本処理を終了する。
【００７０】
ここで、図４は、Ｓ２６０での判定を行う際に用いる提示制御テーブルの内容を示す説明図である。図４中、○印は、情報を提示する、△印はドライバの状態によって提示／非提示を決める、×は提示しないを示すものである。つまり、オブジェクトの重要度が大の場合は、注意量によらず情報を提示し、重要度が中の場合は、注意量が中小であれば、情報を提示し、注意量が大であれば、ドライバの状態によって提示／非提示を決める。更に、重要度が小である場合は、注意量が小であれば情報を提示し、注意量が中であればドライバの状態によって提示／非提示を決め、注意量が大であれば提示しない。
【００７１】
なお、ドライバの状態とは、生体情報や車両情報等から求められる漫然運転度、覚醒度、運転熟練度などであり、例えば、漫然運転度が高いか、覚醒度が低いか、運転熟練度が低い場合には、情報を提示するように制御する。
【００７２】
また、情報の提示の仕方としては、重要度が大であれば触覚（振動），聴覚（音声），視覚（表示）を全て使った提示を行い、重要度が中であれば聴覚（音声），視覚（表示）を使った提示を行い、重要度が小であれば視覚（表示）のみを使った提示を行う。
【００７３】
なお、上述の制御では、重要度で情報の提示の仕方を制御しているが、注意量が大であれば視覚のみを使って提示を行い、注意量が中であれば聴覚，視覚を使った提示を行い、注意量が小であれば触覚，聴覚，視覚の全てを使った提示を行うように制御してもよい。
【００７４】
更に、情報の提示の仕方を、図４中の○印、△印、×印と対応付けて、即ち、重要度と注意量の両方に基づいて制御してもよい。
［注意モデル］
次に、事前に行われる注意モデルの学習について説明する。
【００７５】
なお、注意モデルは、車両において学習してもよいが、本実施形態では、予め学習されたものを用いている。そして、注意モデルを学習する際には、多くのドライバについて収集したデータを利用する。
【００７６】
データの収集には、図５に示すように、上述した車載装置２に、ドライバの視線を検出する視線検出装置３０を加えた学習用車載装置５を搭載した車両、又は学習に必要な情報を収集可能なドライブシミュレータを使用する。但し、学習用車載装置５では、車載装置２とは異なり、情報提供のための構成（情報提示部２６）が省略されていてもよい。
【００７７】
［学習処理］
学習処理では、まず、学習用車載装置を搭載した車両を複数の被験者に運転させるか、複数の被験者にドライブシミュレータを使用させることによって、被験者の注視点（視線検出装置３０での検出結果）と特定情報（車両情報，環境情報，ドライバ情報，通信情報）とを取得する。
【００７８】
そして、特定情報を、該特定情報に属する一又は複数の情報で構成された複数種類の生成情報群に分割し、その生成情報群毎に、該生成情報群の値と注視点との関係を学習する。この学習には、サポートベクターマシン（ＳＶＭ）や混合ガウス分布（ＧＭＭ）などの統計的手法を利用する。
【００７９】
なお、生成情報群は、特定情報の分類（車両情報，環境情報，ドライバ情報，通信情報）を単位としてもよいし、特定情報を関連性の強い情報毎にグループ化したものを単位としてもよいし、個別の特定情報を単位としてもよい。
【００８０】
そして、ＳＶＭを利用した学習では、被験者の注視点を教師データとして、例えば、撮影した前方画像の注視点位置周辺にポジティブフラグを立て、注視点でないところには、ネガティブフラグを立てて、生成情報群に属する情報を入力として、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０，１の二値によって分類する識別器が得られるように学習する。
【００８１】
また、ＧＭＭを利用した学習では、生成情報群に属する情報内容の幾つかについて（例えば、操舵角や自車速等）、それぞれの情報と前方画像における注視点位置の間の関係を表現するＧＭＭを学習する。これらのＧＭＭを更に加算もしくは乗算によって結合することにより、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０〜１の間の連続値によって確率的に推定する推定器を構成する。
【００８２】
［効果］
以上説明したように、車載装置２は、ドライバの注意が向けられている位置（注視点）を、予め用意された注意モデルと、その時々で検出される特定情報とに基づいて生成される注意分布から推定し、その注意分布から前方画像中の各オブジェクトに対するドライバの注意量を算出すると共に、予め設定されたルールを用いて、特定情報から特定される状況に応じた各オブジェクトの重要度を設定し、その注意量と重要度とに基づいて、ドライバに対する情報の提供を制御するようにされている。
【００８３】
なお、注意モデルは、ドライバの意図を示す情報やドライバの運転行動に影響を与える情報が反映されるように作成されている。つまり、注意モデルを用いることで、右左折や直進等のステアリング操作の種類（ドライバの意図が反映された情報）や、車速の高低や信号機の色（ドライバの運転行動に影響を与える情報）によって、異なった注意分布が得られることになる。
【００８４】
従って、車載装置２によれば、その時々の状況（ドライバの意図やドライバの運転行動に影響を与えるオブジェクトの存在等を含む）に応じて、その状況を考慮した的確な情報提供を実現することができる。
【００８５】
しかも、車載装置２によれば、ドライバの注視点を注意モデルと特定情報とから推定するようにされているため、注視点を計測する計測器が必要な従来装置と比較して、簡易で安価な構成であるにも関わらず、より的確な制御を実現することができる。
【００８６】
ここで図６は、（ａ）が上述の学習モデルから生成した注意分布において、分布値（注意レベル）が上位何％に含まれる領域かを示した注意分布パーセント領域と、ドライバの注視点との一致率を測定した結果を表すグラフであり、（ｂ）が学習モデルに基づいて生成した注意分布（統合分布）を、元の前方画像と対比して示したものであり、分布値が高いオブジェクトの上位３個についても丸数字によって明示した。
【００８７】
前方画像としては、図７に示した様な実環境で右左折や直進、追従走行や追い越し等様々な状況を含む一般市街路にて取得した実車データを利用した。また、注意モデルとしては、上述したＧＭＭを利用した推定器を用い、注意モデルに入力する特定情報としては、自車速と操舵角、車両検出結果を用いた。これにより、前述の様々な状況に対応できる注視モデルを構築した。
【００８８】
図６（ａ）中には、比較例として、非特許文献１の手法（従来手法）を用いて、画像の低次の特徴量（輝度・色・エッジなど）から注視点を推定した結果、および、全くランダムに注視点を設定した場合の一致率（チャンスレベル）を併記した。
【００８９】
図からわかるように、従来手法は、チャンスレベルと同程度以下であるのに対して、車載装置２に適用した手法では、実際の視線との一致率が３０％以上高く、ドライバの意図やドライバの運転行動に影響を与えるオブジェクト等の情報を、注意モデルに反映させることによって、注視点の推定精度が格段に改善されることがわかる。
【００９０】
また、車載装置２によれば、複数の注意モデルから注意分布（個別分布）を生成する際に、各種の特定情報を利用するが、必ずしも全ての特定情報が揃っていなくても、個別分布、ひいては統合分布の生成が可能であるため、取得可能な特定情報が異なる様々な車両に適用することができる。
【００９１】
上記実施形態において、環境センサ群２３の中の前方画像を取得するカメラが画像取得手段、Ｓ１１０がオブジェクト抽出手段、情報提示部２６およびＳ２６０が情報提供手段、制御部２９が実行する特定情報記録処理が情報取得手段、制御部２９を構成する不揮発性メモリであって注意モデルが記憶されたものがモデル記憶手段、Ｓ１３０〜Ｓ２３０が注意分布生成手段、Ｓ２４０が注意量算出手段、Ｓ２５０が重要度設定手段に相当する。
【００９２】
以上本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００９３】
例えば、上記実施形態では、オブジェクトの注意量とオブジェクトの重要度とをいずれも用いて提示する情報の制御を行うようにされているが、いずれか一方のみを用いて制御するように構成してもよい。
【符号の説明】
【００９４】
１…運転支援システム ２…車載装置 ３…通信インフラ ４…情報サーバ ５…学習用車載装置 ２１…車両センサ群 ２２…生体センサ群 ２３…環境センサ群 ２４…ＧＰＳ受信機 ２５…無線通信部 ２６…情報提示部 ２７…指令入力部 ２８…地図データベース ２９…制御部 ３０…視線検出装置
【技術分野】
【０００１】
本発明は、ドライバが認識すべき対象についての情報を提供する情報提供装置に関する。
【背景技術】
【０００２】
従来、車両の前方を撮像した画像等に基づいて、車両周辺の物体を認識し、ドライバに対して、認識すべき物体に関する情報を、表示や音声，振動等によって提供する装置が各種知られている。
【０００３】
この種の装置では、ドライバが必要としない過度な情報は、却って運転の妨げとなるおそれがあるため、必要最小限の情報を提供することが望ましい。
これに対して、画像中のオブジェクトが何であるかの認識のし易さを示す視認性、およびオブジェクトへの気づき易さを示す誘目性を指標として、ドライバが見にくく、気づきにくいオブジェクトについての情報を提供する装置が知られている（例えば、特許文献１参照）。
【０００４】
なお、視認性の算出には、オブジェクトと背景とのコントラストを利用し、コントラストが高いほど視認性が高いと判断し、誘目性の算出には、ドライバの注視点からオブジェクトまでの距離、およびオブジェクトと背景とのコントラストを利用し、距離が近いほど、また、コントラストが高いほど、誘目性が高いと判断している。
【０００５】
また、誘目性を求める手法としては、画像の低次の特徴量（輝度・色・エッジなど）を利用することも研究されている（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３０２１２号公報
【非特許文献】
【０００７】
【非特許文献１】L. Itti and C. Koch, “Computational Modeling of Visual Attention,” Nature Reviews Neuroscience, Vol. 2(3), pp. 194-203, (2001)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、視認性や誘目性の算出には、結局のところ、ドライバの注視点と、画像から一意に決まる情報（従来装置では、画像のコントラストやオブジェクトの位置）しか利用されていない。
【０００９】
しかし、実際の運転において、注意が必要なオブジェクトは、同じ状況であっても、その時のドライバの意図（どのような車両操作を行おうとしているか）等によって様々に変化する。
【００１０】
例えば、図７は、車両の運転席から車両前方を撮像した画像の一例である。この画像に示されたシーン（Ｔ字路の手前）において、ドライバが直進しようとしている時は、自車の進行方向にあるオブジェクト、即ち、先行車（トラック）に関する情報の重要度が高く、自車の進行方向から外れた位置にあるオブジェクト、例えば、対向車に関する情報の重要度は相対的に低い。特に、左折（自車からみれば右折）しようとしている対向車や、その先にいる歩行者に関する情報の重要度は極めて低い。一方、ドライバが右折しようとしている時は、先行車より、対向車に関する情報の重要度の方が相対的に高くなり、左折しようとしている対向車についても、一定の注意を払う必要が生じる。更に、右折先に歩行者が存在すれば、その歩行者に関する情報の重要度も非常に高くなる。
【００１１】
ところが、従来装置では、こういったドライバを取り巻く状況（ドライバの意図を含む）や、その状況に応じて変化するオブジェクトの重要度が考慮されず、ドライバの注視点と画像から一意に決まる情報とで提供内容が決まってしまうため、重要な情報が提供されない可能性があるという問題があった。
【００１２】
また、ドライバの注視点をリアルタイムに検出して利用する従来装置では、ドライバの注視点を計測するための装置を別途用意する必要があり、装置が高価なものとなるという問題もあった。
【００１３】
本発明は、上記問題点を解決するために、ドライバを取り巻く状況に応じた提供情報の制御が可能な情報提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するためになされた本発明の情報提供装置では、画像取得手段が、ドライバの視界に対応する画像を取得し、オブジェクト抽出手段が、画像取得手段が取得した画像からオブジェクトを抽出し、情報提供手段が、オブジェクト抽出手段にて抽出されたオブジェクトに関する情報を提供する。また、運転行動に対するドライバの意図が反映される情報又はドライバの運転行動に影響を与える情報を特定情報として、モデル記憶手段には、特定情報が示す値と画像上でドライバの注意が向いている位置である注視点との関係を示した注意モデルが記憶されている。
【００１５】
そして、情報取得手段が、特定情報を取得すると、注意分布生成手段が、モデル記憶手段に記憶された注意モデルに基づき、情報取得手段にて検出された特定情報から注視点を推定した注意分布を生成する。
【００１６】
この注意分布生成手段にて生成された注意分布に基づき、注意量算出手段が、オブジェクト抽出手段にて抽出されたオブジェクト毎に、該オブジェクトに対するドライバの注意の度合いを表す注意量を求め、情報提供手段は、前記注意量算出手段にて算出された注意量に従って提供する情報を制御する。
【００１７】
なお、ここで言う「提供する情報の制御」には、個々のオブジェクトについて、そのオブジェクトに関する情報提供の要否を判断すること、および情報提供の仕方（画像，音声，振動など）を選択することのうち、少なくとも一方が含まれている。
【００１８】
このように、本発明の情報提供装置によれば、ドライバの意図を示す情報やドライバの運転行動に影響を与える情報が反映された注意分布を用いて提供情報の制御を行うため、その時々の状況に応じた的確な情報提供を実現することができる。
【００１９】
即ち、注意分布は、同じ画像であっても、画像以外に基づく特定情報から特定される状況に応じて異なったものとなり、その状況において、多くのドライバはどこに注意を向けているかを示すもの、換言すれば、その状況において、ドライバの注意はどこに向けられているのかを推定したものとなるためである。
【００２０】
しかも、本発明の情報提供装置によれば、ドライバの注視点を計測する必要がないため、これを計測する従来装置と比較して、簡易で安価な構成であるにも関わらず、より的確な制御を実現することができる。
【００２１】
なお、モデル記憶手段に記憶される注意モデルは、特定情報を一括して一つだけ用意されていてもよいが、特定情報に属する一又は複数の情報で構成された複数種類の生成情報群毎に用意されていてもよい。
【００２２】
この場合、注意分布生成手段は、注意モデル毎に、情報取得手段にて検出された特定情報から注視点を推定した個別分布を生成し、その個別分布を統合することで注意分布を生成すればよい。
【００２３】
この場合、特定情報が全部揃っていなくても、取得可能な特定情報から得られた個別分布によって、注意分布を生成することができるため、車両がどのような特定情報を検出できるかによらず、本発明の情報提供装置を適用することができ、汎用性の高い装置を提供することができる。
【００２４】
なお、特定情報として、例えば、ドライバの操作に関する情報又は車両の挙動を示す情報のうち少なくとも一方を含む車両情報や、ドライバの生体反応に関する情報であるドライバ情報や、車両の走行環境に関する情報である環境情報を用いることが考えられる。
【００２５】
但し、ドライバの操作には、ドライバの意図が反映されているため、ドライバの操作に関する車両情報が、ドライバの意図が反映された情報に相当する。また、車両の挙動に関する車両情報や、環境情報、生体情報がドライバの運転行動に影響を与える情報に相当する。なお、車両の挙動に関する車両情報の一部や生体情報の一部についても、ドライバの意図との相関関係が明らかである場合は、ドライバの意図が反映された情報として扱ってもよい。
【００２６】
また、本発明の情報提供装置において、環境情報の少なくとも一部は、路車間通信又は車車間通信によって取得してもよい。具体的には、渋滞情報や、先行車や対向車の挙動に関する情報等、車両に搭載されている各種センサからは正確に把握できない情報を取得することが考えられる。
【００２７】
ところで、本発明の情報提供装置は、更に、重要度設定手段が、オブジェクト抽出手段にて抽出されたオブジェクトの重要度を、予め設定されたルールに従って設定し、情報提供手段は、注意量に加え、重要度設定手段にて設定された重要度に従って、提供する情報を制御するように構成されていてもよい。
【００２８】
このように構成された本発明の情報提供装置によれば、ドライバの注意が向けられている位置に関する情報だけでなく、オブジェクトの重要度に関する情報も利用できるため、オブジェクトに関する情報の提供を、状況に応じてより的確に制御することができる。
【００２９】
なお、重要度設定手段が重要度の設定に使用するルールには、情報取得手段にて取得される特定情報から特定される状況を条件とするものが少なくとも含まれていることが望ましい。
【００３０】
即ち、オブジェクトの重要度は、状況に応じて変化するものであるため、このように設定された重要度を利用することにより、提供情報の制御をより的確なものとすることができる。
【００３１】
また、重要度設定手段が重要度の設定に使用するルールには、オブジェクト抽出手段にて抽出されたオブジェクトの位置やオブジェクト同士の相関関係を条件とするものが少なくとも含まれていることが望ましい。
【００３２】
つまり、ある種のオブジェクトが同時に存在する場合や、オブジェクト同士が特定の位置関係にある場合など、オブジェクト間の関係性の中で、そのオブジェクトの重要度が変化する場合がある。従って、このような情報を使用することによって、提供情報の制御をより的確なものとすることができる。
【図面の簡単な説明】
【００３３】
【図１】運転支援システムの概要、および車載装置の全体構成を示すブロック図。
【図２】車載装置の制御部が実行する情報提供処理の内容を示すフローチャート。
【図３】注意分布の生成する際の処理のイメージを示した説明図。
【図４】情報を提示するか否か等の判断時に使用する提示制御テーブルの内容を例示した表。
【図５】注意モデルを学習する際に使用する学習用車載装置の構成を示すブロック図。
【図６】本発明の手法による効果を示すグラフ。
【図７】前方画像を例示した図。
【発明を実施するための形態】
【００３４】
以下に本発明の実施形態を図面と共に説明する。
［全体構成］
図１は、本発明が適用された運転支援システム１の概要を示すブロック図である。
【００３５】
図１に示すように、運転支援システム１は、車両に搭載され、ドライバに情報提供することによって運転支援を行う車載装置（情報提供装置）２と、車両の走行環境に関する各種情報をＶＩＣＳの路側機や携帯電話の基地局等を含む無線通信用の通信インフラ３を介して、車両（車載装置２）に提供する情報サーバ４とで構成されている。
【００３６】
そして、車載装置２は、通信インフラ３介した情報サーバ４との無線通信、即ち路車間通信だけでなく、車載装置２同士が直接行う無線通信、即ち車車間通信を行うように構成されている。
【００３７】
なお、路車間通信によって車載装置２が取得する情報には、例えば、渋滞情報、信号の色や待ち時間、天候（トンネルの出口の雨風情報など）、落下物の有無、路面状態、交通規制等の情報等が含まれ、車車間通信によって車載装置２同士が交換する情報には、例えば、車速、加速度、操舵角、およびそれらの情報から予測される車両の運転行動など（即ち、後述する車両情報の一部）が含まれている。
【００３８】
［車載装置］
車載装置２は、車両の挙動，ドライバによる車両操作，各種車載機器の作動状態などを検出するための各種センサからなる車両センサ群２１と、ドライバの身体的変化（生体反応）を検出するための各種センサからなる生体センサ群２２と、車両の周囲の走行環境を検出するための各種センサからなる環境センサ群２３と、ＧＰＳ衛星より送信されるＧＰＳ信号を受信して、車両の位置（緯度，経度）や進行方向を検出するＧＰＳ受信機２４とを備えている。
【００３９】
また、車載装置２は、通信インフラ３を利用した路車間通信、車両同士の車車間通信を行う無線通信部２５と、ドライバに対して、視覚，聴覚，触覚を利用した情報提示を行う情報提示部２６と、車載装置２に対する指令を入力するための各種入力装置からなる指令入力部２７と、地図データが記憶された地図データベース２８と、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等からなる周知のマイクロコンピュータを中心にして構成され、各種処理を実行する制御部２９とを備えている。
【００４０】
［センサ群］
車両センサ群２１の検出対象は、車体の速度，加速度，ヨーレート等の車両の挙動の他、アクセルペダル，ブレーキペダル，ステアリング等の操作量（アクセル開度率，ブレーキＭ／Ｃ圧，操舵角等）や、ウインカ，ワイパ，ヘッドライト，シートベルトの作動状態、走行モードの設定（スポーツモードやオートクルーズ機能がある場合）等である。
【００４１】
生体センサ群２２の検出対象は、視線や顔向き，心拍，血圧，発汗等である。また、 環境センサ群２３は、レーザレーダやミリ波レーダ、車両の前方や後方を撮影する各種カメラ、ソナー等の近距離センサ等からなり、その検出対象は、各種オブジェクト（車両、路側物、歩行者、路面標識を含む各種標識、その他の障害物）との距離や相対速度、オブジェクトの大きさ、画像における画素毎の輝度，色、画像中のエッジ分等である。
【００４２】
なお、これらセンサ群２１〜２３を構成する各センサは車両の各部に配置されており、制御部２９は、図示しない車載ＬＡＮ（ＣＡＮやＬＩＮ）を介して各センサでの検出結果を取得するようにされている。また、センサ群２１〜２３を構成する個々のセンサは、必ずしも全ての車両が全種類を備えている必要はなく、車両毎に部分的に異なっていてもよい。但し、環境センサ群２３のうち、ドライバの視界に対応する画像を取得するために設けられる車両の前方を撮影するカメラは必須であり、以下では、このカメラによって撮影された画像を「前方画像」と称する。
【００４３】
［情報提示部］
情報提示部２６は、各種画像を表示し視覚的に情報を提示するためのディスプレイ、警報音や音声を出力し聴覚的に情報を提示するためのスピーカ、ステアリングやシート等のドライバと接触する位置に埋め込まれ、振動を発生させることにより触覚的に情報を提示するための振動発生器等からなる。
【００４４】
［制御部］
制御部２９は、地図データベース２８に格納された地図データ、ＧＰＳ受信機２４から得られる位置データ等を用い、情報提示部２６を介して、車両位置周辺の地図の表示や設定経路に関する案内表示や音声ガイダンス等を行ういわゆるナビゲーション機能を実現するための処理を実行する。つまり、車載装置２は、基本的には、周知のナビゲーション装置として機能するように構成されている。
【００４５】
また、制御部２９は、センサ群等２１〜２４や無線通信部２５を介して各種情報を取得すると共に、取得した情報を更に加工（画像処理や各種演算，統計処理等を実行）することによって各種情報を生成し、これら取得，生成した各種情報を、ドライバを取り巻く状況を特定するための特定情報として記録する特定情報記録処理を実行する。
【００４６】
ここで、加工することによって得られる情報として、具体的には、それら情報の微分値，積分値，各種平均値の他、生体センサ群２２からの情報等から生成されるドライバの生理的状態（例えば、漫然，集中，脇見，眠気，疲労，焦り）を表す情報や、環境センサ群２３からの情報等から生成される、オブジェクトの位置や種類（例えば、車両，歩行者，標識，落下物，横断歩道，歩道）、オブジェクトが車両である場合に特有な情報（先行車や対向車の有無，車間距離，相対速度，相対加速度）、道路形状（曲率，勾配，交差点）、路面状態、車線数、道路幅、オブジェクトが標識である場合にその内容（制限速度、進入禁止、一方通行）などの情報がある。なお、環境センサ群２３からの情報を加工することによって得られる情報は、無線通信部２５を介して取得する情報と一部重複していてもよい。また、環境情報には、ＧＰＳ受信機２４や地図データベース２８から得られる情報を含めてもよい。
【００４７】
以下では、車両センサ群２１から取得した各種情報、およびそれらの情報を加工することで得られた情報を「車両情報」と称し、生体センサ群２２から取得した各種情報、およびそれらの情報を加工することで得られた情報を「ドライバ情報」と称し、環境センサ群２３（ＧＰＳ受信機２４や地図データベース２８を含む）から取得した各種情報、およびそれらの情報を加工することで得られた情報を「環境情報」と称し、無線通信部２５を介して取得した各種情報を、およびそれらの情報を加工することで得られた情報を「通信情報」と称する。
【００４８】
更に、特定情報（車両情報，ドライバ情報，環境情報，通信情報）のうち、ドライバの操作に関する車両情報を、運転行動に対するドライバの意図が反映された情報であるものとして「意図反映情報」とも称し、それ以外の情報を、ドライバの運転行動に影響を与える情報であるものとして「行動影響情報」とも称する。
【００４９】
更に、制御部２９は、特定情報記録処理によって記録された特定情報に基づき、ドライバの注意が向いている位置を推定し、その推定結果に基づいて、ドライバに対する情報提供を行う情報提供処理を実行する。
【００５０】
また、制御部２９を構成する不揮発性のメモリ（例えば、ＲＯＭ）には、情報提供処理で使用される注意モデルが格納されている。この注意モデルとは、特定情報を、該特定情報に属する一又は複数の情報で構成された複数種類の生成情報群に分割し、その生成情報群毎に、該生成情報群の値とドライバの注意が向く位置（以下「注視点」と称する）との関係を示したものであり、事前の学習によって生成される。
【００５１】
なお、生成情報群は、特定情報の分類（車両情報，環境情報，ドライバ情報，通信情報）を単位としてもよいし、特定情報を関連性の強い情報毎にグループ化したものを単位としてもよいし、個別の特定情報を単位としてもよい。但し、本実施形態では、特定情報の分類毎に注意モデルが用意されている。
【００５２】
また、注意モデルは、具体的には、生成情報群に属する情報を入力として、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０，１の二値によって分類す識別器や、注視点であるか否かを０〜１の間の連続値によって確率的に推定する推定器等によって実現される。
【００５３】
なお、注意モデルの形式（上述の識別器や推定器）は、全ての生成情報群について同じでもよいが、生成情報群毎に異なっていてもよい。
［情報提供処理］
ここで、制御部２９が実行する情報提供処理を、図２に示すフローチャートに沿って説明する。
【００５４】
本処理は、上述した特定情報取得処理が実行される毎、即ち、特定情報がＲＡＭ等に記録される毎に起動する。
本処理が起動すると、Ｓ１１０では、特定情報取得処理により記録された特定情報のうち、環境情報に基づき、前方画像中に存在するオブジェクトを抽出する。なお、抽出対象となるオブジェクトは、例えば、各種車両，歩行者，標識（路面標識を含む）信号機，道路上の障害物等、予め定められたものである。
【００５５】
Ｓ１２０では、Ｓ１１０にてオブジェクトが抽出されたか否かを判断し、オブジェクトが一つも抽出されていなければ、そのまま本処理を終了し、一つでも抽出されていれば、Ｓ１３０に進む。
【００５６】
Ｓ１３０では、抽出したオブジェクトに基づく注意分布を作成する。ここで作成される注意分布は、オブジェクトが存在する位置を示すものであり、オブジェクトが検出された領域の分布値を一律に高く設定してもよいし、オブジェクトの位置，大きさ，種類等によって分布値を変化（例えば、自車両に近いほど高くする等）させてもよい。
【００５７】
続くＳ１４０では、前方画像の画像情報（輝度、色、エッジ）に基づく注意分布を作成する。ここで作成される注意分布は、ドライバが注意を向け易い位置を示すものであり、予め設定された規則に従って、画素毎に画像情報に応じた分布値を設定することで生成する。つまり、Ｓ１３０およびＳ１４０で作成される注意分布は、注意モデルを用いることなく、画像から得られる情報のみを用いて作成される。但し、オブジェクトに基づく注意分布については、オブジェクトの位置，大きさ，色等を入力とする注意モデルを用いて生成してもよい。
【００５８】
続くＳ１５０では、特定情報取得処理により記録された特定情報の中に車両情報が存在するか否かを判断し、存在しない場合はそのままＳ１７０に進み、存在する場合はＳ１６０にて、車両情報に基づく注意分布を、学習モデルを用いて算出してＳ１７０に進む。
【００５９】
Ｓ１７０では、特定情報取得処理により記録された特定情報の中に環境情報が存在するか否かを判断し、存在しない場合はそのままＳ１９０に進み、存在する場合はＳ１８０にて、環境情報に基づく注意分布を、学習モデルを用いて算出してＳ１９０に進む。
【００６０】
Ｓ１９０では、特定情報取得処理により記録された特定情報の中にドライバ情報が存在するか否かを判断し、存在しない場合はそのままＳ２１０に進み、存在する場合はＳ２００にて、ドライバ情報に基づく注意分布を、学習モデルを用いて算出してＳ２１０に進む。
【００６１】
Ｓ２１０では、特定情報取得処理により記録された特定情報の中に通信情報が存在するか否かを判断し、存在しない場合はそのままＳ２３０に進み、存在する場合はＳ２２０にて、通信情報に基づく注意分布を、学習モデルを用いて算出してＳ２３０に進む。
【００６２】
なお、車両情報に基づく注意分布の生成（Ｓ１６０）は、車両情報を入力とする学習モデル（識別器または推定器）を用いて、注視点であるか否かの判定、あるいは注視点である確率はどの程度であるかの推定を、その判定や推定の対象となる領域毎に算出することによって行われる。ここでは、各車両情報について注意分布を生成し、生成された注意分布を加算／平均する等して統合する。このため、注意分布を生成する際に用いる車両情報は、注意モデルを生成する際に用いた車両情報が必ずしも全て揃っている必要はなく、車載装置２を搭載する個々の車両において、検出や生成が可能な車両情報だけを用いて車両情報に基づく注意分布を算出すればよい。このことは、環境情報に基づく注意分布の生成（Ｓ１８０）、ドライバ情報に基づく注意分布の生成（Ｓ２００）、通信情報に基づく注意分布の生成（Ｓ２２０）でも同様である。
【００６３】
Ｓ２３０では、先のＳ１３０，Ｓ１４０，Ｓ１６０，Ｓ１８０，Ｓ２００，Ｓ２２０で生成された注意分布（以下では「個別分布」とも称する）を統合する。この場合、全て同じ重みで統合（単純加算や単純平均）してもよいし、個々に重み付けして統合（重み付け加算や重み付け平均）してもよい。以下では、本ステップで生成される注意分布を「統合分布」と称する。
【００６４】
なお、図３は、Ｓ１３０〜Ｓ２３０の処理、即ち、特定情報に基づいて複数の個別分布を生成し、これらを統合することで最終的な統合分布を生成する処理のイメージを示した説明図である。
【００６５】
続く２４０では、Ｓ１１０で抽出されたオブジェクトのそれぞれについて、そのオブジェクトに対してドライバの注意がどの程度向いているかの推定結果を示す注意量を、Ｓ２３０にて求められた統合分布を用いて求める。具体的には、統合分布上でオブジェクトが存在する領域の分布値に従って、注意量を大，中，小のいずれかに設定する。即ち、分布値が第１閾値以上であれば注意量は大、第１閾値より小さな値に設定された第２閾値以下であれば注意量は小、第１閾値より小さく第２閾値より大きければ注意量は中となる。
【００６６】
なお、オブジェクトが存在する領域の分布値としては、その領域に属する全ての分布値の和を用いてもよいし、その領域に属する分布値の平均値を用いてもよい。そして、このように算出された領域の分布値を、予め設定された閾値と比較することで、注意量を設定する。
【００６７】
続くＳ２５０では、Ｓ１１０にて抽出されたオブジェクトのそれぞれについて、予め定められたルールに従って重要度を大，中，小のいずれかに設定する。
ここでのルールは、特定情報から特定される状況やオブジェクトの位置またはオブジェクト同士の相関関係、あるいはそれらの組合せを条件部とするＩＦ−ＴＨＥＮルールが用いられる。
【００６８】
具体的には、例えば、車両情報の一つである「ウインカの状態」が「右折」に設定されていれば（条件部）、画面の右側下方に位置するオブジェクトの重要度を大に設定する（帰結部）というルール、「（信号機や道路標識と推定される）オブジェクトまでの距離」が「所定値」以下であれば（条件部）、そのオブジェクトの重要度を大に設定する（帰結部）というルール、「横断歩道であると推定されるオブジェクト」が存在すれば（条件部）、そのオブジェクト上、および両端部付近に位置する歩行者であると推定されるオブジェクトの重要度を大に設定する（帰結部）というルール等が考えられる。なお、ルールの設定については、相関演算やApriori アルゴリズム等を利用することが考えられる。
【００６９】
続くＳ２６０では、Ｓ２４０で設定されたオブジェクトの注意量、Ｓ２５０で設定されたオブジェクトの重要度に基づき、そのオブジェクトに関する情報をドライバに提供するか否か、および、提示するのであればどのような形式で提示するかを判断し、その判断結果に従って情報提供を行って、本処理を終了する。
【００７０】
ここで、図４は、Ｓ２６０での判定を行う際に用いる提示制御テーブルの内容を示す説明図である。図４中、○印は、情報を提示する、△印はドライバの状態によって提示／非提示を決める、×は提示しないを示すものである。つまり、オブジェクトの重要度が大の場合は、注意量によらず情報を提示し、重要度が中の場合は、注意量が中小であれば、情報を提示し、注意量が大であれば、ドライバの状態によって提示／非提示を決める。更に、重要度が小である場合は、注意量が小であれば情報を提示し、注意量が中であればドライバの状態によって提示／非提示を決め、注意量が大であれば提示しない。
【００７１】
なお、ドライバの状態とは、生体情報や車両情報等から求められる漫然運転度、覚醒度、運転熟練度などであり、例えば、漫然運転度が高いか、覚醒度が低いか、運転熟練度が低い場合には、情報を提示するように制御する。
【００７２】
また、情報の提示の仕方としては、重要度が大であれば触覚（振動），聴覚（音声），視覚（表示）を全て使った提示を行い、重要度が中であれば聴覚（音声），視覚（表示）を使った提示を行い、重要度が小であれば視覚（表示）のみを使った提示を行う。
【００７３】
なお、上述の制御では、重要度で情報の提示の仕方を制御しているが、注意量が大であれば視覚のみを使って提示を行い、注意量が中であれば聴覚，視覚を使った提示を行い、注意量が小であれば触覚，聴覚，視覚の全てを使った提示を行うように制御してもよい。
【００７４】
更に、情報の提示の仕方を、図４中の○印、△印、×印と対応付けて、即ち、重要度と注意量の両方に基づいて制御してもよい。
［注意モデル］
次に、事前に行われる注意モデルの学習について説明する。
【００７５】
なお、注意モデルは、車両において学習してもよいが、本実施形態では、予め学習されたものを用いている。そして、注意モデルを学習する際には、多くのドライバについて収集したデータを利用する。
【００７６】
データの収集には、図５に示すように、上述した車載装置２に、ドライバの視線を検出する視線検出装置３０を加えた学習用車載装置５を搭載した車両、又は学習に必要な情報を収集可能なドライブシミュレータを使用する。但し、学習用車載装置５では、車載装置２とは異なり、情報提供のための構成（情報提示部２６）が省略されていてもよい。
【００７７】
［学習処理］
学習処理では、まず、学習用車載装置を搭載した車両を複数の被験者に運転させるか、複数の被験者にドライブシミュレータを使用させることによって、被験者の注視点（視線検出装置３０での検出結果）と特定情報（車両情報，環境情報，ドライバ情報，通信情報）とを取得する。
【００７８】
そして、特定情報を、該特定情報に属する一又は複数の情報で構成された複数種類の生成情報群に分割し、その生成情報群毎に、該生成情報群の値と注視点との関係を学習する。この学習には、サポートベクターマシン（ＳＶＭ）や混合ガウス分布（ＧＭＭ）などの統計的手法を利用する。
【００７９】
なお、生成情報群は、特定情報の分類（車両情報，環境情報，ドライバ情報，通信情報）を単位としてもよいし、特定情報を関連性の強い情報毎にグループ化したものを単位としてもよいし、個別の特定情報を単位としてもよい。
【００８０】
そして、ＳＶＭを利用した学習では、被験者の注視点を教師データとして、例えば、撮影した前方画像の注視点位置周辺にポジティブフラグを立て、注視点でないところには、ネガティブフラグを立てて、生成情報群に属する情報を入力として、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０，１の二値によって分類する識別器が得られるように学習する。
【００８１】
また、ＧＭＭを利用した学習では、生成情報群に属する情報内容の幾つかについて（例えば、操舵角や自車速等）、それぞれの情報と前方画像における注視点位置の間の関係を表現するＧＭＭを学習する。これらのＧＭＭを更に加算もしくは乗算によって結合することにより、前方画像を、決められた領域（例えば画素）毎に、注視点であるか否かを０〜１の間の連続値によって確率的に推定する推定器を構成する。
【００８２】
［効果］
以上説明したように、車載装置２は、ドライバの注意が向けられている位置（注視点）を、予め用意された注意モデルと、その時々で検出される特定情報とに基づいて生成される注意分布から推定し、その注意分布から前方画像中の各オブジェクトに対するドライバの注意量を算出すると共に、予め設定されたルールを用いて、特定情報から特定される状況に応じた各オブジェクトの重要度を設定し、その注意量と重要度とに基づいて、ドライバに対する情報の提供を制御するようにされている。
【００８３】
なお、注意モデルは、ドライバの意図を示す情報やドライバの運転行動に影響を与える情報が反映されるように作成されている。つまり、注意モデルを用いることで、右左折や直進等のステアリング操作の種類（ドライバの意図が反映された情報）や、車速の高低や信号機の色（ドライバの運転行動に影響を与える情報）によって、異なった注意分布が得られることになる。
【００８４】
従って、車載装置２によれば、その時々の状況（ドライバの意図やドライバの運転行動に影響を与えるオブジェクトの存在等を含む）に応じて、その状況を考慮した的確な情報提供を実現することができる。
【００８５】
しかも、車載装置２によれば、ドライバの注視点を注意モデルと特定情報とから推定するようにされているため、注視点を計測する計測器が必要な従来装置と比較して、簡易で安価な構成であるにも関わらず、より的確な制御を実現することができる。
【００８６】
ここで図６は、（ａ）が上述の学習モデルから生成した注意分布において、分布値（注意レベル）が上位何％に含まれる領域かを示した注意分布パーセント領域と、ドライバの注視点との一致率を測定した結果を表すグラフであり、（ｂ）が学習モデルに基づいて生成した注意分布（統合分布）を、元の前方画像と対比して示したものであり、分布値が高いオブジェクトの上位３個についても丸数字によって明示した。
【００８７】
前方画像としては、図７に示した様な実環境で右左折や直進、追従走行や追い越し等様々な状況を含む一般市街路にて取得した実車データを利用した。また、注意モデルとしては、上述したＧＭＭを利用した推定器を用い、注意モデルに入力する特定情報としては、自車速と操舵角、車両検出結果を用いた。これにより、前述の様々な状況に対応できる注視モデルを構築した。
【００８８】
図６（ａ）中には、比較例として、非特許文献１の手法（従来手法）を用いて、画像の低次の特徴量（輝度・色・エッジなど）から注視点を推定した結果、および、全くランダムに注視点を設定した場合の一致率（チャンスレベル）を併記した。
【００８９】
図からわかるように、従来手法は、チャンスレベルと同程度以下であるのに対して、車載装置２に適用した手法では、実際の視線との一致率が３０％以上高く、ドライバの意図やドライバの運転行動に影響を与えるオブジェクト等の情報を、注意モデルに反映させることによって、注視点の推定精度が格段に改善されることがわかる。
【００９０】
また、車載装置２によれば、複数の注意モデルから注意分布（個別分布）を生成する際に、各種の特定情報を利用するが、必ずしも全ての特定情報が揃っていなくても、個別分布、ひいては統合分布の生成が可能であるため、取得可能な特定情報が異なる様々な車両に適用することができる。
【００９１】
上記実施形態において、環境センサ群２３の中の前方画像を取得するカメラが画像取得手段、Ｓ１１０がオブジェクト抽出手段、情報提示部２６およびＳ２６０が情報提供手段、制御部２９が実行する特定情報記録処理が情報取得手段、制御部２９を構成する不揮発性メモリであって注意モデルが記憶されたものがモデル記憶手段、Ｓ１３０〜Ｓ２３０が注意分布生成手段、Ｓ２４０が注意量算出手段、Ｓ２５０が重要度設定手段に相当する。
【００９２】
以上本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００９３】
例えば、上記実施形態では、オブジェクトの注意量とオブジェクトの重要度とをいずれも用いて提示する情報の制御を行うようにされているが、いずれか一方のみを用いて制御するように構成してもよい。
【符号の説明】
【００９４】
１…運転支援システム ２…車載装置 ３…通信インフラ ４…情報サーバ ５…学習用車載装置 ２１…車両センサ群 ２２…生体センサ群 ２３…環境センサ群 ２４…ＧＰＳ受信機 ２５…無線通信部 ２６…情報提示部 ２７…指令入力部 ２８…地図データベース ２９…制御部 ３０…視線検出装置
【特許請求の範囲】
【請求項１】
ドライバの視界に対応する画像を取得する画像取得手段と、
前記画像取得手段が取得した画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段にて抽出されたオブジェクトに関する情報を提供する情報提供手段と、
を備えた情報提供装置において、
運転行動に対するドライバの意図が反映される情報又はドライバの運転行動に影響を与える情報である特定情報を取得する情報取得手段と、
前記特定情報が示す値と前記画像上でドライバの注意が向いている位置である注視点との関係を示した注意モデルを記憶するモデル記憶手段と、
前記モデル記憶手段に記憶された注意モデルに基づき、前記情報取得手段にて検出される特定情報から前記注視点を推定した注意分布を生成する注意分布生成手段と、
前記注意分布生成手段にて生成された注意分布に基づき、前記オブジェクト抽出手段にて抽出されたオブジェクト毎に、該オブジェクトに対するドライバの注意の度合いを表す注意量を求める注意量算出手段と、
を備え、
前記情報提供手段は、前記注意量算出手段にて算出された注意量に従って、提供する情報を制御することを特徴とする情報提供装置。
【請求項２】
前記モデル記憶手段に記憶される前記注意モデルは、前記特定情報に属する一又は複数の情報で構成された複数種類の生成情報群毎に用意され、
前記注意分布生成手段は、前記注意モデル毎に、前記情報取得手段にて検出された特定情報から前記注視点を推定した個別分布を生成し、該個別分布を統合することで注意分布を生成することを特徴とする請求項１に記載の情報提供装置。
【請求項３】
前記特定情報には、ドライバの操作に関する情報又は車両の挙動を示す情報のうち少なくとも一方を含む車両情報が含まれていることを特徴とする請求項１又は請求項２に記載の情報提供装置。
【請求項４】
前記特定情報には、ドライバの生体反応に関する情報である表すドライバ情報が含まれていることを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報提供装置。
【請求項５】
前記特定情報には、車両の走行環境に関する情報である環境情報が含まれていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報提供装置。
【請求項６】
前記環境情報の少なくとも一部を、路車間通信又は車車間通信によって取得することを特徴とする請求項５に記載の情報提供装置。
【請求項７】
前記オブジェクト抽出手段にて抽出されたオブジェクトの重要度を、予め設定されたルールに従って設定する重要度設定手段を備え、
前記情報提供手段は、前記注意量に加え、前記重要度設定手段にて設定された重要度に従って、提供する情報を制御することを特徴とする請求項１乃至請求項６のいずれか１項に記載の情報提供装置。
【請求項８】
前記重要度設定手段が重要度の設定に使用するルールには、前記情報取得手段にて取得される特定情報から特定される状況を条件とするものが少なくとも含まれていることを特徴とする請求項７に記載の情報提供装置。
【請求項９】
前記重要度設定手段が重要度の設定に使用するルールには、前記オブジェクト抽出手段にて抽出されたオブジェクトの位置やオブジェクト同士の相関関係を条件とするものが少なくとも含まれていることを特徴とする請求項１乃至請求項８のいずれか１項に記載の情報提供装置。
【請求項１】
ドライバの視界に対応する画像を取得する画像取得手段と、
前記画像取得手段が取得した画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段にて抽出されたオブジェクトに関する情報を提供する情報提供手段と、
を備えた情報提供装置において、
運転行動に対するドライバの意図が反映される情報又はドライバの運転行動に影響を与える情報である特定情報を取得する情報取得手段と、
前記特定情報が示す値と前記画像上でドライバの注意が向いている位置である注視点との関係を示した注意モデルを記憶するモデル記憶手段と、
前記モデル記憶手段に記憶された注意モデルに基づき、前記情報取得手段にて検出される特定情報から前記注視点を推定した注意分布を生成する注意分布生成手段と、
前記注意分布生成手段にて生成された注意分布に基づき、前記オブジェクト抽出手段にて抽出されたオブジェクト毎に、該オブジェクトに対するドライバの注意の度合いを表す注意量を求める注意量算出手段と、
を備え、
前記情報提供手段は、前記注意量算出手段にて算出された注意量に従って、提供する情報を制御することを特徴とする情報提供装置。
【請求項２】
前記モデル記憶手段に記憶される前記注意モデルは、前記特定情報に属する一又は複数の情報で構成された複数種類の生成情報群毎に用意され、
前記注意分布生成手段は、前記注意モデル毎に、前記情報取得手段にて検出された特定情報から前記注視点を推定した個別分布を生成し、該個別分布を統合することで注意分布を生成することを特徴とする請求項１に記載の情報提供装置。
【請求項３】
前記特定情報には、ドライバの操作に関する情報又は車両の挙動を示す情報のうち少なくとも一方を含む車両情報が含まれていることを特徴とする請求項１又は請求項２に記載の情報提供装置。
【請求項４】
前記特定情報には、ドライバの生体反応に関する情報である表すドライバ情報が含まれていることを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報提供装置。
【請求項５】
前記特定情報には、車両の走行環境に関する情報である環境情報が含まれていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報提供装置。
【請求項６】
前記環境情報の少なくとも一部を、路車間通信又は車車間通信によって取得することを特徴とする請求項５に記載の情報提供装置。
【請求項７】
前記オブジェクト抽出手段にて抽出されたオブジェクトの重要度を、予め設定されたルールに従って設定する重要度設定手段を備え、
前記情報提供手段は、前記注意量に加え、前記重要度設定手段にて設定された重要度に従って、提供する情報を制御することを特徴とする請求項１乃至請求項６のいずれか１項に記載の情報提供装置。
【請求項８】
前記重要度設定手段が重要度の設定に使用するルールには、前記情報取得手段にて取得される特定情報から特定される状況を条件とするものが少なくとも含まれていることを特徴とする請求項７に記載の情報提供装置。
【請求項９】
前記重要度設定手段が重要度の設定に使用するルールには、前記オブジェクト抽出手段にて抽出されたオブジェクトの位置やオブジェクト同士の相関関係を条件とするものが少なくとも含まれていることを特徴とする請求項１乃至請求項８のいずれか１項に記載の情報提供装置。
【図１】
【図２】
【図４】
【図５】
【図３】
【図６】
【図７】
【図２】
【図４】
【図５】
【図３】
【図６】
【図７】
【公開番号】特開２０１２−１０３８４９（Ｐ２０１２−１０３８４９Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５０９１５（Ｐ２０１０−２５０９１５）
【出願日】平成２２年１１月９日（２０１０．１１．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月９日（２０１０．１１．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]