情報提示装置、自動車、及び情報提示方法
【課題】運転者が必要とする情報を、いち早く詳細に提示する。
【解決手段】運転者が情報要求スイッチ７をＯＮにしたとき、前方カメラ３で撮像した車両前方の環境を認識し（ステップＳ１）、前方物体ごとに、運転者の拡大画像に対する希望度合を表すポテンシャルＰを算出し（ステップＳ２）、前方物体のうち、ポテンシャルＰが所定値以上の前方物体を選択し（ステップＳ３）、更にその中から、運転者にとって認知可能で、且つ認識不可能な遠方物体だけを選択する（ステップＳ４）。こうして選択された遠方物体の拡大画像を、ＨＵＤ６によって、その遠方物体の近傍で、且つポテンシャルＰの低い位置に表示する（ステップＳ５、Ｓ６）。
【解決手段】運転者が情報要求スイッチ７をＯＮにしたとき、前方カメラ３で撮像した車両前方の環境を認識し（ステップＳ１）、前方物体ごとに、運転者の拡大画像に対する希望度合を表すポテンシャルＰを算出し（ステップＳ２）、前方物体のうち、ポテンシャルＰが所定値以上の前方物体を選択し（ステップＳ３）、更にその中から、運転者にとって認知可能で、且つ認識不可能な遠方物体だけを選択する（ステップＳ４）。こうして選択された遠方物体の拡大画像を、ＨＵＤ６によって、その遠方物体の近傍で、且つポテンシャルＰの低い位置に表示する（ステップＳ５、Ｓ６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提示装置、これを備えた自動車、及び情報提示方法に関する。
【背景技術】
【０００２】
障害物を検知したときに、運転者に注意を喚起するために、この障害物をヘッドアップディスプレイで強調して表示し、運転者の視線方向に基づいて運転者が障害物を認識できたと判断したら、煩わしさを低減するために、障害物の強調を弱めた表示に切り替えるものがあった（特許文献１参照）。
【特許文献１】特開２００５−１３５０３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載された従来例にあっては、運転者が既に認識した情報を、不必要に提示し続けることを回避しているに過ぎないので、より積極的な、予測能力の強化や運転余裕の拡大という観点からすると、改善の余地がある。
本発明の課題は、運転者が必要とする情報を、いち早く詳細に提示することである。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明に係る情報提示装置は、車両前方の環境を撮像し、撮像した画像から運転者にとって認識不可能な遠方物体を選択し、選択した遠方物体の拡大画像を表示することを特徴とする。
【発明の効果】
【０００５】
本発明に係る情報提示装置によれば、運転者にとって認識不可能な遠方物体の拡大画像を表示することで、運転者が必要とする情報を、いち早く詳細に提示することができる。
【発明を実施するための最良の形態】
【０００６】
以下、本発明を実施するための最良の形態を図面に基づいて説明する。
《一実施形態》
《構成》
図１は、本発明の概略構成である。自動車１には、例えばマイクロコンピュータで構成されたコントローラ２と、例えばインサイドミラーに設けられ車両前方の環境を撮像する前方カメラ３と、例えばステアリングコラムに設けられ運転者の眼球を撮像するドライバカメラ４と、フロントウィンドウガラス５の所定範囲に表示光線を投影して画像を映し出すヘッドアップディスプレイ（以下、ＨＵＤと称す）６と、が搭載されている。
【０００７】
コントローラ２は、ステアリングホイール７に設けられた情報要求スイッチ７が、運転者によってＯＮにされたときに、図２の情報提示処理を、所定のサンプリング周期で実行する。
先ずステップＳ１では、前方カメラ３で撮像した画像に基づいて、車両前方の環境を認識する。
続くステップＳ２では、後述する図３のポテンシャル算出処理を実行し、上記ステップＳ１で認識できた前方物体ごとに、その拡大画像の表示を運転者が望んでいる希望度合を判断し、この希望度合を数値化したものをポテンシャルＰとして算出する。
続くステップＳ３では、ポテンシャルＰが所定値以上の前方物体を、拡大画像の表示対象として選択する。
【０００８】
続くステップＳ４では、表示対象として選択された前方物体のうち、運転者にとって存在は認知可能で、且つ詳細が認識不可能な遠方物体だけを選択する。ここで、認知可能で且つ認識不可能な遠方物体とは、図４に示すように、画像データ上の面積Ｓが所定値Ｓ1以上で、且つ所定値Ｓ2以下となるほど遠くに存在する物体のことである（Ｓ1≦Ｓ≦Ｓ2）。すなわち、Ｓ＜Ｓ1であれば存在は認知不可能と判断し、Ｓ＞Ｓ2であれば詳細は認識可能と判断する。勿論、所定値Ｓ1及びＳ2は、一律にするのではなく、前方物体の種類に応じて、変更することが望ましい。
【０００９】
続くステップＳ５では、拡大画像の表示位置を決定する。ここでは、運転者から見て、表示対象となる遠方物体の近傍で、且つポテンシャルＰが所定値以上の前方物体とは重ならない位置、つまりポテンシャルＰの低い位置に決定する。
続くステップＳ６では、ＨＵＤ６によって、拡大画像を表示してから所定のメインプログラムに復帰する。
【００１０】
次に、図３のポテンシャル算出処理について説明する。
先ずステップＳ２１では、前方物体ごとに、その種類、及び走行道路の種類に応じて、重みＷを算出する。ここでは、前方物体を、『交通標識』、『経路案内標識』、『車』、『人』、『看板』の５種類に分類し、走行道路を、『高速道路』、『市外道路』、『市内道路』、『住宅街道路』の４種類に分類する。そして、図５に示すように、例えば『高速道路』では『経路案内標識』の重みＷを大きくし、『住宅街道路』では『人』の重みＷを大きくする等して、走行シーンに最適な重みＷを算出する。図６は、『市外道路』での一例である。
【００１１】
なお、情報要求スイッチ７に、運転者が特定の前方物体を選択してその重みＷを変更できる調整機能を付加してもよい。例えば、運転者が『人』の重みＷを大きくしたときは、この調整内容を優先し、『市外道路』であっても、図７に示すように、『人』の重みＷを最大値に設定すればよい。
続くステップＳ２２では、ポテンシャルＰの算出に際し、運転者の視線方向を無効にするか有効にするかを決定する。これは、情報要求スイッチ７による運転者の入力によって決定してもよいし、視線方向を検出可能な条件を満足しているか否かによって決定してもよい。ここで、視線方向を無効にするときには、後述するステップＳ２６に移行する。一方、視線方向を有効にするときには、ステップＳ２３に移行する。
【００１２】
ステップＳ２３では、運転者の視線を検出する。例えば、ドライバカメラ４で撮像した画像データに基づいて、眼球中心と瞳孔中心とを算出し、眼球中心から瞳孔中心に向かうベクトルを算出することにより、運転者の視線を検出する。
続くステップＳ２４では、前方物体ごとに、運転者の視線と視野に応じて、アングルポテンシャルＡを算出する。図８は、日本人の一般的な視野を示しており、視線の先にある視点を中心として注視野、静視野、及び動視野の領域が定まるので、図９の制御マップを参照し、前方物体の視角に応じて、アングルポテンシャルＡを算出する。この制御マップは、図９に示すように、視角が大きくなるほど（注視角＜静視角＜動視角）、アングルポテンシャルＡが１から０の範囲で小さくなるように設定されている。
【００１３】
なお、運転者の視野は車速によっても変化するので、図１０の制御マップを参照し、車速が高くなるほど、注視角、静視角、動視角が小さくなるように設定する。
続くステップＳ２５では、下記（１）式に示すように、重みＷとアングルポテンシャルＡとの乗算によって、前方物体ごとに、ポテンシャルＰを算出してから図３のポテンシャル算出処理を終了する。ここで、ｘ及びｙは画像データ上の座標を表している。
Ｐ(x,y)＝Ｗ(x,y)×Ａ(x,y) ………（１）
一方、ステップＳ２６では、運転者の視線方向に関係なく、全ての前方物体のアングルポテンシャルＡを“１”に設定してから上記ステップＳ２５に移行する。
【００１４】
《作用》
今、運転者が情報要求スイッチ７をＯＮにして遠方物体の情報提示を希望したとする。
このとき、前方カメラ３で撮像した車両前方の環境を認識し（ステップＳ１）、前方物体ごとに、運転者の拡大画像に対する希望度合を表すポテンシャルＰを算出し（ステップＳ２）、前方物体のうち、ポテンシャルＰが所定値以上の前方物体を選択し（ステップＳ３）、更にその中から、運転者にとって認知可能で、且つ認識不可能な遠方物体だけを選択する（ステップＳ４）。こうして選択された遠方物体の拡大画像を、ＨＵＤ６によって、その遠方物体の近傍で、且つポテンシャルＰの低い位置に表示することにより（ステップＳ５、Ｓ６）、運転者が必要とする情報を、いち早く詳細に提示する。
【００１５】
ポテンシャルＰの算出には、重みＷ、及びアングルポテンシャルＡという２つの要素を用いる（ステップＳ２５）。
例えば、高速道を走行しているときには、経路案内標識に対する関心が高くなり、住宅街道路を走行しているときには、人に対する関心が高くなるというように、走行環境によって、前方物体に対する運転者の関心度合は異なる。そのため、第１の要素となる重みＷは、前方物体の種類、及び走行道路の種類に応じて決定する（ステップＳ２１）。
【００１６】
また、関心が高ければ、そこに自然と運転者の視線が向けられるので、第２の要素となるアングルポテンシャルＡは、運転者の視線と視野に応じて決定することにより（ステップＳ２３、Ｓ２４）、特に運転者の注視野から外れている物体のポテンシャルＰを減少させる。このとき、運転者の注視野、静視野、動視野の夫々を特定する注視角、静視角、動視角を、車速に応じて変更することにより、正確な視野を算出する。
但し、運転者が視線方向の無効を望んだときや、視線の検出精度が低いときには（ステップＳ２２の判定が“No”）、アングルポテンシャルＡは“１”に設定することにより（ステップＳ２６）、ポテンシャルＰの算出に対して運転者の視線方向を無効にする。
【００１７】
図１１は、視線方向を無効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例であり、ポテンシャルＰの大きさは色の明暗で表され、色が明るいほどポテンシャルＰが高いことを意味している。ここでは、前方左側の『看板』と、前方右側の『人』及び『経路案内標識』のポテンシャルＰが所定値以上となった状態を示しており（白色領域）、夫々の拡大画像をＨＵＤ６に表示している。『人』の場合は、少なくとも肩から上の頭部を拡大して画像表示する。これにより、運転者にとって認識しづらいほど遠くに存在しているとしても、『看板』や『経路案内標識』の内容、そして『人』の顔を認識することが可能となる。また、拡大画像は、その遠方物体の近傍で、且つポテンシャルＰの低い領域（黒色領域）に表示されるので、表示対象とその近傍に存在するポテンシャルＰの高い物体を隠してしまうことはない。
【００１８】
図１２は、視線方向を有効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。ここでは、運転者の視線が前方右側の『人』に向けられ、前方左側の『看板』や前方右側の『経路案内標識』のポテンシャルＰは所定値未満となった状態を示しており、ポテンシャルＰが所定値以上となった『人』の拡大画像だけをＨＵＤ６に表示している。これにより、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止する。
【００１９】
そして、車両が前進するにつれて遠方物体へと徐々に近づくほど、前方カメラ３で撮像した画像データは鮮明になってゆくので、ＨＵＤ６に表示する拡大画像も徐々に鮮明になってゆく。そして、拡大画像を表示していた遠方物体を運転者が認識可能な距離まで接近したら、その物体は拡大画像の表示を要するほどの遠方物体としては認識されなくなり、拡大画像の表示を終了する。
また、車両前方の環境を撮像する前方カメラ３を、運転者の視点よりも高い位置にあるインサイドミラー等に設けることで、より立体的な画像（バードビュー画像）を提示することが可能になる。
【００２０】
《応用例》
上記の一実施形態では、ドライバカメラ４で運転者の眼球を撮像し、その画像データに基づいて運転者の視線を検出しているが、運転者の視線移動特性に基づいて、運転者の視線を推定してもよい。すなわち、図１３に示すように、ステアリング操作をすれば視線は左右に移動し、車速が高くなれば視線は上方に移動するという特性があるので、操舵角から左右方向の視線を算出（推定）し、車速から上下方向の視線を算出（推定）してもよい。これによれば、画像処理によって視線方向を検出するよりも演算負担を軽減し、容易に運転者の視線方向を算出することができる。勿論、画像処理による検出結果、及び操舵角と車速に基づいた推定結果の何れか一方を選択的に用いたり、又は双方を用いたりしてもよい。
【００２１】
《効果》
以上より、前方カメラ３が「撮像手段」に対応し、ステップＳ１〜Ｓ４の処理が「選択手段」に対応し、ＨＵＤ６とステップＳ５、Ｓ６の処理とが「表示手段」に対応し、ステップＳ２３、Ｓ２４の処理が「算出手段」に対応する。
（１）車両前方の環境を撮像する撮像手段と、撮像手段で撮像した画像から運転者にとって認識不可能な遠方物体を選択する選択手段と、選択手段で選択した遠方物体の拡大画像を表示する表示手段とを備える。
このように、運転者にとって認識不可能な遠方物体の拡大画像を表示することで、運転者が必要とする情報を、いち早く詳細に提示することができ、予測能力の強化や運転余裕の拡大に資する。
【００２２】
（２）選択手段は、運転者にとって認識不可能な遠方物体ごとに、拡大画像の表示を運転者が望んでいる希望度合を判断し、判断した希望度合が所定値以上の遠方物体だけを選択する。
これにより、希望度合が高いと判断された遠方物体の拡大画像だけが表示されるので、運転者が必要とする情報だけを提示することができる。したがって、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止できる。
【００２３】
（３）選択手段は、遠方物体の種類及び走行道路の種類に応じて希望度合を判断する。
これにより、走行環境に合わせて適切な希望度合を判断することができる。
（４）運転者の視線及び視野を算出する算出手段を備え、選択手段は、算出手段で算出した運転者の視線及び視野に応じて、希望度合を判断する。
これにより、運転者が必要とする情報だけを提示することができる。したがって、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止できる。
【００２４】
（５）算出手段は、車速に応じて運転者の視野を算出する。
これにより、正確な視野を算出することができる。
（６）算出手段は、操舵角に応じて左右方向の視線を算出すると共に、車速に応じて上下方向の視線を算出する。
これによれば、画像処理によって視線を検出するよりも演算負担を軽減し、容易に運転者の視線を推定することができる。
【００２５】
（７）表示手段は、運転者から見た車両前方の環境に重畳させて画像を表示可能なヘッドアップディスプレイを備え、ヘッドアップディスプレイにより、選択手段が選択した遠方物体の拡大画像を、運転者から見て、この遠方物体の近傍で、且つ希望度合が所定値以上の遠方物体とは重ならない位置に表示する。
これにより、拡大画像の表示対象とその近傍に存在する希望度合の高い物体を、拡大画像によって隠してしまうことを防止できる。
【００２６】
（８）表示手段は、拡大画像の表示を要求する運転者の要求操作を検知したら、つまり情報急操作スイッチ７がＯＮにされたら、選択手段が選択した遠方物体の拡大画像を表示する。
これにより、運転者が遠方物体の情報提示を望んだときだけ、その拡大画像を表示することができるので、運転者の希望に即した情報提示が可能になる。
（９）撮像手段は、運転者の視点よりも高い位置から、車両前方の環境を撮像する。
これにより、より立体的で分かりやすい画像（バードビュー画像）を提示することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の概略構成図である。
【図２】情報提示処理のフローチャートである。
【図３】ポテンシャル算出処理のフローチャートである。
【図４】物体面積と視認性の関係である。
【図５】物体種類と道路種類とに応じた重みＷである。
【図６】市外道路での重みＷである。
【図７】運転者の指定操作後における市外道路での重みＷである。
【図８】一般的な視野である。
【図９】視角に応じたアングルポテンシャルＡである。
【図１０】車速に応じた視角である。
【図１１】視線方向を無効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。
【図１２】視線方向を有効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。
【図１３】操舵角と車速に応じた視線方向である。
【符号の説明】
【００２８】
１ 自動車
２ コントローラ
３ 前方カメラ
４ ドライバカメラ
６ ヘッドアップディスプレイ（ＨＵＤ）
７ 情報要求スイッチ
【技術分野】
【０００１】
本発明は、情報提示装置、これを備えた自動車、及び情報提示方法に関する。
【背景技術】
【０００２】
障害物を検知したときに、運転者に注意を喚起するために、この障害物をヘッドアップディスプレイで強調して表示し、運転者の視線方向に基づいて運転者が障害物を認識できたと判断したら、煩わしさを低減するために、障害物の強調を弱めた表示に切り替えるものがあった（特許文献１参照）。
【特許文献１】特開２００５−１３５０３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載された従来例にあっては、運転者が既に認識した情報を、不必要に提示し続けることを回避しているに過ぎないので、より積極的な、予測能力の強化や運転余裕の拡大という観点からすると、改善の余地がある。
本発明の課題は、運転者が必要とする情報を、いち早く詳細に提示することである。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明に係る情報提示装置は、車両前方の環境を撮像し、撮像した画像から運転者にとって認識不可能な遠方物体を選択し、選択した遠方物体の拡大画像を表示することを特徴とする。
【発明の効果】
【０００５】
本発明に係る情報提示装置によれば、運転者にとって認識不可能な遠方物体の拡大画像を表示することで、運転者が必要とする情報を、いち早く詳細に提示することができる。
【発明を実施するための最良の形態】
【０００６】
以下、本発明を実施するための最良の形態を図面に基づいて説明する。
《一実施形態》
《構成》
図１は、本発明の概略構成である。自動車１には、例えばマイクロコンピュータで構成されたコントローラ２と、例えばインサイドミラーに設けられ車両前方の環境を撮像する前方カメラ３と、例えばステアリングコラムに設けられ運転者の眼球を撮像するドライバカメラ４と、フロントウィンドウガラス５の所定範囲に表示光線を投影して画像を映し出すヘッドアップディスプレイ（以下、ＨＵＤと称す）６と、が搭載されている。
【０００７】
コントローラ２は、ステアリングホイール７に設けられた情報要求スイッチ７が、運転者によってＯＮにされたときに、図２の情報提示処理を、所定のサンプリング周期で実行する。
先ずステップＳ１では、前方カメラ３で撮像した画像に基づいて、車両前方の環境を認識する。
続くステップＳ２では、後述する図３のポテンシャル算出処理を実行し、上記ステップＳ１で認識できた前方物体ごとに、その拡大画像の表示を運転者が望んでいる希望度合を判断し、この希望度合を数値化したものをポテンシャルＰとして算出する。
続くステップＳ３では、ポテンシャルＰが所定値以上の前方物体を、拡大画像の表示対象として選択する。
【０００８】
続くステップＳ４では、表示対象として選択された前方物体のうち、運転者にとって存在は認知可能で、且つ詳細が認識不可能な遠方物体だけを選択する。ここで、認知可能で且つ認識不可能な遠方物体とは、図４に示すように、画像データ上の面積Ｓが所定値Ｓ1以上で、且つ所定値Ｓ2以下となるほど遠くに存在する物体のことである（Ｓ1≦Ｓ≦Ｓ2）。すなわち、Ｓ＜Ｓ1であれば存在は認知不可能と判断し、Ｓ＞Ｓ2であれば詳細は認識可能と判断する。勿論、所定値Ｓ1及びＳ2は、一律にするのではなく、前方物体の種類に応じて、変更することが望ましい。
【０００９】
続くステップＳ５では、拡大画像の表示位置を決定する。ここでは、運転者から見て、表示対象となる遠方物体の近傍で、且つポテンシャルＰが所定値以上の前方物体とは重ならない位置、つまりポテンシャルＰの低い位置に決定する。
続くステップＳ６では、ＨＵＤ６によって、拡大画像を表示してから所定のメインプログラムに復帰する。
【００１０】
次に、図３のポテンシャル算出処理について説明する。
先ずステップＳ２１では、前方物体ごとに、その種類、及び走行道路の種類に応じて、重みＷを算出する。ここでは、前方物体を、『交通標識』、『経路案内標識』、『車』、『人』、『看板』の５種類に分類し、走行道路を、『高速道路』、『市外道路』、『市内道路』、『住宅街道路』の４種類に分類する。そして、図５に示すように、例えば『高速道路』では『経路案内標識』の重みＷを大きくし、『住宅街道路』では『人』の重みＷを大きくする等して、走行シーンに最適な重みＷを算出する。図６は、『市外道路』での一例である。
【００１１】
なお、情報要求スイッチ７に、運転者が特定の前方物体を選択してその重みＷを変更できる調整機能を付加してもよい。例えば、運転者が『人』の重みＷを大きくしたときは、この調整内容を優先し、『市外道路』であっても、図７に示すように、『人』の重みＷを最大値に設定すればよい。
続くステップＳ２２では、ポテンシャルＰの算出に際し、運転者の視線方向を無効にするか有効にするかを決定する。これは、情報要求スイッチ７による運転者の入力によって決定してもよいし、視線方向を検出可能な条件を満足しているか否かによって決定してもよい。ここで、視線方向を無効にするときには、後述するステップＳ２６に移行する。一方、視線方向を有効にするときには、ステップＳ２３に移行する。
【００１２】
ステップＳ２３では、運転者の視線を検出する。例えば、ドライバカメラ４で撮像した画像データに基づいて、眼球中心と瞳孔中心とを算出し、眼球中心から瞳孔中心に向かうベクトルを算出することにより、運転者の視線を検出する。
続くステップＳ２４では、前方物体ごとに、運転者の視線と視野に応じて、アングルポテンシャルＡを算出する。図８は、日本人の一般的な視野を示しており、視線の先にある視点を中心として注視野、静視野、及び動視野の領域が定まるので、図９の制御マップを参照し、前方物体の視角に応じて、アングルポテンシャルＡを算出する。この制御マップは、図９に示すように、視角が大きくなるほど（注視角＜静視角＜動視角）、アングルポテンシャルＡが１から０の範囲で小さくなるように設定されている。
【００１３】
なお、運転者の視野は車速によっても変化するので、図１０の制御マップを参照し、車速が高くなるほど、注視角、静視角、動視角が小さくなるように設定する。
続くステップＳ２５では、下記（１）式に示すように、重みＷとアングルポテンシャルＡとの乗算によって、前方物体ごとに、ポテンシャルＰを算出してから図３のポテンシャル算出処理を終了する。ここで、ｘ及びｙは画像データ上の座標を表している。
Ｐ(x,y)＝Ｗ(x,y)×Ａ(x,y) ………（１）
一方、ステップＳ２６では、運転者の視線方向に関係なく、全ての前方物体のアングルポテンシャルＡを“１”に設定してから上記ステップＳ２５に移行する。
【００１４】
《作用》
今、運転者が情報要求スイッチ７をＯＮにして遠方物体の情報提示を希望したとする。
このとき、前方カメラ３で撮像した車両前方の環境を認識し（ステップＳ１）、前方物体ごとに、運転者の拡大画像に対する希望度合を表すポテンシャルＰを算出し（ステップＳ２）、前方物体のうち、ポテンシャルＰが所定値以上の前方物体を選択し（ステップＳ３）、更にその中から、運転者にとって認知可能で、且つ認識不可能な遠方物体だけを選択する（ステップＳ４）。こうして選択された遠方物体の拡大画像を、ＨＵＤ６によって、その遠方物体の近傍で、且つポテンシャルＰの低い位置に表示することにより（ステップＳ５、Ｓ６）、運転者が必要とする情報を、いち早く詳細に提示する。
【００１５】
ポテンシャルＰの算出には、重みＷ、及びアングルポテンシャルＡという２つの要素を用いる（ステップＳ２５）。
例えば、高速道を走行しているときには、経路案内標識に対する関心が高くなり、住宅街道路を走行しているときには、人に対する関心が高くなるというように、走行環境によって、前方物体に対する運転者の関心度合は異なる。そのため、第１の要素となる重みＷは、前方物体の種類、及び走行道路の種類に応じて決定する（ステップＳ２１）。
【００１６】
また、関心が高ければ、そこに自然と運転者の視線が向けられるので、第２の要素となるアングルポテンシャルＡは、運転者の視線と視野に応じて決定することにより（ステップＳ２３、Ｓ２４）、特に運転者の注視野から外れている物体のポテンシャルＰを減少させる。このとき、運転者の注視野、静視野、動視野の夫々を特定する注視角、静視角、動視角を、車速に応じて変更することにより、正確な視野を算出する。
但し、運転者が視線方向の無効を望んだときや、視線の検出精度が低いときには（ステップＳ２２の判定が“No”）、アングルポテンシャルＡは“１”に設定することにより（ステップＳ２６）、ポテンシャルＰの算出に対して運転者の視線方向を無効にする。
【００１７】
図１１は、視線方向を無効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例であり、ポテンシャルＰの大きさは色の明暗で表され、色が明るいほどポテンシャルＰが高いことを意味している。ここでは、前方左側の『看板』と、前方右側の『人』及び『経路案内標識』のポテンシャルＰが所定値以上となった状態を示しており（白色領域）、夫々の拡大画像をＨＵＤ６に表示している。『人』の場合は、少なくとも肩から上の頭部を拡大して画像表示する。これにより、運転者にとって認識しづらいほど遠くに存在しているとしても、『看板』や『経路案内標識』の内容、そして『人』の顔を認識することが可能となる。また、拡大画像は、その遠方物体の近傍で、且つポテンシャルＰの低い領域（黒色領域）に表示されるので、表示対象とその近傍に存在するポテンシャルＰの高い物体を隠してしまうことはない。
【００１８】
図１２は、視線方向を有効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。ここでは、運転者の視線が前方右側の『人』に向けられ、前方左側の『看板』や前方右側の『経路案内標識』のポテンシャルＰは所定値未満となった状態を示しており、ポテンシャルＰが所定値以上となった『人』の拡大画像だけをＨＵＤ６に表示している。これにより、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止する。
【００１９】
そして、車両が前進するにつれて遠方物体へと徐々に近づくほど、前方カメラ３で撮像した画像データは鮮明になってゆくので、ＨＵＤ６に表示する拡大画像も徐々に鮮明になってゆく。そして、拡大画像を表示していた遠方物体を運転者が認識可能な距離まで接近したら、その物体は拡大画像の表示を要するほどの遠方物体としては認識されなくなり、拡大画像の表示を終了する。
また、車両前方の環境を撮像する前方カメラ３を、運転者の視点よりも高い位置にあるインサイドミラー等に設けることで、より立体的な画像（バードビュー画像）を提示することが可能になる。
【００２０】
《応用例》
上記の一実施形態では、ドライバカメラ４で運転者の眼球を撮像し、その画像データに基づいて運転者の視線を検出しているが、運転者の視線移動特性に基づいて、運転者の視線を推定してもよい。すなわち、図１３に示すように、ステアリング操作をすれば視線は左右に移動し、車速が高くなれば視線は上方に移動するという特性があるので、操舵角から左右方向の視線を算出（推定）し、車速から上下方向の視線を算出（推定）してもよい。これによれば、画像処理によって視線方向を検出するよりも演算負担を軽減し、容易に運転者の視線方向を算出することができる。勿論、画像処理による検出結果、及び操舵角と車速に基づいた推定結果の何れか一方を選択的に用いたり、又は双方を用いたりしてもよい。
【００２１】
《効果》
以上より、前方カメラ３が「撮像手段」に対応し、ステップＳ１〜Ｓ４の処理が「選択手段」に対応し、ＨＵＤ６とステップＳ５、Ｓ６の処理とが「表示手段」に対応し、ステップＳ２３、Ｓ２４の処理が「算出手段」に対応する。
（１）車両前方の環境を撮像する撮像手段と、撮像手段で撮像した画像から運転者にとって認識不可能な遠方物体を選択する選択手段と、選択手段で選択した遠方物体の拡大画像を表示する表示手段とを備える。
このように、運転者にとって認識不可能な遠方物体の拡大画像を表示することで、運転者が必要とする情報を、いち早く詳細に提示することができ、予測能力の強化や運転余裕の拡大に資する。
【００２２】
（２）選択手段は、運転者にとって認識不可能な遠方物体ごとに、拡大画像の表示を運転者が望んでいる希望度合を判断し、判断した希望度合が所定値以上の遠方物体だけを選択する。
これにより、希望度合が高いと判断された遠方物体の拡大画像だけが表示されるので、運転者が必要とする情報だけを提示することができる。したがって、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止できる。
【００２３】
（３）選択手段は、遠方物体の種類及び走行道路の種類に応じて希望度合を判断する。
これにより、走行環境に合わせて適切な希望度合を判断することができる。
（４）運転者の視線及び視野を算出する算出手段を備え、選択手段は、算出手段で算出した運転者の視線及び視野に応じて、希望度合を判断する。
これにより、運転者が必要とする情報だけを提示することができる。したがって、拡大画像の無駄な提示を避け、運転者に違和感を与えたり消費電力が増大したりすることを防止できる。
【００２４】
（５）算出手段は、車速に応じて運転者の視野を算出する。
これにより、正確な視野を算出することができる。
（６）算出手段は、操舵角に応じて左右方向の視線を算出すると共に、車速に応じて上下方向の視線を算出する。
これによれば、画像処理によって視線を検出するよりも演算負担を軽減し、容易に運転者の視線を推定することができる。
【００２５】
（７）表示手段は、運転者から見た車両前方の環境に重畳させて画像を表示可能なヘッドアップディスプレイを備え、ヘッドアップディスプレイにより、選択手段が選択した遠方物体の拡大画像を、運転者から見て、この遠方物体の近傍で、且つ希望度合が所定値以上の遠方物体とは重ならない位置に表示する。
これにより、拡大画像の表示対象とその近傍に存在する希望度合の高い物体を、拡大画像によって隠してしまうことを防止できる。
【００２６】
（８）表示手段は、拡大画像の表示を要求する運転者の要求操作を検知したら、つまり情報急操作スイッチ７がＯＮにされたら、選択手段が選択した遠方物体の拡大画像を表示する。
これにより、運転者が遠方物体の情報提示を望んだときだけ、その拡大画像を表示することができるので、運転者の希望に即した情報提示が可能になる。
（９）撮像手段は、運転者の視点よりも高い位置から、車両前方の環境を撮像する。
これにより、より立体的で分かりやすい画像（バードビュー画像）を提示することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の概略構成図である。
【図２】情報提示処理のフローチャートである。
【図３】ポテンシャル算出処理のフローチャートである。
【図４】物体面積と視認性の関係である。
【図５】物体種類と道路種類とに応じた重みＷである。
【図６】市外道路での重みＷである。
【図７】運転者の指定操作後における市外道路での重みＷである。
【図８】一般的な視野である。
【図９】視角に応じたアングルポテンシャルＡである。
【図１０】車速に応じた視角である。
【図１１】視線方向を無効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。
【図１２】視線方向を有効にしたときのポテンシャルＰの算出結果と、その算出結果に従った拡大画像の表示例である。
【図１３】操舵角と車速に応じた視線方向である。
【符号の説明】
【００２８】
１ 自動車
２ コントローラ
３ 前方カメラ
４ ドライバカメラ
６ ヘッドアップディスプレイ（ＨＵＤ）
７ 情報要求スイッチ
【特許請求の範囲】
【請求項１】
車両前方の環境を撮像する撮像手段と、該撮像手段で撮像した画像から運転者にとって認識不可能な遠方物体を選択する選択手段と、該選択手段で選択した遠方物体の拡大画像を表示する表示手段と、を備えることを特徴とする情報提示装置。
【請求項２】
前記選択手段は、運転者にとって認識不可能な遠方物体ごとに、拡大画像の表示を運転者が望んでいる希望度合を判断し、判断した希望度合が所定値以上の遠方物体だけを選択することを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記選択手段は、前記遠方物体の種類、及び走行道路の種類に応じて、前記希望度合を判断することを特徴とする請求項２に記載の情報提示装置。
【請求項４】
運転者の視線及び視野を算出する算出手段を備え、
前記選択手段は、前記算出手段で算出した運転者の視線及び視野に応じて、前記希望度合を判断することを特徴とする請求項２又は３に記載の情報提示装置。
【請求項５】
前記算出手段は、車速に応じて運転者の視野を算出することを特徴とする請求項４に記載の情報提示装置。
【請求項６】
前記算出手段は、操舵角に応じて左右方向の視線を算出すると共に、車速に応じて上下方向の視線を算出することを特徴とする請求項４又は５に記載の情報提示装置。
【請求項７】
前記表示手段は、運転者から見た車両前方の環境に重畳させて画像を表示可能なヘッドアップディスプレイを備え、該ヘッドアップディスプレイにより、前記選択手段が選択した遠方物体の拡大画像を、運転者から見て、当該遠方物体の近傍で、且つ前記希望度合が所定値以上の遠方物体とは重ならない位置に表示することを特徴とする請求項２〜６の何れか一項に記載の情報提示装置。
【請求項８】
前記表示手段は、拡大画像の表示を要求する運転者の要求操作を検知したら、前記選択手段が選択した遠方物体の拡大画像を表示することを特徴とする請求項１〜７の何れか一項に記載の情報提示装置。
【請求項９】
前記撮像手段は、運転者の視点よりも高い位置から、車両前方の環境を撮像することを特徴とする請求項１〜８の何れか一項に記載の情報提示装置。
【請求項１０】
車両前方の環境を撮像し、撮像した画像から運転者にとって認識不可能な遠方物体を選択し、選択した遠方物体の拡大画像を表示することを特徴とする情報提示装置。
【請求項１１】
情報提示装置を備えた自動車において、
前記情報提示装置は、
車両前方の環境を撮像する撮像手段と、該撮像手段で撮像した画像から運転者にとって認識不可能な遠方物体を選択する選択手段と、該選択手段で選択した遠方物体の拡大画像を表示する表示手段と、を備えることを特徴とする自動車。
【請求項１２】
車両前方の環境を撮像し、撮像した画像から運転者にとって認識不可能な遠方物体を選択し、選択した遠方物体の拡大画像を表示することを特徴とする情報提示方法。
【請求項１】
車両前方の環境を撮像する撮像手段と、該撮像手段で撮像した画像から運転者にとって認識不可能な遠方物体を選択する選択手段と、該選択手段で選択した遠方物体の拡大画像を表示する表示手段と、を備えることを特徴とする情報提示装置。
【請求項２】
前記選択手段は、運転者にとって認識不可能な遠方物体ごとに、拡大画像の表示を運転者が望んでいる希望度合を判断し、判断した希望度合が所定値以上の遠方物体だけを選択することを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記選択手段は、前記遠方物体の種類、及び走行道路の種類に応じて、前記希望度合を判断することを特徴とする請求項２に記載の情報提示装置。
【請求項４】
運転者の視線及び視野を算出する算出手段を備え、
前記選択手段は、前記算出手段で算出した運転者の視線及び視野に応じて、前記希望度合を判断することを特徴とする請求項２又は３に記載の情報提示装置。
【請求項５】
前記算出手段は、車速に応じて運転者の視野を算出することを特徴とする請求項４に記載の情報提示装置。
【請求項６】
前記算出手段は、操舵角に応じて左右方向の視線を算出すると共に、車速に応じて上下方向の視線を算出することを特徴とする請求項４又は５に記載の情報提示装置。
【請求項７】
前記表示手段は、運転者から見た車両前方の環境に重畳させて画像を表示可能なヘッドアップディスプレイを備え、該ヘッドアップディスプレイにより、前記選択手段が選択した遠方物体の拡大画像を、運転者から見て、当該遠方物体の近傍で、且つ前記希望度合が所定値以上の遠方物体とは重ならない位置に表示することを特徴とする請求項２〜６の何れか一項に記載の情報提示装置。
【請求項８】
前記表示手段は、拡大画像の表示を要求する運転者の要求操作を検知したら、前記選択手段が選択した遠方物体の拡大画像を表示することを特徴とする請求項１〜７の何れか一項に記載の情報提示装置。
【請求項９】
前記撮像手段は、運転者の視点よりも高い位置から、車両前方の環境を撮像することを特徴とする請求項１〜８の何れか一項に記載の情報提示装置。
【請求項１０】
車両前方の環境を撮像し、撮像した画像から運転者にとって認識不可能な遠方物体を選択し、選択した遠方物体の拡大画像を表示することを特徴とする情報提示装置。
【請求項１１】
情報提示装置を備えた自動車において、
前記情報提示装置は、
車両前方の環境を撮像する撮像手段と、該撮像手段で撮像した画像から運転者にとって認識不可能な遠方物体を選択する選択手段と、該選択手段で選択した遠方物体の拡大画像を表示する表示手段と、を備えることを特徴とする自動車。
【請求項１２】
車両前方の環境を撮像し、撮像した画像から運転者にとって認識不可能な遠方物体を選択し、選択した遠方物体の拡大画像を表示することを特徴とする情報提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−２８０２０３（Ｐ２００７−２８０２０３Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０７７５４（Ｐ２００６−１０７７５４）
【出願日】平成１８年４月１０日（２００６．４．１０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月１０日（２００６．４．１０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]