道路環境情報通知装置及び道路環境情報通知プログラム
【課題】廉価に構築でき、運転者が目視によって知覚するよりも早く有用な道路環境情報をリアルタイムに運転者に提供でき、且つ画像認識の結果情報の信頼性を向上できる道路環境情報通知装置を提供する。
【解決手段】画像認識手段１１０２は、撮像手段１１０１が撮像した画像情報から認識対象物体を抽出する。画像認識結果情報生成手段１１０４は、画像認識の結果の情報と、車両位置測位手段１１０３からの自車両の絶対位置とに基づいて、画像認識結果情報を生成する。道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報と、一時刻前の道路環境再現データとを統合して、最新の道路環境再現データを生成する。そして、情報通知手段１１１３は、道路環境再現データ統合生成手段１１０８が生成した道路環境再現データに含まれる情報を運転者に通知する。
【解決手段】画像認識手段１１０２は、撮像手段１１０１が撮像した画像情報から認識対象物体を抽出する。画像認識結果情報生成手段１１０４は、画像認識の結果の情報と、車両位置測位手段１１０３からの自車両の絶対位置とに基づいて、画像認識結果情報を生成する。道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報と、一時刻前の道路環境再現データとを統合して、最新の道路環境再現データを生成する。そして、情報通知手段１１１３は、道路環境再現データ統合生成手段１１０８が生成した道路環境再現データに含まれる情報を運転者に通知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載報知装置の車載カメラで撮像した映像から、カーナビゲーションシステムやＶＩＣＳ情報では提供されない、道路標識、路面標識、信号機、歩行者、及び周辺車両等の属性や存在位置等の情報を時々刻々と画像認識によって認識し、各車両が認識した情報を、ネットワークを介して、集約、統合、または配信することによって、運転者の行動決定に有益で信頼性の高い情報をリアルタイムに提供する道路環境情報通知装置及び道路環境情報通知プログラムに関する。
【背景技術】
【０００２】
車両（自動車等）の運転者の行動決定を支援するシステムとして、カーナビゲーションシステムが普及している。カーナビゲーションシステムは、地図情報及びＶＩＣＳ（Vehicle Information and Communication System；交通情報通信システム）情報を利用して、道路の位置、道路の混雑状況、自車両の現在位置、目的地への経路等の情報をモニタによる図形表示または音声によって運転者に通知し、運転者の行動を支援するシステムである。
【０００３】
しかし、カーナビゲーションシステムは、一時停止標識等の道路標識、信号の状態、または道路上における車両や歩行者の有無等物体に関する情報（以下、道路環境情報という。）を提供できないため、運転者は、道路標識や歩行者等を見逃さないように注意を払って運転しなければならない。そこで、運転者による道路環境情報の取得を補助するシステムとして、運転者が運転する自車両に搭載されたカメラによって道路標識等の道路環境情報を認識し、文字、図形、または音声によって運転者に道路環境情報を通知するリアルタイム情報提供システムが、特許文献１、特許文献２、特許文献３、及び非特許文献１に開示されている。
【０００４】
これらのリアルタイム情報提供システムによって、道路標識や歩行者等の物体情報の発見に注がれていた運転者の負荷を軽減することができる。また、これらのリアルタイム情報提供システムを実現するためには、車両内にカメラ付きカーナビゲーションシステムのみを設置すればよいので、必要機器の設置及びシステムの維持が容易であり、廉価にシステムを構築できる。
【０００５】
また、我が国の国土交通省は、人と道路と車両とをネットワークで結び交通事故等の解消を目指す高度道路交通システム（ＩＴＳ；Intelligent Transport Systems ）を提唱している。高度道路交通システム構想の1つの柱である走行支援道路システム（ＡＨＳ：Advanced cruise-assist Highway Systems）は、（１）道路に設置されたセンサ等のインフラストラクチャが発信する歩行者、車両位置情報及び路面状態情報、（２）信号機が発信する信号機点灯情報、（３）他車両が発信する他車両位置情報を、各車両に設置される受信装置が受信することによって、各車両の完全自動走行を実現することを目的とする技術である（例えば、非特許文献２参照。）。
【０００６】
また、道路脇に設置されるカメラで撮像した映像を、ネットワークを介して運転者に提供する交通情報提供システムが、非特許文献３参照に開示されている。
【０００７】
さらに、ＧＰＳ（Global Positioning System ）による車両位置情報を、ネットワークを介して車両間で送受信し、車両同士の衝突及び車両が道路路肩に衝突するのを回避するシステムが、非特許文献４、非特許文献５、及び非特許文献６参照に開示されている。
【０００８】
【特許文献１】特開２０００−６７３７４号公報（第４−６頁、第１図、第２図）
【特許文献２】特開平１０−１７７６９９号公報（第３−５頁、第１図）
【特許文献３】特開２００１−８４４９６号公報（第４−８頁、第１図、第８図、第 １０図）
【非特許文献１】米国特許第６３１１１２３号明細書
【非特許文献２】国土交通省編、”ＡＨＳ”、[online]、平成１４年４月 １日、国土交通省、［平成１４年９月９日検索］、インターネット＜ URL : http://www.nilim.go.jp/japanese/its/fields/ahs/＞
【非特許文献３】米国特許第５３９６４２９号明細書
【非特許文献４】米国特許第６４０５１３２号明細書
【非特許文献５】米国特許第６３７０４７５号明細書
【非特許文献６】米国特許第６２７５７７３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、自車両の車載カメラによって道路環境情報を通知する従来のリアルタイム情報提供システムは、運転者が自ら知覚可能な情報を、運転者が知覚するのとほぼ同時刻に運転者に提供するにすぎない。よって、従来のリアルタイム情報提供システムによって、運転者の不注意による道路環境情報の見落としを低減することはできるが、運転者が特定の時刻において自ら知覚できない他の有用な道路環境情報を取得し、運転者に提供することはできない。
【００１０】
例えば、道路を走行中に、車高の高い車両（例えば、トレーラ等）が自車両の前方視界を遮っており、運転者が前方の信号の点灯状態（例えば、赤信号であるか、青信号であるか等）や前方道路上の路肩駐車車両の有無等の道路状況をできるだけ早く把握したい場合に、従来のリアルタイム情報提供システムは、運転者自らが知覚する前に、信号の点灯状態や前方車両の有無の情報を運転者に通知できない可能性がある。
【００１１】
また、一般にコンピュータビジョン（Computer vision）と呼ばれる物体認識の技術の性能は、人間の視覚能力に比べて低い。従って、自車両に設置されたカメラと認識対象物体との位置関係や日照条件等によっては、認識対象物体をうまく認識できない場合があるが、従来のリアルタイム情報提供システムは、このようなコンピュータビジョン技術の物体認識における不完全さを補う手段を持たない。
【００１２】
また、ＡＨＳでは、道路上に隈無くセンサ等のインフラストラクチャを設置するので、運転者が目視により知覚するよりも早く正確な道路環境情報を運転者に通知できる。しかし、道路へのセンサ等のインフラストラクチャの設置と、インフラストラクチャの維持及び管理とに多額の費用が必要であるので、コスト面と実現可能性の面において問題を有する。また、道路に設置されたインフラストラクチャと車両との間で通信される情報と、各車両間で通信される情報とは常に正しい情報であることを前提としているので、不正確な情報を送受信した場合に情報の不正確さを補う仕組みや、不正確な情報を統合する仕組みを有していない。
【００１３】
また、ＧＰＳによる車両位置情報をネットワークを介して各車両間で送受信するシステムでは、ガードレール、信号機、または道路標識等から位置情報信号を送信できるようにするために膨大なインフラストラクチャ投資が必要である。また、そのシステムでは、正確な位置情報を送受信できるが、不正確な要素を含む画像認識の結果情報を授受して統合する仕組みを有していない。
【００１４】
そこで、本発明は、道路にインフラストラクチャを設置せずに廉価に構築でき、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供でき、且つ画像認識の結果情報の信頼性を向上できる道路環境情報通知装置及び道路環境情報通知プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明による道路環境情報通知装置は、車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知する道路環境情報通知装置であって、車両周辺を撮像して画像情報を出力する撮像手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する画像認識結果情報送信手段と、他の車両からの画像認識結果情報を、受信する画像認識結果情報受信手段と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えたことを特徴とする。
【００１６】
そのような構成によれば、道路にインフラストラクチャ及び情報センタを設置せずに廉価に装置を構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【００１７】
道路環境情報通知装置は、車両の絶対位置を把握する車両位置把握手段と、画像認識手段が出力する画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識結果情報を生成する画像認識結果情報生成手段と、画像認識結果情報生成手段が生成した自車両の画像認識結果情報、及び受信した他の車両の画像認識結果情報の履歴情報を記憶する画像認識結果情報記憶手段と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果、及び推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段とを備えたものであることが好ましい。
【００１８】
そのような構成によれば、認識対象物体の絶対位置の情報を含んだ画像認識結果情報を生成でき、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果と、その推定結果の確かさを示す総合確信度との情報を含んだ道路環境再現データを生成できる。
【００１９】
道路環境情報通知装置は、道路環境再現データ統合生成手段が出力する道路環境再現データから、運転者に重要であると判断される情報を、道路環境再現データから選択して抽出する重要情報選択手段を備えたものであることが好ましい。
【００２０】
そのような構成によれば、道路再現データに含まれる情報のうち運転者に重要な情報のみを通知することができる。
【００２１】
車両内に設置される道路環境通知装置において、画像認識手段は、撮像された画像情報に基づいて画像認識をすることによって、認識対象物体の属性、車両に対する相対位置、及び認識時刻を抽出し、且つ画像認識によって得られた結果の確かさを示す認識確信度を算出して、属性、相対位置、認識時刻、及び認識確信度を含む画像認識の結果の情報を出力し、画像認識結果情報生成手段は、画像認識情報に含まれる認識対象物体の車両に対する相対位置と、車両位置把握手段が取得する車両の絶対位置とに基づいて、認識対象物体の絶対位置を算出し、認識対象物体の絶対位置、属性、認識時刻、及び認識確信度を含む情報を画像認識結果情報として出力し、道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報に含まれる認識確信度と一時刻前における道路環境再現データに含まれる総合確信度との値に基づいて、画像認識結果情報の履歴情報に含まれる情報の内容と道路環境再現データに含まれる情報の内容とを統合することによって、現時刻における認識対象物体の絶対位置及び属性の推定結果を算出し、推定結果に基づいて道路環境再現データの内容を更新することによって、最新の道路環境再現データを生成し、情報通知手段は、重要情報選択手段が抽出した情報を、映像による表示または音声にて運転者に通知するものであることが好ましい。
【００２２】
そのような構成によれば、画像認識手段が認識した画像認識の結果の確かさを示す認識確信度を考慮して道路環境再現データを生成でき、且つ、運転者に視覚的または音声により情報を通知できる。
【００２３】
車両内に設置される道路環境通知装置において、道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が画像認識結果情報受信手段が新たに受信した画像認識結果情報を記憶した場合に、画像認識結果情報の履歴情報に含まれる認識確信度の平均値を算出することによって、総合確信度を算出するものであってもよい。
【００２４】
そのような構成によれば、過去の画像認識結果情報の履歴情報を考慮して、総合確信度を算出できる。
【００２５】
車両内に設置される道路環境通知装置において、道路環境再現データ統合生成手段は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、受信した画像認識結果情報に含まれる認識確信度を認識対象物体に対する総合確信度とするものであってもよい。
【００２６】
そのような構成によれば、新たに認識された認識対象物体に対応する道路環境再現データを生成できる。
【００２７】
道路環境再現データ統合生成手段は、認識対象物体の属性が時間経過に従って変化する場合、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成するものであってもよい。
【００２８】
そのような構成によれば、信号機や歩行者等の時間経過に従って属性が変化する認識対象物体についても信頼性の高い道路環境情報を運転者に通知できる。
【００２９】
道路環境再現データ統合生成手段は、画像認識結果情報受信手段が特定の認識対象物体の情報を含む画像認識結果情報を予め定めた一定時間の間受信しない場合には、道路環境再現データ記憶手段が記憶する道路環境再現データのうち、認識対象物体に対応する道路環境再現データを削除するものであってもよい。
【００３０】
そのような構成によれば、不要となった道路環境再現データを削除することができる。
【００３１】
画像認識結果情報生成手段は、車両を特定するための車両番号情報を含んだ画像認識結果情報を生成し、道路環境再現データ統合生成手段は、画像認識結果情報受信手段が受信した画像認識結果情報の内容が道路環境再現データの内容と一致しない場合に、画像認識結果情報に含まれる車両番号情報を予め定めた一定時間の間記憶し、特定の車両番号情報の車両から受信した画像認識結果情報内容が予め定めた頻度を超える割合で道路環境再現データの内容と一致しない場合には、車両から受信した画像認識情報に含まれる認識確信度を低く見積もって新たな道路環境再現データを生成するものであってもよい。
【００３２】
そのような構成によれば、画像認識結果情報に信頼性の低い情報が含まれる場合にも、信頼性の高い道路環境情報を運転者に提供できる。
【００３３】
道路環境情報通知装置は、走行予定ルートに関する指示を入力する入力操作手段を備え、重要情報選択手段は、走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出するものであってもよい。
【００３４】
そのような構成によれば、予め指示された走行予定ルートに関する道路環境情報を選択して運転者に通知できる。
【００３５】
入力操作手段は、取得したい情報の指定を入力する機能を有し、重要情報選択手段は、入力操作手段によって入力された指定に基づいて情報を選択して抽出するものであってもよい。
【００３６】
そのような構成によれば、予め指定された種類の認識対象物体に関する道路環境情報を選択して運転者に通知できる。
【００３７】
入力操作手段は、画像認識結果情報を他の車両に送信するか否かの指定を入力する機能を有し、画像認識結果情報送信手段は、入力操作手段の入力によって画像認識結果情報を送信する旨の指定がされている場合にのみ、前記画像認識結果情報を送信するものであってもよい。
【００３８】
そのような構成によれば、運転者が他人に自車両の位置を知られたくない場合に、自車両からの情報の送信をしないように設定できる。
【００３９】
道路環境情報通知装置は、画像認識結果情報生成手段が出力する画像認識結果情報の内容と、道路環境再現データの内容とが、予め定めた頻度を超えて一致しない場合に不具合が発生していると判断することによって、撮像手段若しくは画像認識手段の動作状態を監視する動作状態監視手段を備え、情報通知手段は、動作状態監視手段が不具合を検出した場合に、検出した不具合に関する情報を運転者に通知するものであってもよい。
【００４０】
そのような構成によれば、運転者は、自車両に搭載された車載報知装置の不具合の発生を知ることができる。
【００４１】
道路環境情報通知装置は、撮像手段が撮像した映像を予め定めた一定時間の間記憶し、車両に対する衝撃を感知した場合に新しい映像の記録を中止して、衝撃を感知する直前の映像を保持する衝撃感知直前映像記憶手段を備えたものであってもよい。
【００４２】
そのような構成によれば、事故が発生した場合に迅速に事故原因の究明をすることができる。
【００４３】
道路環境情報通知装置は、車両の移動速度を感知する車両速度計測手段を備え、重要情報選択手段は、認識対象物体の属性が赤信号である信号機または一時停止標識である道路環境再現データについては、道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される車両から認識対象物体までの距離に対して、車両の移動速度が予め定めた閾値を超える場合にのみ、認識対象物体に関する道路環境再現データを選択して抽出するものであってもよい。
【００４４】
そのような構成によれば、赤信号の信号機または一時停止標識の場所に到達するまでに、運転者は余裕をもって自車両の移動速度を減速することができる。
【００４５】
道路環境情報通知装置は、受信した道路環境再現データに対応する認識対象物体が自車両から認識可能な位置にあり、且つ画像認識手段が認識対象物体を認識していない場合に、認識対象物体を判定する未抽出物体判定手段を備え、画像認識手段は、未抽出物体判定手段が判定した認識対象物体の情報に基づいて画像解析を行うトップダウン画像解析処理によって、未抽出物体を抽出するものであってもよい。
【００４６】
そのような構成によれば、自車両の画像認識手段が検出困難な認識対象物体であっても画像認識することができる。
【００４７】
本発明による道路環境情報通知プログラムは、車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知するための道路環境情報通知プログラムであって、コンピュータに、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する処理と、他の車両からの画像認識結果情報を、受信する処理と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する処理と、道路環境再現データに含まれる情報を運転者に通知する処理とを実行させるためのものである。
【００４８】
そのような構成によれば、道路にインフラストラクチャ及び情報センタを設置せずに廉価に装置を構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【発明の効果】
【００４９】
本発明による道路環境情報通知装置によれば、車両周辺を撮像して画像情報を出力する撮像手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する画像認識結果情報送信手段と、他の車両からの画像認識結果情報を、受信する画像認識結果情報受信手段と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えるように構成したので、道路にインフラストラクチャを設置せずに廉価に道路環境情報通知システムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【００５０】
本発明による道路環境情報通知プログラムによれば、コンピュータに、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する処理と、他の車両からの画像認識結果情報を、受信する処理と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する処理と、道路環境再現データに含まれる情報を運転者に通知する処理とを実行させるので、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【発明を実施するための最良の形態】
【００５１】
実施の形態１．
以下、本発明による道路環境情報通知装置の実施の形態について図面を参照して説明する。図１は、第１の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１に示す道路環境情報通知装置は、道路上を走行中の車両から送られる画像に基づく情報を情報センタが収集し、収集した情報に基づいて統合して生成した情報を車両に配信するシステムである。道路環境情報通知装置は、各車両内に設置される車載報知装置１０と、情報センタ内に設置される情報センタ内装置２０とを含む。
【００５２】
図１に示すように、車載報知装置１０は、車両周辺を撮像する撮像手段１０１と、画像を認識する画像認識手段１０２と、自車両の位置を測位する車両位置測位手段１０３と、画像認識結果情報を生成する画像認識結果情報生成手段１０４と、画像認識結果情報を情報センタ内装置２０に送信する画像認識結果情報送信手段１０５と、情報センタ内装置２０からの情報を受信する道路環境再現データ情報受信手段１１１と、運転者に重要な情報を選択する重要情報選択手段１１２と、運転者に情報を通知する情報通知手段１１３とを含む。
【００５３】
撮像手段は、ビデオカメラ、超音波センサ、赤外線センサ等によって実現される。車両位置測位手段１０３は、ＧＰＳ装置やジャイロスコープ等によって実現される。画像認識手段１０２、画像認識結果情報生成手段１０３、及び重要情報選択手段１１２は、例えば、車両に搭載されるカーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。画像認識結果情報送信手段１０５及び道路環境再現データ受信手段１１１は、例えば、カーナビゲーション装置の送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。情報通知手段１１３は、カーナビゲーション装置の表示部（モニタ等）と、その表示部を制御する制御部とによって実現される。
【００５４】
また、図１に示すように、情報センタ内装置２０は、車載報知装置１０からの情報を受信する画像認識結果情報受信手段１０６と、受信した情報を記憶する画像認識結果情報記憶手段１０７と、画像認識結果情報等を統合して道路環境再現データを生成する道路環境再現データ統合生成手段１０８と、道路環境再現データを記憶する道路環境再現データベース１０９と、車載報知装置１０に情報を送信する道路環境再現データ送信手段１１０とを含む。
【００５５】
情報センタ内装置は、ワークステーション等の情報処理装置である。画像認識結果情報受信手段１０６及び道路環境再現データ送信手段１１０は、例えば、情報処理装置等に実装される送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。画像認識結果情報記憶手段１０７は、情報処理装置の記憶装置によって実現される。道路環境再現データ統合生成手段１０８は、情報処理装置の記憶装置に記憶されるプログラムを実行する情報処理装置の制御部によって実現される。道路環境再現データベース１０９は、情報処理装置に接続されるデータベース装置等によって実現される。
【００５６】
なお、車載報知装置１０は、本来車両毎に設置されるが、車載報知装置１０の各手段の機能は全ての車両について同じなので、図１では、車両１台分のみの車載報知装置１０の構成を記載し、他の車両の車載報知装置１０の構成の記載は省略する。また、道路環境再現データ記憶手段は、道路環境再現データベース１０９によって実現され、車両位置把握手段は、車両位置測位手段１０３によって実現される。
【００５７】
車載報知装置１０の撮像手段１０１は、自車両の周辺の映像を時々刻々と撮像する。そして、撮像手段１０１は、撮像した映像を画像認識手段１０２に出力する。撮像手段１０１は、自車両の前方を撮像するための前方向きカメラを備え、前方向きカメラは、道路標識、路面標識、信号、店舗の看板、及び道路上を先行する車両や歩行者等を撮像する。
【００５８】
また、撮像手段１０１は、必要に応じて後方及び側方向きカメラを備えていてもよい。後方向きカメラは、後方車両等を撮像し、側方向きカメラは、店舗の看板、歩道上の歩行者、及び路地を走行中の車両や歩行者等を撮像する。
【００５９】
また、撮像対象の物体までの距離を測定するために、撮像手段１０１は、各向きに設置された複数台のカメラで撮像することによって、画像認識手段１０２にステレオ画像を出力してもい。また、撮像手段１０１は、各向きにカメラと組み合わせて、ミリ波レーダまたは超音波センサ等の距離測定用補助センサを備え、画像認識手段１０２にカメラが撮像した画像と距離測定用補助センサからの画像とを出力してもよい。
【００６０】
画像認識手段１０２は、撮像手段１０１が撮像した映像から、予めシステムに登録されている認識対象物体のパターンに基づいて、道路標識、路面標識、信号機、店舗看板、車両、または歩行者等の認識対象物体を抽出し、抽出した認識対象物体の属性、自車両との相対位置、及び画像認識処理の確信度（以下、認識確信度という。）を画像認識結果情報生成手段１０３に出力する。認識確信度とは、画像認識によって得られた結果の確かさを示す指標であり、値が大きいほど画像の認識結果が正確であることを示す。認識確信度は、一般に単純類似度法や複合類似度法と呼ばれる手法によって算出される。また、自車両と認識対象物体との相対位置は、ステレオカメラ映像または超音波センサ等から抽出される距離情報と、自車両の方位情報とに基づいて生成される。
【００６１】
また、例えば、ニューラルネットワークを用いて認識確信度を得ることもできる。その場合、多層ニューラルネットワークの出力層の値を算出し、算出した出力層の値を認識確信度とする。
【００６２】
図２は、撮像手段１０１が撮像した画像の例を示す説明図である。図２に示す例では、撮像手段１０１が出力する画像に、駐車禁止を示す道路標識２０１と、補助標識２０２とが含まれる。画像認識手段１０２は、図２に示す画像に基づいて、画像認識結果の情報を出力する。
【００６３】
図３は、画像認識手段１０２が図２に示す画像に基づいて出力する画像認識結果の情報の例を示す説明図である。画像認識結果の情報は、出力情報が道路標識に関するものであることを示すコード情報３０１と、自車両に対する標識の相対的な位置を示す相対位置情報３０２と、標識を認識した時刻である認識時刻３０３と、属性情報として標識の種類が駐車禁止の標識であることを示すコード情報３０４と、標識が効力をもつ日時を示す情報３０５と、標識が効力をもつ範囲を示す情報３０６と、画像認識結果の認識確信度３０７とを含む。なお、属性とは、認識対象物体が道路標識である場合には、道路標識の種類（例えば、一時停止標識、駐停車禁止標識）であり、認識対象物体が信号機である場合には、信号機の状態（例えば、赤信号や青信号）である。
【００６４】
図４は、画像認識手段１０２が出力する画像認識結果の情報の他の例を示す説明図である。他の認識対象物体に対する画像認識結果の情報の例として、撮像手段１０１が信号機のように時刻と共に属性が変化する対象物を撮像した場合の画像認識結果の情報の例を説明する。図４に示すように、画像認識結果の情報は、出力情報が信号機に関するものであることを示すコード情報４０１と、自車両に対する信号機の相対的な位置を示す相対位置情報４０２と、信号機の信号が効力を持つ道路範囲を示すコード情報４０３と、信号機を認識時刻である認識時刻４０４と、属性情報として信号機の点灯状態（青信号であるか、赤信号であるか等）を示すコード情報４０５と、画像認識結果の認識確信度４０６とを含む。
【００６５】
このような画像認識結果の情報のフォーマットは認識対象物体の種類毎に予め定められている。また、一枚の画像から複数の認識対象物体を認識した場合は、画像認識手段１０２は、各認識結果の情報を順次画像認識結果情報生成手段１０４に出力する。
【００６６】
車両位置測位手段１０３は、地球上における自車両の絶対位置をＧＰＳ等で取得し、画像認識結果情報生成手段１０４に出力する。画像認識結果情報生成手段１０４は、車両位置測位手段１０３から入力される自車両の絶対位置情報に基づいて、前記画像認識手段１０２から入力される認識結果に含まれる認識対象物体の相対位置を絶対位置に変換する。そして、画像認識結果情報生成手段１０４は、変換後の認識結果をコード化し、コード化した情報を画像認識結果情報として、画像認識結果情報送信手段１０５及び重要情報選択手段１１２に出力する。
【００６７】
画像認識結果情報送信手段１０５は、画像認識結果情報生成手段１０４から入力された画像認識結果情報を光信号または電波無線信号等に変換して、情報センタの情報センタ内装置２０に送信する。なお、車載報知装置１０と情報センタ内装置２０とは、例えば、ＶＩＣＳシステムの通信ネットワークであるＦＭ多重放送や光ビーコンのシステムを利用して、情報の送受信を行う。また、車載報知装置１０と情報センタ内装置２０とは、無線ＬＡＮ等の他の通信ネットワークを利用して、情報を送受信してもよい。
【００６８】
情報センタ内装置２０の画像認識結果情報受信手段１０６は、各車載報知装置１０から送信される画像認識結果情報を時々刻々と受信し、受信した画像認識結果情報を画像認識結果情報記憶手段１０７に出力する。
【００６９】
画像認識結果情報記憶手段１０７は、画像認識結果情報受信手段１０６から入力された画像認識結果情報を記憶する。そして、画像認識結果情報記憶手段１０７は、記憶した画像認識結果情報を、画像認識結果情報の履歴を示す情報（以下、履歴情報という。）として予め定めた一定時間保持する。
【００７０】
道路環境再現データベース１０９は、道路上の各認識対象物体に関する情報である道路環境再現データを記憶する。記憶される道路環境再現データは、認識対象物体が現時刻に存在すると推定される絶対位置の情報、属性情報、及び総合確信度の情報を含む。総合確信度の算出方法については後述する。道路環境再現データは、情報センタ内装置２０起動直後に初期化される。そして、初期化後においては、道路環境再現データは、道路環境再現データ統合生成手段１０８によって随時生成され、内容が更新される。
【００７１】
道路環境再現データ統合生成手段１０８は、道路環境再現データベース１０９に記憶されている道路環境再現データのうち、対応する認識対象物体に関する新たな画像認識結果情報が車載報知装置１０から一定時間受信されていない道路環境再現データを削除する。また、道路環境再現データ統合生成手段１０８は、受信した画像認識結果情報に含まれる認識対象物体に対応する道路環境再現データが道路環境再現データベース１０９に含まれていない場合には、その認識対象物体に対応する新しい道路環境再現データを生成する。
【００７２】
道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に保持される画像認識結果情報、及び道路環境再現データベース１０９に記憶される生成前（一時刻前）の道路環境再現データに基いて、認識対象物体の現時刻における絶対位置及び属性の推定結果を生成する。また、道路環境再現データ統合生成手段１０８は、生成した推定結果に対する総合確信度を算出し、その認識対象物体に対応する道路環境再現データの情報を生成する。
【００７３】
もし仮に、各車両の車載報知装置１０から送信される画像認識結果情報が常に正確な情報であれば、道路環境再現データ統合生成手段１０８は、最新の画像認識結果情報に含まれる情報を道路環境再現データに書き込むことによって、道路環境再現データを生成することができる。しかし、画像認識結果情報には誤った情報が含まれている可能性があるので、道路環境再現データ統合生成手段１０８は、過去の画像認識結果情報の履歴情報（または一時刻前の道路環境再現データに含まれる情報）を考慮して現時刻における絶対位置、属性等の推定結果を生成する。
【００７４】
道路環境再現データ統合生成手段１０８が、道路環境再現データを生成する手順について、具体的に説明する。図５は、画像認識結果情報受信手段１０６が受信した最新の画像認識結果情報の例を示す説明図である。図５に示すように、画像認識結果情報の情報は、北緯３５．００、東経１３６．００に存在する一時停止標識（属性＝一時停止）が、走行中の車両によって１８時６分に５０％の認識確信度で検出されたことを例示している。
【００７５】
図６は、認識対象物体であるその道路標識に対応する過去の画像認識結果情報の履歴情報（画像認識結果記憶手段１０７に記憶される）及び道路環境再現データ（道路環境再現データベース１０９に記憶される）の例を示す説明図である。図６（ａ）には、過去の１８時５分及び１８時３分における画像認識結果情報の履歴情報に、１８時５分及び１８時３分に認識確信度１００％でその道路標識が認識されていたことが例示されている。また、図６（ｂ）には、１８時５分時点に生成された道路環境再現データに含まれる総合確信度は、１００％であったことが例示されている。
【００７６】
図７は、道路環境再現データ統合生成手段１０８によって生成された最新の道路環境再現データの例を示す説明図である。道路環境再現データ統合生成手段１０８は、その道路標識に対する最新の総合確信度を、図６（ａ）に示される２回分の過去の画像認識結果情報の履歴情報と、図５に示される最新の画像認識結果情報とを含めた３回分の画像認識結果情報に含まれる認識確信度の平均値を求めることにより算出する。本例では、３回分の画像認識結果情報に含まれる認識確信度が１００％、１００％及び５０％であるので、道路環境再現データ統合生成手段１０８は、図７に示すように、最新の総合確信度を平均値８４％と判定する。
【００７７】
すなわち、画像認識結果情報受信手段１０６が道路標識に対する最新の画像認識結果情報を受信した場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に記憶される画像認識結果情報の履歴情報の中から、同一の認識対象物体に関する画像認識結果情報を抽出し、認識確信度の平均値を算出して、道路環境再現データの総合確信度を生成する。走行中の車両が複数台あり複数の車載報知装置１０から画像認識結果情報を受信する場合には、画像認識結果情報記憶手段１０７は、複数の車載報知装置１０から受信した画像認識結果情報の履歴情報を記憶し、道路環境再現データ統合生成手段１０８は、複数車両からの画像認識結果情報の履歴情報に基づいて、総合的に道路環境再現データを生成することができる。
【００７８】
なお、道路環境再現データ統合生成手段１０８は、３回分の認識確信度の平均値を算出することによって総合確信度を判定するのでなく、より多くの回数分の認識確信度の平均値を算出する等、他の算出基準によって総合確信度を判定してもよい。また、道路環境再現データ統合生成手段１０８は、最新の画像認識結果情報に含まれる認識確信度と、一時刻前の道路環境再現データに含まれる総合確信度との平均値を算出する等、他の情報を参酌することによって総合確信度を判定してもよい。
【００７９】
新たに取得した画像認識結果情報に含まれる認識確信度が過去に取得した画像認識結果情報に含まれる認識確信度に比べ劣化する状況は、車両の前方視界不良等の原因によって容易に発生する。車両が他の車両や情報センタとネットワークを介して情報を送受信できない環境のもとにある場合（すなわち、車両に搭載されている装置が単独で情報を運転者に提供するような場合）には、その車両の重要情報選択手段は、認識確信度の低い情報を運転者に通知しない可能性がある。本発明によれば、各車両が認識した画像認識結果情報がネットワークを介して情報センタの情報センタ内装置２０によって収集される。そして、情報センタ内装置２０によって総合的に集計され信頼度が増した情報が、後述する手段によって各車両に配信されるので、前方視界が遮られている車両等においても有効な道路環境情報を得ることができる。
【００８０】
次に、画像認識結果情報受信手段１０６が、信号機に関する情報を受信した場合を例に説明する。信号機は、属性が時間経過に従って変化するので、道路標識と異なり最新の画像認識結果情報のみに基づいて道路環境再現データを生成してもよい。例えば、ある信号機に関して、車両Ａ，Ｂ，Ｃから同一時刻に属性が赤信号であるとする情報を含む画像認識結果情報を受信し、画像認識結果情報に含まれる認識確信度がそれぞれ１００％，９０％，２０％であったとする。この場合において、道路環境再現データ統合生成手段１０８は、その信号機に対する現時刻の道路環境再現データの総合確信度を、受信した３つの画像認識結果情報に含まれる認識確信度を平均して（１００％＋９０％＋２０％）／３＝７０％であると判定することができる。
【００８１】
次に、画像認識結果情報受信手段１０６が、同一時刻に矛盾する内容の画像認識結果情報を受信した場合を例に説明する。例えば、ある信号機に関して、車両Ａ，Ｂ，Ｃから同一時刻に属性が赤信号であるとする情報を含む画像認識結果情報を受信すると同時に、車両Ｄからその信号機が黄信号であるとする情報を含む画像認識結果情報を受信した場合を考える。また、車両Ａ，Ｂ，Ｃからの画像認識結果情報に含まれる認識確信度がそれぞれ１００％、９０％、２０％であったのに対し、車両Ｄからの画像認識結果情報に含まれる認識確信度は１０％であったとする。道路環境再現データ統合生成手段１０８は、同じ属性（点灯色）の情報毎に認識確信度の平均値を算出し、算出した平均値が大きい方の属性を含む画像認識結果情報（本例は、属性が赤信号である画像認識結果情報）を選択して、総合確信度等の道路環境再現データに含まれる情報を生成する。なお、矛盾する内容の画像認識結果情報を受信した場合に、道路環境再現データ統合生成手段１０８が道路環境再現データを生成する方法は、本例で示したものに限られない。
【００８２】
また、道路環境再現データ統合生成手段１０８は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、受信した画像認識結果情報に含まれる認識確信度を前記認識対象物体に対する総合確信度としてもよい。
【００８３】
また、歩行者や車両等のように絶対位置が時間経過とともに変化する認識対象物体に関する情報が受信された場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段が記憶する過去の画像認識結果情報の履歴情報からカルマンフィルタ等を用いて、現時刻における認識対象物体の絶対位置の推定結果を算出してもよい。この場合に、総合確信度は、算出された絶対位置の推定結果と最新の画像認識結果情報に含まれる絶対位置との差等から判定される。
【００８４】
さらに、歩行者や車両等のように絶対位置が時間経過とともに変化する認識対象物体に関する情報が受信された場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成してもよい。
【００８５】
次に、走行中のいずれの車両からも画像認識結果情報を受信しなかった場合に、道路環境再現データ統合生成手段１０８が、道路環境再現データを生成する生成方法について説明する。道路環境再現データ統合生成手段１０８は、道路標識や路面標識等の絶対位置や属性（標識種類等）が時間の経過に従って変化しない認識対象物体に対応する道路環境再現データについては生成しない。道路環境再現データ統合生成手段１０８は、歩行者や信号機等のように絶対位置や属性（性別、年齢、点灯色等）が時間の経過に従って変化する認識対象物体に対応する道路環境再現データについては、時間経過による影響を反映して道路環境再現データを生成する。
【００８６】
例えば、信号機の点灯状態が変化した可能性がある場合には、道路環境再現データ統合生成手段１０８は、現時刻の総合確信度を、一時刻前の総合確信度から予め定めた割合で低下させることによって生成する。歩行者や車両のように位置が変化する認識対象物体については、道路環境再現データ統合生成手段１０８は、過去の画像認識結果情報の履歴情報から現時刻の状態の推定結果を算出し、総合確信度を一定の割合で低下させる。
【００８７】
道路環境再現データ送信手段１１０は、生成された道路環境再現データを光信号または電波無線信号に変換して各車両の車載報知装置１０に送信する。
【００８８】
車載報知装置１０の道路環境再現データ受信手段１１１は、道路環境再現データ送信手段１１０から送信された道路環境再現データを受信する。そして、道路環境再現データ受信手段１１１は、受信した道路環境再現データを重要情報選択手段１１２に出力する。なお、道路環境再現データ受信手段１１１は、自車両が画像認識結果情報を送信してから予め定めた一定時間の間に道路環境再現データが受信されない場合には、すぐに受信処理を終了する。
【００８９】
重要情報選択手段１１２は、道路環境再現データ受信手段１１１より入力された道路環境再現データに含まれる情報、及び画像認識結果情報生成手段１０５より入力された画像認識結果情報に含まれる情報の中から、自車両の運転者に有益な情報を選択して抽出する。情報の選択方法として、重要情報選択手段１１２は、例えば、各情報に含まれる絶対位置の情報に基づいて、現時刻から数秒以内に運転者の視野に入る場所に存在する認識対象物体の情報を選択する。また、重要情報選択手段１１２は、道路環境再現データのうち、総合確信度の高い情報を選択してもよい。さらに、重要情報選択手段１１２は、画像認識結果情報生成手段１０５より入力された画像認識結果情報の中に認識確信度が道路環境再現データに含まれる総合確信度より高い情報が存在する場合には、その認識確信度が高い画像認識結果情報を選択してもよい。すなわち、重要情報選択手段１１２は、道路環境再現データまたは画像認識結果情報から、運転者にとって重要であると判断される情報を選択する。
【００９０】
また、道路環境再現データ受信手段１１１から入力された道路環境再現データと、画像認識結果情報生成手段１０５から入力された情報との内容が一致しない場合には、重要情報選択手段１１２は、道路環境再現データに含まれる情報を優先して選択してもよいし、道路環境再現データに含まれる総合確信度と、画像認識結果情報に含まれる認識確信度とを比較して、確信度の高い方の情報を選択してもよい。
【００９１】
重要情報選択手段１１２は、選択し抽出した情報を情報通知手段１１３に出力する。情報通知手段１１３は、重要情報選択手段１１２が選択した情報を、映像（モニタ表示等）または音声によって運転者に通知する。
【００９２】
次に、本実施の形態の動作について説明する。図８は、車載報知装置１０によって実行される処理の処理経過の一例を示すフローチャートである。また、図９は、情報センタ内装置２０によって実行される処理の処理経過の一例を示すフローチャートである。車載報知装置１０と、情報センタ内装置２０とは、それぞれ互いに非同期に図８及び図９に示す処理を実行する。
【００９３】
まず、車載報知装置１０の動作について説明する。撮像手段１０１は、車両周辺の映像を撮像する（ステップＳ８０１）。画像認識手段１０２は、撮像手段１０１から入力された映像中から道路標識や信号機等予め定めてある認識対象物体の認識を行い、認識した認識結果を出力する（ステップＳ８０２）。車両位置測位手段１０３は、ＧＰＳ等から車両の絶対位置を取得する（ステップＳ８０３）。画像認識結果情報生成手段１０５は、車両位置測位手段１０３が取得した自車両絶対位置情報を利用し、且つ画像認識手段１０２が出力した認識結果に含まれる情報に基づいて、認識対象物体の絶対位置、属性、認識確信度等の情報をコード化し、コード化した画像認識結果情報を出力する（ステップＳ８０４）。そして、画像認識結果情報送信手段１０５は、出力された画像認識結果情報を情報センタの情報センタ内装置２０に送信する（ステップＳ８０５）。
【００９４】
情報センタ内装置２０によって、道路環境再現データの生成及び各車両への配信の処理が行われた後、道路環境再現データ受信手段１１１は、情報センタ内装置２０の道路環境再現データ受信手段１１０から送信された道路環境再現データを受信する（ステップＳ８０６）。自車両が画像認識結果情報を送信してから予め定めた一定時間の間に道路環境再現データが受信できない場合には、道路環境再現データ受信手段１１１は、すぐに受信処理を終了する。重要情報選択手段１１２は、道路環境再現データ受信手段１１１が受信した道路環境再現データ及び自車両の画像認識結果情報生成手段１０４が出力した画像認識結果情報の中から、自車両の運転者に有益な情報を選択して抽出する（ステップＳ８０７）。情報通知手段１１３は、選択された情報を運転者に通知する（ステップＳ８０８）。そして、通知が完了したら再びステップＳ８０１に戻り、ステップＳ８０１からステップＳ８０８までの処理が繰り返し実行される。
【００９５】
次に、情報センタ内装置２０の動作について説明する。道路環境再現データ統合生成手段１０８は、情報センタ内装置２０の起動直後に道路環境再現データベース１０９に記憶される道路環境再現データを初期化する（ステップＳ９０１）。画像認識結果情報受信手段１０６は、各車両の車載報知装置１０から送信された画像認識結果情報を受信する（ステップＳ９０２）。そして、画像認識結果情報受信手段１０６は、画像認識結果情報を受信できたか否かを確認する（ステップＳ９０３）。受信できた場合には、画像認識結果情報受信手段１０６は、受信した画像認識結果情報を画像認識結果情報記憶手段１０７に出力し、画像認識結果情報記憶手段１０７は、画像認識結果情報を記憶する（ステップＳ９０４）。情報を受信できない場合には、ステップＳ９０４は実行されず、次にステップＳ９０５が実行される。
【００９６】
道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に記憶された画像認識結果情報の履歴情報と、一時刻前の道路環境再現データとに基づいて道路環境生成データを生成する（ステップＳ９０５）。道路環境再現データの生成後、道路環境再現データ送信手段１１０は、現時刻における最新の道路環境再現データを各車両の車載報知装置１０に送信する（ステップＳ９０６）。そして、各車両への情報の配信がなされた後、再びステップＳ９０２へ戻り、ステップＳ９０２からステップＳ９０６までの処理が繰り返し実行される。
【００９７】
以上に述べたように、本発明によれば道路標識、信号、車両、歩行者等カーナビゲーションシステムの地図情報では提供されていない物体に関する情報（すなわち、道路環境情報）を、道路上に隈無くインフラストラクチャを設置することなく抽出することができる。よって、ＡＨＳ等と比較して安価に道路環境情報通知装置を構築することができる。
【００９８】
また、車載カメラを用いた従来のリアルタイム情報提供システムでは、自車両に搭載したカメラの映像によって認識した情報のみを運転者に通知していたので、道路状況や日照条件等により誤った情報が通知される場合があるという問題や、運転者が目視によって気づくよりも十分に早く情報を通知できないといった問題があった。本発明によれば、各車両に搭載された車載報知装置が認識した画像認識結果情報が情報センタにおいて認識確信度に基づいて統合されることによって、信頼性の高い情報を運転者に提供できるという効果がある。また、現時刻において自車両のカメラでは撮像できない場所に存在する認識対象物体に関する情報も取得できるため、運転者は、今後発生しうる状況、トラブル等を事前に察知し、そのトラブル等を予想して運転することができるという効果がある。
【００９９】
ここで、自車両カメラでは撮像できない物体の情報の事前取得による効果について、図１０を参照して具体的に説明する。図１０は、道路環境の具体例を示す説明図である。図１０には、片側２車線道路の左側車線に駐車車両１００３が停車している状況が示されている。自車両１００１は、大型の先行車１００２に前方視界を遮られているので、自車両の画像認識装置の情報のみに基づいて道路環境を判断する従来のリアルタイム情報提供システムによれば、自車両１００１の運転者は、先行車１００２が車線変更するまで駐車車両１００３の存在に気づくことができない。
【０１００】
本発明による道路環境情報通知装置によれば、先行車１００２及び先行車１００４が搭載した画像認識装置が駐車車両１００３を検出した後、駐車車両１００３に関する道路環境再現データが情報センタから自車両１００１に配信されるので、自車両１００１の運転者は先行車１００２が車線変更するよりも早く駐車車両１００３の存在に気づくことが可能であり、余裕をもって車線変更をすることができる。
【０１０１】
実施の形態２．
次に、本発明の第２の実施の形態について説明する。図１１は、第２の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１１に示すように、道路環境情報通知装置１１は、車両に設置されたカメラからなる撮像手段１１０１と、画像認識手段１１０２と、車両位置測位手段１１０３と、画像認識結果情報生成手段１１０４と、画像情報送信手段１１０５と、画像認識結果情報受信手段１１０６と、画像認識結果情報記憶手段１１０７と、道路環境再現データ統合生成手段１１０８と、道路環境再現データベース１１０９と、重要情報選択手段１１１２と、情報通知手段１１１３とを含む。
【０１０２】
本実施の形態の構成では、道路環境情報通知装置１１は、第１の実施の形態における車載報知装置１０の構成要素に加えて、情報センタ内装置２０に含まれていた画像認識結果情報受信手段１０６と、画像認識結果情報記憶手段１０７と、道路環境再現データ統合生成手段１０８と、道路環境再現データベース１０９とを含む。第１の実施の形態では車載報知装置１０と情報センタ内装置２０との間で情報の送受信が行われるのに対し、本実施の形態は、複数の車両の道路環境情報通知装置１１間で情報の送受信が行われる点で第１の実施の形態と異なる。よって、道路環境情報通知システムは、図１１に示される各車両内に設置される複数の道路環境情報通知装置１１によって構成される。
【０１０３】
なお、道路環境情報通知装置１１の各手段はすべての車両において共通の機能を持つので、図１１は、車両１台分（車両Ａ）の道路環境情報通知装置１１の構成についてのみ図示し、他の車両については省略する。
【０１０４】
以下、道路環境情報通知装置１１に含まれる各手段の機能について説明する。撮像手段１１０１、画像認識手段１１０２、車両位置測位手段１１０３、画像認識結果情報生成手段１１０４、画像認識結果情報送信手段１１０５、重要情報選択手段１１１２、及び情報通知手段１１１３の実現方法は、第１の実施の形態と同じである。
【０１０５】
また、画像認識結果情報受信手段１１０６は、例えば、カーナビゲーション装置の送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。画像認識結果情報記憶手段１１０７は、カーナビゲーション装置の記憶装置によって実現される。道路環境再現データ統合生成手段１１０８は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。道路環境再現データベース１１０９は、例えば、カーナビゲーション装置に内蔵される記憶装置等によって実現される。
【０１０６】
画像認識結果情報生成手段１１０４は、画像認識結果情報を画像認識結果情報送信手段１１０５及び画像認識結果情報記憶手段１１０７に出力する。画像認識結果情報送信手段１１０５は、画像認識結果情報生成手段１１０４から入力された画像認識結果情報を他車両の道路環境情報通知装置１１に送信する。画像認識結果情報受信手段１１０６は、他車両から送信された画像認識結果情報を受信する。
【０１０７】
画像認識結果情報記憶手段１１０７は、画像認識結果情報受信手段１１０６が出力する画像認識結果情報、及び画像認識結果情報生成手段１１０４が出力する画像認識結果情報を、画像認識結果情報の履歴情報として記憶する。
【０１０８】
道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報、及び道路環境再現データベース１１０９が記憶する一時刻前の道路環境再現データに基づいて、現時刻における認識対象物体の絶対位置及び属性の推定結果を生成する。また、道路環境再現データ統合生成手段１１０８は、生成した推定結果の総合確信度を算出して道路環境再現データを生成する。道路環境再現データ統合生成手段１１０８が道路環境再現データを生成する処理手順は、第１の実施の形態と同じである。そして、重要情報選択手段１１１２は、道路環境再現データ１１０８の中から自車両の運転者に有益な情報を選択し抽出する。
【０１０９】
なお、撮像手段１１０１、画像認識手段１１０２、車両位置測位手段１１０３、及び情報通知手段１１１３の機能は、第１の実施の形態と同じである。
【０１１０】
次に、第２の実施の形態の動作について説明する。図２は、道路環境情報通知装置１１によって実行される処理の処理経過の一例を示すフローチャートである。まず、道路環境情報通知装置１１の起動直後に、道路環境再現データ統合生成手段１１０８は、道路環境再現データベース１０９が記憶する道路環境再現データを初期化する（ステップＳ１２０１）。撮像手段１１０１は、車両周辺の映像を撮像する（ステップＳ１２０２）。画像認識手段１１０２は、撮像手段１１０１から入力される映像から道路標識や信号機等予め設定されている認識対象物体を認識し、認識した認識結果を出力する（ステップＳ１２０３）。車両位置測位手段１１０３は、ＧＰＳ等から自車両の絶対位置を取得する（ステップＳ１２０４）。
【０１１１】
画像認識結果情報生成手段１１０５は、車両位置測位手段１１０３が取得した自車両絶対位置情報を参照し、画像認識手段１１０２からの画像認識結果に基づいて認識対象物体の絶対位置、属性、認識確信度等の情報をコード化し、コード化された画像認識結果情報を出力する（ステップＳ１２０５）。画像認識結果情報記憶手段１１０７は、画像認識結果情報生成手段１１０５からの画像認識結果情報を記憶するとともに（ステップＳ１２０６）、画像認識結果情報送信手段は、その画像認識結果情報を他車両に送信する（ステップＳ１２０７）。
【０１１２】
画像認識結果情報の送信後、画像認識結果情報受信手段１１０６は、他車両から発信された画像認識結果情報を受信する（ステップＳ１２０８）。画像認識結果情報受信手段１１０６は、他車両の道路環境情報通知装置１１から画像認識情報を受信したか否かを判定する（ステップＳ１２０９）。情報を受信した場合には、画像認識結果情報記憶手段１１０７は、受信した画像認識結果情報を記憶する（ステップＳ１２１０）。情報を受信しない場合には、ステップＳ１２１０の処理は実行されず、次にステップＳ１２１１が実行される。
【０１１３】
道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報を参照して、現時刻における認識対象物体の位置及び属性等の推定結果を生成して、道路環境再現データベース１１０９に記憶される道路環境再現データを生成する（ステップＳ１２１１）。重要情報選択手段１１１２は、道路環境再現データに含まれる情報の中から自車両の運転者に有益な情報を選択して抽出する（ステップＳ１２１２）。情報通知手段１１１３は、抽出した情報を映像（モニタ表示等）または音声によって運転者に通知する（ステップＳ１２１３）。
【０１１４】
このように、第２の実施の形態では、第１の実施の形態と異なり、情報センタに情報センタ内装置２０を設置することなく、各車両に道路環境情報通知装置１１を設置するのみで道路環境情報通知システムを構築することができる。
【０１１５】
図１３は、画像認識結果情報に含まれる情報の他の例を示す説明図である。第１の実施の形態及び第２の実施の形態では、画像認識結果情報が認識対象物体の種類と、属性と、絶対位置と、認識時刻と、認識確信度とを含む場合について説明したが、図１３に示すように、画像認識結果情報は、車両を特定可能な車両番号情報１３０１を含んでいてもよい。車両番号情報１３０１を含むことによって、道路環境再現データの信頼性をさらに向上させることができる。
【０１１６】
以下、画像認識結果情報が車両番号情報１３０１を含むことの効果について説明する。道路環境情報再現データ生成手段１０８，１１０８は、各車両から受信した各画像認識結果情報と、その画像認識結果情報を総合判断して生成された道路環境再現データとを比較することによって、道路環境再現データと情報の内容が一致する画像認識結果情報は正しい情報である可能性が高いと判断する。また、道路環境情報再現データ生成手段１０８，１１０８は、道路環境再現データと情報の内容が矛盾する画像認識結果情報は誤った情報である可能性が高いと判断する。
【０１１７】
そして、道路環境情報再現データ生成手段１０８，１１０８は、画像認識結果情報が正しい情報と判断される頻度（以下、車両別正情報頻度という。）を車両番号毎に集計することによって、車両別正情報頻度テーブルを生成する。図１４は、道路環境情報再現データ生成手段１０８，１１０８が生成する車両別正情報頻度テーブルの内容の一例を示す説明図である。本例では、図１４に示すように、車両番号が「０１２３４５６」である車両から受信する画像認識結果情報の車両別正情報頻度が低く、その車両から受信する画像認識結果情報に含まれる情報については、何らかの原因によって誤った情報が通知されている可能性が高いことが例示されている。
【０１１８】
道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度を低く見積もって道路環境再現データを生成することによって、道路環境再現データヘの誤情報の混入を低減し、より信頼性の高い道路環境再現データを出力することができる。
【０１１９】
例えば、道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度から予め定めた一定の値α（＞０）を減算し、減算して得られた認識確信度に基づいて道路環境再現データを生成する。
【０１２０】
また、道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度から予め定めた一定の値β（０＜β＜１）を乗算し、乗算して得られた認識確信度に基づいて道路環境再現データを生成してもよい。
【０１２１】
実施の形態３．
次に、本発明の第３の実施の形態について説明する。図１５は、第３の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１５に示すように、本実施の形態では、車載報知装置１２は、第１の実施の形態における車載報知装置１０の構成要素に加えて、入力操作手段１５１４を含む。
【０１２２】
入力操作手段１５１４は、運転者の操作に従って、情報通知手段１５１３から取得したい情報の種類の選択、走行予定ルートの設定、または画像認識結果情報送信手段１５０５からの情報発信の可否等を装置に指示する。従って、入力操作手段は１５１４は、道路環境情報通知装置と、運転者との間のユーザインタフェースとしての役割を果たすものであり、例えば、カーナビゲーション装置のリモートコントローラ等によって実現される。
【０１２３】
なお、車載報知装置１２に含まれる撮像手段１５０１、画像認識手段１５０２、車両位置測位手段１５０３、画像認識結果情報生成手段１５０４、画像認識結果情報送信手段１５０５、道路環境再現データ受信手段１５１１、重要情報選択手段１５１２、及び情報通知手段１５１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２２に含まれる画像認識結果情報受信手段１５０６、画像認識結果情報記憶手段１５０７、道路環境再現データ統合生成手段１５０８、道路環境再現データベース１５０９、及び道路環境再現データ送信手段１５１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１２４】
本実施の形態では、画像認識結果情報発信手段１５０５は、画像認識結果情報を常に情報センタの情報センタ内装置２２に送信するのではなく、入力操作手段１５１４によって情報送信可能と設定されている場合にのみ情報を情報センタ内装置２２に送信する。そうすることにより、必要であれば、自車両の位置を他人に知られないようにすることができる。
【０１２５】
また、重要情報選択手段１５１２は、入力操作手段１５１４によって指定された走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出したり、入力操作手段１５１４によって指定された種類の認識対象物体に関する情報を選択して抽出する。そうすることにより、運転者は、必要とする情報を効率的に取得することができる。
【０１２６】
なお、入力操作手段１５１４を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に入力操作手段を追加してもよい。
【０１２７】
実施の形態４．
次に、本発明の第４の実施の形態について説明する。図１６は、第４の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１６に示すように、本実施の形態では、車載報知装置１３は、第１の実施の形態における車載報知装置１０の構成要素に加えて、動作状態監視手段１６１５を含む。動作状態監視手段１６１５は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。
【０１２８】
動作状態監視手段１６１５は、画像認識情報コード化手段１６０４から入力される画像認識結果情報に含まれる情報と、道路環境再現データ受信手段１６１１から入力される道路環境再現データに含まれる情報とを比較する。そして、動作状態監視手段１６１５は、画像認識結果情報と道路環境再現データとの間で内容が一致しない情報が含まれる頻度が予め定めた値を超える場合には、自車両の車載報知装置１３の撮像手段１６０１または画像認識手段１６０２に不具合が生じたと判断する。そして、動作状態監視手段１６１５は、注意情報を情報通知手段１６１３に出力する。
【０１２９】
例えば、道路環境再現データに「位置Ａに駐車禁止標識がある。」という情報が含まれているのに対して、画像認識結果情報に「位置Ａに駐停車禁止標識がある。」という情報が含まれている場合や、道路環境再現データに「位置Ｂの信号が青信号である。」という情報が含まれているのに対し、画像認識結果情報に「位置Ｂの信号が赤信号である。」という情報が含まれている場合に、動作状態監視手段１６１５は、画像認識結果情報と道路環境再現データとの間で内容が一致しないと判断する。そして、動作状態監視手段１６１５は、内容が一致しない情報が含まれる頻度が、例えば、５０％を超える場合には、撮像手段１６０１または画像認識手段１６０２に不具合が生じたと判断する。
【０１３０】
そうすることによって、運転者は自車両に搭載した装置の不具合を認知することができる。
【０１３１】
なお、車載報知装置１３に含まれる撮像手段１６０１、画像認識手段１６０２、車両位置測位手段１６０３、画像認識結果情報生成手段１６０４、画像認識結果情報送信手段１６０５、道路環境再現データ受信手段１６１１、重要情報選択手段１６１２、及び情報通知手段１６１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２３に含まれる画像認識結果情報受信手段１６０６、画像認識結果情報記憶手段１６０７、道路環境再現データ統合生成手段１６０８、道路環境再現データベース１６０９、及び道路環境再現データ送信手段１６１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１３２】
なお、動作状況監視手段１６１５を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に動作状況監視手段１６１５を追加してもよい。
【０１３３】
実施の形態５．
次に、本発明の第５の実施の形態について説明する。図１７は、第５の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１７に示すように、本実施の形態では、車載報知装置１４は、第１の実施の形態における車載報知装置１０の構成要素に加えて、衝撃感知直前映像記録手段１７１６を含む。衝撃感知直前映像記録手段１７１６は、例えば、衝撃感知センサと、衝撃センサを制御するカーナビゲーション装置の制御部とによって実現される。
【０１３４】
衝撃感知直前映像記録手段１７１６は、撮像手段１７０１によって撮像された映像を予め定めた一定時間の間記録し、車両に対して強い衝撃を感知した場合（すなわち、事故が発生した場合等）に映像の上書き記録を中止して、衝撃を感知した直前に記録した画像を保持する。
【０１３５】
衝撃感知直前映像記録手段１７１６を付加することにより、自車両が事故等に遭遇した時刻の周囲の映像を情報として保持することができ、迅速に事故原因の究明を行うことができる。
【０１３６】
なお、車載報知装置１４に含まれる撮像手段１７０１、画像認識手段１７０２、車両位置測位手段１７０３、画像認識結果情報生成手段１７０４、画像認識結果情報送信手段１７０５、道路環境再現データ受信手段１７１１、重要情報選択手段１７１２、及び情報通知手段１７１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２４に含まれる画像認識結果情報受信手段１７０６、画像認識結果情報記憶手段１７０７、道路環境再現データ統合生成手段１７０８、道路環境再現データベース１７０９、及び道路環境再現データ送信手段１７１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１３７】
なお、衝撃感知直前映像記録手段１７１６を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１にその衝撃感知直前映像記録手段１７１６を追加してもよい。
【０１３８】
また、車載報知装置１４は、さらに車両速度計測手段を含んでもよい。車両速度計測手段は、車両の移動速度を感知する。そして、重要情報選択手段は、認識対象物体が赤信号または一時停止標識である道路環境再現データについては、その道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される自車両から認識対象物体までの距離に対して、車両速度計測手段が感知した自車両の移動速度が予め定めた閾値を超える場合にのみ、その道路環境再現データを選択して抽出する。なお、車両速度計測手段は、速度計等によって実現される。
【０１３９】
実施の形態６．
次に、本発明の第６の実施の形態について説明する。図１８は、第６の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１８に示すように、本実施の形態では、車載報知装置１５は、第１の実施の形態における車載報知装置１０の構成要素に加えて、未抽出物体判定手段１８１７を含む。未抽出物体判定手段１８１７は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。
【０１４０】
未抽出物体判定手段１８１７は、道路環境再現データに情報として含まれる認識対象物体のうち、自車両から認識可能な範囲の位置に存在し、且つ自車両の画像認識手段１８０２で認識されていない認識対象物体を選択して抽出し、抽出した情報を画像認識手段１８０２に出力する。
【０１４１】
そして、画像認識手段１８０２は、次の認識処理を行う際に、通常の認識処理に加え、未抽出物体判定手段１８１７からの認識対象物体に基づいて画像の認識処理を行うトップダウン的認識処理を行う。
【０１４２】
そうすることにより、画像認識手段１８０２が通常行っている入力画像のみに基づいて画像の認識処理を行うボトムアップ的画像認識手法では検出困難な認識対象物体でも、トップダウン的認識手法を適用することにより認識対象物体を認識することができる。
【０１４３】
なお、車載報知装置１５に含まれる撮像手段１８０１、画像認識手段１８０２、車両位置測位手段１８０３、画像認識結果情報生成手段１８０４、画像認識結果情報送信手段１８０５、道路環境再現データ受信手段１８１１、重要情報選択手段１８１２、及び情報通知手段１８１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２５に含まれる画像認識結果情報受信手段１８０６、画像認識結果情報記憶手段１８０７、道路環境再現データ統合生成手段１８０８、道路環境再現データベース１８０９、及び道路環境再現データ送信手段１８１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１４４】
なお、未抽出物体判定手段１８１７を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に未抽出物体判定手段１８１７を追加してもよい。
【０１４５】
以上のように、本発明によれば、道路標識、信号、車両、歩行者等カーナビゲーションシステムの地図情報では提供されない物体に関する道路環境情報を、道路上に隈無くインフラストラクチャを設置せずに運転者に通知することができる。よって、ＡＨＳ等に比べ安価にシステムを構築することができる。
【０１４６】
従来の発明では自車両の車載カメラで撮像することによって認識した情報のみを利用していたので、コンピュータビジョン技術の不完全さによって画像の情報を誤認識する問題や、運転者が目視により知覚するよりも早く認識対象物体の情報を運転者に通知できないといった問題があったが、本発明によれば各車両からの画像認識結果情報を情報センタまたは各車両内で統合することによって信頼性の高い道路環境再現データを生成することができ、その信頼性の高い道路環境再現データを運転者に通知できるため、運転者は信頼性の高い情報に基づいて状況判断をすることができる。また、現時刻において自車両のカメラでは撮像できない場所に存在する物体に関する情報を事前に取得することもできるので、運転者は、今後走行中に発生しうる状況やトラブルを事前に知ることができる。
【０１４７】
なお、図１、図１１、図１５、図１６、図１７、及び図１８に示された構成は、ソフトウェアによって実現可能である。すなわち、本実施の形態では、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識処理と、画像認識の結果の情報と、車両の地球上における位置である車両の絶対位置の情報とに基づいて、画像認識結果情報を生成する画像認識結果情報生成処理と、画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成処理と、道路環境再現データと、画像認識結果情報とを比較して、運転者に有益な認識対象物体に関する情報を選択して抽出する重要情報選択処理と、抽出された認識対象物体に関する情報を運転者に通知する情報通知処理とを実行させるための道路環境情報通知プログラムによって、道路環境情報通知装置または道路環境情報通知方法を実現可能である。
【図面の簡単な説明】
【０１４８】
【図１】本発明による道路環境情報通知装置の構成の一例を示すブロック図である。
【図２】撮像手段が撮像する画像の一例を示す説明図である。
【図３】画像認識手段が出力する画像認識結果の一例を示す説明図である。
【図４】画像認識手段が出力する画像認識結果の他の例を示す説明図である。
【図５】画像認識結果情報の一例を示す説明図である。
【図６】画像認識結果情報の履歴情報と、道路環境再現データベースに記憶される道路環境再現データの一例を示す説明図である。
【図７】道路環境再現データ統合生成手段によって、生成された道路環境再現データの一例を示す説明図である。
【図８】車載報知装置が行う処理の処理経過の一例を示すフローチャートである。
【図９】情報センタ内装置が行う処理の処理経過の一例を示すフローチャートである。
【図１０】道路環境の具体例を示す説明図である。
【図１１】本発明による道路環境情報通知装置の構成の他の例を示すブロック図である。
【図１２】本発明による道路環境情報通知装置が行う処理の処理経過の一例を示すフローチャートである。
【図１３】画像認識結果情報の他の例を示す説明図である。
【図１４】車両別正情報頻度テーブルの内容の一例を示す説明図である。
【図１５】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１６】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１７】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１８】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【符号の説明】
【０１４９】
１０，１２，１３，１４，１５ 車載報知装置
１１ 道路環境情報通知装置
２０，２２，２３，２４，２５ 情報センタ内装置
１０１，１１０１，１５０１，１６０１，１７０１，１８０１ 撮像手段
１０２，１１０２，１５０２，１６０２，１７０２，１８０２ 画像認識手段
１０３，１１０３，１５０３，１６０３，１７０３，１８０３ 車両位置測位手段
１０４，１１０４，１５０４，１６０４，１７０４，１８０４ 画像認識結果情報生成手段
１０５，１１０５，１５０５，１６０５，１７０５，１８０５ 画像認識結果情報送信手段
１０６，１１０６，１５０６，１６０６，１７０６，１８０６ 画像認識結果情報受信手段
１０７，１１０７，１５０７，１６０７，１７０７，１８０７ 画像認識結果情報記憶手段
１０８，１１０８，１５０８，１６０８，１７０８，１８０８ 道路環境再現データ統合生成手段
１０９，１１０９，１５０９，１６０９，１７０９，１８０９ 道路環境再現データベース
１１０，１５１０，１６１０，１７１０，１８１０ 道路環境再現データ送信手段
１１１，１５１１，１６１１，１７１１，１８１１ 道路環境再現データ受信手段
１１２，１１１２，１５１２，１６１２，１７１２，１８１２ 重要情報選択手段
１１３，１１１３，１５１３，１６１３，１７１３，１８１３ 情報通知手段
１５１４ 入力操作手段
１６１５ 動作状態監視手段
１７１６ 衝撃感知直前映像記憶手段
１８１７ 未抽出物体判定手段
【技術分野】
【０００１】
本発明は、車載報知装置の車載カメラで撮像した映像から、カーナビゲーションシステムやＶＩＣＳ情報では提供されない、道路標識、路面標識、信号機、歩行者、及び周辺車両等の属性や存在位置等の情報を時々刻々と画像認識によって認識し、各車両が認識した情報を、ネットワークを介して、集約、統合、または配信することによって、運転者の行動決定に有益で信頼性の高い情報をリアルタイムに提供する道路環境情報通知装置及び道路環境情報通知プログラムに関する。
【背景技術】
【０００２】
車両（自動車等）の運転者の行動決定を支援するシステムとして、カーナビゲーションシステムが普及している。カーナビゲーションシステムは、地図情報及びＶＩＣＳ（Vehicle Information and Communication System；交通情報通信システム）情報を利用して、道路の位置、道路の混雑状況、自車両の現在位置、目的地への経路等の情報をモニタによる図形表示または音声によって運転者に通知し、運転者の行動を支援するシステムである。
【０００３】
しかし、カーナビゲーションシステムは、一時停止標識等の道路標識、信号の状態、または道路上における車両や歩行者の有無等物体に関する情報（以下、道路環境情報という。）を提供できないため、運転者は、道路標識や歩行者等を見逃さないように注意を払って運転しなければならない。そこで、運転者による道路環境情報の取得を補助するシステムとして、運転者が運転する自車両に搭載されたカメラによって道路標識等の道路環境情報を認識し、文字、図形、または音声によって運転者に道路環境情報を通知するリアルタイム情報提供システムが、特許文献１、特許文献２、特許文献３、及び非特許文献１に開示されている。
【０００４】
これらのリアルタイム情報提供システムによって、道路標識や歩行者等の物体情報の発見に注がれていた運転者の負荷を軽減することができる。また、これらのリアルタイム情報提供システムを実現するためには、車両内にカメラ付きカーナビゲーションシステムのみを設置すればよいので、必要機器の設置及びシステムの維持が容易であり、廉価にシステムを構築できる。
【０００５】
また、我が国の国土交通省は、人と道路と車両とをネットワークで結び交通事故等の解消を目指す高度道路交通システム（ＩＴＳ；Intelligent Transport Systems ）を提唱している。高度道路交通システム構想の1つの柱である走行支援道路システム（ＡＨＳ：Advanced cruise-assist Highway Systems）は、（１）道路に設置されたセンサ等のインフラストラクチャが発信する歩行者、車両位置情報及び路面状態情報、（２）信号機が発信する信号機点灯情報、（３）他車両が発信する他車両位置情報を、各車両に設置される受信装置が受信することによって、各車両の完全自動走行を実現することを目的とする技術である（例えば、非特許文献２参照。）。
【０００６】
また、道路脇に設置されるカメラで撮像した映像を、ネットワークを介して運転者に提供する交通情報提供システムが、非特許文献３参照に開示されている。
【０００７】
さらに、ＧＰＳ（Global Positioning System ）による車両位置情報を、ネットワークを介して車両間で送受信し、車両同士の衝突及び車両が道路路肩に衝突するのを回避するシステムが、非特許文献４、非特許文献５、及び非特許文献６参照に開示されている。
【０００８】
【特許文献１】特開２０００−６７３７４号公報（第４−６頁、第１図、第２図）
【特許文献２】特開平１０−１７７６９９号公報（第３−５頁、第１図）
【特許文献３】特開２００１−８４４９６号公報（第４−８頁、第１図、第８図、第 １０図）
【非特許文献１】米国特許第６３１１１２３号明細書
【非特許文献２】国土交通省編、”ＡＨＳ”、[online]、平成１４年４月 １日、国土交通省、［平成１４年９月９日検索］、インターネット＜ URL : http://www.nilim.go.jp/japanese/its/fields/ahs/＞
【非特許文献３】米国特許第５３９６４２９号明細書
【非特許文献４】米国特許第６４０５１３２号明細書
【非特許文献５】米国特許第６３７０４７５号明細書
【非特許文献６】米国特許第６２７５７７３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、自車両の車載カメラによって道路環境情報を通知する従来のリアルタイム情報提供システムは、運転者が自ら知覚可能な情報を、運転者が知覚するのとほぼ同時刻に運転者に提供するにすぎない。よって、従来のリアルタイム情報提供システムによって、運転者の不注意による道路環境情報の見落としを低減することはできるが、運転者が特定の時刻において自ら知覚できない他の有用な道路環境情報を取得し、運転者に提供することはできない。
【００１０】
例えば、道路を走行中に、車高の高い車両（例えば、トレーラ等）が自車両の前方視界を遮っており、運転者が前方の信号の点灯状態（例えば、赤信号であるか、青信号であるか等）や前方道路上の路肩駐車車両の有無等の道路状況をできるだけ早く把握したい場合に、従来のリアルタイム情報提供システムは、運転者自らが知覚する前に、信号の点灯状態や前方車両の有無の情報を運転者に通知できない可能性がある。
【００１１】
また、一般にコンピュータビジョン（Computer vision）と呼ばれる物体認識の技術の性能は、人間の視覚能力に比べて低い。従って、自車両に設置されたカメラと認識対象物体との位置関係や日照条件等によっては、認識対象物体をうまく認識できない場合があるが、従来のリアルタイム情報提供システムは、このようなコンピュータビジョン技術の物体認識における不完全さを補う手段を持たない。
【００１２】
また、ＡＨＳでは、道路上に隈無くセンサ等のインフラストラクチャを設置するので、運転者が目視により知覚するよりも早く正確な道路環境情報を運転者に通知できる。しかし、道路へのセンサ等のインフラストラクチャの設置と、インフラストラクチャの維持及び管理とに多額の費用が必要であるので、コスト面と実現可能性の面において問題を有する。また、道路に設置されたインフラストラクチャと車両との間で通信される情報と、各車両間で通信される情報とは常に正しい情報であることを前提としているので、不正確な情報を送受信した場合に情報の不正確さを補う仕組みや、不正確な情報を統合する仕組みを有していない。
【００１３】
また、ＧＰＳによる車両位置情報をネットワークを介して各車両間で送受信するシステムでは、ガードレール、信号機、または道路標識等から位置情報信号を送信できるようにするために膨大なインフラストラクチャ投資が必要である。また、そのシステムでは、正確な位置情報を送受信できるが、不正確な要素を含む画像認識の結果情報を授受して統合する仕組みを有していない。
【００１４】
そこで、本発明は、道路にインフラストラクチャを設置せずに廉価に構築でき、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供でき、且つ画像認識の結果情報の信頼性を向上できる道路環境情報通知装置及び道路環境情報通知プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明による道路環境情報通知装置は、車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知する道路環境情報通知装置であって、車両周辺を撮像して画像情報を出力する撮像手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する画像認識結果情報送信手段と、他の車両からの画像認識結果情報を、受信する画像認識結果情報受信手段と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えたことを特徴とする。
【００１６】
そのような構成によれば、道路にインフラストラクチャ及び情報センタを設置せずに廉価に装置を構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【００１７】
道路環境情報通知装置は、車両の絶対位置を把握する車両位置把握手段と、画像認識手段が出力する画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識結果情報を生成する画像認識結果情報生成手段と、画像認識結果情報生成手段が生成した自車両の画像認識結果情報、及び受信した他の車両の画像認識結果情報の履歴情報を記憶する画像認識結果情報記憶手段と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果、及び推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段とを備えたものであることが好ましい。
【００１８】
そのような構成によれば、認識対象物体の絶対位置の情報を含んだ画像認識結果情報を生成でき、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果と、その推定結果の確かさを示す総合確信度との情報を含んだ道路環境再現データを生成できる。
【００１９】
道路環境情報通知装置は、道路環境再現データ統合生成手段が出力する道路環境再現データから、運転者に重要であると判断される情報を、道路環境再現データから選択して抽出する重要情報選択手段を備えたものであることが好ましい。
【００２０】
そのような構成によれば、道路再現データに含まれる情報のうち運転者に重要な情報のみを通知することができる。
【００２１】
車両内に設置される道路環境通知装置において、画像認識手段は、撮像された画像情報に基づいて画像認識をすることによって、認識対象物体の属性、車両に対する相対位置、及び認識時刻を抽出し、且つ画像認識によって得られた結果の確かさを示す認識確信度を算出して、属性、相対位置、認識時刻、及び認識確信度を含む画像認識の結果の情報を出力し、画像認識結果情報生成手段は、画像認識情報に含まれる認識対象物体の車両に対する相対位置と、車両位置把握手段が取得する車両の絶対位置とに基づいて、認識対象物体の絶対位置を算出し、認識対象物体の絶対位置、属性、認識時刻、及び認識確信度を含む情報を画像認識結果情報として出力し、道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報に含まれる認識確信度と一時刻前における道路環境再現データに含まれる総合確信度との値に基づいて、画像認識結果情報の履歴情報に含まれる情報の内容と道路環境再現データに含まれる情報の内容とを統合することによって、現時刻における認識対象物体の絶対位置及び属性の推定結果を算出し、推定結果に基づいて道路環境再現データの内容を更新することによって、最新の道路環境再現データを生成し、情報通知手段は、重要情報選択手段が抽出した情報を、映像による表示または音声にて運転者に通知するものであることが好ましい。
【００２２】
そのような構成によれば、画像認識手段が認識した画像認識の結果の確かさを示す認識確信度を考慮して道路環境再現データを生成でき、且つ、運転者に視覚的または音声により情報を通知できる。
【００２３】
車両内に設置される道路環境通知装置において、道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が画像認識結果情報受信手段が新たに受信した画像認識結果情報を記憶した場合に、画像認識結果情報の履歴情報に含まれる認識確信度の平均値を算出することによって、総合確信度を算出するものであってもよい。
【００２４】
そのような構成によれば、過去の画像認識結果情報の履歴情報を考慮して、総合確信度を算出できる。
【００２５】
車両内に設置される道路環境通知装置において、道路環境再現データ統合生成手段は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、受信した画像認識結果情報に含まれる認識確信度を認識対象物体に対する総合確信度とするものであってもよい。
【００２６】
そのような構成によれば、新たに認識された認識対象物体に対応する道路環境再現データを生成できる。
【００２７】
道路環境再現データ統合生成手段は、認識対象物体の属性が時間経過に従って変化する場合、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成するものであってもよい。
【００２８】
そのような構成によれば、信号機や歩行者等の時間経過に従って属性が変化する認識対象物体についても信頼性の高い道路環境情報を運転者に通知できる。
【００２９】
道路環境再現データ統合生成手段は、画像認識結果情報受信手段が特定の認識対象物体の情報を含む画像認識結果情報を予め定めた一定時間の間受信しない場合には、道路環境再現データ記憶手段が記憶する道路環境再現データのうち、認識対象物体に対応する道路環境再現データを削除するものであってもよい。
【００３０】
そのような構成によれば、不要となった道路環境再現データを削除することができる。
【００３１】
画像認識結果情報生成手段は、車両を特定するための車両番号情報を含んだ画像認識結果情報を生成し、道路環境再現データ統合生成手段は、画像認識結果情報受信手段が受信した画像認識結果情報の内容が道路環境再現データの内容と一致しない場合に、画像認識結果情報に含まれる車両番号情報を予め定めた一定時間の間記憶し、特定の車両番号情報の車両から受信した画像認識結果情報内容が予め定めた頻度を超える割合で道路環境再現データの内容と一致しない場合には、車両から受信した画像認識情報に含まれる認識確信度を低く見積もって新たな道路環境再現データを生成するものであってもよい。
【００３２】
そのような構成によれば、画像認識結果情報に信頼性の低い情報が含まれる場合にも、信頼性の高い道路環境情報を運転者に提供できる。
【００３３】
道路環境情報通知装置は、走行予定ルートに関する指示を入力する入力操作手段を備え、重要情報選択手段は、走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出するものであってもよい。
【００３４】
そのような構成によれば、予め指示された走行予定ルートに関する道路環境情報を選択して運転者に通知できる。
【００３５】
入力操作手段は、取得したい情報の指定を入力する機能を有し、重要情報選択手段は、入力操作手段によって入力された指定に基づいて情報を選択して抽出するものであってもよい。
【００３６】
そのような構成によれば、予め指定された種類の認識対象物体に関する道路環境情報を選択して運転者に通知できる。
【００３７】
入力操作手段は、画像認識結果情報を他の車両に送信するか否かの指定を入力する機能を有し、画像認識結果情報送信手段は、入力操作手段の入力によって画像認識結果情報を送信する旨の指定がされている場合にのみ、前記画像認識結果情報を送信するものであってもよい。
【００３８】
そのような構成によれば、運転者が他人に自車両の位置を知られたくない場合に、自車両からの情報の送信をしないように設定できる。
【００３９】
道路環境情報通知装置は、画像認識結果情報生成手段が出力する画像認識結果情報の内容と、道路環境再現データの内容とが、予め定めた頻度を超えて一致しない場合に不具合が発生していると判断することによって、撮像手段若しくは画像認識手段の動作状態を監視する動作状態監視手段を備え、情報通知手段は、動作状態監視手段が不具合を検出した場合に、検出した不具合に関する情報を運転者に通知するものであってもよい。
【００４０】
そのような構成によれば、運転者は、自車両に搭載された車載報知装置の不具合の発生を知ることができる。
【００４１】
道路環境情報通知装置は、撮像手段が撮像した映像を予め定めた一定時間の間記憶し、車両に対する衝撃を感知した場合に新しい映像の記録を中止して、衝撃を感知する直前の映像を保持する衝撃感知直前映像記憶手段を備えたものであってもよい。
【００４２】
そのような構成によれば、事故が発生した場合に迅速に事故原因の究明をすることができる。
【００４３】
道路環境情報通知装置は、車両の移動速度を感知する車両速度計測手段を備え、重要情報選択手段は、認識対象物体の属性が赤信号である信号機または一時停止標識である道路環境再現データについては、道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される車両から認識対象物体までの距離に対して、車両の移動速度が予め定めた閾値を超える場合にのみ、認識対象物体に関する道路環境再現データを選択して抽出するものであってもよい。
【００４４】
そのような構成によれば、赤信号の信号機または一時停止標識の場所に到達するまでに、運転者は余裕をもって自車両の移動速度を減速することができる。
【００４５】
道路環境情報通知装置は、受信した道路環境再現データに対応する認識対象物体が自車両から認識可能な位置にあり、且つ画像認識手段が認識対象物体を認識していない場合に、認識対象物体を判定する未抽出物体判定手段を備え、画像認識手段は、未抽出物体判定手段が判定した認識対象物体の情報に基づいて画像解析を行うトップダウン画像解析処理によって、未抽出物体を抽出するものであってもよい。
【００４６】
そのような構成によれば、自車両の画像認識手段が検出困難な認識対象物体であっても画像認識することができる。
【００４７】
本発明による道路環境情報通知プログラムは、車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知するための道路環境情報通知プログラムであって、コンピュータに、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する処理と、他の車両からの画像認識結果情報を、受信する処理と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する処理と、道路環境再現データに含まれる情報を運転者に通知する処理とを実行させるためのものである。
【００４８】
そのような構成によれば、道路にインフラストラクチャ及び情報センタを設置せずに廉価に装置を構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【発明の効果】
【００４９】
本発明による道路環境情報通知装置によれば、車両周辺を撮像して画像情報を出力する撮像手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する画像認識結果情報送信手段と、他の車両からの画像認識結果情報を、受信する画像認識結果情報受信手段と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えるように構成したので、道路にインフラストラクチャを設置せずに廉価に道路環境情報通知システムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【００５０】
本発明による道路環境情報通知プログラムによれば、コンピュータに、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する処理と、他の車両からの画像認識結果情報を、受信する処理と、自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する処理と、道路環境再現データに含まれる情報を運転者に通知する処理とを実行させるので、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【発明を実施するための最良の形態】
【００５１】
実施の形態１．
以下、本発明による道路環境情報通知装置の実施の形態について図面を参照して説明する。図１は、第１の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１に示す道路環境情報通知装置は、道路上を走行中の車両から送られる画像に基づく情報を情報センタが収集し、収集した情報に基づいて統合して生成した情報を車両に配信するシステムである。道路環境情報通知装置は、各車両内に設置される車載報知装置１０と、情報センタ内に設置される情報センタ内装置２０とを含む。
【００５２】
図１に示すように、車載報知装置１０は、車両周辺を撮像する撮像手段１０１と、画像を認識する画像認識手段１０２と、自車両の位置を測位する車両位置測位手段１０３と、画像認識結果情報を生成する画像認識結果情報生成手段１０４と、画像認識結果情報を情報センタ内装置２０に送信する画像認識結果情報送信手段１０５と、情報センタ内装置２０からの情報を受信する道路環境再現データ情報受信手段１１１と、運転者に重要な情報を選択する重要情報選択手段１１２と、運転者に情報を通知する情報通知手段１１３とを含む。
【００５３】
撮像手段は、ビデオカメラ、超音波センサ、赤外線センサ等によって実現される。車両位置測位手段１０３は、ＧＰＳ装置やジャイロスコープ等によって実現される。画像認識手段１０２、画像認識結果情報生成手段１０３、及び重要情報選択手段１１２は、例えば、車両に搭載されるカーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。画像認識結果情報送信手段１０５及び道路環境再現データ受信手段１１１は、例えば、カーナビゲーション装置の送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。情報通知手段１１３は、カーナビゲーション装置の表示部（モニタ等）と、その表示部を制御する制御部とによって実現される。
【００５４】
また、図１に示すように、情報センタ内装置２０は、車載報知装置１０からの情報を受信する画像認識結果情報受信手段１０６と、受信した情報を記憶する画像認識結果情報記憶手段１０７と、画像認識結果情報等を統合して道路環境再現データを生成する道路環境再現データ統合生成手段１０８と、道路環境再現データを記憶する道路環境再現データベース１０９と、車載報知装置１０に情報を送信する道路環境再現データ送信手段１１０とを含む。
【００５５】
情報センタ内装置は、ワークステーション等の情報処理装置である。画像認識結果情報受信手段１０６及び道路環境再現データ送信手段１１０は、例えば、情報処理装置等に実装される送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。画像認識結果情報記憶手段１０７は、情報処理装置の記憶装置によって実現される。道路環境再現データ統合生成手段１０８は、情報処理装置の記憶装置に記憶されるプログラムを実行する情報処理装置の制御部によって実現される。道路環境再現データベース１０９は、情報処理装置に接続されるデータベース装置等によって実現される。
【００５６】
なお、車載報知装置１０は、本来車両毎に設置されるが、車載報知装置１０の各手段の機能は全ての車両について同じなので、図１では、車両１台分のみの車載報知装置１０の構成を記載し、他の車両の車載報知装置１０の構成の記載は省略する。また、道路環境再現データ記憶手段は、道路環境再現データベース１０９によって実現され、車両位置把握手段は、車両位置測位手段１０３によって実現される。
【００５７】
車載報知装置１０の撮像手段１０１は、自車両の周辺の映像を時々刻々と撮像する。そして、撮像手段１０１は、撮像した映像を画像認識手段１０２に出力する。撮像手段１０１は、自車両の前方を撮像するための前方向きカメラを備え、前方向きカメラは、道路標識、路面標識、信号、店舗の看板、及び道路上を先行する車両や歩行者等を撮像する。
【００５８】
また、撮像手段１０１は、必要に応じて後方及び側方向きカメラを備えていてもよい。後方向きカメラは、後方車両等を撮像し、側方向きカメラは、店舗の看板、歩道上の歩行者、及び路地を走行中の車両や歩行者等を撮像する。
【００５９】
また、撮像対象の物体までの距離を測定するために、撮像手段１０１は、各向きに設置された複数台のカメラで撮像することによって、画像認識手段１０２にステレオ画像を出力してもい。また、撮像手段１０１は、各向きにカメラと組み合わせて、ミリ波レーダまたは超音波センサ等の距離測定用補助センサを備え、画像認識手段１０２にカメラが撮像した画像と距離測定用補助センサからの画像とを出力してもよい。
【００６０】
画像認識手段１０２は、撮像手段１０１が撮像した映像から、予めシステムに登録されている認識対象物体のパターンに基づいて、道路標識、路面標識、信号機、店舗看板、車両、または歩行者等の認識対象物体を抽出し、抽出した認識対象物体の属性、自車両との相対位置、及び画像認識処理の確信度（以下、認識確信度という。）を画像認識結果情報生成手段１０３に出力する。認識確信度とは、画像認識によって得られた結果の確かさを示す指標であり、値が大きいほど画像の認識結果が正確であることを示す。認識確信度は、一般に単純類似度法や複合類似度法と呼ばれる手法によって算出される。また、自車両と認識対象物体との相対位置は、ステレオカメラ映像または超音波センサ等から抽出される距離情報と、自車両の方位情報とに基づいて生成される。
【００６１】
また、例えば、ニューラルネットワークを用いて認識確信度を得ることもできる。その場合、多層ニューラルネットワークの出力層の値を算出し、算出した出力層の値を認識確信度とする。
【００６２】
図２は、撮像手段１０１が撮像した画像の例を示す説明図である。図２に示す例では、撮像手段１０１が出力する画像に、駐車禁止を示す道路標識２０１と、補助標識２０２とが含まれる。画像認識手段１０２は、図２に示す画像に基づいて、画像認識結果の情報を出力する。
【００６３】
図３は、画像認識手段１０２が図２に示す画像に基づいて出力する画像認識結果の情報の例を示す説明図である。画像認識結果の情報は、出力情報が道路標識に関するものであることを示すコード情報３０１と、自車両に対する標識の相対的な位置を示す相対位置情報３０２と、標識を認識した時刻である認識時刻３０３と、属性情報として標識の種類が駐車禁止の標識であることを示すコード情報３０４と、標識が効力をもつ日時を示す情報３０５と、標識が効力をもつ範囲を示す情報３０６と、画像認識結果の認識確信度３０７とを含む。なお、属性とは、認識対象物体が道路標識である場合には、道路標識の種類（例えば、一時停止標識、駐停車禁止標識）であり、認識対象物体が信号機である場合には、信号機の状態（例えば、赤信号や青信号）である。
【００６４】
図４は、画像認識手段１０２が出力する画像認識結果の情報の他の例を示す説明図である。他の認識対象物体に対する画像認識結果の情報の例として、撮像手段１０１が信号機のように時刻と共に属性が変化する対象物を撮像した場合の画像認識結果の情報の例を説明する。図４に示すように、画像認識結果の情報は、出力情報が信号機に関するものであることを示すコード情報４０１と、自車両に対する信号機の相対的な位置を示す相対位置情報４０２と、信号機の信号が効力を持つ道路範囲を示すコード情報４０３と、信号機を認識時刻である認識時刻４０４と、属性情報として信号機の点灯状態（青信号であるか、赤信号であるか等）を示すコード情報４０５と、画像認識結果の認識確信度４０６とを含む。
【００６５】
このような画像認識結果の情報のフォーマットは認識対象物体の種類毎に予め定められている。また、一枚の画像から複数の認識対象物体を認識した場合は、画像認識手段１０２は、各認識結果の情報を順次画像認識結果情報生成手段１０４に出力する。
【００６６】
車両位置測位手段１０３は、地球上における自車両の絶対位置をＧＰＳ等で取得し、画像認識結果情報生成手段１０４に出力する。画像認識結果情報生成手段１０４は、車両位置測位手段１０３から入力される自車両の絶対位置情報に基づいて、前記画像認識手段１０２から入力される認識結果に含まれる認識対象物体の相対位置を絶対位置に変換する。そして、画像認識結果情報生成手段１０４は、変換後の認識結果をコード化し、コード化した情報を画像認識結果情報として、画像認識結果情報送信手段１０５及び重要情報選択手段１１２に出力する。
【００６７】
画像認識結果情報送信手段１０５は、画像認識結果情報生成手段１０４から入力された画像認識結果情報を光信号または電波無線信号等に変換して、情報センタの情報センタ内装置２０に送信する。なお、車載報知装置１０と情報センタ内装置２０とは、例えば、ＶＩＣＳシステムの通信ネットワークであるＦＭ多重放送や光ビーコンのシステムを利用して、情報の送受信を行う。また、車載報知装置１０と情報センタ内装置２０とは、無線ＬＡＮ等の他の通信ネットワークを利用して、情報を送受信してもよい。
【００６８】
情報センタ内装置２０の画像認識結果情報受信手段１０６は、各車載報知装置１０から送信される画像認識結果情報を時々刻々と受信し、受信した画像認識結果情報を画像認識結果情報記憶手段１０７に出力する。
【００６９】
画像認識結果情報記憶手段１０７は、画像認識結果情報受信手段１０６から入力された画像認識結果情報を記憶する。そして、画像認識結果情報記憶手段１０７は、記憶した画像認識結果情報を、画像認識結果情報の履歴を示す情報（以下、履歴情報という。）として予め定めた一定時間保持する。
【００７０】
道路環境再現データベース１０９は、道路上の各認識対象物体に関する情報である道路環境再現データを記憶する。記憶される道路環境再現データは、認識対象物体が現時刻に存在すると推定される絶対位置の情報、属性情報、及び総合確信度の情報を含む。総合確信度の算出方法については後述する。道路環境再現データは、情報センタ内装置２０起動直後に初期化される。そして、初期化後においては、道路環境再現データは、道路環境再現データ統合生成手段１０８によって随時生成され、内容が更新される。
【００７１】
道路環境再現データ統合生成手段１０８は、道路環境再現データベース１０９に記憶されている道路環境再現データのうち、対応する認識対象物体に関する新たな画像認識結果情報が車載報知装置１０から一定時間受信されていない道路環境再現データを削除する。また、道路環境再現データ統合生成手段１０８は、受信した画像認識結果情報に含まれる認識対象物体に対応する道路環境再現データが道路環境再現データベース１０９に含まれていない場合には、その認識対象物体に対応する新しい道路環境再現データを生成する。
【００７２】
道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に保持される画像認識結果情報、及び道路環境再現データベース１０９に記憶される生成前（一時刻前）の道路環境再現データに基いて、認識対象物体の現時刻における絶対位置及び属性の推定結果を生成する。また、道路環境再現データ統合生成手段１０８は、生成した推定結果に対する総合確信度を算出し、その認識対象物体に対応する道路環境再現データの情報を生成する。
【００７３】
もし仮に、各車両の車載報知装置１０から送信される画像認識結果情報が常に正確な情報であれば、道路環境再現データ統合生成手段１０８は、最新の画像認識結果情報に含まれる情報を道路環境再現データに書き込むことによって、道路環境再現データを生成することができる。しかし、画像認識結果情報には誤った情報が含まれている可能性があるので、道路環境再現データ統合生成手段１０８は、過去の画像認識結果情報の履歴情報（または一時刻前の道路環境再現データに含まれる情報）を考慮して現時刻における絶対位置、属性等の推定結果を生成する。
【００７４】
道路環境再現データ統合生成手段１０８が、道路環境再現データを生成する手順について、具体的に説明する。図５は、画像認識結果情報受信手段１０６が受信した最新の画像認識結果情報の例を示す説明図である。図５に示すように、画像認識結果情報の情報は、北緯３５．００、東経１３６．００に存在する一時停止標識（属性＝一時停止）が、走行中の車両によって１８時６分に５０％の認識確信度で検出されたことを例示している。
【００７５】
図６は、認識対象物体であるその道路標識に対応する過去の画像認識結果情報の履歴情報（画像認識結果記憶手段１０７に記憶される）及び道路環境再現データ（道路環境再現データベース１０９に記憶される）の例を示す説明図である。図６（ａ）には、過去の１８時５分及び１８時３分における画像認識結果情報の履歴情報に、１８時５分及び１８時３分に認識確信度１００％でその道路標識が認識されていたことが例示されている。また、図６（ｂ）には、１８時５分時点に生成された道路環境再現データに含まれる総合確信度は、１００％であったことが例示されている。
【００７６】
図７は、道路環境再現データ統合生成手段１０８によって生成された最新の道路環境再現データの例を示す説明図である。道路環境再現データ統合生成手段１０８は、その道路標識に対する最新の総合確信度を、図６（ａ）に示される２回分の過去の画像認識結果情報の履歴情報と、図５に示される最新の画像認識結果情報とを含めた３回分の画像認識結果情報に含まれる認識確信度の平均値を求めることにより算出する。本例では、３回分の画像認識結果情報に含まれる認識確信度が１００％、１００％及び５０％であるので、道路環境再現データ統合生成手段１０８は、図７に示すように、最新の総合確信度を平均値８４％と判定する。
【００７７】
すなわち、画像認識結果情報受信手段１０６が道路標識に対する最新の画像認識結果情報を受信した場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に記憶される画像認識結果情報の履歴情報の中から、同一の認識対象物体に関する画像認識結果情報を抽出し、認識確信度の平均値を算出して、道路環境再現データの総合確信度を生成する。走行中の車両が複数台あり複数の車載報知装置１０から画像認識結果情報を受信する場合には、画像認識結果情報記憶手段１０７は、複数の車載報知装置１０から受信した画像認識結果情報の履歴情報を記憶し、道路環境再現データ統合生成手段１０８は、複数車両からの画像認識結果情報の履歴情報に基づいて、総合的に道路環境再現データを生成することができる。
【００７８】
なお、道路環境再現データ統合生成手段１０８は、３回分の認識確信度の平均値を算出することによって総合確信度を判定するのでなく、より多くの回数分の認識確信度の平均値を算出する等、他の算出基準によって総合確信度を判定してもよい。また、道路環境再現データ統合生成手段１０８は、最新の画像認識結果情報に含まれる認識確信度と、一時刻前の道路環境再現データに含まれる総合確信度との平均値を算出する等、他の情報を参酌することによって総合確信度を判定してもよい。
【００７９】
新たに取得した画像認識結果情報に含まれる認識確信度が過去に取得した画像認識結果情報に含まれる認識確信度に比べ劣化する状況は、車両の前方視界不良等の原因によって容易に発生する。車両が他の車両や情報センタとネットワークを介して情報を送受信できない環境のもとにある場合（すなわち、車両に搭載されている装置が単独で情報を運転者に提供するような場合）には、その車両の重要情報選択手段は、認識確信度の低い情報を運転者に通知しない可能性がある。本発明によれば、各車両が認識した画像認識結果情報がネットワークを介して情報センタの情報センタ内装置２０によって収集される。そして、情報センタ内装置２０によって総合的に集計され信頼度が増した情報が、後述する手段によって各車両に配信されるので、前方視界が遮られている車両等においても有効な道路環境情報を得ることができる。
【００８０】
次に、画像認識結果情報受信手段１０６が、信号機に関する情報を受信した場合を例に説明する。信号機は、属性が時間経過に従って変化するので、道路標識と異なり最新の画像認識結果情報のみに基づいて道路環境再現データを生成してもよい。例えば、ある信号機に関して、車両Ａ，Ｂ，Ｃから同一時刻に属性が赤信号であるとする情報を含む画像認識結果情報を受信し、画像認識結果情報に含まれる認識確信度がそれぞれ１００％，９０％，２０％であったとする。この場合において、道路環境再現データ統合生成手段１０８は、その信号機に対する現時刻の道路環境再現データの総合確信度を、受信した３つの画像認識結果情報に含まれる認識確信度を平均して（１００％＋９０％＋２０％）／３＝７０％であると判定することができる。
【００８１】
次に、画像認識結果情報受信手段１０６が、同一時刻に矛盾する内容の画像認識結果情報を受信した場合を例に説明する。例えば、ある信号機に関して、車両Ａ，Ｂ，Ｃから同一時刻に属性が赤信号であるとする情報を含む画像認識結果情報を受信すると同時に、車両Ｄからその信号機が黄信号であるとする情報を含む画像認識結果情報を受信した場合を考える。また、車両Ａ，Ｂ，Ｃからの画像認識結果情報に含まれる認識確信度がそれぞれ１００％、９０％、２０％であったのに対し、車両Ｄからの画像認識結果情報に含まれる認識確信度は１０％であったとする。道路環境再現データ統合生成手段１０８は、同じ属性（点灯色）の情報毎に認識確信度の平均値を算出し、算出した平均値が大きい方の属性を含む画像認識結果情報（本例は、属性が赤信号である画像認識結果情報）を選択して、総合確信度等の道路環境再現データに含まれる情報を生成する。なお、矛盾する内容の画像認識結果情報を受信した場合に、道路環境再現データ統合生成手段１０８が道路環境再現データを生成する方法は、本例で示したものに限られない。
【００８２】
また、道路環境再現データ統合生成手段１０８は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、受信した画像認識結果情報に含まれる認識確信度を前記認識対象物体に対する総合確信度としてもよい。
【００８３】
また、歩行者や車両等のように絶対位置が時間経過とともに変化する認識対象物体に関する情報が受信された場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段が記憶する過去の画像認識結果情報の履歴情報からカルマンフィルタ等を用いて、現時刻における認識対象物体の絶対位置の推定結果を算出してもよい。この場合に、総合確信度は、算出された絶対位置の推定結果と最新の画像認識結果情報に含まれる絶対位置との差等から判定される。
【００８４】
さらに、歩行者や車両等のように絶対位置が時間経過とともに変化する認識対象物体に関する情報が受信された場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成してもよい。
【００８５】
次に、走行中のいずれの車両からも画像認識結果情報を受信しなかった場合に、道路環境再現データ統合生成手段１０８が、道路環境再現データを生成する生成方法について説明する。道路環境再現データ統合生成手段１０８は、道路標識や路面標識等の絶対位置や属性（標識種類等）が時間の経過に従って変化しない認識対象物体に対応する道路環境再現データについては生成しない。道路環境再現データ統合生成手段１０８は、歩行者や信号機等のように絶対位置や属性（性別、年齢、点灯色等）が時間の経過に従って変化する認識対象物体に対応する道路環境再現データについては、時間経過による影響を反映して道路環境再現データを生成する。
【００８６】
例えば、信号機の点灯状態が変化した可能性がある場合には、道路環境再現データ統合生成手段１０８は、現時刻の総合確信度を、一時刻前の総合確信度から予め定めた割合で低下させることによって生成する。歩行者や車両のように位置が変化する認識対象物体については、道路環境再現データ統合生成手段１０８は、過去の画像認識結果情報の履歴情報から現時刻の状態の推定結果を算出し、総合確信度を一定の割合で低下させる。
【００８７】
道路環境再現データ送信手段１１０は、生成された道路環境再現データを光信号または電波無線信号に変換して各車両の車載報知装置１０に送信する。
【００８８】
車載報知装置１０の道路環境再現データ受信手段１１１は、道路環境再現データ送信手段１１０から送信された道路環境再現データを受信する。そして、道路環境再現データ受信手段１１１は、受信した道路環境再現データを重要情報選択手段１１２に出力する。なお、道路環境再現データ受信手段１１１は、自車両が画像認識結果情報を送信してから予め定めた一定時間の間に道路環境再現データが受信されない場合には、すぐに受信処理を終了する。
【００８９】
重要情報選択手段１１２は、道路環境再現データ受信手段１１１より入力された道路環境再現データに含まれる情報、及び画像認識結果情報生成手段１０５より入力された画像認識結果情報に含まれる情報の中から、自車両の運転者に有益な情報を選択して抽出する。情報の選択方法として、重要情報選択手段１１２は、例えば、各情報に含まれる絶対位置の情報に基づいて、現時刻から数秒以内に運転者の視野に入る場所に存在する認識対象物体の情報を選択する。また、重要情報選択手段１１２は、道路環境再現データのうち、総合確信度の高い情報を選択してもよい。さらに、重要情報選択手段１１２は、画像認識結果情報生成手段１０５より入力された画像認識結果情報の中に認識確信度が道路環境再現データに含まれる総合確信度より高い情報が存在する場合には、その認識確信度が高い画像認識結果情報を選択してもよい。すなわち、重要情報選択手段１１２は、道路環境再現データまたは画像認識結果情報から、運転者にとって重要であると判断される情報を選択する。
【００９０】
また、道路環境再現データ受信手段１１１から入力された道路環境再現データと、画像認識結果情報生成手段１０５から入力された情報との内容が一致しない場合には、重要情報選択手段１１２は、道路環境再現データに含まれる情報を優先して選択してもよいし、道路環境再現データに含まれる総合確信度と、画像認識結果情報に含まれる認識確信度とを比較して、確信度の高い方の情報を選択してもよい。
【００９１】
重要情報選択手段１１２は、選択し抽出した情報を情報通知手段１１３に出力する。情報通知手段１１３は、重要情報選択手段１１２が選択した情報を、映像（モニタ表示等）または音声によって運転者に通知する。
【００９２】
次に、本実施の形態の動作について説明する。図８は、車載報知装置１０によって実行される処理の処理経過の一例を示すフローチャートである。また、図９は、情報センタ内装置２０によって実行される処理の処理経過の一例を示すフローチャートである。車載報知装置１０と、情報センタ内装置２０とは、それぞれ互いに非同期に図８及び図９に示す処理を実行する。
【００９３】
まず、車載報知装置１０の動作について説明する。撮像手段１０１は、車両周辺の映像を撮像する（ステップＳ８０１）。画像認識手段１０２は、撮像手段１０１から入力された映像中から道路標識や信号機等予め定めてある認識対象物体の認識を行い、認識した認識結果を出力する（ステップＳ８０２）。車両位置測位手段１０３は、ＧＰＳ等から車両の絶対位置を取得する（ステップＳ８０３）。画像認識結果情報生成手段１０５は、車両位置測位手段１０３が取得した自車両絶対位置情報を利用し、且つ画像認識手段１０２が出力した認識結果に含まれる情報に基づいて、認識対象物体の絶対位置、属性、認識確信度等の情報をコード化し、コード化した画像認識結果情報を出力する（ステップＳ８０４）。そして、画像認識結果情報送信手段１０５は、出力された画像認識結果情報を情報センタの情報センタ内装置２０に送信する（ステップＳ８０５）。
【００９４】
情報センタ内装置２０によって、道路環境再現データの生成及び各車両への配信の処理が行われた後、道路環境再現データ受信手段１１１は、情報センタ内装置２０の道路環境再現データ受信手段１１０から送信された道路環境再現データを受信する（ステップＳ８０６）。自車両が画像認識結果情報を送信してから予め定めた一定時間の間に道路環境再現データが受信できない場合には、道路環境再現データ受信手段１１１は、すぐに受信処理を終了する。重要情報選択手段１１２は、道路環境再現データ受信手段１１１が受信した道路環境再現データ及び自車両の画像認識結果情報生成手段１０４が出力した画像認識結果情報の中から、自車両の運転者に有益な情報を選択して抽出する（ステップＳ８０７）。情報通知手段１１３は、選択された情報を運転者に通知する（ステップＳ８０８）。そして、通知が完了したら再びステップＳ８０１に戻り、ステップＳ８０１からステップＳ８０８までの処理が繰り返し実行される。
【００９５】
次に、情報センタ内装置２０の動作について説明する。道路環境再現データ統合生成手段１０８は、情報センタ内装置２０の起動直後に道路環境再現データベース１０９に記憶される道路環境再現データを初期化する（ステップＳ９０１）。画像認識結果情報受信手段１０６は、各車両の車載報知装置１０から送信された画像認識結果情報を受信する（ステップＳ９０２）。そして、画像認識結果情報受信手段１０６は、画像認識結果情報を受信できたか否かを確認する（ステップＳ９０３）。受信できた場合には、画像認識結果情報受信手段１０６は、受信した画像認識結果情報を画像認識結果情報記憶手段１０７に出力し、画像認識結果情報記憶手段１０７は、画像認識結果情報を記憶する（ステップＳ９０４）。情報を受信できない場合には、ステップＳ９０４は実行されず、次にステップＳ９０５が実行される。
【００９６】
道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に記憶された画像認識結果情報の履歴情報と、一時刻前の道路環境再現データとに基づいて道路環境生成データを生成する（ステップＳ９０５）。道路環境再現データの生成後、道路環境再現データ送信手段１１０は、現時刻における最新の道路環境再現データを各車両の車載報知装置１０に送信する（ステップＳ９０６）。そして、各車両への情報の配信がなされた後、再びステップＳ９０２へ戻り、ステップＳ９０２からステップＳ９０６までの処理が繰り返し実行される。
【００９７】
以上に述べたように、本発明によれば道路標識、信号、車両、歩行者等カーナビゲーションシステムの地図情報では提供されていない物体に関する情報（すなわち、道路環境情報）を、道路上に隈無くインフラストラクチャを設置することなく抽出することができる。よって、ＡＨＳ等と比較して安価に道路環境情報通知装置を構築することができる。
【００９８】
また、車載カメラを用いた従来のリアルタイム情報提供システムでは、自車両に搭載したカメラの映像によって認識した情報のみを運転者に通知していたので、道路状況や日照条件等により誤った情報が通知される場合があるという問題や、運転者が目視によって気づくよりも十分に早く情報を通知できないといった問題があった。本発明によれば、各車両に搭載された車載報知装置が認識した画像認識結果情報が情報センタにおいて認識確信度に基づいて統合されることによって、信頼性の高い情報を運転者に提供できるという効果がある。また、現時刻において自車両のカメラでは撮像できない場所に存在する認識対象物体に関する情報も取得できるため、運転者は、今後発生しうる状況、トラブル等を事前に察知し、そのトラブル等を予想して運転することができるという効果がある。
【００９９】
ここで、自車両カメラでは撮像できない物体の情報の事前取得による効果について、図１０を参照して具体的に説明する。図１０は、道路環境の具体例を示す説明図である。図１０には、片側２車線道路の左側車線に駐車車両１００３が停車している状況が示されている。自車両１００１は、大型の先行車１００２に前方視界を遮られているので、自車両の画像認識装置の情報のみに基づいて道路環境を判断する従来のリアルタイム情報提供システムによれば、自車両１００１の運転者は、先行車１００２が車線変更するまで駐車車両１００３の存在に気づくことができない。
【０１００】
本発明による道路環境情報通知装置によれば、先行車１００２及び先行車１００４が搭載した画像認識装置が駐車車両１００３を検出した後、駐車車両１００３に関する道路環境再現データが情報センタから自車両１００１に配信されるので、自車両１００１の運転者は先行車１００２が車線変更するよりも早く駐車車両１００３の存在に気づくことが可能であり、余裕をもって車線変更をすることができる。
【０１０１】
実施の形態２．
次に、本発明の第２の実施の形態について説明する。図１１は、第２の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１１に示すように、道路環境情報通知装置１１は、車両に設置されたカメラからなる撮像手段１１０１と、画像認識手段１１０２と、車両位置測位手段１１０３と、画像認識結果情報生成手段１１０４と、画像情報送信手段１１０５と、画像認識結果情報受信手段１１０６と、画像認識結果情報記憶手段１１０７と、道路環境再現データ統合生成手段１１０８と、道路環境再現データベース１１０９と、重要情報選択手段１１１２と、情報通知手段１１１３とを含む。
【０１０２】
本実施の形態の構成では、道路環境情報通知装置１１は、第１の実施の形態における車載報知装置１０の構成要素に加えて、情報センタ内装置２０に含まれていた画像認識結果情報受信手段１０６と、画像認識結果情報記憶手段１０７と、道路環境再現データ統合生成手段１０８と、道路環境再現データベース１０９とを含む。第１の実施の形態では車載報知装置１０と情報センタ内装置２０との間で情報の送受信が行われるのに対し、本実施の形態は、複数の車両の道路環境情報通知装置１１間で情報の送受信が行われる点で第１の実施の形態と異なる。よって、道路環境情報通知システムは、図１１に示される各車両内に設置される複数の道路環境情報通知装置１１によって構成される。
【０１０３】
なお、道路環境情報通知装置１１の各手段はすべての車両において共通の機能を持つので、図１１は、車両１台分（車両Ａ）の道路環境情報通知装置１１の構成についてのみ図示し、他の車両については省略する。
【０１０４】
以下、道路環境情報通知装置１１に含まれる各手段の機能について説明する。撮像手段１１０１、画像認識手段１１０２、車両位置測位手段１１０３、画像認識結果情報生成手段１１０４、画像認識結果情報送信手段１１０５、重要情報選択手段１１１２、及び情報通知手段１１１３の実現方法は、第１の実施の形態と同じである。
【０１０５】
また、画像認識結果情報受信手段１１０６は、例えば、カーナビゲーション装置の送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。画像認識結果情報記憶手段１１０７は、カーナビゲーション装置の記憶装置によって実現される。道路環境再現データ統合生成手段１１０８は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。道路環境再現データベース１１０９は、例えば、カーナビゲーション装置に内蔵される記憶装置等によって実現される。
【０１０６】
画像認識結果情報生成手段１１０４は、画像認識結果情報を画像認識結果情報送信手段１１０５及び画像認識結果情報記憶手段１１０７に出力する。画像認識結果情報送信手段１１０５は、画像認識結果情報生成手段１１０４から入力された画像認識結果情報を他車両の道路環境情報通知装置１１に送信する。画像認識結果情報受信手段１１０６は、他車両から送信された画像認識結果情報を受信する。
【０１０７】
画像認識結果情報記憶手段１１０７は、画像認識結果情報受信手段１１０６が出力する画像認識結果情報、及び画像認識結果情報生成手段１１０４が出力する画像認識結果情報を、画像認識結果情報の履歴情報として記憶する。
【０１０８】
道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報、及び道路環境再現データベース１１０９が記憶する一時刻前の道路環境再現データに基づいて、現時刻における認識対象物体の絶対位置及び属性の推定結果を生成する。また、道路環境再現データ統合生成手段１１０８は、生成した推定結果の総合確信度を算出して道路環境再現データを生成する。道路環境再現データ統合生成手段１１０８が道路環境再現データを生成する処理手順は、第１の実施の形態と同じである。そして、重要情報選択手段１１１２は、道路環境再現データ１１０８の中から自車両の運転者に有益な情報を選択し抽出する。
【０１０９】
なお、撮像手段１１０１、画像認識手段１１０２、車両位置測位手段１１０３、及び情報通知手段１１１３の機能は、第１の実施の形態と同じである。
【０１１０】
次に、第２の実施の形態の動作について説明する。図２は、道路環境情報通知装置１１によって実行される処理の処理経過の一例を示すフローチャートである。まず、道路環境情報通知装置１１の起動直後に、道路環境再現データ統合生成手段１１０８は、道路環境再現データベース１０９が記憶する道路環境再現データを初期化する（ステップＳ１２０１）。撮像手段１１０１は、車両周辺の映像を撮像する（ステップＳ１２０２）。画像認識手段１１０２は、撮像手段１１０１から入力される映像から道路標識や信号機等予め設定されている認識対象物体を認識し、認識した認識結果を出力する（ステップＳ１２０３）。車両位置測位手段１１０３は、ＧＰＳ等から自車両の絶対位置を取得する（ステップＳ１２０４）。
【０１１１】
画像認識結果情報生成手段１１０５は、車両位置測位手段１１０３が取得した自車両絶対位置情報を参照し、画像認識手段１１０２からの画像認識結果に基づいて認識対象物体の絶対位置、属性、認識確信度等の情報をコード化し、コード化された画像認識結果情報を出力する（ステップＳ１２０５）。画像認識結果情報記憶手段１１０７は、画像認識結果情報生成手段１１０５からの画像認識結果情報を記憶するとともに（ステップＳ１２０６）、画像認識結果情報送信手段は、その画像認識結果情報を他車両に送信する（ステップＳ１２０７）。
【０１１２】
画像認識結果情報の送信後、画像認識結果情報受信手段１１０６は、他車両から発信された画像認識結果情報を受信する（ステップＳ１２０８）。画像認識結果情報受信手段１１０６は、他車両の道路環境情報通知装置１１から画像認識情報を受信したか否かを判定する（ステップＳ１２０９）。情報を受信した場合には、画像認識結果情報記憶手段１１０７は、受信した画像認識結果情報を記憶する（ステップＳ１２１０）。情報を受信しない場合には、ステップＳ１２１０の処理は実行されず、次にステップＳ１２１１が実行される。
【０１１３】
道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報を参照して、現時刻における認識対象物体の位置及び属性等の推定結果を生成して、道路環境再現データベース１１０９に記憶される道路環境再現データを生成する（ステップＳ１２１１）。重要情報選択手段１１１２は、道路環境再現データに含まれる情報の中から自車両の運転者に有益な情報を選択して抽出する（ステップＳ１２１２）。情報通知手段１１１３は、抽出した情報を映像（モニタ表示等）または音声によって運転者に通知する（ステップＳ１２１３）。
【０１１４】
このように、第２の実施の形態では、第１の実施の形態と異なり、情報センタに情報センタ内装置２０を設置することなく、各車両に道路環境情報通知装置１１を設置するのみで道路環境情報通知システムを構築することができる。
【０１１５】
図１３は、画像認識結果情報に含まれる情報の他の例を示す説明図である。第１の実施の形態及び第２の実施の形態では、画像認識結果情報が認識対象物体の種類と、属性と、絶対位置と、認識時刻と、認識確信度とを含む場合について説明したが、図１３に示すように、画像認識結果情報は、車両を特定可能な車両番号情報１３０１を含んでいてもよい。車両番号情報１３０１を含むことによって、道路環境再現データの信頼性をさらに向上させることができる。
【０１１６】
以下、画像認識結果情報が車両番号情報１３０１を含むことの効果について説明する。道路環境情報再現データ生成手段１０８，１１０８は、各車両から受信した各画像認識結果情報と、その画像認識結果情報を総合判断して生成された道路環境再現データとを比較することによって、道路環境再現データと情報の内容が一致する画像認識結果情報は正しい情報である可能性が高いと判断する。また、道路環境情報再現データ生成手段１０８，１１０８は、道路環境再現データと情報の内容が矛盾する画像認識結果情報は誤った情報である可能性が高いと判断する。
【０１１７】
そして、道路環境情報再現データ生成手段１０８，１１０８は、画像認識結果情報が正しい情報と判断される頻度（以下、車両別正情報頻度という。）を車両番号毎に集計することによって、車両別正情報頻度テーブルを生成する。図１４は、道路環境情報再現データ生成手段１０８，１１０８が生成する車両別正情報頻度テーブルの内容の一例を示す説明図である。本例では、図１４に示すように、車両番号が「０１２３４５６」である車両から受信する画像認識結果情報の車両別正情報頻度が低く、その車両から受信する画像認識結果情報に含まれる情報については、何らかの原因によって誤った情報が通知されている可能性が高いことが例示されている。
【０１１８】
道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度を低く見積もって道路環境再現データを生成することによって、道路環境再現データヘの誤情報の混入を低減し、より信頼性の高い道路環境再現データを出力することができる。
【０１１９】
例えば、道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度から予め定めた一定の値α（＞０）を減算し、減算して得られた認識確信度に基づいて道路環境再現データを生成する。
【０１２０】
また、道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度から予め定めた一定の値β（０＜β＜１）を乗算し、乗算して得られた認識確信度に基づいて道路環境再現データを生成してもよい。
【０１２１】
実施の形態３．
次に、本発明の第３の実施の形態について説明する。図１５は、第３の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１５に示すように、本実施の形態では、車載報知装置１２は、第１の実施の形態における車載報知装置１０の構成要素に加えて、入力操作手段１５１４を含む。
【０１２２】
入力操作手段１５１４は、運転者の操作に従って、情報通知手段１５１３から取得したい情報の種類の選択、走行予定ルートの設定、または画像認識結果情報送信手段１５０５からの情報発信の可否等を装置に指示する。従って、入力操作手段は１５１４は、道路環境情報通知装置と、運転者との間のユーザインタフェースとしての役割を果たすものであり、例えば、カーナビゲーション装置のリモートコントローラ等によって実現される。
【０１２３】
なお、車載報知装置１２に含まれる撮像手段１５０１、画像認識手段１５０２、車両位置測位手段１５０３、画像認識結果情報生成手段１５０４、画像認識結果情報送信手段１５０５、道路環境再現データ受信手段１５１１、重要情報選択手段１５１２、及び情報通知手段１５１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２２に含まれる画像認識結果情報受信手段１５０６、画像認識結果情報記憶手段１５０７、道路環境再現データ統合生成手段１５０８、道路環境再現データベース１５０９、及び道路環境再現データ送信手段１５１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１２４】
本実施の形態では、画像認識結果情報発信手段１５０５は、画像認識結果情報を常に情報センタの情報センタ内装置２２に送信するのではなく、入力操作手段１５１４によって情報送信可能と設定されている場合にのみ情報を情報センタ内装置２２に送信する。そうすることにより、必要であれば、自車両の位置を他人に知られないようにすることができる。
【０１２５】
また、重要情報選択手段１５１２は、入力操作手段１５１４によって指定された走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出したり、入力操作手段１５１４によって指定された種類の認識対象物体に関する情報を選択して抽出する。そうすることにより、運転者は、必要とする情報を効率的に取得することができる。
【０１２６】
なお、入力操作手段１５１４を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に入力操作手段を追加してもよい。
【０１２７】
実施の形態４．
次に、本発明の第４の実施の形態について説明する。図１６は、第４の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１６に示すように、本実施の形態では、車載報知装置１３は、第１の実施の形態における車載報知装置１０の構成要素に加えて、動作状態監視手段１６１５を含む。動作状態監視手段１６１５は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。
【０１２８】
動作状態監視手段１６１５は、画像認識情報コード化手段１６０４から入力される画像認識結果情報に含まれる情報と、道路環境再現データ受信手段１６１１から入力される道路環境再現データに含まれる情報とを比較する。そして、動作状態監視手段１６１５は、画像認識結果情報と道路環境再現データとの間で内容が一致しない情報が含まれる頻度が予め定めた値を超える場合には、自車両の車載報知装置１３の撮像手段１６０１または画像認識手段１６０２に不具合が生じたと判断する。そして、動作状態監視手段１６１５は、注意情報を情報通知手段１６１３に出力する。
【０１２９】
例えば、道路環境再現データに「位置Ａに駐車禁止標識がある。」という情報が含まれているのに対して、画像認識結果情報に「位置Ａに駐停車禁止標識がある。」という情報が含まれている場合や、道路環境再現データに「位置Ｂの信号が青信号である。」という情報が含まれているのに対し、画像認識結果情報に「位置Ｂの信号が赤信号である。」という情報が含まれている場合に、動作状態監視手段１６１５は、画像認識結果情報と道路環境再現データとの間で内容が一致しないと判断する。そして、動作状態監視手段１６１５は、内容が一致しない情報が含まれる頻度が、例えば、５０％を超える場合には、撮像手段１６０１または画像認識手段１６０２に不具合が生じたと判断する。
【０１３０】
そうすることによって、運転者は自車両に搭載した装置の不具合を認知することができる。
【０１３１】
なお、車載報知装置１３に含まれる撮像手段１６０１、画像認識手段１６０２、車両位置測位手段１６０３、画像認識結果情報生成手段１６０４、画像認識結果情報送信手段１６０５、道路環境再現データ受信手段１６１１、重要情報選択手段１６１２、及び情報通知手段１６１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２３に含まれる画像認識結果情報受信手段１６０６、画像認識結果情報記憶手段１６０７、道路環境再現データ統合生成手段１６０８、道路環境再現データベース１６０９、及び道路環境再現データ送信手段１６１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１３２】
なお、動作状況監視手段１６１５を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に動作状況監視手段１６１５を追加してもよい。
【０１３３】
実施の形態５．
次に、本発明の第５の実施の形態について説明する。図１７は、第５の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１７に示すように、本実施の形態では、車載報知装置１４は、第１の実施の形態における車載報知装置１０の構成要素に加えて、衝撃感知直前映像記録手段１７１６を含む。衝撃感知直前映像記録手段１７１６は、例えば、衝撃感知センサと、衝撃センサを制御するカーナビゲーション装置の制御部とによって実現される。
【０１３４】
衝撃感知直前映像記録手段１７１６は、撮像手段１７０１によって撮像された映像を予め定めた一定時間の間記録し、車両に対して強い衝撃を感知した場合（すなわち、事故が発生した場合等）に映像の上書き記録を中止して、衝撃を感知した直前に記録した画像を保持する。
【０１３５】
衝撃感知直前映像記録手段１７１６を付加することにより、自車両が事故等に遭遇した時刻の周囲の映像を情報として保持することができ、迅速に事故原因の究明を行うことができる。
【０１３６】
なお、車載報知装置１４に含まれる撮像手段１７０１、画像認識手段１７０２、車両位置測位手段１７０３、画像認識結果情報生成手段１７０４、画像認識結果情報送信手段１７０５、道路環境再現データ受信手段１７１１、重要情報選択手段１７１２、及び情報通知手段１７１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２４に含まれる画像認識結果情報受信手段１７０６、画像認識結果情報記憶手段１７０７、道路環境再現データ統合生成手段１７０８、道路環境再現データベース１７０９、及び道路環境再現データ送信手段１７１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１３７】
なお、衝撃感知直前映像記録手段１７１６を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１にその衝撃感知直前映像記録手段１７１６を追加してもよい。
【０１３８】
また、車載報知装置１４は、さらに車両速度計測手段を含んでもよい。車両速度計測手段は、車両の移動速度を感知する。そして、重要情報選択手段は、認識対象物体が赤信号または一時停止標識である道路環境再現データについては、その道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される自車両から認識対象物体までの距離に対して、車両速度計測手段が感知した自車両の移動速度が予め定めた閾値を超える場合にのみ、その道路環境再現データを選択して抽出する。なお、車両速度計測手段は、速度計等によって実現される。
【０１３９】
実施の形態６．
次に、本発明の第６の実施の形態について説明する。図１８は、第６の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。 図１８に示すように、本実施の形態では、車載報知装置１５は、第１の実施の形態における車載報知装置１０の構成要素に加えて、未抽出物体判定手段１８１７を含む。未抽出物体判定手段１８１７は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。
【０１４０】
未抽出物体判定手段１８１７は、道路環境再現データに情報として含まれる認識対象物体のうち、自車両から認識可能な範囲の位置に存在し、且つ自車両の画像認識手段１８０２で認識されていない認識対象物体を選択して抽出し、抽出した情報を画像認識手段１８０２に出力する。
【０１４１】
そして、画像認識手段１８０２は、次の認識処理を行う際に、通常の認識処理に加え、未抽出物体判定手段１８１７からの認識対象物体に基づいて画像の認識処理を行うトップダウン的認識処理を行う。
【０１４２】
そうすることにより、画像認識手段１８０２が通常行っている入力画像のみに基づいて画像の認識処理を行うボトムアップ的画像認識手法では検出困難な認識対象物体でも、トップダウン的認識手法を適用することにより認識対象物体を認識することができる。
【０１４３】
なお、車載報知装置１５に含まれる撮像手段１８０１、画像認識手段１８０２、車両位置測位手段１８０３、画像認識結果情報生成手段１８０４、画像認識結果情報送信手段１８０５、道路環境再現データ受信手段１８１１、重要情報選択手段１８１２、及び情報通知手段１８１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２５に含まれる画像認識結果情報受信手段１８０６、画像認識結果情報記憶手段１８０７、道路環境再現データ統合生成手段１８０８、道路環境再現データベース１８０９、及び道路環境再現データ送信手段１８１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１４４】
なお、未抽出物体判定手段１８１７を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に未抽出物体判定手段１８１７を追加してもよい。
【０１４５】
以上のように、本発明によれば、道路標識、信号、車両、歩行者等カーナビゲーションシステムの地図情報では提供されない物体に関する道路環境情報を、道路上に隈無くインフラストラクチャを設置せずに運転者に通知することができる。よって、ＡＨＳ等に比べ安価にシステムを構築することができる。
【０１４６】
従来の発明では自車両の車載カメラで撮像することによって認識した情報のみを利用していたので、コンピュータビジョン技術の不完全さによって画像の情報を誤認識する問題や、運転者が目視により知覚するよりも早く認識対象物体の情報を運転者に通知できないといった問題があったが、本発明によれば各車両からの画像認識結果情報を情報センタまたは各車両内で統合することによって信頼性の高い道路環境再現データを生成することができ、その信頼性の高い道路環境再現データを運転者に通知できるため、運転者は信頼性の高い情報に基づいて状況判断をすることができる。また、現時刻において自車両のカメラでは撮像できない場所に存在する物体に関する情報を事前に取得することもできるので、運転者は、今後走行中に発生しうる状況やトラブルを事前に知ることができる。
【０１４７】
なお、図１、図１１、図１５、図１６、図１７、及び図１８に示された構成は、ソフトウェアによって実現可能である。すなわち、本実施の形態では、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識処理と、画像認識の結果の情報と、車両の地球上における位置である車両の絶対位置の情報とに基づいて、画像認識結果情報を生成する画像認識結果情報生成処理と、画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成処理と、道路環境再現データと、画像認識結果情報とを比較して、運転者に有益な認識対象物体に関する情報を選択して抽出する重要情報選択処理と、抽出された認識対象物体に関する情報を運転者に通知する情報通知処理とを実行させるための道路環境情報通知プログラムによって、道路環境情報通知装置または道路環境情報通知方法を実現可能である。
【図面の簡単な説明】
【０１４８】
【図１】本発明による道路環境情報通知装置の構成の一例を示すブロック図である。
【図２】撮像手段が撮像する画像の一例を示す説明図である。
【図３】画像認識手段が出力する画像認識結果の一例を示す説明図である。
【図４】画像認識手段が出力する画像認識結果の他の例を示す説明図である。
【図５】画像認識結果情報の一例を示す説明図である。
【図６】画像認識結果情報の履歴情報と、道路環境再現データベースに記憶される道路環境再現データの一例を示す説明図である。
【図７】道路環境再現データ統合生成手段によって、生成された道路環境再現データの一例を示す説明図である。
【図８】車載報知装置が行う処理の処理経過の一例を示すフローチャートである。
【図９】情報センタ内装置が行う処理の処理経過の一例を示すフローチャートである。
【図１０】道路環境の具体例を示す説明図である。
【図１１】本発明による道路環境情報通知装置の構成の他の例を示すブロック図である。
【図１２】本発明による道路環境情報通知装置が行う処理の処理経過の一例を示すフローチャートである。
【図１３】画像認識結果情報の他の例を示す説明図である。
【図１４】車両別正情報頻度テーブルの内容の一例を示す説明図である。
【図１５】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１６】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１７】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１８】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【符号の説明】
【０１４９】
１０，１２，１３，１４，１５ 車載報知装置
１１ 道路環境情報通知装置
２０，２２，２３，２４，２５ 情報センタ内装置
１０１，１１０１，１５０１，１６０１，１７０１，１８０１ 撮像手段
１０２，１１０２，１５０２，１６０２，１７０２，１８０２ 画像認識手段
１０３，１１０３，１５０３，１６０３，１７０３，１８０３ 車両位置測位手段
１０４，１１０４，１５０４，１６０４，１７０４，１８０４ 画像認識結果情報生成手段
１０５，１１０５，１５０５，１６０５，１７０５，１８０５ 画像認識結果情報送信手段
１０６，１１０６，１５０６，１６０６，１７０６，１８０６ 画像認識結果情報受信手段
１０７，１１０７，１５０７，１６０７，１７０７，１８０７ 画像認識結果情報記憶手段
１０８，１１０８，１５０８，１６０８，１７０８，１８０８ 道路環境再現データ統合生成手段
１０９，１１０９，１５０９，１６０９，１７０９，１８０９ 道路環境再現データベース
１１０，１５１０，１６１０，１７１０，１８１０ 道路環境再現データ送信手段
１１１，１５１１，１６１１，１７１１，１８１１ 道路環境再現データ受信手段
１１２，１１１２，１５１２，１６１２，１７１２，１８１２ 重要情報選択手段
１１３，１１１３，１５１３，１６１３，１７１３，１８１３ 情報通知手段
１５１４ 入力操作手段
１６１５ 動作状態監視手段
１７１６ 衝撃感知直前映像記憶手段
１８１７ 未抽出物体判定手段
【特許請求の範囲】
【請求項１】
車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知する道路環境情報通知装置であって、
車両周辺を撮像して画像情報を出力する撮像手段と、
撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、
前記画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する画像認識結果情報送信手段と、
他の車両からの画像認識結果情報を、受信する画像認識結果情報受信手段と、
自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成手段と、
前記道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えた
ことを特徴とする道路環境情報通知装置。
【請求項２】
車両の絶対位置を把握する車両位置把握手段と、
画像認識手段が出力する画像認識の結果の情報と、前記車両の絶対位置の情報とに基づいて、画像認識結果情報を生成する画像認識結果情報生成手段と、
画像認識結果情報生成手段が生成した自車両の画像認識結果情報、及び受信した他の車両の画像認識結果情報の履歴情報を記憶する画像認識結果情報記憶手段と、
現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果、及び前記推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段とを備えた
請求項１に記載の道路環境情報通知装置。
【請求項３】
道路環境再現データ統合生成手段が出力する道路環境再現データから、運転者に重要であると判断される情報を、道路環境再現データから選択して抽出する重要情報選択手段を備えた
請求項２に記載の道路環境情報通知装置。
【請求項４】
画像認識手段は、撮像された画像情報に基づいて画像認識をすることによって、前記認識対象物体の属性、車両に対する相対位置、及び認識時刻を抽出し、且つ画像認識によって得られた結果の確かさを示す認識確信度を算出して、前記属性、相対位置、認識時刻、及び認識確信度を含む画像認識の結果の情報を出力し、
画像認識結果情報生成手段は、前記画像認識情報に含まれる認識対象物体の車両に対する相対位置と、車両位置把握手段が取得する車両の絶対位置とに基づいて、前記認識対象物体の絶対位置を算出し、前記認識対象物体の絶対位置、属性、認識時刻、及び認識確信度を含む情報を画像認識結果情報として出力し、
道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報に含まれる認識確信度と一時刻前における道路環境再現データに含まれる総合確信度との値に基づいて、前記画像認識結果情報の履歴情報に含まれる情報の内容と前記道路環境再現データに含まれる情報の内容とを統合することによって、現時刻における認識対象物体の絶対位置及び属性の推定結果を算出し、前記推定結果に基づいて前記道路環境再現データの内容を更新することによって、最新の道路環境再現データを生成し、
情報通知手段は、重要情報選択手段が抽出した情報を、映像による表示または音声にて運転者に通知する
請求項３に記載の道路環境情報通知装置。
【請求項５】
道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が画像認識結果情報受信手段が新たに受信した画像認識結果情報を記憶した場合に、画像認識結果情報の履歴情報に含まれる認識確信度の平均値を算出することによって、総合確信度を算出する
請求項４に記載の道路環境情報通知装置。
【請求項６】
道路環境再現データ統合生成手段は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、前記受信した画像認識結果情報に含まれる認識確信度を前記認識対象物体に対する総合確信度とする
請求項４または請求項５に記載の道路環境情報通知装置。
【請求項７】
道路環境再現データ統合生成手段は、認識対象物体の属性が時間経過に従って変化する場合、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成する
請求項３から請求項６のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項８】
道路環境再現データ統合生成手段は、画像認識結果情報受信手段が特定の認識対象物体の情報を含む画像認識結果情報を予め定めた一定時間の間受信しない場合には、道路環境再現データ記憶手段が記憶する道路環境再現データのうち、前記認識対象物体に対応する道路環境再現データを削除する
請求項３から請求項７のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項９】
画像認識結果情報生成手段は、車両を特定するための車両番号情報を含んだ画像認識結果情報を生成し、
道路環境再現データ統合生成手段は、画像認識結果情報受信手段が受信した画像認識結果情報の内容が道路環境再現データの内容と一致しない場合に、前記画像認識結果情報に含まれる車両番号情報を予め定めた一定時間の間記憶し、特定の車両番号情報の車両から受信した画像認識結果情報内容が予め定めた頻度を超える割合で前記道路環境再現データの内容と一致しない場合には、前記車両から受信した画像認識情報に含まれる認識確信度を低く見積もって新たな道路環境再現データを生成する
請求項３から請求項８のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１０】
走行予定ルートに関する指示を入力する入力操作手段を備え、
重要情報選択手段は、前記走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出する
請求項３から請求項９のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１１】
入力操作手段は、取得したい情報の指定を入力する機能を有し、
重要情報選択手段は、入力操作手段によって入力された指定に基づいて情報を選択して抽出する
請求項３から請求項１０のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１２】
入力操作手段は、画像認識結果情報を他の車両に送信するか否かの指定を入力する機能を有し、
画像認識結果情報送信手段は、入力操作手段の入力によって画像認識結果情報を送信する旨の指定がされている場合にのみ、前記画像認識結果情報を送信する
請求項３から請求項１１のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１３】
画像認識結果情報生成手段が出力する画像認識結果情報の内容と、道路環境再現データの内容とが、予め定めた頻度を超えて一致しない場合に不具合が発生していると判断することによって、撮像手段または画像認識手段の動作状態を監視する動作状態監視手段を備え、
情報通知手段は、前記動作状態監視手段が不具合を検出した場合に、検出した不具合に関する情報を運転者に通知する
請求項３から請求項１２のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１４】
撮像手段が撮像した映像を予め定めた一定時間の間記憶し、車両に対する衝撃を感知した場合に新しい映像の記録を中止して、衝撃を感知する直前の映像を保持する衝撃感知直前映像記憶手段を備えた
請求項３から請求項１３のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１５】
車両の移動速度を感知する車両速度計測手段を備え、
重要情報選択手段は、認識対象物体の属性が赤信号である信号機または一時停止標識である道路環境再現データについては、前記道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される車両から認識対象物体までの距離に対して、前記車両の移動速度が予め定めた閾値を超える場合にのみ、前記認識対象物体に関する道路環境再現データを選択して抽出する
請求項３から請求項１４のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１６】
受信した道路環境再現データに対応する認識対象物体が自車両から認識可能な位置にあり、且つ画像認識手段が前記認識対象物体を認識していない場合に、前記認識対象物体を判定する未抽出物体判定手段を備え、
画像認識手段は、未抽出物体判定手段が判定した認識対象物体の情報に基づいて画像解析を行うトップダウン画像解析処理によって、未抽出物体を抽出する
請求項３のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１７】
車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知するための道路環境情報通知プログラムであって、
コンピュータに、
撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、
前記画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する処理と、
他の車両からの画像認識結果情報を、受信する処理と、
自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する処理と、
前記道路環境再現データに含まれる情報を運転者に通知する処理とを
実行させるための道路環境情報通知プログラム。
【請求項１】
車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知する道路環境情報通知装置であって、
車両周辺を撮像して画像情報を出力する撮像手段と、
撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、
前記画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する画像認識結果情報送信手段と、
他の車両からの画像認識結果情報を、受信する画像認識結果情報受信手段と、
自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成手段と、
前記道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えた
ことを特徴とする道路環境情報通知装置。
【請求項２】
車両の絶対位置を把握する車両位置把握手段と、
画像認識手段が出力する画像認識の結果の情報と、前記車両の絶対位置の情報とに基づいて、画像認識結果情報を生成する画像認識結果情報生成手段と、
画像認識結果情報生成手段が生成した自車両の画像認識結果情報、及び受信した他の車両の画像認識結果情報の履歴情報を記憶する画像認識結果情報記憶手段と、
現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果、及び前記推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段とを備えた
請求項１に記載の道路環境情報通知装置。
【請求項３】
道路環境再現データ統合生成手段が出力する道路環境再現データから、運転者に重要であると判断される情報を、道路環境再現データから選択して抽出する重要情報選択手段を備えた
請求項２に記載の道路環境情報通知装置。
【請求項４】
画像認識手段は、撮像された画像情報に基づいて画像認識をすることによって、前記認識対象物体の属性、車両に対する相対位置、及び認識時刻を抽出し、且つ画像認識によって得られた結果の確かさを示す認識確信度を算出して、前記属性、相対位置、認識時刻、及び認識確信度を含む画像認識の結果の情報を出力し、
画像認識結果情報生成手段は、前記画像認識情報に含まれる認識対象物体の車両に対する相対位置と、車両位置把握手段が取得する車両の絶対位置とに基づいて、前記認識対象物体の絶対位置を算出し、前記認識対象物体の絶対位置、属性、認識時刻、及び認識確信度を含む情報を画像認識結果情報として出力し、
道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報に含まれる認識確信度と一時刻前における道路環境再現データに含まれる総合確信度との値に基づいて、前記画像認識結果情報の履歴情報に含まれる情報の内容と前記道路環境再現データに含まれる情報の内容とを統合することによって、現時刻における認識対象物体の絶対位置及び属性の推定結果を算出し、前記推定結果に基づいて前記道路環境再現データの内容を更新することによって、最新の道路環境再現データを生成し、
情報通知手段は、重要情報選択手段が抽出した情報を、映像による表示または音声にて運転者に通知する
請求項３に記載の道路環境情報通知装置。
【請求項５】
道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が画像認識結果情報受信手段が新たに受信した画像認識結果情報を記憶した場合に、画像認識結果情報の履歴情報に含まれる認識確信度の平均値を算出することによって、総合確信度を算出する
請求項４に記載の道路環境情報通知装置。
【請求項６】
道路環境再現データ統合生成手段は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、前記受信した画像認識結果情報に含まれる認識確信度を前記認識対象物体に対する総合確信度とする
請求項４または請求項５に記載の道路環境情報通知装置。
【請求項７】
道路環境再現データ統合生成手段は、認識対象物体の属性が時間経過に従って変化する場合、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成する
請求項３から請求項６のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項８】
道路環境再現データ統合生成手段は、画像認識結果情報受信手段が特定の認識対象物体の情報を含む画像認識結果情報を予め定めた一定時間の間受信しない場合には、道路環境再現データ記憶手段が記憶する道路環境再現データのうち、前記認識対象物体に対応する道路環境再現データを削除する
請求項３から請求項７のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項９】
画像認識結果情報生成手段は、車両を特定するための車両番号情報を含んだ画像認識結果情報を生成し、
道路環境再現データ統合生成手段は、画像認識結果情報受信手段が受信した画像認識結果情報の内容が道路環境再現データの内容と一致しない場合に、前記画像認識結果情報に含まれる車両番号情報を予め定めた一定時間の間記憶し、特定の車両番号情報の車両から受信した画像認識結果情報内容が予め定めた頻度を超える割合で前記道路環境再現データの内容と一致しない場合には、前記車両から受信した画像認識情報に含まれる認識確信度を低く見積もって新たな道路環境再現データを生成する
請求項３から請求項８のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１０】
走行予定ルートに関する指示を入力する入力操作手段を備え、
重要情報選択手段は、前記走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出する
請求項３から請求項９のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１１】
入力操作手段は、取得したい情報の指定を入力する機能を有し、
重要情報選択手段は、入力操作手段によって入力された指定に基づいて情報を選択して抽出する
請求項３から請求項１０のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１２】
入力操作手段は、画像認識結果情報を他の車両に送信するか否かの指定を入力する機能を有し、
画像認識結果情報送信手段は、入力操作手段の入力によって画像認識結果情報を送信する旨の指定がされている場合にのみ、前記画像認識結果情報を送信する
請求項３から請求項１１のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１３】
画像認識結果情報生成手段が出力する画像認識結果情報の内容と、道路環境再現データの内容とが、予め定めた頻度を超えて一致しない場合に不具合が発生していると判断することによって、撮像手段または画像認識手段の動作状態を監視する動作状態監視手段を備え、
情報通知手段は、前記動作状態監視手段が不具合を検出した場合に、検出した不具合に関する情報を運転者に通知する
請求項３から請求項１２のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１４】
撮像手段が撮像した映像を予め定めた一定時間の間記憶し、車両に対する衝撃を感知した場合に新しい映像の記録を中止して、衝撃を感知する直前の映像を保持する衝撃感知直前映像記憶手段を備えた
請求項３から請求項１３のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１５】
車両の移動速度を感知する車両速度計測手段を備え、
重要情報選択手段は、認識対象物体の属性が赤信号である信号機または一時停止標識である道路環境再現データについては、前記道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される車両から認識対象物体までの距離に対して、前記車両の移動速度が予め定めた閾値を超える場合にのみ、前記認識対象物体に関する道路環境再現データを選択して抽出する
請求項３から請求項１４のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１６】
受信した道路環境再現データに対応する認識対象物体が自車両から認識可能な位置にあり、且つ画像認識手段が前記認識対象物体を認識していない場合に、前記認識対象物体を判定する未抽出物体判定手段を備え、
画像認識手段は、未抽出物体判定手段が判定した認識対象物体の情報に基づいて画像解析を行うトップダウン画像解析処理によって、未抽出物体を抽出する
請求項３のうちのいずれか１項に記載の道路環境情報通知装置。
【請求項１７】
車両内に設置され、運転者に道路環境に関する情報である道路環境情報を通知するための道路環境情報通知プログラムであって、
コンピュータに、
撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、
前記画像認識の結果の情報を含む画像認識結果情報を、他の車両に送信する処理と、
他の車両からの画像認識結果情報を、受信する処理と、
自車両の画像認識結果情報と、受信した他の車両の画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する処理と、
前記道路環境再現データに含まれる情報を運転者に通知する処理とを
実行させるための道路環境情報通知プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−１３９３２０（Ｐ２００８−１３９３２０Ａ）
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願番号】特願２００７−３３２０３４（Ｐ２００７−３３２０３４）
【出願日】平成１９年１２月２５日（２００７．１２．２５）
【分割の表示】特願２００２−３３４４１８（Ｐ２００２−３３４４１８）の分割
【原出願日】平成１４年１１月１８日（２００２．１１．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願日】平成１９年１２月２５日（２００７．１２．２５）
【分割の表示】特願２００２−３３４４１８（Ｐ２００２−３３４４１８）の分割
【原出願日】平成１４年１１月１８日（２００２．１１．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]