情報取得装置
【課題】不必要な情報の送受信を低減して周辺道路に関する情報を正確且つ迅速に運転者に提示可能な情報取得装置を提供する。
【解決手段】自車両周辺に存在する他車両に関する情報を取得する送受信部11と、運転者の視点位置を検知する車内映像撮影カメラ18及び視線センサ17と、車両室内に配置されて運転者による操作入力が可能なスイッチ16とを備え、送受信部11は、他車両の位置と運転者の視点位置とが一致した状態でスイッチ16からの入力があったときに、他車両により撮影された映像と該映像に関連する位置情報とを取得することを特徴とする。
【解決手段】自車両周辺に存在する他車両に関する情報を取得する送受信部11と、運転者の視点位置を検知する車内映像撮影カメラ18及び視線センサ17と、車両室内に配置されて運転者による操作入力が可能なスイッチ16とを備え、送受信部11は、他車両の位置と運転者の視点位置とが一致した状態でスイッチ16からの入力があったときに、他車両により撮影された映像と該映像に関連する位置情報とを取得することを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、自動車等の車両に搭載される情報取得装置に関するものである。
【背景技術】
【0002】
従来から、自車両が走行する車線の道路関連情報を取得する情報取得装置が知られている。この情報取得装置は、路車間通信により道路関連情報を路側設備より受信して取得する構成となっている。そのため、路側に多くの通信設備を設ける必要があり、近年、道路上ですれ違う車両から自車両の進行方向の道路情報を車車間通信により取得するものが提案されている(例えば、特許文献1参照)。
【特許文献1】特開2006−72472号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上述の情報取得装置においては、対向車が多数の場合、全ての対向車に対して道路情報の送受信を行うことで必要以上の情報が車車間通信により受信されて膨大な記憶容量が必要になるという課題がある。
また、無差別に道路情報を受信した場合、膨大な情報量を処理するための時間が必要となり、道路情報の迅速な表示が行えなくなる場合がある。さらに、受信情報が多すぎることで運転者が道路情報を正確に把握できない場合がある。
【0004】
この発明は、上記事情に鑑みてなされたものであり、不必要な情報の送受信を低減して周辺道路に関する情報を正確且つ迅速に運転者に提示可能な情報取得装置を提供するものである。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、請求項1に記載した発明は、自車両周辺に存在する他車両に関する情報を取得する取得手段(例えば、実施の形態における送受信部11)を備えた情報取得装置であって、運転者の視点位置を検知する視線検知手段(例えば、実施の形態における車内映像撮影カメラ18及び視線センサ17)と、車両室内に配置されて運転者による操作入力が可能な入力手段(例えば、実施の形態におけるスイッチ16)とを備え、前記取得手段は、前記他車両の位置と前記運転者の視点位置とが一致した状態で前記入力手段からの入力があったときに、前記他車両により撮影された映像と該映像に関連する位置情報とを取得することを特徴とする。
【0006】
請求項2に記載した発明は、請求項1に記載の発明において、道路地図を表示可能な表示手段(例えば、実施の形態におけるナビディスプレイ14、HUD15)を備え、該表示手段は、前記取得した位置情報が自車両から所定範囲内であった場合に、前記位置情報に対応する位置を前記道路地図上に重ねて表示することを特徴とする。
【発明の効果】
【0007】
請求項1に記載した発明によれば、視線検知手段により検知した視点位置と他車両の位置とが一致した状態で入力手段から入力があったとき、すなわち運転者により視認されている他車両を入力手段を介して選択したときに、この他車両により撮影された映像および、映像を撮像した位置などの映像に関連する位置情報だけを自車両が取得するため、不必要な映像の送受信を低減して他車両の撮像した映像とこの映像に関連する位置情報とを正確且つ迅速に運転者に提示可能になるという効果がある。
また、上記のように映像を運転者に提示することで、進行方向の交通状況、路面状況、天候などを確認することが可能となる。
【0008】
請求項2に記載した発明によれば、表示手段に表示される道路地図に対して、取得手段を介して取得した映像に関する位置情報すなわち、撮影位置を重ねて表示することで、運転者が、映像を撮影した位置を映像を見ながら容易に把握することができる効果がある。
【発明を実施するための最良の形態】
【0009】
次に、この発明の第1の実施の形態における情報取得装置について図面を参照しながら説明する。
図1に示すように、この第1の実施の形態に係る情報取得装置10は、自動車等の車両に搭載されるものであって、送受信部11と、自車位置検出部12と、記憶部13と、ナビディスプレイ14と、HUD(ヘッドアップディスプレイ)15と、スイッチ16と、視線センサ17と、車内映像撮影カメラ18と、車外映像撮影カメラ20と、処理部21とを備えて構成されている。
【0010】
送受信部11は、自車両周辺の他車両と車車間通信によって情報の送受を行うものであり、自車両又は他車両の撮像した映像および、この映像を撮像した位置や時間などのデータの送受を行う。ここで、自車両には、後述する車外映像撮影カメラ20が設けられ、この車外映像撮影カメラ20により車両の前後方向の映像が撮像される。また、車車間通信により映像の送受が行われる他車両にも、自車両と同様の車外映像撮影カメラ20が設けられている。
【0011】
自車位置検出部12は、例えば、人工衛星を利用して車両の位置を測定するためのGPS(Global Position System)信号や、GPS信号の誤差を補正して測位精度を向上させるためのD(Differential)GPS信号等の測位信号を処理する測位信号処理部(図示略)と、例えばVICS情報等のように車外の情報発信装置(図示略)から発信される車両位置検出用の信号波を処理する位置検出用信号波処理部(図示略)と、例えば適宜のジャイロセンサー及び加速度計を具備してなる自律航法部(図示略)とを備えて構成されている。
【0012】
ここで、測位信号処理部は、例えば人工衛星から受信したGPS信号や、適宜の基地局から受信したDGPS信号に基づいて車両の現在位置を算出する。
また、上記位置検出用信号波処理部は、例えばFM多重放送や路上等に配置されたビーコン装置からの光信号及び電波信号によって受信したVICS情報等の道路交通情報に基づいて車両の現在位置を算出する。
さらに、上記自律航法部は、例えばジャイロセンサーにより、水平面内での車両の向き及び鉛直方向に対する傾斜角度の角度変化量を検出すると共に、例えば加速度計により車両の加速度を検出して車両の現在位置を算出する。
【0013】
記憶部13は、例えばハードディスク装置等の磁気ディスク装置や、DVD等の光ディスク装置等、コンピュータ読み取り可能な記憶媒体からなり、いわゆるカーナビゲーション装置で用いる地図データ、より具体的には高架道路や陸橋、ビル等の構造物、及び、山や丘や樹木等の自然物等からなるオブジェクトを、2次元的及び3次元的にナビディスプレイ14およびHUD15に表示するための地図データをそれぞれ格納している。
【0014】
ナビディスプレイ14は、いわゆるカーナビゲーション用の画面表示を行う液晶などのディスプレイであり、車室内のセンターコンソール上部に配置される。ナビディスプレイ14は、処理部21の表示制御にしたがって例えば、現在地周辺などの地図上に、自車両の現在地や目的地、誘導ルート等を重畳して表示する。
【0015】
HUD15は、車両のインスツルメントパネル上部の運転席の正面における、運転者の前方視界を妨げない位置に設けられ、その映像表示部として凹面ミラーを備え、インスツルメントパネル内部からの映像を反射・投影する。
【0016】
スイッチ16は、例えば、ステアリングホイールに配置される押しボタン式等のスイッチであり、運転者が視認している対向車(他車両)から情報を取得する意思があることを入力するための入力手段である。このスイッチ16が押下されるとその入力情報は処理部21へ出力される。なお、スイッチ16からの入力をキャンセルするキャンセルボタンを設けるようにしてもよい。
【0017】
視線センサ17は、車内映像撮影カメラ18から入力される画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトルを算出し、さらに、この視線ベクトルに基づき、視線の対象位置(以下、視点位置という)を求める。そして、この視点位置のデータを処理部21へ出力する
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出及びラベリングを行い、抽出した検知対象物の重心及び面積及び外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン(例えば輪郭等)に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。
【0018】
車内映像撮影カメラ18は、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えば可視光領域や赤外線領域にて撮像可能なCCDカメラやC−MOSカメラ等により構成される。車内映像撮影カメラ18は、運転者の顔や眼球に向けて照射された赤外線の反射や、運転者の顔や眼球から反射される可視光を撮影する。そして、車内映像撮影カメラ18は、撮影した画像に対してフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成してこの画像データを視線センサ17へ出力する。
【0019】
車外映像撮影カメラ20は、車両前方および後方の所定範囲を撮影するカメラであり、例えば車室内前方のルームミラーの近傍やリアガラス上部付近等にそれぞれ取り付けられ、撮影した画像に対して所定の画像処理を行い、二次元配列の画素からなる画像データを生成してこの生成した画像データを処理部21へ出力する。
【0020】
処理部21は、記憶部13から検索された地図データに対して、自車位置検出部12における測位信号処理部及び道路交通情報処理部及び自律航法部のそれぞれ、又は、何れかから得られる車両の現在位置の情報に基づいてマップマッチング等を行うと共に、後述するように、検出された車両の現在位置から見た進行方向の3D画像(周辺画像)を記憶部13より読み出してHUD15へ表示する制御を行う。
【0021】
また、処理部21は、ナビゲーション機能として、自車位置検出部12により検出される自車位置情報に基づいて走行軌跡を記憶部13へ記憶するとともに、記憶部13から地図データおよび走行軌跡を読み出して、マップマッチングなどの処理を行って地図上における自車両の現在位置を特定する。そして、ナビディスプレイ14の表示制御を行い、自車両の現在位置および走行軌跡などを地図上に表示させる。
【0022】
さらに、処理部21は、車外映像撮影カメラ20によって撮影された画像データに対して車両の特徴量算出、形状判別の処理、および、対象物の同一性の判定を行うことで他車両を特定し、さらに、当該画像に含まれる他車両の相対位置を特定する。
【0023】
そして処理部21は、スイッチ16の入力結果に基づいて、他車両の相対位置が視線センサ17による視点位置と一致するか判定して、相対位置が視点位置と一致する他車両が存在する場合に、この他車両に送受信部11を介して自車両の進行方向の道路情報より具体的には、他車両の車外映像撮影カメラ20によって撮影された過去数分間の映像(例えば動画)および撮影位置を送信する旨の要求信号を出力する。処理部21は、他車からの映像及び撮影位置のデータが受信されると、これら映像及び撮影位置のデータを記憶部13へ記憶する。
【0024】
また、処理部21は、送受信部11から受信されて記憶部13へ記憶された映像をHUD15へ表示させる。この際、HUD15に表示される後述の相対位置表示窓31などに、映像が撮影された撮影位置を適宜の形式で表示する。他車両において車両前方と車両後方との両方向の映像が撮影されている場合には、前方映像と後方映像とがスイッチ16が押下される毎に交互に切替えられる。なお、映像が撮影された撮影位置をHUD15に表示する場合について説明したが、ナビディスプレイ14に表示させるようにしてもよい。
【0025】
この第1の実施の形態による情報取得装置10は上述した構成を備えており、次に、この情報取得装置10の動作について図2のフローチャート及び図3〜図7を参照しながら説明する。
まずステップS01においては、自車位置検出部12より自車両の現在位置を取得する。
次いでステップS02においては、送受信部11より他車の走行情報などの車両周辺情報を取得する。
【0026】
ステップS03においては、車内映像撮影カメラ18の撮影結果に基づいて、視線センサ17により運転者の視点位置を検出する。
ステップS04においては、スイッチ16が押下されたか否かを判定する。
ステップS04における判定結果が「No」(押下されていない)である場合は、運転者に映像取得の意思がないため本ルーチンの実行を一旦終了する。
【0027】
一方、ステップS04における判定結果が「Yes」(押下された)である場合は、ステップS05へ進み、視点位置に車両(他車両)が存在するか否かを判定する。
ここで、図3は、運転者の後方から車両前方を見た景色を示しており、運転者Dがフロントガラス越しに対向車である他車両Cを注視しながらスイッチ16を押下している。なお、図3において、符号Fは先行車両を示し、運転者Dの視線を破線矢印で示す。また、図3では、図示都合上、先行車両Fおよび他車両Cを二次元画像で示している。
【0028】
ステップS05における判定結果が「No」(車両なし)である場合は、映像の送信元が存在しないので本ルーチンの実行を一旦終了する。
ステップS05における判定結果が「Yes」(車両あり)である場合は、ステップS06へ進み、視点位置に存在する車両へ映像および位置情報の要求を行い、視点位置に存在する車両により撮影された映像及び映像を撮影した位置のデータ(映像・位置情報)を取得する。
【0029】
ここで、図4は、視点位置に存在する車両すなわち他車両Cが進行方向前方を撮影(以下、単に前方撮影という)する際の撮影範囲Aと、自車両Jに送信される映像の撮影距離L1を示したものであり、自車両Jと他車両Cとが車車間通信により映像の送受を行う直前までの過去数分間の映像である。また、図5は、他車両の進行方向に対して後方を撮影(以下、単に後方撮影という)する際の撮影範囲Bと、自車両Jに送信される映像の撮影距離L2を示したものである。上述した撮影距離L1と撮影距離L2とは映像データの容量に応じたものであり基本的に等距離に設定される。
なお、所定時間経過しても視点位置に存在する車両からの映像及び位置情報が受信されない場合、この車両が道路の映像を撮像する機能を有していない場合があるため、この場合は本ルーチンの実行は一旦終了される。
【0030】
ステップS07においては、取得した映像及び映像を撮影した位置の情報をHUD15へ表示する。
図6は、上述した図3と同様の方向から見た景色であり、他車両Cから前方を撮影した映像(以下、単に前方撮影時の映像と呼ぶ)がHUD15に表示された状態を示している。このHUD15に表示される前方撮影時の映像の画面には、上部に映像が撮像された時間(図6中、現在時刻を基準にして過去の時間をマイナス表示する一例を示す)を表示する時間表示部30が配置されるとともに、対向車線が表示されていないに下部に映像が撮影されたときの自車両の位置J1と他車両の位置Cnとを示す地図を表示する相対位置表示窓31が表示される。同様に図7は、HUD15に他車両Cから後方を撮影した映像(以下、単に後方撮影時の映像と呼ぶ)が表示された状態を示しており、この後方撮影時の映像の場合、対向車が表示される箇所を避けて画面の図6とは左右の反対位置に相対位置表示窓31が表示される。なお、時間表示部30および相対位置表示窓31の配置は、対向車線と重ならない位置であれば、図6,7に示した位置に限られるものではない。
【0031】
したがって、上述した実施の形態によれば、視線センサ17により検知した視点位置と他車両の位置とが一致した状態でスイッチ16から入力があったとき、すなわち運転者により視認されている他車両をスイッチ16を介して選択したときに、この他車両により撮影距離L1,L2の間に撮影された直近の映像および、映像を撮像した位置や時間などの映像に関連する位置情報だけを自車両が取得するため、不必要な映像の送受信を低減して他車両の撮像した映像とこの映像に関連する位置情報とを正確且つ迅速に運転者に提示することが可能になる。
【0032】
また、HUD15に表示される相対位置表示窓31の地図上に、送受信部11を介して取得した映像を撮影した位置を重ねて表示することで、運転者が、その映像が撮像された位置を容易に把握することができる。
【0033】
次に、この発明の第2の実施の形態における情報取得装置50について、図面を参照しながら説明する。なお、この第2の実施の形態における情報取得装置50は、上述した第1の実施の形態において自車両で取得した他車両の撮影した映像に基づいて、渋滞の判定を行う機能を加えたものであるため、同一部分に同一符号を付して説明する。
【0034】
図8に示すように、情報取得装置50は、送受信部11と、自車位置検出部12と、記憶部13と、ナビディスプレイ14と、HUD(ヘッドアップディスプレイ)15と、スイッチ16と、視線センサ17と、車内映像撮影カメラ18と、車外映像撮影カメラ20と、処理部121とを備えて構成されている。なお、送受信部11と、自車位置検出部12と、記憶部13と、ナビディスプレイ14と、HUD(ヘッドアップディスプレイ)15と、スイッチ16と、視線センサ17と、車内映像撮影カメラ18と、車外映像撮影カメラ20とについては、上述した第1の実施の形態と同様であるため詳細説明を省略する。
【0035】
処理部121は、記憶部13から検索された地図データに対して、自車位置検出部12における測位信号処理部及び道路交通情報処理部及び自律航法部のそれぞれ、又は、何れかから得られる車両の現在位置の情報に基づいてマップマッチング等を行うと共に、後述するように、検出された車両の現在位置から見た進行方向の3D画像(周辺画像)を記憶部13より読み出してHUD15へ表示する制御を行う。
【0036】
また、処理部121は、ナビゲーションの機能として、自車位置検出部12により検出される自車位置情報に基づいて走行軌跡を記憶部13へ記憶するとともに、記憶部13から地図データおよび走行軌跡を読み出して、マップマッチングなどの処理を行って地図上における自車両の現在位置を特定する。そして、ナビディスプレイ14の表示制御を行い、自車両の現在位置および走行軌跡などを地図上に重畳して表示させる。
【0037】
さらに、処理部121は、車外映像撮影カメラ20によって撮影された画像データに対して車両の特徴量算出、形状判別の処理、および、対象物の同一性の判定を行うことで他車両を特定し、さらに、当該画像に含まれる他車両の相対位置を特定する。
【0038】
処理部121は、スイッチ16へ入力があった場合、他車両の相対位置が視線センサ17による視点位置と一致するか判定して、例えば、図10に示すように、相対位置が視点位置と一致する他車両Cが存在する場合に、この他車両Cに送受信部11を介して自車両の進行方向の道路情報、より具体的には他車両Cの車外映像撮影カメラ20によって撮影された過去数分間の映像および撮影位置や撮影された時間を送信する旨の要求信号を出力する。処理部121は、他車両からの映像及び撮影位置のデータが受信されると、これら映像、撮影位置および撮影時間などのデータを記憶部13へ記憶する。
【0039】
また、処理部121は、VICS情報などにより得られた渋滞情報をナビディスプレイ14上に重畳表示する表示制御を行うようになっている(例えば、図13中、細い矢印で示す)。
さらに、処理部121は、他車両から取得した映像に基づいて自車両の進行方向の渋滞を推定する渋滞推定部22を備えて構成される。
渋滞推定部22は、送受信部11を介して取得した映像データgを記憶部13から読み出して(図11参照)、所定の画像処理を行い対向車両すなわち、自車両が走行中の車線にいる複数の車両を特定する(図12中、特定された箇所を四角形で示す)とともに、これらの車間を推定して車両の連続性を求め、その車線の渋滞状況を推定する。処理部121は、渋滞推定部22によりその車線が渋滞であると推定された場合には、その渋滞の位置を映像の撮影位置より特定して、対向車(他車両)から取得した渋滞情報(対向車から得た情報)としてナビディスプレイ14上の地図に追加表示する(例えば、図13中、太い矢印で示す)。なお、所定の画像処理とは、例えば、車両の特徴量算出および形状判別等の認識処理ある。
【0040】
次に、上述した第2の実施の形態における情報取得装置50の動作について図9のフローチャート及び図10〜図13を参照しながら説明する。なお、図2のフローチャートで説明した処理と同一処理には同一符号を付して説明する。
【0041】
まずステップS01においては、自車位置検出部12より自車両の現在位置を取得する。
次いでステップS02においては、送受信部11より他車両の走行情報などの車両周辺情報を取得する。
【0042】
ステップS03においては、車内映像撮影カメラ18の撮影結果に基づいて、視線センサ17により運転者の視点位置を検出する。
ステップS04においては、スイッチ16が押下されたか否かを判定する。
ステップS04における判定結果が「No」(押下されていない)である場合は、運転者に映像取得の意思がないため本ルーチンの実行を一旦終了する。
【0043】
一方、ステップS04における判定結果が「Yes」(押下された)である場合は、ステップS05へ進み、視点位置に車両(他車)が存在するか否かを判定する。
ステップS05における判定結果が「No」(車両なし)である場合は、映像の送信元が存在しないので本ルーチンの実行を一旦終了する。
ステップS05における判定結果が「Yes」(車両あり)である場合は、ステップS06へ進み、視点位置に存在する車両へ映像および位置情報の要求を行い、視点位置に存在する車両により撮影された映像及び映像を撮影した位置のデータ(映像・位置情報)を取得する。
【0044】
次いで、ステップS11においては、他車両から取得した映像の画像処理を行うことで、当該映像を撮影した位置における渋滞状況を推定する(図11、図12参照)。
ステップS12においては、ステップS11の処理で渋滞していると推定された撮影位置のナビディスプレイ14の地図上に渋滞情報を追加表示するとともに他車両からの情報であることを区別できるように表示する(図13参照)。
【0045】
したがって、とりわけ上述した第2の実施の形態によれば、VICS情報等で更新又は提供されていない道路においても、自車両の対向車線を走行している他車両が既に通過した道路であれば渋滞情報を追加取得することができるため、渋滞情報の信頼性を向上することができる。
【0046】
なお、上述した第2の実施の形態では、自車両が走行する車線の渋滞情報を他車両から取得した映像に基づいてナビディスプレイ14に重畳表示する場合について説明したが、この構成に限られるものではなく、例えば、自車両に目的地までのルート設定がなされている場合などには、他車両から全ルート上の映像を取得して渋滞を推定し、この推定結果をナビディスプレイ14上に表示するようにしてもよい。
また、上述した各実施の形態では、他車両Cから取得される映像が動画の場合について説明したが、所定間隔で撮像された静止画であってもよい。
また、他車両が画像処理により作成した渋滞推定データを取得するようにしても良く、この場合は、送受信するデータ量を削減することができる。
【図面の簡単な説明】
【0047】
【図1】本発明の第1の実施の形態における情報取得装置の構成を示すブロック図である。
【図2】本発明の第1の実施の形態における情報取得装置の動作を示すフローチャートである。
【図3】本発明の第1の実施の形態において運転者が他車両を視認しながらスイッチを押下した際の運転者の後方から自車両前方を見た図である。
【図4】本発明の第1の実施の形態において他車両から取得される前方撮影時の映像の撮影範囲を示す図である。
【図5】後方撮影時の図4に相当する図である。
【図6】本発明の第1の実施の形態における他車両から取得した前方撮影時の映像をHUD上へ表示した一例を示す図である。
【図7】後方撮影時の映像における図6に相当する図である。
【図8】本発明の第2の実施の形態における図1に相当するブロック図である。
【図9】本発明の第2の実施の形態における図2に相当するフローチャートである。
【図10】本発明の第2の実施の形態における図3に相当する図である。
【図11】本発明の第2の実施の形態における映像データの一例を示す図である。
【図12】本発明の第2の実施の形態における映像データから対向車両を特定した一例を示す図である。
【図13】本発明の第2の実施の形態におけるナビディスプレイの表示例を示す図である。
【符号の説明】
【0048】
11 送受信部(取得手段)
16 スイッチ(入力手段)
17 視線センサ(視線検知手段)
18 車内映像撮影カメラ(視線検知手段)
14 ナビディスプレイ(表示手段)
15 HUD(表示手段)
【技術分野】
【0001】
この発明は、自動車等の車両に搭載される情報取得装置に関するものである。
【背景技術】
【0002】
従来から、自車両が走行する車線の道路関連情報を取得する情報取得装置が知られている。この情報取得装置は、路車間通信により道路関連情報を路側設備より受信して取得する構成となっている。そのため、路側に多くの通信設備を設ける必要があり、近年、道路上ですれ違う車両から自車両の進行方向の道路情報を車車間通信により取得するものが提案されている(例えば、特許文献1参照)。
【特許文献1】特開2006−72472号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上述の情報取得装置においては、対向車が多数の場合、全ての対向車に対して道路情報の送受信を行うことで必要以上の情報が車車間通信により受信されて膨大な記憶容量が必要になるという課題がある。
また、無差別に道路情報を受信した場合、膨大な情報量を処理するための時間が必要となり、道路情報の迅速な表示が行えなくなる場合がある。さらに、受信情報が多すぎることで運転者が道路情報を正確に把握できない場合がある。
【0004】
この発明は、上記事情に鑑みてなされたものであり、不必要な情報の送受信を低減して周辺道路に関する情報を正確且つ迅速に運転者に提示可能な情報取得装置を提供するものである。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、請求項1に記載した発明は、自車両周辺に存在する他車両に関する情報を取得する取得手段(例えば、実施の形態における送受信部11)を備えた情報取得装置であって、運転者の視点位置を検知する視線検知手段(例えば、実施の形態における車内映像撮影カメラ18及び視線センサ17)と、車両室内に配置されて運転者による操作入力が可能な入力手段(例えば、実施の形態におけるスイッチ16)とを備え、前記取得手段は、前記他車両の位置と前記運転者の視点位置とが一致した状態で前記入力手段からの入力があったときに、前記他車両により撮影された映像と該映像に関連する位置情報とを取得することを特徴とする。
【0006】
請求項2に記載した発明は、請求項1に記載の発明において、道路地図を表示可能な表示手段(例えば、実施の形態におけるナビディスプレイ14、HUD15)を備え、該表示手段は、前記取得した位置情報が自車両から所定範囲内であった場合に、前記位置情報に対応する位置を前記道路地図上に重ねて表示することを特徴とする。
【発明の効果】
【0007】
請求項1に記載した発明によれば、視線検知手段により検知した視点位置と他車両の位置とが一致した状態で入力手段から入力があったとき、すなわち運転者により視認されている他車両を入力手段を介して選択したときに、この他車両により撮影された映像および、映像を撮像した位置などの映像に関連する位置情報だけを自車両が取得するため、不必要な映像の送受信を低減して他車両の撮像した映像とこの映像に関連する位置情報とを正確且つ迅速に運転者に提示可能になるという効果がある。
また、上記のように映像を運転者に提示することで、進行方向の交通状況、路面状況、天候などを確認することが可能となる。
【0008】
請求項2に記載した発明によれば、表示手段に表示される道路地図に対して、取得手段を介して取得した映像に関する位置情報すなわち、撮影位置を重ねて表示することで、運転者が、映像を撮影した位置を映像を見ながら容易に把握することができる効果がある。
【発明を実施するための最良の形態】
【0009】
次に、この発明の第1の実施の形態における情報取得装置について図面を参照しながら説明する。
図1に示すように、この第1の実施の形態に係る情報取得装置10は、自動車等の車両に搭載されるものであって、送受信部11と、自車位置検出部12と、記憶部13と、ナビディスプレイ14と、HUD(ヘッドアップディスプレイ)15と、スイッチ16と、視線センサ17と、車内映像撮影カメラ18と、車外映像撮影カメラ20と、処理部21とを備えて構成されている。
【0010】
送受信部11は、自車両周辺の他車両と車車間通信によって情報の送受を行うものであり、自車両又は他車両の撮像した映像および、この映像を撮像した位置や時間などのデータの送受を行う。ここで、自車両には、後述する車外映像撮影カメラ20が設けられ、この車外映像撮影カメラ20により車両の前後方向の映像が撮像される。また、車車間通信により映像の送受が行われる他車両にも、自車両と同様の車外映像撮影カメラ20が設けられている。
【0011】
自車位置検出部12は、例えば、人工衛星を利用して車両の位置を測定するためのGPS(Global Position System)信号や、GPS信号の誤差を補正して測位精度を向上させるためのD(Differential)GPS信号等の測位信号を処理する測位信号処理部(図示略)と、例えばVICS情報等のように車外の情報発信装置(図示略)から発信される車両位置検出用の信号波を処理する位置検出用信号波処理部(図示略)と、例えば適宜のジャイロセンサー及び加速度計を具備してなる自律航法部(図示略)とを備えて構成されている。
【0012】
ここで、測位信号処理部は、例えば人工衛星から受信したGPS信号や、適宜の基地局から受信したDGPS信号に基づいて車両の現在位置を算出する。
また、上記位置検出用信号波処理部は、例えばFM多重放送や路上等に配置されたビーコン装置からの光信号及び電波信号によって受信したVICS情報等の道路交通情報に基づいて車両の現在位置を算出する。
さらに、上記自律航法部は、例えばジャイロセンサーにより、水平面内での車両の向き及び鉛直方向に対する傾斜角度の角度変化量を検出すると共に、例えば加速度計により車両の加速度を検出して車両の現在位置を算出する。
【0013】
記憶部13は、例えばハードディスク装置等の磁気ディスク装置や、DVD等の光ディスク装置等、コンピュータ読み取り可能な記憶媒体からなり、いわゆるカーナビゲーション装置で用いる地図データ、より具体的には高架道路や陸橋、ビル等の構造物、及び、山や丘や樹木等の自然物等からなるオブジェクトを、2次元的及び3次元的にナビディスプレイ14およびHUD15に表示するための地図データをそれぞれ格納している。
【0014】
ナビディスプレイ14は、いわゆるカーナビゲーション用の画面表示を行う液晶などのディスプレイであり、車室内のセンターコンソール上部に配置される。ナビディスプレイ14は、処理部21の表示制御にしたがって例えば、現在地周辺などの地図上に、自車両の現在地や目的地、誘導ルート等を重畳して表示する。
【0015】
HUD15は、車両のインスツルメントパネル上部の運転席の正面における、運転者の前方視界を妨げない位置に設けられ、その映像表示部として凹面ミラーを備え、インスツルメントパネル内部からの映像を反射・投影する。
【0016】
スイッチ16は、例えば、ステアリングホイールに配置される押しボタン式等のスイッチであり、運転者が視認している対向車(他車両)から情報を取得する意思があることを入力するための入力手段である。このスイッチ16が押下されるとその入力情報は処理部21へ出力される。なお、スイッチ16からの入力をキャンセルするキャンセルボタンを設けるようにしてもよい。
【0017】
視線センサ17は、車内映像撮影カメラ18から入力される画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトルを算出し、さらに、この視線ベクトルに基づき、視線の対象位置(以下、視点位置という)を求める。そして、この視点位置のデータを処理部21へ出力する
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出及びラベリングを行い、抽出した検知対象物の重心及び面積及び外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン(例えば輪郭等)に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。
【0018】
車内映像撮影カメラ18は、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えば可視光領域や赤外線領域にて撮像可能なCCDカメラやC−MOSカメラ等により構成される。車内映像撮影カメラ18は、運転者の顔や眼球に向けて照射された赤外線の反射や、運転者の顔や眼球から反射される可視光を撮影する。そして、車内映像撮影カメラ18は、撮影した画像に対してフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成してこの画像データを視線センサ17へ出力する。
【0019】
車外映像撮影カメラ20は、車両前方および後方の所定範囲を撮影するカメラであり、例えば車室内前方のルームミラーの近傍やリアガラス上部付近等にそれぞれ取り付けられ、撮影した画像に対して所定の画像処理を行い、二次元配列の画素からなる画像データを生成してこの生成した画像データを処理部21へ出力する。
【0020】
処理部21は、記憶部13から検索された地図データに対して、自車位置検出部12における測位信号処理部及び道路交通情報処理部及び自律航法部のそれぞれ、又は、何れかから得られる車両の現在位置の情報に基づいてマップマッチング等を行うと共に、後述するように、検出された車両の現在位置から見た進行方向の3D画像(周辺画像)を記憶部13より読み出してHUD15へ表示する制御を行う。
【0021】
また、処理部21は、ナビゲーション機能として、自車位置検出部12により検出される自車位置情報に基づいて走行軌跡を記憶部13へ記憶するとともに、記憶部13から地図データおよび走行軌跡を読み出して、マップマッチングなどの処理を行って地図上における自車両の現在位置を特定する。そして、ナビディスプレイ14の表示制御を行い、自車両の現在位置および走行軌跡などを地図上に表示させる。
【0022】
さらに、処理部21は、車外映像撮影カメラ20によって撮影された画像データに対して車両の特徴量算出、形状判別の処理、および、対象物の同一性の判定を行うことで他車両を特定し、さらに、当該画像に含まれる他車両の相対位置を特定する。
【0023】
そして処理部21は、スイッチ16の入力結果に基づいて、他車両の相対位置が視線センサ17による視点位置と一致するか判定して、相対位置が視点位置と一致する他車両が存在する場合に、この他車両に送受信部11を介して自車両の進行方向の道路情報より具体的には、他車両の車外映像撮影カメラ20によって撮影された過去数分間の映像(例えば動画)および撮影位置を送信する旨の要求信号を出力する。処理部21は、他車からの映像及び撮影位置のデータが受信されると、これら映像及び撮影位置のデータを記憶部13へ記憶する。
【0024】
また、処理部21は、送受信部11から受信されて記憶部13へ記憶された映像をHUD15へ表示させる。この際、HUD15に表示される後述の相対位置表示窓31などに、映像が撮影された撮影位置を適宜の形式で表示する。他車両において車両前方と車両後方との両方向の映像が撮影されている場合には、前方映像と後方映像とがスイッチ16が押下される毎に交互に切替えられる。なお、映像が撮影された撮影位置をHUD15に表示する場合について説明したが、ナビディスプレイ14に表示させるようにしてもよい。
【0025】
この第1の実施の形態による情報取得装置10は上述した構成を備えており、次に、この情報取得装置10の動作について図2のフローチャート及び図3〜図7を参照しながら説明する。
まずステップS01においては、自車位置検出部12より自車両の現在位置を取得する。
次いでステップS02においては、送受信部11より他車の走行情報などの車両周辺情報を取得する。
【0026】
ステップS03においては、車内映像撮影カメラ18の撮影結果に基づいて、視線センサ17により運転者の視点位置を検出する。
ステップS04においては、スイッチ16が押下されたか否かを判定する。
ステップS04における判定結果が「No」(押下されていない)である場合は、運転者に映像取得の意思がないため本ルーチンの実行を一旦終了する。
【0027】
一方、ステップS04における判定結果が「Yes」(押下された)である場合は、ステップS05へ進み、視点位置に車両(他車両)が存在するか否かを判定する。
ここで、図3は、運転者の後方から車両前方を見た景色を示しており、運転者Dがフロントガラス越しに対向車である他車両Cを注視しながらスイッチ16を押下している。なお、図3において、符号Fは先行車両を示し、運転者Dの視線を破線矢印で示す。また、図3では、図示都合上、先行車両Fおよび他車両Cを二次元画像で示している。
【0028】
ステップS05における判定結果が「No」(車両なし)である場合は、映像の送信元が存在しないので本ルーチンの実行を一旦終了する。
ステップS05における判定結果が「Yes」(車両あり)である場合は、ステップS06へ進み、視点位置に存在する車両へ映像および位置情報の要求を行い、視点位置に存在する車両により撮影された映像及び映像を撮影した位置のデータ(映像・位置情報)を取得する。
【0029】
ここで、図4は、視点位置に存在する車両すなわち他車両Cが進行方向前方を撮影(以下、単に前方撮影という)する際の撮影範囲Aと、自車両Jに送信される映像の撮影距離L1を示したものであり、自車両Jと他車両Cとが車車間通信により映像の送受を行う直前までの過去数分間の映像である。また、図5は、他車両の進行方向に対して後方を撮影(以下、単に後方撮影という)する際の撮影範囲Bと、自車両Jに送信される映像の撮影距離L2を示したものである。上述した撮影距離L1と撮影距離L2とは映像データの容量に応じたものであり基本的に等距離に設定される。
なお、所定時間経過しても視点位置に存在する車両からの映像及び位置情報が受信されない場合、この車両が道路の映像を撮像する機能を有していない場合があるため、この場合は本ルーチンの実行は一旦終了される。
【0030】
ステップS07においては、取得した映像及び映像を撮影した位置の情報をHUD15へ表示する。
図6は、上述した図3と同様の方向から見た景色であり、他車両Cから前方を撮影した映像(以下、単に前方撮影時の映像と呼ぶ)がHUD15に表示された状態を示している。このHUD15に表示される前方撮影時の映像の画面には、上部に映像が撮像された時間(図6中、現在時刻を基準にして過去の時間をマイナス表示する一例を示す)を表示する時間表示部30が配置されるとともに、対向車線が表示されていないに下部に映像が撮影されたときの自車両の位置J1と他車両の位置Cnとを示す地図を表示する相対位置表示窓31が表示される。同様に図7は、HUD15に他車両Cから後方を撮影した映像(以下、単に後方撮影時の映像と呼ぶ)が表示された状態を示しており、この後方撮影時の映像の場合、対向車が表示される箇所を避けて画面の図6とは左右の反対位置に相対位置表示窓31が表示される。なお、時間表示部30および相対位置表示窓31の配置は、対向車線と重ならない位置であれば、図6,7に示した位置に限られるものではない。
【0031】
したがって、上述した実施の形態によれば、視線センサ17により検知した視点位置と他車両の位置とが一致した状態でスイッチ16から入力があったとき、すなわち運転者により視認されている他車両をスイッチ16を介して選択したときに、この他車両により撮影距離L1,L2の間に撮影された直近の映像および、映像を撮像した位置や時間などの映像に関連する位置情報だけを自車両が取得するため、不必要な映像の送受信を低減して他車両の撮像した映像とこの映像に関連する位置情報とを正確且つ迅速に運転者に提示することが可能になる。
【0032】
また、HUD15に表示される相対位置表示窓31の地図上に、送受信部11を介して取得した映像を撮影した位置を重ねて表示することで、運転者が、その映像が撮像された位置を容易に把握することができる。
【0033】
次に、この発明の第2の実施の形態における情報取得装置50について、図面を参照しながら説明する。なお、この第2の実施の形態における情報取得装置50は、上述した第1の実施の形態において自車両で取得した他車両の撮影した映像に基づいて、渋滞の判定を行う機能を加えたものであるため、同一部分に同一符号を付して説明する。
【0034】
図8に示すように、情報取得装置50は、送受信部11と、自車位置検出部12と、記憶部13と、ナビディスプレイ14と、HUD(ヘッドアップディスプレイ)15と、スイッチ16と、視線センサ17と、車内映像撮影カメラ18と、車外映像撮影カメラ20と、処理部121とを備えて構成されている。なお、送受信部11と、自車位置検出部12と、記憶部13と、ナビディスプレイ14と、HUD(ヘッドアップディスプレイ)15と、スイッチ16と、視線センサ17と、車内映像撮影カメラ18と、車外映像撮影カメラ20とについては、上述した第1の実施の形態と同様であるため詳細説明を省略する。
【0035】
処理部121は、記憶部13から検索された地図データに対して、自車位置検出部12における測位信号処理部及び道路交通情報処理部及び自律航法部のそれぞれ、又は、何れかから得られる車両の現在位置の情報に基づいてマップマッチング等を行うと共に、後述するように、検出された車両の現在位置から見た進行方向の3D画像(周辺画像)を記憶部13より読み出してHUD15へ表示する制御を行う。
【0036】
また、処理部121は、ナビゲーションの機能として、自車位置検出部12により検出される自車位置情報に基づいて走行軌跡を記憶部13へ記憶するとともに、記憶部13から地図データおよび走行軌跡を読み出して、マップマッチングなどの処理を行って地図上における自車両の現在位置を特定する。そして、ナビディスプレイ14の表示制御を行い、自車両の現在位置および走行軌跡などを地図上に重畳して表示させる。
【0037】
さらに、処理部121は、車外映像撮影カメラ20によって撮影された画像データに対して車両の特徴量算出、形状判別の処理、および、対象物の同一性の判定を行うことで他車両を特定し、さらに、当該画像に含まれる他車両の相対位置を特定する。
【0038】
処理部121は、スイッチ16へ入力があった場合、他車両の相対位置が視線センサ17による視点位置と一致するか判定して、例えば、図10に示すように、相対位置が視点位置と一致する他車両Cが存在する場合に、この他車両Cに送受信部11を介して自車両の進行方向の道路情報、より具体的には他車両Cの車外映像撮影カメラ20によって撮影された過去数分間の映像および撮影位置や撮影された時間を送信する旨の要求信号を出力する。処理部121は、他車両からの映像及び撮影位置のデータが受信されると、これら映像、撮影位置および撮影時間などのデータを記憶部13へ記憶する。
【0039】
また、処理部121は、VICS情報などにより得られた渋滞情報をナビディスプレイ14上に重畳表示する表示制御を行うようになっている(例えば、図13中、細い矢印で示す)。
さらに、処理部121は、他車両から取得した映像に基づいて自車両の進行方向の渋滞を推定する渋滞推定部22を備えて構成される。
渋滞推定部22は、送受信部11を介して取得した映像データgを記憶部13から読み出して(図11参照)、所定の画像処理を行い対向車両すなわち、自車両が走行中の車線にいる複数の車両を特定する(図12中、特定された箇所を四角形で示す)とともに、これらの車間を推定して車両の連続性を求め、その車線の渋滞状況を推定する。処理部121は、渋滞推定部22によりその車線が渋滞であると推定された場合には、その渋滞の位置を映像の撮影位置より特定して、対向車(他車両)から取得した渋滞情報(対向車から得た情報)としてナビディスプレイ14上の地図に追加表示する(例えば、図13中、太い矢印で示す)。なお、所定の画像処理とは、例えば、車両の特徴量算出および形状判別等の認識処理ある。
【0040】
次に、上述した第2の実施の形態における情報取得装置50の動作について図9のフローチャート及び図10〜図13を参照しながら説明する。なお、図2のフローチャートで説明した処理と同一処理には同一符号を付して説明する。
【0041】
まずステップS01においては、自車位置検出部12より自車両の現在位置を取得する。
次いでステップS02においては、送受信部11より他車両の走行情報などの車両周辺情報を取得する。
【0042】
ステップS03においては、車内映像撮影カメラ18の撮影結果に基づいて、視線センサ17により運転者の視点位置を検出する。
ステップS04においては、スイッチ16が押下されたか否かを判定する。
ステップS04における判定結果が「No」(押下されていない)である場合は、運転者に映像取得の意思がないため本ルーチンの実行を一旦終了する。
【0043】
一方、ステップS04における判定結果が「Yes」(押下された)である場合は、ステップS05へ進み、視点位置に車両(他車)が存在するか否かを判定する。
ステップS05における判定結果が「No」(車両なし)である場合は、映像の送信元が存在しないので本ルーチンの実行を一旦終了する。
ステップS05における判定結果が「Yes」(車両あり)である場合は、ステップS06へ進み、視点位置に存在する車両へ映像および位置情報の要求を行い、視点位置に存在する車両により撮影された映像及び映像を撮影した位置のデータ(映像・位置情報)を取得する。
【0044】
次いで、ステップS11においては、他車両から取得した映像の画像処理を行うことで、当該映像を撮影した位置における渋滞状況を推定する(図11、図12参照)。
ステップS12においては、ステップS11の処理で渋滞していると推定された撮影位置のナビディスプレイ14の地図上に渋滞情報を追加表示するとともに他車両からの情報であることを区別できるように表示する(図13参照)。
【0045】
したがって、とりわけ上述した第2の実施の形態によれば、VICS情報等で更新又は提供されていない道路においても、自車両の対向車線を走行している他車両が既に通過した道路であれば渋滞情報を追加取得することができるため、渋滞情報の信頼性を向上することができる。
【0046】
なお、上述した第2の実施の形態では、自車両が走行する車線の渋滞情報を他車両から取得した映像に基づいてナビディスプレイ14に重畳表示する場合について説明したが、この構成に限られるものではなく、例えば、自車両に目的地までのルート設定がなされている場合などには、他車両から全ルート上の映像を取得して渋滞を推定し、この推定結果をナビディスプレイ14上に表示するようにしてもよい。
また、上述した各実施の形態では、他車両Cから取得される映像が動画の場合について説明したが、所定間隔で撮像された静止画であってもよい。
また、他車両が画像処理により作成した渋滞推定データを取得するようにしても良く、この場合は、送受信するデータ量を削減することができる。
【図面の簡単な説明】
【0047】
【図1】本発明の第1の実施の形態における情報取得装置の構成を示すブロック図である。
【図2】本発明の第1の実施の形態における情報取得装置の動作を示すフローチャートである。
【図3】本発明の第1の実施の形態において運転者が他車両を視認しながらスイッチを押下した際の運転者の後方から自車両前方を見た図である。
【図4】本発明の第1の実施の形態において他車両から取得される前方撮影時の映像の撮影範囲を示す図である。
【図5】後方撮影時の図4に相当する図である。
【図6】本発明の第1の実施の形態における他車両から取得した前方撮影時の映像をHUD上へ表示した一例を示す図である。
【図7】後方撮影時の映像における図6に相当する図である。
【図8】本発明の第2の実施の形態における図1に相当するブロック図である。
【図9】本発明の第2の実施の形態における図2に相当するフローチャートである。
【図10】本発明の第2の実施の形態における図3に相当する図である。
【図11】本発明の第2の実施の形態における映像データの一例を示す図である。
【図12】本発明の第2の実施の形態における映像データから対向車両を特定した一例を示す図である。
【図13】本発明の第2の実施の形態におけるナビディスプレイの表示例を示す図である。
【符号の説明】
【0048】
11 送受信部(取得手段)
16 スイッチ(入力手段)
17 視線センサ(視線検知手段)
18 車内映像撮影カメラ(視線検知手段)
14 ナビディスプレイ(表示手段)
15 HUD(表示手段)
【特許請求の範囲】
【請求項1】
自車両周辺に存在する他車両に関する情報を取得する取得手段を備えた情報取得装置であって、
運転者の視点位置を検知する視線検知手段と、
車両室内に配置されて運転者による操作入力が可能な入力手段とを備え、
前記取得手段は、前記他車両の位置と前記運転者の視点位置とが一致した状態で前記入力手段からの入力があったときに、前記他車両により撮影された映像と該映像に関連する位置情報とを取得することを特徴とする情報取得装置。
【請求項2】
道路地図を表示可能な表示手段を備え、
該表示手段は、前記取得した位置情報が自車両から所定範囲内であった場合に、前記位置情報に対応する位置を前記道路地図上に重ねて表示することを特徴とする請求項1に記載の情報取得装置。
【請求項1】
自車両周辺に存在する他車両に関する情報を取得する取得手段を備えた情報取得装置であって、
運転者の視点位置を検知する視線検知手段と、
車両室内に配置されて運転者による操作入力が可能な入力手段とを備え、
前記取得手段は、前記他車両の位置と前記運転者の視点位置とが一致した状態で前記入力手段からの入力があったときに、前記他車両により撮影された映像と該映像に関連する位置情報とを取得することを特徴とする情報取得装置。
【請求項2】
道路地図を表示可能な表示手段を備え、
該表示手段は、前記取得した位置情報が自車両から所定範囲内であった場合に、前記位置情報に対応する位置を前記道路地図上に重ねて表示することを特徴とする請求項1に記載の情報取得装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−134640(P2010−134640A)
【公開日】平成22年6月17日(2010.6.17)
【国際特許分類】
【出願番号】特願2008−308908(P2008−308908)
【出願日】平成20年12月3日(2008.12.3)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
【公開日】平成22年6月17日(2010.6.17)
【国際特許分類】
【出願日】平成20年12月3日(2008.12.3)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
[ Back to top ]