車載装置および認知支援システム
【課題】車載装置のコスト低減を図るとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させること。
【解決手段】歪曲した受光部により広角な範囲の映像を車載装置が撮像し、撮像された映像に基づいて撮像部の設置方向および設置方向以外の方向から自車両に接近する移動物体を車載装置が検出し、検出された移動物体と自車両とが衝突する可能性を示す衝突危険度を車載装置が判定し、判定された衝突危険度に応じて移動物体の存在を報知するように車載装置を構成する。
【解決手段】歪曲した受光部により広角な範囲の映像を車載装置が撮像し、撮像された映像に基づいて撮像部の設置方向および設置方向以外の方向から自車両に接近する移動物体を車載装置が検出し、検出された移動物体と自車両とが衝突する可能性を示す衝突危険度を車載装置が判定し、判定された衝突危険度に応じて移動物体の存在を報知するように車載装置を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載されている車載装置および認知支援システムに関し、特に、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムに関する。
【背景技術】
【０００２】
近年、カメラによる撮像映像やセンサ等によって車両周辺の移動物体を検出し、自車両と移動物体とが接触する恐れがある場合に、危険性を報知する車載装置が多く開発されている。
【０００３】
たとえば、特許文献１には、自動車等の車両に搭載された複数の車載カメラによって撮像された映像から、自車両に接触の恐れがある障害物を検出し、その旨をドライバーへ報知する車載装置が開示されている。
【０００４】
また、特許文献２には、車両の車載カメラによって撮像された映像を解析することでドライバーの死角から自車両に接近しようとする車両を検出し、接近車両がある旨を報知することによってドライバーに対して注意を喚起する車載装置が開示されている。
【０００５】
具体的には、特許文献２に記載の車載装置は、プリズムが内蔵された１台の車載カメラによって自車両の左側および右側を同時に撮像する。そして、特許文献２に記載の車載装置は、撮像された左右の映像を並べて表示することで、接近車両の報知を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−６９８０６号公報
【特許文献２】特開２００４−２７４５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の車載装置は、複数の車載カメラを必要とするため、車載カメラに要するコストが膨らんでしまうという問題があった。
【０００８】
また、特許文献２の車載装置は、左側と右側との映像を並べて表示装置に表示するため、ドライバーにとって、左右間の距離感を把握することが困難であるという問題があった。
【０００９】
さらに、特許文献２の車載装置の車載カメラでは、左側と右側との映像が撮像されるが、前方の映像は撮像されない。すなわち、車載カメラの前方は死角となるため、自車両に危険を及ぼす可能性が高い接近車両を検出することはできない。このため、前方の安全確認はドライバーの視野で補わなくてはならないが、ドライバーの視野だけで、かかる死角を網羅することは困難である。
【００１０】
これらのことから、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムをいかにして実現するかが大きな課題となっている。
【００１１】
本発明は、上述した従来技術による問題点を解消するためになされたものであって、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、本発明は、車両に搭載されている車載装置であって、歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、前記撮像手段によって撮像された前記映像に基づいて前記撮像手段の設置方向および前記設置方向以外の方向から自車両に接近する移動物体を検出する移動物体検出手段と、前記移動物体検出手段によって検出された前記移動物体と前記自車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段と、前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段とを備えたことを特徴とする。
【００１３】
また、本発明は、車両に搭載されている車載装置と、前記車載装置と無線通信を行う地上サーバ装置とから構成される認知支援システムであって、前記車載装置または前記地上サーバ装置は、前記車載装置から受信した映像に基づいて前記車載装置を搭載した車両に接近する移動物体を検出する移動物体検出手段と、前記移動物体検出手段によって検出された前記移動物体と前記車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段とを備え、前記車載装置は、歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段とを備えたことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、歪曲した受光部により広角な範囲の映像を車載装置が撮像し、撮像された映像に基づいて撮像部の設置方向および設置方向以外の方向から自車両に接近する移動物体を車載装置が検出し、検出された移動物体と自車両とが衝突する可能性を示す衝突危険度を車載装置が判定し、判定された衝突危険度に応じて移動物体の存在を車載装置が報知することとしたので、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムを提供することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明に係る車載装置および認知支援システムの概要を示す図である。
【図２】図２は、本実施例に係る車載装置の構成を示すブロック図である。
【図３】図３は、映像補正処理を説明するための図である。
【図４】図４は、移動物体検出処理を説明するための図である。
【図５】図５は、衝突危険度判定処理を説明するための図その１である。
【図６】図６は、衝突危険度判定処理を説明するための図その２である。
【図７】図７は、車載装置が実行する移動物体認知支援処理手順の概要を示すフローチャートである。
【図８】図８は、超広角カメラの設置方向の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照して、本発明に係る車載装置および認知支援システムの好適な実施例を詳細に説明する。なお、以下では、本発明に係る車載装置および認知支援システムの概要について図１を用いて説明した後に、本発明に係る車載装置および認知支援システムについての実施例を図２〜図８を用いて説明することとする。
【００１７】
まず、本発明に係る車載装置および認知支援システムの概要について図１を用いて説明する。図１は、本発明に係る車載装置および認知支援システムの概要を示す図である。
【００１８】
図１の（Ａ）および（Ｂ）に示すように、本発明に係る車載装置および認知支援システムでは、車両に設置された超広角カメラで撮像された広角な映像に基づいて移動物体を検出し、検出された移動物体が自車両に衝突する危険度を判定し、判定された衝突危険度に応じて移動物体の強調表示を行う。
【００１９】
すなわち、本発明に係る車載装置および認知支援システムは、単独の超広角カメラで広範囲の画像を取得しつつ、取得した画像の中から検出した危険性が高い移動物体を報知することによって、ドライバーに対する認知支援を行う点に主たる特徴がある。
【００２０】
以下、かかる特徴点について具体的に説明する。図１の（Ａ）に示すように、前方を見ているドライバーの視野は、斜線で示した部分である。そして、斜線で示した部分以外の領域は、ドライバーの死角である。
【００２１】
ここで、本発明に係る車載装置は、自車両の前方に設置された超広角カメラと接続されている。そして、この超広角カメラの撮像範囲（以下、「視野」と記載する）は、同図の円弧状に示した範囲となり、ドライバーの視野と死角とを含む広角な範囲となる。したがって、超広角カメラを使用した場合は、自車両の左右の映像を撮像するために左右の２箇所にカメラを設置する必要はない。
【００２２】
そして、図１の（Ａ）に示すように、自車両が交差点に進入しようとしており、交差点の左側道路からは接近車両Ａが自車両側に向かって走行しているとする。また、交差点の右側道路からは、接近車両Ｂが自車両側に向かって走行しているものとする。
【００２３】
自車両に設置された超広角カメラは、図１の円弧状に示した範囲の映像を撮像する。ここで、超広角カメラで撮像された映像は、遠方部分、特に、映像の左右部分の解像度が低いため、移動物体が視認しづらい。そこで、本発明に係る車載装置は、撮像された映像の解像度の補完を行い、左右部分の歪みの補正を行う。これにより、映像の鮮明度を向上させることができる。
【００２４】
また、本発明に係る車載装置は、補正された映像に基づいて移動物体の検出を行う。これにより、従来の車載装置では、見落とされていたような移動物体を検出することができる。さらに、本発明に係る車載装置は、補正された映像および自車両に搭載されているレーダから受け取った情報に基づいて移動物体情報を取得する。ここで、移動物体情報には、自車両と移動物体との距離、自車両に対する移動物体の接近方向および移動物体の移動速度が含まれる。
【００２５】
また、本発明に係る車載装置は、自車両の走行速度、走行方向および走行位置を含んだ自車両情報を各種センサの情報に基づいて取得する。その後、本発明に係る車載装置は、自車両情報と移動物体情報とに基づいて自車両と移動物体とが衝突する可能性を示す衝突危険度を判定する。衝突危険度の判定方法の詳細については後述することとする。
【００２６】
そして、図１の（Ｂ）に示すように、本発明に係る車載装置は、衝突危険度の高い移動物体については、枠を点滅させたり、移動物体の色を変更したりといった強調表示を行ってディスプレイ等の表示部へ表示する。
【００２７】
このように、本発明に係る車載装置および認知支援システムは、車両に設置された超広角カメラで撮像された映像に基づいて移動物体を検出し、検出された移動物体が自車両に衝突する危険度を判定し、判定された衝突危険度に応じて移動物体の強調表示を行うこととした。
【００２８】
したがって、本発明に係る車載装置および認知支援システムによれば、車載装置にかかるコスト削減を図ることができるとともに、ドライバーの死角を含む広角な範囲から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる。
【実施例】
【００２９】
以下では、図１を用いて概要を説明した車載装置および認知支援システムについての実施例を詳細に説明する。まず、本実施例に係る車載装置１０の構成について図２を用いて説明する。
【００３０】
図２は、本実施例に係る車載装置１０の構成を示すブロック図である。なお、図２では、車載装置１０の特徴点を説明するために必要な構成要素のみを抜粋して示している。同図に示すように、車載装置１０は、超広角カメラ１１と、レーダ群１２と、ディスプレイ１３と、センサ群１４と、制御部１５を備えている。また、制御部１５は、映像取得部１５ａと、映像補正部１５ｂと、移動物体検出部１５ｃと、移動物体情報取得部１５ｄと、衝突危険度判定部１５ｅと、移動物体報知部１５ｆとをさらに備えている。
【００３１】
超広角カメラ１１は、レンズに相当する受光部が歪曲していることにより焦点距離が短いため広角な範囲、たとえば、視野が１９０度の範囲の映像を撮像することができるカメラである。この超広角カメラ１１は、車両の前方に設置されており、車両の前方、左方および右方を撮像するものとする。なお、本実施例では、超広角カメラ１１が車両の前方に設置された場合について説明するが、車両の後方、左方または右方に超広角カメラ１１を設置することとしてもよい。
【００３２】
レーダ群１２は、電磁波を対象物に向けて発信し、その反射波を測定することにより、対象物までの距離や方向を取得するレーダ装置群であり、たとえば、ミリ波レーダやレーザレーダ等で構成されるデバイスである。このレーダ群１２は、自車両と移動物体との距離、自車両に対する移動物体の接近方向および移動物体の移動速度を含んだ移動物体情報を取得する。また、レーダ群１２は、取得した移動物体情報を移動物体情報取得部１５ｄへ渡す処理を併せて行う。なお、レーダ群１２を単独のレーダ装置で構成することとしてもよい。
【００３３】
ディスプレイ１３は、超広角カメラ１１で撮像された映像を表示する表示装置であり、カーナビゲーション機能を有する車載装置１０であれば、道路地図や目的地までの進路を表示する場合もある。
【００３４】
センサ群１４は、音や光等の計測の対象となる物理量を検知する各種センサであり、たとえば、ジャイロセンサ、舵角センサ、ＧＰＳ（Global Positioning System）受信機および速度センサ等で構成されるデバイスである。
【００３５】
センサ群１４は、自車両の走行速度、走行方向および走行位置を含んだ自車両情報を取得する。具体的には、ジャイロセンサで検出された角度情報および舵角センサで検出された自車両のハンドルの向き等によって自車両の走行方向を取得する。また、ＧＰＳ受信機からの情報によって、自車両の走行位置を取得し、速度センサの情報によって、自車両の絶対速度を取得する。また、センサ群１４は、取得した自車両情報を衝突危険度判定部１５ｅへ渡す処理を併せて行う。
【００３６】
制御部１５は、車載装置１０の全体制御を行う制御部である。映像取得部１５ａは、超広角カメラ１１が撮像した映像を取得する処理を行う処理部である。また、この映像取得部１５ａは、取得した映像を映像補正部１５ｂへ渡す処理を併せて行う。
【００３７】
映像補正部１５ｂは、映像取得部１５ａから受け取った映像の歪みを補正して、映像の鮮明度を向上させる処理を行う処理部である。ここで、映像補正処理の具体例について、図３を用いて説明する。
【００３８】
図３は、映像補正処理を説明するための図である。なお、図３の（Ａ）には、超広角カメラ１１で撮像された映像を、図３の（Ｂ）には、映像補正処理を行った後の映像を、それぞれ示している。
【００３９】
図３の（Ａ）に示すように、超広角カメラ１１で撮像された映像は、遠方部分、特に、映像の左右部分の映像が歪んで、小さく縮んだ映像となる。さらに、縮んだ映像となってしまった部分は、解像度が低くなってしまう。
【００４０】
そこで、映像補正部１５ｂは、映像内の領域に応じて解像度の補正量を変化させつつ、超広角カメラ１１で撮像された映像の補正処理を行う。なお、図３の（Ａ）の矢印は、補正量の大きさを指すものとする。そして、補正処理の手法としては、たとえば、公知技術である「超解像技術」や地図投影法のひとつであるいわゆる「円筒図法」等を利用することができる。
【００４１】
ここで、「超解像技術」は、解像度を向上するために画素数を増やして解像度の補完を行う技術である。具体的には、「超解像技術」は、映像をタイムスライスした複数の画像の画素の情報に基づいて対象画像の解像度の補完を行う技術である。
【００４２】
映像補正部１５ｂは、「超解像技術」を用いることによって、図３の（Ａ）に示すように、特に解像度の低い映像の左右部分や移動物体が出現する地平線領域付近は、補正量を大きくし、映像中央部分は、補正量を小さくし、解像度の補完を行う。
【００４３】
つづいて、映像補正部１５ｂは、「円筒図法」によって、超広角カメラ１１で撮像された映像の歪みを補正する。このようにすることによって、図３の（Ｂ）に示すように、映像補正処理後の映像は、後述する移動物体検出部１５ｃの検出精度向上に寄与する。そして、映像補正処理後の映像をそのままディスプレイ１３へ表示した場合であっても、ドライバーは、距離感を掴みやすくなる。
【００４４】
図２の説明に戻り、車載装置１０についての説明をつづける。移動物体検出部１５ｃは、映像補正部１５ｂによって補正された映像に基づいてオプティカルフローを算出することによって移動物体の検出する処理を行う処理部である。なお、オプティカルフローとは、時間的に連続する画像の中で物体の動きをベクトルで表したものである。
【００４５】
ここで、具体的な移動物体検出処理について、図４を用いて説明する。図４は、移動物体検出処理を説明するための図である。なお、図４の（Ａ）には、オプティカルフローを説明するための図を、図４の（Ｂ）には、代表点の一例を、それぞれ示している。
【００４６】
図４の（Ａ）は、時間的に連続する２枚の画像を重畳させて表示したものとする。ここでは、時刻ｔの画像を破線で図示し、時刻ｔ’の画像を実線で図示する。なお、時刻ｔは時刻ｔ’よりも前の時刻とする。
【００４７】
まず、移動物体検出部１５ｃは、時刻ｔの画像から特徴点を検出する。ここでは、破線の丸印で示した４つが特徴点として検出されたものとする。つづいて、移動物体検出部１５ｃは、時刻ｔ’の画像から特徴点を検出する。ここでは、実線の丸印で示した４つが特徴点として検出されたものとする。
【００４８】
ここで、時刻ｔの各特徴点から時刻ｔ’の各特徴点へ向かうベクトルがオプティカルフローである。そして、生成されたオプティカルフローから自車両の動きを差し引くことで、対象物の動きベクトル（以下、単に「動きベクトル」と記載する）を検出することができる。
【００４９】
そして、移動物体検出部１５ｃは、検出された動きベクトルに基づいて移動物体の検出を行う。移動物体検出部１５ｃは、動きベクトルの長さが０より大きい場合、対象物は移動しているものとして、対象物を移動物体であると判定する。さらに、移動物体検出部１５ｃは、動きベクトルの方向に基づいて自車両に接近してくるか否かを判定する。
【００５０】
なお、動きベクトルの長さが０を基準として、移動物体の検出を行うこととしたが、所定の閾値を基準として、移動物体の検出を行うこととしてもよい。また、所定の物体に対して検出された特徴点を全て使用する必要はなく、図４の（Ｂ）に示すように、点ａ、点ｂ、点ｃおよび点ｄが特徴点として検出された場合、たとえば、点ｃと点ｄとを代表点として抽出し、移動物体の検出を行うこととしてもよい。このようにして、移動物体検出部１５ｃは、移動物体の検出を行う。
【００５１】
図２の説明に戻り、車載装置１０についての説明をつづける。移動物体情報取得部１５ｄは、移動物体検出部１５ｃが検出した移動物体について、レーダ群１２から自車両と移動物体との距離、自車両に対する移動物体の接近方向および移動物体の移動速度を含んだ移動物体情報を取得する処理を行う処理部である。
【００５２】
衝突危険度判定部１５ｅは、移動物体検出部１５ｃが検出した移動物体について、移動物体情報取得部１５ｄが取得した移動物体情報と、センサ群１４から取得した自車両情報とに基づいて自車両と移動物体とが衝突する可能性を示す衝突危険度を判定する処理を行う処理部である。
【００５３】
ここで、具体的な衝突危険度判定処理について、図５および図６を用いて説明する。図５および図６は、衝突危険度判定処理を説明するための図その１およびその２である。
【００５４】
まず、図５の（Ａ）に示すように、自車両が交差点にさしかかったとする。そして、自車両が進入しようとしている道路左側からは、接近車両Ａが自車両側に向かって速度Ａで走行している。また、かかる道路右側からは、接近車両Ｂが自車両側に向かって速度Ｂで走行している。なお、速度を示す矢印の長さは速度に比例するものとする。したがって、同図に示した場合には、速度Ａ＜速度Ｂである。
【００５５】
この場合、自車両と接近車両Ａとの距離および自車両と接近車両Ｂとの距離を比較すると、双方の距離は、ほぼ同じである。しかし、接近車両Ａの速度Ａと接近車両Ｂの速度Ｂとを比較すると、速度Ａ＜速度Ｂであるので、衝突危険度判定部１５ｅは、接近車両Ａより接近車両Ｂの方が、自車両と衝突する可能性を示す衝突危険度が高いと判定する。
【００５６】
つづいて、図５の（Ａ）とは異なるシチュエーションについて説明する。図５の（Ｂ）に示すように、自車両が交差点にさしかかっており、自車両が進入しようとしている道路右側からは、接近車両Ｃが自車両側に向かって速度Ｃで走行しているとする。ここで、速度Ｃは、図５の（Ａ）に示した速度Ｂと同じであるとする。
【００５７】
この場合、自車両と接近車両Ｃとの距離は、図５の（Ａ）に示した接近車両Ｂと自車両との距離よりもはるかに長い、すなわち、接近車両Ｃは、走行速度が速くても遠方を走行中である。したがって、衝突危険度判定部１５ｅは、接近車両Ｂより接近車両Ｃの方が、衝突危険度が低いと判定する。
【００５８】
また、図５の（Ｃ）に示すように、自車両が速度Ｄで交差点を左折中に、歩行者が速度Ｅで横断歩道を渡り始めたとする。ここで、速度Ｅは歩行速度であるので、速度Ｂや速度Ｃと比較するとはるかに遅い。
【００５９】
しかし、自車両と移動物体である歩行者とは相対的に接近している状態にあり、しかも、自車両から非常に近い位置にある。このため、衝突危険度判定部１５ｅは、歩行者の衝突危険度が非常に高いと判定する。
【００６０】
このように、衝突危険度判定部１５ｅは、移動物体情報および自車両情報に基づいて算出した自車両と接近車両との距離、自車両と接近車両との相対速度および自車両に対する移動物体の接近方向等に基づいて衝突危険度を判定する。これにより、衝突危険度を精度良く判定することができる。
【００６１】
なお、衝突危険度判定部１５ｅでは、衝突危険度が高いまたは低いと判定するように説明したが、距離や相対速度の値に応じて衝突危険度を数値、たとえば、衝突危険度１〜５と示すこととしてもよい。
【００６２】
また、衝突危険度判定部１５ｅは、移動物体情報および自車両情報に基づいて衝突危険度を判定することとしたが、車載装置１０に備える図示しないカーナビゲーション機能から地図情報を取得したり、ウインカーの状態を取得したりして衝突危険度を判定することとしてもよい。
【００６３】
たとえば、図６に示すように、自車両が交差点に進入しようとして、交差点手前で停車したとする。そして、自車両が進入しようとしている道路左側からは、接近車両Ａが自車両側に向かって速度Ａで走行しているとする。また、かかる道路右側からは、接近車両Ｂが自車両側に向かって速度Ｂで走行しているとする。ここで、速度Ａと速度Ｂとは同じであるとする。
【００６４】
ここで、衝突危険度判定部１５ｅは、自車両が左ウインカーを出している状態であるという情報を取得した場合には、自車両がかかる交差点に進入してからの走行方向（図６の黒矢印）は左であると判定する。また、衝突危険度判定部１５ｅは、地図情報を取得することで、図６に示す交差点が片側２車線ずつの幅の広い道であり、接近車両Ｂは、自車両が合流する車線と同方向の車線を走行し、接近車両は、自車両が合流する車線の反対車線を走行していると判定する。
【００６５】
したがって、衝突危険度判定部１５ｅは、接近車両Ｂの衝突危険度が高いと判定する。一方、接近車両Ａについては、速度Ａが接近車両Ｂと同じ速度であり、自車両との距離についてもほぼ同じであるが、反対車線を走行中の接近車両Ａは、衝突危険度が低いと判定する。
【００６６】
このように、衝突危険度判定部１５ｅは、レーダ群１２またはセンサ群１４以外からの情報等によって衝突危険度を判定することとしてもよい。
【００６７】
図２の説明に戻り、車載装置１０についての説明をつづける。移動物体報知部１５ｆは、衝突危険度判定部１５ｅで判定した衝突危険度に応じて移動物体を強調表示してディスプレイ１３に表示する処理を行う処理部である。たとえば、移動物体報知部１５ｆは、超広角カメラ１１が撮像した映像に重畳させて、移動物体の速度および自車両との距離を表示する。
【００６８】
また、移動物体報知部１５ｆは、移動物体の衝突危険度が高い場合、移動物体に強調表示をして、ディスプレイ１３に表示することとしてもよい。たとえば、移動物体報知部１５ｆは、かかる移動物体に囲み枠を表示したり、囲み枠または映像全体を点滅させたり、色を変更して表示を行う。
【００６９】
さらに、衝突危険度によって、点滅回数を変化させたり、色を変化させたりすることとしてもよい。たとえば、衝突危険度が高・中・低と３ランク設定される場合は、衝突危険度：高の点滅回数は１０回で色は赤、衝突危険度：中の点滅回数は５回で色は黄色、衝突危険度：低の点滅回数は３回で色は白と表示することとしてもよい。
【００７０】
なお、強調表示を重畳表示する対象となる映像は、超広角カメラ１１が撮像した映像（図３の（Ａ）参照）でもよいし、映像補正部１５ｂによって補正後の映像（図３の（Ｂ）参照）でもよい。
【００７１】
また、移動物体報知部１５ｆは、移動物体検出部１５ｃによって検出された移動物体が、超広角カメラ１１が撮像した映像（図３の（Ａ）参照）の歪みが所定値以上である映像部分に含まれる場合、移動物体を強調表示することとしてもよい。
【００７２】
歪みの値は、道路上の白線等の直線と推定される部分などの映像が、歪みがないとした場合を想定した映像とを比較した歪みの大きさによって定められる。たとえば、図３の（Ａ）の矢印の大きさが歪みの大きさを指す。また、受光部の歪曲の大きさから映像上の一定範囲を強調表示する部分としてもよい。
【００７３】
超広角カメラ１１は、受光部が歪曲しているので、撮像した映像の周辺部分が中心部より歪んで表示される。このため、周辺部分の映像はドライバーにとって認識しにくいものとなる。したがって、移動物体が映像の周辺部分に含まれる場合には、移動物体の存在を強調した情報を移動物体の映像に重畳して表示することで、ドライバーによる移動物体の視認性を向上することができる。
【００７４】
このように、衝突危険度が高い移動物体を強調表示することで、車載装置１０は、衝突危険度とともに移動物体の存在をドライバーに対して確実に認識させることができる。
【００７５】
つぎに、本実施例に係る車載装置１０および認知支援システムが実行する処理について図７を用いて説明する。図７は、車載装置１０が実行する移動物体認知支援処理手順の概要を示すフローチャートである。
【００７６】
図７に示すように、映像取得部１５ａは、超広角カメラ１１で撮像した映像を取得し（ステップＳ１０１）、映像補正部１５ｂは、ステップＳ１０１で取得した映像の補正を行う（ステップＳ１０２）。
【００７７】
そして、移動物体検出部１５ｃは、ステップＳ１０２で補正した映像に基づいて移動物体の検出を行い（ステップＳ１０３）、移動物体が検出されたか否かを判定する（ステップＳ１０４）。
【００７８】
そして、移動物体検出部１５ｃが移動物体を検出し、移動物体ありと判定した場合には（ステップＳ１０４，Ｙｅｓ）、移動物体情報取得部１５ｄは、検出された移動物体に対する移動物体情報をレーダ群１２から取得する（ステップＳ１０５）。
【００７９】
一方、移動物体検出部１５ｃが、移動物体を検出せず、移動物体なしと判定した場合には（ステップＳ１０４，Ｎｏ）、処理を終了する。
【００８０】
その後、衝突危険度判定部１５ｅは、ステップＳ１０５で取得した移動物体情報とセンサ群１４から取得した自車両情報とに基づいて自車両と移動物体とが衝突する可能性を示す衝突危険度を判定する（ステップＳ１０６）。
【００８１】
そして、衝突危険度判定部１５ｅは、衝突危険度が高い、すなわち、自車両と移動物体とが衝突する危険があるか否かを判定する（ステップＳ１０７）。そして、衝突危険度判定部１５ｅが、衝突の危険があると判定した場合には（ステップＳ１０７，Ｙｅｓ）、移動物体報知部１５ｆは、衝突危険度に応じて移動物体を強調表示してディスプレイ１３に表示して（ステップＳ１０８）、車載装置１０が実行する移動物体認知支援処理を終了する。
【００８２】
一方、衝突危険度判定部１５ｅが、衝突の危険がないと判定した場合に（ステップＳ１０７，Ｎｏ）、処理を終了する。
【００８３】
ところで、本実施例においては、超広角カメラ１１を車両の前方に設置する場合について説明した。しかしながら、本発明はこれに限られるものではない。そこで、以下では、超広角カメラ１１を車両の前方以外に設置する場合の変形例について、図８を用いて説明する。
【００８４】
図８は、超広角カメラの設置方向の一例を示す図である。なお、図８の（Ａ）には、超広角カメラ１１を車両の左方に設置した例を、図８の（Ｂ）には、超広角カメラ１１を車両の後方に設置した例を、それぞれ示している。
【００８５】
図８の（Ａ）に示すように、超広角カメラ１１を左方に設置した自車両が交差点で左折しようとした際に、自車両の左後方から、二輪車が走行してきた場合について説明する。この場合、自車両の左方に超広角カメラ１１が設置されているので、超広角カメラ１１の視野は、同図の円弧状に示した範囲、すなわち、左方、前方および後方となる。
【００８６】
したがって、超広角カメラ１１は、自車両の左後方から接近する二輪車を撮像することができる。これにより、車載装置１０は、かかる二輪車を衝突危険度が高い移動物体と判定し、強調表示して表示することができる。この場合、たとえ自車両のすぐ後方に後続車両が連なっていたとしても、車載装置１０は、衝突危険度の高い移動物体を、ドライバーに対して確実に認識させることができる。
【００８７】
つづいて、図８の（Ｂ）に示すように、超広角カメラ１１を後方に設置した自車両が片側２車線ある道路の左車線を走行中に、右車線に車線変更しようとした際に、自車両の右後方から、右車線側を接近車両が走行してきた場合について説明する。
【００８８】
この場合、自車両の後方に超広角カメラ１１が設置されているので、超広角カメラ１１の撮像範囲は、同図の円弧状に示した範囲、すなわち、後方、左方および右方となる。
【００８９】
したがって、超広角カメラ１１は、自車両の右後方を走行する接近車両を撮像することができる。これにより、車載装置１０は、車線変更時にも、後方からの接近車両を強調表示して表示することによって、ドライバーに対して衝突危険度の高い移動物体を確実に認識させることができる。
【００９０】
なお、ここでは、自車両の後方に超広角カメラ１１を設置する旨を説明したが、超広角カメラ１１を右方に設置することとしても、同様の効果が得られる。このようにすることによって、自車両にいずれの方向から移動物体が接近する場合であっても、検出漏れを防止することができる。
【００９１】
以上のように、本実施例および本変形例に係る車載装置および認知支援システムは、超広角カメラが歪曲した受光部により広角な範囲の映像を撮像し、移動物体検出部が超広角カメラによって撮像された映像に基づいて超広角カメラの設置方向および設置方向以外の方向から自車両に接近する移動物体を検出し、衝突危険度判定部が移動物体検出部によって検出された移動物体と自車両とが衝突する可能性を示す衝突危険度を判定し、移動物体報知部が衝突危険度判定部によって判定された衝突危険度に応じて移動物体の存在を報知するように車載装置を構成した。したがって、車載装置のコスト削減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる。
【産業上の利用可能性】
【００９２】
以上のように、本発明に係る車載装置および認知支援システムは、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止するために有用であり、特に、車載装置のコスト削減を図りつつ、検出した移動物体の存在をドライバーに対して確実に認識させたい場合に適している。
【符号の説明】
【００９３】
１０ 車載装置
１１ 超広角カメラ
１２ レーダ群
１３ ディスプレイ
１４ センサ群
１５ 制御部
１５ａ 映像取得部
１５ｂ 映像補正部
１５ｃ 移動物体検出部
１５ｄ 移動物体情報取得部
１５ｅ 衝突危険度判定部
１５ｆ 移動物体報知部
【技術分野】
【０００１】
この発明は、車両に搭載されている車載装置および認知支援システムに関し、特に、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムに関する。
【背景技術】
【０００２】
近年、カメラによる撮像映像やセンサ等によって車両周辺の移動物体を検出し、自車両と移動物体とが接触する恐れがある場合に、危険性を報知する車載装置が多く開発されている。
【０００３】
たとえば、特許文献１には、自動車等の車両に搭載された複数の車載カメラによって撮像された映像から、自車両に接触の恐れがある障害物を検出し、その旨をドライバーへ報知する車載装置が開示されている。
【０００４】
また、特許文献２には、車両の車載カメラによって撮像された映像を解析することでドライバーの死角から自車両に接近しようとする車両を検出し、接近車両がある旨を報知することによってドライバーに対して注意を喚起する車載装置が開示されている。
【０００５】
具体的には、特許文献２に記載の車載装置は、プリズムが内蔵された１台の車載カメラによって自車両の左側および右側を同時に撮像する。そして、特許文献２に記載の車載装置は、撮像された左右の映像を並べて表示することで、接近車両の報知を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−６９８０６号公報
【特許文献２】特開２００４−２７４５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の車載装置は、複数の車載カメラを必要とするため、車載カメラに要するコストが膨らんでしまうという問題があった。
【０００８】
また、特許文献２の車載装置は、左側と右側との映像を並べて表示装置に表示するため、ドライバーにとって、左右間の距離感を把握することが困難であるという問題があった。
【０００９】
さらに、特許文献２の車載装置の車載カメラでは、左側と右側との映像が撮像されるが、前方の映像は撮像されない。すなわち、車載カメラの前方は死角となるため、自車両に危険を及ぼす可能性が高い接近車両を検出することはできない。このため、前方の安全確認はドライバーの視野で補わなくてはならないが、ドライバーの視野だけで、かかる死角を網羅することは困難である。
【００１０】
これらのことから、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムをいかにして実現するかが大きな課題となっている。
【００１１】
本発明は、上述した従来技術による問題点を解消するためになされたものであって、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、本発明は、車両に搭載されている車載装置であって、歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、前記撮像手段によって撮像された前記映像に基づいて前記撮像手段の設置方向および前記設置方向以外の方向から自車両に接近する移動物体を検出する移動物体検出手段と、前記移動物体検出手段によって検出された前記移動物体と前記自車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段と、前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段とを備えたことを特徴とする。
【００１３】
また、本発明は、車両に搭載されている車載装置と、前記車載装置と無線通信を行う地上サーバ装置とから構成される認知支援システムであって、前記車載装置または前記地上サーバ装置は、前記車載装置から受信した映像に基づいて前記車載装置を搭載した車両に接近する移動物体を検出する移動物体検出手段と、前記移動物体検出手段によって検出された前記移動物体と前記車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段とを備え、前記車載装置は、歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段とを備えたことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、歪曲した受光部により広角な範囲の映像を車載装置が撮像し、撮像された映像に基づいて撮像部の設置方向および設置方向以外の方向から自車両に接近する移動物体を車載装置が検出し、検出された移動物体と自車両とが衝突する可能性を示す衝突危険度を車載装置が判定し、判定された衝突危険度に応じて移動物体の存在を車載装置が報知することとしたので、車載装置のコスト低減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる車載装置および認知支援システムを提供することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明に係る車載装置および認知支援システムの概要を示す図である。
【図２】図２は、本実施例に係る車載装置の構成を示すブロック図である。
【図３】図３は、映像補正処理を説明するための図である。
【図４】図４は、移動物体検出処理を説明するための図である。
【図５】図５は、衝突危険度判定処理を説明するための図その１である。
【図６】図６は、衝突危険度判定処理を説明するための図その２である。
【図７】図７は、車載装置が実行する移動物体認知支援処理手順の概要を示すフローチャートである。
【図８】図８は、超広角カメラの設置方向の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照して、本発明に係る車載装置および認知支援システムの好適な実施例を詳細に説明する。なお、以下では、本発明に係る車載装置および認知支援システムの概要について図１を用いて説明した後に、本発明に係る車載装置および認知支援システムについての実施例を図２〜図８を用いて説明することとする。
【００１７】
まず、本発明に係る車載装置および認知支援システムの概要について図１を用いて説明する。図１は、本発明に係る車載装置および認知支援システムの概要を示す図である。
【００１８】
図１の（Ａ）および（Ｂ）に示すように、本発明に係る車載装置および認知支援システムでは、車両に設置された超広角カメラで撮像された広角な映像に基づいて移動物体を検出し、検出された移動物体が自車両に衝突する危険度を判定し、判定された衝突危険度に応じて移動物体の強調表示を行う。
【００１９】
すなわち、本発明に係る車載装置および認知支援システムは、単独の超広角カメラで広範囲の画像を取得しつつ、取得した画像の中から検出した危険性が高い移動物体を報知することによって、ドライバーに対する認知支援を行う点に主たる特徴がある。
【００２０】
以下、かかる特徴点について具体的に説明する。図１の（Ａ）に示すように、前方を見ているドライバーの視野は、斜線で示した部分である。そして、斜線で示した部分以外の領域は、ドライバーの死角である。
【００２１】
ここで、本発明に係る車載装置は、自車両の前方に設置された超広角カメラと接続されている。そして、この超広角カメラの撮像範囲（以下、「視野」と記載する）は、同図の円弧状に示した範囲となり、ドライバーの視野と死角とを含む広角な範囲となる。したがって、超広角カメラを使用した場合は、自車両の左右の映像を撮像するために左右の２箇所にカメラを設置する必要はない。
【００２２】
そして、図１の（Ａ）に示すように、自車両が交差点に進入しようとしており、交差点の左側道路からは接近車両Ａが自車両側に向かって走行しているとする。また、交差点の右側道路からは、接近車両Ｂが自車両側に向かって走行しているものとする。
【００２３】
自車両に設置された超広角カメラは、図１の円弧状に示した範囲の映像を撮像する。ここで、超広角カメラで撮像された映像は、遠方部分、特に、映像の左右部分の解像度が低いため、移動物体が視認しづらい。そこで、本発明に係る車載装置は、撮像された映像の解像度の補完を行い、左右部分の歪みの補正を行う。これにより、映像の鮮明度を向上させることができる。
【００２４】
また、本発明に係る車載装置は、補正された映像に基づいて移動物体の検出を行う。これにより、従来の車載装置では、見落とされていたような移動物体を検出することができる。さらに、本発明に係る車載装置は、補正された映像および自車両に搭載されているレーダから受け取った情報に基づいて移動物体情報を取得する。ここで、移動物体情報には、自車両と移動物体との距離、自車両に対する移動物体の接近方向および移動物体の移動速度が含まれる。
【００２５】
また、本発明に係る車載装置は、自車両の走行速度、走行方向および走行位置を含んだ自車両情報を各種センサの情報に基づいて取得する。その後、本発明に係る車載装置は、自車両情報と移動物体情報とに基づいて自車両と移動物体とが衝突する可能性を示す衝突危険度を判定する。衝突危険度の判定方法の詳細については後述することとする。
【００２６】
そして、図１の（Ｂ）に示すように、本発明に係る車載装置は、衝突危険度の高い移動物体については、枠を点滅させたり、移動物体の色を変更したりといった強調表示を行ってディスプレイ等の表示部へ表示する。
【００２７】
このように、本発明に係る車載装置および認知支援システムは、車両に設置された超広角カメラで撮像された映像に基づいて移動物体を検出し、検出された移動物体が自車両に衝突する危険度を判定し、判定された衝突危険度に応じて移動物体の強調表示を行うこととした。
【００２８】
したがって、本発明に係る車載装置および認知支援システムによれば、車載装置にかかるコスト削減を図ることができるとともに、ドライバーの死角を含む広角な範囲から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる。
【実施例】
【００２９】
以下では、図１を用いて概要を説明した車載装置および認知支援システムについての実施例を詳細に説明する。まず、本実施例に係る車載装置１０の構成について図２を用いて説明する。
【００３０】
図２は、本実施例に係る車載装置１０の構成を示すブロック図である。なお、図２では、車載装置１０の特徴点を説明するために必要な構成要素のみを抜粋して示している。同図に示すように、車載装置１０は、超広角カメラ１１と、レーダ群１２と、ディスプレイ１３と、センサ群１４と、制御部１５を備えている。また、制御部１５は、映像取得部１５ａと、映像補正部１５ｂと、移動物体検出部１５ｃと、移動物体情報取得部１５ｄと、衝突危険度判定部１５ｅと、移動物体報知部１５ｆとをさらに備えている。
【００３１】
超広角カメラ１１は、レンズに相当する受光部が歪曲していることにより焦点距離が短いため広角な範囲、たとえば、視野が１９０度の範囲の映像を撮像することができるカメラである。この超広角カメラ１１は、車両の前方に設置されており、車両の前方、左方および右方を撮像するものとする。なお、本実施例では、超広角カメラ１１が車両の前方に設置された場合について説明するが、車両の後方、左方または右方に超広角カメラ１１を設置することとしてもよい。
【００３２】
レーダ群１２は、電磁波を対象物に向けて発信し、その反射波を測定することにより、対象物までの距離や方向を取得するレーダ装置群であり、たとえば、ミリ波レーダやレーザレーダ等で構成されるデバイスである。このレーダ群１２は、自車両と移動物体との距離、自車両に対する移動物体の接近方向および移動物体の移動速度を含んだ移動物体情報を取得する。また、レーダ群１２は、取得した移動物体情報を移動物体情報取得部１５ｄへ渡す処理を併せて行う。なお、レーダ群１２を単独のレーダ装置で構成することとしてもよい。
【００３３】
ディスプレイ１３は、超広角カメラ１１で撮像された映像を表示する表示装置であり、カーナビゲーション機能を有する車載装置１０であれば、道路地図や目的地までの進路を表示する場合もある。
【００３４】
センサ群１４は、音や光等の計測の対象となる物理量を検知する各種センサであり、たとえば、ジャイロセンサ、舵角センサ、ＧＰＳ（Global Positioning System）受信機および速度センサ等で構成されるデバイスである。
【００３５】
センサ群１４は、自車両の走行速度、走行方向および走行位置を含んだ自車両情報を取得する。具体的には、ジャイロセンサで検出された角度情報および舵角センサで検出された自車両のハンドルの向き等によって自車両の走行方向を取得する。また、ＧＰＳ受信機からの情報によって、自車両の走行位置を取得し、速度センサの情報によって、自車両の絶対速度を取得する。また、センサ群１４は、取得した自車両情報を衝突危険度判定部１５ｅへ渡す処理を併せて行う。
【００３６】
制御部１５は、車載装置１０の全体制御を行う制御部である。映像取得部１５ａは、超広角カメラ１１が撮像した映像を取得する処理を行う処理部である。また、この映像取得部１５ａは、取得した映像を映像補正部１５ｂへ渡す処理を併せて行う。
【００３７】
映像補正部１５ｂは、映像取得部１５ａから受け取った映像の歪みを補正して、映像の鮮明度を向上させる処理を行う処理部である。ここで、映像補正処理の具体例について、図３を用いて説明する。
【００３８】
図３は、映像補正処理を説明するための図である。なお、図３の（Ａ）には、超広角カメラ１１で撮像された映像を、図３の（Ｂ）には、映像補正処理を行った後の映像を、それぞれ示している。
【００３９】
図３の（Ａ）に示すように、超広角カメラ１１で撮像された映像は、遠方部分、特に、映像の左右部分の映像が歪んで、小さく縮んだ映像となる。さらに、縮んだ映像となってしまった部分は、解像度が低くなってしまう。
【００４０】
そこで、映像補正部１５ｂは、映像内の領域に応じて解像度の補正量を変化させつつ、超広角カメラ１１で撮像された映像の補正処理を行う。なお、図３の（Ａ）の矢印は、補正量の大きさを指すものとする。そして、補正処理の手法としては、たとえば、公知技術である「超解像技術」や地図投影法のひとつであるいわゆる「円筒図法」等を利用することができる。
【００４１】
ここで、「超解像技術」は、解像度を向上するために画素数を増やして解像度の補完を行う技術である。具体的には、「超解像技術」は、映像をタイムスライスした複数の画像の画素の情報に基づいて対象画像の解像度の補完を行う技術である。
【００４２】
映像補正部１５ｂは、「超解像技術」を用いることによって、図３の（Ａ）に示すように、特に解像度の低い映像の左右部分や移動物体が出現する地平線領域付近は、補正量を大きくし、映像中央部分は、補正量を小さくし、解像度の補完を行う。
【００４３】
つづいて、映像補正部１５ｂは、「円筒図法」によって、超広角カメラ１１で撮像された映像の歪みを補正する。このようにすることによって、図３の（Ｂ）に示すように、映像補正処理後の映像は、後述する移動物体検出部１５ｃの検出精度向上に寄与する。そして、映像補正処理後の映像をそのままディスプレイ１３へ表示した場合であっても、ドライバーは、距離感を掴みやすくなる。
【００４４】
図２の説明に戻り、車載装置１０についての説明をつづける。移動物体検出部１５ｃは、映像補正部１５ｂによって補正された映像に基づいてオプティカルフローを算出することによって移動物体の検出する処理を行う処理部である。なお、オプティカルフローとは、時間的に連続する画像の中で物体の動きをベクトルで表したものである。
【００４５】
ここで、具体的な移動物体検出処理について、図４を用いて説明する。図４は、移動物体検出処理を説明するための図である。なお、図４の（Ａ）には、オプティカルフローを説明するための図を、図４の（Ｂ）には、代表点の一例を、それぞれ示している。
【００４６】
図４の（Ａ）は、時間的に連続する２枚の画像を重畳させて表示したものとする。ここでは、時刻ｔの画像を破線で図示し、時刻ｔ’の画像を実線で図示する。なお、時刻ｔは時刻ｔ’よりも前の時刻とする。
【００４７】
まず、移動物体検出部１５ｃは、時刻ｔの画像から特徴点を検出する。ここでは、破線の丸印で示した４つが特徴点として検出されたものとする。つづいて、移動物体検出部１５ｃは、時刻ｔ’の画像から特徴点を検出する。ここでは、実線の丸印で示した４つが特徴点として検出されたものとする。
【００４８】
ここで、時刻ｔの各特徴点から時刻ｔ’の各特徴点へ向かうベクトルがオプティカルフローである。そして、生成されたオプティカルフローから自車両の動きを差し引くことで、対象物の動きベクトル（以下、単に「動きベクトル」と記載する）を検出することができる。
【００４９】
そして、移動物体検出部１５ｃは、検出された動きベクトルに基づいて移動物体の検出を行う。移動物体検出部１５ｃは、動きベクトルの長さが０より大きい場合、対象物は移動しているものとして、対象物を移動物体であると判定する。さらに、移動物体検出部１５ｃは、動きベクトルの方向に基づいて自車両に接近してくるか否かを判定する。
【００５０】
なお、動きベクトルの長さが０を基準として、移動物体の検出を行うこととしたが、所定の閾値を基準として、移動物体の検出を行うこととしてもよい。また、所定の物体に対して検出された特徴点を全て使用する必要はなく、図４の（Ｂ）に示すように、点ａ、点ｂ、点ｃおよび点ｄが特徴点として検出された場合、たとえば、点ｃと点ｄとを代表点として抽出し、移動物体の検出を行うこととしてもよい。このようにして、移動物体検出部１５ｃは、移動物体の検出を行う。
【００５１】
図２の説明に戻り、車載装置１０についての説明をつづける。移動物体情報取得部１５ｄは、移動物体検出部１５ｃが検出した移動物体について、レーダ群１２から自車両と移動物体との距離、自車両に対する移動物体の接近方向および移動物体の移動速度を含んだ移動物体情報を取得する処理を行う処理部である。
【００５２】
衝突危険度判定部１５ｅは、移動物体検出部１５ｃが検出した移動物体について、移動物体情報取得部１５ｄが取得した移動物体情報と、センサ群１４から取得した自車両情報とに基づいて自車両と移動物体とが衝突する可能性を示す衝突危険度を判定する処理を行う処理部である。
【００５３】
ここで、具体的な衝突危険度判定処理について、図５および図６を用いて説明する。図５および図６は、衝突危険度判定処理を説明するための図その１およびその２である。
【００５４】
まず、図５の（Ａ）に示すように、自車両が交差点にさしかかったとする。そして、自車両が進入しようとしている道路左側からは、接近車両Ａが自車両側に向かって速度Ａで走行している。また、かかる道路右側からは、接近車両Ｂが自車両側に向かって速度Ｂで走行している。なお、速度を示す矢印の長さは速度に比例するものとする。したがって、同図に示した場合には、速度Ａ＜速度Ｂである。
【００５５】
この場合、自車両と接近車両Ａとの距離および自車両と接近車両Ｂとの距離を比較すると、双方の距離は、ほぼ同じである。しかし、接近車両Ａの速度Ａと接近車両Ｂの速度Ｂとを比較すると、速度Ａ＜速度Ｂであるので、衝突危険度判定部１５ｅは、接近車両Ａより接近車両Ｂの方が、自車両と衝突する可能性を示す衝突危険度が高いと判定する。
【００５６】
つづいて、図５の（Ａ）とは異なるシチュエーションについて説明する。図５の（Ｂ）に示すように、自車両が交差点にさしかかっており、自車両が進入しようとしている道路右側からは、接近車両Ｃが自車両側に向かって速度Ｃで走行しているとする。ここで、速度Ｃは、図５の（Ａ）に示した速度Ｂと同じであるとする。
【００５７】
この場合、自車両と接近車両Ｃとの距離は、図５の（Ａ）に示した接近車両Ｂと自車両との距離よりもはるかに長い、すなわち、接近車両Ｃは、走行速度が速くても遠方を走行中である。したがって、衝突危険度判定部１５ｅは、接近車両Ｂより接近車両Ｃの方が、衝突危険度が低いと判定する。
【００５８】
また、図５の（Ｃ）に示すように、自車両が速度Ｄで交差点を左折中に、歩行者が速度Ｅで横断歩道を渡り始めたとする。ここで、速度Ｅは歩行速度であるので、速度Ｂや速度Ｃと比較するとはるかに遅い。
【００５９】
しかし、自車両と移動物体である歩行者とは相対的に接近している状態にあり、しかも、自車両から非常に近い位置にある。このため、衝突危険度判定部１５ｅは、歩行者の衝突危険度が非常に高いと判定する。
【００６０】
このように、衝突危険度判定部１５ｅは、移動物体情報および自車両情報に基づいて算出した自車両と接近車両との距離、自車両と接近車両との相対速度および自車両に対する移動物体の接近方向等に基づいて衝突危険度を判定する。これにより、衝突危険度を精度良く判定することができる。
【００６１】
なお、衝突危険度判定部１５ｅでは、衝突危険度が高いまたは低いと判定するように説明したが、距離や相対速度の値に応じて衝突危険度を数値、たとえば、衝突危険度１〜５と示すこととしてもよい。
【００６２】
また、衝突危険度判定部１５ｅは、移動物体情報および自車両情報に基づいて衝突危険度を判定することとしたが、車載装置１０に備える図示しないカーナビゲーション機能から地図情報を取得したり、ウインカーの状態を取得したりして衝突危険度を判定することとしてもよい。
【００６３】
たとえば、図６に示すように、自車両が交差点に進入しようとして、交差点手前で停車したとする。そして、自車両が進入しようとしている道路左側からは、接近車両Ａが自車両側に向かって速度Ａで走行しているとする。また、かかる道路右側からは、接近車両Ｂが自車両側に向かって速度Ｂで走行しているとする。ここで、速度Ａと速度Ｂとは同じであるとする。
【００６４】
ここで、衝突危険度判定部１５ｅは、自車両が左ウインカーを出している状態であるという情報を取得した場合には、自車両がかかる交差点に進入してからの走行方向（図６の黒矢印）は左であると判定する。また、衝突危険度判定部１５ｅは、地図情報を取得することで、図６に示す交差点が片側２車線ずつの幅の広い道であり、接近車両Ｂは、自車両が合流する車線と同方向の車線を走行し、接近車両は、自車両が合流する車線の反対車線を走行していると判定する。
【００６５】
したがって、衝突危険度判定部１５ｅは、接近車両Ｂの衝突危険度が高いと判定する。一方、接近車両Ａについては、速度Ａが接近車両Ｂと同じ速度であり、自車両との距離についてもほぼ同じであるが、反対車線を走行中の接近車両Ａは、衝突危険度が低いと判定する。
【００６６】
このように、衝突危険度判定部１５ｅは、レーダ群１２またはセンサ群１４以外からの情報等によって衝突危険度を判定することとしてもよい。
【００６７】
図２の説明に戻り、車載装置１０についての説明をつづける。移動物体報知部１５ｆは、衝突危険度判定部１５ｅで判定した衝突危険度に応じて移動物体を強調表示してディスプレイ１３に表示する処理を行う処理部である。たとえば、移動物体報知部１５ｆは、超広角カメラ１１が撮像した映像に重畳させて、移動物体の速度および自車両との距離を表示する。
【００６８】
また、移動物体報知部１５ｆは、移動物体の衝突危険度が高い場合、移動物体に強調表示をして、ディスプレイ１３に表示することとしてもよい。たとえば、移動物体報知部１５ｆは、かかる移動物体に囲み枠を表示したり、囲み枠または映像全体を点滅させたり、色を変更して表示を行う。
【００６９】
さらに、衝突危険度によって、点滅回数を変化させたり、色を変化させたりすることとしてもよい。たとえば、衝突危険度が高・中・低と３ランク設定される場合は、衝突危険度：高の点滅回数は１０回で色は赤、衝突危険度：中の点滅回数は５回で色は黄色、衝突危険度：低の点滅回数は３回で色は白と表示することとしてもよい。
【００７０】
なお、強調表示を重畳表示する対象となる映像は、超広角カメラ１１が撮像した映像（図３の（Ａ）参照）でもよいし、映像補正部１５ｂによって補正後の映像（図３の（Ｂ）参照）でもよい。
【００７１】
また、移動物体報知部１５ｆは、移動物体検出部１５ｃによって検出された移動物体が、超広角カメラ１１が撮像した映像（図３の（Ａ）参照）の歪みが所定値以上である映像部分に含まれる場合、移動物体を強調表示することとしてもよい。
【００７２】
歪みの値は、道路上の白線等の直線と推定される部分などの映像が、歪みがないとした場合を想定した映像とを比較した歪みの大きさによって定められる。たとえば、図３の（Ａ）の矢印の大きさが歪みの大きさを指す。また、受光部の歪曲の大きさから映像上の一定範囲を強調表示する部分としてもよい。
【００７３】
超広角カメラ１１は、受光部が歪曲しているので、撮像した映像の周辺部分が中心部より歪んで表示される。このため、周辺部分の映像はドライバーにとって認識しにくいものとなる。したがって、移動物体が映像の周辺部分に含まれる場合には、移動物体の存在を強調した情報を移動物体の映像に重畳して表示することで、ドライバーによる移動物体の視認性を向上することができる。
【００７４】
このように、衝突危険度が高い移動物体を強調表示することで、車載装置１０は、衝突危険度とともに移動物体の存在をドライバーに対して確実に認識させることができる。
【００７５】
つぎに、本実施例に係る車載装置１０および認知支援システムが実行する処理について図７を用いて説明する。図７は、車載装置１０が実行する移動物体認知支援処理手順の概要を示すフローチャートである。
【００７６】
図７に示すように、映像取得部１５ａは、超広角カメラ１１で撮像した映像を取得し（ステップＳ１０１）、映像補正部１５ｂは、ステップＳ１０１で取得した映像の補正を行う（ステップＳ１０２）。
【００７７】
そして、移動物体検出部１５ｃは、ステップＳ１０２で補正した映像に基づいて移動物体の検出を行い（ステップＳ１０３）、移動物体が検出されたか否かを判定する（ステップＳ１０４）。
【００７８】
そして、移動物体検出部１５ｃが移動物体を検出し、移動物体ありと判定した場合には（ステップＳ１０４，Ｙｅｓ）、移動物体情報取得部１５ｄは、検出された移動物体に対する移動物体情報をレーダ群１２から取得する（ステップＳ１０５）。
【００７９】
一方、移動物体検出部１５ｃが、移動物体を検出せず、移動物体なしと判定した場合には（ステップＳ１０４，Ｎｏ）、処理を終了する。
【００８０】
その後、衝突危険度判定部１５ｅは、ステップＳ１０５で取得した移動物体情報とセンサ群１４から取得した自車両情報とに基づいて自車両と移動物体とが衝突する可能性を示す衝突危険度を判定する（ステップＳ１０６）。
【００８１】
そして、衝突危険度判定部１５ｅは、衝突危険度が高い、すなわち、自車両と移動物体とが衝突する危険があるか否かを判定する（ステップＳ１０７）。そして、衝突危険度判定部１５ｅが、衝突の危険があると判定した場合には（ステップＳ１０７，Ｙｅｓ）、移動物体報知部１５ｆは、衝突危険度に応じて移動物体を強調表示してディスプレイ１３に表示して（ステップＳ１０８）、車載装置１０が実行する移動物体認知支援処理を終了する。
【００８２】
一方、衝突危険度判定部１５ｅが、衝突の危険がないと判定した場合に（ステップＳ１０７，Ｎｏ）、処理を終了する。
【００８３】
ところで、本実施例においては、超広角カメラ１１を車両の前方に設置する場合について説明した。しかしながら、本発明はこれに限られるものではない。そこで、以下では、超広角カメラ１１を車両の前方以外に設置する場合の変形例について、図８を用いて説明する。
【００８４】
図８は、超広角カメラの設置方向の一例を示す図である。なお、図８の（Ａ）には、超広角カメラ１１を車両の左方に設置した例を、図８の（Ｂ）には、超広角カメラ１１を車両の後方に設置した例を、それぞれ示している。
【００８５】
図８の（Ａ）に示すように、超広角カメラ１１を左方に設置した自車両が交差点で左折しようとした際に、自車両の左後方から、二輪車が走行してきた場合について説明する。この場合、自車両の左方に超広角カメラ１１が設置されているので、超広角カメラ１１の視野は、同図の円弧状に示した範囲、すなわち、左方、前方および後方となる。
【００８６】
したがって、超広角カメラ１１は、自車両の左後方から接近する二輪車を撮像することができる。これにより、車載装置１０は、かかる二輪車を衝突危険度が高い移動物体と判定し、強調表示して表示することができる。この場合、たとえ自車両のすぐ後方に後続車両が連なっていたとしても、車載装置１０は、衝突危険度の高い移動物体を、ドライバーに対して確実に認識させることができる。
【００８７】
つづいて、図８の（Ｂ）に示すように、超広角カメラ１１を後方に設置した自車両が片側２車線ある道路の左車線を走行中に、右車線に車線変更しようとした際に、自車両の右後方から、右車線側を接近車両が走行してきた場合について説明する。
【００８８】
この場合、自車両の後方に超広角カメラ１１が設置されているので、超広角カメラ１１の撮像範囲は、同図の円弧状に示した範囲、すなわち、後方、左方および右方となる。
【００８９】
したがって、超広角カメラ１１は、自車両の右後方を走行する接近車両を撮像することができる。これにより、車載装置１０は、車線変更時にも、後方からの接近車両を強調表示して表示することによって、ドライバーに対して衝突危険度の高い移動物体を確実に認識させることができる。
【００９０】
なお、ここでは、自車両の後方に超広角カメラ１１を設置する旨を説明したが、超広角カメラ１１を右方に設置することとしても、同様の効果が得られる。このようにすることによって、自車両にいずれの方向から移動物体が接近する場合であっても、検出漏れを防止することができる。
【００９１】
以上のように、本実施例および本変形例に係る車載装置および認知支援システムは、超広角カメラが歪曲した受光部により広角な範囲の映像を撮像し、移動物体検出部が超広角カメラによって撮像された映像に基づいて超広角カメラの設置方向および設置方向以外の方向から自車両に接近する移動物体を検出し、衝突危険度判定部が移動物体検出部によって検出された移動物体と自車両とが衝突する可能性を示す衝突危険度を判定し、移動物体報知部が衝突危険度判定部によって判定された衝突危険度に応じて移動物体の存在を報知するように車載装置を構成した。したがって、車載装置のコスト削減を図ることができるとともに、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止しつつ、検出した移動物体の存在をドライバーに対して確実に認識させることができる。
【産業上の利用可能性】
【００９２】
以上のように、本発明に係る車載装置および認知支援システムは、ドライバーの死角から自車両に接近する移動物体の検出漏れを防止するために有用であり、特に、車載装置のコスト削減を図りつつ、検出した移動物体の存在をドライバーに対して確実に認識させたい場合に適している。
【符号の説明】
【００９３】
１０ 車載装置
１１ 超広角カメラ
１２ レーダ群
１３ ディスプレイ
１４ センサ群
１５ 制御部
１５ａ 映像取得部
１５ｂ 映像補正部
１５ｃ 移動物体検出部
１５ｄ 移動物体情報取得部
１５ｅ 衝突危険度判定部
１５ｆ 移動物体報知部
【特許請求の範囲】
【請求項１】
車両に搭載されている車載装置であって、
歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、
前記撮像手段によって撮像された前記映像に基づいて前記撮像手段の設置方向および前記設置方向以外の方向から自車両に接近する移動物体を検出する移動物体検出手段と、
前記移動物体検出手段によって検出された前記移動物体と前記自車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段と、
前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段と
を備えたことを特徴とする車載装置。
【請求項２】
前記移動物体検出手段によって検出された前記移動物体と前記自車両との距離、前記自車両に対する前記移動物体の接近方向および前記移動物体の移動速度を移動物体情報として取得する移動物体情報取得手段
をさらに備え、
前記衝突危険度判定手段は、
前記自車両の走行速度および走行方向を含んだ自車両情報と前記移動物体情報取得手段によって取得された前記移動物体情報とに基づいて前記衝突危険度を判定することを特徴とする請求項１に記載の車載装置。
【請求項３】
前記移動物体報知手段は、
前記移動物体検出手段により検出された前記移動物体が、前記撮像手段によって撮像された前記映像の周辺部分に含まれる場合、前記移動物体の存在を強調した情報を前記移動物体が含まれる映像に重畳して表示することを特徴とする請求項１または２に記載の車載装置。
【請求項４】
前記撮像手段は、
前記自車両の前方、後方、右方または左方のいずれか一箇所、または、二箇所以上を組合せた位置に設置されることを特徴とする請求項１、２または３に記載の車載装置。
【請求項５】
前記撮像手段によって撮像された前記映像の歪みを補正する映像補正手段
をさらに備え、
前記移動物体検出手段は、
前記映像補正手段によって補正された前記映像に基づいて前記自車両に接近する前記移動物体を検出することを特徴とする請求項１〜４のいずれか一つに記載の車載装置。
【請求項６】
前記移動物体報知手段は、
前記衝突危険度判定手段によって判定された前記衝突危険度に基づいて前記移動物体の存在を強調した情報を前記移動物体検出手段により検出された前記移動物体が含まれる前記映像に重畳して表示することを特徴とする請求項１〜５のいずれか一つに記載の車載装置。
【請求項７】
車両に搭載されている車載装置と、前記車載装置と無線通信を行う地上サーバ装置とから構成される認知支援システムであって、
前記車載装置または前記地上サーバ装置は、
前記車載装置から受信した映像に基づいて前記車載装置を搭載した車両に接近する移動物体を検出する移動物体検出手段と、
前記移動物体検出手段によって検出された前記移動物体と前記車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段と
を備え、
前記車載装置は、
歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、
前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段と
を備えたことを特徴とする認知支援システム。
【請求項１】
車両に搭載されている車載装置であって、
歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、
前記撮像手段によって撮像された前記映像に基づいて前記撮像手段の設置方向および前記設置方向以外の方向から自車両に接近する移動物体を検出する移動物体検出手段と、
前記移動物体検出手段によって検出された前記移動物体と前記自車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段と、
前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段と
を備えたことを特徴とする車載装置。
【請求項２】
前記移動物体検出手段によって検出された前記移動物体と前記自車両との距離、前記自車両に対する前記移動物体の接近方向および前記移動物体の移動速度を移動物体情報として取得する移動物体情報取得手段
をさらに備え、
前記衝突危険度判定手段は、
前記自車両の走行速度および走行方向を含んだ自車両情報と前記移動物体情報取得手段によって取得された前記移動物体情報とに基づいて前記衝突危険度を判定することを特徴とする請求項１に記載の車載装置。
【請求項３】
前記移動物体報知手段は、
前記移動物体検出手段により検出された前記移動物体が、前記撮像手段によって撮像された前記映像の周辺部分に含まれる場合、前記移動物体の存在を強調した情報を前記移動物体が含まれる映像に重畳して表示することを特徴とする請求項１または２に記載の車載装置。
【請求項４】
前記撮像手段は、
前記自車両の前方、後方、右方または左方のいずれか一箇所、または、二箇所以上を組合せた位置に設置されることを特徴とする請求項１、２または３に記載の車載装置。
【請求項５】
前記撮像手段によって撮像された前記映像の歪みを補正する映像補正手段
をさらに備え、
前記移動物体検出手段は、
前記映像補正手段によって補正された前記映像に基づいて前記自車両に接近する前記移動物体を検出することを特徴とする請求項１〜４のいずれか一つに記載の車載装置。
【請求項６】
前記移動物体報知手段は、
前記衝突危険度判定手段によって判定された前記衝突危険度に基づいて前記移動物体の存在を強調した情報を前記移動物体検出手段により検出された前記移動物体が含まれる前記映像に重畳して表示することを特徴とする請求項１〜５のいずれか一つに記載の車載装置。
【請求項７】
車両に搭載されている車載装置と、前記車載装置と無線通信を行う地上サーバ装置とから構成される認知支援システムであって、
前記車載装置または前記地上サーバ装置は、
前記車載装置から受信した映像に基づいて前記車載装置を搭載した車両に接近する移動物体を検出する移動物体検出手段と、
前記移動物体検出手段によって検出された前記移動物体と前記車両とが衝突する可能性を示す衝突危険度を判定する衝突危険度判定手段と
を備え、
前記車載装置は、
歪曲した受光部により広角な範囲の映像を撮像する撮像手段と、
前記衝突危険度判定手段によって判定された前記衝突危険度に応じて前記移動物体の存在を報知する移動物体報知手段と
を備えたことを特徴とする認知支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１１８４８２（Ｐ２０１１−１１８４８２Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７２８５９（Ｐ２００９−２７２８５９）
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]