個人用移動車両運転支援装置
【課題】人間が徒歩で移動する環境を個人用移動車両が安全に移動するために、車両近傍領域の移動安全性を推定し、運転者に提示するとともに運転制御を行う。
【解決手段】本発明は、車両近傍の路面或いは床面を観測するセンサ装置の出力する二次元カラー画像および三次元画像を解析して、それぞれ２次元画像特徴及び３次元形状特徴を出力する画像処理部及び三次元データ処理部を備える。この２次元画像特徴及び３次元形状特徴を、過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定して、出力する。これによって、三次元形状特徴に加えて、二次元カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させる。
【解決手段】本発明は、車両近傍の路面或いは床面を観測するセンサ装置の出力する二次元カラー画像および三次元画像を解析して、それぞれ２次元画像特徴及び３次元形状特徴を出力する画像処理部及び三次元データ処理部を備える。この２次元画像特徴及び３次元形状特徴を、過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定して、出力する。これによって、三次元形状特徴に加えて、二次元カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人用移動車両の近傍の路面或いは床面を観測し、安全に移動できない領域を検出して、提示する個人用移動車両運転支援装置に関する。
【背景技術】
【０００２】
車両の周辺の障害物を認識する技術が開発されており、衝突回避等の車両制御に適用されている。従来の技術では、道路を時速数十キロメートル以上の高速で走行することを前提としているものが多く、このような場合には、前方の障害物を迅速に検出することを目的としている。また、舗装道路や駐車場などの空間を前提としており、路面は一様性が仮定されている。センサとしては、カメラ、ステレオカメラ、レーザレンジファインダ、ミリ波レーダなどのセンサが用いられる。センサ融合技術も用いられる。
【０００３】
特許文献１は、レーザレンジファインダなどの高さ検出装置で検出した障害物（危険箇所）を、カメラで撮影した画像に重ねて表示する。
特許文献２は、ステレオカメラ、ミリ波レーダ、レーザレーダの情報を融合して車両周辺の立体物を検出する。
特許文献３は、車両周辺に取り付けたカメラの画像を視点変換し、車両の上空から撮影したかのような画像を表示する。
特許文献４は、ステレオカメラによって障害物を高速検出する。
【０００４】
一方、電動車椅子やセニアカーなどの個人用移動車両は、時速６キロ以下の低速で走行するため、車両前方の中・遠距離にある障害物を検出するよりは、車輪至近の段差や溝などの危険領域を検出することで、運転者の不注意による転倒を防止することがより重要である。また、個人用移動車両は、室内や屋外など、人間が徒歩で移動する空間であればどこでも移動する可能性がある。こうした空間の路面・床面は多様性に富み、舗装道路のような一様性は期待できない。
【特許文献１】特開2006-160193号公報
【特許文献２】特開2007-310741号公報
【特許文献３】特開2007-89081号公報
【特許文献４】特開2001-273488号公報
【非特許文献１】C. Harris and M. Stephens, “A combined corner and edge detector”, Proc. 4th Alvey Vision Conference, pp.147-151 (1998)
【非特許文献２】D. G. Lowe, “Object recognition from local scale-invariant features”, Proc. IEEE International Conference on Computer Vision (ICCV), pp.1150-1157 (1999)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、室内および屋外の人間が徒歩で移動する環境を個人用移動車両が安全に移動するために、車両近傍の領域を観測して得られるカラー画像特徴と三次元形状特徴から、近傍領域の移動安全性を推定し、運転者に提示するとともに運転制御を行うための装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の個人用移動車両運転支援装置は、個人用移動車両の近傍の路面或いは床面を観測し、安全に移動できない領域を検出して、提示する。この個人用移動車両運転支援装置は、車両近傍の路面或いは床面を観測し、二次元カラー画像および三次元画像を出力するセンサ装置と、前記センサ装置が出力する二次元カラー画像および三次元画像を一時的に蓄積して、前記画像処理部及び三次元データ処理部に出力する一時記憶部と、前記二次元カラー画像及び三次元画像を解析して、それぞれ２次元画像特徴及び３次元形状特徴を出力する画像処理部及び三次元データ処理部と、前記２次元画像特徴及び３次元形状特徴を登録する特徴記憶部と、前記２次元画像特徴及び３次元形状特徴を、前記特徴記憶部に予め登録されている過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定して、危険度マップとして出力する移動可能領域推定部と、を備え、三次元形状特徴に加えて、二次元カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させる。
【発明の効果】
【０００７】
本発明によれば、車両近傍の領域を観測して得られるカラー画像特徴と三次元形状特徴から、近傍領域の移動安全性を推定し、運転者に提示することにより、室内および屋外の人間が徒歩で移動する環境を個人用移動車両が安全に移動することが可能になる。
【発明を実施するための最良の形態】
【０００８】
以下、例示に基づき、本発明を説明する。図１は、個人用移動車両運転支援装置の第１の実施形態を示すシステム構成図である。本発明の個人用移動車両運転支援装置は、電動車椅子や電動シニアカーなどの個人用移動車両の近傍の路面・床面を観測し、安全に移動できない領域を検出し、運転者もしくは自動運転システムに提示する。センサ装置１は、車両の周囲に設置された複数のセンサからなり、車両近傍の路面・床面を観測し、二次元カラー画像および三次元画像を出力する。
【０００９】
図２は、センサの取付イメージを示す図である。図２に示すように、車両周辺にセンサを配置し、車輪近傍の構造を観測することと、観測されたデータを危険度マップとして統合して運転者に提示し、運転者が危険領域に操舵を行った場合は音響と振動によって運転者に警告を発する。舗装道路などの一様性を期待できる路面を高速移動する一般の車両では、ステレオカメラやレーザレンジファインダ、ミリ波レーダなどのセンサによって車両前方の中・長距離にある障害物を検出することで車両が安全に移動できるかどうどうかを推定することが多い。しかし、多様な空間を低速で移動する個人用移動車両の場合は、運転者の不注意や誤操作による転倒を防止するため、車輪至近の段差や溝などの構造を検出することがより重要である。
【００１０】
図１に示す画像処理部２と三次元データ処理部３は、それぞれカラー画像と三次元画像を解析し、２次元画像特徴と３次元形状特徴を出力する。舗装道路などの一様性を期待できる路面では、ステレオカメラやレーザレンジファインダなどのセンサによって障害物の三次元形状を検出するだけで車両が安全に移動できるかどうどうかを推定することが多い。しかし、個人用移動車両が移動する空間は、一般的な舗装道路と比べてはるかに多様であるため、様々な要因を考慮する必要がある。
【００１１】
例えば、溝や段差などは代表的な危険路面・床面であるが、これらは三次元形状を計測することで検出することが可能である。ところが、三次元的には平らな路面・床面であったとしても、そこはぬかるみなどの個人用移動車両では脱出困難な軟弱な地面であるかもしれない。図３は、危険な路面・床面の例を示す図である。このような路面は、３次元形状を計測するだけではその危険性を判断するのは難しい。
【００１２】
本発明は、三次元形状特徴に加えて、カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させる。２次元画像特徴としては、色相や明度などの色情報、画像を微分して得られるエッジ特徴、テクスチャ特徴などの基本的な画像処理アルゴリズムによって得られる特徴をはじめ、コーナー特徴(Harris&Stephens,1998)やSIFT特徴(Lowe,1999)など、さまざまな特徴が利用できる。このような２次元画像特徴の参考文献として、非特許文献１，２を参照できる。また、三次元形状とカラー画像を同時に観測できるセンサとしては、例えばステレオカメラシステムが利用できる。
【００１３】
図１に示す一時記憶部４は、データを一時的に記憶するメモリー（画像バッファ）である。センサ装置によって観測された最新のカラー画像と三次元画像は、その属性とともに複数のフレームに渡って時系列画像として一時記憶部に蓄積されるとともに、画像処理部と三次元データ処理部に入力される。特徴記憶部５は、画像特徴と形状特徴をその属性とともに登録できる特徴データベースである。ここで、属性とは、特徴に関するパラメタ値であり、例えば、色情報を画像特徴としている場合の属性としては、色相、明度、色ヒストグラムなどがあり、エッジ特徴の属性としては、エッジ強度やエッジ方向などがある。形状特徴の属性としては、段差の高さ、溝の幅・深さ、突起の高さ・幅などがある。
【００１４】
個人用移動車両が移動する空間は、前述のように一般的な舗装道路と比べてはるかに多様である。図４は、既知路面との比較による未知路面の危険判定を説明する図である。図４に示すように、前述のセンサから得られる２次元画像特徴及び３次元形状特徴を、過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定する。安全に移動できる、もしくは移動できないことがわかっている領域から検出される既知の画像特徴・形状特徴は、予め特徴記憶部５（図１）に登録しておく。例えば、深い溝や鋭い突起など、あらゆる車両にとって危険であることが自明であるような３次元形状特徴や、床面に描かれた既定の標識の色・形状・文字から得られる２次元画像特徴などがこれにあたる。また、車両が走行した路面は安全が確認できたとみなすことができるので、その領域から検出された特徴は、特徴記憶部と一時記憶部のどちらかまたは両方に動的に登録する。これらの予め登録されている既知の画像特徴・形状特徴と、車両が走行することで動的に登録された画像特徴・形状特徴の両方を、未知の路面の解析に利用する。個人用移動車両が移動する路面には局所性があると考えられるため、少ない特徴を動的に登録することで、安全性推定における未知路面への適応性向上が期待できる。
【００１５】
図１に示す移動可能領域推定部６は、特徴記憶部５に登録されている特徴、もしくは一時記憶部４に蓄積されているデータから得られる特徴を、最新の観測画像を解析して得られる特徴と比較することによって、その特徴が属する画像領域に車両が安全に移動できるかどうかを推定し、危険度マップとして出力する。データ更新部７は、特徴記憶部５と一時記憶部４のどちらかもしくは両方に、危険度マップを登録する。また、特徴記憶部と一時記憶部のどちらかもしくは両方の形状特徴・画像特徴に関する情報を更新する。
【００１６】
新たに観測された領域の安全性推定には、多くの場合さまざまな不確定要因が含まれることが予測されるので、推定結果が正しいかどうかの最終的な決定は運転者によってなされる。システムは、運転者が行う操舵を介した間接的なインタラクションによって、データベースのパラメタを動的に更新する。観測された領域に対する推定結果にかかわらず、運転者が実際に車両を当該領域に移動させることで、その領域に対する安全性は確認される。領域の安全が確認されれば、特徴記憶部の属性値（パラメタ）を更新する。車両の移動情報は、運転制御装置から入力される操舵角と走行積算距離によって求められる。つまり、運転者が警告を無視して車両の操作を行うことで、装置に登録された属性値の誤りが修正され、それ以後の危険性判断の精度を向上させることになる。運転者は本装置に対する直接的なインタラクションを必要としないので、運転操作に専念できる。
【００１７】
画像処理プログラム記憶部８には、異なるアルゴリズムに基づく複数の画像処理プログラムを登録するデータベースであり、新たに観測された路面・床面を解析するために適切なプログラムが画像処理部に提供される。二次元カラー画像を解析するための画像処理アルゴリズムは無数に存在し、かつ万能のアルゴリズムは存在しない。よって、目的に応じたアルゴリズムを適切に選択することが必要となるが、個人用移動車両が移動する空間は多様であるため固定的な画像処理アルゴリズムで対応することは困難である。画像処理プログラムデータベースに複数の異なるアルゴリズムに基づく画像処理プログラムを登録しておき、画像処理プログラムを動的に適用する機構を持つことで、この問題に対応する。車両が走行する環境の局所性に応じて画像処理プログラムを入れ替えることも可能になる。登録する画像処理プログラムとしては、前述の様々な画像特徴を検出するためのアルゴリズムが利用できる。
【００１８】
図１に示す危険度マップは、表示装置９を通じて人間の運転者に提示される。音響装置10と振動装置11は、安全に移動できない領域の方向に人間の運転者が操舵を行ったときに警告を発するための装置である。車両の自動運転装置に対しては、安全に移動できない領域についての情報が直接出力される。車両の運転制御装置からは、車両の操舵角や走行積算距離などの情報が入力される。図中２から８は、システムプログラムとして記憶装置12に記録されており、装置動作時にコンピュータシステムなどに展開される。
【００１９】
図５は、個人用移動車両運転支援装置の第２の実施形態を示すシステム構成図である。
データ更新部７は、特徴記憶部５のみに、危険度マップを登録するよう構成した点で、第１の実施形態とは相違している。また、データ更新部７は、特徴記憶部５の形状特徴・画像特徴に関する情報を更新する。
【００２０】
図６は、個人用移動車両運転支援装置の第３の実施形態を示すシステム構成図である。
データ更新部７は、一時記憶部４のみに、危険度マップを登録するよう構成した点で、第１及び第２の実施形態とは相違している。また、データ更新部７は、一時記憶部４の形状特徴・画像特徴に関する情報を更新する。
【図面の簡単な説明】
【００２１】
【図１】個人用移動車両運転支援装置の第１の実施形態を示すシステム構成図である。
【図２】センサの取付イメージを示す図である。
【図３】危険な路面・床面の例を示す図である。
【図４】既知路面との比較による未知路面の危険判定を説明する図である。
【図５】個人用移動車両運転支援装置の第２の実施形態を示すシステム構成図である。
【図６】個人用移動車両運転支援装置の第３の実施形態を示すシステム構成図である。
【技術分野】
【０００１】
本発明は、個人用移動車両の近傍の路面或いは床面を観測し、安全に移動できない領域を検出して、提示する個人用移動車両運転支援装置に関する。
【背景技術】
【０００２】
車両の周辺の障害物を認識する技術が開発されており、衝突回避等の車両制御に適用されている。従来の技術では、道路を時速数十キロメートル以上の高速で走行することを前提としているものが多く、このような場合には、前方の障害物を迅速に検出することを目的としている。また、舗装道路や駐車場などの空間を前提としており、路面は一様性が仮定されている。センサとしては、カメラ、ステレオカメラ、レーザレンジファインダ、ミリ波レーダなどのセンサが用いられる。センサ融合技術も用いられる。
【０００３】
特許文献１は、レーザレンジファインダなどの高さ検出装置で検出した障害物（危険箇所）を、カメラで撮影した画像に重ねて表示する。
特許文献２は、ステレオカメラ、ミリ波レーダ、レーザレーダの情報を融合して車両周辺の立体物を検出する。
特許文献３は、車両周辺に取り付けたカメラの画像を視点変換し、車両の上空から撮影したかのような画像を表示する。
特許文献４は、ステレオカメラによって障害物を高速検出する。
【０００４】
一方、電動車椅子やセニアカーなどの個人用移動車両は、時速６キロ以下の低速で走行するため、車両前方の中・遠距離にある障害物を検出するよりは、車輪至近の段差や溝などの危険領域を検出することで、運転者の不注意による転倒を防止することがより重要である。また、個人用移動車両は、室内や屋外など、人間が徒歩で移動する空間であればどこでも移動する可能性がある。こうした空間の路面・床面は多様性に富み、舗装道路のような一様性は期待できない。
【特許文献１】特開2006-160193号公報
【特許文献２】特開2007-310741号公報
【特許文献３】特開2007-89081号公報
【特許文献４】特開2001-273488号公報
【非特許文献１】C. Harris and M. Stephens, “A combined corner and edge detector”, Proc. 4th Alvey Vision Conference, pp.147-151 (1998)
【非特許文献２】D. G. Lowe, “Object recognition from local scale-invariant features”, Proc. IEEE International Conference on Computer Vision (ICCV), pp.1150-1157 (1999)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、室内および屋外の人間が徒歩で移動する環境を個人用移動車両が安全に移動するために、車両近傍の領域を観測して得られるカラー画像特徴と三次元形状特徴から、近傍領域の移動安全性を推定し、運転者に提示するとともに運転制御を行うための装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の個人用移動車両運転支援装置は、個人用移動車両の近傍の路面或いは床面を観測し、安全に移動できない領域を検出して、提示する。この個人用移動車両運転支援装置は、車両近傍の路面或いは床面を観測し、二次元カラー画像および三次元画像を出力するセンサ装置と、前記センサ装置が出力する二次元カラー画像および三次元画像を一時的に蓄積して、前記画像処理部及び三次元データ処理部に出力する一時記憶部と、前記二次元カラー画像及び三次元画像を解析して、それぞれ２次元画像特徴及び３次元形状特徴を出力する画像処理部及び三次元データ処理部と、前記２次元画像特徴及び３次元形状特徴を登録する特徴記憶部と、前記２次元画像特徴及び３次元形状特徴を、前記特徴記憶部に予め登録されている過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定して、危険度マップとして出力する移動可能領域推定部と、を備え、三次元形状特徴に加えて、二次元カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させる。
【発明の効果】
【０００７】
本発明によれば、車両近傍の領域を観測して得られるカラー画像特徴と三次元形状特徴から、近傍領域の移動安全性を推定し、運転者に提示することにより、室内および屋外の人間が徒歩で移動する環境を個人用移動車両が安全に移動することが可能になる。
【発明を実施するための最良の形態】
【０００８】
以下、例示に基づき、本発明を説明する。図１は、個人用移動車両運転支援装置の第１の実施形態を示すシステム構成図である。本発明の個人用移動車両運転支援装置は、電動車椅子や電動シニアカーなどの個人用移動車両の近傍の路面・床面を観測し、安全に移動できない領域を検出し、運転者もしくは自動運転システムに提示する。センサ装置１は、車両の周囲に設置された複数のセンサからなり、車両近傍の路面・床面を観測し、二次元カラー画像および三次元画像を出力する。
【０００９】
図２は、センサの取付イメージを示す図である。図２に示すように、車両周辺にセンサを配置し、車輪近傍の構造を観測することと、観測されたデータを危険度マップとして統合して運転者に提示し、運転者が危険領域に操舵を行った場合は音響と振動によって運転者に警告を発する。舗装道路などの一様性を期待できる路面を高速移動する一般の車両では、ステレオカメラやレーザレンジファインダ、ミリ波レーダなどのセンサによって車両前方の中・長距離にある障害物を検出することで車両が安全に移動できるかどうどうかを推定することが多い。しかし、多様な空間を低速で移動する個人用移動車両の場合は、運転者の不注意や誤操作による転倒を防止するため、車輪至近の段差や溝などの構造を検出することがより重要である。
【００１０】
図１に示す画像処理部２と三次元データ処理部３は、それぞれカラー画像と三次元画像を解析し、２次元画像特徴と３次元形状特徴を出力する。舗装道路などの一様性を期待できる路面では、ステレオカメラやレーザレンジファインダなどのセンサによって障害物の三次元形状を検出するだけで車両が安全に移動できるかどうどうかを推定することが多い。しかし、個人用移動車両が移動する空間は、一般的な舗装道路と比べてはるかに多様であるため、様々な要因を考慮する必要がある。
【００１１】
例えば、溝や段差などは代表的な危険路面・床面であるが、これらは三次元形状を計測することで検出することが可能である。ところが、三次元的には平らな路面・床面であったとしても、そこはぬかるみなどの個人用移動車両では脱出困難な軟弱な地面であるかもしれない。図３は、危険な路面・床面の例を示す図である。このような路面は、３次元形状を計測するだけではその危険性を判断するのは難しい。
【００１２】
本発明は、三次元形状特徴に加えて、カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させる。２次元画像特徴としては、色相や明度などの色情報、画像を微分して得られるエッジ特徴、テクスチャ特徴などの基本的な画像処理アルゴリズムによって得られる特徴をはじめ、コーナー特徴(Harris&Stephens,1998)やSIFT特徴(Lowe,1999)など、さまざまな特徴が利用できる。このような２次元画像特徴の参考文献として、非特許文献１，２を参照できる。また、三次元形状とカラー画像を同時に観測できるセンサとしては、例えばステレオカメラシステムが利用できる。
【００１３】
図１に示す一時記憶部４は、データを一時的に記憶するメモリー（画像バッファ）である。センサ装置によって観測された最新のカラー画像と三次元画像は、その属性とともに複数のフレームに渡って時系列画像として一時記憶部に蓄積されるとともに、画像処理部と三次元データ処理部に入力される。特徴記憶部５は、画像特徴と形状特徴をその属性とともに登録できる特徴データベースである。ここで、属性とは、特徴に関するパラメタ値であり、例えば、色情報を画像特徴としている場合の属性としては、色相、明度、色ヒストグラムなどがあり、エッジ特徴の属性としては、エッジ強度やエッジ方向などがある。形状特徴の属性としては、段差の高さ、溝の幅・深さ、突起の高さ・幅などがある。
【００１４】
個人用移動車両が移動する空間は、前述のように一般的な舗装道路と比べてはるかに多様である。図４は、既知路面との比較による未知路面の危険判定を説明する図である。図４に示すように、前述のセンサから得られる２次元画像特徴及び３次元形状特徴を、過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定する。安全に移動できる、もしくは移動できないことがわかっている領域から検出される既知の画像特徴・形状特徴は、予め特徴記憶部５（図１）に登録しておく。例えば、深い溝や鋭い突起など、あらゆる車両にとって危険であることが自明であるような３次元形状特徴や、床面に描かれた既定の標識の色・形状・文字から得られる２次元画像特徴などがこれにあたる。また、車両が走行した路面は安全が確認できたとみなすことができるので、その領域から検出された特徴は、特徴記憶部と一時記憶部のどちらかまたは両方に動的に登録する。これらの予め登録されている既知の画像特徴・形状特徴と、車両が走行することで動的に登録された画像特徴・形状特徴の両方を、未知の路面の解析に利用する。個人用移動車両が移動する路面には局所性があると考えられるため、少ない特徴を動的に登録することで、安全性推定における未知路面への適応性向上が期待できる。
【００１５】
図１に示す移動可能領域推定部６は、特徴記憶部５に登録されている特徴、もしくは一時記憶部４に蓄積されているデータから得られる特徴を、最新の観測画像を解析して得られる特徴と比較することによって、その特徴が属する画像領域に車両が安全に移動できるかどうかを推定し、危険度マップとして出力する。データ更新部７は、特徴記憶部５と一時記憶部４のどちらかもしくは両方に、危険度マップを登録する。また、特徴記憶部と一時記憶部のどちらかもしくは両方の形状特徴・画像特徴に関する情報を更新する。
【００１６】
新たに観測された領域の安全性推定には、多くの場合さまざまな不確定要因が含まれることが予測されるので、推定結果が正しいかどうかの最終的な決定は運転者によってなされる。システムは、運転者が行う操舵を介した間接的なインタラクションによって、データベースのパラメタを動的に更新する。観測された領域に対する推定結果にかかわらず、運転者が実際に車両を当該領域に移動させることで、その領域に対する安全性は確認される。領域の安全が確認されれば、特徴記憶部の属性値（パラメタ）を更新する。車両の移動情報は、運転制御装置から入力される操舵角と走行積算距離によって求められる。つまり、運転者が警告を無視して車両の操作を行うことで、装置に登録された属性値の誤りが修正され、それ以後の危険性判断の精度を向上させることになる。運転者は本装置に対する直接的なインタラクションを必要としないので、運転操作に専念できる。
【００１７】
画像処理プログラム記憶部８には、異なるアルゴリズムに基づく複数の画像処理プログラムを登録するデータベースであり、新たに観測された路面・床面を解析するために適切なプログラムが画像処理部に提供される。二次元カラー画像を解析するための画像処理アルゴリズムは無数に存在し、かつ万能のアルゴリズムは存在しない。よって、目的に応じたアルゴリズムを適切に選択することが必要となるが、個人用移動車両が移動する空間は多様であるため固定的な画像処理アルゴリズムで対応することは困難である。画像処理プログラムデータベースに複数の異なるアルゴリズムに基づく画像処理プログラムを登録しておき、画像処理プログラムを動的に適用する機構を持つことで、この問題に対応する。車両が走行する環境の局所性に応じて画像処理プログラムを入れ替えることも可能になる。登録する画像処理プログラムとしては、前述の様々な画像特徴を検出するためのアルゴリズムが利用できる。
【００１８】
図１に示す危険度マップは、表示装置９を通じて人間の運転者に提示される。音響装置10と振動装置11は、安全に移動できない領域の方向に人間の運転者が操舵を行ったときに警告を発するための装置である。車両の自動運転装置に対しては、安全に移動できない領域についての情報が直接出力される。車両の運転制御装置からは、車両の操舵角や走行積算距離などの情報が入力される。図中２から８は、システムプログラムとして記憶装置12に記録されており、装置動作時にコンピュータシステムなどに展開される。
【００１９】
図５は、個人用移動車両運転支援装置の第２の実施形態を示すシステム構成図である。
データ更新部７は、特徴記憶部５のみに、危険度マップを登録するよう構成した点で、第１の実施形態とは相違している。また、データ更新部７は、特徴記憶部５の形状特徴・画像特徴に関する情報を更新する。
【００２０】
図６は、個人用移動車両運転支援装置の第３の実施形態を示すシステム構成図である。
データ更新部７は、一時記憶部４のみに、危険度マップを登録するよう構成した点で、第１及び第２の実施形態とは相違している。また、データ更新部７は、一時記憶部４の形状特徴・画像特徴に関する情報を更新する。
【図面の簡単な説明】
【００２１】
【図１】個人用移動車両運転支援装置の第１の実施形態を示すシステム構成図である。
【図２】センサの取付イメージを示す図である。
【図３】危険な路面・床面の例を示す図である。
【図４】既知路面との比較による未知路面の危険判定を説明する図である。
【図５】個人用移動車両運転支援装置の第２の実施形態を示すシステム構成図である。
【図６】個人用移動車両運転支援装置の第３の実施形態を示すシステム構成図である。
【特許請求の範囲】
【請求項１】
個人用移動車両の近傍の路面或いは床面を観測し、安全に移動できない領域を検出して、提示する個人用移動車両運転支援装置において、
車両近傍の路面或いは床面を観測し、二次元カラー画像および三次元画像を出力するセンサ装置と、
前記センサ装置が出力する二次元カラー画像および三次元画像を一時的に蓄積して、前記画像処理部及び三次元データ処理部に出力する一時記憶部と、
前記二次元カラー画像及び三次元画像を解析して、それぞれ２次元画像特徴及び３次元形状特徴を出力する画像処理部及び三次元データ処理部と、
前記２次元画像特徴及び３次元形状特徴を登録する特徴記憶部と、
前記２次元画像特徴及び３次元形状特徴を、前記特徴記憶部に予め登録されている過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定して、危険度マップとして出力する移動可能領域推定部と、を備え、
三次元形状特徴に加えて、二次元カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させることから成る個人用移動車両運転支援装置。
【請求項２】
前記特徴記憶部には、安全に移動できる、もしくは移動できないことがわかっている領域から検出される２次元画像特徴及び３次元形状特徴を予め登録しておき、前記移動可能領域推定部は、該特徴記憶部に登録されている２次元画像特徴及び３次元形状特徴を、最新の観測画像を解析して得られる２次元画像特徴及び３次元形状特徴と比較することによって、その２次元画像特徴及び３次元形状特徴が属する画像領域に車両が安全に移動できるかどうかを推定する請求項１に記載の個人用移動車両運転支援装置。
【請求項３】
車両が走行した路面は安全が確認できたとみなして、その領域から検出された２次元画像特徴及び３次元形状特徴を、前記特徴記憶部と一時記憶部のどちらかまたは両方に動的に登録して、これらの予め登録されている２次元画像特徴及び３次元形状特徴を、未知の路面の解析に利用する請求項１又は２に記載の個人用移動車両運転支援装置。
【請求項４】
前記特徴記憶部と一時記憶部のどちらかもしくは両方に、前記危険度マップを登録し、かつ、前記特徴記憶部と一時記憶部のどちらかもしくは両方の２次元画像特徴及び３次元形状特徴に関する情報を更新するデータ更新部を備える請求項１〜３のいずれかに記載の個人用移動車両運転支援装置。
【請求項５】
異なるアルゴリズムに基づく複数の画像処理プログラムを登録して、新たに観測された路面・床面を解析するために適切なプログラムを前記画像処理部に提供する画像処理プログラム記憶部を備える請求項１〜４のいずれかに記載の個人用移動車両運転支援装置。
【請求項６】
前記危険度マップは、表示装置を通じて運転者に提示され、又は音響装置、或いは振動装置を通じて運転者に警告を発し、若しくは、車両の自動運転装置に対して、安全に移動できない領域についての情報を直接出力する請求項１〜５のいずれかに記載の個人用移動車両運転支援装置。
【請求項１】
個人用移動車両の近傍の路面或いは床面を観測し、安全に移動できない領域を検出して、提示する個人用移動車両運転支援装置において、
車両近傍の路面或いは床面を観測し、二次元カラー画像および三次元画像を出力するセンサ装置と、
前記センサ装置が出力する二次元カラー画像および三次元画像を一時的に蓄積して、前記画像処理部及び三次元データ処理部に出力する一時記憶部と、
前記二次元カラー画像及び三次元画像を解析して、それぞれ２次元画像特徴及び３次元形状特徴を出力する画像処理部及び三次元データ処理部と、
前記２次元画像特徴及び３次元形状特徴を登録する特徴記憶部と、
前記２次元画像特徴及び３次元形状特徴を、前記特徴記憶部に予め登録されている過去に車両が走行した路面の履歴と比較することで、車両周辺の路面の安全性を推定して、危険度マップとして出力する移動可能領域推定部と、を備え、
三次元形状特徴に加えて、二次元カラー画像から得られる２次元画像特徴も同時に利用することで、車両周辺の安全性推定精度を向上させることから成る個人用移動車両運転支援装置。
【請求項２】
前記特徴記憶部には、安全に移動できる、もしくは移動できないことがわかっている領域から検出される２次元画像特徴及び３次元形状特徴を予め登録しておき、前記移動可能領域推定部は、該特徴記憶部に登録されている２次元画像特徴及び３次元形状特徴を、最新の観測画像を解析して得られる２次元画像特徴及び３次元形状特徴と比較することによって、その２次元画像特徴及び３次元形状特徴が属する画像領域に車両が安全に移動できるかどうかを推定する請求項１に記載の個人用移動車両運転支援装置。
【請求項３】
車両が走行した路面は安全が確認できたとみなして、その領域から検出された２次元画像特徴及び３次元形状特徴を、前記特徴記憶部と一時記憶部のどちらかまたは両方に動的に登録して、これらの予め登録されている２次元画像特徴及び３次元形状特徴を、未知の路面の解析に利用する請求項１又は２に記載の個人用移動車両運転支援装置。
【請求項４】
前記特徴記憶部と一時記憶部のどちらかもしくは両方に、前記危険度マップを登録し、かつ、前記特徴記憶部と一時記憶部のどちらかもしくは両方の２次元画像特徴及び３次元形状特徴に関する情報を更新するデータ更新部を備える請求項１〜３のいずれかに記載の個人用移動車両運転支援装置。
【請求項５】
異なるアルゴリズムに基づく複数の画像処理プログラムを登録して、新たに観測された路面・床面を解析するために適切なプログラムを前記画像処理部に提供する画像処理プログラム記憶部を備える請求項１〜４のいずれかに記載の個人用移動車両運転支援装置。
【請求項６】
前記危険度マップは、表示装置を通じて運転者に提示され、又は音響装置、或いは振動装置を通じて運転者に警告を発し、若しくは、車両の自動運転装置に対して、安全に移動できない領域についての情報を直接出力する請求項１〜５のいずれかに記載の個人用移動車両運転支援装置。
【図１】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【公開番号】特開２００９−２７７０６３（Ｐ２００９−２７７０６３Ａ）
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願番号】特願２００８−１２８４０５（Ｐ２００８−１２８４０５）
【出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願日】平成２０年５月１５日（２００８．５．１５）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]