携帯端末装置
【課題】ユーザの操作や特定の環境を走行することなく、精度良く外界状況を認識することのできる携帯端末装置を提供する。
【解決手段】運転支援システムに用いられる携帯端末装置１において、後方カメラ３の車室内の画像に基づき予め複数定められた車室内の特徴部を抽出するための特徴部情報と、各特徴部の位置情報と、携帯端末装置１の設置位置と設置角度に関する予め定められた基準位置情報とを、車種毎に記憶する記憶手段４と、記憶された特徴部情報と後方カメラ３の画像情報とに基づいて、各特徴部の位置を導出する導出手段５と、導出された各特徴部の位置と各特徴部の位置情報とを照合する照合手段６と、照合結果から携帯端末装置１の実設置位置および実設置角度を算出する算出手段７と、前方カメラ２による外界認識結果を補正する補正手段８とを備え、補正手段８は、基準位置情報に対する実設置位置および実設置角度のずれ量に応じて前方カメラ２の外界認識結果を補正する。
【解決手段】運転支援システムに用いられる携帯端末装置１において、後方カメラ３の車室内の画像に基づき予め複数定められた車室内の特徴部を抽出するための特徴部情報と、各特徴部の位置情報と、携帯端末装置１の設置位置と設置角度に関する予め定められた基準位置情報とを、車種毎に記憶する記憶手段４と、記憶された特徴部情報と後方カメラ３の画像情報とに基づいて、各特徴部の位置を導出する導出手段５と、導出された各特徴部の位置と各特徴部の位置情報とを照合する照合手段６と、照合結果から携帯端末装置１の実設置位置および実設置角度を算出する算出手段７と、前方カメラ２による外界認識結果を補正する補正手段８とを備え、補正手段８は、基準位置情報に対する実設置位置および実設置角度のずれ量に応じて前方カメラ２の外界認識結果を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、運転支援システムに用いられる携帯端末装置に関する。
【背景技術】
【０００２】
近年、スマートフォンに代表される携帯端末装置の高性能化およびアプリケーションの充実に伴い、この種の携帯端末装置を利用した車両ドライバへの運転支援システムが提案されている（特許文献１）。この種のシステムは、携帯端末装置に備え付けられたカメラにより取得した画像から、自車両の走行道路の位置や前方車両との車間距離、障害物などを認識し、これらの認識情報と車両に設置された各種センサにより検出されたドライバの運転操作情報とに基づき、運転注意力低下度合いや車線逸脱などの可能性を求め、その時々の状況に応じてドライバに対して警報を通知するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１９９６５（段落００１３〜００３０、図１等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、携帯端末装置のカメラで自車両の走行道路の位置や前方車両との車間距離などを正確に認識するためには、携帯端末装置の設置位置や設置角度を正確に知る必要がある。そのため、従来技術では、携帯端末装置が車両の所定の場所に設置されるような位置に携帯端末用の固定具を設置し、そこに携帯端末装置を固定したり、携帯端末装置が取得した運転支援システムに関するアプリケーションの使用前にユーザが携帯端末装置の設置高さを入力した上で白線のある道路を走行したりすることで、携帯端末装置の設置位置や設置角度を推定している。
【０００５】
しかしながら、市販の固定具は、その機能として、向きや高さを容易に変えられるものが多く、携帯端末装置の脱着や操作によって固定位置や角度は容易に変化する。また、ユーザーが携帯端末の設置高さを入力する際も、地面からの高さの計測ミスや、入力ミスが生じやすく、結果として自車両の位置認識精度が低下する。さらに、一定時間白線のある道路を走行する必要があるため、システム作動を迅速に開始することができない。
【０００６】
本発明は、上記課題に鑑みなされたものであり、ユーザの操作や特定の環境を走行することなく、精度良く外界状況を認識することのできる携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明の携帯端末装置では、車両の外界状況を認識する前方カメラと、車室内の状況を認識する後方カメラとを有し、前記前方カメラにより認識された外界画像情報に基づいて運転支援を行なう運転支援システムに用いられる携帯端末装置において、前記後方カメラにより認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、前記各特徴部の車室内における位置情報と、前記携帯端末装置の車室内における設置位置並びに設置角度に関する情報であって予め定められた基準位置情報とを、車種毎に記憶する記憶手段と、前記記憶手段により記憶された前記特徴部情報と前記後方カメラにより認識された車室内の画像情報とに基づいて、前記後方カメラにより認識された画像における前記各特徴部の位置を導出する導出手段と、前記導出手段により導出された前記各特徴部の位置と前記記憶手段により記憶された前記各特徴部の位置情報とを照合する照合手段と、前記照合手段の照合結果に基づいて車室内における前記携帯端末装置の実設置位置および実設置角度を算出する算出手段と、前記前方カメラにより認識された外界認識結果を補正する補正手段とを備え、前記補正手段は、前記基準位置情報に対する前記実設置位置および実設置角度のずれ量に応じて前記前方カメラにより認識された外界認識結果を補正することを特徴としている（請求項１）。
【発明の効果】
【０００８】
請求項１にかかる発明によれば、後方カメラにより認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、後方カメラにより認識された車室内の画像情報とに基づいて、後方カメラにより認識された画像における各特徴部の位置が、導出手段により導出される。
【０００９】
そして、導出手段により導出された後方カメラの画像における各特徴部の位置と、記憶手段により予め記憶された各特徴部の車室内における位置情報とが照合手段により照合され、照合手段により照合された車室内の画像における各特徴部の位置とそれらに対応する位置情報とに基づいて車室内における携帯端末装置の実設置位置と実設置角度が算出手段により算出される。
【００１０】
したがって、従来技術のように、予め携帯端末装置の設置位置や設置角度が既知になるように携帯端末装置を固定具に固定したり、アプリケーションの初期設定で携帯端末装置の設置高さを入力した上で白線のある道路を走行したりすることなく、携帯端末装置の実際の実設置位置ならびに実設置角度を算出することができる。
【００１１】
また、補正手段は、記憶手段により記憶された携帯端末装置の基準位置情報は、本来補正が不要な基準となる位置情報であり、この基準位置情報に対する算出手段により算出された携帯端末装置の実設置位置および実設置角度のずれ量に応じて前方カメラにより認識された外界認識結果を自動的に補正するため、自車両が走行する道路位置や前方車両との車間距離などを正確に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の携帯端末装置のブロック図である。
【図２】携帯端末装置の車室内における配置状態の一例を示す図である。
【図３】後方カメラにより撮影された画像の一例を示す図である。
【図４】図１の携帯端末装置の動作説明用フローチャートである。
【発明を実施するための形態】
【００１３】
本発明の一実施形態について、図１〜図４を参照して説明する。なお、図１は本発明にかかる一実施形態の携帯端末装置のブロック図、図２は車室内の特徴部の設定例を示す図、図３は図２の後方カメラにより撮影された画像の一例を示す図、図４は図１の動作説明用のフローチャートである。
【００１４】
（構成）
本発明にかかる一実施形態の携帯端末装置１の構成について、図１を参照して説明する。
【００１５】
携帯端末装置１として、例えば、スマートフォンのように、前方カメラと後方カメラの二つのカメラを有するとともに、インターネットを介して種々のサイトに接続したり、各種アプリケーションを取得・保存する機能を有するものが挙げられ、これらの機能を車両ドライバへの運転支援システムに利用することが望ましい。
【００１６】
前方カメラ２は、自車両前方の外界を撮影し、他の車両や障害物、走行道路などの外界状況を認識するために用いられる。また、後方カメラ３は、自車両の車室内を撮影し、予め定められた車室内の所定の特徴部を抽出するために用いられる。また、携帯端末装置１は、後方カメラ３の視野内に予め複数定められた所定の特徴部の全てが入るように設置される。
【００１７】
記憶手段４は、後述する導出手段が、後方カメラ３により認識された車室内の画像から予め複数定められた車室内の所定の特徴部の位置を導出するためのベースとなる特徴部情報を予め記憶する。例えば、パターンマッチング処理により特徴部を導出する場合には、特徴部情報であるテンプレート画像情報を予め記憶手段４が記憶する。
【００１８】
また、記憶手段４は、予め複数定められた車室内の所定の特徴部の車室内の位置情報を記憶する。このとき、記憶手段４は、車室内の任意の点を原点に設定し、その原点を基準に、各特徴部の位置を３次元の座標データとして予め記憶する。
【００１９】
また、記憶手段４は、携帯端末装置１の車室内における設置位置および設置角度に関する情報であって、本来補正が不要な基準となる位置情報（基準位置情報）を予め記憶する。このとき、記憶手段４は、上記した原点を基準にして、携帯端末装置１の基準設置位置の３次元座標データおよび設置角度に関する情報を予め記憶する。
【００２０】
なお、記憶手段４は、上記した特徴部情報、特徴部の位置情報および基準位置情報それぞれを車種毎に記憶する。なお、これらの情報は、予め記憶手段４に記憶しておく必要はなく、例えば、携帯端末装置１の通信機能を利用して、外部サーバなどからダウンロードする構成であってもよい。
【００２１】
導出手段５は、後方カメラ３により認識された車室内の画像に基づき記憶手段４により記憶された予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、後方カメラ３により認識された車室内の画像情報とに基づいて、後方カメラ３により認識された画像における各特徴部の位置を導出する。
【００２２】
これらの特徴部は、例えば図２に示すように、車両前方から見た場合の左側ヘッドレストの上辺中央部１０ａと、右側ヘッドレストの上辺中央部１０ｂと、バックドアガラスの上辺中央部１０ｃというように、後方カメラ３からの距離と方向が異なる少なくとも３つの特徴部を選定するのが好ましい。
【００２３】
この実施形態において、導出手段５は、後方カメラ３により認識された車室内の画像情報に基づきパターンマッチング法を用いて所定の特徴部を導出する。例えば、上記した所定の特徴部１０ａ，１０ｂ，１０ｃの位置を導出する場合、導出手段５は、左側ヘッドレストの上辺中央部１０ａの特徴、右側ヘッドレストの上辺中央部１０ｂの特徴およびバックドアガラスの上辺中央部１０ｃの特徴をそれぞれ表すテンプレート画像情報を記憶手段４から取得し、このテンプレート画像を、図３に示す後方カメラ３により認識された車室内の画像ｆ上で移動させながら最も一致する位置を探し出し、所定の特徴部を導出する。
【００２４】
照合手段６は、導出手段５により導出した後方カメラ３の画像ｆ上の各特徴部１０ａ，１０ｂ，１０ｃの位置情報と記憶手段４により記憶された当該特徴部それぞれの位置情報とを照合する。
【００２５】
後方カメラ３により認識された画像ｆに基づいて導出手段５が導出した所定の特徴部は、それぞれ後方カメラの画像ｆ上に２次元で表される。しかし、これらの特徴部の位置は３次元の座標を有しているため、携帯端末装置１の設置位置や設置角度の変化により、２次元で表される３つの特徴部１０ａ，１０ｂ，１０ｃの位置関係が変化する。すなわち、携帯端末装置１の設置位置や設置角度の変化により、後方カメラ３の２次元画像ｆにおける、例えば、特徴部１０ａと特徴部１０ｂとの距離や、特徴部１０ａ，１０ｂ，１０ｃを線で繋げたときに形成される三角形のそれぞれの角度などが変化する。また、携帯端末装置１の設置位置が変化すれば、これらの特徴部の位置が後方カメラ３の画像ｆ上で変化する。
【００２６】
そこで、照合手段６は、記憶手段４により記憶された各特徴部１０ａ，１０ｂ，１０ｃの３次元座標データを後方カメラ３の画像ｆに投影したときに、導出手段５により導出された後方カメラの画像ｆ上の各特徴部１０ａ，１０ｂ，１０ｃと同じ位置関係になるような視点を求める。
【００２７】
算出手段７は、照合手段６の照合結果に基づいて車室内における携帯端末装置１の実際の実設置位置および実設置角度を算出する。このとき、算出手段７は、照合手段６により求めた視点の位置と角度を算出し、その位置および角度を携帯端末装置１の実設置位置および実設置角度として設定する。
【００２８】
補正手段８は、前方カメラ２により認識された外界認識結果を算出手段７により算出された携帯端末装置１の実設置位置および実設置角度に基づいて補正する。このとき、補正手段８は、携帯端末装置１の車室内における設置位置および設置角度に関する情報であって、本来補正の不要な基準となる位置情報である基準位置情報に対する算出手段７により算出された携帯端末装置１の実設置位置および実設置角度のずれ量に応じて、前方カメラ２により認識された外界認識結果を補正する。
【００２９】
例えば、携帯端末装置１の設置角度が自車両進行方向から斜めにずれることにより前方車両が前方カメラ２の画像上の隅に映っているような場合には、運転支援システムにおいて本来前方車両が存在するのにも関わらず、その車両を隣の車線を走行する車両と誤認するおそれがある。このような場合、補正手段８が、携帯端末装置１の実設置位置および実設置角度と基準位置情報とのずれ量に応じて補正することにより、その車両を同一車線を走行する前方車両と認識する。また、運転支援システムにおいて、当該車両と自車両との車間距離を、同一車線を走行する前方車両との車間距離として認識する。
【００３０】
そして、補正手段８により補正された同一車線を走行する前方車両と自車両との車間距離や自車両の走行道路の位置に関する情報に基づいて、車間距離が短すぎる場合の警報や車線逸脱のおそれのある場合の警報を表示手段９における液晶画面に表示して通知する。また、記憶手段４により車種毎に記憶された各種情報を取得するために、車種選択を表示手段９のタッチパネル等を利用して行なう。
【００３１】
また、携帯端末装置１の前方カメラ２により認識された画像から自車両と前方車両との車間距離や、走行道路の位置および障害物の存在などが分かることから、これらの情報と車両に設置された各種のセンサにより検出される運転操作情報を取得することにより、例えば、カーナビゲーションシステムにおいて、車線逸脱時や車間距離が不適切な場合の警報を通知して、ドライバへの運転支援を行なう。
【００３２】
次に、本実施形態にかかる携帯端末装置１の動作について、図４のフローチャートを参照して説明する。
【００３３】
まず、本発明にかかる携帯端末装置１を車室内の任意の場所に設置し（ステップＳ１）、表示手段９の液晶画面のタッチパネルにおいて、自車両の車種を選択する（ステップＳ２）。
【００３４】
次に、記憶手段４により記憶された予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報を導出手段５が取得し（ステップＳ３）、導出手段５は、これらの情報と後方カメラ３により認識された車室内の画像情報とに基づいて、後方カメラ３により認識された画像ｆにおける各特徴部の位置を導出する（ステップＳ４）。
【００３５】
次に、照合手段６は、記憶手段４に記憶された各特徴部の位置情報を取得し、導出手段５により導出された各特徴部の位置と該位置情報とを照合することにより、記憶手段４により記憶された各特徴部の３次元座標データを後方カメラ３の画像ｆに投影したときに、導出手段５により導出された後方カメラ３の画像ｆ上の各特徴部と同じ位置関係になるような視点を求める（ステップＳ６）。
【００３６】
次に、算出手段７は、照合手段６の照合結果に基づいて車室内における携帯端末装置１の実際の実設置位置および実設置角度を算出する（ステップＳ７）。
【００３７】
そして、補正手段８は、携帯端末装置１の車室内における設置位置および設置角度に関する情報であって、本来補正の不要な基準となる位置情報である基準位置情報に対する算出手段７により算出された携帯端末装置１の実設置位置および実設置角度のずれ量に応じて、前方カメラ２により認識された外界認識結果を補正する（ステップＳ８）。
【００３８】
補正手段８により補正された外界認識結果より、自車両と自車両と同じ車線道路を走行する前方車両との車間距離や、自車両の走行道路の位置が分かることから、車間距離が短い場合や車線逸脱のおそれのある場合には、表示手段９の液晶画面上で警報を通知するなどしてドライバの運転支援を行ない（ステップＳ９）、動作を終了する。
【００３９】
したがって、上記した実施形態によれば、後方カメラ３により認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部１０ａ，１０ｂ，１０ｃを抽出するための特徴部情報と、後方カメラ３により認識された車室内の画像情報とに基づいて、後方カメラ３により認識された画像における各特徴部１０ａ，１０ｂ，１０ｃの位置が、導出手段５により導出される。
【００４０】
そして、導出手段５により導出された後方カメラ３の画像ｆにおける各特徴部１０ａ，１０ｂ，１０ｃの位置と、記憶手段４により予め記憶された各特徴部１０ａ，１０ｂ，１０ｃの車室内における位置情報とが照合手段６により照合されることにより、記憶手段４により記憶された各特徴部の３次元座標データを後方カメラ３の画像ｆに投影したときに、導出手段５により導出された後方カメラ３の画像ｆ上の各特徴部と同じ位置関係になるような視点が求められる。
【００４１】
また、照合手段６により照合された車室内の画像ｆにおける各特徴部１０ａ，１０ｂ，１０ｃの位置とそれらに対応する位置情報とに基づいて車室内における携帯端末装置１の実設置位置と実設置角度が算出手段７により算出される。そのため、従来技術のように、予め携帯端末装置１の設置位置や設置角度が既知になるように携帯端末装置１を固定具に固定したり、アプリケーションの初期設定で携帯端末装置１の設置高さを入力した上で白線のある道路を走行したりすることなく、携帯端末装置１の実際の実設置位置ならびに実設置角度を算出することができる。
【００４２】
また、補正手段８は、記憶手段４により記憶された携帯端末装置１の基準位置情報は、本来補正が不要な基準となる位置情報であり、この基準位置情報に対する算出手段７により算出された携帯端末装置１の実設置位置および実設置角度のずれ量に応じて前方カメラ２により認識された外界認識結果を自動的に補正するため、自車両が走行する道路位置や前方車両との車間距離などを正確に検出することができる。また、補正手段８により補正された前方カメラ２により認識された外界認識結果により、自車両と同一車線を走行する前方車両と自車両との車間距離や、自車両の走行道路の位置が正確に分かるため、これらの情報をドライバの運転支援システムに利用することができる。
【００４３】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００４４】
例えば、上記した実施形態では、予め複数定められた車室内の所定の特徴部１０ａ，１０ｂ，１０ｃを、左側ヘッドレストの上辺中央部１０ａ、右側ヘッドレストの上辺中央部１０ｂ、バックドアガラス上辺中央部１０ｃで設定したが、これらの各特徴部の他、バックドアガラスの上辺両端コーナー部や、サイドドアガラスの上辺両端コーナー部、ルームランプなどで設定してもかまわない。また、特徴部を示すものとして、車室内の任意の場所に、例えば、青色の星印を複数設けておいてもよい。この場合、特徴部を示す青色の星印に関するテンプレート画像情報を記憶手段４に記憶させ、導出手段５において、パターンマッチング法により特徴部を導出すればよい。
【００４５】
また、上記した実施形態では、導出手段５による各特徴部の導出をパターンマッチング法により行なったが、例えば、上記したように、各特徴部として車室内に青色の星印を設けた場合は、特徴部を抽出するための特徴部情報として、青色の情報と星印の５点の頂点の位置に関する情報を記憶手段４において記憶しておき、これらの情報に基づいて車室内の青色の星印の位置を導出手段５により導出することもできる。
【符号の説明】
【００４６】
１… 携帯端末装置
２… 前方カメラ
３… 後方カメラ
４… 記憶手段
５… 導出手段
６… 照合手段
７… 算出手段
８… 補正手段
【技術分野】
【０００１】
この発明は、運転支援システムに用いられる携帯端末装置に関する。
【背景技術】
【０００２】
近年、スマートフォンに代表される携帯端末装置の高性能化およびアプリケーションの充実に伴い、この種の携帯端末装置を利用した車両ドライバへの運転支援システムが提案されている（特許文献１）。この種のシステムは、携帯端末装置に備え付けられたカメラにより取得した画像から、自車両の走行道路の位置や前方車両との車間距離、障害物などを認識し、これらの認識情報と車両に設置された各種センサにより検出されたドライバの運転操作情報とに基づき、運転注意力低下度合いや車線逸脱などの可能性を求め、その時々の状況に応じてドライバに対して警報を通知するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１９９６５（段落００１３〜００３０、図１等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、携帯端末装置のカメラで自車両の走行道路の位置や前方車両との車間距離などを正確に認識するためには、携帯端末装置の設置位置や設置角度を正確に知る必要がある。そのため、従来技術では、携帯端末装置が車両の所定の場所に設置されるような位置に携帯端末用の固定具を設置し、そこに携帯端末装置を固定したり、携帯端末装置が取得した運転支援システムに関するアプリケーションの使用前にユーザが携帯端末装置の設置高さを入力した上で白線のある道路を走行したりすることで、携帯端末装置の設置位置や設置角度を推定している。
【０００５】
しかしながら、市販の固定具は、その機能として、向きや高さを容易に変えられるものが多く、携帯端末装置の脱着や操作によって固定位置や角度は容易に変化する。また、ユーザーが携帯端末の設置高さを入力する際も、地面からの高さの計測ミスや、入力ミスが生じやすく、結果として自車両の位置認識精度が低下する。さらに、一定時間白線のある道路を走行する必要があるため、システム作動を迅速に開始することができない。
【０００６】
本発明は、上記課題に鑑みなされたものであり、ユーザの操作や特定の環境を走行することなく、精度良く外界状況を認識することのできる携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明の携帯端末装置では、車両の外界状況を認識する前方カメラと、車室内の状況を認識する後方カメラとを有し、前記前方カメラにより認識された外界画像情報に基づいて運転支援を行なう運転支援システムに用いられる携帯端末装置において、前記後方カメラにより認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、前記各特徴部の車室内における位置情報と、前記携帯端末装置の車室内における設置位置並びに設置角度に関する情報であって予め定められた基準位置情報とを、車種毎に記憶する記憶手段と、前記記憶手段により記憶された前記特徴部情報と前記後方カメラにより認識された車室内の画像情報とに基づいて、前記後方カメラにより認識された画像における前記各特徴部の位置を導出する導出手段と、前記導出手段により導出された前記各特徴部の位置と前記記憶手段により記憶された前記各特徴部の位置情報とを照合する照合手段と、前記照合手段の照合結果に基づいて車室内における前記携帯端末装置の実設置位置および実設置角度を算出する算出手段と、前記前方カメラにより認識された外界認識結果を補正する補正手段とを備え、前記補正手段は、前記基準位置情報に対する前記実設置位置および実設置角度のずれ量に応じて前記前方カメラにより認識された外界認識結果を補正することを特徴としている（請求項１）。
【発明の効果】
【０００８】
請求項１にかかる発明によれば、後方カメラにより認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、後方カメラにより認識された車室内の画像情報とに基づいて、後方カメラにより認識された画像における各特徴部の位置が、導出手段により導出される。
【０００９】
そして、導出手段により導出された後方カメラの画像における各特徴部の位置と、記憶手段により予め記憶された各特徴部の車室内における位置情報とが照合手段により照合され、照合手段により照合された車室内の画像における各特徴部の位置とそれらに対応する位置情報とに基づいて車室内における携帯端末装置の実設置位置と実設置角度が算出手段により算出される。
【００１０】
したがって、従来技術のように、予め携帯端末装置の設置位置や設置角度が既知になるように携帯端末装置を固定具に固定したり、アプリケーションの初期設定で携帯端末装置の設置高さを入力した上で白線のある道路を走行したりすることなく、携帯端末装置の実際の実設置位置ならびに実設置角度を算出することができる。
【００１１】
また、補正手段は、記憶手段により記憶された携帯端末装置の基準位置情報は、本来補正が不要な基準となる位置情報であり、この基準位置情報に対する算出手段により算出された携帯端末装置の実設置位置および実設置角度のずれ量に応じて前方カメラにより認識された外界認識結果を自動的に補正するため、自車両が走行する道路位置や前方車両との車間距離などを正確に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の携帯端末装置のブロック図である。
【図２】携帯端末装置の車室内における配置状態の一例を示す図である。
【図３】後方カメラにより撮影された画像の一例を示す図である。
【図４】図１の携帯端末装置の動作説明用フローチャートである。
【発明を実施するための形態】
【００１３】
本発明の一実施形態について、図１〜図４を参照して説明する。なお、図１は本発明にかかる一実施形態の携帯端末装置のブロック図、図２は車室内の特徴部の設定例を示す図、図３は図２の後方カメラにより撮影された画像の一例を示す図、図４は図１の動作説明用のフローチャートである。
【００１４】
（構成）
本発明にかかる一実施形態の携帯端末装置１の構成について、図１を参照して説明する。
【００１５】
携帯端末装置１として、例えば、スマートフォンのように、前方カメラと後方カメラの二つのカメラを有するとともに、インターネットを介して種々のサイトに接続したり、各種アプリケーションを取得・保存する機能を有するものが挙げられ、これらの機能を車両ドライバへの運転支援システムに利用することが望ましい。
【００１６】
前方カメラ２は、自車両前方の外界を撮影し、他の車両や障害物、走行道路などの外界状況を認識するために用いられる。また、後方カメラ３は、自車両の車室内を撮影し、予め定められた車室内の所定の特徴部を抽出するために用いられる。また、携帯端末装置１は、後方カメラ３の視野内に予め複数定められた所定の特徴部の全てが入るように設置される。
【００１７】
記憶手段４は、後述する導出手段が、後方カメラ３により認識された車室内の画像から予め複数定められた車室内の所定の特徴部の位置を導出するためのベースとなる特徴部情報を予め記憶する。例えば、パターンマッチング処理により特徴部を導出する場合には、特徴部情報であるテンプレート画像情報を予め記憶手段４が記憶する。
【００１８】
また、記憶手段４は、予め複数定められた車室内の所定の特徴部の車室内の位置情報を記憶する。このとき、記憶手段４は、車室内の任意の点を原点に設定し、その原点を基準に、各特徴部の位置を３次元の座標データとして予め記憶する。
【００１９】
また、記憶手段４は、携帯端末装置１の車室内における設置位置および設置角度に関する情報であって、本来補正が不要な基準となる位置情報（基準位置情報）を予め記憶する。このとき、記憶手段４は、上記した原点を基準にして、携帯端末装置１の基準設置位置の３次元座標データおよび設置角度に関する情報を予め記憶する。
【００２０】
なお、記憶手段４は、上記した特徴部情報、特徴部の位置情報および基準位置情報それぞれを車種毎に記憶する。なお、これらの情報は、予め記憶手段４に記憶しておく必要はなく、例えば、携帯端末装置１の通信機能を利用して、外部サーバなどからダウンロードする構成であってもよい。
【００２１】
導出手段５は、後方カメラ３により認識された車室内の画像に基づき記憶手段４により記憶された予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、後方カメラ３により認識された車室内の画像情報とに基づいて、後方カメラ３により認識された画像における各特徴部の位置を導出する。
【００２２】
これらの特徴部は、例えば図２に示すように、車両前方から見た場合の左側ヘッドレストの上辺中央部１０ａと、右側ヘッドレストの上辺中央部１０ｂと、バックドアガラスの上辺中央部１０ｃというように、後方カメラ３からの距離と方向が異なる少なくとも３つの特徴部を選定するのが好ましい。
【００２３】
この実施形態において、導出手段５は、後方カメラ３により認識された車室内の画像情報に基づきパターンマッチング法を用いて所定の特徴部を導出する。例えば、上記した所定の特徴部１０ａ，１０ｂ，１０ｃの位置を導出する場合、導出手段５は、左側ヘッドレストの上辺中央部１０ａの特徴、右側ヘッドレストの上辺中央部１０ｂの特徴およびバックドアガラスの上辺中央部１０ｃの特徴をそれぞれ表すテンプレート画像情報を記憶手段４から取得し、このテンプレート画像を、図３に示す後方カメラ３により認識された車室内の画像ｆ上で移動させながら最も一致する位置を探し出し、所定の特徴部を導出する。
【００２４】
照合手段６は、導出手段５により導出した後方カメラ３の画像ｆ上の各特徴部１０ａ，１０ｂ，１０ｃの位置情報と記憶手段４により記憶された当該特徴部それぞれの位置情報とを照合する。
【００２５】
後方カメラ３により認識された画像ｆに基づいて導出手段５が導出した所定の特徴部は、それぞれ後方カメラの画像ｆ上に２次元で表される。しかし、これらの特徴部の位置は３次元の座標を有しているため、携帯端末装置１の設置位置や設置角度の変化により、２次元で表される３つの特徴部１０ａ，１０ｂ，１０ｃの位置関係が変化する。すなわち、携帯端末装置１の設置位置や設置角度の変化により、後方カメラ３の２次元画像ｆにおける、例えば、特徴部１０ａと特徴部１０ｂとの距離や、特徴部１０ａ，１０ｂ，１０ｃを線で繋げたときに形成される三角形のそれぞれの角度などが変化する。また、携帯端末装置１の設置位置が変化すれば、これらの特徴部の位置が後方カメラ３の画像ｆ上で変化する。
【００２６】
そこで、照合手段６は、記憶手段４により記憶された各特徴部１０ａ，１０ｂ，１０ｃの３次元座標データを後方カメラ３の画像ｆに投影したときに、導出手段５により導出された後方カメラの画像ｆ上の各特徴部１０ａ，１０ｂ，１０ｃと同じ位置関係になるような視点を求める。
【００２７】
算出手段７は、照合手段６の照合結果に基づいて車室内における携帯端末装置１の実際の実設置位置および実設置角度を算出する。このとき、算出手段７は、照合手段６により求めた視点の位置と角度を算出し、その位置および角度を携帯端末装置１の実設置位置および実設置角度として設定する。
【００２８】
補正手段８は、前方カメラ２により認識された外界認識結果を算出手段７により算出された携帯端末装置１の実設置位置および実設置角度に基づいて補正する。このとき、補正手段８は、携帯端末装置１の車室内における設置位置および設置角度に関する情報であって、本来補正の不要な基準となる位置情報である基準位置情報に対する算出手段７により算出された携帯端末装置１の実設置位置および実設置角度のずれ量に応じて、前方カメラ２により認識された外界認識結果を補正する。
【００２９】
例えば、携帯端末装置１の設置角度が自車両進行方向から斜めにずれることにより前方車両が前方カメラ２の画像上の隅に映っているような場合には、運転支援システムにおいて本来前方車両が存在するのにも関わらず、その車両を隣の車線を走行する車両と誤認するおそれがある。このような場合、補正手段８が、携帯端末装置１の実設置位置および実設置角度と基準位置情報とのずれ量に応じて補正することにより、その車両を同一車線を走行する前方車両と認識する。また、運転支援システムにおいて、当該車両と自車両との車間距離を、同一車線を走行する前方車両との車間距離として認識する。
【００３０】
そして、補正手段８により補正された同一車線を走行する前方車両と自車両との車間距離や自車両の走行道路の位置に関する情報に基づいて、車間距離が短すぎる場合の警報や車線逸脱のおそれのある場合の警報を表示手段９における液晶画面に表示して通知する。また、記憶手段４により車種毎に記憶された各種情報を取得するために、車種選択を表示手段９のタッチパネル等を利用して行なう。
【００３１】
また、携帯端末装置１の前方カメラ２により認識された画像から自車両と前方車両との車間距離や、走行道路の位置および障害物の存在などが分かることから、これらの情報と車両に設置された各種のセンサにより検出される運転操作情報を取得することにより、例えば、カーナビゲーションシステムにおいて、車線逸脱時や車間距離が不適切な場合の警報を通知して、ドライバへの運転支援を行なう。
【００３２】
次に、本実施形態にかかる携帯端末装置１の動作について、図４のフローチャートを参照して説明する。
【００３３】
まず、本発明にかかる携帯端末装置１を車室内の任意の場所に設置し（ステップＳ１）、表示手段９の液晶画面のタッチパネルにおいて、自車両の車種を選択する（ステップＳ２）。
【００３４】
次に、記憶手段４により記憶された予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報を導出手段５が取得し（ステップＳ３）、導出手段５は、これらの情報と後方カメラ３により認識された車室内の画像情報とに基づいて、後方カメラ３により認識された画像ｆにおける各特徴部の位置を導出する（ステップＳ４）。
【００３５】
次に、照合手段６は、記憶手段４に記憶された各特徴部の位置情報を取得し、導出手段５により導出された各特徴部の位置と該位置情報とを照合することにより、記憶手段４により記憶された各特徴部の３次元座標データを後方カメラ３の画像ｆに投影したときに、導出手段５により導出された後方カメラ３の画像ｆ上の各特徴部と同じ位置関係になるような視点を求める（ステップＳ６）。
【００３６】
次に、算出手段７は、照合手段６の照合結果に基づいて車室内における携帯端末装置１の実際の実設置位置および実設置角度を算出する（ステップＳ７）。
【００３７】
そして、補正手段８は、携帯端末装置１の車室内における設置位置および設置角度に関する情報であって、本来補正の不要な基準となる位置情報である基準位置情報に対する算出手段７により算出された携帯端末装置１の実設置位置および実設置角度のずれ量に応じて、前方カメラ２により認識された外界認識結果を補正する（ステップＳ８）。
【００３８】
補正手段８により補正された外界認識結果より、自車両と自車両と同じ車線道路を走行する前方車両との車間距離や、自車両の走行道路の位置が分かることから、車間距離が短い場合や車線逸脱のおそれのある場合には、表示手段９の液晶画面上で警報を通知するなどしてドライバの運転支援を行ない（ステップＳ９）、動作を終了する。
【００３９】
したがって、上記した実施形態によれば、後方カメラ３により認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部１０ａ，１０ｂ，１０ｃを抽出するための特徴部情報と、後方カメラ３により認識された車室内の画像情報とに基づいて、後方カメラ３により認識された画像における各特徴部１０ａ，１０ｂ，１０ｃの位置が、導出手段５により導出される。
【００４０】
そして、導出手段５により導出された後方カメラ３の画像ｆにおける各特徴部１０ａ，１０ｂ，１０ｃの位置と、記憶手段４により予め記憶された各特徴部１０ａ，１０ｂ，１０ｃの車室内における位置情報とが照合手段６により照合されることにより、記憶手段４により記憶された各特徴部の３次元座標データを後方カメラ３の画像ｆに投影したときに、導出手段５により導出された後方カメラ３の画像ｆ上の各特徴部と同じ位置関係になるような視点が求められる。
【００４１】
また、照合手段６により照合された車室内の画像ｆにおける各特徴部１０ａ，１０ｂ，１０ｃの位置とそれらに対応する位置情報とに基づいて車室内における携帯端末装置１の実設置位置と実設置角度が算出手段７により算出される。そのため、従来技術のように、予め携帯端末装置１の設置位置や設置角度が既知になるように携帯端末装置１を固定具に固定したり、アプリケーションの初期設定で携帯端末装置１の設置高さを入力した上で白線のある道路を走行したりすることなく、携帯端末装置１の実際の実設置位置ならびに実設置角度を算出することができる。
【００４２】
また、補正手段８は、記憶手段４により記憶された携帯端末装置１の基準位置情報は、本来補正が不要な基準となる位置情報であり、この基準位置情報に対する算出手段７により算出された携帯端末装置１の実設置位置および実設置角度のずれ量に応じて前方カメラ２により認識された外界認識結果を自動的に補正するため、自車両が走行する道路位置や前方車両との車間距離などを正確に検出することができる。また、補正手段８により補正された前方カメラ２により認識された外界認識結果により、自車両と同一車線を走行する前方車両と自車両との車間距離や、自車両の走行道路の位置が正確に分かるため、これらの情報をドライバの運転支援システムに利用することができる。
【００４３】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００４４】
例えば、上記した実施形態では、予め複数定められた車室内の所定の特徴部１０ａ，１０ｂ，１０ｃを、左側ヘッドレストの上辺中央部１０ａ、右側ヘッドレストの上辺中央部１０ｂ、バックドアガラス上辺中央部１０ｃで設定したが、これらの各特徴部の他、バックドアガラスの上辺両端コーナー部や、サイドドアガラスの上辺両端コーナー部、ルームランプなどで設定してもかまわない。また、特徴部を示すものとして、車室内の任意の場所に、例えば、青色の星印を複数設けておいてもよい。この場合、特徴部を示す青色の星印に関するテンプレート画像情報を記憶手段４に記憶させ、導出手段５において、パターンマッチング法により特徴部を導出すればよい。
【００４５】
また、上記した実施形態では、導出手段５による各特徴部の導出をパターンマッチング法により行なったが、例えば、上記したように、各特徴部として車室内に青色の星印を設けた場合は、特徴部を抽出するための特徴部情報として、青色の情報と星印の５点の頂点の位置に関する情報を記憶手段４において記憶しておき、これらの情報に基づいて車室内の青色の星印の位置を導出手段５により導出することもできる。
【符号の説明】
【００４６】
１… 携帯端末装置
２… 前方カメラ
３… 後方カメラ
４… 記憶手段
５… 導出手段
６… 照合手段
７… 算出手段
８… 補正手段
【特許請求の範囲】
【請求項１】
車両の外界状況を認識する前方カメラと、車室内の状況を認識する後方カメラとを有し、前記前方カメラにより認識された外界画像情報に基づいて運転支援を行なう運転支援システムに用いられる携帯端末装置において、
前記後方カメラにより認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、前記各特徴部の車室内における位置情報と、前記携帯端末装置の車室内における設置位置並びに設置角度に関する情報であって予め定められた基準位置情報とを、車種毎に記憶する記憶手段と、
前記記憶手段により記憶された前記特徴部情報と前記後方カメラにより認識された車室内の画像情報とに基づいて、前記後方カメラにより認識された画像における前記各特徴部の位置を導出する導出手段と、
前記導出手段により導出された前記各特徴部の位置と前記記憶手段により記憶された前記各特徴部の位置情報とを照合する照合手段と、
前記照合手段の照合結果に基づいて車室内における前記携帯端末装置の実設置位置および実設置角度を算出する算出手段と、
前記前方カメラにより認識された外界認識結果を補正する補正手段とを備え、
前記補正手段は、前記基準位置情報に対する前記実設置位置および実設置角度のずれ量に応じて前記前方カメラにより認識された外界認識結果を補正する
ことを特徴とする携帯端末装置。
【請求項１】
車両の外界状況を認識する前方カメラと、車室内の状況を認識する後方カメラとを有し、前記前方カメラにより認識された外界画像情報に基づいて運転支援を行なう運転支援システムに用いられる携帯端末装置において、
前記後方カメラにより認識された車室内の画像に基づき予め複数定められた車室内の所定の特徴部を抽出するための特徴部情報と、前記各特徴部の車室内における位置情報と、前記携帯端末装置の車室内における設置位置並びに設置角度に関する情報であって予め定められた基準位置情報とを、車種毎に記憶する記憶手段と、
前記記憶手段により記憶された前記特徴部情報と前記後方カメラにより認識された車室内の画像情報とに基づいて、前記後方カメラにより認識された画像における前記各特徴部の位置を導出する導出手段と、
前記導出手段により導出された前記各特徴部の位置と前記記憶手段により記憶された前記各特徴部の位置情報とを照合する照合手段と、
前記照合手段の照合結果に基づいて車室内における前記携帯端末装置の実設置位置および実設置角度を算出する算出手段と、
前記前方カメラにより認識された外界認識結果を補正する補正手段とを備え、
前記補正手段は、前記基準位置情報に対する前記実設置位置および実設置角度のずれ量に応じて前記前方カメラにより認識された外界認識結果を補正する
ことを特徴とする携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−７３４２２（Ｐ２０１３−７３４２２Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１９６６（Ｐ２０１１−２１１９６６）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]