車線位置検出装置および車線位置検出方法
【課題】低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる車線位置検出装置および車線位置検出方法を提供する事。
【解決手段】ＥＣＵ３００は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と車両との位置関係を検出する車線位置検出装置であって、映像からの車線境界線の抽出を行う車線抽出部３１０と、抽出された車線境界線のエッジを上方視点座標に変換する上方視点データ生成部３３０と、上方視点座標におけるエッジの位置から車線境界線と車両との位置関係を検出する車線位置検出部３４０とを有し、上方視点データ生成部３３０は、映像の特定のライン上に存在する車線境界線のエッジ点のみを上方視点座標に変換し、車線位置検出部３４０は、上方視点座標におけるエッジ点の位置の時系列データから上方視点座標におけるエッジの位置を求める。
【解決手段】ＥＣＵ３００は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と車両との位置関係を検出する車線位置検出装置であって、映像からの車線境界線の抽出を行う車線抽出部３１０と、抽出された車線境界線のエッジを上方視点座標に変換する上方視点データ生成部３３０と、上方視点座標におけるエッジの位置から車線境界線と車両との位置関係を検出する車線位置検出部３４０とを有し、上方視点データ生成部３３０は、映像の特定のライン上に存在する車線境界線のエッジ点のみを上方視点座標に変換し、車線位置検出部３４０は、上方視点座標におけるエッジ点の位置の時系列データから上方視点座標におけるエッジの位置を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と車両との位置関係を検出する車線位置検出装置および車線位置検出方法に関する。
【背景技術】
【０００２】
従来、車両の走行車線の逸脱を判定する事を目的として、車両周辺の路面を車載カメラで撮影した映像から、走行車線の両側の車線境界線のエッジ（以下「車線エッジ」という）を抽出し、車線境界線と車両との位置関係を検出する車線位置検出装置が存在する（例えば特許文献１参照）。
【０００３】
図１５は、特許文献１記載の車線位置検出装置（以下「従来装置」という）の機能的な構成を示すブロック図である。
【０００４】
従来装置１０は、まず、車載カメラである撮像部２０の撮影映像を、フレーム単位で入力する。そして、従来装置１０は、上方視点画像生成部１１において、入力したフレーム単位の撮影映像（以下「撮影画像」という）を、車両の真上の仮想的な視点（以下「上方視点」という）から見下ろしたときの画像である上方視点画像に変換する。この変換は、マッピングテーブル格納部１２に格納されたマッピングテーブル１２ａを用いて行われる。その後、従来装置１０は、車線抽出部１３において、上方視点画像から車線エッジを抽出し、車線位置検出部１４において、車線エッジの上方視点画像における位置から、車線境界線と車両との位置関係を検出する。
【０００５】
そして、従来装置１０は、車両が車線境界線に近付き過ぎている等の場合には、表示出力部１５において警告表示を表示部３０に行わせ、警報出力部１６においてビープ音の出力等の警報出力を警報部４０に出力させる。これにより、従来装置１０は、車両が車線から逸脱するおそれが高くなったときに、これを検出し、運転者に対する注意喚起を行う事ができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２７６０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来装置は、車両周囲の撮影画像全体を上方視点画像における座標（以下「上方視点座標」という）に変換する必要がある事から、プロセッサの処理負荷が高くなるという課題を有する。特に、運転者に対する車線逸脱の警報を目的とする場合には、処理はできるだけ高速に行われる事が望ましい。ところが、従来装置は、処理を高速化するためには、高性能なプロセッサまたは専用ハードウェアを搭載しなければならず、コストアップを招いてしまう。
【０００８】
本発明の目的は、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる車線位置検出装置および車線位置検出方法を提供する事である。
【課題を解決するための手段】
【０００９】
本発明の車線位置検出装置は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出装置であって、前記映像からの車線境界線の抽出を行う車線抽出部と、抽出された前記車線境界線のエッジを上方視点座標に変換する上方視点データ生成部と、前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出する車線位置検出部とを有し、前記上方視点データ生成部は、前記映像の特定のライン上に存在する前記車線境界線のエッジ点のみを上方視点座標に変換し、前記車線位置検出部は、前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの位置を求める。
【００１０】
本発明の車線位置検出方法は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出方法であって、前記映像からの車線境界線の抽出を行うステップと、抽出した前記車線境界線のエッジのうち前記映像の特定のライン上に存在するエッジ点のみを上方視点座標に変換するステップと、前記上方視点座標における前記エッジ点の位置の時系列データから前記上方視点座標における前記エッジの位置を求めるステップと、前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出するステップとを有する。
【発明の効果】
【００１１】
本発明によれば、映像の特定のライン上に存在する車線境界線のエッジ点のみを上方視点座標に変換して上方視点座標における車線境界線のエッジの位置を求めるので、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態に係る車線位置検出装置を含む車線位置検出システムの概要を説明するための図
【図２】本実施の形態に係るＥＣＵを含む車線位置検出システムの各部の構成を示すブロック図
【図３】本実施の形態に係るＥＣＵの動作を示すフローチャート
【図４】本実施の形態における車線エッジを抽出するフィルタの一例を説明するための図
【図５】本実施の形態において用いられる車線境界線の輝度変化を説明するための図
【図６】本実施の形態に係る車線エッジの候補点の決定処理の一例を説明するための図
【図７】本実施の形態におけるマッピングテーブルの内容の一例を示す図
【図８】本実施の形態における上方視点変換の様子の一例を示す図
【図９】本実施の形態における履歴情報の構成の一例を示す図
【図１０】本実施の形態における上方視点データの一例のプロット図
【図１１】本実施の形態における車線エッジが検出されなかった場合の上方視点データの一例のプロット図
【図１２】本実施の形態において用いられる車両の舵角とタイヤ角との対応関係の一例を示す図
【図１３】本実施の形態において車両が曲線走行する場合の上方視点データ補間に用いられる各種パラメータを示す第１の図
【図１４】本実施の形態において車両が曲線走行する場合の上方視点データ補間に用いられる各種パラメータを示す第２の図
【図１５】従来装置の機能的な構成を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明の一実施の形態に係る車線位置検出装置を含む車線位置検出システムの概要を説明するための図である。本実施の形態は、本発明を、車両内部に設置された、車載カメラ用のＥＣＵ（electronic control unit：電子制御ユニット）に適用した例である。また、以下の各図において、本来は白や黄等である車線境界線を、適宜、黒で示す。
【００１５】
図１に示すように、本実施の形態における車線位置検出システム１００は、車両２００の内部に設置されたＥＣＵ３００と、車両２００の後部に取り付けられた撮像部４００とを含む。撮像部４００と車両２００の各部との位置関係は既知であり、撮像部４００の位置および向きと車両２００の各部の位置および向きとは、双方向に算出可能であるものとする。
【００１６】
撮像部４００は、車両２００の後方の映像を撮影する。撮像部４００は、例えば、車両２００の後部の低い位置に車両２００後方の路面を見下ろす向きで取り付けられた、所謂車載カメラである。撮像部４００の左右方向は、路面の水平方向にほぼ一致しており、撮像部４０１の水平画角４０１は十分に広いものとする。
【００１７】
ＥＣＵ３００は、撮像部４００から撮影映像を取得し、取得した撮影映像から、車両２００が走行中の車線２１０の車線エッジ２２０と車両２００との位置関係を検出する。具体的には、ＥＣＵ３００は、フレーム単位の撮影映像（撮影画像）から、車線２１０を規定する車線境界線２３０の内側のラインと、車両２００の代表点（例えば車両２００の前部両角の点）２４０との間の距離であるエッジ距離Ｄを求める。そして、ＥＣＵ３００は、エッジ距離Ｄが５０ｃｍ以下である等の所定の条件が満たされるとき、車両２００の運転者に対する警報を出力させる。
【００１８】
ＥＣＵ３００は、撮影映像の特定のライン（例えば線２５０に相当するライン）上に存在するエッジ点（例えばエッジ点２６０）のみを上方視点座標に変換する。ところが、そのままでは、当該エッジ点の位置は判定可能であるが、代表点２４０の近くのエッジ点（たとえばエッジ点２７０）の位置は判定する事ができない。
【００１９】
そこで、ＥＣＵ３００は、例えば、エッジ点の上方視点座標における位置（以下「エッジ位置」という）の時系列データから、車両２００（または撮像部４００）を基準とした車線エッジ２２０の傾きとして、車両の長さ方向の中心線と車線エッジ２２０とが成す角度（以下「エッジ傾き」という）φを算出する。そして、ＥＣＵ３００は、特定のライン上で検出されたエッジ点（例えばエッジ点２６０）のエッジ位置と、エッジ傾きφとから、車両２００の代表点２４０の近くのエッジ点（たとえばエッジ点２７０）のエッジ位置を算出し、エッジ距離Ｄを求める。
【００２０】
このように、車線位置検出システム１００は、ＥＣＵ３００において、特定のライン上に存在するエッジ点のみを上方視点座標に変換し、エッジ位置の時系列データからエッジ全体の位置を求めることにより、車線境界線２３０と車両２００との位置関係を検出する。
【００２１】
次に、車線位置検出システム１００の各部の構成について説明する。
【００２２】
図２は、ＥＣＵ３００を含む車線位置検出システム１００の各部の構成を示すブロック図である。
【００２３】
図２において、車線位置検出システム１００は、ＥＣＵ３００、撮像部４００、車両情報出力部５００、表示部６００、および警報部７００を有する。
【００２４】
撮像部４００は、カメラ部４１０およびフレームメモリ部４２０を有する。カメラ部４１０は、例えば、ＣＣＤ（charge coupled devise image sensor）撮像素子やＣＭＯＳ（complementary metal oxide semiconductor）撮像素子を備えたデジタルビデオカメラであり、車両の後方の撮影映像の映像信号を、所定の方式（例えばＮＴＳＣ方式）でフレームメモリ部４２０へ出力する。フレームメモリ部４２０は、カメラ部４１０から入力された映像信号を格納する。
【００２５】
車両情報出力部５００は、車速および舵角を少なくとも含む、車両の移動に関する情報（以下「車両情報」という）を、ＥＣＵ３００へ出力する。車両情報出力部５００は、例えば、車速検出装置および舵角検出装置を含む。
【００２６】
表示部６００は、ＥＣＵ３００から後述の警告表示信号を入力し、入力した警告表示信号に従い、アイコン表示等の警告表示を行う。ここでは、表示部６００は、車両の運転席の近くに取り付けられた、ナビゲーションシステムのモニタ、インパネ（instrument panel）内のモニタ、またはルームミラー内に内蔵されたモニタ等である。
【００２７】
警報部７００は、ＥＣＵ３００から後述の警報信号を入力し、入力した警報信号に従い、運転者に対する警報を行う。ここでは、警報部７００は、ブザーまたはラウドスピーカを有し、音声の出力による警報（危険の報知。以下単に「警報出力」という）を行うものとする。
【００２８】
ＥＣＵ３００は、車線抽出部３１０、マッピングテーブル格納部３２０、上方視点データ生成部３３０、車線位置検出部３４０、表示出力部３５０、および警報出力部３６０を有する。
【００２９】
車線抽出部３１０は、撮像部４００からフレーム単位で撮影映像を取得し、取得したフレーム毎の撮影映像（撮影画像）を、上方視点データ生成部３３０へ出力する。また、車線抽出部３１０は、撮影画像からの車線境界線の抽出を行う。具体的には、車線抽出部３１０は、撮影画像から、車線エッジのうち、撮影映像の特定のライン上に存在するエッジ点のみを抽出し、エッジ点の抽出結果を、基の撮影映像と共に、上方視点データ生成部３３０へ出力する。
【００３０】
マッピングテーブル格納部３２０は、撮影映像の上述の特定のラインの画素を上方視点座標に変換（上方視点から見た場合のマップに変換）するためのマッピングテーブルを予め格納する。マッピングテーブルは、例えば、撮像部４００の画角等のカメラパラメータと、車両２００に対する撮像部４００の取付位置および取付角度とに基づいて生成される。
【００３１】
上方視点データ生成部３３０は、車線抽出部３１０から入力された撮影画像を、車線位置検出部３４０へ出力する。また、上方視点データ生成部３３０は、車線抽出部３１０からエッジ点が入力されたとき、マッピングテーブル格納部３２０が格納するマッピングテーブルに基づいて、撮影画像のうち入力されたエッジ点のみを、上方視点座標に変換（上方視点から見た場合のマップに変換）する。なお、上方視点座標とは、必ずしも上方視点から見た場合の座標に限定されるものではなく、路面に略平行であって車両の位置および向きを基準とする平面座標であれば良い。そして、上方視点データ生成部３３０は、エッジ点の上方視点座標（以下「エッジ位置座標」という）のデータを、上方視点データとして、車線抽出部３１０から入力された撮影画像と共に、車線位置検出部３４０へ出力する。
【００３２】
車線位置検出部３４０は、上方視点データ生成部３３０から入力された上方視点データの履歴と、車両情報出力部５００から入力される車両情報とから、上方視点座標における車線エッジの位置（例えば図１のエッジ点２６０のエッジ位置座標と図１のエッジ傾きφとの組）を求める。そして、車線位置検出部３４０は、車線エッジの位置から、車線エッジと車両の代表点との間のエッジ距離（例えば図１のエッジ距離Ｄ）を求める。そして、車線位置検出部３４０は、エッジ距離等が所定の条件を満たすとき、表示出力部３５０に対して警告表示を命令し、警報出力部３６０に対して警報出力を命令する。所定の条件とは、例えば、エッジ距離が所定値以下となる等、車両が車線を逸脱する可能性が高いといえるための条件である。
【００３３】
表示出力部３５０は、車線位置検出部３４０からの命令を受けて、警告表示を指示する警報信号を、表示部６００へ出力する。
【００３４】
警報出力部３６０は、車線位置検出部３４０からの命令を受けて、警報出力を指示する警報信号を、警報部７００へ出力する。
【００３５】
ＥＣＵ３００は、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体、および通信回路等により実現する事ができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
【００３６】
このような構成を有する車両位置検出システム１００は、撮影映像の特定のライン上に存在するエッジ位置のみを上方視点座標に変換する事によって、車両が車線を逸脱する可能性が高いか否かを判定し、運転者に対する警報を行う事ができる。
【００３７】
次に、ＥＣＵ３００の動作について説明する。
【００３８】
図３は、ＥＣＵ３００の動作を示すフローチャートである。
【００３９】
まず、ステップＳ１１００において、ＥＣＵ３００は、撮像部４００から撮影画像を入力する。すなわち、ＥＣＵ３００は、車線抽出部３１０において、撮像部４００のフレームメモリ部４２０から、１フレーム分の撮影映像を取得する。
【００４０】
そして、ステップＳ１２００において、ＥＣＵ３００は、入力した撮影画像から、エッジ点の候補点を抽出する。すなわち、ＥＣＵ３００は、車線抽出部３１０において、入力した撮影画像に対して所定のフィルタを施し、撮影画像から、所定の斜め方向のベクトルを持つエッジ成分を抽出する。
【００４１】
図４は、車線エッジを抽出するフィルタの一例を説明するための図である。
【００４２】
撮像部４００のカメラ部４１０は、広角カメラであり、車両後方の路面を斜めに見下ろして撮影する。したがって、図４（Ａ）に示すように、撮影画像８１０における走行車線両側の車線境界線８１１は、斜めに傾き、歪んだ形状となる。
【００４３】
そこで、車線抽出部３１０は、撮影画像８１０における車線境界線８１１が所定の傾き８１２を有している事を想定し、図４（Ｂ）に示すようなフィルタ係数８１３、８１４のフィルタを撮影画像８１０の各画素の輝度値にそれぞれ施し、得られた結果を加算する。これにより、車線抽出部３１０は、略水平方向となる停止線等、車線境界線以外の部分における輝度変化に対して、車線境界線における輝度変化を相対的に強める事ができる。
【００４４】
図５は、車線境界線における輝度変化を説明するための図である。
【００４５】
図５に示すように、通常、灰色である路面の画像部分８２１の輝度に比べて、白または黄色である車線境界線８１１の画像部分８２２の輝度は非常に高く、また、車線境界線８１１のエッジはシャープである。したがって、路面の画像部分８２１と車線境界線８１１の画像部分８２２との境界部分では、略水平方向における輝度変化の絶対値が大きくなる。そこで、車線抽出部３１０は、エッジ点の候補として、略水平方向における輝度変化の絶対値が所定値以上となる部分を抽出する。
【００４６】
そして、図３のステップＳ１３００において、ＥＣＵ３００は、ステップＳ１２００において抽出した複数のエッジ点の候補の位置関係から、最終的なエッジ点を決定する。具体的には、ＥＣＵ３００は、車線抽出部３１０において、所定の方向に連続した一定の長さ以上の点列を構成している複数のエッジ点の候補が存在する事を条件として、エッジ点の候補の中から最終的なエッジ点を決定し、上方視点データ生成部３３０へ出力する。
【００４７】
図６は、車線エッジの候補点の決定処理の一例を説明するための図である。
【００４８】
図６に示すように、車線抽出部３１０は、撮影画像８１０に対し、撮像部４００のカメラ部４１０の光軸中心を通る位置に、略水平方向に伸びる特定のライン（以下「着目ライン」という）８３１を予め設定している。
【００４９】
車線抽出部３１０は、着目ライン８３１において、略水平方向における輝度変化に基づき、エッジ点の候補（略水平方向における輝度変化が所定値以上となる点）を探索する。そして、車線抽出部３１０は、着目ライン８３１上にエッジ点の候補８３２が存在する場合には、着目ライン８３１の上下方向のそれぞれ縦幅Ｌａの範囲に、探索ベクトルＶｉで定義される探索中心位置８３３に設定する。
【００５０】
そして、車線抽出部３１０は、各探索中心位置８３３の左右方向のそれぞれ横幅Ｄｉの範囲を、探索範囲８３４に設定して、エッジ点の候補を探索する。そして、車線抽出部３１０は、探索範囲８３４内に存在するエッジ点の候補の数をカウントし、その数が所定値以上である場合には、着目ライン８３１上のエッジ点の候補８３２を、最終的なエッジ点に決定する。
【００５１】
ここでは、車線抽出部３１０は、車線境界線８１１の両側のエッジのうち、車両が走行する車線側のエッジであると推定されるエッジの位置を、エッジ点に決定するものとする。例えば、車線抽出部３１０は、撮影映像８１０の中心８３５の右側および左側のそれぞれにおいて、中心８３５からみて輝度が増大する方向に変化するエッジ点のうち中心８３５からの距離が最も短いエッジ点のみを、上方視点データ生成部３３０に出力する。
【００５２】
カメラ部４１０の光軸中心を通るラインは、他のラインよりも画面横方向の歪みが少なく、車線境界線の直線度合いや車線の位置を精度良く検出するのに有利である。探索ベクトルＶｉは、例えば、想定される車線境界線８１１の傾き（例えば図４の傾き８１２）に相当する方向ベクトルである。横幅Ｄｉは、検出誤差および実際の車線境界線８１１の傾きの範囲を考慮した値である。縦幅Ｌａは、検出誤差および車線境界線８１１であると判定するのに十分な長さを考慮した値である。したがって、車線抽出部３１０は、高い精度で、着目ライン８３１上に存在するエッジ点を抽出する事ができる。
【００５３】
そして、図３のステップＳ１４００において、ＥＣＵ３００は、車線境界線が検出されたか否かを判断する。すなわち、ＥＣＵ３００は、車線抽出部３１０において、着目ライン上においてエッジ点を抽出する事ができたか否かを判断する。ＥＣＵ３００は、車線境界線が検出された場合には（Ｓ１４００：ＹＥＳ）、ステップＳ１５００へ進み、車線境界線が検出されなかった場合には（Ｓ１４００：ＮＯ）、ステップＳ１６００へ進む。
【００５４】
ステップＳ１５００において、ＥＣＵ３００は、着目ライン上で検出されたエッジ点を上方視点マップに変換する。すなわち、ＥＣＵ３００は、上方視点データ生成部３３０において、車線抽出部３１０から入力されたエッジ点を、マッピングテーブル格納部３２０のマッピングテーブルを参照してエッジ位置座標に変換し、撮影映像と共に車線位置検出部３４０へ出力する。
【００５５】
図７は、マッピングテーブル格納部３２０が格納するマッピングテーブルの内容の一例を示す図である。
【００５６】
図７に示すように、マッピングテーブル８４０は、横軸をＸ軸とする撮影画像の座標系（以下「カメラ座標系」という）におけるＸ座標値８４１毎に、変換先である上方視点座標系におけるＸ座標値８４２を対応付けて記述する。上方視点座標系は、実世界の座標系であり、Ｘ座標値に差分およびＹ座標値の差分は、それぞれ、実空間におけるＸ軸方向における実際の距離およびＹ軸方向における実際の距離に対応するものとする。
【００５７】
図８は、上方視点変換の様子の一例を示す図である。
【００５８】
図８に示すように、上方視点データ生成部３３０は、入力された各エッジ点８５１のカメラ座標系８５２のＸ座標値を、マッピングテーブル８４０を参照して、上方視点座標系８５３のＸ座標値であるエッジ位置座標８５４に変換する。
【００５９】
例えば、図７に示すように、マッピングテーブル８４０において、カメラ座標系８５２におけるＸ座標値「２０５」に、上方視点座標系８５３におけるＸ座標値「２１２」が対応付けられているとする。このとき、図８に示すように、カメラ座標系８５２のＸＹ座標が（２０５，１２０）のエッジ点が入力されたとき、上方視点データ生成部３３０は、上方視点座標系８５３におけるＸ座標値「２１２」のエッジ位置座標に変換する。なお、この時点では、上方視点座標系の座標として必要な情報はＸ軸座標値のみである。
【００６０】
そして、ステップＳ１７００において、ＥＣＵ３００は、車線位置の判定を行う。すなわち、ＥＣＵ３００は、車線位置検出部３４０において、上方視点データ生成部３３０から入力された上方視点データの履歴を含む履歴情報を作成し、作成した履歴情報から、車線エッジの位置を求める。そして、車線位置検出部３４０は、求めた車線エッジの位置から、車線エッジと車両の代表点との間のエッジ距離（例えば図１のエッジ距離Ｄ）を求める。
【００６１】
ここで、車両から後方に向かって左側の車線エッジであると推定される車線エッジを「左エッジ」といい、左エッジのエッジ点を「左エッジ点」といい、左エッジ点のエッジ位置座標を「左エッジ位置座標」という。また、車両から後方に向かって右側の車線エッジであると推定されるエッジを「右エッジ」といい、右エッジのエッジ点を「右エッジ点」といい、右エッジ点のエッジ位置座標を「右エッジ位置座標」という。
【００６２】
また、時間幅Ｔにおける上方視点データの各サンプリング時刻を、最新のサンプリング時刻（現在時刻とする）から過去に遡る方向に、ｔ０、ｔ１、ｔ２、・・・、ｔｓと表現するものとする。そして、時間幅Ｔにおける上方視点データの各サンプリング時刻を、着目するサンプリング時刻から過去に遡る方向に、ｔ、ｔ−１、ｔ−２、・・・、ｔ−ｓと表現するものとする。
【００６３】
図９は、履歴情報の構成の一例を示す図である。また、図１０は、履歴情報８６０の上方視点データを時間軸上でプロットしたときの状態の一例を示す図である。
【００６４】
図９に示すように、履歴情報８６０は、所定のサンプリング数ｓに対応する直前の時間幅Ｔの各サンプリング時刻（ここではフレーム時刻とする）８６１に対応付けて、車速８６２、左エッジ位置座標８６３、右エッジ位置座標８６４、左差分値８６５、および右差分値８６６を記述する。左差分値８６５は、隣り合うサンプリング時刻間の左エッジ位置座標の差分値である。右差分値８６６は、隣り合うサンプリング時刻間の右エッジ位置座標の差分値である。
【００６５】
車線位置検出部３４０は、上方視点データが入力される毎に、入力された最新の上方視点データと１つ前のサンプリング時刻の上方視点データとを比較して、左差分値および右差分値を算出する。具体的には、車線位置検出部３４０は、左差分値αｌ（ｔ０）および右差分値α１（ｔ０）を、例えば、以下の式（１）〜式（３）を用いて算出する。ここで、Ｖは、車速であり、ΔＴは、１つ前の上方視点データに対するサンプリング間隔（フレーム間隔）であり、ＰｌおよびＰｒは、それぞれ左エッジ位置座標および右エッジ位置座標である。
αｌ（ｔ０） ＝ ｛Ｐｌ（ｔ０）−Ｐｌ（ｔ１）｝×Ｖ（ｔ０）×ΔＴ（ｔ０）
・・・（１）
αｒ（ｔ０） ＝ ｛Ｐｒ（ｔ０）−Ｐｒ（ｔ１）｝×Ｖ（ｔ０）×ΔＴ（ｔ０）
・・・（２）
ΔＴ（ｔ０） ＝ ｔ０ −ｔ１ ・・・（３）
【００６６】
そして、車線位置検出部３４０は、車両情報出力部５００から入力された最新の車両情報に含まれる車速と、最新の上方視点データと、算出した左差分値および右差分値とを、現在時刻である時刻ｔ０のレコードとして、履歴情報８６０に追加する。
【００６７】
なお、サンプリング数ｓは、車線境界線が破線であり途切れ部分を有する場合でも、２つ以上のエッジ位置座標が必ず取得されているような値が設定される。したがって、サンプリング数ｓは、例えば、以下の式（４）を満たす値が設定される。ここで、ΔＴｍｉｎは、サンプリング間隔（フレーム間隔）の最小値であり、Ｌは、車線境界線が途切れる長さであり、Ｂは、１以上の整数である余裕値である。
ｓ ＝ Ｌ／（Ｖ×ΔＴｍｉｎ） ＋ β ・・・（４）
【００６８】
ＮＴＳＣ信号の場合は、フレーム間隔が１／３０秒である事から、サンプリング間隔の最小値ΔＴｍｉｎとして、例えば１／３０秒が用いられる事になる。
【００６９】
車線位置検出部３４０は、履歴情報８６０を用いて、左エッジ位置座標と左エッジのエッジ傾きとから、左エッジまでのエッジ距離（以下「左エッジ距離」という）を算出する。また、車線位置検出部３４０は、履歴情報８６０を用いて、右エッジ位置座標と右エッジのエッジ傾きとから、右エッジまでのエッジ距離（以下「右エッジ距離」という）を算出する。
【００７０】
具体的には、車線位置検出部３４０は、例えば、以下の式（５）を用いて、エッジ傾きφを算出する。ここで、Ｍは、時間幅Ｔにおける車両のその前後方向における移動距離であり、例えば時刻ｔｓの車速Ｖｔｓと時刻ｔ０の車速Ｖｔ０との平均車速Ｖａに時間幅Ｔを乗じた値である。また、ΔＤは、時間幅Ｔにおける車両のその左右方向における車線境界線に対する移動距離であり、例えば時刻ｔｓの左エッジ位置座標Ｐｌｔｓから時刻ｔ０の左エッジ位置座標Ｐｌｔ０を差し引いた値である。但し、エッジ傾きφは、車線に対して車両が反時計回り方向に傾いているときを正の値とする。
ｔａｎφ ＝ ΔＤ／Ｍ ・・・（５）
【００７１】
そして、車線位置検出部３４０は、例えば、以下の式（６）および式（７）を用いて、左エッジ距離Ｄｌおよび右エッジ距離Ｄｒを算出する。ここで、Ｑｌｙは、上述の着目ラインのＹ座標値から車両の左側の代表点のＹ座標値を差し引いた値であり、Ｑｌｘは、車両の左側の代表点のＸ座標値から現在の左エッジ位置座標を差し引いた値である。また、Ｑｒｙは、上述の着目ラインのＹ座標値から車両の右側の代表点のＹ座標値を差し引いた値であり、Ｑｒｘは、現在の右エッジ位置座標から車両の右側の代表点のＸ軸座標値を差し引いた値である。
Ｄｌ ＝ Ｑｌｘ ＋ Ｑｌｙｔａｎφ ・・・（６）
Ｄｒ ＝ Ｑｒｘ − Ｑｒｙｔａｎφ ・・・（７）
【００７２】
なお、Ｑｌｙ、Ｑｒｙは、車両設計値であり、代表点が車両の前タイヤよりも前方に設定されているとき、代表点から前タイヤまでのＹ軸方向の距離、車両のホイールベース、車両のリアオーバーハング、および車載カメラから着目ラインまでの距離を加算した値となる。
【００７３】
そして、車線位置検出部３４０は、求めた左エッジ距離Ｄｌと右エッジ距離Ｄｒとが異なる場合には小さい方を、また、求めた左エッジ距離Ｄｌと右エッジ距離Ｄｒとが同一である場合にはその値を、エッジ距離Ｄに決定する。
【００７４】
なお、車両の代表点は、例えば車両２００の後部両角の点としてもよい。この場合、車両後左端の代表点の上方視点座標系における位置をＣｌ、車両後右端の代表点の上方視点座標系における位置をＣｒと置くと、エッジ距離Ｄは、例えば、左エッジ位置座標Ｐｌｔ０および右エッジ位置座標Ｐｒｔ０を用いて、以下の式（８）および式（９）により算出することができる。
Ｄ＝｜Ｃｒ−Ｐｒｔ０｜ （｜Ｃｒ−Ｐｒｔ０｜＜｜Ｃｌ−Ｐｌｔ０｜）
・・・・・・（８）
Ｄ＝｜Ｃｌ−Ｐｌｔ０｜ （｜Ｃｒ−Ｐｒｔ０｜≧｜Ｃｌ−Ｐｌｔ０｜）
・・・・・・（９）
【００７５】
また、車線が曲線である場合には、左エッジ位置座標Ｐｌｔ０または右エッジ位置座標Ｐｒｔ０から算出されるエッジ距離Ｄには、誤差が生じる。この誤差Ｄｉｆｆは、車線の曲線半径をＲｗと置くと、例えば、上述のＱｒｙを用いて、以下の式（１０）のように表される。
Ｄｉｆｆ ＝ Ｒｗ−√（Ｒｗ２−Ｑｒｙ２） ・・・・・・（１０）
【００７６】
したがって、車線位置検出部３４０は、エッジ距離Ｄを、誤差Ｄｉｆｆで補正しても良い。但し、高速道路の回転半径は通常２５０ｍ以上であるため、Ｑｒｙ＝５ｍとしても、
誤差Ｄｉｆｆは５ｃｍ程度である。
【００７７】
また、車線位置検出部３４０は、車両が車線を逸脱するまで（つまり、車線エッジに到達するまで）の推定時間Ｔｄを、例えば、時間幅Ｔの左差分値αｌ（右差分値αｒでも良い）から、以下の式（１１）を用いて算出する。
Ｔｄ ＝ Ｄ ／ ［Σαｌ（ｔ）／｛ｓ×ΔＴ（ｔ）｝］ ・・・（１１）
【００７８】
そして、図３のステップＳ１８００において、ＥＣＵ３００は、車両が車線を逸脱する可能性が高いといえる所定の条件（以下「警報条件」という）が満たされるかどうかを判断する。すなわち、ＥＣＵ３００は、車線位置検出部３４０において、算出したエッジ距離Ｄおよび逸脱までの推定時間Ｔｄが警報条件を満たすか否かを判断する。
【００７９】
警報条件は、エッジ距離Ｄの閾値Ｄｔｈと、逸脱までの推定時間Ｔｄの閾値Ｔｔｈとを用いて、例えば、以下の式（１２）を用いて表される。
Ｄ＜Ｄｔｈ かつ Ｔｄ＜Ｔｔｈ ・・・（１２）
【００８０】
ＥＣＵ３００は、警報条件が満たされない場合には（Ｓ１８００：ＮＯ）、ステップＳ１９００へ進み、警報条件が満たされる場合には（Ｓ１８００：ＹＥＳ）、ステップＳ２０００へ進む。
【００８１】
ステップＳ１９００において、ＥＣＵ３００は、電源オフ操作等により処理の終了を指示されたか否かを判断する。ＥＣＵ３００は、処理の終了を指示されていない場合は（Ｓ１９００：ＮＯ）、ステップＳ１１００へ戻り、次のフレームの撮影画像に処理を移し、車線逸脱の監視を継続する。
【００８２】
一方、ステップＳ２０００において、ＥＣＵ３００は、警告表示および警報出力を行う。すなわち、ＥＣＵ３００は、車線位置検出部３４０において、車両が近寄って行っている車線境界線の方向を示す情報を含む警告表示信号を生成し、表示出力部３５０へ出力すると共に、警報出力部３６０に対して警報出力を命令する。この結果、例えば、表示部６００は、車両が近寄って行っている車線境界線の方向を矢印のアイコンで表示し、警報部７００は、ビープ音を出力する。
【００８３】
また、ステップＳ１６００において、ＥＣＵ３００は、上方視点データの補間処理を行う。すなわち、ＥＣＵ３００は、上方視点データ生成部３３０において、左エッジ点および右エッジ点のうち車線抽出部３１０から入力されないエッジ点のエッジ位置座標を推定する。
【００８４】
上方視点データ生成部３３０は、車線抽出部３１０から入力されたエッジ点については、ステップＳ１５００と同様に上方視点座標への変換を行う。以下、上方視点データの補間の各種手法について説明する。図１１は、以下の説明で取り上げる、左エッジ点が上方視点データ生成部３３０に入力されなかった場合の、過去に取得された上方視点データを時間軸上でプロットしたときの状態を示す図である。
【００８５】
まず、過去の左エッジ位置座標の履歴から上方視点データを補間する手法について説明する。
【００８６】
各時刻のＸ座標値の差分値αは、車両が車線境界線が伸びる方向に対してほぼ真直ぐに走行している間は、ほぼゼロとなり、車両が車線境界線が伸びる方向に対して斜めに直進走行している間は、ゼロではない一定の値となる。
【００８７】
上方視点データ生成部３３０は、車線位置検出部３４０の履歴情報に記述された時間幅Ｔにおける左差分値αｌの平均値を用いて、現在時刻ｔ０の左エッジ位置座標の推定値Ｐｌｔ０'を算出する。具体的には、車線位置検出部３４０は、例えば、以下の式（１３）を用いて、現在の時刻ｔ０における左エッジ位置座標の推定値Ｐｌｔ０'を算出する。
Ｐｌｔ０' ＝ Ｐｔ１ ＋ Σαｌ（ｔ）／ｓ ・・・（１３）
【００８８】
そして、上方視点データ生成部３３０は、算出した左エッジ位置座標の推定値Ｐｌｔ０'を。左エッジ位置座標Ｐｌｔ０として、車線位置検出部３４０へ出力する。これにより、上方視点データ生成部３３０は、左エッジ点だけでなく右エッジ点も抽出されなかった場合でも、左エッジ位置座標Ｐｌｔ０を決定し、上方視点データを補間する事ができる。
【００８９】
次いで、右エッジ位置座標から上方視点データを補間する手法について説明する。
【００９０】
上方視点データ生成部３３０は、車線位置検出部３４０の履歴情報を参照し、例えば、以下の式（１４）を用いて、エッジ位置距離ΔＰを算出する。
ΔＰ ＝ Ｐｒ − Ｐｌ ・・・・・・（１４）
【００９１】
なお、上方視点データ生成部３３０は、１つ前のサンプリング時刻ｔ１の上方視線データを用いてエッジ位置距離ΔＰを算出する事が望ましい。また、上方視点データ生成部３３０は、検出誤差を考慮して、時間幅Ｔのエッジ位置距離ΔＰの平均値を採用したり、更に平均値を取る際にサンプリングからの経過時間に応じた重み付けを行っても良い。この場合、車線位置検出部３４０が、上方視線データが入力される毎に、エッジ位置距離ΔＰを算出し、履歴情報に記述しておく事が望ましい。
【００９２】
そして、上方視点データ生成部３３０は、算出したエッジ位置距離ΔＰと、現在時刻のｔ０の右エッジ位置座標Ｐｒｔ０から、例えば以下の式（１５）を用いて、現在の時刻ｔ０における左エッジ位置座標の推定値Ｐｌｔ０'を算出する。
Ｐｌｔ０' ＝ Ｐｒｔ０ − ΔＰ ・・・・・・（１５）
【００９３】
そして、上方視点データ生成部３３０は、算出した左エッジ位置座標の推定値Ｐｌｔ０'を、左エッジ位置座標Ｐｌｔ０として、車線位置検出部３４０へ出力する。これにより、上方視点データ生成部３３０は、時間幅Ｔにおいて左差分値αｌが大きく変動しているような場合でも、精度良く、左エッジ位置座標Ｐｌｔ０を決定し、上方視点データを補間する事ができる。
【００９４】
次いで、車両が曲線走行する場合に上方視点データの補間の精度を向上させる手法について説明する。
【００９５】
車線位置検出部３４０は、図１２に示すような、車両の舵角とタイヤ角との対応関係を、予め格納している。そして、車線位置検出部３４０は、この対応関係を用いて、車両情報出力部５００から入力される最新の舵角を逐次タイヤ角に変換し、現在のタイヤ角θとして、履歴情報に記述する。
【００９６】
図１３および図１４は、車両が曲線走行する場合の上方視点データ補間に用いられる各種パラメータを示す図である。
【００９７】
上方視点データ生成部３３０は、車線位置検出部３４０の履歴情報を参照し、現在のタイヤ角θから、例えば、以下の式（１６）を用いて、車両から後方に向かって左側の後タイヤの位置（以下「基準点」という）Ｐ０から車両２００の回転移動の回転中心Ｏまでの距離Ｒｌを算出する。ここで、Ｗｂは、車両２００のホイールベースである。
Ｒｌ ＝ Ｗｂ ／ ｔａｎθ ・・・・・・（１６）
【００９８】
また、上方視点データ生成部３３０は、基準位置Ｐ０を原点（０，０）とし、車両２００から後方に向かって右方向をｘ軸正方向とし車両２００から前方の方向をｙ軸正方向とする座標系（以下「タイヤ座標系」という）置く。タイヤ座標系は、実世界の座標系であり、Ｘ座標値に差分およびＹ座標値の差分は、それぞれ、実空間におけるＸ軸方向における実際の距離およびＹ軸方向における実際の距離に対応するものとする。
【００９９】
そして、上方視点データ生成部３３０は、車両２００の回転中心Ｏのタイヤ座標系における座標を、例えば以下の式（１７）を用いて取得する。
Ｏ（ｏｘ，ｏｙ） ＝ （−Ｒｌ，０） ・・・・・・（１７）
【０１００】
そして、上方視点データ生成部３３０は、１つ前のサンプリング時刻の車線位置Ｐｗ１左エッジ位置座標Ｐｌｔ１を、例えば以下の式（１８）を用いて、上述のタイヤ座標系の座標Ｐｗ１'に変換する。ここで、Ｐ０は、基準位置Ｐ０の上方視点座標である。
Ｐｗ１' ＝ Ｐｌｔ１ − Ｐ０ ・・・・・・（１８）
【０１０１】
そして、上方視点データ生成部３３０は、１つ前のサンプリング時刻の車線位置の実世界座標系における座標Ｐｗ１'を、回転中心Ｏを中心に回転させるときの回転半径Ｒを、例えば以下の式（１９）を用いて算出する。
Ｒ ＝ Ｗｂ ／ ｓｉｎθ ・・・・・・（１９）
【０１０２】
そして、上方視点データ生成部３３０は、例えば以下の式（２０）を用いて、車速Ｖと、サンプリング間隔ΔＴ（ｔ０）と、回転半径Ｒとから、１つ前のサンプリング時刻の車線位置の実世界座標系における座標Ｐｗ１'の回転角γを算出する。
γ ＝ ｔａｎ−１｛ Ｖ×ΔＴ（ｔ０） ／ Ｒ｝ ・・・・・・（２０）
【０１０３】
そして、上方視点データ生成部３３０は、例えば以下の式（２１）を用いて、座標Ｐｗ１'を回転角γだけ回転中心Ｏを中心に回転させた座標を、現在時刻ｔ０の車線位置の実世界座標系における座標Ｐｗ０として算出する。ここで、座標Ｐｗ１'の実世界座標系のｘｙ座標を（Ｐｗ１'ｘ，Ｐｗ１'ｙ）とする。
【数１】
【０１０４】
そして、上方視点データ生成部３３０は、たとえば以下の式（２２）を用いて、座標Ｐｗ０を、元の上方視点座標系の座標に変換し、更に基準位置Ｐ０のオフセットを元に戻す。
Ｐｗ０' ＝ （ Ｐｗ０ ／ ＰＭＭ ） ＋ Ｐ０ ・・・・・・（２２）
【０１０５】
上方視点データ生成部３３０は、このようにして得られた座標Ｐｗ０'を、左エッジ位置座標Ｐｌｔ０として、車線位置検出部３４０へ出力する。これにより、上方視点データ生成部３３０は、車両が回転走行している場合でも、精度良く、左エッジ位置座標Ｐｌｔ０を決定し、上方視点データを補間する事ができる。
【０１０６】
以上説明したように、本実施の形態に係る車線位置検出システム１００は、撮影映像の特定のライン上に存在するエッジ点のみを上方視点座標に変換する。これにより、車線位置検出システム１００は、撮影映像全体を変換する従来装置に比べて、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる。また、車線位置検出システム１００は、車両が走行する車線を規定する車線境界線のエッジであると推定されるエッジ点のみを上方視点座標に変換するため、更に処理負荷を低減することができる。すなわち、車線位置検出システム１００は、性能を抑えたプロセッサでも従来装置と同等の効果を得る事ができ、装置コストを抑える事が可能となる。
【０１０７】
ここで、１フレーム分の上方視点マップに必要なメモリ量Ｍ［バイト］および変換処理に必要な時間Ｔｔを、従来装置と本実施の形態に係るＥＣＵ３００との間でそれぞれ比較する。ここで、撮影画像は、ＶＧＡサイズの画像であるものとし、Ｈは、ヘッダ容量［バイト］であり、１画素当たり上方視点変換に必要なデータは、１バイトであり、Ｔｔ'は、１画素当たりの変換処理に要する時間［秒］であるものとする。
【０１０８】
従来装置に必要なメモリ量Ｍは、Ｈ＋６４０×４８０［バイト］となる。これに対し、本実施の形態に係る車線位置検出システム１００に必要なメモリ量Ｍは、Ｈ＋６４０×１［バイト］で済む。すなわち、本実施の形態に係る車線位置検出システム１００は、従来装置に比べて、上方視点マップに必要なメモリ量Ｍを、６４０×４７９［バイト］も削減することができる。
【０１０９】
また、従来装置に必要な時間Ｔｔは、Ｔｔ'×６４０×４８０［秒］となる。これに対し、本実施の形態に係る車線位置検出システム１００に必要な時間Ｔｔは、Ｔｔ'×２［秒］で済む。これは、本実施の形態に係る車線位置検出システム１００が、左エッジ点と右エッジ点の２箇所のみを変換するためである。すなわち、本実施の形態に係る車線位置検出システム１００は、従来装置に比べて、上方視点変換に必要な時間Ｔｔを、Ｔｔ'×３０７１９８［秒］も削減することができる。
【０１１０】
なお、以上説明した実施の形態では、車線位置検出システム１００は、警報を、撮影画像に重畳した警告表示と音声の出力とによって行うものとしたが、これに限定されない。例えば、車線位置検出システム１００は、運転席付近のインジケータにおけるアイコンや警告光の点灯、運転席やハンドルの振動等、他の手段によって、警報を行っても良い。また、車線位置検出システム１００は、車線境界線に対する車両の位置に基づいて、車両の車線逸脱を防ぐために車速や舵角をコントロールする等、車両の動作を制御するものであっても良い。
【０１１１】
また、エッジ位置のサンプリング間隔は、必ずしも撮影画像のフレーム間隔と同一としなくても良い。但し、処理の簡素化および高速化のため、サンプリング間隔は一定であることが望ましい。
【０１１２】
また、車載カメラの位置および数、検出の対象となる車線エッジの種類、車線エッジの抽出手法、エッジ位置を抽出する特定のラインの位置、エッジ位置座標の時系列データに基づくエッジ位置の検出手法、およびエッジ位置座標の補間手法は、上述の例に制限されない。更に、車両の代表点の位置および数、警報条件、および警報の種類も、上述の例に制限されない。例えば、警報条件は、車両と車線境界線との傾きが所定値以上となった事を含んでも良い。
【０１１３】
また、エッジ位置を抽出する特定のラインは、複数であっても良い。この場合、車線位置検出システム１００は、例えば、ラインのそれぞれに基づいて上方視点座標におけるエッジ位置を算出し、算出したエッジ位置を平均化する。これにより、車線位置検出システム１００は、エッジ位置の検出精度を向上させることができる。
【産業上の利用可能性】
【０１１４】
本発明に係る車線位置検出装置および車線位置検出方法は、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる車線位置検出装置および車線位置検出方法として有用である。
【符号の説明】
【０１１５】
１００ 車線位置検出システム
２００ 車両
３００ ＥＣＵ
３１０ 車線抽出部
３２０ マッピングテーブル格納部
３３０ 上方視点データ生成部
３４０ 車線位置検出部
３５０ 表示出力部
３６０ 警報出力部
４００ 撮像部
５００ 車両情報出力部
６００ 表示部
７００ 警報部
【技術分野】
【０００１】
本発明は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と車両との位置関係を検出する車線位置検出装置および車線位置検出方法に関する。
【背景技術】
【０００２】
従来、車両の走行車線の逸脱を判定する事を目的として、車両周辺の路面を車載カメラで撮影した映像から、走行車線の両側の車線境界線のエッジ（以下「車線エッジ」という）を抽出し、車線境界線と車両との位置関係を検出する車線位置検出装置が存在する（例えば特許文献１参照）。
【０００３】
図１５は、特許文献１記載の車線位置検出装置（以下「従来装置」という）の機能的な構成を示すブロック図である。
【０００４】
従来装置１０は、まず、車載カメラである撮像部２０の撮影映像を、フレーム単位で入力する。そして、従来装置１０は、上方視点画像生成部１１において、入力したフレーム単位の撮影映像（以下「撮影画像」という）を、車両の真上の仮想的な視点（以下「上方視点」という）から見下ろしたときの画像である上方視点画像に変換する。この変換は、マッピングテーブル格納部１２に格納されたマッピングテーブル１２ａを用いて行われる。その後、従来装置１０は、車線抽出部１３において、上方視点画像から車線エッジを抽出し、車線位置検出部１４において、車線エッジの上方視点画像における位置から、車線境界線と車両との位置関係を検出する。
【０００５】
そして、従来装置１０は、車両が車線境界線に近付き過ぎている等の場合には、表示出力部１５において警告表示を表示部３０に行わせ、警報出力部１６においてビープ音の出力等の警報出力を警報部４０に出力させる。これにより、従来装置１０は、車両が車線から逸脱するおそれが高くなったときに、これを検出し、運転者に対する注意喚起を行う事ができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２７６０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来装置は、車両周囲の撮影画像全体を上方視点画像における座標（以下「上方視点座標」という）に変換する必要がある事から、プロセッサの処理負荷が高くなるという課題を有する。特に、運転者に対する車線逸脱の警報を目的とする場合には、処理はできるだけ高速に行われる事が望ましい。ところが、従来装置は、処理を高速化するためには、高性能なプロセッサまたは専用ハードウェアを搭載しなければならず、コストアップを招いてしまう。
【０００８】
本発明の目的は、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる車線位置検出装置および車線位置検出方法を提供する事である。
【課題を解決するための手段】
【０００９】
本発明の車線位置検出装置は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出装置であって、前記映像からの車線境界線の抽出を行う車線抽出部と、抽出された前記車線境界線のエッジを上方視点座標に変換する上方視点データ生成部と、前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出する車線位置検出部とを有し、前記上方視点データ生成部は、前記映像の特定のライン上に存在する前記車線境界線のエッジ点のみを上方視点座標に変換し、前記車線位置検出部は、前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの位置を求める。
【００１０】
本発明の車線位置検出方法は、車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出方法であって、前記映像からの車線境界線の抽出を行うステップと、抽出した前記車線境界線のエッジのうち前記映像の特定のライン上に存在するエッジ点のみを上方視点座標に変換するステップと、前記上方視点座標における前記エッジ点の位置の時系列データから前記上方視点座標における前記エッジの位置を求めるステップと、前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出するステップとを有する。
【発明の効果】
【００１１】
本発明によれば、映像の特定のライン上に存在する車線境界線のエッジ点のみを上方視点座標に変換して上方視点座標における車線境界線のエッジの位置を求めるので、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態に係る車線位置検出装置を含む車線位置検出システムの概要を説明するための図
【図２】本実施の形態に係るＥＣＵを含む車線位置検出システムの各部の構成を示すブロック図
【図３】本実施の形態に係るＥＣＵの動作を示すフローチャート
【図４】本実施の形態における車線エッジを抽出するフィルタの一例を説明するための図
【図５】本実施の形態において用いられる車線境界線の輝度変化を説明するための図
【図６】本実施の形態に係る車線エッジの候補点の決定処理の一例を説明するための図
【図７】本実施の形態におけるマッピングテーブルの内容の一例を示す図
【図８】本実施の形態における上方視点変換の様子の一例を示す図
【図９】本実施の形態における履歴情報の構成の一例を示す図
【図１０】本実施の形態における上方視点データの一例のプロット図
【図１１】本実施の形態における車線エッジが検出されなかった場合の上方視点データの一例のプロット図
【図１２】本実施の形態において用いられる車両の舵角とタイヤ角との対応関係の一例を示す図
【図１３】本実施の形態において車両が曲線走行する場合の上方視点データ補間に用いられる各種パラメータを示す第１の図
【図１４】本実施の形態において車両が曲線走行する場合の上方視点データ補間に用いられる各種パラメータを示す第２の図
【図１５】従来装置の機能的な構成を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明の一実施の形態に係る車線位置検出装置を含む車線位置検出システムの概要を説明するための図である。本実施の形態は、本発明を、車両内部に設置された、車載カメラ用のＥＣＵ（electronic control unit：電子制御ユニット）に適用した例である。また、以下の各図において、本来は白や黄等である車線境界線を、適宜、黒で示す。
【００１５】
図１に示すように、本実施の形態における車線位置検出システム１００は、車両２００の内部に設置されたＥＣＵ３００と、車両２００の後部に取り付けられた撮像部４００とを含む。撮像部４００と車両２００の各部との位置関係は既知であり、撮像部４００の位置および向きと車両２００の各部の位置および向きとは、双方向に算出可能であるものとする。
【００１６】
撮像部４００は、車両２００の後方の映像を撮影する。撮像部４００は、例えば、車両２００の後部の低い位置に車両２００後方の路面を見下ろす向きで取り付けられた、所謂車載カメラである。撮像部４００の左右方向は、路面の水平方向にほぼ一致しており、撮像部４０１の水平画角４０１は十分に広いものとする。
【００１７】
ＥＣＵ３００は、撮像部４００から撮影映像を取得し、取得した撮影映像から、車両２００が走行中の車線２１０の車線エッジ２２０と車両２００との位置関係を検出する。具体的には、ＥＣＵ３００は、フレーム単位の撮影映像（撮影画像）から、車線２１０を規定する車線境界線２３０の内側のラインと、車両２００の代表点（例えば車両２００の前部両角の点）２４０との間の距離であるエッジ距離Ｄを求める。そして、ＥＣＵ３００は、エッジ距離Ｄが５０ｃｍ以下である等の所定の条件が満たされるとき、車両２００の運転者に対する警報を出力させる。
【００１８】
ＥＣＵ３００は、撮影映像の特定のライン（例えば線２５０に相当するライン）上に存在するエッジ点（例えばエッジ点２６０）のみを上方視点座標に変換する。ところが、そのままでは、当該エッジ点の位置は判定可能であるが、代表点２４０の近くのエッジ点（たとえばエッジ点２７０）の位置は判定する事ができない。
【００１９】
そこで、ＥＣＵ３００は、例えば、エッジ点の上方視点座標における位置（以下「エッジ位置」という）の時系列データから、車両２００（または撮像部４００）を基準とした車線エッジ２２０の傾きとして、車両の長さ方向の中心線と車線エッジ２２０とが成す角度（以下「エッジ傾き」という）φを算出する。そして、ＥＣＵ３００は、特定のライン上で検出されたエッジ点（例えばエッジ点２６０）のエッジ位置と、エッジ傾きφとから、車両２００の代表点２４０の近くのエッジ点（たとえばエッジ点２７０）のエッジ位置を算出し、エッジ距離Ｄを求める。
【００２０】
このように、車線位置検出システム１００は、ＥＣＵ３００において、特定のライン上に存在するエッジ点のみを上方視点座標に変換し、エッジ位置の時系列データからエッジ全体の位置を求めることにより、車線境界線２３０と車両２００との位置関係を検出する。
【００２１】
次に、車線位置検出システム１００の各部の構成について説明する。
【００２２】
図２は、ＥＣＵ３００を含む車線位置検出システム１００の各部の構成を示すブロック図である。
【００２３】
図２において、車線位置検出システム１００は、ＥＣＵ３００、撮像部４００、車両情報出力部５００、表示部６００、および警報部７００を有する。
【００２４】
撮像部４００は、カメラ部４１０およびフレームメモリ部４２０を有する。カメラ部４１０は、例えば、ＣＣＤ（charge coupled devise image sensor）撮像素子やＣＭＯＳ（complementary metal oxide semiconductor）撮像素子を備えたデジタルビデオカメラであり、車両の後方の撮影映像の映像信号を、所定の方式（例えばＮＴＳＣ方式）でフレームメモリ部４２０へ出力する。フレームメモリ部４２０は、カメラ部４１０から入力された映像信号を格納する。
【００２５】
車両情報出力部５００は、車速および舵角を少なくとも含む、車両の移動に関する情報（以下「車両情報」という）を、ＥＣＵ３００へ出力する。車両情報出力部５００は、例えば、車速検出装置および舵角検出装置を含む。
【００２６】
表示部６００は、ＥＣＵ３００から後述の警告表示信号を入力し、入力した警告表示信号に従い、アイコン表示等の警告表示を行う。ここでは、表示部６００は、車両の運転席の近くに取り付けられた、ナビゲーションシステムのモニタ、インパネ（instrument panel）内のモニタ、またはルームミラー内に内蔵されたモニタ等である。
【００２７】
警報部７００は、ＥＣＵ３００から後述の警報信号を入力し、入力した警報信号に従い、運転者に対する警報を行う。ここでは、警報部７００は、ブザーまたはラウドスピーカを有し、音声の出力による警報（危険の報知。以下単に「警報出力」という）を行うものとする。
【００２８】
ＥＣＵ３００は、車線抽出部３１０、マッピングテーブル格納部３２０、上方視点データ生成部３３０、車線位置検出部３４０、表示出力部３５０、および警報出力部３６０を有する。
【００２９】
車線抽出部３１０は、撮像部４００からフレーム単位で撮影映像を取得し、取得したフレーム毎の撮影映像（撮影画像）を、上方視点データ生成部３３０へ出力する。また、車線抽出部３１０は、撮影画像からの車線境界線の抽出を行う。具体的には、車線抽出部３１０は、撮影画像から、車線エッジのうち、撮影映像の特定のライン上に存在するエッジ点のみを抽出し、エッジ点の抽出結果を、基の撮影映像と共に、上方視点データ生成部３３０へ出力する。
【００３０】
マッピングテーブル格納部３２０は、撮影映像の上述の特定のラインの画素を上方視点座標に変換（上方視点から見た場合のマップに変換）するためのマッピングテーブルを予め格納する。マッピングテーブルは、例えば、撮像部４００の画角等のカメラパラメータと、車両２００に対する撮像部４００の取付位置および取付角度とに基づいて生成される。
【００３１】
上方視点データ生成部３３０は、車線抽出部３１０から入力された撮影画像を、車線位置検出部３４０へ出力する。また、上方視点データ生成部３３０は、車線抽出部３１０からエッジ点が入力されたとき、マッピングテーブル格納部３２０が格納するマッピングテーブルに基づいて、撮影画像のうち入力されたエッジ点のみを、上方視点座標に変換（上方視点から見た場合のマップに変換）する。なお、上方視点座標とは、必ずしも上方視点から見た場合の座標に限定されるものではなく、路面に略平行であって車両の位置および向きを基準とする平面座標であれば良い。そして、上方視点データ生成部３３０は、エッジ点の上方視点座標（以下「エッジ位置座標」という）のデータを、上方視点データとして、車線抽出部３１０から入力された撮影画像と共に、車線位置検出部３４０へ出力する。
【００３２】
車線位置検出部３４０は、上方視点データ生成部３３０から入力された上方視点データの履歴と、車両情報出力部５００から入力される車両情報とから、上方視点座標における車線エッジの位置（例えば図１のエッジ点２６０のエッジ位置座標と図１のエッジ傾きφとの組）を求める。そして、車線位置検出部３４０は、車線エッジの位置から、車線エッジと車両の代表点との間のエッジ距離（例えば図１のエッジ距離Ｄ）を求める。そして、車線位置検出部３４０は、エッジ距離等が所定の条件を満たすとき、表示出力部３５０に対して警告表示を命令し、警報出力部３６０に対して警報出力を命令する。所定の条件とは、例えば、エッジ距離が所定値以下となる等、車両が車線を逸脱する可能性が高いといえるための条件である。
【００３３】
表示出力部３５０は、車線位置検出部３４０からの命令を受けて、警告表示を指示する警報信号を、表示部６００へ出力する。
【００３４】
警報出力部３６０は、車線位置検出部３４０からの命令を受けて、警報出力を指示する警報信号を、警報部７００へ出力する。
【００３５】
ＥＣＵ３００は、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体、および通信回路等により実現する事ができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
【００３６】
このような構成を有する車両位置検出システム１００は、撮影映像の特定のライン上に存在するエッジ位置のみを上方視点座標に変換する事によって、車両が車線を逸脱する可能性が高いか否かを判定し、運転者に対する警報を行う事ができる。
【００３７】
次に、ＥＣＵ３００の動作について説明する。
【００３８】
図３は、ＥＣＵ３００の動作を示すフローチャートである。
【００３９】
まず、ステップＳ１１００において、ＥＣＵ３００は、撮像部４００から撮影画像を入力する。すなわち、ＥＣＵ３００は、車線抽出部３１０において、撮像部４００のフレームメモリ部４２０から、１フレーム分の撮影映像を取得する。
【００４０】
そして、ステップＳ１２００において、ＥＣＵ３００は、入力した撮影画像から、エッジ点の候補点を抽出する。すなわち、ＥＣＵ３００は、車線抽出部３１０において、入力した撮影画像に対して所定のフィルタを施し、撮影画像から、所定の斜め方向のベクトルを持つエッジ成分を抽出する。
【００４１】
図４は、車線エッジを抽出するフィルタの一例を説明するための図である。
【００４２】
撮像部４００のカメラ部４１０は、広角カメラであり、車両後方の路面を斜めに見下ろして撮影する。したがって、図４（Ａ）に示すように、撮影画像８１０における走行車線両側の車線境界線８１１は、斜めに傾き、歪んだ形状となる。
【００４３】
そこで、車線抽出部３１０は、撮影画像８１０における車線境界線８１１が所定の傾き８１２を有している事を想定し、図４（Ｂ）に示すようなフィルタ係数８１３、８１４のフィルタを撮影画像８１０の各画素の輝度値にそれぞれ施し、得られた結果を加算する。これにより、車線抽出部３１０は、略水平方向となる停止線等、車線境界線以外の部分における輝度変化に対して、車線境界線における輝度変化を相対的に強める事ができる。
【００４４】
図５は、車線境界線における輝度変化を説明するための図である。
【００４５】
図５に示すように、通常、灰色である路面の画像部分８２１の輝度に比べて、白または黄色である車線境界線８１１の画像部分８２２の輝度は非常に高く、また、車線境界線８１１のエッジはシャープである。したがって、路面の画像部分８２１と車線境界線８１１の画像部分８２２との境界部分では、略水平方向における輝度変化の絶対値が大きくなる。そこで、車線抽出部３１０は、エッジ点の候補として、略水平方向における輝度変化の絶対値が所定値以上となる部分を抽出する。
【００４６】
そして、図３のステップＳ１３００において、ＥＣＵ３００は、ステップＳ１２００において抽出した複数のエッジ点の候補の位置関係から、最終的なエッジ点を決定する。具体的には、ＥＣＵ３００は、車線抽出部３１０において、所定の方向に連続した一定の長さ以上の点列を構成している複数のエッジ点の候補が存在する事を条件として、エッジ点の候補の中から最終的なエッジ点を決定し、上方視点データ生成部３３０へ出力する。
【００４７】
図６は、車線エッジの候補点の決定処理の一例を説明するための図である。
【００４８】
図６に示すように、車線抽出部３１０は、撮影画像８１０に対し、撮像部４００のカメラ部４１０の光軸中心を通る位置に、略水平方向に伸びる特定のライン（以下「着目ライン」という）８３１を予め設定している。
【００４９】
車線抽出部３１０は、着目ライン８３１において、略水平方向における輝度変化に基づき、エッジ点の候補（略水平方向における輝度変化が所定値以上となる点）を探索する。そして、車線抽出部３１０は、着目ライン８３１上にエッジ点の候補８３２が存在する場合には、着目ライン８３１の上下方向のそれぞれ縦幅Ｌａの範囲に、探索ベクトルＶｉで定義される探索中心位置８３３に設定する。
【００５０】
そして、車線抽出部３１０は、各探索中心位置８３３の左右方向のそれぞれ横幅Ｄｉの範囲を、探索範囲８３４に設定して、エッジ点の候補を探索する。そして、車線抽出部３１０は、探索範囲８３４内に存在するエッジ点の候補の数をカウントし、その数が所定値以上である場合には、着目ライン８３１上のエッジ点の候補８３２を、最終的なエッジ点に決定する。
【００５１】
ここでは、車線抽出部３１０は、車線境界線８１１の両側のエッジのうち、車両が走行する車線側のエッジであると推定されるエッジの位置を、エッジ点に決定するものとする。例えば、車線抽出部３１０は、撮影映像８１０の中心８３５の右側および左側のそれぞれにおいて、中心８３５からみて輝度が増大する方向に変化するエッジ点のうち中心８３５からの距離が最も短いエッジ点のみを、上方視点データ生成部３３０に出力する。
【００５２】
カメラ部４１０の光軸中心を通るラインは、他のラインよりも画面横方向の歪みが少なく、車線境界線の直線度合いや車線の位置を精度良く検出するのに有利である。探索ベクトルＶｉは、例えば、想定される車線境界線８１１の傾き（例えば図４の傾き８１２）に相当する方向ベクトルである。横幅Ｄｉは、検出誤差および実際の車線境界線８１１の傾きの範囲を考慮した値である。縦幅Ｌａは、検出誤差および車線境界線８１１であると判定するのに十分な長さを考慮した値である。したがって、車線抽出部３１０は、高い精度で、着目ライン８３１上に存在するエッジ点を抽出する事ができる。
【００５３】
そして、図３のステップＳ１４００において、ＥＣＵ３００は、車線境界線が検出されたか否かを判断する。すなわち、ＥＣＵ３００は、車線抽出部３１０において、着目ライン上においてエッジ点を抽出する事ができたか否かを判断する。ＥＣＵ３００は、車線境界線が検出された場合には（Ｓ１４００：ＹＥＳ）、ステップＳ１５００へ進み、車線境界線が検出されなかった場合には（Ｓ１４００：ＮＯ）、ステップＳ１６００へ進む。
【００５４】
ステップＳ１５００において、ＥＣＵ３００は、着目ライン上で検出されたエッジ点を上方視点マップに変換する。すなわち、ＥＣＵ３００は、上方視点データ生成部３３０において、車線抽出部３１０から入力されたエッジ点を、マッピングテーブル格納部３２０のマッピングテーブルを参照してエッジ位置座標に変換し、撮影映像と共に車線位置検出部３４０へ出力する。
【００５５】
図７は、マッピングテーブル格納部３２０が格納するマッピングテーブルの内容の一例を示す図である。
【００５６】
図７に示すように、マッピングテーブル８４０は、横軸をＸ軸とする撮影画像の座標系（以下「カメラ座標系」という）におけるＸ座標値８４１毎に、変換先である上方視点座標系におけるＸ座標値８４２を対応付けて記述する。上方視点座標系は、実世界の座標系であり、Ｘ座標値に差分およびＹ座標値の差分は、それぞれ、実空間におけるＸ軸方向における実際の距離およびＹ軸方向における実際の距離に対応するものとする。
【００５７】
図８は、上方視点変換の様子の一例を示す図である。
【００５８】
図８に示すように、上方視点データ生成部３３０は、入力された各エッジ点８５１のカメラ座標系８５２のＸ座標値を、マッピングテーブル８４０を参照して、上方視点座標系８５３のＸ座標値であるエッジ位置座標８５４に変換する。
【００５９】
例えば、図７に示すように、マッピングテーブル８４０において、カメラ座標系８５２におけるＸ座標値「２０５」に、上方視点座標系８５３におけるＸ座標値「２１２」が対応付けられているとする。このとき、図８に示すように、カメラ座標系８５２のＸＹ座標が（２０５，１２０）のエッジ点が入力されたとき、上方視点データ生成部３３０は、上方視点座標系８５３におけるＸ座標値「２１２」のエッジ位置座標に変換する。なお、この時点では、上方視点座標系の座標として必要な情報はＸ軸座標値のみである。
【００６０】
そして、ステップＳ１７００において、ＥＣＵ３００は、車線位置の判定を行う。すなわち、ＥＣＵ３００は、車線位置検出部３４０において、上方視点データ生成部３３０から入力された上方視点データの履歴を含む履歴情報を作成し、作成した履歴情報から、車線エッジの位置を求める。そして、車線位置検出部３４０は、求めた車線エッジの位置から、車線エッジと車両の代表点との間のエッジ距離（例えば図１のエッジ距離Ｄ）を求める。
【００６１】
ここで、車両から後方に向かって左側の車線エッジであると推定される車線エッジを「左エッジ」といい、左エッジのエッジ点を「左エッジ点」といい、左エッジ点のエッジ位置座標を「左エッジ位置座標」という。また、車両から後方に向かって右側の車線エッジであると推定されるエッジを「右エッジ」といい、右エッジのエッジ点を「右エッジ点」といい、右エッジ点のエッジ位置座標を「右エッジ位置座標」という。
【００６２】
また、時間幅Ｔにおける上方視点データの各サンプリング時刻を、最新のサンプリング時刻（現在時刻とする）から過去に遡る方向に、ｔ０、ｔ１、ｔ２、・・・、ｔｓと表現するものとする。そして、時間幅Ｔにおける上方視点データの各サンプリング時刻を、着目するサンプリング時刻から過去に遡る方向に、ｔ、ｔ−１、ｔ−２、・・・、ｔ−ｓと表現するものとする。
【００６３】
図９は、履歴情報の構成の一例を示す図である。また、図１０は、履歴情報８６０の上方視点データを時間軸上でプロットしたときの状態の一例を示す図である。
【００６４】
図９に示すように、履歴情報８６０は、所定のサンプリング数ｓに対応する直前の時間幅Ｔの各サンプリング時刻（ここではフレーム時刻とする）８６１に対応付けて、車速８６２、左エッジ位置座標８６３、右エッジ位置座標８６４、左差分値８６５、および右差分値８６６を記述する。左差分値８６５は、隣り合うサンプリング時刻間の左エッジ位置座標の差分値である。右差分値８６６は、隣り合うサンプリング時刻間の右エッジ位置座標の差分値である。
【００６５】
車線位置検出部３４０は、上方視点データが入力される毎に、入力された最新の上方視点データと１つ前のサンプリング時刻の上方視点データとを比較して、左差分値および右差分値を算出する。具体的には、車線位置検出部３４０は、左差分値αｌ（ｔ０）および右差分値α１（ｔ０）を、例えば、以下の式（１）〜式（３）を用いて算出する。ここで、Ｖは、車速であり、ΔＴは、１つ前の上方視点データに対するサンプリング間隔（フレーム間隔）であり、ＰｌおよびＰｒは、それぞれ左エッジ位置座標および右エッジ位置座標である。
αｌ（ｔ０） ＝ ｛Ｐｌ（ｔ０）−Ｐｌ（ｔ１）｝×Ｖ（ｔ０）×ΔＴ（ｔ０）
・・・（１）
αｒ（ｔ０） ＝ ｛Ｐｒ（ｔ０）−Ｐｒ（ｔ１）｝×Ｖ（ｔ０）×ΔＴ（ｔ０）
・・・（２）
ΔＴ（ｔ０） ＝ ｔ０ −ｔ１ ・・・（３）
【００６６】
そして、車線位置検出部３４０は、車両情報出力部５００から入力された最新の車両情報に含まれる車速と、最新の上方視点データと、算出した左差分値および右差分値とを、現在時刻である時刻ｔ０のレコードとして、履歴情報８６０に追加する。
【００６７】
なお、サンプリング数ｓは、車線境界線が破線であり途切れ部分を有する場合でも、２つ以上のエッジ位置座標が必ず取得されているような値が設定される。したがって、サンプリング数ｓは、例えば、以下の式（４）を満たす値が設定される。ここで、ΔＴｍｉｎは、サンプリング間隔（フレーム間隔）の最小値であり、Ｌは、車線境界線が途切れる長さであり、Ｂは、１以上の整数である余裕値である。
ｓ ＝ Ｌ／（Ｖ×ΔＴｍｉｎ） ＋ β ・・・（４）
【００６８】
ＮＴＳＣ信号の場合は、フレーム間隔が１／３０秒である事から、サンプリング間隔の最小値ΔＴｍｉｎとして、例えば１／３０秒が用いられる事になる。
【００６９】
車線位置検出部３４０は、履歴情報８６０を用いて、左エッジ位置座標と左エッジのエッジ傾きとから、左エッジまでのエッジ距離（以下「左エッジ距離」という）を算出する。また、車線位置検出部３４０は、履歴情報８６０を用いて、右エッジ位置座標と右エッジのエッジ傾きとから、右エッジまでのエッジ距離（以下「右エッジ距離」という）を算出する。
【００７０】
具体的には、車線位置検出部３４０は、例えば、以下の式（５）を用いて、エッジ傾きφを算出する。ここで、Ｍは、時間幅Ｔにおける車両のその前後方向における移動距離であり、例えば時刻ｔｓの車速Ｖｔｓと時刻ｔ０の車速Ｖｔ０との平均車速Ｖａに時間幅Ｔを乗じた値である。また、ΔＤは、時間幅Ｔにおける車両のその左右方向における車線境界線に対する移動距離であり、例えば時刻ｔｓの左エッジ位置座標Ｐｌｔｓから時刻ｔ０の左エッジ位置座標Ｐｌｔ０を差し引いた値である。但し、エッジ傾きφは、車線に対して車両が反時計回り方向に傾いているときを正の値とする。
ｔａｎφ ＝ ΔＤ／Ｍ ・・・（５）
【００７１】
そして、車線位置検出部３４０は、例えば、以下の式（６）および式（７）を用いて、左エッジ距離Ｄｌおよび右エッジ距離Ｄｒを算出する。ここで、Ｑｌｙは、上述の着目ラインのＹ座標値から車両の左側の代表点のＹ座標値を差し引いた値であり、Ｑｌｘは、車両の左側の代表点のＸ座標値から現在の左エッジ位置座標を差し引いた値である。また、Ｑｒｙは、上述の着目ラインのＹ座標値から車両の右側の代表点のＹ座標値を差し引いた値であり、Ｑｒｘは、現在の右エッジ位置座標から車両の右側の代表点のＸ軸座標値を差し引いた値である。
Ｄｌ ＝ Ｑｌｘ ＋ Ｑｌｙｔａｎφ ・・・（６）
Ｄｒ ＝ Ｑｒｘ − Ｑｒｙｔａｎφ ・・・（７）
【００７２】
なお、Ｑｌｙ、Ｑｒｙは、車両設計値であり、代表点が車両の前タイヤよりも前方に設定されているとき、代表点から前タイヤまでのＹ軸方向の距離、車両のホイールベース、車両のリアオーバーハング、および車載カメラから着目ラインまでの距離を加算した値となる。
【００７３】
そして、車線位置検出部３４０は、求めた左エッジ距離Ｄｌと右エッジ距離Ｄｒとが異なる場合には小さい方を、また、求めた左エッジ距離Ｄｌと右エッジ距離Ｄｒとが同一である場合にはその値を、エッジ距離Ｄに決定する。
【００７４】
なお、車両の代表点は、例えば車両２００の後部両角の点としてもよい。この場合、車両後左端の代表点の上方視点座標系における位置をＣｌ、車両後右端の代表点の上方視点座標系における位置をＣｒと置くと、エッジ距離Ｄは、例えば、左エッジ位置座標Ｐｌｔ０および右エッジ位置座標Ｐｒｔ０を用いて、以下の式（８）および式（９）により算出することができる。
Ｄ＝｜Ｃｒ−Ｐｒｔ０｜ （｜Ｃｒ−Ｐｒｔ０｜＜｜Ｃｌ−Ｐｌｔ０｜）
・・・・・・（８）
Ｄ＝｜Ｃｌ−Ｐｌｔ０｜ （｜Ｃｒ−Ｐｒｔ０｜≧｜Ｃｌ−Ｐｌｔ０｜）
・・・・・・（９）
【００７５】
また、車線が曲線である場合には、左エッジ位置座標Ｐｌｔ０または右エッジ位置座標Ｐｒｔ０から算出されるエッジ距離Ｄには、誤差が生じる。この誤差Ｄｉｆｆは、車線の曲線半径をＲｗと置くと、例えば、上述のＱｒｙを用いて、以下の式（１０）のように表される。
Ｄｉｆｆ ＝ Ｒｗ−√（Ｒｗ２−Ｑｒｙ２） ・・・・・・（１０）
【００７６】
したがって、車線位置検出部３４０は、エッジ距離Ｄを、誤差Ｄｉｆｆで補正しても良い。但し、高速道路の回転半径は通常２５０ｍ以上であるため、Ｑｒｙ＝５ｍとしても、
誤差Ｄｉｆｆは５ｃｍ程度である。
【００７７】
また、車線位置検出部３４０は、車両が車線を逸脱するまで（つまり、車線エッジに到達するまで）の推定時間Ｔｄを、例えば、時間幅Ｔの左差分値αｌ（右差分値αｒでも良い）から、以下の式（１１）を用いて算出する。
Ｔｄ ＝ Ｄ ／ ［Σαｌ（ｔ）／｛ｓ×ΔＴ（ｔ）｝］ ・・・（１１）
【００７８】
そして、図３のステップＳ１８００において、ＥＣＵ３００は、車両が車線を逸脱する可能性が高いといえる所定の条件（以下「警報条件」という）が満たされるかどうかを判断する。すなわち、ＥＣＵ３００は、車線位置検出部３４０において、算出したエッジ距離Ｄおよび逸脱までの推定時間Ｔｄが警報条件を満たすか否かを判断する。
【００７９】
警報条件は、エッジ距離Ｄの閾値Ｄｔｈと、逸脱までの推定時間Ｔｄの閾値Ｔｔｈとを用いて、例えば、以下の式（１２）を用いて表される。
Ｄ＜Ｄｔｈ かつ Ｔｄ＜Ｔｔｈ ・・・（１２）
【００８０】
ＥＣＵ３００は、警報条件が満たされない場合には（Ｓ１８００：ＮＯ）、ステップＳ１９００へ進み、警報条件が満たされる場合には（Ｓ１８００：ＹＥＳ）、ステップＳ２０００へ進む。
【００８１】
ステップＳ１９００において、ＥＣＵ３００は、電源オフ操作等により処理の終了を指示されたか否かを判断する。ＥＣＵ３００は、処理の終了を指示されていない場合は（Ｓ１９００：ＮＯ）、ステップＳ１１００へ戻り、次のフレームの撮影画像に処理を移し、車線逸脱の監視を継続する。
【００８２】
一方、ステップＳ２０００において、ＥＣＵ３００は、警告表示および警報出力を行う。すなわち、ＥＣＵ３００は、車線位置検出部３４０において、車両が近寄って行っている車線境界線の方向を示す情報を含む警告表示信号を生成し、表示出力部３５０へ出力すると共に、警報出力部３６０に対して警報出力を命令する。この結果、例えば、表示部６００は、車両が近寄って行っている車線境界線の方向を矢印のアイコンで表示し、警報部７００は、ビープ音を出力する。
【００８３】
また、ステップＳ１６００において、ＥＣＵ３００は、上方視点データの補間処理を行う。すなわち、ＥＣＵ３００は、上方視点データ生成部３３０において、左エッジ点および右エッジ点のうち車線抽出部３１０から入力されないエッジ点のエッジ位置座標を推定する。
【００８４】
上方視点データ生成部３３０は、車線抽出部３１０から入力されたエッジ点については、ステップＳ１５００と同様に上方視点座標への変換を行う。以下、上方視点データの補間の各種手法について説明する。図１１は、以下の説明で取り上げる、左エッジ点が上方視点データ生成部３３０に入力されなかった場合の、過去に取得された上方視点データを時間軸上でプロットしたときの状態を示す図である。
【００８５】
まず、過去の左エッジ位置座標の履歴から上方視点データを補間する手法について説明する。
【００８６】
各時刻のＸ座標値の差分値αは、車両が車線境界線が伸びる方向に対してほぼ真直ぐに走行している間は、ほぼゼロとなり、車両が車線境界線が伸びる方向に対して斜めに直進走行している間は、ゼロではない一定の値となる。
【００８７】
上方視点データ生成部３３０は、車線位置検出部３４０の履歴情報に記述された時間幅Ｔにおける左差分値αｌの平均値を用いて、現在時刻ｔ０の左エッジ位置座標の推定値Ｐｌｔ０'を算出する。具体的には、車線位置検出部３４０は、例えば、以下の式（１３）を用いて、現在の時刻ｔ０における左エッジ位置座標の推定値Ｐｌｔ０'を算出する。
Ｐｌｔ０' ＝ Ｐｔ１ ＋ Σαｌ（ｔ）／ｓ ・・・（１３）
【００８８】
そして、上方視点データ生成部３３０は、算出した左エッジ位置座標の推定値Ｐｌｔ０'を。左エッジ位置座標Ｐｌｔ０として、車線位置検出部３４０へ出力する。これにより、上方視点データ生成部３３０は、左エッジ点だけでなく右エッジ点も抽出されなかった場合でも、左エッジ位置座標Ｐｌｔ０を決定し、上方視点データを補間する事ができる。
【００８９】
次いで、右エッジ位置座標から上方視点データを補間する手法について説明する。
【００９０】
上方視点データ生成部３３０は、車線位置検出部３４０の履歴情報を参照し、例えば、以下の式（１４）を用いて、エッジ位置距離ΔＰを算出する。
ΔＰ ＝ Ｐｒ − Ｐｌ ・・・・・・（１４）
【００９１】
なお、上方視点データ生成部３３０は、１つ前のサンプリング時刻ｔ１の上方視線データを用いてエッジ位置距離ΔＰを算出する事が望ましい。また、上方視点データ生成部３３０は、検出誤差を考慮して、時間幅Ｔのエッジ位置距離ΔＰの平均値を採用したり、更に平均値を取る際にサンプリングからの経過時間に応じた重み付けを行っても良い。この場合、車線位置検出部３４０が、上方視線データが入力される毎に、エッジ位置距離ΔＰを算出し、履歴情報に記述しておく事が望ましい。
【００９２】
そして、上方視点データ生成部３３０は、算出したエッジ位置距離ΔＰと、現在時刻のｔ０の右エッジ位置座標Ｐｒｔ０から、例えば以下の式（１５）を用いて、現在の時刻ｔ０における左エッジ位置座標の推定値Ｐｌｔ０'を算出する。
Ｐｌｔ０' ＝ Ｐｒｔ０ − ΔＰ ・・・・・・（１５）
【００９３】
そして、上方視点データ生成部３３０は、算出した左エッジ位置座標の推定値Ｐｌｔ０'を、左エッジ位置座標Ｐｌｔ０として、車線位置検出部３４０へ出力する。これにより、上方視点データ生成部３３０は、時間幅Ｔにおいて左差分値αｌが大きく変動しているような場合でも、精度良く、左エッジ位置座標Ｐｌｔ０を決定し、上方視点データを補間する事ができる。
【００９４】
次いで、車両が曲線走行する場合に上方視点データの補間の精度を向上させる手法について説明する。
【００９５】
車線位置検出部３４０は、図１２に示すような、車両の舵角とタイヤ角との対応関係を、予め格納している。そして、車線位置検出部３４０は、この対応関係を用いて、車両情報出力部５００から入力される最新の舵角を逐次タイヤ角に変換し、現在のタイヤ角θとして、履歴情報に記述する。
【００９６】
図１３および図１４は、車両が曲線走行する場合の上方視点データ補間に用いられる各種パラメータを示す図である。
【００９７】
上方視点データ生成部３３０は、車線位置検出部３４０の履歴情報を参照し、現在のタイヤ角θから、例えば、以下の式（１６）を用いて、車両から後方に向かって左側の後タイヤの位置（以下「基準点」という）Ｐ０から車両２００の回転移動の回転中心Ｏまでの距離Ｒｌを算出する。ここで、Ｗｂは、車両２００のホイールベースである。
Ｒｌ ＝ Ｗｂ ／ ｔａｎθ ・・・・・・（１６）
【００９８】
また、上方視点データ生成部３３０は、基準位置Ｐ０を原点（０，０）とし、車両２００から後方に向かって右方向をｘ軸正方向とし車両２００から前方の方向をｙ軸正方向とする座標系（以下「タイヤ座標系」という）置く。タイヤ座標系は、実世界の座標系であり、Ｘ座標値に差分およびＹ座標値の差分は、それぞれ、実空間におけるＸ軸方向における実際の距離およびＹ軸方向における実際の距離に対応するものとする。
【００９９】
そして、上方視点データ生成部３３０は、車両２００の回転中心Ｏのタイヤ座標系における座標を、例えば以下の式（１７）を用いて取得する。
Ｏ（ｏｘ，ｏｙ） ＝ （−Ｒｌ，０） ・・・・・・（１７）
【０１００】
そして、上方視点データ生成部３３０は、１つ前のサンプリング時刻の車線位置Ｐｗ１左エッジ位置座標Ｐｌｔ１を、例えば以下の式（１８）を用いて、上述のタイヤ座標系の座標Ｐｗ１'に変換する。ここで、Ｐ０は、基準位置Ｐ０の上方視点座標である。
Ｐｗ１' ＝ Ｐｌｔ１ − Ｐ０ ・・・・・・（１８）
【０１０１】
そして、上方視点データ生成部３３０は、１つ前のサンプリング時刻の車線位置の実世界座標系における座標Ｐｗ１'を、回転中心Ｏを中心に回転させるときの回転半径Ｒを、例えば以下の式（１９）を用いて算出する。
Ｒ ＝ Ｗｂ ／ ｓｉｎθ ・・・・・・（１９）
【０１０２】
そして、上方視点データ生成部３３０は、例えば以下の式（２０）を用いて、車速Ｖと、サンプリング間隔ΔＴ（ｔ０）と、回転半径Ｒとから、１つ前のサンプリング時刻の車線位置の実世界座標系における座標Ｐｗ１'の回転角γを算出する。
γ ＝ ｔａｎ−１｛ Ｖ×ΔＴ（ｔ０） ／ Ｒ｝ ・・・・・・（２０）
【０１０３】
そして、上方視点データ生成部３３０は、例えば以下の式（２１）を用いて、座標Ｐｗ１'を回転角γだけ回転中心Ｏを中心に回転させた座標を、現在時刻ｔ０の車線位置の実世界座標系における座標Ｐｗ０として算出する。ここで、座標Ｐｗ１'の実世界座標系のｘｙ座標を（Ｐｗ１'ｘ，Ｐｗ１'ｙ）とする。
【数１】
【０１０４】
そして、上方視点データ生成部３３０は、たとえば以下の式（２２）を用いて、座標Ｐｗ０を、元の上方視点座標系の座標に変換し、更に基準位置Ｐ０のオフセットを元に戻す。
Ｐｗ０' ＝ （ Ｐｗ０ ／ ＰＭＭ ） ＋ Ｐ０ ・・・・・・（２２）
【０１０５】
上方視点データ生成部３３０は、このようにして得られた座標Ｐｗ０'を、左エッジ位置座標Ｐｌｔ０として、車線位置検出部３４０へ出力する。これにより、上方視点データ生成部３３０は、車両が回転走行している場合でも、精度良く、左エッジ位置座標Ｐｌｔ０を決定し、上方視点データを補間する事ができる。
【０１０６】
以上説明したように、本実施の形態に係る車線位置検出システム１００は、撮影映像の特定のライン上に存在するエッジ点のみを上方視点座標に変換する。これにより、車線位置検出システム１００は、撮影映像全体を変換する従来装置に比べて、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる。また、車線位置検出システム１００は、車両が走行する車線を規定する車線境界線のエッジであると推定されるエッジ点のみを上方視点座標に変換するため、更に処理負荷を低減することができる。すなわち、車線位置検出システム１００は、性能を抑えたプロセッサでも従来装置と同等の効果を得る事ができ、装置コストを抑える事が可能となる。
【０１０７】
ここで、１フレーム分の上方視点マップに必要なメモリ量Ｍ［バイト］および変換処理に必要な時間Ｔｔを、従来装置と本実施の形態に係るＥＣＵ３００との間でそれぞれ比較する。ここで、撮影画像は、ＶＧＡサイズの画像であるものとし、Ｈは、ヘッダ容量［バイト］であり、１画素当たり上方視点変換に必要なデータは、１バイトであり、Ｔｔ'は、１画素当たりの変換処理に要する時間［秒］であるものとする。
【０１０８】
従来装置に必要なメモリ量Ｍは、Ｈ＋６４０×４８０［バイト］となる。これに対し、本実施の形態に係る車線位置検出システム１００に必要なメモリ量Ｍは、Ｈ＋６４０×１［バイト］で済む。すなわち、本実施の形態に係る車線位置検出システム１００は、従来装置に比べて、上方視点マップに必要なメモリ量Ｍを、６４０×４７９［バイト］も削減することができる。
【０１０９】
また、従来装置に必要な時間Ｔｔは、Ｔｔ'×６４０×４８０［秒］となる。これに対し、本実施の形態に係る車線位置検出システム１００に必要な時間Ｔｔは、Ｔｔ'×２［秒］で済む。これは、本実施の形態に係る車線位置検出システム１００が、左エッジ点と右エッジ点の２箇所のみを変換するためである。すなわち、本実施の形態に係る車線位置検出システム１００は、従来装置に比べて、上方視点変換に必要な時間Ｔｔを、Ｔｔ'×３０７１９８［秒］も削減することができる。
【０１１０】
なお、以上説明した実施の形態では、車線位置検出システム１００は、警報を、撮影画像に重畳した警告表示と音声の出力とによって行うものとしたが、これに限定されない。例えば、車線位置検出システム１００は、運転席付近のインジケータにおけるアイコンや警告光の点灯、運転席やハンドルの振動等、他の手段によって、警報を行っても良い。また、車線位置検出システム１００は、車線境界線に対する車両の位置に基づいて、車両の車線逸脱を防ぐために車速や舵角をコントロールする等、車両の動作を制御するものであっても良い。
【０１１１】
また、エッジ位置のサンプリング間隔は、必ずしも撮影画像のフレーム間隔と同一としなくても良い。但し、処理の簡素化および高速化のため、サンプリング間隔は一定であることが望ましい。
【０１１２】
また、車載カメラの位置および数、検出の対象となる車線エッジの種類、車線エッジの抽出手法、エッジ位置を抽出する特定のラインの位置、エッジ位置座標の時系列データに基づくエッジ位置の検出手法、およびエッジ位置座標の補間手法は、上述の例に制限されない。更に、車両の代表点の位置および数、警報条件、および警報の種類も、上述の例に制限されない。例えば、警報条件は、車両と車線境界線との傾きが所定値以上となった事を含んでも良い。
【０１１３】
また、エッジ位置を抽出する特定のラインは、複数であっても良い。この場合、車線位置検出システム１００は、例えば、ラインのそれぞれに基づいて上方視点座標におけるエッジ位置を算出し、算出したエッジ位置を平均化する。これにより、車線位置検出システム１００は、エッジ位置の検出精度を向上させることができる。
【産業上の利用可能性】
【０１１４】
本発明に係る車線位置検出装置および車線位置検出方法は、低処理負荷で、車載カメラの撮影映像から車線境界線と車両との位置関係を検出する事ができる車線位置検出装置および車線位置検出方法として有用である。
【符号の説明】
【０１１５】
１００ 車線位置検出システム
２００ 車両
３００ ＥＣＵ
３１０ 車線抽出部
３２０ マッピングテーブル格納部
３３０ 上方視点データ生成部
３４０ 車線位置検出部
３５０ 表示出力部
３６０ 警報出力部
４００ 撮像部
５００ 車両情報出力部
６００ 表示部
７００ 警報部
【特許請求の範囲】
【請求項１】
車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出装置であって、
前記映像からの車線境界線の抽出を行う車線抽出部と、
抽出された前記車線境界線のエッジを上方視点座標に変換する上方視点データ生成部と、
前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出する車線位置検出部と、を有し、
前記上方視点データ生成部は、
前記映像の特定のライン上に存在する前記車線境界線のエッジ点のみを上方視点座標に変換し、
前記車線位置検出部は、
前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの位置を求める、
車線位置検出装置。
【請求項２】
前記車線位置検出部は、
前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの傾きを求め、求めた前記エッジの傾きから、前記位置関係を検出する、
請求項１記載の車線位置検出装置。
【請求項３】
前記上方視点データ生成部は、
前記車両が走行する車線を規定する車線境界線のエッジ点であると推定されるエッジ点のみを、前記上方視点座標に変換する、
請求項１記載の車線位置検出装置。
【請求項４】
前記車線抽出部は、
前記映像から前記車線境界線のエッジ点の候補を抽出し、抽出した複数のエッジ点の候補の位置関係から前記車線境界線のエッジ点を決定する、
請求項１記載の車線位置検出装置。
【請求項５】
前記車線境界線と前記車両との位置関係に応じて警報を出力させる警報出力部、を更に有する、
請求項１記載の車線位置検出装置。
【請求項６】
前記警報出力部は、
前記車両の代表点と直近の前記エッジとの距離が所定値以下となった事を条件として、前記警報を出力させる、
請求項５記載の車線位置検出装置。
【請求項７】
前記警報出力部は、
前記車両が直近の前記エッジに到達するまでの推定時間が所定値以下となった事を条件として、前記警報を出力させる、
請求項５記載の車線位置検出装置。
【請求項８】
前記警報出力部は、
前記車両と前記エッジとの傾きが所定値以上となった事を条件として、前記警報を出力させる、
請求項５記載の車線位置検出装置。
【請求項９】
前記上方視点データ生成部は、
前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの位置の補間を行う、
請求項１記載の車線位置検出装置。
【請求項１０】
前記上方視点データ生成部は、
前記車両の位置および向きの変位に基づいて、前記エッジ位置の補間を行う、
請求項９記載の車線位置検出装置。
【請求項１１】
車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出方法であって、
前記映像からの車線境界線の抽出を行うステップと、
抽出した前記車線境界線のエッジのうち前記映像の特定のライン上に存在するエッジ点のみを上方視点座標に変換するステップと、
前記上方視点座標における前記エッジ点の位置の時系列データから前記上方視点座標における前記エッジの位置を求めるステップと、
前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出するステップと、を有する、
車線位置検出方法。
【請求項１】
車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出装置であって、
前記映像からの車線境界線の抽出を行う車線抽出部と、
抽出された前記車線境界線のエッジを上方視点座標に変換する上方視点データ生成部と、
前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出する車線位置検出部と、を有し、
前記上方視点データ生成部は、
前記映像の特定のライン上に存在する前記車線境界線のエッジ点のみを上方視点座標に変換し、
前記車線位置検出部は、
前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの位置を求める、
車線位置検出装置。
【請求項２】
前記車線位置検出部は、
前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの傾きを求め、求めた前記エッジの傾きから、前記位置関係を検出する、
請求項１記載の車線位置検出装置。
【請求項３】
前記上方視点データ生成部は、
前記車両が走行する車線を規定する車線境界線のエッジ点であると推定されるエッジ点のみを、前記上方視点座標に変換する、
請求項１記載の車線位置検出装置。
【請求項４】
前記車線抽出部は、
前記映像から前記車線境界線のエッジ点の候補を抽出し、抽出した複数のエッジ点の候補の位置関係から前記車線境界線のエッジ点を決定する、
請求項１記載の車線位置検出装置。
【請求項５】
前記車線境界線と前記車両との位置関係に応じて警報を出力させる警報出力部、を更に有する、
請求項１記載の車線位置検出装置。
【請求項６】
前記警報出力部は、
前記車両の代表点と直近の前記エッジとの距離が所定値以下となった事を条件として、前記警報を出力させる、
請求項５記載の車線位置検出装置。
【請求項７】
前記警報出力部は、
前記車両が直近の前記エッジに到達するまでの推定時間が所定値以下となった事を条件として、前記警報を出力させる、
請求項５記載の車線位置検出装置。
【請求項８】
前記警報出力部は、
前記車両と前記エッジとの傾きが所定値以上となった事を条件として、前記警報を出力させる、
請求項５記載の車線位置検出装置。
【請求項９】
前記上方視点データ生成部は、
前記上方視点座標における前記エッジ点の位置の時系列データから、前記上方視点座標における前記エッジの位置の補間を行う、
請求項１記載の車線位置検出装置。
【請求項１０】
前記上方視点データ生成部は、
前記車両の位置および向きの変位に基づいて、前記エッジ位置の補間を行う、
請求項９記載の車線位置検出装置。
【請求項１１】
車両周辺の路面を車載カメラで撮影した映像から車線境界線と前記車両との位置関係を検出する車線位置検出方法であって、
前記映像からの車線境界線の抽出を行うステップと、
抽出した前記車線境界線のエッジのうち前記映像の特定のライン上に存在するエッジ点のみを上方視点座標に変換するステップと、
前記上方視点座標における前記エッジ点の位置の時系列データから前記上方視点座標における前記エッジの位置を求めるステップと、
前記上方視点座標における前記エッジの位置から前記車線境界線と前記車両との位置関係を検出するステップと、を有する、
車線位置検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２１５７６９（Ｐ２０１１−２１５７６９Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８１９８０（Ｐ２０１０−８１９８０）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]