車両周辺監視装置
【課題】現実の撮像視野が進入先道路の延設方向を向いているため当該方向の画像を表示できる場合は、当該進入先道路の方向を表示できるようにする。
【解決手段】車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置。左右方向の各撮影画像内の道路要素をそれぞれ調べる手段（Ｓ１７）と、前記調べた結果に基づく判定（Ｓ２１，Ｓ３１）により道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する（Ｓ２３，Ｓ３３）手段とを有する。
【解決手段】車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置。左右方向の各撮影画像内の道路要素をそれぞれ調べる手段（Ｓ１７）と、前記調べた結果に基づく判定（Ｓ２１，Ｓ３１）により道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する（Ｓ２３，Ｓ３３）手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両前部の左右を撮影可能なように車両に設置されるカメラ（ブラインドコーナーカメラ）による各撮影画像をそれぞれ表示装置に表示する機能を備えた車両周辺監視装置に関する。
【背景技術】
【０００２】
特開２００３−２７６５０６号公報には、進入先の道路と車両が現在走行中の道路（以下「現在道路」）との成す角度を道路地図情報から検出し、カメラの撮像視野が進入先の道路の延設方向を向いているか否かに応じて撮像画像の表示／非表示を切り換える車両周辺監視装置が記載されている（特許文献１，参照）。また、同公報には、交差点まで所定距離以内の場合、及び／又は、進入先の交差点が信号機を備えない場合、及び／又は、現在の道路の幅員が所定幅より小さい場合、及び／又は、現在の道路の車線数が所定数より少ない場合、車速が所定速度より小さい場合、ギアポジションが前進可能位置以外でない場合、及び／又は、サイドブレーキが引かれていない場合に撮像画像を表示することが記載されている。
【０００３】
【特許文献１】特開２００３−２７６５０６号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
車体前端部に固定されるブラインドコーナーカメラでは、左右の撮像可能範囲（撮像視野＝カメラ光軸から所定角度範囲）は、車体の向きに応じて決まる。つまり、車体が現実にどの方向を向いているかに応じて、撮像可能範囲が決まる。
特許文献１に記載の装置では、道路地図情報が持つ進入先道路と現在道路の角度に基づいて撮像視野が進入先道路延設方向を向いているか否かを判定しているため、例えば、右折待ちや左折待ちのように車体を現在の道路に対して若干傾斜させて停車していて進入先道路延設方向を正しく撮像できる場合でも、撮像視野が進入先道路延設方向を向いていないと判定されて画像が表示されなくなるという不具合が生ずる。
【０００５】
本発明は、現実の撮像視野が進入先道路の延設方向を向いているため当該方向の画像を表示できる場合は、当該進入先道路の方向を表示できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、下記［１］〜［５］のように構成される。
［１］構成１：
車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、
左右方向の各撮影画像内の道路要素をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する表示制御手段と、
を有することを特徴とする車両周辺監視装置。
【０００７】
カメラとしては、左右の画像をプリズムを介して単一の撮像素子へ導く所謂ブラインドコーナーカメラを用いることができるが、これに限定されず、左右それぞれの画像用に複数個の撮像素子を用いる構成でもよい。
道路要素とは、カメラの光軸方向に略沿う方向に延びる道路が当該カメラによる撮像画像内に有るか否かの判定に用いるパターンである。道路要素としては、例えば、カメラの光軸方向に略沿う方向に延びる道路中央線、カメラの光軸方向に略沿う方向に延びる歩道の縁石、自動車の前部又は後部、カメラの光軸方向に略沿う方向に延びる道路脇の溝、等を挙げることができる。画像認識手段としては、これらのパターンに合致する画像が撮像画像内に有るか否かを公知の画像認識処理により調べる機能を用いることができる。
【０００８】
［２］構成２：
構成１に於いて、
前記表示制御手段は前記画像認識手段により調べた結果に基づく判定により道路要素が認識されないと判定された方向の撮影画像を非表示に設定し、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されないと判定された方向の画像が表示されない旨を警告出力する警告出力手段を更に有する、
ことを特徴とする車両周辺監視装置。
例えば、左方向の画像内に道路要素が認識されないと判定されると、該左方向の画像が非表示に設定されて、その旨が警告出力される。右方向についても同様である。
警告は、表示装置上にその旨のメッセージ等を表示することで行なうことができる。また、その旨を音声出力で警告することもできる。
【０００９】
［３］構成３：
構成１又は構成２に於いて、
前記道路要素は、道路中央線、及び／又は、歩道の縁石、及び／又は、自動車、及び／又は、道路縁の溝である、
ことを特徴とする車両周辺監視装置。
【００１０】
［４］構成４：
構成１〜構成３の何れかに於いて、
カメラが設置される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から進入先道路が決まる場合にのみ前記画像認識手段による処理を実行するように設定する検査制御手段と、
を更に有することを特徴とする車両周辺監視装置。
現在位置検出手段としては公知のナビゲーション装置の現在位置検出機能（ＧＰＳ等を用いて現在位置を検出する機能）を用いることができる。
現在位置から決まる進入先道路とは、現在位置が何れかの道路上に在る場合は、当該道路の前方で交叉する道路が進入先道路となる。現在位置が何れの道路上にも無く且つ何れかの道路の近傍（例：数ｍ以内）に在る場合は、当該近傍の道路が進入先道路となる。これは、例えば、現在位置が当該近傍の道路に近い駐車場のような場合である。現在位置が何れの道路上にも無く且つ何れの道路の近傍にも無い場合には、現在位置から決まる進入先道路は無い。
【００１１】
［５］構成５：
構成１構成項３の何れかに於いて、
カメラが搭載される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から決まる進入先道路の道路情報を取得する道路情報取得手段と、
を更に有し、
前記画像認識手段は前記道路情報取得手段により取得した進入先道路の道路情報を参照して道路要素を調べる、
ことを特徴とする車両周辺監視装置。
道路情報としては、公知のナビゲーション装置がＤＶＤ−ＲＯＭやデータセンター等から取り込む情報を用いることができる。
「進入先道路の道路情報を参照して道路要素を調べる」とは、進入先道路が交差点から比較的近い位置で大きく屈曲している場合（図３（ａ）（ｂ）の仮想道路Ｒ１’参照）等を想定したものである。かかる場合、道路中央線の中で交差点に近い側の端部寄りは画像認識により検出されるが、遠い側は通常の消失点より近くで画像の縦縁側へ向けて大きく屈曲して該縦縁から画像外へ消える。このような場合、そのままでは道路要素が認識されないと誤判定されてしまう。このため、道路情報を参照して、適宜、修正し得るようにしたものである。遠い側が通常の消失点より近くで画像の左側の縦縁側へ向けて大きく屈曲して該縦縁から画像外へ消える場合の表示画像の例を、図４（ｂ）左画像に示す。
【発明の効果】
【００１２】
構成１は、車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、左右方向の各撮影画像内の道路要素をそれぞれ調べる画像認識手段と、前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する表示制御手段と、を有する車両周辺監視装置であるため、現実の撮像視野が進入先道路の延設方向を向いているため当該方向の画像を表示できる場合には、当該進入先道路の方向を表示することができる。
構成２は、構成１に於いて、前記表示制御手段は前記画像認識手段により調べた結果に基づく判定により道路要素が認識されないと判定された方向の撮影画像を非表示に設定し、前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されないと判定された方向の画像が表示されない旨を警告出力する警告出力手段を更に有する車両周辺監視装置であるため、構成１が持つ効果に加えて、さらに、現実の撮像視野が進入先道路の延設方向を向いていないため当該方向の道路要素を認識できない場合には当該方向の画像を非表示にしてその旨を警告できる効果がある。
構成３は、構成１又は構成２に於いて、前記道路要素は、道路中央線、及び／又は、歩道の縁石、及び／又は、自動車、及び／又は、道路縁の溝である車両周辺監視装置であるため、構成１や構成２が持つ効果に加えて、更に、道路要素の例を具体的に与え得る効果がある。
構成４は、構成１〜構成３の何れかに於いて、カメラが設置される車両の現在位置を検出する現在位置検出手段と、前記現在位置検出手段により検出した現在位置から進入先道路が決まる場合にのみ前記画像認識手段による処理を実行するように設定する検査制御手段とを更に有する車両周辺監視装置であるため、進入先道路が無い場合に道路要素を調べる画像認識を行なわなくてもよい効果がある。
構成５は、構成１〜構成項３の何れかに於いて、カメラが搭載される車両の現在位置を検出する現在位置検出手段と、前記現在位置検出手段により検出した現在位置から決まる進入先道路の道路情報を取得する道路情報取得手段とを更に有し、前記画像認識手段は前記道路情報取得手段により取得した進入先道路の道路情報を参照して道路要素を調べる車両周辺監視装置であるため、例えば、道路が交差点近傍で屈曲していて道路要素を認識できない場合でも、現実の撮像視野が進入先道路の方向を向いている場合には、当該進入先道路の方向を表示することができる。
【発明を実施するための最良の形態】
【００１３】
図面を参照して本発明の実施の形態を説明する。
図１は実施の形態の車両周辺監視装置の制御部の構成を示すブロック図、図２はブラインドコーナーカメラ画像制御手順を示すフローチャート、図３は進入先道路と車体方向と表示／非表示の関係を示す説明図、図４はブラインドコーナーカメラ画像の表示／非表示例を示す説明図である。
【００１４】
図１に示す本実施の形態の車両周辺監視装置は、公知のカーナビゲーション機能と車両制御機能と画像認識機能とを有し更にブラインドコーナーカメラ画像制御機能を有するＥＣＵ（Electronic Control Unit)１０と、ＥＣＵ１０に接続された表示装置１１と、スピーカ１２と、操作入力装置１３とを有する。また、ＥＣＵ１０には、カーナビゲーション機能で用いるための道路情報等が記憶されたハードディスク１５が接続されている。これに代えて、道路情報等がＤＶＤ−ＲＯＭ等に格納されている構成であってもよい。表示装置１１には、カーナビゲーション機能を実現するための画像が表示される他、後述のように、車両前部左右方向の画像が適宜に表示される。スピーカ１２についても同様に、カーナビゲーション機能を実現するための音声の他、車両前部左右方向の画像が表示されない場合の警告音声が出力される。
【００１５】
ＧＰＳ受信機２１では、カーナビゲーション機能が現在位置を求めるために用いるＧＰＳ衛星からの信号が受信される。無線通信装置２２は、カーナビゲーション機能が道路情報を随時更新等するべく公知のデータセンターと通信する際に用いられる。更新された道路情報は、ハードディスク１５に格納される。これらの情報を用いる公知の演算によりカーナビゲーション機能にて生成された現在位置情報や道路情報は、適宜、ブラインドコーナーカメラ画像制御機能に与えられる。
【００１６】
公知の車速センサ２４からの検出信号は、車両制御機能が車速を演算するために用いられる。この情報を用いる公知の演算により車両制御機能により生成された車速情報は、適宜、ブラインドコーナーカメラ画像制御機能に与えられる。なお、更にシフト位置情報等を与えるように構成することもできる。
【００１７】
車両の前端部略中央部位に設置される公知のブラインドコーナーカメラＢＣＣにて撮像された左右の画像信号は、画像処理回路１６にて公知の画像処理を施され、ＥＣＵ１０に入力される。このように生成されて入力された左右の画像データは、画像認識機能にて道路要素が含まれるか否かを判定する公知の画像認識処理に供され、その結果が、ブラインドコーナーカメラ画像制御機能に送られる。また、上記のように生成されて入力された左右の画像データは、上記の画像認識結果に基づいて、ブラインドコーナーカメラ画像制御機能により後述のように表示／非表示を制御される。
【００１８】
以下、図２を参照して、ブラインドコーナーカメラ画像処理の手順を説明する。
ブラインドコーナーカメラ画像処理は、所定の時間間隔（撮像画像の表示／非表示を適切に切り換え得る時間間隔／例：５０ｍｓｅｃ毎）で実行され、これにより、ブラインドコーナー画像制御機能が実現される。
【００１９】
まず、現在位置情報と現在位置情報に基づいて進入先道路を決めるために必要な現在位置付近の道路情報を公知のカーナビゲーション装置（前記カーナーゲーション機能）から取得して、現在位置付近の道路情報に基づいて進入先道路情報を得る（Ｓ０１）。この進入先道路情報は、進入先道路が交差点から近い位置で大きく屈曲している（図３（ａ）（ｂ）の仮想道路Ｒ１’及び図４（ｂ）左画像，参照）等のためにカメラが進入先道路の延設方向を向いているにもかかわらず当該方向の道路を表示できないような場合に参照して表示／非表示を適切に行なうために用いられる。
上記に於いて、進入先道路とは、現在位置が何れかの道路上に在る場合は、当該道路の前方で交叉する道路である。現在位置が何れの道路上にも無く且つ何れかの道路の近傍（例：数ｍ以内）に在る場合は、当該近傍の道路が進入先道路となる。これは、例えば、現在位置が当該近傍の道路に近い駐車場のような場合である。現在位置が何れの道路上にも無く且つ何れの道路の近傍にも無い場合には、現在位置から決まる進入先道路は無い。
ステップＳ０１では、また、車両速度情報（車両情報）を、公知のカーナビゲーション装置又は車両制御装置（前記カーナビゲーション機能又は前記車両制御機能）から取得する（Ｓ０１）。車両速度情報は、速度センサ２４の検出値に基づいて公知のカーナビゲーション装置又は車両制御装置により演算されているものとする。
【００２０】
ステップＳ０３では、車両速度が所定値ａ［ｋｍ／ｈｏｕｒ］（例：６［ｋｍ／ｈｏｕｒ］）以下か否かをチェックする。ここで、「所定ａ以下」とは「閾値が所定値ａ」という意味である。したがって、このステップＳ０３の判定は、「所定値ａ未満・所定値ａ以上」の組で判定する場合と、「所定値ａ以下・所定値ａより大」の組で判定する場合の何れで行なってもよい。
車両速度が所定値ａ［ｋｍ／ｈｏｕｒ］を越えている場合に於いて（Ｓ０３でＮＯ）、ブラインドコーナーカメラがオン状態の場合は（Ｓ０５でＹＥＳ）、ブラインドコーナーカメラをオフする（Ｓ０７）。
車両速度が所定値ａ［ｋｍ／ｈｏｕｒ］以下の場合に於いて（Ｓ０３でＹＥＳ）、ブラインドコーナーカメラがオフ状態の場合は（Ｓ１１でＹＥＳ）、ブラインドコーナーカメラを起動する（Ｓ１３）。
【００２１】
ステップＳ１５では、車両の現在位置が、進入先道路が決まる位置か否か判定する。つまり、車両の現在位置が道路進入位置（交差点等への進入位置）か否かを判定する。
例えば、現在位置が何れかの道路上に在る場合は、当該道路の前方で交叉する道路が進入先道路となるため、当該交差点が現在位置から所定距離（例：１０ｍ）以内に位置するのであれば「道路進入位置（進入先道路が決まる位置）である」と判定する。
また、現在位置が何れの道路上にも無く且つ何れかの道路の近傍（例：数ｍ以内）に在る場合は、当該道路が進入先道路となるため、「道路進入位置（進入先道路が決まる位置）である」と判定する。例えば、現在位置が駐車場のような場合である。
現在位置が何れの道路上にも無く且つ何れの道路の近傍にも無い場合は、現在位置から決まり得る進入先道路は無いため、「道路進入位置（進入先道路が決まる位置）ではない」と判定する。
【００２２】
ステップＳ１５で「道路進入位置ではない」と判定された場合は（Ｓ１５でＮＯ）、左右のカメラによる撮影画像をそれぞれ非表示に設定する（Ｓ１９）。
【００２３】
ステップＳ１５で「道路進入位置である」と判定された場合は（Ｓ１５でＹＥＳ）、画像認識処理を実行する。なお、画像認識処理は公知の画像認識機能にて実行され、ブラインドコーナーカメラ画像制御機能には、画像認識の結果が与えられる。即ち、道路要素が認識されたか否かの結果が与えられる。
画像認識処理では、ブラインドコーナーカメラＢＣＣの視野角内に所定の道路要素が有るか否かが調べられる。道路要素としては、例えば、カメラの光軸方向に略沿う方向に延びる道路中央線、カメラの光軸方向に略沿う方向に延びる歩道の縁石、自動車の前部画像又は後部画像、カメラの光軸方向に略沿う方向に延びる道路脇の溝、等を挙げることができる。これらの道路要素を適宜に組み合わせて用い、それらが撮像画像内にて検出されるか否を調べるすることで、当該の方向（当該の画像内）に道路が存在するか否かを判定することができる。
【００２４】
図３を参照して説明する。
ブラインドコーナーカメラＢＣＣの右と左の視野角θａとθｂは、それぞれ、右視野前方限界Ｌａ１と右視野後方限界Ｌａ０の間の角度、左視野前方限界Ｌｂ１と左視野後方限界Ｌｂ０の間の角度として与えられる。
【００２５】
図３（ｂ）の場合には、上記した右の視野角θａ内に進入先道路Ｒ１の右道路部分の延設方向が概ね収まるように車両が向いている。このため、右方向の道路要素が正常に認識され、結果、右方向の道路要素が正常に認識されたと判定されて（Ｓ２１でＹＥＳ）、右カメラの画像が図４（ａ）右欄のように表示される（Ｓ２３）。
また、図３（ｂ）の場合には、上記した左の視野角θｂ内に進入先道路Ｒ１の左道路部分の延設方向も概ね収まるように車両が向いている。このため、左方向の道路要素も正常に認識され、結果、左方向の道路要素が認識されたと判定されて（Ｓ３１でＹＥＳ）、左カメラの画像が図４（ａ）左欄のように表示される（Ｓ３３）。
このように、図３（ｂ）の場合には、左右両方向ともに進入先道路Ｒ１の道路要素が正常に認識され、結果、図４（ａ）のように、左右の画像が正常に表示される。
【００２６】
一方、図３（ａ）の場合には、上記した右の視野角θａ内から進入先道路Ｒ１の右道路部分の延設方向が外れるように車両が向いている。このため、右方向の道路要素が正常に認識されず、結果、右方向の道路要素が正常に認識されなかったと判定されて（Ｓ２１でＮＯ）、右カメラの画像が非表示に設定されるとともに、進入先道路Ｒ１の右道路部分を表示できない旨が警告出力される（Ｓ２５）。右道路部分を非表示に設定し、且つ、右道路部分を非表示とした旨の警告を表示した様子を図４（ｂ）の右欄に例示する（なお、図４（ｂ）では左道路部分は表示されており、この点で、左右ともに道路要素を認識できない図３（ａ）の場合とは異なる。）。
また、図３（ａ）の場合には、上記した左の視野角θｂ内から進入先道路Ｒ１の左道路部分の延設方向も外れるように車両が向いている。このため、左方向の道路要素も正常に認識されず、結果、左方向の道路要素も正常に認識されなかったと判定されて（Ｓ３１でＮＯ）、左カメラの画像も非表示に設定されるとともに、進入先道路Ｒ１の左道路部分を表示できない旨が警告出力される（Ｓ３５）。
このように、図３（ａ）の場合には、左右両方向ともに進入先道路Ｒ１の道路要素が正常に認識されず、結果、図４（ｃ）のように、左右ともに画像が非表示に設定されるとともに、進入先道路Ｒ１の左右ともに非表示にした旨が警告出力される。
なお、上記の警告は、図４（ｂ）の右欄や図４（ｃ）のような表示に代えて、又は、これらの表示とともに、音声で行なうようにしてもよい。
【００２７】
進入先道路の左道路部分が交差点の近くで大きく屈曲している場合を説明する。
図３（ａ）と（ｂ）に太二点鎖線（仮想線）で示すＲ１’が、交差点の近くで大きく屈曲している道路の例である。この仮想線道路Ｒ１’のように道路が交差点の近くで大きく屈曲している場合には、車両がどの方向を向いていたとしても、道路Ｒ１’内の道路要素は正常に認識されない。例えば、車両が図３（ｂ）のように進入先道路の左道路部分を撮像可能な向き（視野角θｂに左道路部分が入る向き）に向いていたとしても、仮想線道路Ｒ１’内の道路要素は正常に認識されない。そのままでは、正常な表示が可能であるにもかかわらず、左道路部分は非表示に設定されてしまう。
そこで、このような場合には、進入先道路の道路情報を参照して、表示／非表示を設定するようにしてもよい。即ち、道路情報から当該位置が道路要素を正常に認識できない位置であると判定される場合には、たとえ道路要素を正常に認識できなくても、画像を表示するように構成してもよい。即ち、前述の構成［５］のように構成してもよい。
交差点の近くで大きく屈曲しているために道路要素を正常に認識できない道路を表示した様子を、図４（ｂ）左欄に例示する。なお、図４（ｂ）右欄は右道路部分を表示できない場合の表示例を示す図であり、ここでの説明には一切関係がない表示である。
【図面の簡単な説明】
【００２８】
【図１】実施の形態の車両周辺開始装置の信号の入出力を示すブロック図。
【図２】実施の形態の車両周辺監視装置のブラインドコーナーカメラ処理を示すフローチャート。
【図３】車両Ｃが現在の道路Ｒ２に沿っているか傾斜しているかに応じて進入先道路Ｒ１でのカメラ視野が異なることを示す説明図。
【図４】進入先右道路・左道路の表示／非表示と警告の説明図。
【符号の説明】
【００２９】
θａ 視野角（右）
θｂ 視野角（左）
Ｌａ１ 右視野前方限界
Ｌａ０ 右視野後方限界
Ｌｂ１ 左視野前方限界
Ｌｂ０ 左視野後方限界
Ｃ 自動車
ＢＣＣ ブラインドコーナーカメラ
【技術分野】
【０００１】
本発明は、車両前部の左右を撮影可能なように車両に設置されるカメラ（ブラインドコーナーカメラ）による各撮影画像をそれぞれ表示装置に表示する機能を備えた車両周辺監視装置に関する。
【背景技術】
【０００２】
特開２００３−２７６５０６号公報には、進入先の道路と車両が現在走行中の道路（以下「現在道路」）との成す角度を道路地図情報から検出し、カメラの撮像視野が進入先の道路の延設方向を向いているか否かに応じて撮像画像の表示／非表示を切り換える車両周辺監視装置が記載されている（特許文献１，参照）。また、同公報には、交差点まで所定距離以内の場合、及び／又は、進入先の交差点が信号機を備えない場合、及び／又は、現在の道路の幅員が所定幅より小さい場合、及び／又は、現在の道路の車線数が所定数より少ない場合、車速が所定速度より小さい場合、ギアポジションが前進可能位置以外でない場合、及び／又は、サイドブレーキが引かれていない場合に撮像画像を表示することが記載されている。
【０００３】
【特許文献１】特開２００３−２７６５０６号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
車体前端部に固定されるブラインドコーナーカメラでは、左右の撮像可能範囲（撮像視野＝カメラ光軸から所定角度範囲）は、車体の向きに応じて決まる。つまり、車体が現実にどの方向を向いているかに応じて、撮像可能範囲が決まる。
特許文献１に記載の装置では、道路地図情報が持つ進入先道路と現在道路の角度に基づいて撮像視野が進入先道路延設方向を向いているか否かを判定しているため、例えば、右折待ちや左折待ちのように車体を現在の道路に対して若干傾斜させて停車していて進入先道路延設方向を正しく撮像できる場合でも、撮像視野が進入先道路延設方向を向いていないと判定されて画像が表示されなくなるという不具合が生ずる。
【０００５】
本発明は、現実の撮像視野が進入先道路の延設方向を向いているため当該方向の画像を表示できる場合は、当該進入先道路の方向を表示できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、下記［１］〜［５］のように構成される。
［１］構成１：
車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、
左右方向の各撮影画像内の道路要素をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する表示制御手段と、
を有することを特徴とする車両周辺監視装置。
【０００７】
カメラとしては、左右の画像をプリズムを介して単一の撮像素子へ導く所謂ブラインドコーナーカメラを用いることができるが、これに限定されず、左右それぞれの画像用に複数個の撮像素子を用いる構成でもよい。
道路要素とは、カメラの光軸方向に略沿う方向に延びる道路が当該カメラによる撮像画像内に有るか否かの判定に用いるパターンである。道路要素としては、例えば、カメラの光軸方向に略沿う方向に延びる道路中央線、カメラの光軸方向に略沿う方向に延びる歩道の縁石、自動車の前部又は後部、カメラの光軸方向に略沿う方向に延びる道路脇の溝、等を挙げることができる。画像認識手段としては、これらのパターンに合致する画像が撮像画像内に有るか否かを公知の画像認識処理により調べる機能を用いることができる。
【０００８】
［２］構成２：
構成１に於いて、
前記表示制御手段は前記画像認識手段により調べた結果に基づく判定により道路要素が認識されないと判定された方向の撮影画像を非表示に設定し、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されないと判定された方向の画像が表示されない旨を警告出力する警告出力手段を更に有する、
ことを特徴とする車両周辺監視装置。
例えば、左方向の画像内に道路要素が認識されないと判定されると、該左方向の画像が非表示に設定されて、その旨が警告出力される。右方向についても同様である。
警告は、表示装置上にその旨のメッセージ等を表示することで行なうことができる。また、その旨を音声出力で警告することもできる。
【０００９】
［３］構成３：
構成１又は構成２に於いて、
前記道路要素は、道路中央線、及び／又は、歩道の縁石、及び／又は、自動車、及び／又は、道路縁の溝である、
ことを特徴とする車両周辺監視装置。
【００１０】
［４］構成４：
構成１〜構成３の何れかに於いて、
カメラが設置される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から進入先道路が決まる場合にのみ前記画像認識手段による処理を実行するように設定する検査制御手段と、
を更に有することを特徴とする車両周辺監視装置。
現在位置検出手段としては公知のナビゲーション装置の現在位置検出機能（ＧＰＳ等を用いて現在位置を検出する機能）を用いることができる。
現在位置から決まる進入先道路とは、現在位置が何れかの道路上に在る場合は、当該道路の前方で交叉する道路が進入先道路となる。現在位置が何れの道路上にも無く且つ何れかの道路の近傍（例：数ｍ以内）に在る場合は、当該近傍の道路が進入先道路となる。これは、例えば、現在位置が当該近傍の道路に近い駐車場のような場合である。現在位置が何れの道路上にも無く且つ何れの道路の近傍にも無い場合には、現在位置から決まる進入先道路は無い。
【００１１】
［５］構成５：
構成１構成項３の何れかに於いて、
カメラが搭載される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から決まる進入先道路の道路情報を取得する道路情報取得手段と、
を更に有し、
前記画像認識手段は前記道路情報取得手段により取得した進入先道路の道路情報を参照して道路要素を調べる、
ことを特徴とする車両周辺監視装置。
道路情報としては、公知のナビゲーション装置がＤＶＤ−ＲＯＭやデータセンター等から取り込む情報を用いることができる。
「進入先道路の道路情報を参照して道路要素を調べる」とは、進入先道路が交差点から比較的近い位置で大きく屈曲している場合（図３（ａ）（ｂ）の仮想道路Ｒ１’参照）等を想定したものである。かかる場合、道路中央線の中で交差点に近い側の端部寄りは画像認識により検出されるが、遠い側は通常の消失点より近くで画像の縦縁側へ向けて大きく屈曲して該縦縁から画像外へ消える。このような場合、そのままでは道路要素が認識されないと誤判定されてしまう。このため、道路情報を参照して、適宜、修正し得るようにしたものである。遠い側が通常の消失点より近くで画像の左側の縦縁側へ向けて大きく屈曲して該縦縁から画像外へ消える場合の表示画像の例を、図４（ｂ）左画像に示す。
【発明の効果】
【００１２】
構成１は、車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、左右方向の各撮影画像内の道路要素をそれぞれ調べる画像認識手段と、前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する表示制御手段と、を有する車両周辺監視装置であるため、現実の撮像視野が進入先道路の延設方向を向いているため当該方向の画像を表示できる場合には、当該進入先道路の方向を表示することができる。
構成２は、構成１に於いて、前記表示制御手段は前記画像認識手段により調べた結果に基づく判定により道路要素が認識されないと判定された方向の撮影画像を非表示に設定し、前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されないと判定された方向の画像が表示されない旨を警告出力する警告出力手段を更に有する車両周辺監視装置であるため、構成１が持つ効果に加えて、さらに、現実の撮像視野が進入先道路の延設方向を向いていないため当該方向の道路要素を認識できない場合には当該方向の画像を非表示にしてその旨を警告できる効果がある。
構成３は、構成１又は構成２に於いて、前記道路要素は、道路中央線、及び／又は、歩道の縁石、及び／又は、自動車、及び／又は、道路縁の溝である車両周辺監視装置であるため、構成１や構成２が持つ効果に加えて、更に、道路要素の例を具体的に与え得る効果がある。
構成４は、構成１〜構成３の何れかに於いて、カメラが設置される車両の現在位置を検出する現在位置検出手段と、前記現在位置検出手段により検出した現在位置から進入先道路が決まる場合にのみ前記画像認識手段による処理を実行するように設定する検査制御手段とを更に有する車両周辺監視装置であるため、進入先道路が無い場合に道路要素を調べる画像認識を行なわなくてもよい効果がある。
構成５は、構成１〜構成項３の何れかに於いて、カメラが搭載される車両の現在位置を検出する現在位置検出手段と、前記現在位置検出手段により検出した現在位置から決まる進入先道路の道路情報を取得する道路情報取得手段とを更に有し、前記画像認識手段は前記道路情報取得手段により取得した進入先道路の道路情報を参照して道路要素を調べる車両周辺監視装置であるため、例えば、道路が交差点近傍で屈曲していて道路要素を認識できない場合でも、現実の撮像視野が進入先道路の方向を向いている場合には、当該進入先道路の方向を表示することができる。
【発明を実施するための最良の形態】
【００１３】
図面を参照して本発明の実施の形態を説明する。
図１は実施の形態の車両周辺監視装置の制御部の構成を示すブロック図、図２はブラインドコーナーカメラ画像制御手順を示すフローチャート、図３は進入先道路と車体方向と表示／非表示の関係を示す説明図、図４はブラインドコーナーカメラ画像の表示／非表示例を示す説明図である。
【００１４】
図１に示す本実施の形態の車両周辺監視装置は、公知のカーナビゲーション機能と車両制御機能と画像認識機能とを有し更にブラインドコーナーカメラ画像制御機能を有するＥＣＵ（Electronic Control Unit)１０と、ＥＣＵ１０に接続された表示装置１１と、スピーカ１２と、操作入力装置１３とを有する。また、ＥＣＵ１０には、カーナビゲーション機能で用いるための道路情報等が記憶されたハードディスク１５が接続されている。これに代えて、道路情報等がＤＶＤ−ＲＯＭ等に格納されている構成であってもよい。表示装置１１には、カーナビゲーション機能を実現するための画像が表示される他、後述のように、車両前部左右方向の画像が適宜に表示される。スピーカ１２についても同様に、カーナビゲーション機能を実現するための音声の他、車両前部左右方向の画像が表示されない場合の警告音声が出力される。
【００１５】
ＧＰＳ受信機２１では、カーナビゲーション機能が現在位置を求めるために用いるＧＰＳ衛星からの信号が受信される。無線通信装置２２は、カーナビゲーション機能が道路情報を随時更新等するべく公知のデータセンターと通信する際に用いられる。更新された道路情報は、ハードディスク１５に格納される。これらの情報を用いる公知の演算によりカーナビゲーション機能にて生成された現在位置情報や道路情報は、適宜、ブラインドコーナーカメラ画像制御機能に与えられる。
【００１６】
公知の車速センサ２４からの検出信号は、車両制御機能が車速を演算するために用いられる。この情報を用いる公知の演算により車両制御機能により生成された車速情報は、適宜、ブラインドコーナーカメラ画像制御機能に与えられる。なお、更にシフト位置情報等を与えるように構成することもできる。
【００１７】
車両の前端部略中央部位に設置される公知のブラインドコーナーカメラＢＣＣにて撮像された左右の画像信号は、画像処理回路１６にて公知の画像処理を施され、ＥＣＵ１０に入力される。このように生成されて入力された左右の画像データは、画像認識機能にて道路要素が含まれるか否かを判定する公知の画像認識処理に供され、その結果が、ブラインドコーナーカメラ画像制御機能に送られる。また、上記のように生成されて入力された左右の画像データは、上記の画像認識結果に基づいて、ブラインドコーナーカメラ画像制御機能により後述のように表示／非表示を制御される。
【００１８】
以下、図２を参照して、ブラインドコーナーカメラ画像処理の手順を説明する。
ブラインドコーナーカメラ画像処理は、所定の時間間隔（撮像画像の表示／非表示を適切に切り換え得る時間間隔／例：５０ｍｓｅｃ毎）で実行され、これにより、ブラインドコーナー画像制御機能が実現される。
【００１９】
まず、現在位置情報と現在位置情報に基づいて進入先道路を決めるために必要な現在位置付近の道路情報を公知のカーナビゲーション装置（前記カーナーゲーション機能）から取得して、現在位置付近の道路情報に基づいて進入先道路情報を得る（Ｓ０１）。この進入先道路情報は、進入先道路が交差点から近い位置で大きく屈曲している（図３（ａ）（ｂ）の仮想道路Ｒ１’及び図４（ｂ）左画像，参照）等のためにカメラが進入先道路の延設方向を向いているにもかかわらず当該方向の道路を表示できないような場合に参照して表示／非表示を適切に行なうために用いられる。
上記に於いて、進入先道路とは、現在位置が何れかの道路上に在る場合は、当該道路の前方で交叉する道路である。現在位置が何れの道路上にも無く且つ何れかの道路の近傍（例：数ｍ以内）に在る場合は、当該近傍の道路が進入先道路となる。これは、例えば、現在位置が当該近傍の道路に近い駐車場のような場合である。現在位置が何れの道路上にも無く且つ何れの道路の近傍にも無い場合には、現在位置から決まる進入先道路は無い。
ステップＳ０１では、また、車両速度情報（車両情報）を、公知のカーナビゲーション装置又は車両制御装置（前記カーナビゲーション機能又は前記車両制御機能）から取得する（Ｓ０１）。車両速度情報は、速度センサ２４の検出値に基づいて公知のカーナビゲーション装置又は車両制御装置により演算されているものとする。
【００２０】
ステップＳ０３では、車両速度が所定値ａ［ｋｍ／ｈｏｕｒ］（例：６［ｋｍ／ｈｏｕｒ］）以下か否かをチェックする。ここで、「所定ａ以下」とは「閾値が所定値ａ」という意味である。したがって、このステップＳ０３の判定は、「所定値ａ未満・所定値ａ以上」の組で判定する場合と、「所定値ａ以下・所定値ａより大」の組で判定する場合の何れで行なってもよい。
車両速度が所定値ａ［ｋｍ／ｈｏｕｒ］を越えている場合に於いて（Ｓ０３でＮＯ）、ブラインドコーナーカメラがオン状態の場合は（Ｓ０５でＹＥＳ）、ブラインドコーナーカメラをオフする（Ｓ０７）。
車両速度が所定値ａ［ｋｍ／ｈｏｕｒ］以下の場合に於いて（Ｓ０３でＹＥＳ）、ブラインドコーナーカメラがオフ状態の場合は（Ｓ１１でＹＥＳ）、ブラインドコーナーカメラを起動する（Ｓ１３）。
【００２１】
ステップＳ１５では、車両の現在位置が、進入先道路が決まる位置か否か判定する。つまり、車両の現在位置が道路進入位置（交差点等への進入位置）か否かを判定する。
例えば、現在位置が何れかの道路上に在る場合は、当該道路の前方で交叉する道路が進入先道路となるため、当該交差点が現在位置から所定距離（例：１０ｍ）以内に位置するのであれば「道路進入位置（進入先道路が決まる位置）である」と判定する。
また、現在位置が何れの道路上にも無く且つ何れかの道路の近傍（例：数ｍ以内）に在る場合は、当該道路が進入先道路となるため、「道路進入位置（進入先道路が決まる位置）である」と判定する。例えば、現在位置が駐車場のような場合である。
現在位置が何れの道路上にも無く且つ何れの道路の近傍にも無い場合は、現在位置から決まり得る進入先道路は無いため、「道路進入位置（進入先道路が決まる位置）ではない」と判定する。
【００２２】
ステップＳ１５で「道路進入位置ではない」と判定された場合は（Ｓ１５でＮＯ）、左右のカメラによる撮影画像をそれぞれ非表示に設定する（Ｓ１９）。
【００２３】
ステップＳ１５で「道路進入位置である」と判定された場合は（Ｓ１５でＹＥＳ）、画像認識処理を実行する。なお、画像認識処理は公知の画像認識機能にて実行され、ブラインドコーナーカメラ画像制御機能には、画像認識の結果が与えられる。即ち、道路要素が認識されたか否かの結果が与えられる。
画像認識処理では、ブラインドコーナーカメラＢＣＣの視野角内に所定の道路要素が有るか否かが調べられる。道路要素としては、例えば、カメラの光軸方向に略沿う方向に延びる道路中央線、カメラの光軸方向に略沿う方向に延びる歩道の縁石、自動車の前部画像又は後部画像、カメラの光軸方向に略沿う方向に延びる道路脇の溝、等を挙げることができる。これらの道路要素を適宜に組み合わせて用い、それらが撮像画像内にて検出されるか否を調べるすることで、当該の方向（当該の画像内）に道路が存在するか否かを判定することができる。
【００２４】
図３を参照して説明する。
ブラインドコーナーカメラＢＣＣの右と左の視野角θａとθｂは、それぞれ、右視野前方限界Ｌａ１と右視野後方限界Ｌａ０の間の角度、左視野前方限界Ｌｂ１と左視野後方限界Ｌｂ０の間の角度として与えられる。
【００２５】
図３（ｂ）の場合には、上記した右の視野角θａ内に進入先道路Ｒ１の右道路部分の延設方向が概ね収まるように車両が向いている。このため、右方向の道路要素が正常に認識され、結果、右方向の道路要素が正常に認識されたと判定されて（Ｓ２１でＹＥＳ）、右カメラの画像が図４（ａ）右欄のように表示される（Ｓ２３）。
また、図３（ｂ）の場合には、上記した左の視野角θｂ内に進入先道路Ｒ１の左道路部分の延設方向も概ね収まるように車両が向いている。このため、左方向の道路要素も正常に認識され、結果、左方向の道路要素が認識されたと判定されて（Ｓ３１でＹＥＳ）、左カメラの画像が図４（ａ）左欄のように表示される（Ｓ３３）。
このように、図３（ｂ）の場合には、左右両方向ともに進入先道路Ｒ１の道路要素が正常に認識され、結果、図４（ａ）のように、左右の画像が正常に表示される。
【００２６】
一方、図３（ａ）の場合には、上記した右の視野角θａ内から進入先道路Ｒ１の右道路部分の延設方向が外れるように車両が向いている。このため、右方向の道路要素が正常に認識されず、結果、右方向の道路要素が正常に認識されなかったと判定されて（Ｓ２１でＮＯ）、右カメラの画像が非表示に設定されるとともに、進入先道路Ｒ１の右道路部分を表示できない旨が警告出力される（Ｓ２５）。右道路部分を非表示に設定し、且つ、右道路部分を非表示とした旨の警告を表示した様子を図４（ｂ）の右欄に例示する（なお、図４（ｂ）では左道路部分は表示されており、この点で、左右ともに道路要素を認識できない図３（ａ）の場合とは異なる。）。
また、図３（ａ）の場合には、上記した左の視野角θｂ内から進入先道路Ｒ１の左道路部分の延設方向も外れるように車両が向いている。このため、左方向の道路要素も正常に認識されず、結果、左方向の道路要素も正常に認識されなかったと判定されて（Ｓ３１でＮＯ）、左カメラの画像も非表示に設定されるとともに、進入先道路Ｒ１の左道路部分を表示できない旨が警告出力される（Ｓ３５）。
このように、図３（ａ）の場合には、左右両方向ともに進入先道路Ｒ１の道路要素が正常に認識されず、結果、図４（ｃ）のように、左右ともに画像が非表示に設定されるとともに、進入先道路Ｒ１の左右ともに非表示にした旨が警告出力される。
なお、上記の警告は、図４（ｂ）の右欄や図４（ｃ）のような表示に代えて、又は、これらの表示とともに、音声で行なうようにしてもよい。
【００２７】
進入先道路の左道路部分が交差点の近くで大きく屈曲している場合を説明する。
図３（ａ）と（ｂ）に太二点鎖線（仮想線）で示すＲ１’が、交差点の近くで大きく屈曲している道路の例である。この仮想線道路Ｒ１’のように道路が交差点の近くで大きく屈曲している場合には、車両がどの方向を向いていたとしても、道路Ｒ１’内の道路要素は正常に認識されない。例えば、車両が図３（ｂ）のように進入先道路の左道路部分を撮像可能な向き（視野角θｂに左道路部分が入る向き）に向いていたとしても、仮想線道路Ｒ１’内の道路要素は正常に認識されない。そのままでは、正常な表示が可能であるにもかかわらず、左道路部分は非表示に設定されてしまう。
そこで、このような場合には、進入先道路の道路情報を参照して、表示／非表示を設定するようにしてもよい。即ち、道路情報から当該位置が道路要素を正常に認識できない位置であると判定される場合には、たとえ道路要素を正常に認識できなくても、画像を表示するように構成してもよい。即ち、前述の構成［５］のように構成してもよい。
交差点の近くで大きく屈曲しているために道路要素を正常に認識できない道路を表示した様子を、図４（ｂ）左欄に例示する。なお、図４（ｂ）右欄は右道路部分を表示できない場合の表示例を示す図であり、ここでの説明には一切関係がない表示である。
【図面の簡単な説明】
【００２８】
【図１】実施の形態の車両周辺開始装置の信号の入出力を示すブロック図。
【図２】実施の形態の車両周辺監視装置のブラインドコーナーカメラ処理を示すフローチャート。
【図３】車両Ｃが現在の道路Ｒ２に沿っているか傾斜しているかに応じて進入先道路Ｒ１でのカメラ視野が異なることを示す説明図。
【図４】進入先右道路・左道路の表示／非表示と警告の説明図。
【符号の説明】
【００２９】
θａ 視野角（右）
θｂ 視野角（左）
Ｌａ１ 右視野前方限界
Ｌａ０ 右視野後方限界
Ｌｂ１ 左視野前方限界
Ｌｂ０ 左視野後方限界
Ｃ 自動車
ＢＣＣ ブラインドコーナーカメラ
【特許請求の範囲】
【請求項１】
車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、
左右方向の各撮影画像内の道路要素をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する表示制御手段と、
を有することを特徴とする車両周辺監視装置。
【請求項２】
請求項１に於いて、
前記表示制御手段は前記画像認識手段により調べた結果に基づく判定により道路要素が認識されないと判定された方向の撮影画像を非表示に設定し、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されないと判定された方向の画像が表示されない旨を警告出力する警告出力手段を更に有する、
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２に於いて、
前記道路要素は、道路中央線、及び／又は、歩道の縁石、及び／又は、自動車、及び／又は、道路縁の溝である、
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜請求項３の何れかに於いて、
カメラが設置される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から進入先道路が決まる場合にのみ前記画像認識手段による処理を実行するように設定する検査制御手段と、
を更に有することを特徴とする車両周辺監視装置。
【請求項５】
請求項１〜請求項３の何れかに於いて、
カメラが搭載される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から決まる進入先道路の道路情報を取得する道路情報取得手段と、
を更に有し、
前記画像認識手段は前記道路情報取得手段により取得した進入先道路の道路情報を参照して道路要素を調べる、
ことを特徴とする車両周辺監視装置。
【請求項１】
車両前部の左右方向を撮影可能なように車両に設置されるカメラの各撮影画像を表示装置に表示する機能を備えた車両周辺監視装置であって、
左右方向の各撮影画像内の道路要素をそれぞれ調べる画像認識手段と、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されると判定された方向の撮影画像を前記表示装置に表示する表示制御手段と、
を有することを特徴とする車両周辺監視装置。
【請求項２】
請求項１に於いて、
前記表示制御手段は前記画像認識手段により調べた結果に基づく判定により道路要素が認識されないと判定された方向の撮影画像を非表示に設定し、
前記画像認識手段により調べた結果に基づく判定により、道路要素が認識されないと判定された方向の画像が表示されない旨を警告出力する警告出力手段を更に有する、
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２に於いて、
前記道路要素は、道路中央線、及び／又は、歩道の縁石、及び／又は、自動車、及び／又は、道路縁の溝である、
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜請求項３の何れかに於いて、
カメラが設置される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から進入先道路が決まる場合にのみ前記画像認識手段による処理を実行するように設定する検査制御手段と、
を更に有することを特徴とする車両周辺監視装置。
【請求項５】
請求項１〜請求項３の何れかに於いて、
カメラが搭載される車両の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出した現在位置から決まる進入先道路の道路情報を取得する道路情報取得手段と、
を更に有し、
前記画像認識手段は前記道路情報取得手段により取得した進入先道路の道路情報を参照して道路要素を調べる、
ことを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００７−１７１１１３（Ｐ２００７−１７１１１３Ａ）
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願番号】特願２００５−３７２４２３（Ｐ２００５−３７２４２３）
【出願日】平成１７年１２月２６日（２００５．１２．２６）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願日】平成１７年１２月２６日（２００５．１２．２６）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]