車両用画像表示装置
【課題】路面の状態や車両の傾きに起因する周辺監視画像の歪みを極力防止する。
【解決手段】車両１の周囲の画像を撮影する車載カメラ２〜５を備え、前記車載カメラ２〜５によって撮影した車両１の周囲の画像を入力し、この入力した画像を、車両１の上方から見た画像である周辺監視画像に変換し、車両１を上方から見た画像と前記周辺監視画像とを一緒にして表示装置８に表示する画像合成装置７を備え、道路の路面に対する前記車両１の傾きを検出する傾き検出装置を備え、更に、画像合成装置６は、路面に対する前記車両１の傾きが検出されたときに、路面に対する車両１の傾斜角度に基づいて前記周辺監視画像を補正するように構成した。
【解決手段】車両１の周囲の画像を撮影する車載カメラ２〜５を備え、前記車載カメラ２〜５によって撮影した車両１の周囲の画像を入力し、この入力した画像を、車両１の上方から見た画像である周辺監視画像に変換し、車両１を上方から見た画像と前記周辺監視画像とを一緒にして表示装置８に表示する画像合成装置７を備え、道路の路面に対する前記車両１の傾きを検出する傾き検出装置を備え、更に、画像合成装置６は、路面に対する前記車両１の傾きが検出されたときに、路面に対する車両１の傾斜角度に基づいて前記周辺監視画像を補正するように構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲を撮影した画像を車両自身の画像と一緒にして表示装置に表示する車両用画像表示装置に関する。
【背景技術】
【０００２】
車両に搭載したカメラにより車両の周囲を撮影し、撮影した画像を、車両の上方から見た画像、即ち、周辺監視画像に変換し、この周辺監視画像と車両を上方から見た画像とを一緒にして表示装置に表示する装置が知られている。ところで、実際の道路の路面には、段差があったり、勾配があったりするため、車両は走行中に傾く。例えば、車両の前方が上がり、後方が下がるように車両が傾いたとする。このとき、前方の車載カメラは車両が水平の場合に比べてより遠方まで撮影できるのに対して、後方の車載カメラはより近傍しか撮影できなくなる。即ち、車両が傾いた場合、車載カメラにより撮影された画像が例えば上記したように変化するので、表示装置に表示された周辺監視画像も歪んでしまう。
【０００３】
このような車両の傾きに起因する周辺監視画像の歪みを補正する構成の一例として、特許文献１に記載された装置が知られている。この装置の場合、水平面に対する車両の傾き、即ち、車両の傾斜角を車両に搭載したジャイロセンサにより検出し、この検出した水平面に対する傾斜角に基づいて車載カメラにより撮影した画像を補正するように構成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２４５１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載された装置の場合、路面が水平面と平行であるときは問題がない。しかし、路面が水平面に対して傾斜している場合であって路面に対して車両が傾斜していない場合、換言すると、水平面に対する路面の傾斜角と、水平面に対する車両の傾斜角とが等しい場合（特許文献１中の図４参照）には、前記した車両の傾きに起因する画像の歪みは発生せず、画像を補正する必要がないが、特許文献１に記載された装置では画像を補正してしまうから、周辺監視画像が歪んでしまうという問題点があった。
【０００６】
そこで、本発明の目的は、路面の状態や車両の傾きに起因する周辺監視画像の歪みを極力防止することができる車両用画像表示装置を提供するにある。
【課題を解決するための手段】
【０００７】
請求項１の発明によれば、車両の周囲の画像を撮影する車載カメラと、前記車載カメラによって撮影した車両の周囲の画像を入力し、この入力した画像を、車両の上方から見た画像である周辺監視画像に変換し、車両を上方から見た画像と前記周辺監視画像とを一緒にして表示装置に表示する画像合成装置と、道路の路面に対する前記車両の傾きを検出する傾き検出装置とを備え、前記画像合成装置は、前記路面に対する前記車両の傾きが検出されたときに、前記路面に対する前記車両の傾斜角度に基づいて前記周辺監視画像を補正するように構成されているので、路面の状態や車両の傾きに起因する周辺監視画像の歪みを極力防止することができる。
【０００８】
請求項２の発明によれば、前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾きを検出するように構成されているので、前記路面の傾きを検出する構成を簡単な構成にて容易に実現することができる。
【０００９】
この場合、請求項３の発明のように、前記傾き検出装置は、前記車載カメラによって撮影した画像の中の地平線の位置の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることが好ましい。また、請求項４の発明のように、前記傾き検出装置は、前記車載カメラによって撮影した画像の中の路面の傾斜角の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることが良い構成である。
【００１０】
請求項５の発明によれば、水平面に対する前記車両の傾斜角を検出するジャイロセンサを備え、前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾斜角を検出するように構成され、前記画像合成装置は、水平面に対する前記車両の傾斜角及び水平面に対する前記路面の傾斜角に基づいて、前記路面に対する前記車両の傾斜角を検出するように構成されているので、前記路面に対する前記車両の傾斜角を検出する構成を容易に実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例を示す車両用画像表示装置のブロック図
【図２】車両の上面図
【図３】車両を上方から見た画像の表示例を示す図
【図４】車両の傾きと地平線の位置との関係を示す図
【図５】路面が水平から上りに切り替わるときに表示領域が小さくなることを説明する図
【図６】路面が水平から上りに切り替わるときに補正した表示領域を説明する図
【図７】車両が路面の段差を上がるときに表示領域が小さくなることを説明する図
【図８】車両が路面の段差を上がるときに補正した表示領域を説明する図
【図９】画像補正制御の内容を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の一実施例について、図面を参照して説明する。まず、図２に示すように、本実施例の車両１には、４個の車載カメラ２、３、４、５が配設されている。第１の車載カメラ２により車両１の前方が撮影され、第２の車載カメラ３により車両１の後方が撮影され、第３の車載カメラ４により車両１の右側方が撮影され、第４の車載カメラ５により車両１の左側方が撮影される。
【００１３】
図１は、本実施例の車両用画像表示装置の電気的構成を示すブロック図である。本実施例の車両用画像表示装置６は、図２に示すように、４個の車載カメラ２、３、４、５と、画像合成装置７と、表示装置８と、ジャイロセンサ９とを備えて構成されている。画像合成装置７は、４個の車載カメラ２、３、４、５によって撮影した車両１の周囲の画像を入力し、これら撮影した画像を、車両１の上方から見た画像、即ち、周辺監視画像に変換する機能を有している。更に、画像合成装置７は、上記変換した周辺監視画像と、車両１を上方から見た画像とを一緒にして表示装置８に表示する機能を有している（図３参照）。
【００１４】
また、ジャイロセンサ９は、水平面に対する車両１の傾斜角を検出し、その検出信号を画像合成装置７へ与えるように構成されている。画像合成装置７は、ジャイロセンサ９からの検出信号や、車載カメラ２〜５からの画像データや、地図データ等に基づいて、道路の路面に対して車両１が傾いているか否かを判断すると共に、傾いている場合の傾斜角を検出する機能（傾き検出装置としての機能）を有している。また、画像合成装置７は、道路の路面に対して車両１が傾いているときに、その傾斜角に基づいて前記周辺監視画像を補正する機能を有している。
【００１５】
ここで、画像合成装置７の道路の路面に対して車両１が傾いているか否かを判断する処理について、図４ないし図８を参照して説明する。路面に対して車両１が傾く場合、即ち、路面と車両１の関係が水平でなくなる場合として、（１）路面の傾斜が切替る場合と、（２）路面の段差を車両１が乗り越える場合とを想定できる。尚、連続した凸凹が存在する路面を車両１が走行する場合は、上記（２）が連続して発生した場合として適用することが可能である。
【００１６】
まず、路面の傾斜が切替る場合を考える。前方を監視する車載カメラ２により撮影した画像を画像認識することにより、路面の傾斜が切替る場合を検出することが可能である。具体的には、車載カメラ２により撮影した画像に写っている地平線や路面傾斜の変化により検出できる。例えば地平線が現在（図４（ａ）中の実線Ｈ１参照）よりも上側（図４（ｂ）中の破線Ｈ２参照）に移動した場合、路面傾斜は上向きであると、容易に判断することができる。反対に、図４（ａ）の画像から図４（ｃ）の画像へ変化した場合、変化前の地平線は、図４（ａ）中の実線Ｈ１であり、変化後の地平線は、図４（ｃ）中の実線Ｈ３である。この場合、地平線が現在（図４（ａ）中の実線Ｈ１参照）よりも下側（図４（ｃ）中の実線Ｈ３参照）に移動する場合であるから、路面の傾斜が下向きであることがわかる。
【００１７】
また、直接路面の画像より路面の傾斜を検出し、検出した路面の傾斜が現在と比べてどう変わるのかに基づいて、路面の傾斜が上向き或いは下向きに変わると判断しても良い。具体的には、図４（ａ）の画像から図４（ｂ）の画像へ変化した場合、変化前の路面の傾斜角は、図４（ｂ）中の角度ａ１であり、変化後の路面の傾斜角は、図４（ｂ）中の角度ａ２である。この場合、角度ａ２の方が角度ａ１よりも大きいことから、路面の傾斜が上向きであることがわかる。反対に、図４（ａ）の画像から図４（ｃ）の画像へ変化した場合、変化前の路面の傾斜角は、図４（ｃ）中の角度ａ１であり、変化後の路面の傾斜角は、図４（ｃ）中の角度ａ３である。この場合、角度ａ３の方が角度ａ１よりも小さいことから、路面の傾斜が下向きであることがわかる。
【００１８】
このように前部の車載カメラ２で撮影した画像を画像認識処理することによって路面の傾斜が変わることが検出できた場合には、路面の傾斜角の値を測定し、その測定値を記憶しておく。なお、路面傾斜角の値は、画像認識処理で測定する代わりに、ナビゲーションシステムの地図データに含まれている情報から取得するように構成しても良い。
【００１９】
次に、車両１に搭載されたジャイロセンサ９により車両１が傾き出したことを検出した場合に、どのように画像補正するかを説明する。具体例として、路面が水平から上りへと切替った場合について説明する。
【００２０】
まず、画像を補正しないと、どのような不具合が発生するかについて説明する。
車両１が上り坂を上がろうとすると、車両の傾きを基準とした場合、前方・後方の路面共に車両軸（車両１が水平状態であるときに水平面に平行な平面を通り且つ車両１の前後方向に延びる軸）よりも上側に傾斜が変化する。このため、図５（ａ）、（ｂ）に示すように、車載カメラの撮影範囲が狭くなることから、今までと同様に周辺監視画像を表示した場合は、通常よりも狭い範囲しか表示しなくなる（図５（ａ）中のＲ１は走行前の表示領域を示し、Ｒ２は走行後の表示領域を示す）。加えて、表示装置８の上端・下端に近づくほど路面が引き伸ばされて表示されることから、ドライバに誤った情報を与えることになり、サービスの質が低下することがあった。
【００２１】
そこで、画像を次の通り補正する。車両軸に対して路面が上側に傾斜している場合、上記したように通常よりも狭い範囲しか表示しなくなるため、より広い範囲を表示するよう補正する。具体的には、水平面に対する路面の傾斜角の測定値と、車両１のジャイロセンサ９により検出された水平面に対する車両１の傾斜角の検出値とに基づいて補正値を決定する。この場合、水平面に対する車両１の傾きが、水平面に対する路面の傾きと一致すれば、画像の歪が無くなるため、車両１の前方の傾斜の変化量Ｃ１（図６（ａ）参照）は、（路面の傾斜角の測定値）―（ジャイロセンサ９の検出値）である。また、車両１の後方の傾斜の変化量Ｃ２（図６（ａ）参照）は、ジャイロセンサ９の検出値である。そして、それぞれの変化量Ｃ１、Ｃ２分だけ画像を補正する（図６（ａ）、（ｂ）参照）。
【００２２】
尚、車両１の傾きと路面の傾きが一致した瞬間、車両１の後方には今まで走ってきた水平な路面が迫っている。車両１が路面を登って行くことにより、これを解消できるが、解消するまではドライバに対して歪んだ画像を提供することになる。よって、後方の画像については、車両１の傾きと路面の傾きが一致するまで補正してきたのとは逆の補正を同じスピードで実施する。これにより、画像の歪を軽減できる。なお、この一致後の画像の補正は、必ずしも実行しなくても良い補正である。
【００２３】
次に、路面上の段差を車両１が乗り越える場合の画像補正処理について説明する。この場合、前記した路面の傾斜の切替りとは異なり、地平線が上下したり路面の傾斜が変化することはない。従って、車両１に装備されたジャイロセンサ９の検出値が変化することによって初めて車両１が段差を乗り越えていることがわかる。なお、事前に路面の傾斜状態の変化が無いにも関わらず、急に前方カメラに写し出された画像の地平線が上下に振れることをトリガーとして画像補正を開始しても良い。
【００２４】
ここでは、水平面から上りの段差を経て水平面に戻る場合を例として説明する。
まず、画像補正しないと、どのような不具合が発生するかについて説明する。
図７（ａ）に示すように、車両１が路面の段差を上がろうとすると、車両１の傾きを基準とした場合、前方の路面は車両軸よりも下側に傾斜が変化し、後方の路面は上側に変化する。このため、車載カメラの撮影範囲は、前方は極端に広くなり、後方は狭くなる（図７（ａ）、（ｂ）参照）。図７（ａ）において、領域Ｒ３は段差を上がる前の表示領域を示し、Ｒ４は段差を上がっている途中の車両１の前部の車載カメラ２による表示領域（撮影領域）を示し、Ｒ５は段差を上がっている途中の車両１の後部の車載カメラ３による表示領域（撮影領域）を示し、Ｒ６は段差を上がっている途中の車両１の側部の車載カメラ４、５による表示領域（撮影領域）を示す。この構成の場合、表示装置の画面上においては、下端の画像は路面が圧縮されて表示され、上端の画像は路面が引き伸ばされて表示されるという不具合がある。
【００２５】
そこで、画像を次の通り補正する。図８（ａ）、（ｂ）に示すように、車両１の前方については、車載カメラ２がジャイロセンサ９の検出値（車両１の傾斜角）Ｄ１分だけ上を向いていると考え、ジャイロセンサ９の検出値Ｄ１分下側に画像を補正する。車両１の後方については、反対に、車載カメラ３がジャイロセンサ９の検出値（車両１の傾斜角）Ｄ２分だけ下を向いていると考え、ジャイロセンサ９の検出値Ｄ２分上側に画像を補正する。車両１は、途中までは水平面に対して傾きを増大させていくが、ある時点から傾きを減少させていくという複雑な動きをするが、水平面を基準面として考えれば、単にジャイロセンサ９の検出値（変化量）分だけ補正すれば良い。
【００２６】
なお、上記した具体例は、水平面から水平面への段差の乗り越えであるが、両者が水平面でなかった場合には、変化する前の路面の傾斜を基準とし、基準面に対するジャイロセンサ９からの検出信号の値分を補正するものとする。また、補正はジャイロセンサ９からの検出信号の変化が終わるまで実施するものとすれば、段差の後の路面が傾いていた場合でも対応可能である。また、段差の後の路面が一定の傾斜をもった路面であるとするならば、段差を乗り越える時の補正は路面の傾斜が切替る場合として処理しても良い。
【００２７】
次に、上記した画像補正処理を実現する画像合成装置７の制御の一例を、図９のフローチャートを参照して説明する。まず、図９のステップＳ１において、４個の車載カメラ２、３、４、５によって撮影した車両１の周囲の画像を変換して周辺監視画像を合成（作成）する。
【００２８】
続いて、ステップＳ２へ進み、地平線の位置が変化したか否かを判断する。ここで、地平線の位置が変化しないときには、「ＮＯ」へ進み、ステップＳ３へ進み、路面の傾斜が変化したか否かを判断する。ここで、路面の傾斜が変化しないときには、「ＮＯ」へ進み、ステップＳ４へ進み、ジャイロセンサ９の検出信号の値が変化したか否かを判断する。ここで、ジャイロセンサ９の検出信号の値が変化しないときには、「ＮＯ」へ進み、ステップＳ１へ戻る。
【００２９】
さて、上記ステップＳ４において、ジャイロセンサ９の検出信号の値が変化したときには、「ＹＥＳ」へ進み、ステップＳ５へ進み、ジャイロセンサ９の検出信号の変化前の値を基準値に設定する。そして、ステップＳ６へ進み、ジャイロセンサ９の検出信号の変化値が基準値に対して「＋」であるか否か（「−」であるか）を判断する。
【００３０】
ここで、「＋」であるとき（即ち、図８（ａ）に示すように、上向きの段差を乗り越えるとき）には、「ＹＥＳ」へ進み、ステップＳ７へ進み、車両１の前方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけマイナス側に補正する。続いて、ステップＳ８へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけプラス側に補正する。そして、ステップＳ９へ進み、周辺監視画像（補正した画像）を表示する。この後、ステップＳ１０へ進み、ジャイロセンサ９の検出値が変化しなくなったか否かを判断する。ここで、検出値が変化していれば、「ＮＯ」へ進み、ステップＳ６へ戻る。ステップＳ１０にて、検出値が変化しなくなれば、「ＹＥＳ」へ進み、ステップＳ１へ戻る。
【００３１】
また、ステップＳ６において、ジャイロセンサ９の検出信号の変化値が基準値に対して「−」であるとき（即ち、下向きの段差を乗り越えるとき）には、「ＮＯ」へ進み、ステップＳ１１へ進み、車両１の前方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけプラス側に補正する。続いて、ステップＳ１２へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけマイナス側に補正する。そして、ステップＳ１３へ進み、周辺監視画像（補正した画像）を表示する。この後は、ステップＳ１へ戻る。
【００３２】
一方、前記ステップＳ２において、地平線の位置が変化したときには、「ＹＥＳ」へ進み、ステップＳ１４へ進み、画像認識処理またはナビゲーションシステムの地図データに基づいて、路面の傾斜角を測定する。続いて、ステップＳ１５へ進み、ジャイロセンサ９の検出信号の値が変化したか否かを判断する。ここで、ジャイロセンサ９の検出信号の値が変化したときには、「ＹＥＳ」へ進み、ステップＳ１６へ進み、路面の傾斜が上向きであるか否かを判断する。
【００３３】
ここで、上向きであるときには、「ＹＥＳ」へ進み、ステップＳ１７へ進み、車両１の前方の画像を、（路面の傾斜角度−ジャイロセンサ９の検出値）分だけプラス側に補正する。続いて、ステップＳ１８へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分だけプラス側に補正する。そして、ステップＳ１９へ進み、周辺監視画像（補正した画像）を表示する。この後、ステップＳ２０へ進み、ジャイロセンサ９の検出値が変化しなくなったか否かを判断する。ここで、検出値が変化していれば、「ＮＯ」へ進み、ステップＳ１６へ戻る。上記ステップＳ２０にて、検出値が変化しなくなれば、「ＹＥＳ」へ進み、ステップＳ２１へ進む。このステップＳ２１では、車両１の後方の画像を、ジャイロセンサ９の検出値が変化している間に補正した分と同じだけ、同じ時間をかけてマイナス側に補正して表示する。この後、ステップＳ１へ戻る。
【００３４】
前記ステップＳ１６において、下向きであるときには、「ＮＯ」へ進み、ステップＳ２２へ進み、車両１の前方の画像を、（路面の傾斜角度−ジャイロセンサ９の検出値）分だけマイナス側に補正する。続いて、ステップＳ２３へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分だけマイナス側に補正する。そして、ステップＳ２４へ進み、周辺監視画像（補正した画像）を表示する。この後、ステップＳ２５へ進み、ジャイロセンサ９の検出値が変化しなくなったか否かを判断する。ここで、検出値が変化していれば、「ＮＯ」へ進み、ステップＳ１６へ戻る。上記ステップＳ２５にて、検出値が変化しなくなれば、「ＹＥＳ」へ進み、ステップＳ２６へ進む。このステップＳ２６では、車両１の後方の画像を、ジャイロセンサ９の検出値が変化している間に補正した分と同じだけ、同じ時間をかけてプラス側に補正して表示する。この後、ステップＳ１へ戻る。
【００３５】
尚、上記した制御フローチャートにおいては、段差を乗り越える場合の制御は、水平面ではない状態にも対応可能な制御となっている。また、路面傾斜が切替る場合の制御は、前方の車載カメラ２の撮影画像から路面の傾斜角を測定（例えば画像認識により測定）する場合の制御である。
【００３６】
このような構成の本実施例によれば、画像合成装置７によって、道路の路面に対する車両１の傾きを検出し、路面に対する車両１の傾斜角度に基づいて周辺監視画像を補正するように構成したので、路面の状態や車両１の傾きに起因する周辺監視画像の歪みを極力防止することができる。
【符号の説明】
【００３７】
図面中、１は車両、２、３、４、５は車載カメラ、６は車両用画像表示装置、７は画像合成装置、８は表示装置、９はジャイロセンサを示す。
【技術分野】
【０００１】
本発明は、車両の周囲を撮影した画像を車両自身の画像と一緒にして表示装置に表示する車両用画像表示装置に関する。
【背景技術】
【０００２】
車両に搭載したカメラにより車両の周囲を撮影し、撮影した画像を、車両の上方から見た画像、即ち、周辺監視画像に変換し、この周辺監視画像と車両を上方から見た画像とを一緒にして表示装置に表示する装置が知られている。ところで、実際の道路の路面には、段差があったり、勾配があったりするため、車両は走行中に傾く。例えば、車両の前方が上がり、後方が下がるように車両が傾いたとする。このとき、前方の車載カメラは車両が水平の場合に比べてより遠方まで撮影できるのに対して、後方の車載カメラはより近傍しか撮影できなくなる。即ち、車両が傾いた場合、車載カメラにより撮影された画像が例えば上記したように変化するので、表示装置に表示された周辺監視画像も歪んでしまう。
【０００３】
このような車両の傾きに起因する周辺監視画像の歪みを補正する構成の一例として、特許文献１に記載された装置が知られている。この装置の場合、水平面に対する車両の傾き、即ち、車両の傾斜角を車両に搭載したジャイロセンサにより検出し、この検出した水平面に対する傾斜角に基づいて車載カメラにより撮影した画像を補正するように構成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２４５１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載された装置の場合、路面が水平面と平行であるときは問題がない。しかし、路面が水平面に対して傾斜している場合であって路面に対して車両が傾斜していない場合、換言すると、水平面に対する路面の傾斜角と、水平面に対する車両の傾斜角とが等しい場合（特許文献１中の図４参照）には、前記した車両の傾きに起因する画像の歪みは発生せず、画像を補正する必要がないが、特許文献１に記載された装置では画像を補正してしまうから、周辺監視画像が歪んでしまうという問題点があった。
【０００６】
そこで、本発明の目的は、路面の状態や車両の傾きに起因する周辺監視画像の歪みを極力防止することができる車両用画像表示装置を提供するにある。
【課題を解決するための手段】
【０００７】
請求項１の発明によれば、車両の周囲の画像を撮影する車載カメラと、前記車載カメラによって撮影した車両の周囲の画像を入力し、この入力した画像を、車両の上方から見た画像である周辺監視画像に変換し、車両を上方から見た画像と前記周辺監視画像とを一緒にして表示装置に表示する画像合成装置と、道路の路面に対する前記車両の傾きを検出する傾き検出装置とを備え、前記画像合成装置は、前記路面に対する前記車両の傾きが検出されたときに、前記路面に対する前記車両の傾斜角度に基づいて前記周辺監視画像を補正するように構成されているので、路面の状態や車両の傾きに起因する周辺監視画像の歪みを極力防止することができる。
【０００８】
請求項２の発明によれば、前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾きを検出するように構成されているので、前記路面の傾きを検出する構成を簡単な構成にて容易に実現することができる。
【０００９】
この場合、請求項３の発明のように、前記傾き検出装置は、前記車載カメラによって撮影した画像の中の地平線の位置の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることが好ましい。また、請求項４の発明のように、前記傾き検出装置は、前記車載カメラによって撮影した画像の中の路面の傾斜角の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることが良い構成である。
【００１０】
請求項５の発明によれば、水平面に対する前記車両の傾斜角を検出するジャイロセンサを備え、前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾斜角を検出するように構成され、前記画像合成装置は、水平面に対する前記車両の傾斜角及び水平面に対する前記路面の傾斜角に基づいて、前記路面に対する前記車両の傾斜角を検出するように構成されているので、前記路面に対する前記車両の傾斜角を検出する構成を容易に実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例を示す車両用画像表示装置のブロック図
【図２】車両の上面図
【図３】車両を上方から見た画像の表示例を示す図
【図４】車両の傾きと地平線の位置との関係を示す図
【図５】路面が水平から上りに切り替わるときに表示領域が小さくなることを説明する図
【図６】路面が水平から上りに切り替わるときに補正した表示領域を説明する図
【図７】車両が路面の段差を上がるときに表示領域が小さくなることを説明する図
【図８】車両が路面の段差を上がるときに補正した表示領域を説明する図
【図９】画像補正制御の内容を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の一実施例について、図面を参照して説明する。まず、図２に示すように、本実施例の車両１には、４個の車載カメラ２、３、４、５が配設されている。第１の車載カメラ２により車両１の前方が撮影され、第２の車載カメラ３により車両１の後方が撮影され、第３の車載カメラ４により車両１の右側方が撮影され、第４の車載カメラ５により車両１の左側方が撮影される。
【００１３】
図１は、本実施例の車両用画像表示装置の電気的構成を示すブロック図である。本実施例の車両用画像表示装置６は、図２に示すように、４個の車載カメラ２、３、４、５と、画像合成装置７と、表示装置８と、ジャイロセンサ９とを備えて構成されている。画像合成装置７は、４個の車載カメラ２、３、４、５によって撮影した車両１の周囲の画像を入力し、これら撮影した画像を、車両１の上方から見た画像、即ち、周辺監視画像に変換する機能を有している。更に、画像合成装置７は、上記変換した周辺監視画像と、車両１を上方から見た画像とを一緒にして表示装置８に表示する機能を有している（図３参照）。
【００１４】
また、ジャイロセンサ９は、水平面に対する車両１の傾斜角を検出し、その検出信号を画像合成装置７へ与えるように構成されている。画像合成装置７は、ジャイロセンサ９からの検出信号や、車載カメラ２〜５からの画像データや、地図データ等に基づいて、道路の路面に対して車両１が傾いているか否かを判断すると共に、傾いている場合の傾斜角を検出する機能（傾き検出装置としての機能）を有している。また、画像合成装置７は、道路の路面に対して車両１が傾いているときに、その傾斜角に基づいて前記周辺監視画像を補正する機能を有している。
【００１５】
ここで、画像合成装置７の道路の路面に対して車両１が傾いているか否かを判断する処理について、図４ないし図８を参照して説明する。路面に対して車両１が傾く場合、即ち、路面と車両１の関係が水平でなくなる場合として、（１）路面の傾斜が切替る場合と、（２）路面の段差を車両１が乗り越える場合とを想定できる。尚、連続した凸凹が存在する路面を車両１が走行する場合は、上記（２）が連続して発生した場合として適用することが可能である。
【００１６】
まず、路面の傾斜が切替る場合を考える。前方を監視する車載カメラ２により撮影した画像を画像認識することにより、路面の傾斜が切替る場合を検出することが可能である。具体的には、車載カメラ２により撮影した画像に写っている地平線や路面傾斜の変化により検出できる。例えば地平線が現在（図４（ａ）中の実線Ｈ１参照）よりも上側（図４（ｂ）中の破線Ｈ２参照）に移動した場合、路面傾斜は上向きであると、容易に判断することができる。反対に、図４（ａ）の画像から図４（ｃ）の画像へ変化した場合、変化前の地平線は、図４（ａ）中の実線Ｈ１であり、変化後の地平線は、図４（ｃ）中の実線Ｈ３である。この場合、地平線が現在（図４（ａ）中の実線Ｈ１参照）よりも下側（図４（ｃ）中の実線Ｈ３参照）に移動する場合であるから、路面の傾斜が下向きであることがわかる。
【００１７】
また、直接路面の画像より路面の傾斜を検出し、検出した路面の傾斜が現在と比べてどう変わるのかに基づいて、路面の傾斜が上向き或いは下向きに変わると判断しても良い。具体的には、図４（ａ）の画像から図４（ｂ）の画像へ変化した場合、変化前の路面の傾斜角は、図４（ｂ）中の角度ａ１であり、変化後の路面の傾斜角は、図４（ｂ）中の角度ａ２である。この場合、角度ａ２の方が角度ａ１よりも大きいことから、路面の傾斜が上向きであることがわかる。反対に、図４（ａ）の画像から図４（ｃ）の画像へ変化した場合、変化前の路面の傾斜角は、図４（ｃ）中の角度ａ１であり、変化後の路面の傾斜角は、図４（ｃ）中の角度ａ３である。この場合、角度ａ３の方が角度ａ１よりも小さいことから、路面の傾斜が下向きであることがわかる。
【００１８】
このように前部の車載カメラ２で撮影した画像を画像認識処理することによって路面の傾斜が変わることが検出できた場合には、路面の傾斜角の値を測定し、その測定値を記憶しておく。なお、路面傾斜角の値は、画像認識処理で測定する代わりに、ナビゲーションシステムの地図データに含まれている情報から取得するように構成しても良い。
【００１９】
次に、車両１に搭載されたジャイロセンサ９により車両１が傾き出したことを検出した場合に、どのように画像補正するかを説明する。具体例として、路面が水平から上りへと切替った場合について説明する。
【００２０】
まず、画像を補正しないと、どのような不具合が発生するかについて説明する。
車両１が上り坂を上がろうとすると、車両の傾きを基準とした場合、前方・後方の路面共に車両軸（車両１が水平状態であるときに水平面に平行な平面を通り且つ車両１の前後方向に延びる軸）よりも上側に傾斜が変化する。このため、図５（ａ）、（ｂ）に示すように、車載カメラの撮影範囲が狭くなることから、今までと同様に周辺監視画像を表示した場合は、通常よりも狭い範囲しか表示しなくなる（図５（ａ）中のＲ１は走行前の表示領域を示し、Ｒ２は走行後の表示領域を示す）。加えて、表示装置８の上端・下端に近づくほど路面が引き伸ばされて表示されることから、ドライバに誤った情報を与えることになり、サービスの質が低下することがあった。
【００２１】
そこで、画像を次の通り補正する。車両軸に対して路面が上側に傾斜している場合、上記したように通常よりも狭い範囲しか表示しなくなるため、より広い範囲を表示するよう補正する。具体的には、水平面に対する路面の傾斜角の測定値と、車両１のジャイロセンサ９により検出された水平面に対する車両１の傾斜角の検出値とに基づいて補正値を決定する。この場合、水平面に対する車両１の傾きが、水平面に対する路面の傾きと一致すれば、画像の歪が無くなるため、車両１の前方の傾斜の変化量Ｃ１（図６（ａ）参照）は、（路面の傾斜角の測定値）―（ジャイロセンサ９の検出値）である。また、車両１の後方の傾斜の変化量Ｃ２（図６（ａ）参照）は、ジャイロセンサ９の検出値である。そして、それぞれの変化量Ｃ１、Ｃ２分だけ画像を補正する（図６（ａ）、（ｂ）参照）。
【００２２】
尚、車両１の傾きと路面の傾きが一致した瞬間、車両１の後方には今まで走ってきた水平な路面が迫っている。車両１が路面を登って行くことにより、これを解消できるが、解消するまではドライバに対して歪んだ画像を提供することになる。よって、後方の画像については、車両１の傾きと路面の傾きが一致するまで補正してきたのとは逆の補正を同じスピードで実施する。これにより、画像の歪を軽減できる。なお、この一致後の画像の補正は、必ずしも実行しなくても良い補正である。
【００２３】
次に、路面上の段差を車両１が乗り越える場合の画像補正処理について説明する。この場合、前記した路面の傾斜の切替りとは異なり、地平線が上下したり路面の傾斜が変化することはない。従って、車両１に装備されたジャイロセンサ９の検出値が変化することによって初めて車両１が段差を乗り越えていることがわかる。なお、事前に路面の傾斜状態の変化が無いにも関わらず、急に前方カメラに写し出された画像の地平線が上下に振れることをトリガーとして画像補正を開始しても良い。
【００２４】
ここでは、水平面から上りの段差を経て水平面に戻る場合を例として説明する。
まず、画像補正しないと、どのような不具合が発生するかについて説明する。
図７（ａ）に示すように、車両１が路面の段差を上がろうとすると、車両１の傾きを基準とした場合、前方の路面は車両軸よりも下側に傾斜が変化し、後方の路面は上側に変化する。このため、車載カメラの撮影範囲は、前方は極端に広くなり、後方は狭くなる（図７（ａ）、（ｂ）参照）。図７（ａ）において、領域Ｒ３は段差を上がる前の表示領域を示し、Ｒ４は段差を上がっている途中の車両１の前部の車載カメラ２による表示領域（撮影領域）を示し、Ｒ５は段差を上がっている途中の車両１の後部の車載カメラ３による表示領域（撮影領域）を示し、Ｒ６は段差を上がっている途中の車両１の側部の車載カメラ４、５による表示領域（撮影領域）を示す。この構成の場合、表示装置の画面上においては、下端の画像は路面が圧縮されて表示され、上端の画像は路面が引き伸ばされて表示されるという不具合がある。
【００２５】
そこで、画像を次の通り補正する。図８（ａ）、（ｂ）に示すように、車両１の前方については、車載カメラ２がジャイロセンサ９の検出値（車両１の傾斜角）Ｄ１分だけ上を向いていると考え、ジャイロセンサ９の検出値Ｄ１分下側に画像を補正する。車両１の後方については、反対に、車載カメラ３がジャイロセンサ９の検出値（車両１の傾斜角）Ｄ２分だけ下を向いていると考え、ジャイロセンサ９の検出値Ｄ２分上側に画像を補正する。車両１は、途中までは水平面に対して傾きを増大させていくが、ある時点から傾きを減少させていくという複雑な動きをするが、水平面を基準面として考えれば、単にジャイロセンサ９の検出値（変化量）分だけ補正すれば良い。
【００２６】
なお、上記した具体例は、水平面から水平面への段差の乗り越えであるが、両者が水平面でなかった場合には、変化する前の路面の傾斜を基準とし、基準面に対するジャイロセンサ９からの検出信号の値分を補正するものとする。また、補正はジャイロセンサ９からの検出信号の変化が終わるまで実施するものとすれば、段差の後の路面が傾いていた場合でも対応可能である。また、段差の後の路面が一定の傾斜をもった路面であるとするならば、段差を乗り越える時の補正は路面の傾斜が切替る場合として処理しても良い。
【００２７】
次に、上記した画像補正処理を実現する画像合成装置７の制御の一例を、図９のフローチャートを参照して説明する。まず、図９のステップＳ１において、４個の車載カメラ２、３、４、５によって撮影した車両１の周囲の画像を変換して周辺監視画像を合成（作成）する。
【００２８】
続いて、ステップＳ２へ進み、地平線の位置が変化したか否かを判断する。ここで、地平線の位置が変化しないときには、「ＮＯ」へ進み、ステップＳ３へ進み、路面の傾斜が変化したか否かを判断する。ここで、路面の傾斜が変化しないときには、「ＮＯ」へ進み、ステップＳ４へ進み、ジャイロセンサ９の検出信号の値が変化したか否かを判断する。ここで、ジャイロセンサ９の検出信号の値が変化しないときには、「ＮＯ」へ進み、ステップＳ１へ戻る。
【００２９】
さて、上記ステップＳ４において、ジャイロセンサ９の検出信号の値が変化したときには、「ＹＥＳ」へ進み、ステップＳ５へ進み、ジャイロセンサ９の検出信号の変化前の値を基準値に設定する。そして、ステップＳ６へ進み、ジャイロセンサ９の検出信号の変化値が基準値に対して「＋」であるか否か（「−」であるか）を判断する。
【００３０】
ここで、「＋」であるとき（即ち、図８（ａ）に示すように、上向きの段差を乗り越えるとき）には、「ＹＥＳ」へ進み、ステップＳ７へ進み、車両１の前方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけマイナス側に補正する。続いて、ステップＳ８へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけプラス側に補正する。そして、ステップＳ９へ進み、周辺監視画像（補正した画像）を表示する。この後、ステップＳ１０へ進み、ジャイロセンサ９の検出値が変化しなくなったか否かを判断する。ここで、検出値が変化していれば、「ＮＯ」へ進み、ステップＳ６へ戻る。ステップＳ１０にて、検出値が変化しなくなれば、「ＹＥＳ」へ進み、ステップＳ１へ戻る。
【００３１】
また、ステップＳ６において、ジャイロセンサ９の検出信号の変化値が基準値に対して「−」であるとき（即ち、下向きの段差を乗り越えるとき）には、「ＮＯ」へ進み、ステップＳ１１へ進み、車両１の前方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけプラス側に補正する。続いて、ステップＳ１２へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分（基準値に対する変化分）だけマイナス側に補正する。そして、ステップＳ１３へ進み、周辺監視画像（補正した画像）を表示する。この後は、ステップＳ１へ戻る。
【００３２】
一方、前記ステップＳ２において、地平線の位置が変化したときには、「ＹＥＳ」へ進み、ステップＳ１４へ進み、画像認識処理またはナビゲーションシステムの地図データに基づいて、路面の傾斜角を測定する。続いて、ステップＳ１５へ進み、ジャイロセンサ９の検出信号の値が変化したか否かを判断する。ここで、ジャイロセンサ９の検出信号の値が変化したときには、「ＹＥＳ」へ進み、ステップＳ１６へ進み、路面の傾斜が上向きであるか否かを判断する。
【００３３】
ここで、上向きであるときには、「ＹＥＳ」へ進み、ステップＳ１７へ進み、車両１の前方の画像を、（路面の傾斜角度−ジャイロセンサ９の検出値）分だけプラス側に補正する。続いて、ステップＳ１８へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分だけプラス側に補正する。そして、ステップＳ１９へ進み、周辺監視画像（補正した画像）を表示する。この後、ステップＳ２０へ進み、ジャイロセンサ９の検出値が変化しなくなったか否かを判断する。ここで、検出値が変化していれば、「ＮＯ」へ進み、ステップＳ１６へ戻る。上記ステップＳ２０にて、検出値が変化しなくなれば、「ＹＥＳ」へ進み、ステップＳ２１へ進む。このステップＳ２１では、車両１の後方の画像を、ジャイロセンサ９の検出値が変化している間に補正した分と同じだけ、同じ時間をかけてマイナス側に補正して表示する。この後、ステップＳ１へ戻る。
【００３４】
前記ステップＳ１６において、下向きであるときには、「ＮＯ」へ進み、ステップＳ２２へ進み、車両１の前方の画像を、（路面の傾斜角度−ジャイロセンサ９の検出値）分だけマイナス側に補正する。続いて、ステップＳ２３へ進み、車両１の後方の画像を、ジャイロセンサ９の検出値分だけマイナス側に補正する。そして、ステップＳ２４へ進み、周辺監視画像（補正した画像）を表示する。この後、ステップＳ２５へ進み、ジャイロセンサ９の検出値が変化しなくなったか否かを判断する。ここで、検出値が変化していれば、「ＮＯ」へ進み、ステップＳ１６へ戻る。上記ステップＳ２５にて、検出値が変化しなくなれば、「ＹＥＳ」へ進み、ステップＳ２６へ進む。このステップＳ２６では、車両１の後方の画像を、ジャイロセンサ９の検出値が変化している間に補正した分と同じだけ、同じ時間をかけてプラス側に補正して表示する。この後、ステップＳ１へ戻る。
【００３５】
尚、上記した制御フローチャートにおいては、段差を乗り越える場合の制御は、水平面ではない状態にも対応可能な制御となっている。また、路面傾斜が切替る場合の制御は、前方の車載カメラ２の撮影画像から路面の傾斜角を測定（例えば画像認識により測定）する場合の制御である。
【００３６】
このような構成の本実施例によれば、画像合成装置７によって、道路の路面に対する車両１の傾きを検出し、路面に対する車両１の傾斜角度に基づいて周辺監視画像を補正するように構成したので、路面の状態や車両１の傾きに起因する周辺監視画像の歪みを極力防止することができる。
【符号の説明】
【００３７】
図面中、１は車両、２、３、４、５は車載カメラ、６は車両用画像表示装置、７は画像合成装置、８は表示装置、９はジャイロセンサを示す。
【特許請求の範囲】
【請求項１】
車両の周囲の画像を撮影する車載カメラと、
前記車載カメラによって撮影した車両の周囲の画像を入力し、この入力した画像を、車両の上方から見た画像である周辺監視画像に変換し、車両を上方から見た画像と前記周辺監視画像とを一緒にして表示装置に表示する画像合成装置と、
道路の路面に対する前記車両の傾きを検出する傾き検出装置とを備え、
前記画像合成装置は、前記路面に対する前記車両の傾きが検出されたときに、前記路面に対する前記車両の傾斜角度に基づいて前記周辺監視画像を補正するように構成されていることを特徴とする車両用画像表示装置。
【請求項２】
前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾きを検出するように構成されていることを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記傾き検出装置は、前記車載カメラによって撮影した画像の中の地平線の位置の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることを特徴とする請求項２記載の車両用画像表示装置。
【請求項４】
前記傾き検出装置は、前記車載カメラによって撮影した画像の中の路面の傾斜角の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることを特徴とする請求項２記載の車両用画像表示装置。
【請求項５】
水平面に対する前記車両の傾斜角を検出するジャイロセンサを備え、
前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾斜角を検出するように構成され、
前記画像合成装置は、水平面に対する前記車両の傾斜角及び水平面に対する前記路面の傾斜角に基づいて、前記路面に対する前記車両の傾斜角を検出するように構成されていることを特徴とする請求項１記載の車両用画像表示装置。
【請求項１】
車両の周囲の画像を撮影する車載カメラと、
前記車載カメラによって撮影した車両の周囲の画像を入力し、この入力した画像を、車両の上方から見た画像である周辺監視画像に変換し、車両を上方から見た画像と前記周辺監視画像とを一緒にして表示装置に表示する画像合成装置と、
道路の路面に対する前記車両の傾きを検出する傾き検出装置とを備え、
前記画像合成装置は、前記路面に対する前記車両の傾きが検出されたときに、前記路面に対する前記車両の傾斜角度に基づいて前記周辺監視画像を補正するように構成されていることを特徴とする車両用画像表示装置。
【請求項２】
前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾きを検出するように構成されていることを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記傾き検出装置は、前記車載カメラによって撮影した画像の中の地平線の位置の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることを特徴とする請求項２記載の車両用画像表示装置。
【請求項４】
前記傾き検出装置は、前記車載カメラによって撮影した画像の中の路面の傾斜角の変化に基づいて水平面に対する前記路面の傾きを検出するように構成されていることを特徴とする請求項２記載の車両用画像表示装置。
【請求項５】
水平面に対する前記車両の傾斜角を検出するジャイロセンサを備え、
前記傾き検出装置は、前記車載カメラによって撮影した画像を画像認識することにより水平面に対する前記路面の傾斜角を検出するように構成され、
前記画像合成装置は、水平面に対する前記車両の傾斜角及び水平面に対する前記路面の傾斜角に基づいて、前記路面に対する前記車両の傾斜角を検出するように構成されていることを特徴とする請求項１記載の車両用画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２４５８２１（Ｐ２０１０−２４５８２１Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９２００２（Ｐ２００９−９２００２）
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]