画像表示装置
【課題】画面に表示される補助的な画像から直感的に車体の誘導を可能にする画像表示装置を構成する。
【解決手段】後部カメラ28の撮影画像をモニタ21に表示する画像処理部38を備えている。この画像処理部38は、モニタ21に表示されている撮影画像に対して距離感を有する遠近感イメージを重畳表示する合成処理手段38Fを備えると共に、遠近感イメージをモニタ21の視野内に固定して重畳表示する視野固定モードと、路面と一体的にスクロールする形態で重畳表示する路面固定モードとの選択を実現する表示モード設定手段38Aを備えた。
【解決手段】後部カメラ28の撮影画像をモニタ21に表示する画像処理部38を備えている。この画像処理部38は、モニタ21に表示されている撮影画像に対して距離感を有する遠近感イメージを重畳表示する合成処理手段38Fを備えると共に、遠近感イメージをモニタ21の視野内に固定して重畳表示する視野固定モードと、路面と一体的にスクロールする形態で重畳表示する路面固定モードとの選択を実現する表示モード設定手段38Aを備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置に関し、詳しくは、自動車等の自走型の車体に備えたカメラで車体の周辺を撮影し、このように撮影した画像を運転座席の近傍のモニタに表示することで運転を支援する画像表示装置に関する。
【背景技術】
【0002】
上記のように構成された画像表示装置として特許文献1には、カメラで撮影された実画像に対して、奥行き感がある格子状のグリッド画像を重畳してモニタに表示することにより、ドライバーから見て前方で左右に拡がる視覚領域を監視できる装置が記載されている。
【0003】
この特許文献1では、グリッド画像を、移動体や標識等の道路上の重要な物体がグリッドに重ならないような高さに設定する点が記載されている。また、実画像内から移動体を検出した場合には、その移動体の位置、移動速度等を取得しモニタに矢印等の情報を表示することが記載されている。更に、他車輌が存在する領域のグリッドの色をより目立つ色にすることや、車外が暗い夕方や夜の場合には、グリッドの輝度を押さえながら白色に設定することも記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009‐226978号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載されるグリッドはモニタの決まった位置に表示されることになるので、車体が停車した状態で交差点や横断歩道までの距離をグリッドに基づいて判断することが可能となる。つまり、グリッドをメジャーのように用いて距離を測ることが可能となる。
【0006】
しかしながら、このようにグリッドが表示されるものでは、自車両が進路を変更した場合には実画像に対してグリッドが移動することになるので、例えば、操舵操作を行った場合に、カメラで撮影される背景(実画像)に対してグリッドが左右に移動することになり、グリッドと背景との位置関係を把握し難くなるものであった。特に、操舵操作に加速や減速が加わった場合には背景とグリッドとの関係に違和感を感ずることも想像された。
【0007】
画面に表示されるグリッドは、自車両と、駐車位置や障害物との位置関係を把握するために有効であるが、グリッドから自車両の位置を把握するためには自車両を停車させる、あるいは、低速で走行させる必要がある。特に、特許文献1では、他車輌が存在する領域のグリッドの色を目立つ色に変更することで注意を喚起するものであるが、自車両の移動に伴い目立つ色の領域がグリッド上において移動することになり、表示形態に違和感を感ずることも考えられた。
【0008】
駐車位置を示すように路面に形成された白線や、路面の障害物等までの距離や位置関係を明らかにするためにグリッド等の補助的な画像を画面に表示する有効性は活用したい面がある。そして、このグリッド等の補助的な画像は路面の障害物等と車体との距離を運転者が容易に誤りなく把握できる形態で表示することが望まれる。
【0009】
本発明の目的は、モニタにカメラの撮影画像を表示すると共に、障害物等に対する車体の位置を容易に把握できるように補助的な画像を撮影画像に重畳表示する画像表示装置を合理的に構成する点にある。
【課題を解決するための手段】
【0010】
本発明の特徴は、車体に、この車体の周辺を撮影するカメラを備え、このカメラの撮影画像を前記車体に備えたモニタに表示する画像処理部を備えており、
この画像処理部が、前記カメラの撮影画像の遠近感を反映する遠近感イメージを生成すると共に、この遠近感イメージを前記車体の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージを前記撮影画像に重畳して前記モニタに表示する路面固定モードでの処理を行う点にある。
【0011】
この構成によると、モニタにはカメラの撮影画像が表示され、路面固定モードで遠近感イメージが重畳表示されため、モニタで移動する撮影画像の路面と一体的に移動(スクロール)する形態で遠近感イメージが表示される。このような表示から、ステアリング操作を行いながら車体を移動させても路面と遠近感イメージとの相対的な位置関係に変化せず、遠近感イメージの表示に違和感がなく、陰影のない路面上を移動する際にも移動量や移動速度の把握も容易になる。
従って、モニタにカメラの撮影画像を表示すると共に、障害物等に対する車体の位置を容易に把握できるように補助的な画像を撮影画像に重畳表示する画像表示装置が構成された。
【0012】
本発明は、前記遠近感イメージを前記モニタの表示域に固定する形態で前記撮影画像に重畳し前記モニタに表示する視野固定モードでの処理が設定されると共に、前記画像処理部は、前記路面固定モードと、前記視野固定モードとの何れか一方の処理を実行しても良い。
【0013】
これによると、視野固定モードでの処理が行われた場合には、遠近感イメージをモニタの表示域に固定する形態で撮影画像に重畳して表示される。このことは、例えば、車体の停車時には遠近感イメージから車体と路面の白線や障害物までの距離を容易に把握でき、走行時においても、遠近感イメージから撮影画像に含まれる対象物までの距離を測ることも可能となる。
【0014】
本発明は、操作により前記路面固定モードの処理と、前記視野固定モードの処理との一方を選択する選択ボタンを備えても良い。
【0015】
これによると、選択ボタンの操作により路面固定モードの処理と、視野固定モードの処理との選択が可能となる。このような選択により、例えば、停車状態で車体位置から障害物等までの距離を把握したい場合いは視野固定モードを選択し、車体の移動時に障害物等との相対距離の変化を把握したい場合には路面固定モードを選択する等、必要に応じた表示形態の選択が可能となる。
【0016】
本発明は、路面に対応した仮想平面を縦方向と横方向との方向において設定間隔で区画する区画イメージを具備する平面メジャーイメージを生成すると共に、この平面メジャーイメージを前記カメラの撮影画像の遠近感を反映する前記遠近感イメージに変換する変換処理手段を備えても良い。
【0017】
これによると、区画イメージを具備する平面メジャーイメージに基づいて遠近感イメージが生成され、遠近感イメージの区画イメージは、車体を基準にしたメジャーとしての機能を有する。そして、この区画イメージからカメラの撮影画像に含まれる白線や目標等との距離感を把握できる。
【0018】
本発明は、前記車体に路面の地上物の位置を検出する障害物センサユニットが備えられ、前記路面固定モードの実行時に前記障害物センサユニットで地上物を検出した場合には、前記遠近感イメージのうち前記地上物が存在する領域の表示形態を、地上物が検出されない領域と異なるものにする領域指定手段を備えても良い。
【0019】
これによると、障害物検出センサで地上物が検出された場合には、遠近感イメージのうち地上物が存在する領域の表示形態が、地上物が検出されない領域と異なる表示形態となり、この表示から地上物の存在を把握できる。しかも、遠近感イメージが路面固定モードで表示されるので、車体を移動させた場合には、地上物の位置を示す領域が、モニタに表示される撮影画像の移動と一体的に移動することになり地上物の位置の把握が容易になる。
【0020】
本発明は、前記画像処理部が、夜間にのみ前記遠近感イメージを前記モニタに表示しても良い。
【0021】
これによると、夜間において路面が暗い状態にあり、遠近感イメージの視認が困難なばあいでも、視認性を向上させることが可能となる。
【0022】
本発明は、前記画像処理部が、前記車体の停車時より前記車体の移動時における前記遠近感イメージの透明感を高く設定しても良い。
【0023】
これによると、車体の停車時には遠近感イメージから路面と車体との位置関係の把握を可能にし、車体の移動時には遠近感イメージの視認性が低下することで、モニタに表示されている撮影画像の把握を阻害しないものにできる。
【0024】
本発明は、前記画像処理部が、昼間と比較して夜間時には、前記遠近感イメージを高輝度に設定する表示しても良い。
【0025】
これによると、夜間に車体を後進させる場合のように運転者の位置から後方の確認が困難な状況でも、モニタに表示される遠近感イメージが高輝度で表示されるので、この遠近感イメージから車体の移動量やステアリング量等を容易に把握できる。
【0026】
本発明は、前記画像処理部が、前記遠近感イメージのうち前記車体から離間する領域のものほど視認性を低下させても良い。
【0027】
これによると、遠近感イメージのうち、車体から離間した位置のものほど視認性を低下させているので、車体近傍の遠近感イメージを明瞭にして、車体近傍の障害物等との相対距離の把握を容易にすると共に、遠方位置の遠近感イメージが目障りになることもない。
【図面の簡単な説明】
【0028】
【図1】乗用車の構成の概要を示す平面図である。
【図2】乗用車の一部切り欠き斜視図である。
【図3】制御系のブロック回路図である。
【図4】表示処理における情報の流れを示すブロック図である。
【図5】後方表示処理のフローチャートである。
【図6】後方表示処理で表示されたモニタを示す図である。
【図7】路面固定モードで表示される遠近感イメージを示す図である。
【図8】レチクルパターンの遠近感イメージを示す図である。
【図9】ドットパターンの遠近感イメージを示す図である。
【図10】別実施の形態(a)のモニタの表示形態を示す図である。
【図11】別実施の形態(b)のモニタの表示形態を示す図である。
【発明を実施するための形態】
【0029】
以下、本発明の実施の形態を図面に基づいて説明する。
本実施の形態では、車体1を後進させる際に車体1の後端に備えた後部カメラ28の撮影画像をモニタ21に表示すると共に、この撮影画像に車体1と路面の白線や障害物等との位置関係の把握を容易にする遠近感イメージMpを重畳表示する画像表示装置を備えており、この画像表示装置の制御形態と制御構成とを以下に説明する。
【0030】
〔基本構成〕
図1及び図2に示すように、乗用車の車体1には左右の前車輪2と、左右の後車輪3とを備えている。車体1の前部位置にはヒンジにより開閉自在な左前部ドア4と右前部ドア5とを備え、車体1の後部位置にスライド式に開閉自在な左後部ドア6と右後部ドア7とを備え、車体1の後端にはハッチバック式のバックドア8を備え、車体1の前端にはヘッドライト9(前照灯)を備えている。
【0031】
車体1のルーム内には運転座席13と、助手座席14と、複数の後部座席15とが備えられている。運転座席13の前方位置にはステアリングホイール16が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席13の足許にはアクセルペダル17とブレーキペダル18とが配置され、運転座席13の側部には変速を実現するシフトレバー19が配置されている。
【0032】
運転座席13の近傍で、コンソールの上部位置には、表示面にタッチパネル21Tが形成されたモニタ21が備えられている。モニタ21は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやCRT型のものであっても良い。また、タッチパネル21Tは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ21のケース21Cにはスピーカ22も備えられているが、スピーカ22はドアの内側など、他の場所に備えられても良い。
【0033】
左前部ドア4には左サイドミラー23を備え、右前部ドア5には右サイドミラー24を備えている。左サイドミラー23に左サイドカメラ25が備えられ、右サイドミラー24に右サイドカメラ26が備えられている。車体1の前端に前部カメラ27が備えられ、車体1の後端には後部カメラ28が備えられている。
【0034】
特に、左サイドカメラ25と右サイドカメラ26とは撮影方向が下方にセットされ、車体1の一部と路面とが撮影領域に含まれる。前部カメラ27と後部カメラ28とは、撮影方向が斜め下方にセットされ、車体1の一部と路面とが撮影領域に含まれる。
【0035】
これら撮影装置してのカメラはCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保されている。
【0036】
モニタ21は、ナビゲーションモードの制御においてナビゲーション情報の表示に用いられるものであるが、シフトレバー19をリバース(後進)位置に操作した際には、後部カメラ28の撮影画像が表示される。また、本発明では、モニタ21に表示される後部カメラ28の撮影画像に対して路面の距離感を示す補助的な画像として遠近感イメージMpが重畳して表示される。この表示の処理形態は後述する。特に、後部カメラ28の撮影画像は左右を鏡面反転させることにより左右が入れ換った画像にしており、ルームミラーで後方を確認した際の像と同じ感覚で視認できるようにしている。
【0037】
車体前部には、ステアリングホイール16の回転操作力を前車輪2に伝えて駆動操向(操舵)を行うパワーステアリングユニットPSを備えている。また、車体前部にはエンジンEと、このエンジンEからの動力を変速して前車輪2に伝えるトルクコンバータやCVT等で成る変速機構Tとを備えている。変速機構Tはシフトレバー19の操作によって前後進の切り換えと、走行速度の変速とが行われる。
【0038】
車体1には運転操作や、車体1の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール16の操作系にはステアリング操作方向(操舵方向)と操作量(操舵量)とを計測するステアリングセンサS16が備えられている。また、シフトレバー19の操作系にはシフト位置を判別するシフト位置センサS19が備えられている。アクセルペダル17の操作系には操作量を計測するアクセルセンサS17が備えられ、前記ブレーキペダル18の操作系には操作の有無を検出するブレーキセンサS18が備えられている。
【0039】
後車輪3の近傍には後車輪3の回転量から車体1の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサS3が備えられている。尚、移動距離センサS3として、変速機構Tの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサS3は、前車輪2の回転量を計測するものでも良い。更に、前部カメラ27あるいは後部カメラ28の撮影画像の画像処理から車体1の移動量とステアリング量とを検出するように構成しても良い。
【0040】
車体1の複数箇所には、車体1の近傍位置の人や障害物等の地上物X(図7を参照)を検出し、地上物Xの位置情報を出力する超音波式やレーザ光式の障害物センサユニットSBを備えている。この障害物センサユニットSBとしてカメラの撮影画像の複数の撮影画像の差分(フレーム間差分)から地上物Xを検出するものや、複数の撮影画像の背景とのから地上物Xを抽出するものでも良い。
【0041】
〔制御構成〕
車体1の中央部には、本発明の画像表示装置としてのECU30を配置している。このECU30は、図3及び図4に示すように、センサ入力インターフェース31と、通信インターフェース32とで成るインターフェースを備えると共に、画像出力モジュール33と音声出力モジュール34とを備えている。
【0042】
このECU30では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、DSP(digital signal processor)等の処理系を備え、処理結果は画像出力モジュール33からモニタ21に出力され、また、音声情報は音声出力モジュール34からスピーカ22に出力される。
【0043】
このECU30には、ナビゲーションモードの制御を実現するナビゲーション制御部35と、ナビゲーション制御部35に地図情報を与える地図データ保存部36と、駐車支援モードの制御を実現する駐車支援制御部37と、後方表示処理を実現する画像処理部38とを備えている。
【0044】
ナビゲーション制御部35は、走行時にGPSユニット41から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ21に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ21に表示すると共に、誘導情報をスピーカ22から音声で出力する。地図データ保存部36は、自車位置に対応した地図データをナビゲーション制御部35に与える処理を行う。
【0045】
駐車支援制御部37は、駐車を行う際に、カメラビューモードと、アラウンドビューモードとの少なくとも一方の画像をモニタ21に表示すると共に、この撮影画像に対して車体1を駐車位置に導く支援情報等が重畳表示される。また、支援情報としてスピーカ22からステアリング方向等の支援情報が音声で出力される。このような情報に基づいてステアリング操作等を行うことにより車体1を駐車位置に容易に導入できることになる。
【0046】
つまり、カメラビューモードでは、後部カメラ28あるいは前部カメラ27の撮影画像をモニタ21に表示すると共に、撮影画面において駐車位置を指定することにより、この撮影画面に対して車体1の走行方向を示すイメージ等の支援情報が表示され、車体1を駐車位置に導く支援情報が音声でスピーカ22から出力されるのである。
【0047】
また、アラウンドビューモードでは、左サイドカメラ25と、右サイドカメラ26と、前部カメラ27と、後部カメラ28との撮影画像から路面を上から見下ろした画像を生成する。そして、この画像を車体アイコンの周囲にマッピングすることで車体1を上方から見下ろした俯瞰画像が生成してモニタ21に表示されると共に、必要な場合には、車体1を駐車位置に導く支援情報が音声でスピーカ22から出力される。
【0048】
画像処理部38は、表示モード設定手段38Aと、イメージ生成手段38Bと、セル状領域指定手段38C(領域指定手段の一例)と、スクロール処理手段38Dと、変換処理手段38Eと、合成処理手段38Fとを備えている。
【0049】
表示モード設定手段38Aは、路面固定モードでの処理と、視野固定モードでの処理との一方を設定する。つまり、路面固定モードの処理は、遠近感イメージMpを車体1の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージMpを撮影画像に重畳しモニタ21に表示する。また、視野固定モードの処理は、遠近感イメージMpをモニタ21の表示域に固定する形態で撮影画像に重畳しモニタ21に表示する。この表示モード設定手段38Aは、図6に示す如く、2つのモードの一方の選択を実現する選択ボタン45をモニタ21に表示する。
【0050】
イメージ生成手段38Bは、複数の平面メジャーイメージMfのうち指定されパターンを、指定された輝度(濃度)で、指定された色相で生成する。この平面メジャーイメージMfとして、複数の縦ラインと複数の横ラインとを等間隔で格子状に配置したグリッドパターン(図4を参照)、図8に示すように複数のレチクルイメージを縦方向と横方向とで等間隔で配置したレチクルパターン、図9に示すように複数のドットを縦方向と横方向とで等間隔で配置したドットパターン等がセットされている。
【0051】
また、平面メジャーイメージMfではグリッドやレチクルやドットが、濃度を持った区画イメージであり、これらの区画イメージで区画されるセル状領域Cが透明に形成されている。そして、イメージ生成手段38Bは、これらの平面メジャーイメージMfのうち指定されたものを生成する。
【0052】
セル状領域指定手段38Cは、障害物センサユニットSBからの情報に基づいて平面メジャーイメージMfのうち地上物Xが存在するセル状領域Cを指定し、このセル状領域Cに対して他のセル状領域C(地上物Xが検出されない領域)と異なる特徴的な(高輝度や、高い明度や、高い彩度)着色を行う。スクロール処理手段38Dは、車体1の移動方向と単位時間の移動量とに基づき、平面メジャーイメージMfを仮想平面上でスクロールさせる処理を行う。
【0053】
変換処理手段38Eは、後部カメラ28の撮像光学系(レンズや光電変換素子)の画角や、この撮像光学系の歪曲情報や撮影方向等の情報(カメラ・レンズ情報)に基づき、平面メジャーイメージMfを、路面と一致する仮想平面上に投射変換した遠近感イメージMpを生成する。
【0054】
合成処理手段38Fは後部カメラ28の撮影画像に遠近感イメージMpを重畳させる形態での合成を実現する。具体的には、撮影画像が展開される背景レイヤと、これに重ねるイメージレイヤとを用いる処理形態が想定されている。そして、路面固定モードでは、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開され、これと同期するタイミングでイメージレイヤに対して遠近感イメージMpが展開される。また、視野固定モードでは、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開されるが、イメージレイヤに展開された遠近感イメージMpは維持される。尚、設定インターバルとは、後部カメラ28が1秒あたり撮影画像を出力する際の時間間隔である。
【0055】
表示モード設定手段38Aと、イメージ生成手段38Bと、セル状領域指定手段38Cと、スクロール処理手段38Dと、変換処理手段38Eと、合成処理手段38Fとはソフトウエアで構成されるものであるが、これらをハードウエアで構成して良く、これらをソフトウエアとハードウエアとで構成しても良い。
【0056】
特に、変換処理手段38Eをソフトウエアで構成した場合には演算により投射変換を実現することになるが、例えば、平面メジャーイメージMfを構成する画素の座標(アドレスと考えても良い)と、投射変換により生成される遠近感イメージMpの画素との関係をテーブルデータ化することで変換処理の高速化を図っても良い。
【0057】
ECU30は、電子回路により構成され、インターフェースや出力系の一部又は、全てがこのような電子回路に含まれていても良い。尚、ECU30には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。
【0058】
センサ入力インターフェース31には、ステアリングセンサS16と、シフト位置センサS19と、アクセルセンサS17と、ブレーキセンサS18と、移動距離センサS3とから運転操作情報や移動状態を検出する情報が入力する。
【0059】
通信インターフェース32は、通信回線を介してパワーステアリングユニットPSと、変速機構Tと、ブレーキ装置BKと、GPSユニット41と間で通信を行う。更に、この通信インターフェース32は、タッチパネル21Tと、左サイドカメラ25と、右サイドカメラ26と、前部カメラ27と、後部カメラ28と、障害物センサユニットSBからの情報を取得する。
【0060】
画像出力モジュール33は、モニタ21に対して画像を出力し、音声出力モジュール34は、スピーカ22に対して音声を出力する。
【0061】
〔制御形態〕
このECU30は、ナビゲーション情報をモニタ21に表示するナビゲーション表示処理、あるいは、駐車支援情報をモニタ21に表示する駐車支援表示処理を実現するものであるが、本発明の制御として車体1の後方の画像をモニタ21に表示する後方表示処理を以下に説明する。
【0062】
後方表示処理は、シフトレバー19がリバースにセットされた際に自動的に実行され、後部カメラ28の撮影画像がモニタ21に表示され、この表示とともに遠近感イメージMpがモニタ21に重畳表示される。この表示により、例えば、車体1を駐車位置に導入する際に路面の特定部位と車体1との位置関係を容易に把握できるものとなり、この制御形態を図5のフローチャート及び図4の情報の流れに基づいて説明する。
【0063】
シフト位置センサS19からの信号からシフトレバー19がリバース(後進)位置にセットされたことが検出された場合には、図6に示すように、初期表示として後部カメラ28の撮影画像がモニタ21に表示されると共に、この撮影画像に遠近感イメージMpが路面固定モードで重畳表示され、この遠近感イメージMpの路面に対する表示位置(スクロール処理手段38Dにおいて、平面メジャーイメージMfの路面に対する表示位置)が基準位置として記憶される。また、モニタ21は選択ボタン45と非表示ボタン46とが表示される(#101ステップ)。
【0064】
この処理では、イメージ生成手段38Bが生成した平面メジャーイメージMfを、変換処理手段38Eで変換することで、後部カメラ28の撮影画像の遠近感と、後部カメラ28の撮像光学系に起因する撮影画像の歪曲とを反映した遠近感イメージMpが生成される。また、フローチャートには示していないが、非表示ボタン46が操作された場合には平面メジャーイメージMfが生成されず、モニタ21にも遠近感イメージMpは表示されない。セル状領域指定手段38Cの処理とスクロール処理手段38Dによる処理は後述する。
【0065】
平面メジャーイメージMfとしては、前述したグリッドパターン、レチクルパターン、ドットパターン等のうちユーザによって指定されたものをイメージ生成手段38Bが生成する。また、ユーザの任意の操作により平面メジャーイメージMfの色相や輝度(濃度)を任意に設定でき、パターンの縦方向と横方向との間隔も任意に設定できる。尚、この制御に関連する図面にはグリッドパターンを示している。
【0066】
変換処理手段38Eは、撮影画像の路面レベルに仮想平面を設定し、この仮想平面上に、平面メジャーイメージMfに所定の遠近感と、後部カメラ28のレンズの歪曲とを反映した遠近感イメージMpを射影変換等により生成する。この変換処理時には、平面メジャーイメージMfの縦ラインを車体1の前後方向と平行する姿勢に設定する。このような変換を行うことにより遠近感イメージMpが図6に示す形態となる。尚、遠近感イメージMpは、透視図法で描いた図形と共通する形態であり、この透視図法における消失点の位置が、車体1の幅方向の中央の後方に位置するように遠近感イメージMpが生成されるのである。
【0067】
このように遠近感イメージMpが表示されることで、例えば、グリッドパターンの前後方向での間隔が1M(メートル)に設定されている場合には、車体1に最も近いグリッドパターンの横ラインが表示される路面位置が、車体1から1M(メートル)の位置に存在することが把握できる。
【0068】
次に、ヘッドライト9を点灯する操作が行われている場合には遠近感イメージMpの輝度を高めるために平面メジャーイメージMfの輝度を高め、ヘッドライト9が消灯状態にある場合には遠近感イメージMpの輝度を標準値にセットするために平面メジャーイメージMfの輝度を標準値にセットする。この処理により、平面メジャーイメージMfにセットされた輝度は、変換処理手段38Eで変換された遠近感イメージMpの輝度に反映され、この遠近感イメージMpがモニタ21に表示される(#102〜#104ステップ)。
【0069】
この処理は、夜間において路面が暗い状態にあり、遠近感イメージMpの視認が困難な場合に、視認性を向上させるための処理である。この輝度の設定(輝度指定)はイメージ生成手段38Bにおいて行われる。この処理で輝度の設定は、ヘッドライト9の点灯の有無に基づいて行われるものであるが、例えば、ECU30に備えたカレンダーと、GPSユニット41で取得した緯度情報と、ECU30の時計の時刻情報とから日没時間を取得し、日没後であることを判定した場合に輝度を高めるように切換を行うように処理形態を設定しても良い。この遠近感イメージMpは昼間に表示を必要としないことも多く、昼間の時間帯であることを判定した場合にはECU30が遠近感イメージMpを非表示とし、夜間にのみ表示するように処理形態を設定しても良い。換言すると、遠近感イメージMpは画像が明るいときには必要としないことも多く、従って、モニタ21の画面の輝度が高いときには遠近感イメージMpを表示せず、画面の輝度が低いときに遠近感イメージMpを表示しても良い。
【0070】
次に、モニタ21に表示されている選択ボタン45で路面固定モードの処理が選択されない場合(視野固定モードが選択された場合)には、遠近感イメージMpをモニタ21の視野に固定する形態で撮影画像に重畳表示する(#105、#106ステップ)。
【0071】
尚、#106ステップでは、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開されるが、イメージレイヤに展開された遠近感イメージMpは維持される処理が行われる。
【0072】
これとは逆に、#105ステップで路面固定モードの処理が選択されていることが判別された場合(既に選択されている場合を含む)には、障害物センサユニットSBで地上物X(図7を参照)を検出した場合に、地上物Xが存在する位置のセル状領域Cxの表示色を比較的高い輝度の有彩色に設定して表示する(#105、#107、#108ステップ)。
【0073】
つまり、障害物センサユニットSBで地上物Xを検出した場合には、セル状領域指定手段38Cが、地上物Xの位置情報を取得し、この位置情報に対応する位置のセル状領域Cxの表示色を設定する。尚、地上物Xが複数のセル状領域Cに亘って存在する場合や、複数の地上物Xが存在する場合には対応する複数のセル状領域Cxが着色された状態で表示されることになる。
【0074】
このような表示形態に代えて、例えば、遠近感イメージMpのうち地上物Xが存在する部位(横ラインや縦ライン)の輝度を高めることや、色相を変更することや、その部位(横ラインや縦ライン)をブリンクさせるように表示形態を設定しても良い。
【0075】
次に、車体1が走行していることを判定した場合には、記憶されている基準位置を基にして平面メジャーイメージMfを車体1の走行方向とステアリング方向とを反映する方向に(車体の移動方向と逆方向に)スクロールする(#109、#110ステップ)。
【0076】
この処理では、スクロール処理手段38Dが、ステアリングセンサS16と、移動距離センサS3とからの信号を取得し、車体1の移動方向と、単位時間内の移動量とを取得して、この移動と逆方向に平面メジャーイメージMfをスクロールする。
【0077】
つまり、スクロール処理手段38Dは、平面メジャーイメージMfをスクロールすると共に、このスクロールの際には、後部カメラ28が1秒あたり撮影画像を出力する際のインターバルで平面メジャーイメージMfから遠近感イメージMpが生成される。そして、この遠近感イメージMpを撮影画像に重畳して表示した場合には、この遠近感イメージMpが路面に固定された状態で路面と一体的に移動する形態で表示されることになる。
【0078】
具体的に説明すると、平面メジャーイメージMfはメモリ上の所定エリアにビットマップ形式で形成される。スクロールする場合には、この所定エリアにおいて平面メジャーイメージMfをアフィン変換等により平行移動させる(アドレス値の加減が行われることになる)。このようにスクロールされる際には平面メジャーイメージMfの設定領域F(図4を参照)が前述したインターバルで抽出され、後述するように、変換処理手段38Eが遠近感イメージMpに変換する結果、この遠近感イメージMpはモニタ21に路面と一体的にスクロールする形態で表示される。
【0079】
この処理では、車体1が停車した際に、遠近感イメージMpの輝度を高めるために平面メジャーイメージMfの輝度を高めることや、遠近感イメージMpの透明感(透明度)を低減する(明瞭にする)ために平面メジャーイメージMfの透明感を低減する処理を行っても良い。また、車体1が移動したことを検出した場合に、遠近感イメージMpの輝度を低減するために平面メジャーイメージMfの輝度を低減することや、遠近感イメージMpの透明感を高める(不明瞭にする)ために平面メジャーイメージMfの透明感を高める処理を行っても良い。この処理により平面メジャーイメージMfにセットされた輝度や透明感は、変換処理手段38Eで変換された遠近感イメージMpの輝度や透明感に反映され、この遠近感イメージMpがモニタ21に表示されることになる。このような処理を行うことで停車時には遠近感イメージMpを明瞭に視認して路面と車体との位置関係の把握を可能にし、車体1の移動時には遠近感イメージMpの視認性を低減してモニタ21に表示されている撮影画像の把握を阻害しないものにできる。ここで、「透明感を高める」の表現に代えて「より透明度の高い半透明にする」と言い換えても良い。
【0080】
これとは逆に、車体1が停車した際に、遠近感イメージMpの輝度を低減し、遠近感イメージMpの透明感を増す(不明瞭にする)ために、前述と同様の処理を行っても良い。このような処理を行うことで停車時には遠近感イメージMpが目障りにならず、車体1の移動時に視認性を高めることになる。
【0081】
次に、変換処理手段38Eにおいて、平面メジャーイメージMfが、後部カメラ28が撮影画像を出力するインターバル毎に遠近感イメージMpに変換される。この変換処理手段38Eでは、平面メジャーイメージMfのうち、前述した設定領域Fの情報が、路面と一致する仮想平面上に投射変換により遠近感を持ったイメージに変換され、この後に、後部カメラ28の撮像光学系の画角や、歪曲情報等を反映されたイメージに変換される。このように遠近感を持ち、撮像光学系の歪曲が範囲する遠近感イメージMpが生成されるのである。尚、前述したテーブルデータを用いて変換を行うことで、高速での変換も可能である。
【0082】
そして、合成処理手段38Fにおいて撮影画像に重畳する形態で遠近感イメージMpが合成され画像出力モジュール33に与えられ、この合成された画像はモニタ21に表示される。この処理はシフトレバー19をリバース位置以外の位置にセットされるまで継続して行われる(#111〜#113ステップ)。
【0083】
特に、#112ステップ(路面固定モード)では、合成処理手段38Fが、前述したように、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開し、これと同期するタイミングでイメージレイヤに対して遠近感イメージを展開することになる。
【0084】
このように、本発明によると、シフトレバー19をリバース位置にセットした場合には、モニタ21に後部カメラ28で撮影された撮影画像が表示され、この撮影画像に対して、遠近感イメージMpが重畳して表示されこの遠近感イメージMpの路面に対する表示位置(スクロール処理手段38Dにおいて、平面メジャーイメージMfの路面に対する表示位置)が基準位置として記憶される。遠近感イメージMpは、後部カメラ28の撮影画像の遠近感と、後部カメラ28の歪曲とが反映されており、遠近感イメージMpを基準にして駐車位置を示すラインや路面の障害物等までの距離を把握できることになる。
【0085】
シフトレバー19をリバース位置にセットした初期状態では、路面固定モードでの処理が選択されており、車体1の移動に伴い、記憶されている遠近感イメージMpの路面に対する表示位置を基準にしてスクロールが行われるため、ステアリング操作を行っても遠近感イメージMpが撮影画像の路面と一体的に移動(スクロール)する形態で表示される。これにより路面と遠近感イメージMpとの相対的な位置関係に変化がなく、遠近感イメージMpの表示に違和感がなく、陰影の少ない路面上を移動する際にも移動量や移動速度の把握も容易になるのである。
【0086】
また、視野固定モードを選択した場合には、車体1が移動する際にも遠近感イメージMpはモニタ21の表示領域では移動しない表示形態となり、遠近感イメージMpに基づいて車体1から、駐車位置を示すラインや路面の障害物等までの距離を把握できる。
【0087】
〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。
【0088】
(a)図10に示すように、モニタ21に対して後部カメラ28の撮影画像に遠近感イメージMpを重畳して表示する第1ウインドウW1と、車体1を上方から見下ろした俯瞰画像を表示する第2ウインドウW2とを形成しても良い。このように第2ウインドウW2に俯瞰画像を表示する際に、車体1の後方の画像に平面メジャーイメージMfを表示しても良い。このように俯瞰画像に平面メジャーイメージMfを表示することにより車体1の後方の状態を一層良好に把握できる。
【0089】
(b)例えば、遠近感イメージMpとしてグリッドパターンを表示する場合には、図11に示すように、グリッドパターンを路面から少し高い位置に表示し、路面に陰Msを表示しても良い。また、グリッドパターンに高さ方向に厚みを持たせて立体的に表示しても良い。このように立体的な表示を行うことにより、遠近感イメージMpの位置が明瞭となり、遠近感イメージMpから路面の特定の位置と車体との距離の把握を容易に行える。
【0090】
(c)車体1を後進させて駐車位置に導くための駐車支援モードにおいても遠近感イメージMpをモニタ21に表示するように処理形態を構成する。この駐車支援モードでは、駐車位置に対して車体1を誘導するために、例えば、駐車位置を特定する画像情報や、車体1を後進させた場合の予想進路等の画像情報がモニタ21に表示されるものであるが、これらの情報と併せて遠近感イメージMpをモニタ21に表示することで、駐車時における車体1の移動を一層容易にする。
【0091】
(d)車体1を前進させる際にも、モニタ21に前部カメラ27の撮影画像と、これに重畳するように遠近感イメージMpを表示する。このように処理形態を設定することにより、車体1と交差点との位置や前方の車両との車間距離を容易に把握できることになる。
【0092】
(e)カメラの撮影画像に遠近感イメージMpを重畳して合成する場合に、障害物センサユニットSBで地上物を検出している場合には、その地上物が存在する領域の遠近感イメージMpを陰線処理等により表示しないように処理形態を設定しても良い。このように処理形態を設定することにより、遠近感イメージMpに妨げられることなく地上物の形状等を明瞭に把握できる。
【0093】
(f)視野固定モードで車体1を移動させている際に所定の条件が成立したタイミングや、所定の人為操作が行われた際には、それらをトリガーにして路面固定モードに切り換わると共に、切り換わったタイミングにおける遠近感イメージMpと路面との表示位置との関係を基準位置として記憶するように処理形態を設定しても良い。前述したように、この記憶はスクロール処理手段38Dにおいて、平面メジャーイメージMfの路面に対する表示位置を基準位置として保存する処理として行われる。
【0094】
その具体例として、(1)視野固定モードで車体1を移動させ障害物(地上物X)を検出した時点、又は、(2)白線認識等の処理で駐車枠を認識できた時点、あるいは、(3)運転者が所定のスイッチ(選択ボタン45以外のスイッチ類)を操作した時点でトリガーを発生させることが考えられる。また、この(1)〜(3)の変形例として、シフトレバー19がリバース(後進)位置にセットされていることを条件にして(1)〜(3)のトリガーを発生させるように処理形態を設定しても良い。
【0095】
このように視野固定モードから路面固定モードに切り換えるトリガーを所定の条件や人為操作によって発生させるようにするように構成することで、例えば、視野固定モードで車体1を移動させ、所定の条件で路面固定モードに自動的に移行することや、運転者が遠近感イメージMpの所定のグリッドを路面のマーク等に意識的に一致させることを可能にする。
【0096】
また、路面固定モードのときに、(1)障害物(地上物X)を検出した時点、又は、(2)白線認識等の処理で駐車枠を認識できた時点、あるいは、(3)運転者が所定のスイッチ(選択ボタン45以外のスイッチ類)を操作した時点で、遠近感イメージMpを初期の状態に戻すことも考えられる。
具体的には、シフトレバー19がリバース(後進)位置にセットされたときに、そのときの撮影画像に対して遠近感イメージMpが重畳して表示され、この遠近感イメージMpの路面に対する表示位置が基準位置として記憶されて表示される。その後、路面固定モードで車体1が移動すると共に撮影画像とともに遠近感イメージMpも移動する。このような状況において、例えば、運転者が所定のスイッチ(選択ボタン45以外のスイッチ類)を操作した時点で、路面固定モードのときのシフトレバー19がリバース(後進)位置にセットされたときと同様の処理を行ってから遠近感イメージMpを表示することで、運転者が認識し易いように遠近感イメージMpを表示し直す(遠近感イメージMpをリセットする)処理形態を採用しても良い。
【産業上の利用可能性】
【0097】
本発明は、車体に車体近傍を撮影するカメラを備えている車輌全般に利用することができる。
【符号の説明】
【0098】
1 車体
21 モニタ
28 カメラ(後部カメラ)
38 画像処理部
38A 表示モード設定手段
38E 変換処理手段
38C 領域指定手段(セル状領域指定手段)
45 選択ボタン
C 領域(セル状領域)
SB 障害物センサユニット
X 地上物
【技術分野】
【0001】
本発明は、画像表示装置に関し、詳しくは、自動車等の自走型の車体に備えたカメラで車体の周辺を撮影し、このように撮影した画像を運転座席の近傍のモニタに表示することで運転を支援する画像表示装置に関する。
【背景技術】
【0002】
上記のように構成された画像表示装置として特許文献1には、カメラで撮影された実画像に対して、奥行き感がある格子状のグリッド画像を重畳してモニタに表示することにより、ドライバーから見て前方で左右に拡がる視覚領域を監視できる装置が記載されている。
【0003】
この特許文献1では、グリッド画像を、移動体や標識等の道路上の重要な物体がグリッドに重ならないような高さに設定する点が記載されている。また、実画像内から移動体を検出した場合には、その移動体の位置、移動速度等を取得しモニタに矢印等の情報を表示することが記載されている。更に、他車輌が存在する領域のグリッドの色をより目立つ色にすることや、車外が暗い夕方や夜の場合には、グリッドの輝度を押さえながら白色に設定することも記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009‐226978号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載されるグリッドはモニタの決まった位置に表示されることになるので、車体が停車した状態で交差点や横断歩道までの距離をグリッドに基づいて判断することが可能となる。つまり、グリッドをメジャーのように用いて距離を測ることが可能となる。
【0006】
しかしながら、このようにグリッドが表示されるものでは、自車両が進路を変更した場合には実画像に対してグリッドが移動することになるので、例えば、操舵操作を行った場合に、カメラで撮影される背景(実画像)に対してグリッドが左右に移動することになり、グリッドと背景との位置関係を把握し難くなるものであった。特に、操舵操作に加速や減速が加わった場合には背景とグリッドとの関係に違和感を感ずることも想像された。
【0007】
画面に表示されるグリッドは、自車両と、駐車位置や障害物との位置関係を把握するために有効であるが、グリッドから自車両の位置を把握するためには自車両を停車させる、あるいは、低速で走行させる必要がある。特に、特許文献1では、他車輌が存在する領域のグリッドの色を目立つ色に変更することで注意を喚起するものであるが、自車両の移動に伴い目立つ色の領域がグリッド上において移動することになり、表示形態に違和感を感ずることも考えられた。
【0008】
駐車位置を示すように路面に形成された白線や、路面の障害物等までの距離や位置関係を明らかにするためにグリッド等の補助的な画像を画面に表示する有効性は活用したい面がある。そして、このグリッド等の補助的な画像は路面の障害物等と車体との距離を運転者が容易に誤りなく把握できる形態で表示することが望まれる。
【0009】
本発明の目的は、モニタにカメラの撮影画像を表示すると共に、障害物等に対する車体の位置を容易に把握できるように補助的な画像を撮影画像に重畳表示する画像表示装置を合理的に構成する点にある。
【課題を解決するための手段】
【0010】
本発明の特徴は、車体に、この車体の周辺を撮影するカメラを備え、このカメラの撮影画像を前記車体に備えたモニタに表示する画像処理部を備えており、
この画像処理部が、前記カメラの撮影画像の遠近感を反映する遠近感イメージを生成すると共に、この遠近感イメージを前記車体の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージを前記撮影画像に重畳して前記モニタに表示する路面固定モードでの処理を行う点にある。
【0011】
この構成によると、モニタにはカメラの撮影画像が表示され、路面固定モードで遠近感イメージが重畳表示されため、モニタで移動する撮影画像の路面と一体的に移動(スクロール)する形態で遠近感イメージが表示される。このような表示から、ステアリング操作を行いながら車体を移動させても路面と遠近感イメージとの相対的な位置関係に変化せず、遠近感イメージの表示に違和感がなく、陰影のない路面上を移動する際にも移動量や移動速度の把握も容易になる。
従って、モニタにカメラの撮影画像を表示すると共に、障害物等に対する車体の位置を容易に把握できるように補助的な画像を撮影画像に重畳表示する画像表示装置が構成された。
【0012】
本発明は、前記遠近感イメージを前記モニタの表示域に固定する形態で前記撮影画像に重畳し前記モニタに表示する視野固定モードでの処理が設定されると共に、前記画像処理部は、前記路面固定モードと、前記視野固定モードとの何れか一方の処理を実行しても良い。
【0013】
これによると、視野固定モードでの処理が行われた場合には、遠近感イメージをモニタの表示域に固定する形態で撮影画像に重畳して表示される。このことは、例えば、車体の停車時には遠近感イメージから車体と路面の白線や障害物までの距離を容易に把握でき、走行時においても、遠近感イメージから撮影画像に含まれる対象物までの距離を測ることも可能となる。
【0014】
本発明は、操作により前記路面固定モードの処理と、前記視野固定モードの処理との一方を選択する選択ボタンを備えても良い。
【0015】
これによると、選択ボタンの操作により路面固定モードの処理と、視野固定モードの処理との選択が可能となる。このような選択により、例えば、停車状態で車体位置から障害物等までの距離を把握したい場合いは視野固定モードを選択し、車体の移動時に障害物等との相対距離の変化を把握したい場合には路面固定モードを選択する等、必要に応じた表示形態の選択が可能となる。
【0016】
本発明は、路面に対応した仮想平面を縦方向と横方向との方向において設定間隔で区画する区画イメージを具備する平面メジャーイメージを生成すると共に、この平面メジャーイメージを前記カメラの撮影画像の遠近感を反映する前記遠近感イメージに変換する変換処理手段を備えても良い。
【0017】
これによると、区画イメージを具備する平面メジャーイメージに基づいて遠近感イメージが生成され、遠近感イメージの区画イメージは、車体を基準にしたメジャーとしての機能を有する。そして、この区画イメージからカメラの撮影画像に含まれる白線や目標等との距離感を把握できる。
【0018】
本発明は、前記車体に路面の地上物の位置を検出する障害物センサユニットが備えられ、前記路面固定モードの実行時に前記障害物センサユニットで地上物を検出した場合には、前記遠近感イメージのうち前記地上物が存在する領域の表示形態を、地上物が検出されない領域と異なるものにする領域指定手段を備えても良い。
【0019】
これによると、障害物検出センサで地上物が検出された場合には、遠近感イメージのうち地上物が存在する領域の表示形態が、地上物が検出されない領域と異なる表示形態となり、この表示から地上物の存在を把握できる。しかも、遠近感イメージが路面固定モードで表示されるので、車体を移動させた場合には、地上物の位置を示す領域が、モニタに表示される撮影画像の移動と一体的に移動することになり地上物の位置の把握が容易になる。
【0020】
本発明は、前記画像処理部が、夜間にのみ前記遠近感イメージを前記モニタに表示しても良い。
【0021】
これによると、夜間において路面が暗い状態にあり、遠近感イメージの視認が困難なばあいでも、視認性を向上させることが可能となる。
【0022】
本発明は、前記画像処理部が、前記車体の停車時より前記車体の移動時における前記遠近感イメージの透明感を高く設定しても良い。
【0023】
これによると、車体の停車時には遠近感イメージから路面と車体との位置関係の把握を可能にし、車体の移動時には遠近感イメージの視認性が低下することで、モニタに表示されている撮影画像の把握を阻害しないものにできる。
【0024】
本発明は、前記画像処理部が、昼間と比較して夜間時には、前記遠近感イメージを高輝度に設定する表示しても良い。
【0025】
これによると、夜間に車体を後進させる場合のように運転者の位置から後方の確認が困難な状況でも、モニタに表示される遠近感イメージが高輝度で表示されるので、この遠近感イメージから車体の移動量やステアリング量等を容易に把握できる。
【0026】
本発明は、前記画像処理部が、前記遠近感イメージのうち前記車体から離間する領域のものほど視認性を低下させても良い。
【0027】
これによると、遠近感イメージのうち、車体から離間した位置のものほど視認性を低下させているので、車体近傍の遠近感イメージを明瞭にして、車体近傍の障害物等との相対距離の把握を容易にすると共に、遠方位置の遠近感イメージが目障りになることもない。
【図面の簡単な説明】
【0028】
【図1】乗用車の構成の概要を示す平面図である。
【図2】乗用車の一部切り欠き斜視図である。
【図3】制御系のブロック回路図である。
【図4】表示処理における情報の流れを示すブロック図である。
【図5】後方表示処理のフローチャートである。
【図6】後方表示処理で表示されたモニタを示す図である。
【図7】路面固定モードで表示される遠近感イメージを示す図である。
【図8】レチクルパターンの遠近感イメージを示す図である。
【図9】ドットパターンの遠近感イメージを示す図である。
【図10】別実施の形態(a)のモニタの表示形態を示す図である。
【図11】別実施の形態(b)のモニタの表示形態を示す図である。
【発明を実施するための形態】
【0029】
以下、本発明の実施の形態を図面に基づいて説明する。
本実施の形態では、車体1を後進させる際に車体1の後端に備えた後部カメラ28の撮影画像をモニタ21に表示すると共に、この撮影画像に車体1と路面の白線や障害物等との位置関係の把握を容易にする遠近感イメージMpを重畳表示する画像表示装置を備えており、この画像表示装置の制御形態と制御構成とを以下に説明する。
【0030】
〔基本構成〕
図1及び図2に示すように、乗用車の車体1には左右の前車輪2と、左右の後車輪3とを備えている。車体1の前部位置にはヒンジにより開閉自在な左前部ドア4と右前部ドア5とを備え、車体1の後部位置にスライド式に開閉自在な左後部ドア6と右後部ドア7とを備え、車体1の後端にはハッチバック式のバックドア8を備え、車体1の前端にはヘッドライト9(前照灯)を備えている。
【0031】
車体1のルーム内には運転座席13と、助手座席14と、複数の後部座席15とが備えられている。運転座席13の前方位置にはステアリングホイール16が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席13の足許にはアクセルペダル17とブレーキペダル18とが配置され、運転座席13の側部には変速を実現するシフトレバー19が配置されている。
【0032】
運転座席13の近傍で、コンソールの上部位置には、表示面にタッチパネル21Tが形成されたモニタ21が備えられている。モニタ21は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやCRT型のものであっても良い。また、タッチパネル21Tは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ21のケース21Cにはスピーカ22も備えられているが、スピーカ22はドアの内側など、他の場所に備えられても良い。
【0033】
左前部ドア4には左サイドミラー23を備え、右前部ドア5には右サイドミラー24を備えている。左サイドミラー23に左サイドカメラ25が備えられ、右サイドミラー24に右サイドカメラ26が備えられている。車体1の前端に前部カメラ27が備えられ、車体1の後端には後部カメラ28が備えられている。
【0034】
特に、左サイドカメラ25と右サイドカメラ26とは撮影方向が下方にセットされ、車体1の一部と路面とが撮影領域に含まれる。前部カメラ27と後部カメラ28とは、撮影方向が斜め下方にセットされ、車体1の一部と路面とが撮影領域に含まれる。
【0035】
これら撮影装置してのカメラはCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保されている。
【0036】
モニタ21は、ナビゲーションモードの制御においてナビゲーション情報の表示に用いられるものであるが、シフトレバー19をリバース(後進)位置に操作した際には、後部カメラ28の撮影画像が表示される。また、本発明では、モニタ21に表示される後部カメラ28の撮影画像に対して路面の距離感を示す補助的な画像として遠近感イメージMpが重畳して表示される。この表示の処理形態は後述する。特に、後部カメラ28の撮影画像は左右を鏡面反転させることにより左右が入れ換った画像にしており、ルームミラーで後方を確認した際の像と同じ感覚で視認できるようにしている。
【0037】
車体前部には、ステアリングホイール16の回転操作力を前車輪2に伝えて駆動操向(操舵)を行うパワーステアリングユニットPSを備えている。また、車体前部にはエンジンEと、このエンジンEからの動力を変速して前車輪2に伝えるトルクコンバータやCVT等で成る変速機構Tとを備えている。変速機構Tはシフトレバー19の操作によって前後進の切り換えと、走行速度の変速とが行われる。
【0038】
車体1には運転操作や、車体1の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール16の操作系にはステアリング操作方向(操舵方向)と操作量(操舵量)とを計測するステアリングセンサS16が備えられている。また、シフトレバー19の操作系にはシフト位置を判別するシフト位置センサS19が備えられている。アクセルペダル17の操作系には操作量を計測するアクセルセンサS17が備えられ、前記ブレーキペダル18の操作系には操作の有無を検出するブレーキセンサS18が備えられている。
【0039】
後車輪3の近傍には後車輪3の回転量から車体1の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサS3が備えられている。尚、移動距離センサS3として、変速機構Tの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサS3は、前車輪2の回転量を計測するものでも良い。更に、前部カメラ27あるいは後部カメラ28の撮影画像の画像処理から車体1の移動量とステアリング量とを検出するように構成しても良い。
【0040】
車体1の複数箇所には、車体1の近傍位置の人や障害物等の地上物X(図7を参照)を検出し、地上物Xの位置情報を出力する超音波式やレーザ光式の障害物センサユニットSBを備えている。この障害物センサユニットSBとしてカメラの撮影画像の複数の撮影画像の差分(フレーム間差分)から地上物Xを検出するものや、複数の撮影画像の背景とのから地上物Xを抽出するものでも良い。
【0041】
〔制御構成〕
車体1の中央部には、本発明の画像表示装置としてのECU30を配置している。このECU30は、図3及び図4に示すように、センサ入力インターフェース31と、通信インターフェース32とで成るインターフェースを備えると共に、画像出力モジュール33と音声出力モジュール34とを備えている。
【0042】
このECU30では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、DSP(digital signal processor)等の処理系を備え、処理結果は画像出力モジュール33からモニタ21に出力され、また、音声情報は音声出力モジュール34からスピーカ22に出力される。
【0043】
このECU30には、ナビゲーションモードの制御を実現するナビゲーション制御部35と、ナビゲーション制御部35に地図情報を与える地図データ保存部36と、駐車支援モードの制御を実現する駐車支援制御部37と、後方表示処理を実現する画像処理部38とを備えている。
【0044】
ナビゲーション制御部35は、走行時にGPSユニット41から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ21に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ21に表示すると共に、誘導情報をスピーカ22から音声で出力する。地図データ保存部36は、自車位置に対応した地図データをナビゲーション制御部35に与える処理を行う。
【0045】
駐車支援制御部37は、駐車を行う際に、カメラビューモードと、アラウンドビューモードとの少なくとも一方の画像をモニタ21に表示すると共に、この撮影画像に対して車体1を駐車位置に導く支援情報等が重畳表示される。また、支援情報としてスピーカ22からステアリング方向等の支援情報が音声で出力される。このような情報に基づいてステアリング操作等を行うことにより車体1を駐車位置に容易に導入できることになる。
【0046】
つまり、カメラビューモードでは、後部カメラ28あるいは前部カメラ27の撮影画像をモニタ21に表示すると共に、撮影画面において駐車位置を指定することにより、この撮影画面に対して車体1の走行方向を示すイメージ等の支援情報が表示され、車体1を駐車位置に導く支援情報が音声でスピーカ22から出力されるのである。
【0047】
また、アラウンドビューモードでは、左サイドカメラ25と、右サイドカメラ26と、前部カメラ27と、後部カメラ28との撮影画像から路面を上から見下ろした画像を生成する。そして、この画像を車体アイコンの周囲にマッピングすることで車体1を上方から見下ろした俯瞰画像が生成してモニタ21に表示されると共に、必要な場合には、車体1を駐車位置に導く支援情報が音声でスピーカ22から出力される。
【0048】
画像処理部38は、表示モード設定手段38Aと、イメージ生成手段38Bと、セル状領域指定手段38C(領域指定手段の一例)と、スクロール処理手段38Dと、変換処理手段38Eと、合成処理手段38Fとを備えている。
【0049】
表示モード設定手段38Aは、路面固定モードでの処理と、視野固定モードでの処理との一方を設定する。つまり、路面固定モードの処理は、遠近感イメージMpを車体1の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージMpを撮影画像に重畳しモニタ21に表示する。また、視野固定モードの処理は、遠近感イメージMpをモニタ21の表示域に固定する形態で撮影画像に重畳しモニタ21に表示する。この表示モード設定手段38Aは、図6に示す如く、2つのモードの一方の選択を実現する選択ボタン45をモニタ21に表示する。
【0050】
イメージ生成手段38Bは、複数の平面メジャーイメージMfのうち指定されパターンを、指定された輝度(濃度)で、指定された色相で生成する。この平面メジャーイメージMfとして、複数の縦ラインと複数の横ラインとを等間隔で格子状に配置したグリッドパターン(図4を参照)、図8に示すように複数のレチクルイメージを縦方向と横方向とで等間隔で配置したレチクルパターン、図9に示すように複数のドットを縦方向と横方向とで等間隔で配置したドットパターン等がセットされている。
【0051】
また、平面メジャーイメージMfではグリッドやレチクルやドットが、濃度を持った区画イメージであり、これらの区画イメージで区画されるセル状領域Cが透明に形成されている。そして、イメージ生成手段38Bは、これらの平面メジャーイメージMfのうち指定されたものを生成する。
【0052】
セル状領域指定手段38Cは、障害物センサユニットSBからの情報に基づいて平面メジャーイメージMfのうち地上物Xが存在するセル状領域Cを指定し、このセル状領域Cに対して他のセル状領域C(地上物Xが検出されない領域)と異なる特徴的な(高輝度や、高い明度や、高い彩度)着色を行う。スクロール処理手段38Dは、車体1の移動方向と単位時間の移動量とに基づき、平面メジャーイメージMfを仮想平面上でスクロールさせる処理を行う。
【0053】
変換処理手段38Eは、後部カメラ28の撮像光学系(レンズや光電変換素子)の画角や、この撮像光学系の歪曲情報や撮影方向等の情報(カメラ・レンズ情報)に基づき、平面メジャーイメージMfを、路面と一致する仮想平面上に投射変換した遠近感イメージMpを生成する。
【0054】
合成処理手段38Fは後部カメラ28の撮影画像に遠近感イメージMpを重畳させる形態での合成を実現する。具体的には、撮影画像が展開される背景レイヤと、これに重ねるイメージレイヤとを用いる処理形態が想定されている。そして、路面固定モードでは、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開され、これと同期するタイミングでイメージレイヤに対して遠近感イメージMpが展開される。また、視野固定モードでは、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開されるが、イメージレイヤに展開された遠近感イメージMpは維持される。尚、設定インターバルとは、後部カメラ28が1秒あたり撮影画像を出力する際の時間間隔である。
【0055】
表示モード設定手段38Aと、イメージ生成手段38Bと、セル状領域指定手段38Cと、スクロール処理手段38Dと、変換処理手段38Eと、合成処理手段38Fとはソフトウエアで構成されるものであるが、これらをハードウエアで構成して良く、これらをソフトウエアとハードウエアとで構成しても良い。
【0056】
特に、変換処理手段38Eをソフトウエアで構成した場合には演算により投射変換を実現することになるが、例えば、平面メジャーイメージMfを構成する画素の座標(アドレスと考えても良い)と、投射変換により生成される遠近感イメージMpの画素との関係をテーブルデータ化することで変換処理の高速化を図っても良い。
【0057】
ECU30は、電子回路により構成され、インターフェースや出力系の一部又は、全てがこのような電子回路に含まれていても良い。尚、ECU30には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。
【0058】
センサ入力インターフェース31には、ステアリングセンサS16と、シフト位置センサS19と、アクセルセンサS17と、ブレーキセンサS18と、移動距離センサS3とから運転操作情報や移動状態を検出する情報が入力する。
【0059】
通信インターフェース32は、通信回線を介してパワーステアリングユニットPSと、変速機構Tと、ブレーキ装置BKと、GPSユニット41と間で通信を行う。更に、この通信インターフェース32は、タッチパネル21Tと、左サイドカメラ25と、右サイドカメラ26と、前部カメラ27と、後部カメラ28と、障害物センサユニットSBからの情報を取得する。
【0060】
画像出力モジュール33は、モニタ21に対して画像を出力し、音声出力モジュール34は、スピーカ22に対して音声を出力する。
【0061】
〔制御形態〕
このECU30は、ナビゲーション情報をモニタ21に表示するナビゲーション表示処理、あるいは、駐車支援情報をモニタ21に表示する駐車支援表示処理を実現するものであるが、本発明の制御として車体1の後方の画像をモニタ21に表示する後方表示処理を以下に説明する。
【0062】
後方表示処理は、シフトレバー19がリバースにセットされた際に自動的に実行され、後部カメラ28の撮影画像がモニタ21に表示され、この表示とともに遠近感イメージMpがモニタ21に重畳表示される。この表示により、例えば、車体1を駐車位置に導入する際に路面の特定部位と車体1との位置関係を容易に把握できるものとなり、この制御形態を図5のフローチャート及び図4の情報の流れに基づいて説明する。
【0063】
シフト位置センサS19からの信号からシフトレバー19がリバース(後進)位置にセットされたことが検出された場合には、図6に示すように、初期表示として後部カメラ28の撮影画像がモニタ21に表示されると共に、この撮影画像に遠近感イメージMpが路面固定モードで重畳表示され、この遠近感イメージMpの路面に対する表示位置(スクロール処理手段38Dにおいて、平面メジャーイメージMfの路面に対する表示位置)が基準位置として記憶される。また、モニタ21は選択ボタン45と非表示ボタン46とが表示される(#101ステップ)。
【0064】
この処理では、イメージ生成手段38Bが生成した平面メジャーイメージMfを、変換処理手段38Eで変換することで、後部カメラ28の撮影画像の遠近感と、後部カメラ28の撮像光学系に起因する撮影画像の歪曲とを反映した遠近感イメージMpが生成される。また、フローチャートには示していないが、非表示ボタン46が操作された場合には平面メジャーイメージMfが生成されず、モニタ21にも遠近感イメージMpは表示されない。セル状領域指定手段38Cの処理とスクロール処理手段38Dによる処理は後述する。
【0065】
平面メジャーイメージMfとしては、前述したグリッドパターン、レチクルパターン、ドットパターン等のうちユーザによって指定されたものをイメージ生成手段38Bが生成する。また、ユーザの任意の操作により平面メジャーイメージMfの色相や輝度(濃度)を任意に設定でき、パターンの縦方向と横方向との間隔も任意に設定できる。尚、この制御に関連する図面にはグリッドパターンを示している。
【0066】
変換処理手段38Eは、撮影画像の路面レベルに仮想平面を設定し、この仮想平面上に、平面メジャーイメージMfに所定の遠近感と、後部カメラ28のレンズの歪曲とを反映した遠近感イメージMpを射影変換等により生成する。この変換処理時には、平面メジャーイメージMfの縦ラインを車体1の前後方向と平行する姿勢に設定する。このような変換を行うことにより遠近感イメージMpが図6に示す形態となる。尚、遠近感イメージMpは、透視図法で描いた図形と共通する形態であり、この透視図法における消失点の位置が、車体1の幅方向の中央の後方に位置するように遠近感イメージMpが生成されるのである。
【0067】
このように遠近感イメージMpが表示されることで、例えば、グリッドパターンの前後方向での間隔が1M(メートル)に設定されている場合には、車体1に最も近いグリッドパターンの横ラインが表示される路面位置が、車体1から1M(メートル)の位置に存在することが把握できる。
【0068】
次に、ヘッドライト9を点灯する操作が行われている場合には遠近感イメージMpの輝度を高めるために平面メジャーイメージMfの輝度を高め、ヘッドライト9が消灯状態にある場合には遠近感イメージMpの輝度を標準値にセットするために平面メジャーイメージMfの輝度を標準値にセットする。この処理により、平面メジャーイメージMfにセットされた輝度は、変換処理手段38Eで変換された遠近感イメージMpの輝度に反映され、この遠近感イメージMpがモニタ21に表示される(#102〜#104ステップ)。
【0069】
この処理は、夜間において路面が暗い状態にあり、遠近感イメージMpの視認が困難な場合に、視認性を向上させるための処理である。この輝度の設定(輝度指定)はイメージ生成手段38Bにおいて行われる。この処理で輝度の設定は、ヘッドライト9の点灯の有無に基づいて行われるものであるが、例えば、ECU30に備えたカレンダーと、GPSユニット41で取得した緯度情報と、ECU30の時計の時刻情報とから日没時間を取得し、日没後であることを判定した場合に輝度を高めるように切換を行うように処理形態を設定しても良い。この遠近感イメージMpは昼間に表示を必要としないことも多く、昼間の時間帯であることを判定した場合にはECU30が遠近感イメージMpを非表示とし、夜間にのみ表示するように処理形態を設定しても良い。換言すると、遠近感イメージMpは画像が明るいときには必要としないことも多く、従って、モニタ21の画面の輝度が高いときには遠近感イメージMpを表示せず、画面の輝度が低いときに遠近感イメージMpを表示しても良い。
【0070】
次に、モニタ21に表示されている選択ボタン45で路面固定モードの処理が選択されない場合(視野固定モードが選択された場合)には、遠近感イメージMpをモニタ21の視野に固定する形態で撮影画像に重畳表示する(#105、#106ステップ)。
【0071】
尚、#106ステップでは、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開されるが、イメージレイヤに展開された遠近感イメージMpは維持される処理が行われる。
【0072】
これとは逆に、#105ステップで路面固定モードの処理が選択されていることが判別された場合(既に選択されている場合を含む)には、障害物センサユニットSBで地上物X(図7を参照)を検出した場合に、地上物Xが存在する位置のセル状領域Cxの表示色を比較的高い輝度の有彩色に設定して表示する(#105、#107、#108ステップ)。
【0073】
つまり、障害物センサユニットSBで地上物Xを検出した場合には、セル状領域指定手段38Cが、地上物Xの位置情報を取得し、この位置情報に対応する位置のセル状領域Cxの表示色を設定する。尚、地上物Xが複数のセル状領域Cに亘って存在する場合や、複数の地上物Xが存在する場合には対応する複数のセル状領域Cxが着色された状態で表示されることになる。
【0074】
このような表示形態に代えて、例えば、遠近感イメージMpのうち地上物Xが存在する部位(横ラインや縦ライン)の輝度を高めることや、色相を変更することや、その部位(横ラインや縦ライン)をブリンクさせるように表示形態を設定しても良い。
【0075】
次に、車体1が走行していることを判定した場合には、記憶されている基準位置を基にして平面メジャーイメージMfを車体1の走行方向とステアリング方向とを反映する方向に(車体の移動方向と逆方向に)スクロールする(#109、#110ステップ)。
【0076】
この処理では、スクロール処理手段38Dが、ステアリングセンサS16と、移動距離センサS3とからの信号を取得し、車体1の移動方向と、単位時間内の移動量とを取得して、この移動と逆方向に平面メジャーイメージMfをスクロールする。
【0077】
つまり、スクロール処理手段38Dは、平面メジャーイメージMfをスクロールすると共に、このスクロールの際には、後部カメラ28が1秒あたり撮影画像を出力する際のインターバルで平面メジャーイメージMfから遠近感イメージMpが生成される。そして、この遠近感イメージMpを撮影画像に重畳して表示した場合には、この遠近感イメージMpが路面に固定された状態で路面と一体的に移動する形態で表示されることになる。
【0078】
具体的に説明すると、平面メジャーイメージMfはメモリ上の所定エリアにビットマップ形式で形成される。スクロールする場合には、この所定エリアにおいて平面メジャーイメージMfをアフィン変換等により平行移動させる(アドレス値の加減が行われることになる)。このようにスクロールされる際には平面メジャーイメージMfの設定領域F(図4を参照)が前述したインターバルで抽出され、後述するように、変換処理手段38Eが遠近感イメージMpに変換する結果、この遠近感イメージMpはモニタ21に路面と一体的にスクロールする形態で表示される。
【0079】
この処理では、車体1が停車した際に、遠近感イメージMpの輝度を高めるために平面メジャーイメージMfの輝度を高めることや、遠近感イメージMpの透明感(透明度)を低減する(明瞭にする)ために平面メジャーイメージMfの透明感を低減する処理を行っても良い。また、車体1が移動したことを検出した場合に、遠近感イメージMpの輝度を低減するために平面メジャーイメージMfの輝度を低減することや、遠近感イメージMpの透明感を高める(不明瞭にする)ために平面メジャーイメージMfの透明感を高める処理を行っても良い。この処理により平面メジャーイメージMfにセットされた輝度や透明感は、変換処理手段38Eで変換された遠近感イメージMpの輝度や透明感に反映され、この遠近感イメージMpがモニタ21に表示されることになる。このような処理を行うことで停車時には遠近感イメージMpを明瞭に視認して路面と車体との位置関係の把握を可能にし、車体1の移動時には遠近感イメージMpの視認性を低減してモニタ21に表示されている撮影画像の把握を阻害しないものにできる。ここで、「透明感を高める」の表現に代えて「より透明度の高い半透明にする」と言い換えても良い。
【0080】
これとは逆に、車体1が停車した際に、遠近感イメージMpの輝度を低減し、遠近感イメージMpの透明感を増す(不明瞭にする)ために、前述と同様の処理を行っても良い。このような処理を行うことで停車時には遠近感イメージMpが目障りにならず、車体1の移動時に視認性を高めることになる。
【0081】
次に、変換処理手段38Eにおいて、平面メジャーイメージMfが、後部カメラ28が撮影画像を出力するインターバル毎に遠近感イメージMpに変換される。この変換処理手段38Eでは、平面メジャーイメージMfのうち、前述した設定領域Fの情報が、路面と一致する仮想平面上に投射変換により遠近感を持ったイメージに変換され、この後に、後部カメラ28の撮像光学系の画角や、歪曲情報等を反映されたイメージに変換される。このように遠近感を持ち、撮像光学系の歪曲が範囲する遠近感イメージMpが生成されるのである。尚、前述したテーブルデータを用いて変換を行うことで、高速での変換も可能である。
【0082】
そして、合成処理手段38Fにおいて撮影画像に重畳する形態で遠近感イメージMpが合成され画像出力モジュール33に与えられ、この合成された画像はモニタ21に表示される。この処理はシフトレバー19をリバース位置以外の位置にセットされるまで継続して行われる(#111〜#113ステップ)。
【0083】
特に、#112ステップ(路面固定モード)では、合成処理手段38Fが、前述したように、背景レイヤに対して後部カメラ28の撮影画像が設定インターバルで展開し、これと同期するタイミングでイメージレイヤに対して遠近感イメージを展開することになる。
【0084】
このように、本発明によると、シフトレバー19をリバース位置にセットした場合には、モニタ21に後部カメラ28で撮影された撮影画像が表示され、この撮影画像に対して、遠近感イメージMpが重畳して表示されこの遠近感イメージMpの路面に対する表示位置(スクロール処理手段38Dにおいて、平面メジャーイメージMfの路面に対する表示位置)が基準位置として記憶される。遠近感イメージMpは、後部カメラ28の撮影画像の遠近感と、後部カメラ28の歪曲とが反映されており、遠近感イメージMpを基準にして駐車位置を示すラインや路面の障害物等までの距離を把握できることになる。
【0085】
シフトレバー19をリバース位置にセットした初期状態では、路面固定モードでの処理が選択されており、車体1の移動に伴い、記憶されている遠近感イメージMpの路面に対する表示位置を基準にしてスクロールが行われるため、ステアリング操作を行っても遠近感イメージMpが撮影画像の路面と一体的に移動(スクロール)する形態で表示される。これにより路面と遠近感イメージMpとの相対的な位置関係に変化がなく、遠近感イメージMpの表示に違和感がなく、陰影の少ない路面上を移動する際にも移動量や移動速度の把握も容易になるのである。
【0086】
また、視野固定モードを選択した場合には、車体1が移動する際にも遠近感イメージMpはモニタ21の表示領域では移動しない表示形態となり、遠近感イメージMpに基づいて車体1から、駐車位置を示すラインや路面の障害物等までの距離を把握できる。
【0087】
〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。
【0088】
(a)図10に示すように、モニタ21に対して後部カメラ28の撮影画像に遠近感イメージMpを重畳して表示する第1ウインドウW1と、車体1を上方から見下ろした俯瞰画像を表示する第2ウインドウW2とを形成しても良い。このように第2ウインドウW2に俯瞰画像を表示する際に、車体1の後方の画像に平面メジャーイメージMfを表示しても良い。このように俯瞰画像に平面メジャーイメージMfを表示することにより車体1の後方の状態を一層良好に把握できる。
【0089】
(b)例えば、遠近感イメージMpとしてグリッドパターンを表示する場合には、図11に示すように、グリッドパターンを路面から少し高い位置に表示し、路面に陰Msを表示しても良い。また、グリッドパターンに高さ方向に厚みを持たせて立体的に表示しても良い。このように立体的な表示を行うことにより、遠近感イメージMpの位置が明瞭となり、遠近感イメージMpから路面の特定の位置と車体との距離の把握を容易に行える。
【0090】
(c)車体1を後進させて駐車位置に導くための駐車支援モードにおいても遠近感イメージMpをモニタ21に表示するように処理形態を構成する。この駐車支援モードでは、駐車位置に対して車体1を誘導するために、例えば、駐車位置を特定する画像情報や、車体1を後進させた場合の予想進路等の画像情報がモニタ21に表示されるものであるが、これらの情報と併せて遠近感イメージMpをモニタ21に表示することで、駐車時における車体1の移動を一層容易にする。
【0091】
(d)車体1を前進させる際にも、モニタ21に前部カメラ27の撮影画像と、これに重畳するように遠近感イメージMpを表示する。このように処理形態を設定することにより、車体1と交差点との位置や前方の車両との車間距離を容易に把握できることになる。
【0092】
(e)カメラの撮影画像に遠近感イメージMpを重畳して合成する場合に、障害物センサユニットSBで地上物を検出している場合には、その地上物が存在する領域の遠近感イメージMpを陰線処理等により表示しないように処理形態を設定しても良い。このように処理形態を設定することにより、遠近感イメージMpに妨げられることなく地上物の形状等を明瞭に把握できる。
【0093】
(f)視野固定モードで車体1を移動させている際に所定の条件が成立したタイミングや、所定の人為操作が行われた際には、それらをトリガーにして路面固定モードに切り換わると共に、切り換わったタイミングにおける遠近感イメージMpと路面との表示位置との関係を基準位置として記憶するように処理形態を設定しても良い。前述したように、この記憶はスクロール処理手段38Dにおいて、平面メジャーイメージMfの路面に対する表示位置を基準位置として保存する処理として行われる。
【0094】
その具体例として、(1)視野固定モードで車体1を移動させ障害物(地上物X)を検出した時点、又は、(2)白線認識等の処理で駐車枠を認識できた時点、あるいは、(3)運転者が所定のスイッチ(選択ボタン45以外のスイッチ類)を操作した時点でトリガーを発生させることが考えられる。また、この(1)〜(3)の変形例として、シフトレバー19がリバース(後進)位置にセットされていることを条件にして(1)〜(3)のトリガーを発生させるように処理形態を設定しても良い。
【0095】
このように視野固定モードから路面固定モードに切り換えるトリガーを所定の条件や人為操作によって発生させるようにするように構成することで、例えば、視野固定モードで車体1を移動させ、所定の条件で路面固定モードに自動的に移行することや、運転者が遠近感イメージMpの所定のグリッドを路面のマーク等に意識的に一致させることを可能にする。
【0096】
また、路面固定モードのときに、(1)障害物(地上物X)を検出した時点、又は、(2)白線認識等の処理で駐車枠を認識できた時点、あるいは、(3)運転者が所定のスイッチ(選択ボタン45以外のスイッチ類)を操作した時点で、遠近感イメージMpを初期の状態に戻すことも考えられる。
具体的には、シフトレバー19がリバース(後進)位置にセットされたときに、そのときの撮影画像に対して遠近感イメージMpが重畳して表示され、この遠近感イメージMpの路面に対する表示位置が基準位置として記憶されて表示される。その後、路面固定モードで車体1が移動すると共に撮影画像とともに遠近感イメージMpも移動する。このような状況において、例えば、運転者が所定のスイッチ(選択ボタン45以外のスイッチ類)を操作した時点で、路面固定モードのときのシフトレバー19がリバース(後進)位置にセットされたときと同様の処理を行ってから遠近感イメージMpを表示することで、運転者が認識し易いように遠近感イメージMpを表示し直す(遠近感イメージMpをリセットする)処理形態を採用しても良い。
【産業上の利用可能性】
【0097】
本発明は、車体に車体近傍を撮影するカメラを備えている車輌全般に利用することができる。
【符号の説明】
【0098】
1 車体
21 モニタ
28 カメラ(後部カメラ)
38 画像処理部
38A 表示モード設定手段
38E 変換処理手段
38C 領域指定手段(セル状領域指定手段)
45 選択ボタン
C 領域(セル状領域)
SB 障害物センサユニット
X 地上物
【特許請求の範囲】
【請求項1】
車体に、この車体の周辺を撮影するカメラを備え、このカメラの撮影画像を前記車体に備えたモニタに表示する画像処理部を備えており、
この画像処理部が、前記カメラの撮影画像の遠近感を反映する遠近感イメージを生成すると共に、この遠近感イメージを前記車体の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージを前記撮影画像に重畳して前記モニタに表示する路面固定モードでの処理を行う画像表示装置。
【請求項2】
前記遠近感イメージを前記モニタの表示域に固定する形態で前記撮影画像に重畳し前記モニタに表示する視野固定モードでの処理が設定されると共に、前記画像処理部は、前記路面固定モードと、前記視野固定モードとの何れか一方の処理を実行する請求項1記載の画像表示装置。
【請求項3】
操作により前記路面固定モードの処理と、前記視野固定モードの処理との一方を選択する選択ボタンを備えている請求項2記載の画像表示装置。
【請求項4】
前記画像処理部が、路面に対応した仮想平面を縦方向と横方向との方向において設定間隔で区画する区画イメージを具備する平面メジャーイメージを生成すると共に、この平面メジャーイメージを前記カメラの撮影画像の遠近感を反映する前記遠近感イメージに変換する変換処理手段を備えている請求項1〜3のいずれか一項に記載の画像表示装置。
【請求項5】
前記車体に、路面の地上物の位置を検出する障害物センサユニットが備えられ、前記路面固定モードの実行時に前記障害物センサユニットで地上物を検出した場合には、前記遠近感イメージのうち前記地上物が存在する領域の表示形態を、地上物が検出されない領域と異なるものにする領域指定手段を備えている請求項1〜4のいずれか一項に記載の画像表示装置。
【請求項6】
前記画像処理部が、夜間にのみ前記遠近感イメージを前記モニタに表示する請求項1〜5のいずれか一項に記載の画像表示装置。
【請求項7】
前記画像処理部が、前記車体の停車時より前記車体の移動時における前記遠近感イメージの透明感を高く設定する請求項1〜6のいずれか一項に記載の画像表示装置。
【請求項8】
前記画像処理部が、昼間と比較して夜間時には、前記遠近感イメージを高輝度に設定する表示する請求項1〜5のいずれか一項に記載の画像表示装置。
【請求項9】
前記画像処理部が、前記遠近感イメージのうち前記車体から離間する領域のものほど視認性を低下させる請求項1〜8のいずれか一項に記載の画像表示装置。
【請求項1】
車体に、この車体の周辺を撮影するカメラを備え、このカメラの撮影画像を前記車体に備えたモニタに表示する画像処理部を備えており、
この画像処理部が、前記カメラの撮影画像の遠近感を反映する遠近感イメージを生成すると共に、この遠近感イメージを前記車体の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージを前記撮影画像に重畳して前記モニタに表示する路面固定モードでの処理を行う画像表示装置。
【請求項2】
前記遠近感イメージを前記モニタの表示域に固定する形態で前記撮影画像に重畳し前記モニタに表示する視野固定モードでの処理が設定されると共に、前記画像処理部は、前記路面固定モードと、前記視野固定モードとの何れか一方の処理を実行する請求項1記載の画像表示装置。
【請求項3】
操作により前記路面固定モードの処理と、前記視野固定モードの処理との一方を選択する選択ボタンを備えている請求項2記載の画像表示装置。
【請求項4】
前記画像処理部が、路面に対応した仮想平面を縦方向と横方向との方向において設定間隔で区画する区画イメージを具備する平面メジャーイメージを生成すると共に、この平面メジャーイメージを前記カメラの撮影画像の遠近感を反映する前記遠近感イメージに変換する変換処理手段を備えている請求項1〜3のいずれか一項に記載の画像表示装置。
【請求項5】
前記車体に、路面の地上物の位置を検出する障害物センサユニットが備えられ、前記路面固定モードの実行時に前記障害物センサユニットで地上物を検出した場合には、前記遠近感イメージのうち前記地上物が存在する領域の表示形態を、地上物が検出されない領域と異なるものにする領域指定手段を備えている請求項1〜4のいずれか一項に記載の画像表示装置。
【請求項6】
前記画像処理部が、夜間にのみ前記遠近感イメージを前記モニタに表示する請求項1〜5のいずれか一項に記載の画像表示装置。
【請求項7】
前記画像処理部が、前記車体の停車時より前記車体の移動時における前記遠近感イメージの透明感を高く設定する請求項1〜6のいずれか一項に記載の画像表示装置。
【請求項8】
前記画像処理部が、昼間と比較して夜間時には、前記遠近感イメージを高輝度に設定する表示する請求項1〜5のいずれか一項に記載の画像表示装置。
【請求項9】
前記画像処理部が、前記遠近感イメージのうち前記車体から離間する領域のものほど視認性を低下させる請求項1〜8のいずれか一項に記載の画像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−199501(P2011−199501A)
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願番号】特願2010−62856(P2010−62856)
【出願日】平成22年3月18日(2010.3.18)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【Fターム(参考)】
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願日】平成22年3月18日(2010.3.18)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【Fターム(参考)】
[ Back to top ]