車載撮影画像表示制御装置、車載撮影画像表示制御装置用のプログラム、および車載撮影画像表示システム
【課題】車両に取り付けられたカメラによって、車両の外部を撮影し、撮影された画像を車室内のディスプレイに表示させる車載撮影画像表示システムにおいて、表示させたい部分を、乗員にとって見易い方法で表示させる。
【解決手段】車両の周囲の障害物の位置を検出するセンサから、検出された障害物の位置の情報を取得し、取得した情報によればセンサが障害物を検出していない場合、カメラの撮影可能範囲の中央を含む第1の部分の撮影画像を、ディスプレイ7に表示させる。そして、センサから取得した障害物の情報によれば、第1の部分から右方向に外れた位置に障害物が存在する可能性がある場合、カメラ5aの撮影可能範囲の一部分であり、かつ、第1の部分から左方向に外れた位置を含む第2の部分25dの画像を、ディスプレイに表示させる。
【解決手段】車両の周囲の障害物の位置を検出するセンサから、検出された障害物の位置の情報を取得し、取得した情報によればセンサが障害物を検出していない場合、カメラの撮影可能範囲の中央を含む第1の部分の撮影画像を、ディスプレイ7に表示させる。そして、センサから取得した障害物の情報によれば、第1の部分から右方向に外れた位置に障害物が存在する可能性がある場合、カメラ5aの撮影可能範囲の一部分であり、かつ、第1の部分から左方向に外れた位置を含む第2の部分25dの画像を、ディスプレイに表示させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に取り付けられたカメラによって撮影された車両の外部の画像をディスプレイに表示させるための車載撮影画像表示システム、そのシステムにおいて制御を行う車載撮影画像表示制御装置、および、車載撮影画像表示制御装置用のプログラムに関するものである。
【背景技術】
【0002】
従来、車両に取り付けられたカメラによって、車両の外部(例えば車両の後方)を撮影し、撮影された画像を車室内のディスプレイに表示させる車載撮影画像表示システムが広く用いられている。
【発明の開示】
【発明が解決しようとする課題】
【0003】
このような車載撮影画像表示システムにおいては、ディスプレイに撮影画像として表示される範囲を外れた位置(例えば、車両の後端部における左右の角部)に障害物がある場合、ドライバが障害物に気づかない恐れがある。
【0004】
この問題に対処するために、広角範囲(例えば正面を中心とする左右角度幅180°の範囲)を撮影可能な広角撮影カメラを用い、通常時には、広角撮影カメラの撮影可能範囲の一部(例えば正面を中心とする左右角度幅120°の範囲)をディスプレイに表示させ、必要時には、広角撮影カメラの撮影可能範囲の全部をディスプレイに表示させる方法が考えられる。
【0005】
この方法を用いると、通常時には表示されなかった部分が追加部分としてディスプレイに表示されるものの、広角撮影カメラの撮影可能範囲の全部が表示されてしまうので、追加部分のディスプレイ中の大きさが相対的に小さくなってしまう。すなわち、追加部分を表示するための作動を行っているにも関わらず、その追加部分の表示の大きさは小さなものとなってしまう。
【0006】
本発明は上記点に鑑み、車両に取り付けられたカメラによって、車両の外部を撮影し、撮影された画像を車室内のディスプレイに表示させる車載撮影画像表示システムにおいて、表示させたい部分を、乗員にとって見易い方法で表示させるための技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するための請求項1に記載の発明は、車両(10)に取り付けられたカメラ(5a)によって撮影された車両(10)の外部の撮影画像をディスプレイ(7)に表示させるための制御を行う車載撮影画像表示制御装置についてのものである。
【0008】
この車載撮影画像表示制御装置は、車両(10)の周囲の障害物の位置を検出するセンサ(1、4)から、検出された障害物の位置の情報を取得し、取得した情報によればセンサ(1、4)が障害物を検出していない場合、カメラ(5a)の撮影可能範囲の中央を含む第1の部分の撮影画像を、ディスプレイ(7)に表示させる。
【0009】
そして、車載撮影画像表示制御装置は、センサ(1、4)から取得した障害物の情報によれば、第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、カメラ(5a)の撮影可能範囲の一部分であり、かつ、第1の部分から第1の方向に外れた位置を含む第2の部分の画像を、ディスプレイ(7)に表示させるようになっている。
【0010】
このように、車載撮影画像表示制御装置は、センサ(1、4)が障害物を検出していない場合にはディスプレイ(7)に表示されない部分を、その部分に障害物が存在する可能性がある場合には、表示する。したがって、乗員(特にドライバ)が注目すべき部分を、乗員に表示させることができる。また、そのような場合に、カメラ(5a)の撮影可能範囲の一部分を表示させるので、乗員に表示したい部分がディスプレイ(7)において非常に小さくなってしまう可能性が低減される。すなわち、表示させたい部分を、乗員にとって見易い方法で表示させることができる。
【0011】
また、請求項2に記載のように、車載撮影画像表示制御装置は、は、センサ(1、4)から取得した障害物情報によれば、第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、更に、センサ(1、4)が検出した当該障害物までの距離が短いほど、第2の部分の範囲を狭くするようになっていてもよい。
【0012】
このようにすることで、障害物が車両に近づけば近づくほど、ディスプレイ(7)に表示される範囲が狭くなる。したがって、乗員に表示したい部分(すなわち、障害物がある位置)の表示が、相対的に大きくなる。障害物が車両に近いほど、その障害物に対する緊急性が高くなるので、このような作動により、緊急度が高い障害物をより大きく乗員に表示することができる。
【0013】
また、請求項3に記載のように、本発明は、請求項1〜3に記載の車載撮影画像表示制御装置と、カメラ(5a)と、ディスプレイ(7)と、備えた車載撮影画像表示システムとしても捉えることができる。また、請求項4に記載のように、本発明は、車載撮影画像表示制御装置に用いるプログラムとしても捉えることができる。
【0014】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【発明を実施するための最良の形態】
【0015】
以下、本発明の一実施形態について説明する。図1に、車両10に搭載された本実施形態に係る車載撮影画像表示システムの構成を概略的に示す。車載撮影画像表示システムは、障害物センサ1〜4、後方撮影ユニット5、ソナーECU6(車載撮影画像表示制御装置の一例に相当する)、およびディスプレイ7を有している。
【0016】
障害物センサ1〜4のそれぞれは、音波を送出し、その音波の反射波を検出し、その音波の送出タイミングと反射波の検出タイミングとの間の時間差から、自己から障害物までの距離を繰り返し(例えば0.1秒毎に)特定し、特定した距離を示す検出信号をソナーECU6に出力するソナーである。障害物センサ1〜4は、それぞれが車両10中の異なった位置に搭載され、また、障害物を検出することが可能な領域がそれぞれ異なるように設置されている。
【0017】
具体的には、右端障害物センサ1は、車両10の後端部右側端に取り付けられ、車両10の後端部右側端の周囲の検出領域21内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部右側端から障害物までの距離)を検出することができるように設置されている。
【0018】
また、障害物センサ2は、車両10の後端部中央やや右側に取り付けられ、当該取り付け位置の後方の検出領域22内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部から障害物までの距離)を検出することができるように設置されている。
【0019】
また、障害物センサ3は、車両10の後端部中央やや左側に取り付けられ、当該取り付け位置の後方の検出領域23内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部から障害物までの距離)を検出することができるように設置されている。
【0020】
また、左端障害物センサ4は、車両10の後端部左側端に取り付けられ、車両10の後端部左側端の周囲の検出領域24内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部左側端から障害物までの距離)を検出することができるように設置されている。
【0021】
したがって、障害物センサ1〜4の設置位置は、車両10の後端部右側端から左側端へ、右端障害物センサ1、障害物センサ2、障害物センサ3、左端障害物センサ4の順に並んでいる。また、検出領域21〜24は、車両10の後方右側から後方左側へ、検出領域21、検出領域22、検出領域23、検出領域24の順に並んでいる。これら障害物センサ1〜4の検出領域の和は、カメラ5aの水平画角、すなわち、カメラ5aが撮影可能な領域20の左右方向の角度範囲をほぼすべてカバーしている。なお、検出領域21と検出領域22、検出領域22と検出領域23、検出領域23と検出領域24は、それぞれ部分的に重複するようになっている。
【0022】
このように、障害物センサ1〜4のそれぞれが検出できる障害物の位置の情報は、(1)当該障害物が当該センサの検出領域内に存在すること、および、(2)当該障害物センサから障害物までの距離、の2つである。
【0023】
なお、右端障害物センサ1の検出領域21は、車両の後端部の右側の角部(コーナー)に相当する領域であり、右端障害物センサ1を中心とするほぼ扇形の領域である。扇形の半径(限界距離)は、例えば60センチメートルである。また、左端障害物センサ4の検出領域24は、車両の後端部の左側の角部(コーナー)に相当する領域であり、左端障害物センサ4を中心とするほぼ扇形の領域である。扇形の半径(限界距離)は、例えば60センチメートルである。
【0024】
なお、図1中の検出軸11〜14は、検出領域21〜24の中心位置および対応する障害物センサ1〜4をそれぞれ通る直線である。この検出軸11〜14はそれぞれ、各検出領域21〜24の左右方向中央を繋ぐ線でもある。
【0025】
ディスプレイ7は、車両10の車室内に搭載され、後方撮影ユニット5から画像の信号を受けると、その信号を示す画像を、ディスプレイ7の表示画面中の所定の領域に表示する。この表示は、車室内のドライバが視認可能なようになっている。
【0026】
後方撮影ユニット5は、カメラ5aよびカメラECU5bを有している。カメラ5aは、車両10の後端部に取り付けられ、車両10の後方を広角的に繰り返し(例えば0.1秒間隔で)撮影し、その撮影結果の撮影画像をカメラECU5bに出力する。
【0027】
カメラ5aの水平方向の撮影可能範囲は、撮影領域20のようになっている。すなわち、カメラ5aが一度に撮影可能な範囲は、検出軸11〜14を含み、その画角(すなわち、カメラ5aから見込む角度範囲)は、カメラ5aの正面方向(すなわち、車両10の後方正面方向)を中心とするほぼ180°となっている。また、その撮影領域20の一端は、車両10の後端部を含んでいるようになっていてもよい。
【0028】
図2に、カメラ5aが出力する撮影画像の一例70を示す。この撮影画像70は、撮影領域20全体を含んでいる。ここで、撮影画像70の上方向が、車両10から後方に離れる方向に該当し、左右方向が、車両10の前方を向いている乗員を基準として左右の方向となる。なお、撮影画像70中の4本の縦方向の線は、検出軸11〜14を仮想的に表したものであり、出力される撮影画像70に実際にこれら検出軸11〜14が重畳されていなくてもよいし、表されていてもよい。
【0029】
カメラECU5bは、カメラ5aから受けた撮影画像に対して、あるときは加工処理を施し、またあるときは加工処理を施さず、当該加工処理が施された加工後画像または加工処理が施されなかった撮影画像を、表示画像として、ディスプレイ7に表示させる。なお、加工処理の内容は、ソナーECU6からの信号によって制御される。
【0030】
具体的には、ソナーECU6は、右端障害物センサ1および左端障害物センサ4から、障害物の位置の情報を示す信号を取得し、取得した信号中の情報に基づいて、カメラECU5bの作動内容を決定し、その決定した作動内容を、表示制御パラメータとして、カメラECU5bに出力する。ソナーECU6は、このような作動のために、図3に示す処理100を繰り返し(例えば、カメラ5aの撮影周期と同じ0.1秒毎に)実行する。ソナーECU6は、このような処理100を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理100を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【0031】
この処理100の実行において、ソナーECU6は、まずステップ110で、障害物センサ1、4のそれぞれから検出信号を取得する。これにより、障害物センサ1、4のうちいずれが障害物を検出したかについての情報、および、障害物から障害物センサまでの距離の情報を、ソナーECU6が取得することができる。
【0032】
続いてステップ120では、ステップ110で取得した情報に基づいて、表示モードを決定する。表示モードとは、カメラECU5bにおける撮影画像70の部分抽出に関するモードである。選択可能な表示モードとしては、モード1(通常時のモードに相当する)、モード2、モード3、モード4の4つがある。
【0033】
図5に、障害物センサ1、4から取得した情報の内容と、選択する表示モードとの関係を示す。この図に示すように、カメラECU5bは、障害物センサ1、4のいずれも障害物を検出していない場合は、モード1を選択する。この場合は、車両10の右後端の角部にも左後端の角部にも障害物がない場合に相当する。したがって、車両10の周りに全く障害物がない状況も、障害物センサ3のみが障害物を検出している状況も、この場合に含まれる。
【0034】
また、障害物センサ1、4の両方が障害物を検出している場合、カメラECU5bはモード2を選択する。この場合は、車両10の右後端角部にも左後端角部にも障害物がある場合に相当する。また、障害物センサ1、4のうち右端障害物センサ1のみが障害物を検出している場合、カメラECU5bはモード3を選択する。この場合は、車両10の右後端角部に障害物があり、左後端角部に障害物がない場合に相当する。また、障害物センサ1、4のうち左端障害物センサ4のみが障害物を検出している場合、カメラECU5bはモード4を選択する。この場合は、車両10の左後端角部に障害物があり、右後端角部に障害物がない場合に相当する。
【0035】
続いてステップ130では、切り出し角度αを決定する。切り出し角度αは、カメラECU5bにおける撮影画像70の加工に関する角度である。直前のステップ120でモード1またはモード2が選択された場合は、切り出し角度αを所定のダミー値(例えば0°)とする。
【0036】
また、直前のステップ120でモード3またはモード4が選択された場合は、障害物を検出した障害物センサ(すなわち、右端障害物センサ1または障害物センサ2)から当該障害物までの距離(以下、検出距離という)に応じて、切り出し角度αを決定する。より具体的には、検出距離が短いほど切り出し角度αを小さくする。ただし、切り出し角度αは、撮影領域20の左右方向の画角(例えば180°)よりも小さい角度とする。
【0037】
例えば、検出距離が遠距離範囲(例えば、40cm〜60cm)である場合は、切り出し角度を150°に設定し、検出距離が遠距離範囲よりも短い中距離範囲(例えば、20cm〜40cm)である場合は、切り出し角度を120°に設定し、検出距離が中距離範囲よりも短い近距離範囲(例えば、0cm〜20cm)である場合は、切り出し角度を90°に設定する。
【0038】
続いてステップ140では、ステップ120で選択した表示モード、および、ステップ130で決定した切り出し角度αの両方を、表示制御パラメータとして、まとめてカメラECU5bに出力する。この表示制御パラメータは、後述するように、カメラ5aが撮影した画像のうち、どの部分を抽出してディスプレイ7に表示させるかを決定するためのパラメータとなる。ステップ140の後、処理100の1回分が終了する。
【0039】
ここで、カメラECU5bの処理の詳細について説明する。図5に、カメラECU5bがくり返し(例えばカメラ5aの撮影タイミングと同じ0.1秒周期で)実行する処理200の内容をフローチャートで示す。カメラECU5bは、このような処理200を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理200を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【0040】
カメラECU5bは、画像表示指令を受けている間は、処理200の実行を繰り返す。この画像表示指令は、図示しない操作装置に対するユーザの所定の表示開始操作があったことに基づいて、その後当該操作装置からカメラECU5bに出力され続けるようになっていてもよい。あるいは、この画像表示指令は、車両10のドライブポジションを検出するドライブポジションセンサ(図示せず)からカメラECU5bに出力される信号のうち、当該ドライブポジションが後退ポジションにある旨の信号であってもよい。あるいは、画像表示指令は、他のどのような装置から出力される信号であってもよい。
【0041】
処理200の実行においてカメラECU5bは、まずステップ220で、ソナーECU6から出力された最新の表示制御パラメータを示す信号を取得する。この表示制御パラメータには、上述の通り、表示モードおよび切り出し角度αの情報が含まれている。続いてステップ230では、カメラ5aから出力された撮影画像を取り込む。この撮影画像は、撮影領域20全体を含む画像である。
【0042】
続いてステップ240では、ステップ220で受け付けた表示制御パラメータに基づいて、撮影画像を加工して(または場合によっては加工せず)、表示画像を生成する。ステップ240における加工は、ステップ220で取得した表示制御パラメータに基づいて行う。まず、カメラECU5bは、表示制御パラメータ中の表示モードに従って、あらかじめ定められている4つの画像抽出方法のうち1つを選択する。
【0043】
具体的には、表示モードがモード1である場合には、カメラECU5bは、図6に示すように、表示対象の範囲として、車両の後方正面方向を中心として角度幅がほぼ120°となる左右角度範囲(すなわち、カメラ5aが見込む左右方向の角度範囲)25aを、表示対象の範囲とする。そして、この表示対象範囲25a(第1の部分の一例に相当する)に対応する範囲を、撮影画像から抽出する。モード1における表示対象範囲25aに対応する部分は、図2に示した撮影画像70の場合、図7の太線で囲われた範囲71であってもよいし、図8の太線で囲われた範囲71であってもよい。
【0044】
図7の範囲71は、撮影画像70の左右側を切り取った画像であり、縦(すなわち上下)と横(すなわち左右)の長さの比(すなわちアスペクト比)が、撮影画像70とは異なる。図7の範囲71は、撮影画像70の左右側および上側を切り取った画像であり、アスペクト比が、撮影画像70と同じになっている。
【0045】
また、表示モードがモード2である場合には、カメラECU5bは、図9に示すように、表示対象の範囲として、車両の後方正面方向を中心として角度幅がほぼ180°となる左右角度範囲25bを、表示対象の範囲とする。この表示対象範囲25bは撮影領域20全体である。したがって、カメラ5aが撮影した撮影画像そのものが、表示対象範囲25bに対応する画像として抽出される。
【0046】
既述の通り、モード2においては、右端障害物センサ1と障害物センサ2がそれぞれ障害物を検出している。そして、右端障害物センサ1の検出領域21および左端障害物センサ4の検出領域24は、モード1の場合の表示範囲25aからそれぞれ右および左に外れる部分を含んでいる。したがって、右端障害物センサ1によって検出された障害物26は、モード1の場合の表示範囲25aよりも右方向(第1の方向の一例に相当する)に外れた位置に存在する可能性があり、左端障害物センサ4によって検出された障害物27は、モード1の場合の表示範囲25aよりも左方向(第1の方向の一例に相当する)に外れた位置に存在する可能性がある。
【0047】
このような場合に、表示対象範囲25aよりも左右に広い表示対象範囲25bを採用することで、障害物26、27を乗員に表示できる可能が高くなる。
【0048】
また、表示モードがモード3である場合には、カメラECU5bは、図10に示すように、表示対象の範囲として、撮影領域20の最も右側を含み角度幅がαとなる左右角度範囲25c(第2の部分の一例に相当する)を、表示対象の範囲とする。そして、この表示対象範囲25cに対応する範囲を、撮影画像から抽出する。
【0049】
既述の通り、モード3においては、右端障害物センサ1と左端障害物センサ4のうち右端障害物センサ1のみが障害物を検出している。そして、右端障害物センサ1の検出領域21は、モード1の場合の表示範囲25aから右に外れる部分を含んでいる。したがって、右端障害物センサ1によって検出された障害物26は、モード1の場合の表示範囲25aよりも右方向(第1の方向の一例に相当する)に外れた位置に存在する可能性がある。このような場合に、通常時の表示対象範囲25aよりも右に外れた範囲を含む表示対象範囲25cを採用することで、障害物26を乗員に表示できる可能が高くなる。
【0050】
さらに、角度αは、撮影領域20の画角より小さいので、表示対象の範囲が、モード2における表示対象範囲25bに比べて狭い。したがって、モード2の場合に比べ、ディスプレイ7において、障害物26の周囲の表示を、大きくすることができる。
【0051】
そして、この表示対象範囲25cに対応する範囲を、撮影画像から抽出する。モード3における表示対象範囲25cに対応する部分は、図2に示した撮影画像70の場合、図11の太線で囲われた範囲71であってもよいし、図12の太線で囲われた範囲71であってもよい。
【0052】
図11の範囲71は、撮影画像70の左側を切り取った画像であり、アスペクト比が撮影画像70とは異なる。図12の範囲71は、撮影画像70の左側および上側を切り取った画像であり、アスペクト比が撮影画像70と同じになっている。
【0053】
また、表示モードがモード4である場合には、カメラECU5bは、図13に示すように、表示対象の範囲として、撮影領域20の最も左側を含み角度幅がαとなる左右角度範囲25d(第2の部分の一例に相当する)を、表示対象の範囲とする。そして、この表示対象範囲25dに対応する範囲を、撮影画像から抽出する。
【0054】
既述の通り、モード4においては、右端障害物センサ1と左端障害物センサ4のうち左端障害物センサ4のみが障害物を検出している。そして、左端障害物センサ4の検出領域24は、モード1の場合の表示範囲25aから左に外れる部分を含んでいる。したがって、左端障害物センサ4によって検出された障害物27は、モード1の場合の表示範囲25aよりも左方向(第1の方向の一例に相当する)に外れた位置に存在する可能性がある。このような場合に、表示対象範囲25aよりも左に外れた範囲を含む表示対象範囲25dを採用することで、障害物27を乗員に表示できる可能が高くなる。
【0055】
さらに、角度αは、撮影領域20の画角より小さいので、表示対象の範囲が、モード2における表示対象範囲25bに比べて狭い。したがって、モード2の場合に比べ、ディスプレイ7において、障害物27の周囲の表示を、大きくすることができる。
【0056】
そして、この表示対象範囲25dに対応する範囲を、撮影画像から抽出する。モード4における表示対象範囲25dに対応する部分は、図2に示した撮影画像70の場合、図14の太線で囲われた範囲71であってもよいし、図15の太線で囲われた範囲71であってもよい。
【0057】
図14の範囲71は、撮影画像70の右側を切り取った画像であり、アスペクト比が撮影画像70とは異なる。図12の範囲71は、撮影画像70の右側および上側を切り取った画像であり、アスペクト比が撮影画像70と同じになっている。
【0058】
なお、モード3およびモード4における角度αは、ステップ220で取得した表示制御パラメータ中の切り出し角度αと同じ値とする。したがって、図16〜図18にモード4について例示するように、障害物センサから、当該障害物センサが検出した障害物までの距離が近くなる程、角度α1(例えば150°)、α2(例えば120°)、α3(例えば90°)のように、表示対象範囲(より具体的には、カメラ5aから表示対象範囲を見こむ角度)が狭まっていく。
【0059】
このようにすることで、障害物が車両に近づけば近づくほど、表示対象範囲が狭くなる。したがって、乗員に表示したい部分(すなわち、障害物がある位置)の表示が、相対的に大きくなり得る。障害物が車両に短いほど、その障害物に対する緊急性が高くなるので、このような作動により、緊急度が高い障害物をより大きく乗員に表示することができる。
【0060】
さらに、ステップ240では、上記のようにいずれかの表示モードにおいて抽出した画像に対して、必要であれば引き延ばしまたは縮小の加工を行う。この加工は、抽出した画像の縦横の画素数を、あらかじめ定めた基準画素数に一致させるための処理である。
【0061】
例えば、あらかじめ定めた基準画素数が、縦M個、横N個であるとする。そして、抽出した画像の縦横の画素が、縦m個、横n個であるとする。この場合、カメラECU5bは、抽出した画像の横方向の画素数をM/m倍にするために、抽出画像を横方向に引き延ばしまたは圧縮を行う。また、カメラECU5bは、抽出した画像の縦方向の画素数をN/n倍にするために、抽出画像を縦方向に引き延ばしまたは縮小を行う。なお、画像の引き延ばしおよび縮小は、周知の技術であるので、その詳細については省略する。
【0062】
基準画素数は、どのような値でもよい。例えば、基準画素数を、モード2における抽出画像の画素数と同じであるとすると、モード2においては、ステップ240において、抽出した画像を拡大する必要も縮小する必要もない。
【0063】
さらにステップ250では、ステップ240で抽出、加工した表示画像をディスプレイ7に出力する。このように、抽出した画像の縦横の画素数を、あらかじめ定めた基準画素数に統一した上で出力することで、ディスプレイ7において表示される画像の、表示画面上における大きさは、カメラECU5bにおける表示モードおよび角度αに関わらず同じである。したがって、表示対象範囲が狭いほど、ディスプレイ7の表示画面上において、表示画像中の物体が大きく表示される。
【0064】
このようになっているので、ソナーECU6は、右端障害物センサ1および左端障害物センサ4のいずれも障害物を検出していない場合には、カメラECU5bをモード1で作動させる。そしてモード1においては、ディスプレイ7に表示されない部分に障害物が存在する可能性がある場合には、モード2、3、4のいずれかでカメラECU5bを作動させることにより、その部分を含む範囲を表示対象範囲とすることで、当該部分の障害物をディスプレイ7に表示させる。
【0065】
したがって、乗員(特にドライバ)が注目すべき部分を、乗員に表示させることができる。また、そのような場合に、カメラ5aの撮影可能範囲20の全体ではなく一部分を表示させるので、乗員に表示したい部分が非常に小さくなってしまう可能性が低減される。すなわち、表示させたい部分を、乗員にとって見易い方法で表示させることができる。
【0066】
また、ソナーECU6は、モード3、モード4において、右端障害物センサ1または左端障害物センサ4が検出した障害物までの距離が短いほど、切り出し角度αを小さくすることで、表示対象範囲25cまたは25d範囲を狭くする。
【0067】
このようにすることで、障害物が車両に近づけば近づくほど、ディスプレイ7に表示される範囲が狭くなる。しかし、ディスプレイ7の表示画面における表示画像の大きさは同じであるので、乗員に表示したい部分(すなわち、障害物がある位置)の表示が、相対的に大きくなる。障害物が車両に短いほど、その障害物に対する緊急性が高くなるので、このような作動により、緊急度が高い障害物をより大きく乗員に表示することができる。
【0068】
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【0069】
また、車両10の周囲の障害物の位置を検出するセンサは、必ずしもソナーである必要はなく、ある範囲における障害物の存在およびその障害物までの距離を検出する装置であれば、例えば、レーザーレーダセンサであってもよいし、ミリ波センサであってもよい。
【図面の簡単な説明】
【0070】
【図1】車両10に搭載された車載撮影車載撮影画像表示システムの構成を示す概略図である。
【図2】カメラ5aが撮影した撮影画像70を示した図である。
【図3】ソナーECU6が実行する処理100のフローチャートである。
【図4】障害物センサの検出結果と表示モードとの対応関係を示す図表である。
【図5】カメラECU5bが実行する処理200のフローチャートである。
【図6】モード1における表示対象範囲25aを示す図である。
【図7】モード1において撮影画像70から抽出する部分71を例示する図である。
【図8】モード1において撮影画像70から抽出する部分71を例示する図である。
【図9】モード2における表示対象範囲25bを示す図である。
【図10】モード3における表示対象範囲25cを示す図である。
【図11】モード3において撮影画像70から抽出する部分71を例示する図である。
【図12】モード3において撮影画像70から抽出する部分71を例示する図である。
【図13】モード4における表示対象範囲25dを示す図である。
【図14】モード4において撮影画像70から抽出する部分71を例示する図である。
【図15】モード4において撮影画像70から抽出する部分71を例示する図である。
【図16】モード4における表示対象範囲25dの角度α1と、車両10から障害物27までの距離との関係を示す図である。
【図17】モード4における表示対象範囲25dの角度α2と、車両10から障害物27までの距離との関係を示す図である。
【図18】モード4における表示対象範囲25dの角度α3と、車両10から障害物27までの距離との関係を示す図である。
【符号の説明】
【0071】
1 右端障害物センサ
2、3 障害物センサ
4 左端障害物センサ
5a カメラ
5b カメラECU
6 ソナーECU
7 ディスプレイ
10 車両
20 撮影領域
21〜24 検出領域
25a〜25d 表示対象範囲
26、27 障害物
70 撮影画像
71 抽出範囲
【技術分野】
【0001】
本発明は、車両に取り付けられたカメラによって撮影された車両の外部の画像をディスプレイに表示させるための車載撮影画像表示システム、そのシステムにおいて制御を行う車載撮影画像表示制御装置、および、車載撮影画像表示制御装置用のプログラムに関するものである。
【背景技術】
【0002】
従来、車両に取り付けられたカメラによって、車両の外部(例えば車両の後方)を撮影し、撮影された画像を車室内のディスプレイに表示させる車載撮影画像表示システムが広く用いられている。
【発明の開示】
【発明が解決しようとする課題】
【0003】
このような車載撮影画像表示システムにおいては、ディスプレイに撮影画像として表示される範囲を外れた位置(例えば、車両の後端部における左右の角部)に障害物がある場合、ドライバが障害物に気づかない恐れがある。
【0004】
この問題に対処するために、広角範囲(例えば正面を中心とする左右角度幅180°の範囲)を撮影可能な広角撮影カメラを用い、通常時には、広角撮影カメラの撮影可能範囲の一部(例えば正面を中心とする左右角度幅120°の範囲)をディスプレイに表示させ、必要時には、広角撮影カメラの撮影可能範囲の全部をディスプレイに表示させる方法が考えられる。
【0005】
この方法を用いると、通常時には表示されなかった部分が追加部分としてディスプレイに表示されるものの、広角撮影カメラの撮影可能範囲の全部が表示されてしまうので、追加部分のディスプレイ中の大きさが相対的に小さくなってしまう。すなわち、追加部分を表示するための作動を行っているにも関わらず、その追加部分の表示の大きさは小さなものとなってしまう。
【0006】
本発明は上記点に鑑み、車両に取り付けられたカメラによって、車両の外部を撮影し、撮影された画像を車室内のディスプレイに表示させる車載撮影画像表示システムにおいて、表示させたい部分を、乗員にとって見易い方法で表示させるための技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するための請求項1に記載の発明は、車両(10)に取り付けられたカメラ(5a)によって撮影された車両(10)の外部の撮影画像をディスプレイ(7)に表示させるための制御を行う車載撮影画像表示制御装置についてのものである。
【0008】
この車載撮影画像表示制御装置は、車両(10)の周囲の障害物の位置を検出するセンサ(1、4)から、検出された障害物の位置の情報を取得し、取得した情報によればセンサ(1、4)が障害物を検出していない場合、カメラ(5a)の撮影可能範囲の中央を含む第1の部分の撮影画像を、ディスプレイ(7)に表示させる。
【0009】
そして、車載撮影画像表示制御装置は、センサ(1、4)から取得した障害物の情報によれば、第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、カメラ(5a)の撮影可能範囲の一部分であり、かつ、第1の部分から第1の方向に外れた位置を含む第2の部分の画像を、ディスプレイ(7)に表示させるようになっている。
【0010】
このように、車載撮影画像表示制御装置は、センサ(1、4)が障害物を検出していない場合にはディスプレイ(7)に表示されない部分を、その部分に障害物が存在する可能性がある場合には、表示する。したがって、乗員(特にドライバ)が注目すべき部分を、乗員に表示させることができる。また、そのような場合に、カメラ(5a)の撮影可能範囲の一部分を表示させるので、乗員に表示したい部分がディスプレイ(7)において非常に小さくなってしまう可能性が低減される。すなわち、表示させたい部分を、乗員にとって見易い方法で表示させることができる。
【0011】
また、請求項2に記載のように、車載撮影画像表示制御装置は、は、センサ(1、4)から取得した障害物情報によれば、第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、更に、センサ(1、4)が検出した当該障害物までの距離が短いほど、第2の部分の範囲を狭くするようになっていてもよい。
【0012】
このようにすることで、障害物が車両に近づけば近づくほど、ディスプレイ(7)に表示される範囲が狭くなる。したがって、乗員に表示したい部分(すなわち、障害物がある位置)の表示が、相対的に大きくなる。障害物が車両に近いほど、その障害物に対する緊急性が高くなるので、このような作動により、緊急度が高い障害物をより大きく乗員に表示することができる。
【0013】
また、請求項3に記載のように、本発明は、請求項1〜3に記載の車載撮影画像表示制御装置と、カメラ(5a)と、ディスプレイ(7)と、備えた車載撮影画像表示システムとしても捉えることができる。また、請求項4に記載のように、本発明は、車載撮影画像表示制御装置に用いるプログラムとしても捉えることができる。
【0014】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【発明を実施するための最良の形態】
【0015】
以下、本発明の一実施形態について説明する。図1に、車両10に搭載された本実施形態に係る車載撮影画像表示システムの構成を概略的に示す。車載撮影画像表示システムは、障害物センサ1〜4、後方撮影ユニット5、ソナーECU6(車載撮影画像表示制御装置の一例に相当する)、およびディスプレイ7を有している。
【0016】
障害物センサ1〜4のそれぞれは、音波を送出し、その音波の反射波を検出し、その音波の送出タイミングと反射波の検出タイミングとの間の時間差から、自己から障害物までの距離を繰り返し(例えば0.1秒毎に)特定し、特定した距離を示す検出信号をソナーECU6に出力するソナーである。障害物センサ1〜4は、それぞれが車両10中の異なった位置に搭載され、また、障害物を検出することが可能な領域がそれぞれ異なるように設置されている。
【0017】
具体的には、右端障害物センサ1は、車両10の後端部右側端に取り付けられ、車両10の後端部右側端の周囲の検出領域21内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部右側端から障害物までの距離)を検出することができるように設置されている。
【0018】
また、障害物センサ2は、車両10の後端部中央やや右側に取り付けられ、当該取り付け位置の後方の検出領域22内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部から障害物までの距離)を検出することができるように設置されている。
【0019】
また、障害物センサ3は、車両10の後端部中央やや左側に取り付けられ、当該取り付け位置の後方の検出領域23内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部から障害物までの距離)を検出することができるように設置されている。
【0020】
また、左端障害物センサ4は、車両10の後端部左側端に取り付けられ、車両10の後端部左側端の周囲の検出領域24内の障害物の存在および自己から当該障害物までの距離(すなわち車両10の後端部左側端から障害物までの距離)を検出することができるように設置されている。
【0021】
したがって、障害物センサ1〜4の設置位置は、車両10の後端部右側端から左側端へ、右端障害物センサ1、障害物センサ2、障害物センサ3、左端障害物センサ4の順に並んでいる。また、検出領域21〜24は、車両10の後方右側から後方左側へ、検出領域21、検出領域22、検出領域23、検出領域24の順に並んでいる。これら障害物センサ1〜4の検出領域の和は、カメラ5aの水平画角、すなわち、カメラ5aが撮影可能な領域20の左右方向の角度範囲をほぼすべてカバーしている。なお、検出領域21と検出領域22、検出領域22と検出領域23、検出領域23と検出領域24は、それぞれ部分的に重複するようになっている。
【0022】
このように、障害物センサ1〜4のそれぞれが検出できる障害物の位置の情報は、(1)当該障害物が当該センサの検出領域内に存在すること、および、(2)当該障害物センサから障害物までの距離、の2つである。
【0023】
なお、右端障害物センサ1の検出領域21は、車両の後端部の右側の角部(コーナー)に相当する領域であり、右端障害物センサ1を中心とするほぼ扇形の領域である。扇形の半径(限界距離)は、例えば60センチメートルである。また、左端障害物センサ4の検出領域24は、車両の後端部の左側の角部(コーナー)に相当する領域であり、左端障害物センサ4を中心とするほぼ扇形の領域である。扇形の半径(限界距離)は、例えば60センチメートルである。
【0024】
なお、図1中の検出軸11〜14は、検出領域21〜24の中心位置および対応する障害物センサ1〜4をそれぞれ通る直線である。この検出軸11〜14はそれぞれ、各検出領域21〜24の左右方向中央を繋ぐ線でもある。
【0025】
ディスプレイ7は、車両10の車室内に搭載され、後方撮影ユニット5から画像の信号を受けると、その信号を示す画像を、ディスプレイ7の表示画面中の所定の領域に表示する。この表示は、車室内のドライバが視認可能なようになっている。
【0026】
後方撮影ユニット5は、カメラ5aよびカメラECU5bを有している。カメラ5aは、車両10の後端部に取り付けられ、車両10の後方を広角的に繰り返し(例えば0.1秒間隔で)撮影し、その撮影結果の撮影画像をカメラECU5bに出力する。
【0027】
カメラ5aの水平方向の撮影可能範囲は、撮影領域20のようになっている。すなわち、カメラ5aが一度に撮影可能な範囲は、検出軸11〜14を含み、その画角(すなわち、カメラ5aから見込む角度範囲)は、カメラ5aの正面方向(すなわち、車両10の後方正面方向)を中心とするほぼ180°となっている。また、その撮影領域20の一端は、車両10の後端部を含んでいるようになっていてもよい。
【0028】
図2に、カメラ5aが出力する撮影画像の一例70を示す。この撮影画像70は、撮影領域20全体を含んでいる。ここで、撮影画像70の上方向が、車両10から後方に離れる方向に該当し、左右方向が、車両10の前方を向いている乗員を基準として左右の方向となる。なお、撮影画像70中の4本の縦方向の線は、検出軸11〜14を仮想的に表したものであり、出力される撮影画像70に実際にこれら検出軸11〜14が重畳されていなくてもよいし、表されていてもよい。
【0029】
カメラECU5bは、カメラ5aから受けた撮影画像に対して、あるときは加工処理を施し、またあるときは加工処理を施さず、当該加工処理が施された加工後画像または加工処理が施されなかった撮影画像を、表示画像として、ディスプレイ7に表示させる。なお、加工処理の内容は、ソナーECU6からの信号によって制御される。
【0030】
具体的には、ソナーECU6は、右端障害物センサ1および左端障害物センサ4から、障害物の位置の情報を示す信号を取得し、取得した信号中の情報に基づいて、カメラECU5bの作動内容を決定し、その決定した作動内容を、表示制御パラメータとして、カメラECU5bに出力する。ソナーECU6は、このような作動のために、図3に示す処理100を繰り返し(例えば、カメラ5aの撮影周期と同じ0.1秒毎に)実行する。ソナーECU6は、このような処理100を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理100を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【0031】
この処理100の実行において、ソナーECU6は、まずステップ110で、障害物センサ1、4のそれぞれから検出信号を取得する。これにより、障害物センサ1、4のうちいずれが障害物を検出したかについての情報、および、障害物から障害物センサまでの距離の情報を、ソナーECU6が取得することができる。
【0032】
続いてステップ120では、ステップ110で取得した情報に基づいて、表示モードを決定する。表示モードとは、カメラECU5bにおける撮影画像70の部分抽出に関するモードである。選択可能な表示モードとしては、モード1(通常時のモードに相当する)、モード2、モード3、モード4の4つがある。
【0033】
図5に、障害物センサ1、4から取得した情報の内容と、選択する表示モードとの関係を示す。この図に示すように、カメラECU5bは、障害物センサ1、4のいずれも障害物を検出していない場合は、モード1を選択する。この場合は、車両10の右後端の角部にも左後端の角部にも障害物がない場合に相当する。したがって、車両10の周りに全く障害物がない状況も、障害物センサ3のみが障害物を検出している状況も、この場合に含まれる。
【0034】
また、障害物センサ1、4の両方が障害物を検出している場合、カメラECU5bはモード2を選択する。この場合は、車両10の右後端角部にも左後端角部にも障害物がある場合に相当する。また、障害物センサ1、4のうち右端障害物センサ1のみが障害物を検出している場合、カメラECU5bはモード3を選択する。この場合は、車両10の右後端角部に障害物があり、左後端角部に障害物がない場合に相当する。また、障害物センサ1、4のうち左端障害物センサ4のみが障害物を検出している場合、カメラECU5bはモード4を選択する。この場合は、車両10の左後端角部に障害物があり、右後端角部に障害物がない場合に相当する。
【0035】
続いてステップ130では、切り出し角度αを決定する。切り出し角度αは、カメラECU5bにおける撮影画像70の加工に関する角度である。直前のステップ120でモード1またはモード2が選択された場合は、切り出し角度αを所定のダミー値(例えば0°)とする。
【0036】
また、直前のステップ120でモード3またはモード4が選択された場合は、障害物を検出した障害物センサ(すなわち、右端障害物センサ1または障害物センサ2)から当該障害物までの距離(以下、検出距離という)に応じて、切り出し角度αを決定する。より具体的には、検出距離が短いほど切り出し角度αを小さくする。ただし、切り出し角度αは、撮影領域20の左右方向の画角(例えば180°)よりも小さい角度とする。
【0037】
例えば、検出距離が遠距離範囲(例えば、40cm〜60cm)である場合は、切り出し角度を150°に設定し、検出距離が遠距離範囲よりも短い中距離範囲(例えば、20cm〜40cm)である場合は、切り出し角度を120°に設定し、検出距離が中距離範囲よりも短い近距離範囲(例えば、0cm〜20cm)である場合は、切り出し角度を90°に設定する。
【0038】
続いてステップ140では、ステップ120で選択した表示モード、および、ステップ130で決定した切り出し角度αの両方を、表示制御パラメータとして、まとめてカメラECU5bに出力する。この表示制御パラメータは、後述するように、カメラ5aが撮影した画像のうち、どの部分を抽出してディスプレイ7に表示させるかを決定するためのパラメータとなる。ステップ140の後、処理100の1回分が終了する。
【0039】
ここで、カメラECU5bの処理の詳細について説明する。図5に、カメラECU5bがくり返し(例えばカメラ5aの撮影タイミングと同じ0.1秒周期で)実行する処理200の内容をフローチャートで示す。カメラECU5bは、このような処理200を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理200を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【0040】
カメラECU5bは、画像表示指令を受けている間は、処理200の実行を繰り返す。この画像表示指令は、図示しない操作装置に対するユーザの所定の表示開始操作があったことに基づいて、その後当該操作装置からカメラECU5bに出力され続けるようになっていてもよい。あるいは、この画像表示指令は、車両10のドライブポジションを検出するドライブポジションセンサ(図示せず)からカメラECU5bに出力される信号のうち、当該ドライブポジションが後退ポジションにある旨の信号であってもよい。あるいは、画像表示指令は、他のどのような装置から出力される信号であってもよい。
【0041】
処理200の実行においてカメラECU5bは、まずステップ220で、ソナーECU6から出力された最新の表示制御パラメータを示す信号を取得する。この表示制御パラメータには、上述の通り、表示モードおよび切り出し角度αの情報が含まれている。続いてステップ230では、カメラ5aから出力された撮影画像を取り込む。この撮影画像は、撮影領域20全体を含む画像である。
【0042】
続いてステップ240では、ステップ220で受け付けた表示制御パラメータに基づいて、撮影画像を加工して(または場合によっては加工せず)、表示画像を生成する。ステップ240における加工は、ステップ220で取得した表示制御パラメータに基づいて行う。まず、カメラECU5bは、表示制御パラメータ中の表示モードに従って、あらかじめ定められている4つの画像抽出方法のうち1つを選択する。
【0043】
具体的には、表示モードがモード1である場合には、カメラECU5bは、図6に示すように、表示対象の範囲として、車両の後方正面方向を中心として角度幅がほぼ120°となる左右角度範囲(すなわち、カメラ5aが見込む左右方向の角度範囲)25aを、表示対象の範囲とする。そして、この表示対象範囲25a(第1の部分の一例に相当する)に対応する範囲を、撮影画像から抽出する。モード1における表示対象範囲25aに対応する部分は、図2に示した撮影画像70の場合、図7の太線で囲われた範囲71であってもよいし、図8の太線で囲われた範囲71であってもよい。
【0044】
図7の範囲71は、撮影画像70の左右側を切り取った画像であり、縦(すなわち上下)と横(すなわち左右)の長さの比(すなわちアスペクト比)が、撮影画像70とは異なる。図7の範囲71は、撮影画像70の左右側および上側を切り取った画像であり、アスペクト比が、撮影画像70と同じになっている。
【0045】
また、表示モードがモード2である場合には、カメラECU5bは、図9に示すように、表示対象の範囲として、車両の後方正面方向を中心として角度幅がほぼ180°となる左右角度範囲25bを、表示対象の範囲とする。この表示対象範囲25bは撮影領域20全体である。したがって、カメラ5aが撮影した撮影画像そのものが、表示対象範囲25bに対応する画像として抽出される。
【0046】
既述の通り、モード2においては、右端障害物センサ1と障害物センサ2がそれぞれ障害物を検出している。そして、右端障害物センサ1の検出領域21および左端障害物センサ4の検出領域24は、モード1の場合の表示範囲25aからそれぞれ右および左に外れる部分を含んでいる。したがって、右端障害物センサ1によって検出された障害物26は、モード1の場合の表示範囲25aよりも右方向(第1の方向の一例に相当する)に外れた位置に存在する可能性があり、左端障害物センサ4によって検出された障害物27は、モード1の場合の表示範囲25aよりも左方向(第1の方向の一例に相当する)に外れた位置に存在する可能性がある。
【0047】
このような場合に、表示対象範囲25aよりも左右に広い表示対象範囲25bを採用することで、障害物26、27を乗員に表示できる可能が高くなる。
【0048】
また、表示モードがモード3である場合には、カメラECU5bは、図10に示すように、表示対象の範囲として、撮影領域20の最も右側を含み角度幅がαとなる左右角度範囲25c(第2の部分の一例に相当する)を、表示対象の範囲とする。そして、この表示対象範囲25cに対応する範囲を、撮影画像から抽出する。
【0049】
既述の通り、モード3においては、右端障害物センサ1と左端障害物センサ4のうち右端障害物センサ1のみが障害物を検出している。そして、右端障害物センサ1の検出領域21は、モード1の場合の表示範囲25aから右に外れる部分を含んでいる。したがって、右端障害物センサ1によって検出された障害物26は、モード1の場合の表示範囲25aよりも右方向(第1の方向の一例に相当する)に外れた位置に存在する可能性がある。このような場合に、通常時の表示対象範囲25aよりも右に外れた範囲を含む表示対象範囲25cを採用することで、障害物26を乗員に表示できる可能が高くなる。
【0050】
さらに、角度αは、撮影領域20の画角より小さいので、表示対象の範囲が、モード2における表示対象範囲25bに比べて狭い。したがって、モード2の場合に比べ、ディスプレイ7において、障害物26の周囲の表示を、大きくすることができる。
【0051】
そして、この表示対象範囲25cに対応する範囲を、撮影画像から抽出する。モード3における表示対象範囲25cに対応する部分は、図2に示した撮影画像70の場合、図11の太線で囲われた範囲71であってもよいし、図12の太線で囲われた範囲71であってもよい。
【0052】
図11の範囲71は、撮影画像70の左側を切り取った画像であり、アスペクト比が撮影画像70とは異なる。図12の範囲71は、撮影画像70の左側および上側を切り取った画像であり、アスペクト比が撮影画像70と同じになっている。
【0053】
また、表示モードがモード4である場合には、カメラECU5bは、図13に示すように、表示対象の範囲として、撮影領域20の最も左側を含み角度幅がαとなる左右角度範囲25d(第2の部分の一例に相当する)を、表示対象の範囲とする。そして、この表示対象範囲25dに対応する範囲を、撮影画像から抽出する。
【0054】
既述の通り、モード4においては、右端障害物センサ1と左端障害物センサ4のうち左端障害物センサ4のみが障害物を検出している。そして、左端障害物センサ4の検出領域24は、モード1の場合の表示範囲25aから左に外れる部分を含んでいる。したがって、左端障害物センサ4によって検出された障害物27は、モード1の場合の表示範囲25aよりも左方向(第1の方向の一例に相当する)に外れた位置に存在する可能性がある。このような場合に、表示対象範囲25aよりも左に外れた範囲を含む表示対象範囲25dを採用することで、障害物27を乗員に表示できる可能が高くなる。
【0055】
さらに、角度αは、撮影領域20の画角より小さいので、表示対象の範囲が、モード2における表示対象範囲25bに比べて狭い。したがって、モード2の場合に比べ、ディスプレイ7において、障害物27の周囲の表示を、大きくすることができる。
【0056】
そして、この表示対象範囲25dに対応する範囲を、撮影画像から抽出する。モード4における表示対象範囲25dに対応する部分は、図2に示した撮影画像70の場合、図14の太線で囲われた範囲71であってもよいし、図15の太線で囲われた範囲71であってもよい。
【0057】
図14の範囲71は、撮影画像70の右側を切り取った画像であり、アスペクト比が撮影画像70とは異なる。図12の範囲71は、撮影画像70の右側および上側を切り取った画像であり、アスペクト比が撮影画像70と同じになっている。
【0058】
なお、モード3およびモード4における角度αは、ステップ220で取得した表示制御パラメータ中の切り出し角度αと同じ値とする。したがって、図16〜図18にモード4について例示するように、障害物センサから、当該障害物センサが検出した障害物までの距離が近くなる程、角度α1(例えば150°)、α2(例えば120°)、α3(例えば90°)のように、表示対象範囲(より具体的には、カメラ5aから表示対象範囲を見こむ角度)が狭まっていく。
【0059】
このようにすることで、障害物が車両に近づけば近づくほど、表示対象範囲が狭くなる。したがって、乗員に表示したい部分(すなわち、障害物がある位置)の表示が、相対的に大きくなり得る。障害物が車両に短いほど、その障害物に対する緊急性が高くなるので、このような作動により、緊急度が高い障害物をより大きく乗員に表示することができる。
【0060】
さらに、ステップ240では、上記のようにいずれかの表示モードにおいて抽出した画像に対して、必要であれば引き延ばしまたは縮小の加工を行う。この加工は、抽出した画像の縦横の画素数を、あらかじめ定めた基準画素数に一致させるための処理である。
【0061】
例えば、あらかじめ定めた基準画素数が、縦M個、横N個であるとする。そして、抽出した画像の縦横の画素が、縦m個、横n個であるとする。この場合、カメラECU5bは、抽出した画像の横方向の画素数をM/m倍にするために、抽出画像を横方向に引き延ばしまたは圧縮を行う。また、カメラECU5bは、抽出した画像の縦方向の画素数をN/n倍にするために、抽出画像を縦方向に引き延ばしまたは縮小を行う。なお、画像の引き延ばしおよび縮小は、周知の技術であるので、その詳細については省略する。
【0062】
基準画素数は、どのような値でもよい。例えば、基準画素数を、モード2における抽出画像の画素数と同じであるとすると、モード2においては、ステップ240において、抽出した画像を拡大する必要も縮小する必要もない。
【0063】
さらにステップ250では、ステップ240で抽出、加工した表示画像をディスプレイ7に出力する。このように、抽出した画像の縦横の画素数を、あらかじめ定めた基準画素数に統一した上で出力することで、ディスプレイ7において表示される画像の、表示画面上における大きさは、カメラECU5bにおける表示モードおよび角度αに関わらず同じである。したがって、表示対象範囲が狭いほど、ディスプレイ7の表示画面上において、表示画像中の物体が大きく表示される。
【0064】
このようになっているので、ソナーECU6は、右端障害物センサ1および左端障害物センサ4のいずれも障害物を検出していない場合には、カメラECU5bをモード1で作動させる。そしてモード1においては、ディスプレイ7に表示されない部分に障害物が存在する可能性がある場合には、モード2、3、4のいずれかでカメラECU5bを作動させることにより、その部分を含む範囲を表示対象範囲とすることで、当該部分の障害物をディスプレイ7に表示させる。
【0065】
したがって、乗員(特にドライバ)が注目すべき部分を、乗員に表示させることができる。また、そのような場合に、カメラ5aの撮影可能範囲20の全体ではなく一部分を表示させるので、乗員に表示したい部分が非常に小さくなってしまう可能性が低減される。すなわち、表示させたい部分を、乗員にとって見易い方法で表示させることができる。
【0066】
また、ソナーECU6は、モード3、モード4において、右端障害物センサ1または左端障害物センサ4が検出した障害物までの距離が短いほど、切り出し角度αを小さくすることで、表示対象範囲25cまたは25d範囲を狭くする。
【0067】
このようにすることで、障害物が車両に近づけば近づくほど、ディスプレイ7に表示される範囲が狭くなる。しかし、ディスプレイ7の表示画面における表示画像の大きさは同じであるので、乗員に表示したい部分(すなわち、障害物がある位置)の表示が、相対的に大きくなる。障害物が車両に短いほど、その障害物に対する緊急性が高くなるので、このような作動により、緊急度が高い障害物をより大きく乗員に表示することができる。
【0068】
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【0069】
また、車両10の周囲の障害物の位置を検出するセンサは、必ずしもソナーである必要はなく、ある範囲における障害物の存在およびその障害物までの距離を検出する装置であれば、例えば、レーザーレーダセンサであってもよいし、ミリ波センサであってもよい。
【図面の簡単な説明】
【0070】
【図1】車両10に搭載された車載撮影車載撮影画像表示システムの構成を示す概略図である。
【図2】カメラ5aが撮影した撮影画像70を示した図である。
【図3】ソナーECU6が実行する処理100のフローチャートである。
【図4】障害物センサの検出結果と表示モードとの対応関係を示す図表である。
【図5】カメラECU5bが実行する処理200のフローチャートである。
【図6】モード1における表示対象範囲25aを示す図である。
【図7】モード1において撮影画像70から抽出する部分71を例示する図である。
【図8】モード1において撮影画像70から抽出する部分71を例示する図である。
【図9】モード2における表示対象範囲25bを示す図である。
【図10】モード3における表示対象範囲25cを示す図である。
【図11】モード3において撮影画像70から抽出する部分71を例示する図である。
【図12】モード3において撮影画像70から抽出する部分71を例示する図である。
【図13】モード4における表示対象範囲25dを示す図である。
【図14】モード4において撮影画像70から抽出する部分71を例示する図である。
【図15】モード4において撮影画像70から抽出する部分71を例示する図である。
【図16】モード4における表示対象範囲25dの角度α1と、車両10から障害物27までの距離との関係を示す図である。
【図17】モード4における表示対象範囲25dの角度α2と、車両10から障害物27までの距離との関係を示す図である。
【図18】モード4における表示対象範囲25dの角度α3と、車両10から障害物27までの距離との関係を示す図である。
【符号の説明】
【0071】
1 右端障害物センサ
2、3 障害物センサ
4 左端障害物センサ
5a カメラ
5b カメラECU
6 ソナーECU
7 ディスプレイ
10 車両
20 撮影領域
21〜24 検出領域
25a〜25d 表示対象範囲
26、27 障害物
70 撮影画像
71 抽出範囲
【特許請求の範囲】
【請求項1】
車両(10)に取り付けられたカメラ(5a)によって撮影された前記車両(10)の外部の撮影画像をディスプレイ(7)に表示させるための制御を行う車載撮影画像表示制御装置であって、
前記車両(10)の周囲の障害物の位置を検出するセンサ(1、4)から、検出された障害物の位置の情報を取得する取得手段(110)と、
前記取得手段(110)が取得した情報によれば前記センサ(1、4)が障害物を検出していない場合、前記カメラ(5a)の撮影可能範囲の中央を含む第1の部分の撮影画像を、前記ディスプレイ(7)に表示させる表示制御手段(120〜140)と、を備え、
前記表示制御手段(120〜140)は、前記取得手段(110)が取得した情報によれば、前記第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、前記カメラ(5a)の撮影可能範囲の一部分であり、かつ、前記第1の部分から第1の方向に外れた位置を含む第2の部分の画像を、前記ディスプレイ(7)に表示させることを特徴とする車載撮影画像表示制御装置。
【請求項2】
前記表示制御手段(120〜140)は、前記取得手段(110)が取得した情報によれば、前記第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、更に、前記センサ(1、4)が検出した当該障害物までの距離が短いほど、前記第2の部分の範囲を狭くすることを特徴とする請求項1に記載の車載撮影画像表示制御装置。
【請求項3】
請求項1〜3に記載の車載撮影画像表示制御装置と、
前記カメラ(5a)と、
前記ディスプレイ(7)と、備えた車載撮影画像表示システム。
【請求項4】
車両(10)に取り付けられたカメラ(5a)によって撮影された前記車両(10)の外部の撮影画像をディスプレイ(7)に表示させるための制御を行う車載撮影画像表示制御装置に用いるプログラムであって、
前記車両(10)の周囲の障害物の位置を検出するセンサ(1、4)から、検出された障害物の位置の情報を取得する取得手段(110)、および
前記取得手段(110)が取得した情報によれば前記センサ(1、4)が障害物を検出していない場合、前記カメラ(5a)の撮影可能範囲の中央を含む第1の部分の撮影画像を、前記ディスプレイ(7)に表示させる表示制御手段(120〜140)として、前記車載撮影画像表示制御装置を機能させるプログラムであって、
前記表示制御手段(120〜140)は、前記取得手段(110)が取得した情報によれば、前記第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、前記カメラ(5a)の撮影可能範囲の一部分であり、かつ、前記第1の部分から第1の方向に外れた位置を含む第2の部分の画像を、前記ディスプレイ(7)に表示させることを特徴とするプログラム。
【請求項1】
車両(10)に取り付けられたカメラ(5a)によって撮影された前記車両(10)の外部の撮影画像をディスプレイ(7)に表示させるための制御を行う車載撮影画像表示制御装置であって、
前記車両(10)の周囲の障害物の位置を検出するセンサ(1、4)から、検出された障害物の位置の情報を取得する取得手段(110)と、
前記取得手段(110)が取得した情報によれば前記センサ(1、4)が障害物を検出していない場合、前記カメラ(5a)の撮影可能範囲の中央を含む第1の部分の撮影画像を、前記ディスプレイ(7)に表示させる表示制御手段(120〜140)と、を備え、
前記表示制御手段(120〜140)は、前記取得手段(110)が取得した情報によれば、前記第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、前記カメラ(5a)の撮影可能範囲の一部分であり、かつ、前記第1の部分から第1の方向に外れた位置を含む第2の部分の画像を、前記ディスプレイ(7)に表示させることを特徴とする車載撮影画像表示制御装置。
【請求項2】
前記表示制御手段(120〜140)は、前記取得手段(110)が取得した情報によれば、前記第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、更に、前記センサ(1、4)が検出した当該障害物までの距離が短いほど、前記第2の部分の範囲を狭くすることを特徴とする請求項1に記載の車載撮影画像表示制御装置。
【請求項3】
請求項1〜3に記載の車載撮影画像表示制御装置と、
前記カメラ(5a)と、
前記ディスプレイ(7)と、備えた車載撮影画像表示システム。
【請求項4】
車両(10)に取り付けられたカメラ(5a)によって撮影された前記車両(10)の外部の撮影画像をディスプレイ(7)に表示させるための制御を行う車載撮影画像表示制御装置に用いるプログラムであって、
前記車両(10)の周囲の障害物の位置を検出するセンサ(1、4)から、検出された障害物の位置の情報を取得する取得手段(110)、および
前記取得手段(110)が取得した情報によれば前記センサ(1、4)が障害物を検出していない場合、前記カメラ(5a)の撮影可能範囲の中央を含む第1の部分の撮影画像を、前記ディスプレイ(7)に表示させる表示制御手段(120〜140)として、前記車載撮影画像表示制御装置を機能させるプログラムであって、
前記表示制御手段(120〜140)は、前記取得手段(110)が取得した情報によれば、前記第1の部分から第1の方向に外れた位置に障害物が存在する可能性がある場合、前記カメラ(5a)の撮影可能範囲の一部分であり、かつ、前記第1の部分から第1の方向に外れた位置を含む第2の部分の画像を、前記ディスプレイ(7)に表示させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2010−64725(P2010−64725A)
【公開日】平成22年3月25日(2010.3.25)
【国際特許分類】
【出願番号】特願2008−235805(P2008−235805)
【出願日】平成20年9月15日(2008.9.15)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
【公開日】平成22年3月25日(2010.3.25)
【国際特許分類】
【出願日】平成20年9月15日(2008.9.15)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
[ Back to top ]