運転支援装置及び運転支援装置の制御方法
【課題】簡易な構成で、車両の走行状態に応じて、車両の周辺の障害物をリアルタイムに検出する。
【解決手段】撮影方向が異なる複数の撮影部１ａ、１ｂ、１ｃを備え、各撮影部１ａ、１ｂ、１ｃにより撮影された車両周辺画像に基づいて、運転支援を行う運転支援装置１０において、車両の走行状態に関する走行状態情報が入力される走行状態情報入力部９と、走行状態情報に基づいて、複数の撮影部１ａ、１ｂ、１ｃのうちいずれか一の撮影部を選択する撮影部選択部８３と、この撮影部選択部８３により選択された撮影部により撮影された車両周辺画像に基づいて、車両の周辺の障害物を検出するための障害物検出処理を行う障害物検出部４とを備える運転支援装置を提供する。
【解決手段】撮影方向が異なる複数の撮影部１ａ、１ｂ、１ｃを備え、各撮影部１ａ、１ｂ、１ｃにより撮影された車両周辺画像に基づいて、運転支援を行う運転支援装置１０において、車両の走行状態に関する走行状態情報が入力される走行状態情報入力部９と、走行状態情報に基づいて、複数の撮影部１ａ、１ｂ、１ｃのうちいずれか一の撮影部を選択する撮影部選択部８３と、この撮影部選択部８３により選択された撮影部により撮影された車両周辺画像に基づいて、車両の周辺の障害物を検出するための障害物検出処理を行う障害物検出部４とを備える運転支援装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺画像に基づいて、運転者に対して運転支援を行う運転支援装置及び運転支援装置の制御方法に関する。
【背景技術】
【０００２】
従来から、運転支援装置として、例えば、車両が見通しの悪い交差点に進入する際に、車両の前部に配置されたフロントカメラにより、車両の前方を撮影し、車内に配置された表示装置に前方確認用の車両周辺画像を表示して、運転者に対して、交差点進入支援を行うものがある。また、車両が狭い路地を走行する際に、車両の助手席の側方に配置されたサイドカメラにより、車両の側方を撮影し、この側方確認用の車両周辺画像を表示して、運転者に対して狭い路地の走行支援を行うものがある。更に、車両を駐車させる際に、車両の後部に配置されたリアカメラにより車両の後方を撮影し、この後方確認用の車両周辺画像を表示装置に表示して、運転者に対して駐車支援を行うものもある（例えば、「特許文献１」参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２２１９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記の様な運転支援装置に、各カメラにより撮影した車両周辺画像に基づいて、車両周辺の障害物の有無を検出させる機能を設けると、運転者は安全確認を更に容易に行うことができる。この場合、車両の走行状態に応じて、運転者が安全確認を行うべき方向において車両の周辺の障害物をリアルタイムに検出することが好ましい。
しかしながら、刻々と変化する車両の走行状態に応じて、車両の周辺の障害物をリアルタイムに検出するために、同時点において撮影された撮影方向の異なる複数の車両周辺画像毎に障害物の検出を同時並行して行う構成としたのでは、各カメラに対応して、障害物の検出を行うための障害物検出処理装置をカメラ毎に個別に設けたり、処理能力の高い障害物検出処理装置を用いる必要があり、コストの増加を招くことになる。
本発明の目的は、上述した事情に鑑みてなされたものであり、簡易な構成で、車両の走行状態に応じて、車両の周辺の障害物をリアルタイムに検出することのできる運転支援装置及び運転支援装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の第一態様は、車両の周辺を撮影する際の撮影方向が異なる複数の撮影部を備え、各撮影部により撮影された車両周辺画像に基づいて、運転支援を行う運転支援装置において、前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択する撮影部選択部と、前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出するための障害物検出処理を行う障害物検出部と、を備えたことを特徴とする運転支援装置を提供する。
上記構成によれば、撮影部選択部は、走行状態情報入力部を介して入力された走行状態情報に基づいて、いずれか一の撮影部を選択する。障害物検出部は、複数の撮影部により撮影された車両周辺画像のうち、車両の走行状態に応じて、一の撮影部により撮影された車両周辺画像に基づいて、障害物を検出すればよい。このため、車両の走行状態に応じて、障害物をリアルタイムに検出するために、複数の撮影部に対応させて障害物検出部を個別に設けたり、処理能力の高い処理装置を用いて、撮影方向の異なる各車両周辺画像に基づく障害物検出処理を同時並行して行う必要がなく、運転支援装置の構成を簡易にして、障害物検出処理に係る負荷を低減するとともに、コストの増加を抑えることができる。
また、撮影部選択部に、車両の走行状態に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とする撮影部を選択させる様に、車両の走行状態と、安全確認を行う必要の高い方向を撮影方向とする撮影部とを車両の走行状態毎に予め対応付けておくことで、障害物検出部に運転者が安全確認を行う必要性の高い方向を撮影した車両周辺画像に基づいて障害物をリアルタイムに検出させることができる。また、車両の走行状態が変化した場合にも、撮影部選択部に、車両状態の変化に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とする撮影部を選択させて、障害物検出部に当該方向における障害物をリアルタイムに検出させることができる。
【０００６】
本発明の第２態様は、上記第１の態様において、前記走行状態情報には、前記車両の移動方向に関する移動方向情報が含まれ、前記撮影部選択部は、前記移動方向情報に基づいて、前記複数の撮影部のうち、車両の移動方向に応じた方向を撮影方向とする撮影部を選択すること、を特徴とする。
上記構成によれば、撮影部選択部により、車両の移動方向に応じた方向を撮影方向とする撮影部が選択されるので、障害物検出部は、車両の移動方向に応じた方向を撮影した車両周辺画像に基づいて障害物をリアルタイムに検出することができる。また、車両の移動方向と、安全確認を行う必要の高い方向を撮影方向とする撮影部とを車両の移動方向毎に予め対応付けておくことで、障害物検出部に運転者が安全確認を行う必要性の高い方向を撮影した車両周辺画像に基づいて障害物をリアルタイムに検出させることができる。さらに、車両の移動方向が変化した場合にも、撮影部選択部により車両の移動方向の変化に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とする撮影部を選択させて、障害物検出部に当該方向における障害物をリアルタイムに検出させることができる。
【０００７】
本発明の第３態様は、上記第１の態様又は第２の態様において、前記障害物検出部は、前記撮影部選択部により選択された撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域において、一の時点における車両周辺画像と他の時点における車両周辺画像とを比較し、前記車両の周辺の移動体を障害物として検出すること、を特徴とする。
上記構成によれば、障害物検出部は、一の時点における車両周辺画像と他の時点における車両周辺画像とを、前記撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域において比較するという簡易な方法で、車両の周辺の移動体を障害物として検出することができる。
但し、移動体とは、例えば、歩行者、自転車、自動二輪車、他の車両等を指し、車両が衝突を回避すべき移動する障害物を指す。
また、上記において、障害物とは運転の障害となる物体を指し、車両が衝突を回避すべき物体を指す。
【０００８】
また、本発明の第４態様は、上記第３の態様において、前記障害物検出部は、前記画像領域において比較する際に、前記車両周辺画像を俯瞰画像に変換して前記一の時点における車両周辺画像と他の時点における車両周辺画像とを比較すること、を特徴とする。
上記構成によれば、障害物検出部において、車両の周辺の移動体を検出する際に、車両周辺画像を俯瞰画像に変換して、撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域を比較して、車両の周辺の移動体を検出している。俯瞰画像に変換することにより、車両の進行方向と同一方向に進む歩行者がいる場合など、車両の進行方向と同一方向に低速で移動する移動体が存在する場合でも、このような移動体を検出することができる。
【０００９】
また、本発明の第５態様は、上記第１〜第４のいずれか一の態様において、前記複数の撮影部には、前記車両の前方を前記撮影方向とする前方撮影部、前記車両の側方を前記撮影方向とする側方撮影部、前記車両の後方を前記撮影方向とする後方撮影部のうち、少なくともいずれか二つの撮影部が含まれること、を特徴とする。
上記構成によれば、前方撮影部により撮影された車両の前方の車両周辺画像、側方撮影部により撮影された車両の側方の車両周辺画像、後方撮影部により撮影された車両の後方の車両周辺画像の少なくともいずれか二つの方向における車両周辺画像に基づいて、運転者に対して運転支援を行うとともに、障害物検出部により車両の周辺の障害物を検出させることができる。
【００１０】
また、上記目的を達成するため、本発明の第６態様は、車両の周辺を撮影する際の撮影方向が異なる複数の撮影部と、前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、を備え、各撮影部により撮影された車両周辺画像に基づいて、運転者に対して運転支援を行う運転支援装置を制御する運転支援装置の制御方法において、前記走行状態情報入力部に前記車両の走行状態に関する走行状態情報が入力される過程と、前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択させる過程と、前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出させる過程と、を備えたことを特徴とする運転支援装置の制御方法を提供する。
上記構成によれば、本発明の第１態様と略同一の構成を有するため、本発明の第１態様と略同一の作用及び効果を奏する。
【発明の効果】
【００１１】
本発明によれば、簡易な構成で、車両の走行状態に応じて、車両の周辺の障害物をリアルタイムに検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る運転支援装置の機能的構成を示すブロック図である。
【図２】サイドカメラにより撮影された車両の側方の車両周辺画像の一例を示す図である。
【図３】サイドカメラにより連続的に撮影された車両周辺画像の時系列変化を示す図である。
【図４】移動体を検出するための画像領域を求める手順を示すフローチャートである。
【図５】撮影部選択部により、車両の走行状態に応じて撮影部を選択する手順を示すフローチャートである。
【図６】記憶部に記憶された選択テーブルの一例を示す図である。
【図７】記憶部に記憶された画像テーブルの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態について説明する。
図１に、本発明に係る運転支援装置１０の機能的構成を示すブロック図を示す。本実施の形態の運転支援装置１０は、車両１００に設けられ、運転者に対して、車両１００の周辺を撮影した車両周辺画像（図２及び図３参照）に基づいて、運転を支援するための装置である。なお、図２は、車両周辺画像の一例を示す図であり、図３は、車両の移動と共に撮影された車両周辺画像の時系列変化を示す図である。
図１に示す様に、運転支援装置１０は、複数のカメラ（撮影部）１ａ、１ｂ、１ｃを備える撮影部１と、入力映像信号処理部２と、画像メモリー３と、移動体検出部４と、出力映像信号処理部５と、表示部６と、操作部７と、制御部８と、走行状態情報入力インターフェース（走行状態情報入力部）９とを備えている。
【００１４】
撮影部１は、フロントカメラ（前方撮影部）１ａと、サイドカメラ（側方撮影部）１ｂと、リアカメラ（後方撮影部）１ｃとを備えている。これらのフロントカメラ１ａ、サイドカメラ１ｂ及びリアカメラ１ｃは、例えば、ＣＣＤイメージセンサーや、ＣＭＯＳイメージセンサー等の固体撮像素子を用いて構成されている。これらのフロントカメラ１ａ、サイドカメラ１ｂ及びリアカメラ１ｃでは、所定の画像取得周期により車両周辺画像を取得して、所定の時点における車両１００の周辺を表すアナログ信号としての映像信号を入力映像信号処理部２に出力する。
【００１５】
フロントカメラ１ａは、車両１００の前部に配置されており、車両１００の前方を撮影方向とし、車両１００の前方における走行道路面を含む車両１００の周辺を撮影して、この車両１００の前方における車両１００の周辺を表す映像信号を入力映像信号処理部２に出力する。以下、フロントカメラ１ａから出力される映像信号を指して、フロント映像信号という。このフロントカメラ１ａから出力されたフロント映像信号に基づいて、車両１００の前方におけるデジタルデータとしての車両周辺画像が生成され、運転者に対して交差点進入支援等を行うための前方確認画像として表示部６に表示される。
【００１６】
サイドカメラ１ｂは、車両１００の助手席側の側方に配置されており、車両１００の助手席側の側方を撮影方向とし、車両１００の助手席側の側方における走行道路面を含む車両１００の周辺を撮影して、この車両１００の助手席側の側方における車両１００の周辺を表す映像信号を入力映像信号処理部２に出力する。以下、サイドカメラ１ｂから出力される映像信号を指して、サイド映像信号という。このサイドカメラ１ｂから出力されたサイド映像信号に基づいて、運転者の視認しにくい車両１００の助手席側の側方におけるデジタルデータとしての車両周辺画像が生成され、運転者に対して狭い路地の走行支援等を行うための側方確認画像として表示部６に表示される。図２及び図３は、サイドカメラ１ｂにより撮影された車両周辺画像を示したものである。この図示例では、車両１００が駐車場を走行している際に、サイドカメラ１ｂにより、車両１００の周辺の駐車場内の床面１０１及び自車両１００の側面を含む様に、車両１００の周辺を撮影した車両周辺画像を示している。例えば、図２に示す車両周辺画像では、駐車上の床面１０１を走行している車両１００の側方に区画線１０２により区画された駐車スペース１０３が複数映されている。
【００１７】
リアカメラ１ｃは、車両１００の後部に配置されており、車両１００の後方を撮影方向とし、車両１００の後方に位置する走行道路面を含む車両１００の周辺を撮影して、車両１００の後方における車両１００の周辺を現す映像信号を入力映像信号処理部２に出力する。以下、リアカメラ１ｃから出力される映像信号を指して、リア映像信号という。このリアカメラ１ｃから出力されたリア映像信号に基づいて、運転者の視認しにくい車両１００の後方におけるデジタルデータとしての車両周辺画像が生成され、運転者に対して駐車支援等を行うための後方確認画像として表示部６に表示される。
また、上記において走行道路面とは道路の路面に限定されるものではなく、車両１００が走行可能な地面又は床面を含み、例えば、駐車場の敷地内の地面又は床面を含む。
【００１８】
入力映像信号処理部２は、制御部８の制御の下、撮影部１から入力されたアナログ信号としての映像信号に対して、アナログ／デジタル変換処理を行う機能を有する。撮影部１から入力された映像信号は、入力映像信号処理部２においてデジタル信号に変換されて所定の時点における車両１００の周辺を表すフレーム画像としての車両周辺画像（データ）が生成され、画像メモリー３に出力される。制御部８は、後述する優先入力判定処理（撮影部選択処理）により、フロント映像信号、サイド映像信号及びリア映像信号のうち、どの映像信号に基づいて優先的に車両周辺画像を生成するかについて制御するとともに、入力映像信号処理部２において車両周辺画像を取得（生成）するタイミングを制御する。但し、入力映像信号処理部２において、この車両周辺画像を取得するタイミングは、カメラの画像取得周期と同様のタイミングとなるように、制御部８により制御される。
【００１９】
画像メモリー３は、制御部８の制御の下、入力映像信号処理部２においてデジタル信号に変換された車両周辺画像を一時的に記憶する機能を有する。
移動体検出部（障害物検出部）４は、制御部８の制御の下、画像メモリー３に記憶された車両周辺画像と、後述する走行状態情報入力インターフェース９を介して入力される車両１００の走行状態情報とに基づいて、車両１００の周辺の移動体を障害物として検出する移動体検出処理（障害物検出処理）を行う機能を有する。
ここで、移動体とは、例えば、歩行者、自転車、自動二輪車、他の車両等を指し、自車両１００が衝突を回避すべき移動する障害物を指す。
また、上記において、障害物とは運転の障害となる物体を指し、自車両１００が衝突を回避すべき物体を指す。
この移動体検出処理については後述する。
【００２０】
出力映像信号処理部５は、制御部８の制御の下、画像メモリー３から出力されるデジタル映像信号としての車両周辺画像データにデジタル／アナログ変換処理を施し、アナログ映像信号を表示部６に出力する。この際、出力映像信号処理部５では、移動体検出部４により移動体が検出された場合に、この移動体を画像メモリー３に記憶された車両周辺画像に重畳する画像処理を施した上で、アナログ映像信号に変換して表示部６に出力する。
表示部６は、制御部８の制御の下、出力映像信号処理部５から出力されるアナログ映像信号に基づいて、車両周辺画像の表示を行う。
操作部７は、操作ボタン等の操作子を備え、ユーザーの操作内容に応じた指示信号を制御部８に出力する機能を有する。
【００２１】
走行状態情報入力インターフェース９には、車両１００側から車両１００の走行状態に関する走行状態情報が入力される。具体的には、走行状態情報として、車両１００の移動速度を求めるための車速パルスや、あるいは車両１００の旋回方向を求めるための操舵ハンドルの操舵角情報、車両１００の進行方向を求めるためのリバース信号等が入力される。また、これらの信号に代えて、車両１００の位置情報を示すＧＰＳ信号や相対的な位置情報を示すジャイロセンサーから出力される角速度信号、加速度信号などを走行状態情報入力インターフェース９に入力する構成としてもよい。
但し、走行状態情報入力インターフェース９には、車両１００側に設けられた制御装置からこれらの走行状態情報が入力される構成としてもよいし、車両１００側に設けられた上記走行状態情報を取得するための各種センサー類から、これらの各走行状態情報を示すセンサー出力信号が入力される構成としてもよい。また、運転支援装置１０を、カーナビゲーション装置と一体に構成し、あるいは、この走行状態情報入力インターフェース９を介してカーナビゲーション装置と接続し、カーナビゲーション装置に設けられる上記走行状態情報を取得するための各種センサー類から、これらの各走行状態情報を示すセンサー出力信号が入力される構成としてもよい。
【００２２】
制御部８は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成される。制御部８はＲＯＭに予め記憶されている各種の制御プログラムおよび各種の制御用データに基づいて、ＲＡＭの一部を作業領域として、ＣＰＵにより各種の制御プログラムを読み出して実行することにより、上記各部を制御して、運転支援装置１０の動作を制御する。また、制御部８は、機能的構成として、図２に示す様に、速度算出部８１と、方位算出部８２と、優先入力判定部（撮影部選択部）８３と、比較範囲算出部８４と、記憶部８５とを備えている。
【００２３】
速度算出部８１は、走行状態情報入力インターフェース９を介して入力された車速パルス信号（車両速度に関する情報）に基づいて、画像メモリー３に記憶された車両周辺画像が取得（撮影）された時点の車両速度を算出する機能を有する。
【００２４】
方位算出部８２は、走行状態情報入力インターフェース９を介して入力された車両１００の操舵ハンドルの操舵角に関する情報（移動方向に関する情報）に基づいて、直前の車両周辺画像が取得された時点からの車両１００の移動方向（方位）の変化量である方位変化量を算出し、対象とする車両周辺画像について、この車両周辺画像が取得された時点の車両１００の方位を算出する機能を有する。
【００２５】
比較範囲算出部８４は、移動体検出処理において、時系列的に連続して生成された二つの車両周辺画像を、互いに比較する際に、比較対象とする画像領域、すなわち比較対象範囲を算出する比較範囲算出処理を実行する機能を有する。
【００２６】
優先入力判定部８３（撮影部選択部）は、優先入力判定処理を行う機能を有する。優先入力判定部８３は、車両１００の走行状態に応じて、運転者が安全確認を行うべき方向を撮影するカメラを、上記フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの中から選択し、この選択した所定のカメラから出力された映像信号を、他のカメラから出力された映像信号に対して、入力映像信号処理部２に優先的に入力させる様に制御する。以下、優先入力判定部８３により選択された所定のカメラから出力される映像信号を優先入力信号という。この優先入力信号は、入力映像信号処理部２において、アナログ／デジタル変換処理が施され、フレーム画像としての車両周辺画像が画像メモリー３に一時的に記憶され、この画像メモリー３に記憶された車両周辺画像を用いて移動体検出部４において移動体検出処理が行われ、出力映像信号処理部５により、この車両周辺画像がアナログ映像信号に変換されて表示部６に表示されるようになる。すなわち、優先入力判定部８３において、選択された所定のカメラが撮影した車両１００の周辺の様子が表示部６に表示される。
【００２７】
記憶部８５は、現在の優先入力信号として選択されている映像信号がフロント映像信号、サイド映像信号、リア映像信号のいずれの映像信号であるかに関する情報や、現在移動体検出処理の対象とする車両周辺画像が取得された時点における車両速度や車両１００の方位（車両方位）に関する情報を記憶する機能を有する。
【００２８】
次に、移動体検出部４が実行する移動体検出処理について説明する。
移動体検出部４では、動画像データの圧縮処理技術を応用して、撮影部１が有する複数のカメラ１ａ、１ｂ、１ｃのうち、優先入力判定処理により選択された所定のカメラにより連続して取得された二つの車両周辺画像を比較して、車両１００の周辺の移動体を障害物として検出する機能を有する。
一般に時系列的に連続する多数のフレーム画像から構成される動画像データは、直前のフレーム画像と現在のフレーム画像は良く似ている。そこで、圧縮率を高めるために入力画像と予測画像の差分だけを符号化することが行われている。
また、動画像データの圧縮処理では、動き補償と呼ばれる技術を用いて直前のフレームと現在のフレームのフレーム間予測を行い画像の動き量を推定する動きベクトル探索がおこなわれている。ここで、上記の推定した動き量が多いことは、移動している物体の存在を示しており、その動き量は移動している物体の移動速度に依存することが推測される。
【００２９】
本実施の形態の移動体検出部４では、上記の様な動画像データの圧縮処理技術を利用して車両１００の周辺の移動体を検出している。
しかしながら、車両１００は移動体であり、各カメラ１ａ、１ｂ、１ｃは車両１００に固定して配置されている。このため、車両１００の移動とともに、各カメラ１ａ、１ｂ、１ｃにより撮影された車両１００の周辺のエリア（撮影対象範囲）が変化する。このため、画像メモリー３に記憶されたフレーム画像を単に用いたのでは、連続するフレーム画像間の差分や動き量が多くなり、車両１００の周辺の移動体を検出することができない。そこで、本実施の形態では、上記の速度算出部８１及び方位算出部８２により算出された車両速度と、車両１００の移動方向とに基づいて、連続するフレーム画像、すなわち一の時点において取得された車両周辺画像と、他の時点において取得された車両周辺画像とにおいて、上記所定のカメラにより重複して撮影された車両１００の周辺の同一エリアを示す画像領域を、フレーム画像間を比較する際の比較対象範囲として比較範囲算出部８４において求めるようにしている。この様に、車両１００の周辺の同一エリアを示す画像領域を比較対象範囲として、一の時点において取得された車両周辺画像と、他の時点において取得された車両周辺画像とを比較し、時系列的に連続する車両周辺画像間の差分や動き量を求めることで車両１００の周辺の移動体を検出することができる。
【００３０】
但し、以上の様に、動画像データの圧縮処理技術を応用して、時系列的に連続して取得された少なくとも二つの車両周辺画像を用いて移動体を検出する場合、この連続する二つの車両周辺画像が撮影された一の時点と他の時点とにおいて、車両１００の周辺の所定の同一のエリアが撮影されている必要がある。
従って、移動体検出処理を行うためには、比較対象とする二つの車両周辺画像が取得された間の車両１００の移動量が、各カメラ１ａ、１ｂ、１ｃの撮影対象範囲内に収まる範囲となるような、車両速度である必要がある。また、車両１００の周辺の移動体を精度よく検出するためには、検出対象とする移動体の大きさを考慮して、各カメラ１ａ、１ｂ、１ｃの撮影対象範囲を設定する必要がある。
【００３１】
ここで、本運転支援装置１０は、運転者に対して、表示部６に前方確認用画像、側方確認用画像、後方確認用画像を表示して、運転者の安全確認を容易にして、見通しの悪い交差点に進入する際の交差点進入支援、狭い路地を走行する際の走行支援、駐車場に車両１００を駐車する際や、車庫に車両１００を入れるための駐車支援等の運転支援を行う装置である。
車両１００が見通し悪い交差点に進入する際や、狭い路地を走行する際、あるいは車両１００を駐車する際、いずれの場合であっても、車両速度は低速となる。本実施の形態の運転支援装置１０は、この様な車両１００が低速で走行する時に車両１００の周辺の歩行者などの移動体を検出して、運転者に対して警告や注意を促すことを想定している。
従って、運転支援を行う場合に、車両速度は、一般的に１ｍ／秒以下程度の車両速度と推測される。
【００３２】
また、撮影部１に設けるフロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃのそれぞれを、ＣＣＤカメラを用いて構成した場合、各カメラ１ａ、１ｂ、１ｃの撮影対象範囲の横幅および高さは、以下のように計算することができる。
撮影対象範囲の横幅＝距離×（CCDイメージセンサーの横サイズ／レンズの焦点距離）
撮影対象範囲の高さ＝距離×（CCDイメージセンサーの縦サイズ／レンズの焦点距離）
具体的には、距離：３ｍ、ＣＣＤイメージセンサーの縦横サイズ：１／３サイズＣＣＤ（縦：３．６、横：４．８）、焦点距離：ｆ＝３．６ｍｍならば、撮影対象範囲の横幅及び高さは以下の様にして求めることができる。
撮影対象範囲の幅 ３ｍ×（４．８／３．６）＝４ｍ
撮影対象範囲の高 ３ｍ×（３．６／３．６）＝３ｍ
【００３３】
例えば、車両速度が速度１ｍ／秒以下であり、車両１００が前進しており、車両周辺画像が、１フレーム／秒で取得される場合、時系列的に連続する二つの車両周辺画像では、その約２／３の画像領域が各時点における撮影対象範囲が重複した領域となり、これに対応する約２／３の画像領域は車両１００周辺の同一エリアを示すものとなる。
但し、サイドカメラ１ｂでは、図２に示す様に車両１００側面が撮影対象範囲に含まれる様に車両１００の側方において車両１００の周辺を撮影するため、地面に対して車両１００前方斜め方向に取り付けられて配置される。この様に、車両１００の外面が撮影対象範囲に含まれる様にカメラを車両１００に配置する場合、実際の各カメラ１ａ、１ｂ、１ｃの撮影対象範囲は、各カメラ１ａ、１ｂ、１ｃの取り付け角度に依存する。
【００３４】
次に、図３に、駐車場内を走行中に、車両１００のサイドカメラ１ｂにより連続して撮影された車両周辺画像の時系列変化を示す。図３（ａ−１）、（ａ−２）、（ａ−３）、（ａ−４）は連続して取得された車両周辺画像を示しており、図３（ｂ−１）、（ｂ−２）、（ｂ−３）、（ｂ−４）は各時点（ａ−１）、（ａ−２）、（ａ−３）、（ａ−４）において取得された車両周辺画像を俯瞰変換した画像である。移動体検出部４では、各時点において取得された車両周辺画像を俯瞰画像に変換して、移動体の検出を行う。
これは、サイドカメラ１ｂの様に、道路面に対して車両１００の側方から斜めに撮影した車両周辺画像を上空から撮影したように俯瞰変換することにより、次工程での移動体検出が容易になるためである。具体的には、撮影された状態の車両周辺画像のままでは道路わきを車両１００と同一方向に歩行中の人の移動量を検出するには、その移動量が微量となり、静止物との判別が難しく、動きベクトル補償を用いて、移動体の検出を行うことが困難となる。これに対して、俯瞰処理を行うことにより、歩行者等についても、画像点の奥行きと水平距離が計算で求められるため、その移動量が明確となり、車両１００の移動量に対して移動量の微量な（移動量が小さい）移動体の検出が容易になるからである。
【００３５】
次に、図４を参照して、制御部８の比較範囲算出部８４において実行される比較範囲算出処理について説明する。
まず、比較範囲算出部８４は、記憶部８５から、基準画像とする一の時点における車両周辺画像が取得された際の車両速度を読み出す（ステップＳ１）。
次に、比較範囲算出部８４は、記憶部８５から、基準画像とする一の車両周辺画像が取得された時点における車両１００の方位（移動方向）と、比較画像とする他の車両周辺画像が取得された時点における車両１００の方位とを読み出し、この差を求めることにより、この一の時点から他の時点との間の車両１００の方位の変化量を算出して、方位変化量とする（ステップＳ２）。より具体的に説明すると、この方位変化量とは、例えば、基準画像とする車両周辺画像が取得された一の時点における車両１００の方位（車両１００の前方を表す方位）を０度とし、比較対象とする他の車両周辺画像が取得された他の時点における車両１００の前方を示す方位が、上記の一の時点から変化した量を示す。方位変化量は左右±１８０度の間で求められる。ここで、時計回りの方向に移動方向が変化した場合を「＋」とする。
以上のステップＳ１およびステップＳ２で得られた車両速度と方位変化量より、一の時点において取得された車両周辺画像と、他の時点において取得された車両周辺画像とにおいて、上記所定のカメラ、すなわち、優先入力判定部８３により選択されたカメラにより重複して撮影された車両１００の周辺の同一のエリアを示す画像領域を求め、この画像領域を比較対象範囲として求めることができる（ステップＳ３）。
【００３６】
図４に示す手順に基づいて、例えば、図３の（ｂ−２）に示す車両周辺画像を基準画像とした場合、破線で囲んだ画像領域Ａは、図３の（ｂ−３）に示す比較対象としての車両周辺画像において破線で囲んだ画像領域Ａに対応する。各車両周辺画像において破線で囲んだ画像領域Ａは、車両１００周辺の同一エリアを示しているため、これらの画像領域Ａにおいてこの時系列的に連続する二つの車両周辺画像を用いて、動画像データの圧縮処理技術を利用することにより、当該画像領域Ａに対応する車両１００の周辺の移動体を検出することができる。但し、図３には、車両１００直進時に、サイドカメラ１ｂにより所定のタイミング毎に取得した車両周辺画像を示したので、車両１００の方位変化量は０（ゼロ）としている。
【００３７】
次に、図５に、制御部８の優先入力判定部８３において実行される優先入力判定処理の手順を示す。
優先入力判定処理では、車両１００の走行状態に応じて、運転者が安全確認を行うべき方向を撮影するカメラをフロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの中から選択し、この選択された所定のカメラから出力された映像信号を優先入力信号として、他のカメラから出力される映像信号よりも、入力映像信号処理部２に優先的に入力されるように制御する。この場合、図５に示す様に、車両１００が走行中の場合と、車両１００が停止中の場合とでは、撮影部１が有する複数のカメラの中から上記所定のカメラを選択する手順が異なっている。
【００３８】
そこで、優先入力判定部８３は、まず、記憶部８５から現在、基準画像とする車両周辺画像が取得された時点（一の時点）における車両速度を読み出す（ステップＳ１１）。次に、ステップＳ１１により読み出した車両速度に基づいて、現在、車両１００が走行中か停止中であるかを判別する（ステップＳ１２）。ステップＳ１２において、車両１００が現在走行中であると判別された場合（ステップＳ１２；走行中）、次に、方位の変化量を算出する。これは車両速度と同様に記憶部８５より基準画像と次画像間の車両方位からその差を算出する（ステップＳ１３）。次いで、ステップＳ１３において算出した方位変化量に基づいて、車両１００の移動方向を判別する。本実施の形態では、車両１００の移動方向を判別する際に、ステップＳ１３において算出した方位変化量が＋３０度から−３０度以内であれば車両１００が前進していると判別し（ステップＳ１４；前進）、運転者が安全確認を行うべき方向を撮影する所定のカメラとしてフロントカメラ１ａを選択して、フロントカメラ１ａから出力されるフロント映像信号を優先入力信号とし、他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。また、現在優先入力信号として選択された映像信号がフロント映像信号であることを記憶部８５に記憶する（ステップＳ１５）。
【００３９】
ステップＳ１３において、算出した方位変化量が−３０度を超え−９０度以内である場合、あるいは、＋３０度を超え＋９０度以内であれば、車両１００が左旋回していると判別し（ステップＳ１４；左旋回）、運転者が安全確認を行うべき方向を撮影する所定のカメラとしてサイドカメラ１ｂを選択して、サイドカメラ１ｂから出力されるサイド映像信号を優先入力信号として他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。また、現在優先入力信号として選択された映像信号がサイド映像信号であることを記憶部８５に記憶する（ステップＳ１６）。
また、ステップＳ１３において、算出した方位変化量がその他の角度（方位変化量が−９０度を超え−１８０度以内である場合、あるいは方位変化量が＋９０度を超え＋１８０度以内）であれば、車両１００が後退していると判別し（ステップＳ１４；後退）、運転者が安全確認を行うべき方向を撮影する所定のカメラとしてリアカメラ１ｃを選択して、リアカメラ１ｃから出力されるリア映像信号を他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。また、現在優先入力信号として選択された映像信号がリア映像信号であることを記憶部８５に記憶する（ステップＳ１７）。
【００４０】
一方、ステップＳ１２において、車両１００が停止中であると判別された場合（ステップＳ１２；停止中）、ステップＳ１８に移行し、運転者が安全確認を行うべき方向を撮影する所定のカメラを、図６に示す選択テーブル８５ａにおいて予め定められた所定の順序に従って、現在選択中のカメラに付された順序の次の順序に対応するカメラを選択する。そして、選択テーブル８５ａにおいて予め定められた順序に従って選択したカメラから出力される映像信号を優先入力信号として他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。これと同時に、現在優先入力信号として選択された映像信号を記憶部８５に記憶するとともに、現在選択したカメラに付された順序を記憶部８５に記憶する（ステップＳ１８）。
図６に示した選択テーブル８５ａは、予め、記憶部８５に記憶されている。この選択テーブル８５ａは、上述した様に、入力映像信号処理部２に優先的に映像信号を出力するカメラを選択するための選択順序を定めたものである。図６に示した例では、この選択テーブル８５ａでは、フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの順に、順序が「１」、「２」、「３」と付されている。ステップＳ１８では、この選択テーブル８５ａにおいて定められた順序に従って、フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの順にカメラを選択し、この選択されたカメラから出力される映像信号を優先入力信号として、他の映像信号よりも入力映像信号処理部２に優先的に入力されるように制御する。但し、順序「３」のリアカメラの次に選択されるのは、順序「１」のフロントカメラとなる。
【００４１】
上記手順に従って、フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃのうち、車両１００の走行状態に応じて、運転者が安全確認を行うべき方向を撮影方向とするカメラが選択され、このカメラから出力される映像信号が優先入力信号として入力映像信号処理部２に優先的に入力される。従って、優先入力判定部８３により選択されたカメラから出力された映像信号に基づいて、連続するフレーム画像としての車両周辺画像が生成され、移動体検出部４により移動体検出処理が行われる。また、この優先入力判定部８３により選択された所定のカメラから出力された映像信号に基づいて生成された車両周辺画像が、表示部６に表示される。この優先入力判定処理は、例えば１００ミリ秒毎等の所定の周期で行われる。また、現在選択されているカメラの車両周辺画像を取得するタイミングに応じて、同様のタイミングで、入力映像信号処理部２、速度算出部８１、方位算出部８２、比較範囲算出部８４、記憶部８５を制御して、フレーム画像としての車両周辺画像データを生成して、画像メモリー３に記憶させたり、当該車両周辺画像が取得（撮影）された時点の車両速度、車両方位等を記憶部８５に記憶する。
【００４２】
ここで、記憶部８５には、図７に示す様に、上記の車両速度や、車両１００の方位を記憶するための二つの画像テーブル８５ｂ、８５ｃが用意されている。各画像テーブル８５ｂ、８５ｃは、移動体検出部４において移動体検出処理を行う際に用いる二つの車両周辺画像について、それぞれ当該車両周辺画像が取得された時点における車両速度、車両方位等の付随情報を記憶するものである。具体的には、新規に選択されたカメラから出力された映像信号に基づいて車両周辺画像が生成されて画像メモリー３に記憶された場合、まず、第一画像テーブル８５ｂが用いられ、一の車両周辺画像が取得された時点の車両速度と車両方位が第一画像テーブル８５ｂに記憶される。また、このとき、制御部８において連番が生成され、この連番情報が第一画像テーブル８５ｂに記憶される。この連番は、画像テーブル８５ｂ、８５ｃを更新する毎に番号を「１」ずつ増加した番号が生成される。次に、連続して、選択されたカメラにより車両周辺画像が取得され、このカメラから出力される映像信号が入力映像信号処理部２に入力されて、他の車両周辺画像が生成された場合に、第二画像テーブル８５ｃが用いられる。そして、上記と同様に、この他の車両周辺画像が生成された時点の車両速度や車両方位が第二画像テーブル８５ｃに記憶されるとともに、新たに生成された連番を表す連番情報が第二画像テーブル８５ｃに記憶される。以上のように、車両周辺画像が取得される毎に、各車両周辺画像に付随する付随情報が各画像テーブル８５ｂ、８５ｃに記憶される。
【００４３】
上記の連番情報はいずれかの画像テーブル８５ｂ、８５ｃを更新する毎に番号を「１」増加させるので、第一画像テーブル８５ｂに記憶された連番情報が示す番号と第二画像テーブル８５ｃに記憶された連番情報が示す番号との差分は常に「１」となる。これより、現時点の基準画像を連番情報の小さい方、次画像を連番情報の大きい方と位置づけ、その時間的関係を明確にすることができる。
【００４４】
また、上記移動体検出処理においては時系列的に連続する２枚の車両周辺画像に基づいて、移動体を検出するため、優先入力判定処理により選択された所定のカメラが、他のカメラに切替えられた場合は、同一のカメラにより撮影した連続画像を取得することのできない時間が生じる。この為、例えば、優先入力判定処理により選択されたカメラが、他のカメラに切替えられた場合、記憶部８５に用意した上記二つの画像テーブルに記憶する連番情報を、例えば、「０（ゼロ）」等の所定の同一の番号とするように設定し、各画像テーブル８５ｂ、８５ｃの連番情報が「０（ゼロ）」の場合は、移動体検出処理を実行しないようにしてもよい。
また、上述したように、移動体の検出処理を行うためには、上述したように、車両１００の移動量が選択したカメラの撮影対象範囲内である必要がある。従って、車両速度が、この撮影対象範囲に応じて設定される所定速度以下になった場合に、上述の優先入力判定処理、移動体検出処理を自動的に行う構成として、表示部６に自動的に車両周辺画像を表示するように制御してもよい。これによれば、運転者が、操作ボタン等を操作して、運転支援機能をオンさせる必要がなく、車両１００が予め設定された所定速度以下になった場合に、運転支援機能を自動的に起動させることができる。
【００４５】
以上説明した上記実施の形態によれば、優先入力判定部８３は、走行状態情報入力インターフェース９から入力された走行状態情報に基づいて、いずれか一のカメラを選択する。従って、移動体検出部４は、フロントカメラ１ａ、サイドカメラ１ｂ及びリアカメラ１ｃから出力された各映像信号に基づいて生成される各車両周辺画像のうち、車両１００の走行状態に応じて、一のカメラから出力された映像信号に基づいて生成された車両周辺画像を用いて、移動体を検出すればよい。このため、車両１００の走行状態に応じて、移動体をリアルタイムに検出するために、運転支援装置１０に設けられた複数のカメラ１ａ、１ｂ、１ｃに対応させて、入力映像信号処理部２、画像メモリー３、移動体検出部４、出力映像信号処理部５を個別に設けたり、処理能力の高い処理装置を用いて、撮影方向の異なる各車両周辺画像に基づく移動体検出処理を同時並行して行う必要がなく、運転支援装置１０の構成を簡易にして、移動体検出処理に係る負荷を低減するとともに、コストの増加を抑えることができる。また、車両１００に搭載されるカメラを増設する場合にも、構成部品として、カメラ本体のみを増設すればよく、購入後のオプション追加が容易になる。
【００４６】
また、上記実施の形態では、優先入力判定部８３は、車両１００の移動方向の変化、すなわち車両１００の方位変化量に基づいて、運転者が安全確認を行う必要の高い方向を撮影方向とするカメラを選択し、この選択された所定のカメラから出力される映像信号を優先入力信号として優先的に入力映像信号処理部２に入力されるように制御する。これにより、優先入力判定部８３により選択された所定のカメラから出力される映像信号に基づいて、この所定のカメラにより撮影された車両周辺画像を、他のカメラにより撮影された車両周辺画像よりも優先的に表示部６に表示することができ、この方向において撮影された車両周辺画像に基づいて、移動体検出部４に車両１００の周辺の移動体を検出させることができる。したがって、運転者が安全確認を行う必要性の高い方向を撮影した車両周辺画像に基づいて移動体をリアルタイムに検出させることができるとともに、車両１００の走行状態が変化した場合にも、優先入力判定部８３に、車両１００の移動方向の変化に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とするカメラを選択させて、移動体検出部４に当該方向における移動体をリアルタイムに検出させることができる。
【００４７】
さらに、上記実施の形態によれば、移動体検出部４は、動画像データの圧縮処理技術を応用して、撮影部１に設けられた複数のカメラのうち、優先入力判定部８３により選択された所定のカメラにより重複して撮影された車両１００の周辺の同一エリアを示す画像領域において、一の時点と他の時点とにおいて撮影された車両周辺画像を比較することで、簡易な構成で、車両１００の周辺の移動体を障害物として検出することができる。
【００４８】
また、上記実施の形態では、移動体検出部４により車両１００の周辺の移動体が検出された場合、出力映像信号処理部５では車両周辺画像に移動体を重畳するための画像処理を施して、表示部６に出力する。このため、移動体検出部４により、車両１００の周辺の移動体が検出された場合、運転者に対して移動体が検出されたこと車両周辺画像に基づいて、報知することができ、運転者に注意を喚起して、移動体との衝突をより未然に回避させることができる。
また、移動体検出部４は、優先入力判定部８３により車両１００の走行状態に応じて選択された、所定のカメラから出力された映像信号に基づいて生成された車両周辺画像に基づいて、移動体を検出しているので、各カメラ１ａ、１ｂ、１ｃに対応させて、各カメラ１ａ、１ｂ、１ｃ毎に移動体検出部４や、出力映像信号処理部５を個別に設ける必要がなく、構成を簡素化することができる。また、一の出力映像信号処理部５において、各カメラ１ａ、１ｂ、１ｃにより撮影された車両周辺画像に移動体を重畳するための画像処理を施すことができ、運転支援装置１０の構成を簡易にして、画像処理に係る負荷を低減するとともに、コストの増加を抑えることができる。
【符号の説明】
【００４９】
１ 撮影部
１ａ フロントカメラ（前方撮影部）
１ｂ サイドカメラ（側方撮影部）
１ｃ リアカメラ（後方撮影部）
２ 入力映像信号処理部
４ 移動体検出部（障害物検出部）
５ 出力映像信号処理部
６ 表示部
９ 走行状態情報入力インターフェース（走行状態情報入力部）
１０ 運転支援装置
８３ 優先入力判定部（撮影部選択部）
１００ 車両
【技術分野】
【０００１】
本発明は、車両周辺画像に基づいて、運転者に対して運転支援を行う運転支援装置及び運転支援装置の制御方法に関する。
【背景技術】
【０００２】
従来から、運転支援装置として、例えば、車両が見通しの悪い交差点に進入する際に、車両の前部に配置されたフロントカメラにより、車両の前方を撮影し、車内に配置された表示装置に前方確認用の車両周辺画像を表示して、運転者に対して、交差点進入支援を行うものがある。また、車両が狭い路地を走行する際に、車両の助手席の側方に配置されたサイドカメラにより、車両の側方を撮影し、この側方確認用の車両周辺画像を表示して、運転者に対して狭い路地の走行支援を行うものがある。更に、車両を駐車させる際に、車両の後部に配置されたリアカメラにより車両の後方を撮影し、この後方確認用の車両周辺画像を表示装置に表示して、運転者に対して駐車支援を行うものもある（例えば、「特許文献１」参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２２１９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記の様な運転支援装置に、各カメラにより撮影した車両周辺画像に基づいて、車両周辺の障害物の有無を検出させる機能を設けると、運転者は安全確認を更に容易に行うことができる。この場合、車両の走行状態に応じて、運転者が安全確認を行うべき方向において車両の周辺の障害物をリアルタイムに検出することが好ましい。
しかしながら、刻々と変化する車両の走行状態に応じて、車両の周辺の障害物をリアルタイムに検出するために、同時点において撮影された撮影方向の異なる複数の車両周辺画像毎に障害物の検出を同時並行して行う構成としたのでは、各カメラに対応して、障害物の検出を行うための障害物検出処理装置をカメラ毎に個別に設けたり、処理能力の高い障害物検出処理装置を用いる必要があり、コストの増加を招くことになる。
本発明の目的は、上述した事情に鑑みてなされたものであり、簡易な構成で、車両の走行状態に応じて、車両の周辺の障害物をリアルタイムに検出することのできる運転支援装置及び運転支援装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の第一態様は、車両の周辺を撮影する際の撮影方向が異なる複数の撮影部を備え、各撮影部により撮影された車両周辺画像に基づいて、運転支援を行う運転支援装置において、前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択する撮影部選択部と、前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出するための障害物検出処理を行う障害物検出部と、を備えたことを特徴とする運転支援装置を提供する。
上記構成によれば、撮影部選択部は、走行状態情報入力部を介して入力された走行状態情報に基づいて、いずれか一の撮影部を選択する。障害物検出部は、複数の撮影部により撮影された車両周辺画像のうち、車両の走行状態に応じて、一の撮影部により撮影された車両周辺画像に基づいて、障害物を検出すればよい。このため、車両の走行状態に応じて、障害物をリアルタイムに検出するために、複数の撮影部に対応させて障害物検出部を個別に設けたり、処理能力の高い処理装置を用いて、撮影方向の異なる各車両周辺画像に基づく障害物検出処理を同時並行して行う必要がなく、運転支援装置の構成を簡易にして、障害物検出処理に係る負荷を低減するとともに、コストの増加を抑えることができる。
また、撮影部選択部に、車両の走行状態に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とする撮影部を選択させる様に、車両の走行状態と、安全確認を行う必要の高い方向を撮影方向とする撮影部とを車両の走行状態毎に予め対応付けておくことで、障害物検出部に運転者が安全確認を行う必要性の高い方向を撮影した車両周辺画像に基づいて障害物をリアルタイムに検出させることができる。また、車両の走行状態が変化した場合にも、撮影部選択部に、車両状態の変化に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とする撮影部を選択させて、障害物検出部に当該方向における障害物をリアルタイムに検出させることができる。
【０００６】
本発明の第２態様は、上記第１の態様において、前記走行状態情報には、前記車両の移動方向に関する移動方向情報が含まれ、前記撮影部選択部は、前記移動方向情報に基づいて、前記複数の撮影部のうち、車両の移動方向に応じた方向を撮影方向とする撮影部を選択すること、を特徴とする。
上記構成によれば、撮影部選択部により、車両の移動方向に応じた方向を撮影方向とする撮影部が選択されるので、障害物検出部は、車両の移動方向に応じた方向を撮影した車両周辺画像に基づいて障害物をリアルタイムに検出することができる。また、車両の移動方向と、安全確認を行う必要の高い方向を撮影方向とする撮影部とを車両の移動方向毎に予め対応付けておくことで、障害物検出部に運転者が安全確認を行う必要性の高い方向を撮影した車両周辺画像に基づいて障害物をリアルタイムに検出させることができる。さらに、車両の移動方向が変化した場合にも、撮影部選択部により車両の移動方向の変化に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とする撮影部を選択させて、障害物検出部に当該方向における障害物をリアルタイムに検出させることができる。
【０００７】
本発明の第３態様は、上記第１の態様又は第２の態様において、前記障害物検出部は、前記撮影部選択部により選択された撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域において、一の時点における車両周辺画像と他の時点における車両周辺画像とを比較し、前記車両の周辺の移動体を障害物として検出すること、を特徴とする。
上記構成によれば、障害物検出部は、一の時点における車両周辺画像と他の時点における車両周辺画像とを、前記撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域において比較するという簡易な方法で、車両の周辺の移動体を障害物として検出することができる。
但し、移動体とは、例えば、歩行者、自転車、自動二輪車、他の車両等を指し、車両が衝突を回避すべき移動する障害物を指す。
また、上記において、障害物とは運転の障害となる物体を指し、車両が衝突を回避すべき物体を指す。
【０００８】
また、本発明の第４態様は、上記第３の態様において、前記障害物検出部は、前記画像領域において比較する際に、前記車両周辺画像を俯瞰画像に変換して前記一の時点における車両周辺画像と他の時点における車両周辺画像とを比較すること、を特徴とする。
上記構成によれば、障害物検出部において、車両の周辺の移動体を検出する際に、車両周辺画像を俯瞰画像に変換して、撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域を比較して、車両の周辺の移動体を検出している。俯瞰画像に変換することにより、車両の進行方向と同一方向に進む歩行者がいる場合など、車両の進行方向と同一方向に低速で移動する移動体が存在する場合でも、このような移動体を検出することができる。
【０００９】
また、本発明の第５態様は、上記第１〜第４のいずれか一の態様において、前記複数の撮影部には、前記車両の前方を前記撮影方向とする前方撮影部、前記車両の側方を前記撮影方向とする側方撮影部、前記車両の後方を前記撮影方向とする後方撮影部のうち、少なくともいずれか二つの撮影部が含まれること、を特徴とする。
上記構成によれば、前方撮影部により撮影された車両の前方の車両周辺画像、側方撮影部により撮影された車両の側方の車両周辺画像、後方撮影部により撮影された車両の後方の車両周辺画像の少なくともいずれか二つの方向における車両周辺画像に基づいて、運転者に対して運転支援を行うとともに、障害物検出部により車両の周辺の障害物を検出させることができる。
【００１０】
また、上記目的を達成するため、本発明の第６態様は、車両の周辺を撮影する際の撮影方向が異なる複数の撮影部と、前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、を備え、各撮影部により撮影された車両周辺画像に基づいて、運転者に対して運転支援を行う運転支援装置を制御する運転支援装置の制御方法において、前記走行状態情報入力部に前記車両の走行状態に関する走行状態情報が入力される過程と、前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択させる過程と、前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出させる過程と、を備えたことを特徴とする運転支援装置の制御方法を提供する。
上記構成によれば、本発明の第１態様と略同一の構成を有するため、本発明の第１態様と略同一の作用及び効果を奏する。
【発明の効果】
【００１１】
本発明によれば、簡易な構成で、車両の走行状態に応じて、車両の周辺の障害物をリアルタイムに検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る運転支援装置の機能的構成を示すブロック図である。
【図２】サイドカメラにより撮影された車両の側方の車両周辺画像の一例を示す図である。
【図３】サイドカメラにより連続的に撮影された車両周辺画像の時系列変化を示す図である。
【図４】移動体を検出するための画像領域を求める手順を示すフローチャートである。
【図５】撮影部選択部により、車両の走行状態に応じて撮影部を選択する手順を示すフローチャートである。
【図６】記憶部に記憶された選択テーブルの一例を示す図である。
【図７】記憶部に記憶された画像テーブルの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態について説明する。
図１に、本発明に係る運転支援装置１０の機能的構成を示すブロック図を示す。本実施の形態の運転支援装置１０は、車両１００に設けられ、運転者に対して、車両１００の周辺を撮影した車両周辺画像（図２及び図３参照）に基づいて、運転を支援するための装置である。なお、図２は、車両周辺画像の一例を示す図であり、図３は、車両の移動と共に撮影された車両周辺画像の時系列変化を示す図である。
図１に示す様に、運転支援装置１０は、複数のカメラ（撮影部）１ａ、１ｂ、１ｃを備える撮影部１と、入力映像信号処理部２と、画像メモリー３と、移動体検出部４と、出力映像信号処理部５と、表示部６と、操作部７と、制御部８と、走行状態情報入力インターフェース（走行状態情報入力部）９とを備えている。
【００１４】
撮影部１は、フロントカメラ（前方撮影部）１ａと、サイドカメラ（側方撮影部）１ｂと、リアカメラ（後方撮影部）１ｃとを備えている。これらのフロントカメラ１ａ、サイドカメラ１ｂ及びリアカメラ１ｃは、例えば、ＣＣＤイメージセンサーや、ＣＭＯＳイメージセンサー等の固体撮像素子を用いて構成されている。これらのフロントカメラ１ａ、サイドカメラ１ｂ及びリアカメラ１ｃでは、所定の画像取得周期により車両周辺画像を取得して、所定の時点における車両１００の周辺を表すアナログ信号としての映像信号を入力映像信号処理部２に出力する。
【００１５】
フロントカメラ１ａは、車両１００の前部に配置されており、車両１００の前方を撮影方向とし、車両１００の前方における走行道路面を含む車両１００の周辺を撮影して、この車両１００の前方における車両１００の周辺を表す映像信号を入力映像信号処理部２に出力する。以下、フロントカメラ１ａから出力される映像信号を指して、フロント映像信号という。このフロントカメラ１ａから出力されたフロント映像信号に基づいて、車両１００の前方におけるデジタルデータとしての車両周辺画像が生成され、運転者に対して交差点進入支援等を行うための前方確認画像として表示部６に表示される。
【００１６】
サイドカメラ１ｂは、車両１００の助手席側の側方に配置されており、車両１００の助手席側の側方を撮影方向とし、車両１００の助手席側の側方における走行道路面を含む車両１００の周辺を撮影して、この車両１００の助手席側の側方における車両１００の周辺を表す映像信号を入力映像信号処理部２に出力する。以下、サイドカメラ１ｂから出力される映像信号を指して、サイド映像信号という。このサイドカメラ１ｂから出力されたサイド映像信号に基づいて、運転者の視認しにくい車両１００の助手席側の側方におけるデジタルデータとしての車両周辺画像が生成され、運転者に対して狭い路地の走行支援等を行うための側方確認画像として表示部６に表示される。図２及び図３は、サイドカメラ１ｂにより撮影された車両周辺画像を示したものである。この図示例では、車両１００が駐車場を走行している際に、サイドカメラ１ｂにより、車両１００の周辺の駐車場内の床面１０１及び自車両１００の側面を含む様に、車両１００の周辺を撮影した車両周辺画像を示している。例えば、図２に示す車両周辺画像では、駐車上の床面１０１を走行している車両１００の側方に区画線１０２により区画された駐車スペース１０３が複数映されている。
【００１７】
リアカメラ１ｃは、車両１００の後部に配置されており、車両１００の後方を撮影方向とし、車両１００の後方に位置する走行道路面を含む車両１００の周辺を撮影して、車両１００の後方における車両１００の周辺を現す映像信号を入力映像信号処理部２に出力する。以下、リアカメラ１ｃから出力される映像信号を指して、リア映像信号という。このリアカメラ１ｃから出力されたリア映像信号に基づいて、運転者の視認しにくい車両１００の後方におけるデジタルデータとしての車両周辺画像が生成され、運転者に対して駐車支援等を行うための後方確認画像として表示部６に表示される。
また、上記において走行道路面とは道路の路面に限定されるものではなく、車両１００が走行可能な地面又は床面を含み、例えば、駐車場の敷地内の地面又は床面を含む。
【００１８】
入力映像信号処理部２は、制御部８の制御の下、撮影部１から入力されたアナログ信号としての映像信号に対して、アナログ／デジタル変換処理を行う機能を有する。撮影部１から入力された映像信号は、入力映像信号処理部２においてデジタル信号に変換されて所定の時点における車両１００の周辺を表すフレーム画像としての車両周辺画像（データ）が生成され、画像メモリー３に出力される。制御部８は、後述する優先入力判定処理（撮影部選択処理）により、フロント映像信号、サイド映像信号及びリア映像信号のうち、どの映像信号に基づいて優先的に車両周辺画像を生成するかについて制御するとともに、入力映像信号処理部２において車両周辺画像を取得（生成）するタイミングを制御する。但し、入力映像信号処理部２において、この車両周辺画像を取得するタイミングは、カメラの画像取得周期と同様のタイミングとなるように、制御部８により制御される。
【００１９】
画像メモリー３は、制御部８の制御の下、入力映像信号処理部２においてデジタル信号に変換された車両周辺画像を一時的に記憶する機能を有する。
移動体検出部（障害物検出部）４は、制御部８の制御の下、画像メモリー３に記憶された車両周辺画像と、後述する走行状態情報入力インターフェース９を介して入力される車両１００の走行状態情報とに基づいて、車両１００の周辺の移動体を障害物として検出する移動体検出処理（障害物検出処理）を行う機能を有する。
ここで、移動体とは、例えば、歩行者、自転車、自動二輪車、他の車両等を指し、自車両１００が衝突を回避すべき移動する障害物を指す。
また、上記において、障害物とは運転の障害となる物体を指し、自車両１００が衝突を回避すべき物体を指す。
この移動体検出処理については後述する。
【００２０】
出力映像信号処理部５は、制御部８の制御の下、画像メモリー３から出力されるデジタル映像信号としての車両周辺画像データにデジタル／アナログ変換処理を施し、アナログ映像信号を表示部６に出力する。この際、出力映像信号処理部５では、移動体検出部４により移動体が検出された場合に、この移動体を画像メモリー３に記憶された車両周辺画像に重畳する画像処理を施した上で、アナログ映像信号に変換して表示部６に出力する。
表示部６は、制御部８の制御の下、出力映像信号処理部５から出力されるアナログ映像信号に基づいて、車両周辺画像の表示を行う。
操作部７は、操作ボタン等の操作子を備え、ユーザーの操作内容に応じた指示信号を制御部８に出力する機能を有する。
【００２１】
走行状態情報入力インターフェース９には、車両１００側から車両１００の走行状態に関する走行状態情報が入力される。具体的には、走行状態情報として、車両１００の移動速度を求めるための車速パルスや、あるいは車両１００の旋回方向を求めるための操舵ハンドルの操舵角情報、車両１００の進行方向を求めるためのリバース信号等が入力される。また、これらの信号に代えて、車両１００の位置情報を示すＧＰＳ信号や相対的な位置情報を示すジャイロセンサーから出力される角速度信号、加速度信号などを走行状態情報入力インターフェース９に入力する構成としてもよい。
但し、走行状態情報入力インターフェース９には、車両１００側に設けられた制御装置からこれらの走行状態情報が入力される構成としてもよいし、車両１００側に設けられた上記走行状態情報を取得するための各種センサー類から、これらの各走行状態情報を示すセンサー出力信号が入力される構成としてもよい。また、運転支援装置１０を、カーナビゲーション装置と一体に構成し、あるいは、この走行状態情報入力インターフェース９を介してカーナビゲーション装置と接続し、カーナビゲーション装置に設けられる上記走行状態情報を取得するための各種センサー類から、これらの各走行状態情報を示すセンサー出力信号が入力される構成としてもよい。
【００２２】
制御部８は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成される。制御部８はＲＯＭに予め記憶されている各種の制御プログラムおよび各種の制御用データに基づいて、ＲＡＭの一部を作業領域として、ＣＰＵにより各種の制御プログラムを読み出して実行することにより、上記各部を制御して、運転支援装置１０の動作を制御する。また、制御部８は、機能的構成として、図２に示す様に、速度算出部８１と、方位算出部８２と、優先入力判定部（撮影部選択部）８３と、比較範囲算出部８４と、記憶部８５とを備えている。
【００２３】
速度算出部８１は、走行状態情報入力インターフェース９を介して入力された車速パルス信号（車両速度に関する情報）に基づいて、画像メモリー３に記憶された車両周辺画像が取得（撮影）された時点の車両速度を算出する機能を有する。
【００２４】
方位算出部８２は、走行状態情報入力インターフェース９を介して入力された車両１００の操舵ハンドルの操舵角に関する情報（移動方向に関する情報）に基づいて、直前の車両周辺画像が取得された時点からの車両１００の移動方向（方位）の変化量である方位変化量を算出し、対象とする車両周辺画像について、この車両周辺画像が取得された時点の車両１００の方位を算出する機能を有する。
【００２５】
比較範囲算出部８４は、移動体検出処理において、時系列的に連続して生成された二つの車両周辺画像を、互いに比較する際に、比較対象とする画像領域、すなわち比較対象範囲を算出する比較範囲算出処理を実行する機能を有する。
【００２６】
優先入力判定部８３（撮影部選択部）は、優先入力判定処理を行う機能を有する。優先入力判定部８３は、車両１００の走行状態に応じて、運転者が安全確認を行うべき方向を撮影するカメラを、上記フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの中から選択し、この選択した所定のカメラから出力された映像信号を、他のカメラから出力された映像信号に対して、入力映像信号処理部２に優先的に入力させる様に制御する。以下、優先入力判定部８３により選択された所定のカメラから出力される映像信号を優先入力信号という。この優先入力信号は、入力映像信号処理部２において、アナログ／デジタル変換処理が施され、フレーム画像としての車両周辺画像が画像メモリー３に一時的に記憶され、この画像メモリー３に記憶された車両周辺画像を用いて移動体検出部４において移動体検出処理が行われ、出力映像信号処理部５により、この車両周辺画像がアナログ映像信号に変換されて表示部６に表示されるようになる。すなわち、優先入力判定部８３において、選択された所定のカメラが撮影した車両１００の周辺の様子が表示部６に表示される。
【００２７】
記憶部８５は、現在の優先入力信号として選択されている映像信号がフロント映像信号、サイド映像信号、リア映像信号のいずれの映像信号であるかに関する情報や、現在移動体検出処理の対象とする車両周辺画像が取得された時点における車両速度や車両１００の方位（車両方位）に関する情報を記憶する機能を有する。
【００２８】
次に、移動体検出部４が実行する移動体検出処理について説明する。
移動体検出部４では、動画像データの圧縮処理技術を応用して、撮影部１が有する複数のカメラ１ａ、１ｂ、１ｃのうち、優先入力判定処理により選択された所定のカメラにより連続して取得された二つの車両周辺画像を比較して、車両１００の周辺の移動体を障害物として検出する機能を有する。
一般に時系列的に連続する多数のフレーム画像から構成される動画像データは、直前のフレーム画像と現在のフレーム画像は良く似ている。そこで、圧縮率を高めるために入力画像と予測画像の差分だけを符号化することが行われている。
また、動画像データの圧縮処理では、動き補償と呼ばれる技術を用いて直前のフレームと現在のフレームのフレーム間予測を行い画像の動き量を推定する動きベクトル探索がおこなわれている。ここで、上記の推定した動き量が多いことは、移動している物体の存在を示しており、その動き量は移動している物体の移動速度に依存することが推測される。
【００２９】
本実施の形態の移動体検出部４では、上記の様な動画像データの圧縮処理技術を利用して車両１００の周辺の移動体を検出している。
しかしながら、車両１００は移動体であり、各カメラ１ａ、１ｂ、１ｃは車両１００に固定して配置されている。このため、車両１００の移動とともに、各カメラ１ａ、１ｂ、１ｃにより撮影された車両１００の周辺のエリア（撮影対象範囲）が変化する。このため、画像メモリー３に記憶されたフレーム画像を単に用いたのでは、連続するフレーム画像間の差分や動き量が多くなり、車両１００の周辺の移動体を検出することができない。そこで、本実施の形態では、上記の速度算出部８１及び方位算出部８２により算出された車両速度と、車両１００の移動方向とに基づいて、連続するフレーム画像、すなわち一の時点において取得された車両周辺画像と、他の時点において取得された車両周辺画像とにおいて、上記所定のカメラにより重複して撮影された車両１００の周辺の同一エリアを示す画像領域を、フレーム画像間を比較する際の比較対象範囲として比較範囲算出部８４において求めるようにしている。この様に、車両１００の周辺の同一エリアを示す画像領域を比較対象範囲として、一の時点において取得された車両周辺画像と、他の時点において取得された車両周辺画像とを比較し、時系列的に連続する車両周辺画像間の差分や動き量を求めることで車両１００の周辺の移動体を検出することができる。
【００３０】
但し、以上の様に、動画像データの圧縮処理技術を応用して、時系列的に連続して取得された少なくとも二つの車両周辺画像を用いて移動体を検出する場合、この連続する二つの車両周辺画像が撮影された一の時点と他の時点とにおいて、車両１００の周辺の所定の同一のエリアが撮影されている必要がある。
従って、移動体検出処理を行うためには、比較対象とする二つの車両周辺画像が取得された間の車両１００の移動量が、各カメラ１ａ、１ｂ、１ｃの撮影対象範囲内に収まる範囲となるような、車両速度である必要がある。また、車両１００の周辺の移動体を精度よく検出するためには、検出対象とする移動体の大きさを考慮して、各カメラ１ａ、１ｂ、１ｃの撮影対象範囲を設定する必要がある。
【００３１】
ここで、本運転支援装置１０は、運転者に対して、表示部６に前方確認用画像、側方確認用画像、後方確認用画像を表示して、運転者の安全確認を容易にして、見通しの悪い交差点に進入する際の交差点進入支援、狭い路地を走行する際の走行支援、駐車場に車両１００を駐車する際や、車庫に車両１００を入れるための駐車支援等の運転支援を行う装置である。
車両１００が見通し悪い交差点に進入する際や、狭い路地を走行する際、あるいは車両１００を駐車する際、いずれの場合であっても、車両速度は低速となる。本実施の形態の運転支援装置１０は、この様な車両１００が低速で走行する時に車両１００の周辺の歩行者などの移動体を検出して、運転者に対して警告や注意を促すことを想定している。
従って、運転支援を行う場合に、車両速度は、一般的に１ｍ／秒以下程度の車両速度と推測される。
【００３２】
また、撮影部１に設けるフロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃのそれぞれを、ＣＣＤカメラを用いて構成した場合、各カメラ１ａ、１ｂ、１ｃの撮影対象範囲の横幅および高さは、以下のように計算することができる。
撮影対象範囲の横幅＝距離×（CCDイメージセンサーの横サイズ／レンズの焦点距離）
撮影対象範囲の高さ＝距離×（CCDイメージセンサーの縦サイズ／レンズの焦点距離）
具体的には、距離：３ｍ、ＣＣＤイメージセンサーの縦横サイズ：１／３サイズＣＣＤ（縦：３．６、横：４．８）、焦点距離：ｆ＝３．６ｍｍならば、撮影対象範囲の横幅及び高さは以下の様にして求めることができる。
撮影対象範囲の幅 ３ｍ×（４．８／３．６）＝４ｍ
撮影対象範囲の高 ３ｍ×（３．６／３．６）＝３ｍ
【００３３】
例えば、車両速度が速度１ｍ／秒以下であり、車両１００が前進しており、車両周辺画像が、１フレーム／秒で取得される場合、時系列的に連続する二つの車両周辺画像では、その約２／３の画像領域が各時点における撮影対象範囲が重複した領域となり、これに対応する約２／３の画像領域は車両１００周辺の同一エリアを示すものとなる。
但し、サイドカメラ１ｂでは、図２に示す様に車両１００側面が撮影対象範囲に含まれる様に車両１００の側方において車両１００の周辺を撮影するため、地面に対して車両１００前方斜め方向に取り付けられて配置される。この様に、車両１００の外面が撮影対象範囲に含まれる様にカメラを車両１００に配置する場合、実際の各カメラ１ａ、１ｂ、１ｃの撮影対象範囲は、各カメラ１ａ、１ｂ、１ｃの取り付け角度に依存する。
【００３４】
次に、図３に、駐車場内を走行中に、車両１００のサイドカメラ１ｂにより連続して撮影された車両周辺画像の時系列変化を示す。図３（ａ−１）、（ａ−２）、（ａ−３）、（ａ−４）は連続して取得された車両周辺画像を示しており、図３（ｂ−１）、（ｂ−２）、（ｂ−３）、（ｂ−４）は各時点（ａ−１）、（ａ−２）、（ａ−３）、（ａ−４）において取得された車両周辺画像を俯瞰変換した画像である。移動体検出部４では、各時点において取得された車両周辺画像を俯瞰画像に変換して、移動体の検出を行う。
これは、サイドカメラ１ｂの様に、道路面に対して車両１００の側方から斜めに撮影した車両周辺画像を上空から撮影したように俯瞰変換することにより、次工程での移動体検出が容易になるためである。具体的には、撮影された状態の車両周辺画像のままでは道路わきを車両１００と同一方向に歩行中の人の移動量を検出するには、その移動量が微量となり、静止物との判別が難しく、動きベクトル補償を用いて、移動体の検出を行うことが困難となる。これに対して、俯瞰処理を行うことにより、歩行者等についても、画像点の奥行きと水平距離が計算で求められるため、その移動量が明確となり、車両１００の移動量に対して移動量の微量な（移動量が小さい）移動体の検出が容易になるからである。
【００３５】
次に、図４を参照して、制御部８の比較範囲算出部８４において実行される比較範囲算出処理について説明する。
まず、比較範囲算出部８４は、記憶部８５から、基準画像とする一の時点における車両周辺画像が取得された際の車両速度を読み出す（ステップＳ１）。
次に、比較範囲算出部８４は、記憶部８５から、基準画像とする一の車両周辺画像が取得された時点における車両１００の方位（移動方向）と、比較画像とする他の車両周辺画像が取得された時点における車両１００の方位とを読み出し、この差を求めることにより、この一の時点から他の時点との間の車両１００の方位の変化量を算出して、方位変化量とする（ステップＳ２）。より具体的に説明すると、この方位変化量とは、例えば、基準画像とする車両周辺画像が取得された一の時点における車両１００の方位（車両１００の前方を表す方位）を０度とし、比較対象とする他の車両周辺画像が取得された他の時点における車両１００の前方を示す方位が、上記の一の時点から変化した量を示す。方位変化量は左右±１８０度の間で求められる。ここで、時計回りの方向に移動方向が変化した場合を「＋」とする。
以上のステップＳ１およびステップＳ２で得られた車両速度と方位変化量より、一の時点において取得された車両周辺画像と、他の時点において取得された車両周辺画像とにおいて、上記所定のカメラ、すなわち、優先入力判定部８３により選択されたカメラにより重複して撮影された車両１００の周辺の同一のエリアを示す画像領域を求め、この画像領域を比較対象範囲として求めることができる（ステップＳ３）。
【００３６】
図４に示す手順に基づいて、例えば、図３の（ｂ−２）に示す車両周辺画像を基準画像とした場合、破線で囲んだ画像領域Ａは、図３の（ｂ−３）に示す比較対象としての車両周辺画像において破線で囲んだ画像領域Ａに対応する。各車両周辺画像において破線で囲んだ画像領域Ａは、車両１００周辺の同一エリアを示しているため、これらの画像領域Ａにおいてこの時系列的に連続する二つの車両周辺画像を用いて、動画像データの圧縮処理技術を利用することにより、当該画像領域Ａに対応する車両１００の周辺の移動体を検出することができる。但し、図３には、車両１００直進時に、サイドカメラ１ｂにより所定のタイミング毎に取得した車両周辺画像を示したので、車両１００の方位変化量は０（ゼロ）としている。
【００３７】
次に、図５に、制御部８の優先入力判定部８３において実行される優先入力判定処理の手順を示す。
優先入力判定処理では、車両１００の走行状態に応じて、運転者が安全確認を行うべき方向を撮影するカメラをフロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの中から選択し、この選択された所定のカメラから出力された映像信号を優先入力信号として、他のカメラから出力される映像信号よりも、入力映像信号処理部２に優先的に入力されるように制御する。この場合、図５に示す様に、車両１００が走行中の場合と、車両１００が停止中の場合とでは、撮影部１が有する複数のカメラの中から上記所定のカメラを選択する手順が異なっている。
【００３８】
そこで、優先入力判定部８３は、まず、記憶部８５から現在、基準画像とする車両周辺画像が取得された時点（一の時点）における車両速度を読み出す（ステップＳ１１）。次に、ステップＳ１１により読み出した車両速度に基づいて、現在、車両１００が走行中か停止中であるかを判別する（ステップＳ１２）。ステップＳ１２において、車両１００が現在走行中であると判別された場合（ステップＳ１２；走行中）、次に、方位の変化量を算出する。これは車両速度と同様に記憶部８５より基準画像と次画像間の車両方位からその差を算出する（ステップＳ１３）。次いで、ステップＳ１３において算出した方位変化量に基づいて、車両１００の移動方向を判別する。本実施の形態では、車両１００の移動方向を判別する際に、ステップＳ１３において算出した方位変化量が＋３０度から−３０度以内であれば車両１００が前進していると判別し（ステップＳ１４；前進）、運転者が安全確認を行うべき方向を撮影する所定のカメラとしてフロントカメラ１ａを選択して、フロントカメラ１ａから出力されるフロント映像信号を優先入力信号とし、他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。また、現在優先入力信号として選択された映像信号がフロント映像信号であることを記憶部８５に記憶する（ステップＳ１５）。
【００３９】
ステップＳ１３において、算出した方位変化量が−３０度を超え−９０度以内である場合、あるいは、＋３０度を超え＋９０度以内であれば、車両１００が左旋回していると判別し（ステップＳ１４；左旋回）、運転者が安全確認を行うべき方向を撮影する所定のカメラとしてサイドカメラ１ｂを選択して、サイドカメラ１ｂから出力されるサイド映像信号を優先入力信号として他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。また、現在優先入力信号として選択された映像信号がサイド映像信号であることを記憶部８５に記憶する（ステップＳ１６）。
また、ステップＳ１３において、算出した方位変化量がその他の角度（方位変化量が−９０度を超え−１８０度以内である場合、あるいは方位変化量が＋９０度を超え＋１８０度以内）であれば、車両１００が後退していると判別し（ステップＳ１４；後退）、運転者が安全確認を行うべき方向を撮影する所定のカメラとしてリアカメラ１ｃを選択して、リアカメラ１ｃから出力されるリア映像信号を他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。また、現在優先入力信号として選択された映像信号がリア映像信号であることを記憶部８５に記憶する（ステップＳ１７）。
【００４０】
一方、ステップＳ１２において、車両１００が停止中であると判別された場合（ステップＳ１２；停止中）、ステップＳ１８に移行し、運転者が安全確認を行うべき方向を撮影する所定のカメラを、図６に示す選択テーブル８５ａにおいて予め定められた所定の順序に従って、現在選択中のカメラに付された順序の次の順序に対応するカメラを選択する。そして、選択テーブル８５ａにおいて予め定められた順序に従って選択したカメラから出力される映像信号を優先入力信号として他の映像信号よりも優先的に入力映像信号処理部２に入力されるように制御する。これと同時に、現在優先入力信号として選択された映像信号を記憶部８５に記憶するとともに、現在選択したカメラに付された順序を記憶部８５に記憶する（ステップＳ１８）。
図６に示した選択テーブル８５ａは、予め、記憶部８５に記憶されている。この選択テーブル８５ａは、上述した様に、入力映像信号処理部２に優先的に映像信号を出力するカメラを選択するための選択順序を定めたものである。図６に示した例では、この選択テーブル８５ａでは、フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの順に、順序が「１」、「２」、「３」と付されている。ステップＳ１８では、この選択テーブル８５ａにおいて定められた順序に従って、フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃの順にカメラを選択し、この選択されたカメラから出力される映像信号を優先入力信号として、他の映像信号よりも入力映像信号処理部２に優先的に入力されるように制御する。但し、順序「３」のリアカメラの次に選択されるのは、順序「１」のフロントカメラとなる。
【００４１】
上記手順に従って、フロントカメラ１ａ、サイドカメラ１ｂ、リアカメラ１ｃのうち、車両１００の走行状態に応じて、運転者が安全確認を行うべき方向を撮影方向とするカメラが選択され、このカメラから出力される映像信号が優先入力信号として入力映像信号処理部２に優先的に入力される。従って、優先入力判定部８３により選択されたカメラから出力された映像信号に基づいて、連続するフレーム画像としての車両周辺画像が生成され、移動体検出部４により移動体検出処理が行われる。また、この優先入力判定部８３により選択された所定のカメラから出力された映像信号に基づいて生成された車両周辺画像が、表示部６に表示される。この優先入力判定処理は、例えば１００ミリ秒毎等の所定の周期で行われる。また、現在選択されているカメラの車両周辺画像を取得するタイミングに応じて、同様のタイミングで、入力映像信号処理部２、速度算出部８１、方位算出部８２、比較範囲算出部８４、記憶部８５を制御して、フレーム画像としての車両周辺画像データを生成して、画像メモリー３に記憶させたり、当該車両周辺画像が取得（撮影）された時点の車両速度、車両方位等を記憶部８５に記憶する。
【００４２】
ここで、記憶部８５には、図７に示す様に、上記の車両速度や、車両１００の方位を記憶するための二つの画像テーブル８５ｂ、８５ｃが用意されている。各画像テーブル８５ｂ、８５ｃは、移動体検出部４において移動体検出処理を行う際に用いる二つの車両周辺画像について、それぞれ当該車両周辺画像が取得された時点における車両速度、車両方位等の付随情報を記憶するものである。具体的には、新規に選択されたカメラから出力された映像信号に基づいて車両周辺画像が生成されて画像メモリー３に記憶された場合、まず、第一画像テーブル８５ｂが用いられ、一の車両周辺画像が取得された時点の車両速度と車両方位が第一画像テーブル８５ｂに記憶される。また、このとき、制御部８において連番が生成され、この連番情報が第一画像テーブル８５ｂに記憶される。この連番は、画像テーブル８５ｂ、８５ｃを更新する毎に番号を「１」ずつ増加した番号が生成される。次に、連続して、選択されたカメラにより車両周辺画像が取得され、このカメラから出力される映像信号が入力映像信号処理部２に入力されて、他の車両周辺画像が生成された場合に、第二画像テーブル８５ｃが用いられる。そして、上記と同様に、この他の車両周辺画像が生成された時点の車両速度や車両方位が第二画像テーブル８５ｃに記憶されるとともに、新たに生成された連番を表す連番情報が第二画像テーブル８５ｃに記憶される。以上のように、車両周辺画像が取得される毎に、各車両周辺画像に付随する付随情報が各画像テーブル８５ｂ、８５ｃに記憶される。
【００４３】
上記の連番情報はいずれかの画像テーブル８５ｂ、８５ｃを更新する毎に番号を「１」増加させるので、第一画像テーブル８５ｂに記憶された連番情報が示す番号と第二画像テーブル８５ｃに記憶された連番情報が示す番号との差分は常に「１」となる。これより、現時点の基準画像を連番情報の小さい方、次画像を連番情報の大きい方と位置づけ、その時間的関係を明確にすることができる。
【００４４】
また、上記移動体検出処理においては時系列的に連続する２枚の車両周辺画像に基づいて、移動体を検出するため、優先入力判定処理により選択された所定のカメラが、他のカメラに切替えられた場合は、同一のカメラにより撮影した連続画像を取得することのできない時間が生じる。この為、例えば、優先入力判定処理により選択されたカメラが、他のカメラに切替えられた場合、記憶部８５に用意した上記二つの画像テーブルに記憶する連番情報を、例えば、「０（ゼロ）」等の所定の同一の番号とするように設定し、各画像テーブル８５ｂ、８５ｃの連番情報が「０（ゼロ）」の場合は、移動体検出処理を実行しないようにしてもよい。
また、上述したように、移動体の検出処理を行うためには、上述したように、車両１００の移動量が選択したカメラの撮影対象範囲内である必要がある。従って、車両速度が、この撮影対象範囲に応じて設定される所定速度以下になった場合に、上述の優先入力判定処理、移動体検出処理を自動的に行う構成として、表示部６に自動的に車両周辺画像を表示するように制御してもよい。これによれば、運転者が、操作ボタン等を操作して、運転支援機能をオンさせる必要がなく、車両１００が予め設定された所定速度以下になった場合に、運転支援機能を自動的に起動させることができる。
【００４５】
以上説明した上記実施の形態によれば、優先入力判定部８３は、走行状態情報入力インターフェース９から入力された走行状態情報に基づいて、いずれか一のカメラを選択する。従って、移動体検出部４は、フロントカメラ１ａ、サイドカメラ１ｂ及びリアカメラ１ｃから出力された各映像信号に基づいて生成される各車両周辺画像のうち、車両１００の走行状態に応じて、一のカメラから出力された映像信号に基づいて生成された車両周辺画像を用いて、移動体を検出すればよい。このため、車両１００の走行状態に応じて、移動体をリアルタイムに検出するために、運転支援装置１０に設けられた複数のカメラ１ａ、１ｂ、１ｃに対応させて、入力映像信号処理部２、画像メモリー３、移動体検出部４、出力映像信号処理部５を個別に設けたり、処理能力の高い処理装置を用いて、撮影方向の異なる各車両周辺画像に基づく移動体検出処理を同時並行して行う必要がなく、運転支援装置１０の構成を簡易にして、移動体検出処理に係る負荷を低減するとともに、コストの増加を抑えることができる。また、車両１００に搭載されるカメラを増設する場合にも、構成部品として、カメラ本体のみを増設すればよく、購入後のオプション追加が容易になる。
【００４６】
また、上記実施の形態では、優先入力判定部８３は、車両１００の移動方向の変化、すなわち車両１００の方位変化量に基づいて、運転者が安全確認を行う必要の高い方向を撮影方向とするカメラを選択し、この選択された所定のカメラから出力される映像信号を優先入力信号として優先的に入力映像信号処理部２に入力されるように制御する。これにより、優先入力判定部８３により選択された所定のカメラから出力される映像信号に基づいて、この所定のカメラにより撮影された車両周辺画像を、他のカメラにより撮影された車両周辺画像よりも優先的に表示部６に表示することができ、この方向において撮影された車両周辺画像に基づいて、移動体検出部４に車両１００の周辺の移動体を検出させることができる。したがって、運転者が安全確認を行う必要性の高い方向を撮影した車両周辺画像に基づいて移動体をリアルタイムに検出させることができるとともに、車両１００の走行状態が変化した場合にも、優先入力判定部８３に、車両１００の移動方向の変化に応じて、運転者が安全確認を行う必要の高い方向を撮影方向とするカメラを選択させて、移動体検出部４に当該方向における移動体をリアルタイムに検出させることができる。
【００４７】
さらに、上記実施の形態によれば、移動体検出部４は、動画像データの圧縮処理技術を応用して、撮影部１に設けられた複数のカメラのうち、優先入力判定部８３により選択された所定のカメラにより重複して撮影された車両１００の周辺の同一エリアを示す画像領域において、一の時点と他の時点とにおいて撮影された車両周辺画像を比較することで、簡易な構成で、車両１００の周辺の移動体を障害物として検出することができる。
【００４８】
また、上記実施の形態では、移動体検出部４により車両１００の周辺の移動体が検出された場合、出力映像信号処理部５では車両周辺画像に移動体を重畳するための画像処理を施して、表示部６に出力する。このため、移動体検出部４により、車両１００の周辺の移動体が検出された場合、運転者に対して移動体が検出されたこと車両周辺画像に基づいて、報知することができ、運転者に注意を喚起して、移動体との衝突をより未然に回避させることができる。
また、移動体検出部４は、優先入力判定部８３により車両１００の走行状態に応じて選択された、所定のカメラから出力された映像信号に基づいて生成された車両周辺画像に基づいて、移動体を検出しているので、各カメラ１ａ、１ｂ、１ｃに対応させて、各カメラ１ａ、１ｂ、１ｃ毎に移動体検出部４や、出力映像信号処理部５を個別に設ける必要がなく、構成を簡素化することができる。また、一の出力映像信号処理部５において、各カメラ１ａ、１ｂ、１ｃにより撮影された車両周辺画像に移動体を重畳するための画像処理を施すことができ、運転支援装置１０の構成を簡易にして、画像処理に係る負荷を低減するとともに、コストの増加を抑えることができる。
【符号の説明】
【００４９】
１ 撮影部
１ａ フロントカメラ（前方撮影部）
１ｂ サイドカメラ（側方撮影部）
１ｃ リアカメラ（後方撮影部）
２ 入力映像信号処理部
４ 移動体検出部（障害物検出部）
５ 出力映像信号処理部
６ 表示部
９ 走行状態情報入力インターフェース（走行状態情報入力部）
１０ 運転支援装置
８３ 優先入力判定部（撮影部選択部）
１００ 車両
【特許請求の範囲】
【請求項１】
車両の周辺を撮影する際の撮影方向が異なる複数の撮影部を備え、各撮影部により撮影された車両周辺画像に基づいて、運転支援を行う運転支援装置において、
前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、
前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択する撮影部選択部と、
前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出するための障害物検出処理を行う障害物検出部と、
を備えたことを特徴とする運転支援装置。
【請求項２】
請求項１に記載の運転支援装置において、
前記走行状態情報には、前記車両の移動方向に関する移動方向情報が含まれ、
前記撮影部選択部は、前記移動方向情報に基づいて、前記複数の撮影部のうち、車両の移動方向に応じた方向を撮影方向とする撮影部を選択すること、
を特徴とする運転支援装置。
【請求項３】
請求項１又は２に記載の運転支援装置において、
前記障害物検出部は、前記撮影部選択部により選択された撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域において、一の時点における車両周辺画像と他の時点における車両周辺画像とを比較し、前記車両の周辺の移動体を障害物として検出すること、
を特徴とする運転支援装置。
【請求項４】
請求項３に記載の運転支援装置において、
前記障害物検出部は、前記画像領域において比較する際に、前記車両周辺画像を俯瞰画像に変換して前記一の時点における車両周辺画像と他の時点における車両周辺画像とを比較すること、
を特徴とする運転支援装置。
【請求項５】
請求項１から４のいずれか一項に記載の運転支援装置において、
前記複数の撮影部には、前記車両の前方を前記撮影方向とする前方撮影部、前記車両の側方を前記撮影方向とする側方撮影部、前記車両の後方を前記撮影方向とする後方撮影部のうち、少なくともいずれか二つの撮影部が含まれること、
を特徴とする運転支援装置。
【請求項６】
車両の周辺を撮影する際の撮影方向が異なる複数の撮影部と、前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、を備え、各撮影部により撮影された車両周辺画像に基づいて、運転者に対して運転支援を行う運転支援装置を制御する運転支援装置の制御方法において、
前記走行状態情報入力部に前記車両の走行状態に関する走行状態情報が入力される過程と、
前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択させる過程と、
前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出させる過程と、
を備えたことを特徴とする運転支援装置の制御方法。
【請求項１】
車両の周辺を撮影する際の撮影方向が異なる複数の撮影部を備え、各撮影部により撮影された車両周辺画像に基づいて、運転支援を行う運転支援装置において、
前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、
前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択する撮影部選択部と、
前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出するための障害物検出処理を行う障害物検出部と、
を備えたことを特徴とする運転支援装置。
【請求項２】
請求項１に記載の運転支援装置において、
前記走行状態情報には、前記車両の移動方向に関する移動方向情報が含まれ、
前記撮影部選択部は、前記移動方向情報に基づいて、前記複数の撮影部のうち、車両の移動方向に応じた方向を撮影方向とする撮影部を選択すること、
を特徴とする運転支援装置。
【請求項３】
請求項１又は２に記載の運転支援装置において、
前記障害物検出部は、前記撮影部選択部により選択された撮影部により重複して撮影された車両の周辺の同一エリアを示す画像領域において、一の時点における車両周辺画像と他の時点における車両周辺画像とを比較し、前記車両の周辺の移動体を障害物として検出すること、
を特徴とする運転支援装置。
【請求項４】
請求項３に記載の運転支援装置において、
前記障害物検出部は、前記画像領域において比較する際に、前記車両周辺画像を俯瞰画像に変換して前記一の時点における車両周辺画像と他の時点における車両周辺画像とを比較すること、
を特徴とする運転支援装置。
【請求項５】
請求項１から４のいずれか一項に記載の運転支援装置において、
前記複数の撮影部には、前記車両の前方を前記撮影方向とする前方撮影部、前記車両の側方を前記撮影方向とする側方撮影部、前記車両の後方を前記撮影方向とする後方撮影部のうち、少なくともいずれか二つの撮影部が含まれること、
を特徴とする運転支援装置。
【請求項６】
車両の周辺を撮影する際の撮影方向が異なる複数の撮影部と、前記車両の走行状態に関する走行状態情報が入力される走行状態情報入力部と、を備え、各撮影部により撮影された車両周辺画像に基づいて、運転者に対して運転支援を行う運転支援装置を制御する運転支援装置の制御方法において、
前記走行状態情報入力部に前記車両の走行状態に関する走行状態情報が入力される過程と、
前記走行状態情報に基づいて、前記複数の撮影部のうちいずれか一の撮影部を選択させる過程と、
前記撮影部選択部により選択された撮影部により撮影された前記車両周辺画像に基づいて、前記車両の周辺の障害物を検出させる過程と、
を備えたことを特徴とする運転支援装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１５９１８６（Ｐ２０１１−１５９１８６Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２１７２９（Ｐ２０１０−２１７２９）
【出願日】平成２２年２月３日（２０１０．２．３）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月３日（２０１０．２．３）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]