説明

車両周囲変化検出装置

【課題】車両周囲の搭載物忘れを防止することのできる車両周囲変化検出装置を提供することを目的とする。
【解決手段】車両の発車時と乗車前と駐車時の状態を判定する判定手段3と、この判定手段3の判定結果に基づいて入力された車外の撮影映像を記憶する記憶手段5と、判定手段3の判定結果と記憶手段5が記憶した車外の撮影映像とに基づいて車両周囲の変化を検出する検出手段6とを備え、検出手段6は、記憶手段5が記憶した車両の駐車時における車外の撮影映像30と車両の乗車前における車外の撮影映像31と車両の発車時における車外の撮影映像31とを比較して車両周囲の変化を検出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は車両乗降口を撮影可能なカメラを用いた車載周囲変化検出装置に関するものである。
【背景技術】
【0002】
従来、車両内にカメラを設け車両内の忘れ物を監視する忘れ物検知システムが知られている(例えば特許文献1から3参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−075756号公報
【特許文献2】特開2008−027239号公報
【特許文献3】特開2006−338535号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら従来の忘れ物検知システムでは車両内を対象としたもので、車両外の周囲に対しては検知対象外となっていた。また、車両外部の駐車支援カメラには忘れ物を自動検知する機能が搭載されておらず、人間が直接目視、またはカメラ映像を確認しなければならなかった。このため、車両の周囲に搭載予定物、例えば靴などを乗せ忘れるという問題があった。
【0005】
本発明は、従来の問題を解決するためになされたもので、車両周囲の搭載物忘れを防止することのできる車両周囲変化検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために本発明は、検出手段が、記憶手段が記憶した車両の発車時における車外の撮影映像と車両の発車前における車外の撮影映像とを比較して車両周囲の変化を検出することを特徴とする。
【発明の効果】
【0007】
本発明によれば、乗員は車両周囲に置き忘れた搭載物をそのまま忘れることなく未搭載に気が付き搭載して発進することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態における車両周囲変化検出装置の構成を示すブロック図
【図2】同図1の要部である検出手段による忘れ物検出処理の概念をイメージで説明した図
【図3】同図1の要部である検出手段による忘れ物を特定する処理の概念をイメージで説明した図
【図4】同図1の要部である車両周囲変化検出装置による忘れ物検出処理のフローチャート図
【図5】同図4の駐車処理のフローチャート図
【図6】同図4の乗車前処理のフローチャート図
【図7】同図4の発車処理のフローチャート図
【図8】同図1の条件設定手段による判定手段の条件設定画面を表示手段に表示した図
【図9】同図8の要部である駐車判定方法の条件設定画面を表示手段に表示した図
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態の車両周囲変化検出装置について図面を参照しながら説明する。
【0010】
図1は本発明の実施形態の車両周囲変化検出装置の構成を示すブロック図である。
【0011】
図1において、車両周囲変化検出装置1は、信号処理手段2と判定手段3と画像合成手段4と記憶手段5と検出手段6と条件管理手段7とを備える。車両周囲変化検出装置1は、車両状態出力装置8と撮影手段9と報知手段10と条件設定手段11と接続する。
【0012】
信号処理手段2はCAN(Controller Area Network)通信の受信装置で構成され、判定手段3および車両状態出力装置8と接続する。信号処理手段2は、車両状態出力装置8から入力された車両状態信号を車両周囲変化検出装置1の内部で処理可能な変数に変換して判定手段3で使用する。
【0013】
判定手段3はCPUで構成され、信号処理手段2、記憶手段5、条件管理手段7および撮影手段9と接続する。判定手段3は、駐車判定手段3a、乗車前判定手段3b、発車判定手段3cを有する。判定手段3は、信号処理手段2から入力された車両状態信号と条件管理手段7から入力された判定条件に基づいて、車両が発車前であるか発車時であるかを判定する。車両が発車前であることの判定は駐車判定手段3a、乗車前判定手段3bによってなされる。車両が発車時であることの判定は発車判定手段3cによってなされる。なお、本実施形態では車両が発車前であることの判定を駐車判定手段3a、乗車前判定手段3bによって行ったが、駐車判定手段3aと乗車前判定手段3bのいずれか一方の手段によって行ってもよい。また、車両が発車前であることの判定ができるのであれば、別の判定手段によって行ってもよい。
【0014】
画像合成手段4は、CPUで構成され、記憶手段5、撮影手段9と接続する。画像合成手段4は、撮影手段9から入力された撮影画像を合成して車両周囲を俯瞰視点で見たときの車両の全周囲画像を生成する。そして、画像合成手段4は、この車両の全周囲画像を記憶手段5に出力する。
【0015】
記憶手段5は、メモリやHDD(Hard Disk Drive)等で構成され、判定手段3、画像合成手段4、検出手段6と接続する。記憶手段5は、駐車画像記録手段5a、乗車前画像記録手段5b、発車画像記録手段5cを有する。駐車判定手段3aが車両が駐車していると判定した場合、駐車画像記録手段5aは画像合成手段4から入力された合成画像を記録する。乗車前判定手段3bがユーザが車両に乗車前であると判定した場合、乗車前画像記録手段5bは画像合成手段4から入力された合成画像を記録する。発車判定手段3cは車両が発車する時であると判定した場合、発車画像記録手段5cは画像合成手段4から入力された合成画像を記録する。なお、駐車画像記録手段5a、乗車前画像記録手段5b、発車画像記録手段5cは、それぞれまたは一部が別体のメモリ等で構成されてもよいし、一体のメモリ等で領域を分割されたもので構成されてもよい。
【0016】
検出手段6は、CPUで構成され、記憶手段5、条件管理手段7、報知手段10と接続する。検出手段6は、画像差分認識手段6aを有する。検出手段6は、記憶手段5から読み出した発車前の合成画像と発車時の合成画像とから、車両周囲の忘れ物を検出する。換言すると、画像差分認識手段6aは、記憶手段5から読み出した発車前の合成画像と発車時の合成画像との差分をとる。そして、画像差分認識手段6aは、この差分の画像を車両周囲の忘れ物として検出する。なお、本実施形態の判定手段3と画像合成手段4と検出手
段6は、1チップで構成されてもよいし、それぞれまたは一部が別体であってもよい。
【0017】
条件管理手段7は、メモリやHDD(Hard Disk Drive)等で構成され、判定手段3、記憶手段5、撮影手段9、条件設定手段11と接続する。条件管理手段7は、駐車判定手段3aによる駐車判断の条件、乗車前判定手段3bによる乗車前判断の条件、および発車判定手段3cによる発車時判断の条件を予め記録する。なお、本実施形態の記憶手段5と条件管理手段7は、一体で構成されてもよいし、別体であってもよい。
【0018】
車両状態出力装置8は、ドア開閉検知センサ8aやエンジンのオン・オフを検知するエンジンセンサ8b、シフトレバー検知センサ8c等の各種センサで構成され、信号処理手段2に接続する。車両状態出力装置8は、信号処理手段2に車両状態信号を出力する。車両状態信号は例えば、車速やドアのロック状態、ドアの開閉状態、エンジンの始動状態、ギアのシフト状態等、数値情報や状態情報で構成される。
【0019】
撮影手段9は、複数のカメラで構成され、判定手段3、画像合成手段4に接続される。撮影手段9は、前方カメラ9a、右側方カメラ9b、左側方カメラ9c、後方カメラ9dを有する。撮影手段9は、判定手段3からの命令に従って、各カメラ9a〜9dで車両周囲を撮影する。そして、この撮影画像を画像合成手段4に出力する。なお、本実施形態では、撮影手段9は、各カメラ9a〜9dで車両周囲を撮影したが、判定手段3からの命令により、各カメラ9a〜9dのうち一部のカメラのみを用いてもよい。また、本実施形態では、撮影手段9は、複数のカメラ9a〜9dを有して車両周囲を撮影したが、1つのカメラを有して車両周囲を撮影してもよい。この場合、この1つのカメラは例えば魚眼カメラで構成される。
【0020】
報知手段10は、音声出力手段10aおよび表示手段10bの少なくとも1つで構成され、検出手段6と接続する。音声出力手段10aは例えばスピーカで構成される。表示手段10bは例えばナビゲーション装置やリアシートのディスプレイで構成される。報知手段10は、検出手段6から入力された忘れ物の情報を音声および表示の少なくとも1つによってユーザに報知する。
【0021】
条件設定手段11は、リモコンやタッチパネルなどによって構成され、条件管理手段7と接続する。条件設定手段11は、ユーザからの入力により、判定手段3の判定条件を設定する。そして、条件設定手段11は、この設定した条件の情報を条件管理手段7に出力する。
【0022】
次に、検出手段6による忘れ物検出処理について説明する。
【0023】
図2は、検出手段6による忘れ物検出処理の概念をイメージで説明した図である。
【0024】
画像合成手段4は、車両の発車前における車両周囲の画像20を合成する。この合成の際、画像合成手段4は、予め記憶手段5に記憶していた車両20aのイメージ画像を重畳する。記憶手段5は、合成された画像20を記憶する。また、画像合成手段4は、車両の発車時における車両周囲の画像21を合成する。記憶手段5は、合成された画像21を記憶する。この画像21は、ユーザが車外に置き忘れた靴の画像21aを有する。
【0025】
検出手段6の画像差分認識手段6bは、記憶手段5から車両の発車前における車両周囲の画像20と、車両の発車時における車両周囲の画像21とを読み出して、差分をとる。この処理によって、検出手段6は、差分処理後の画像22を得る。検出手段6は、この画像22が靴の画像21aのデータのみを有していることを検出する。
【0026】
検出手段6は、この検出結果から、車両の発車時における車両周囲の画像23のデータを表示手段10bに出力する。この際、表示手段10bは、画像23に、靴21aの画像を強調する画像23aを重畳する。なお、本実施形態では、検出手段6による忘れ物検出処理結果を表示手段10bが表示したが、表示手段10bの表示に代えて、または、表示とともに音声出力手段10aが音声出力してもよい。例えば、音声出力手段10aは「靴を車外に置き忘れています」と音声出力して、車外に忘れ物があることをユーザに認識させる。
【0027】
次に、図2の画像22を得るための検出手段6による差分処理について説明する。
【0028】
図3は、検出手段6による忘れ物を特定する処理の概念をイメージで説明した図である。
【0029】
駐車判定手段3aは、シフトレバー検知センサ8cからシフトレバーがPレンジに設定された状態であるとの車両状態信号を入力されたとき、車両が駐車していると判定する。駐車判定手段3が車両の駐車を判定したとき、画像合成手段4は、車両の駐車時における車両周囲の画像30を合成する。駐車画像記憶手段5aは、合成された画像30を記憶する。
【0030】
また、乗車前判定手段3bは、エンジンセンサ8bからエンジンが停止した状態であることを示す車両状態信号、および、ドア開閉検知センサ8aからドアが開けられたことを示す車両状態信号を入力されたとき、ユーザが車両に乗車前であると判定する。乗車前判定手段3bが、車両にユーザが乗車する前であることを判定したとき、画像合成手段4は、車両にユーザが乗車する前における車両周囲の画像31を合成する。乗車前画像記憶手段5bは、合成された画像31を記憶する。
【0031】
また、発車判定手段3cは、エンジンセンサ8bからエンジンが始動した状態であることを示す車両状態信号、および、シフトレバーがPレンジからPレンジ以外のレンジに設定された状態であることを示す車両状態信号をシフトレバー検知センサ8cから入力されたとき、発車判定手段3cは車両が発車する時であると判定する。発車判定手段3cが車両の発車を判定したとき、画像合成手段4は、車両の発車時における車両周囲の画像31を合成する。発車画像記憶手段5cは、合成された画像31を記憶する。
【0032】
なお、図3において判定手段3が判定した「乗車前」と「駐車時」は、いずれも図2において判定手段3が判定した「発車前」の概念に包含される。判定手段3によって「乗車前」と「駐車時」とがそれぞれ判定され、その判定結果が図3で説明されたように用いられることによって、より忘れ物の検出精度を高めることができる。ただし、判定手段3が判定する「発車前」に包含される概念は、「乗車前」と「駐車時」に限られない。また、判定手段3は、「乗車前」の判定のみ、または「駐車時」の判定のみによって「発車前」を判定してもよい。
【0033】
検出手段6の画像差分認識手段6bは、駐車画像記憶手段5aから読み出した車両の駐車時における車両周囲の画像30と、乗車前画像記憶手段5bから読み出した車両にユーザが乗車する前における車両周囲の画像31との差分をとった差分画像33を取得する。
【0034】
また、画像差分認識手段6bは、乗車前画像記憶手段5bから読み出した車両にユーザが乗車する前における車両周囲の画像31と、発車画像記憶手段5cから読み出した車両の発車時における車両周囲の画像31との差分をとった差分画像34を取得する。
【0035】
画像差分認識手段6bは、この差分画像33と差分画像34との論理積を取ることによ
って、差分画像33と差分画像34の重複要素を抽出した重複要素画像35を取得する。
【0036】
画像差分認識手段6bは、差分画像34と重複要素画像35との差分をとって発車時の忘れ物を抽出した画像36を取得する。この画像36が図2における画像22に対応する。
【0037】
このような画像差分認識手段6bの差分処理によって、検出手段6は、発車時における忘れ物のみを抽出した画像データを得ることができる。特に、本差分処理では、車両にユーザが乗車する前の映像を用いているため、駐車時から発車時までの駐車時間が長い場合に撮影画像における日照や物体の変化による誤差の影響を低減させることができる。
【0038】
次に、車両周囲変化検出装置1による忘れ物検出処理について説明する。
【0039】
図4は、車両周囲変化検出装置による忘れ物検出処理のフローチャート図である。
【0040】
まず、ステップS41に示すように、駐車判定手段3aは、自車両が駐車するか否かを判定する。ステップS41でNOの場合、駐車判定手段3aは、所定時間後に再度駐車判定処理を行う。一方、ステップS41でYESの場合、車両周囲変化検出装置1は、ステップS42に示すように、駐車処理を行う。
【0041】
次に、ステップS43に示すように、判定手段3は、車両が走行中か否かを判定する。ステップS43でYESの場合、駐車判定手段3aが所定時間後に再度S41の処理を行う。一方、ステップS43でNOの場合、ステップS44に示すように、乗車前判定手段3bは、ユーザが自車両に乗車前であるか否かを判定する。ステップS44でYESの場合、ステップS45に示すように、車両周囲変化検出装置1は、乗車前処理を行う。一方、ステップS44でNOの場合、ステップ43の処理を再度実行する
次に、ステップS46に示すように、発車判定手段3cは、ユーザが車両に乗車して発車可能な状態か否かを判定する。ステップS46でNOの場合、発車判定手段3cは、所定時間後に再度ステップS46の処理を行う。一方、ステップS46でYESの場合、ステップS47に示すように、車両周囲変化検出装置1は、発車処理を行う。
【0042】
次に、ステップS42の駐車処理について説明する。
【0043】
図5は、駐車処理のフローチャート図である。
【0044】
ステップS51に示すように、撮影手段9は、駐車判定手段3aの判定結果に基づいて自車両の周囲を撮影する。次に、ステップS52に示すように、画像合成手段4は、撮影された画像を合成する。そして、ステップS53に示すように、駐車画像記憶手段5aが合成された画像を記憶する。
【0045】
次に、ステップS45の乗車前処理について説明する。
【0046】
図6は、乗車前処理のフローチャート図である。
【0047】
ステップS61に示すように、撮影手段9は、乗車前判定手段3bの判定結果に基づいて自車両の周囲を撮影する。次に、ステップS62に示すように、画像合成手段4は、撮影された画像を合成する。そして、ステップS63に示すように、画像差分認識手段6aは、ステップS62で合成された合成画像と駐車画像記憶手段5aに記憶された駐車時の合成画像との差分をとる。そして、ステップS64に示すように、乗車前画像記憶手段5bは、ステップS62で合成された合成画像とステップS63で抽出された差分画像とを
記憶する。
【0048】
次に、ステップS47の発車処理について説明する。
【0049】
図7は、発車処理のフローチャート図である。
【0050】
ステップS72に示すように、撮影手段9は、発車判定手段3cの判定結果に基づいて自車両の周囲を撮影する。次に、ステップS72に示すように、画像合成手段4は、撮影された画像を合成する。そして、ステップS73に示すように、画像差分認識手段6aは、ステップS72で合成された合成画像と乗車前画像記憶手段5bに記憶された乗車前の合成画像との差分をとる。そして、ステップS74に示すように、発車画像記憶手段5cは、ステップS72で合成された合成画像とステップS73で抽出された差分画像とを記憶する。
【0051】
次に、ステップS75に示すように、画像差分認識手段6bは、物体検出処理を行う。具体的には、画像差分認識手段6bは、ステップS63で抽出された差分画像とステップS73で抽出された差分画像とを乗車前記憶手段5bと発車記憶手段5cとからそれぞれ読み出して論理積をとる。
【0052】
次に、ステップS76に示すように、検出手段6は、ステップS75の結果から、物体が自車両周辺に存在するか否かを検出する。具体的には、検出手段6は、ステップS73で抽出された差分画像とステップS75で抽出された重複画像との差分をとる。検出手段6は、この差分処理によってゼロでない画像データを抽出した場合に、物体があることを検出する。ステップS76でNOの場合、車両周囲変化検出装置1は、処理を終了する。
【0053】
ステップS76でYESの場合、ステップS77に示すように、検出手段6は、音声案内を実施するか否かを判定する。ステップS77でYESの場合、ステップS78に示すように、検出手段6は、音声出力手段10aにステップS76で検出した物体を忘れ物として音声案内させる。
【0054】
ステップS78の処理が終わった場合、またはステップS77でNOの場合、ステップS79に示すように、検出手段6は、映像案内を実施するか否かを判定する。ステップS79でNOの場合、車両周囲変化検出装置1は、処理を終了する。ステップS79でYESの場合、ステップS80に示すように、検出手段6は、表示手段10bにステップS76で検出した物体を忘れ物として表示させる。
【0055】
以上のように、本発明の車両周囲変化検出装置1によれば、ユーザは車両周囲に置き忘れた物体に気づくことができる。そのため、車外に置き忘れた物体をそのまま忘れることなく搭載して車両を発進することができる。
【0056】
なお、ステップS41の駐車判定、ステップS44の乗車前判定、ステップS46の乗車判定の各判定条件や、報知手段10による忘れ物案内内容については、条件管理手段7に記憶されている。そして、判定手段3による判定や報知手段10による報知の際に判定手段3や検出手段6が条件管理手段7から各種条件を読み出す。、ユーザは、条件設定手段11を用いて、条件管理手段7に記憶された判定条件や案内内容を変更することができる。
【0057】
判定手段3の判定条件設定の一例について説明する。
【0058】
図8は、条件設定手段11による判定手段3の条件設定画面を表示手段10bに表示し
た図である。図9は、図8の駐車判定方法の条件設定画面を表示手段10bに表示した図である。図8に示されるように、表示手段10bには、駐車判定や発車判定の条件、忘れ物の案内方法が示されている。ユーザが条件設定手段11で図8の「駐車判定方法」を選択した場合、図9に示されるように、表示手段10bは、駐車判定条件を選択する画面に切り替わる。ユーザは、表示手段10bの画面に表示された条件内容を見ながら条件設定手段11で判定条件を設定する。これにより、ユーザが車外の地域環境に応じた条件設定や嗜好に合った案内をすることができる。
【0059】
なお、本実施形態において、駐車判定手段3a、乗車前判定手段3b、発車判定手段3cは、ドア開閉検知センサ8a、エンジンセンサ8b、シフトレバー検知センサ8cの車両状態信号に基づいて、それぞれ車両が駐車していること、ユーザが車両に乗車前であること、車両が発車する時であることを判定したが、他のセンサによる車両状態信号に基づいて判定を行ってもよい。例えば、駐車判定手段3aは、エンジンセンサ8bによってエンジンが停止されたことを示す車両状態信号、および、図示しないドアロックセンサによって、自車両のドアがロックされたことを示す車両状態信号を入力されたときに車両が駐車していると判定してもよい。また、乗車前判定手段3bは、図示しないドアロックセンサによって、自車両のドアがアンロックされたことを示す車両状態信号を入力されたときにユーザが車両に乗車前であると判定してもよい。また、乗車前判定手段3bは、図示しない赤外線センサ等の接近検知センサによって、物体が接近したことを示す車両状態信号を入力されたときにユーザが車両に乗車前であると判定してもよい。この場合、太陽など日照の影響を受けにくく認識精度を向上させることができる。また、発車判定手段3cは、エンジンが始動した状態であることを示す車両状態信号、および、シフトレバーがPレンジからPレンジ以外のレンジに設定された状態を示す車両状態信号をシフトレバー検知センサ8cから入力され、さらに、ドア開閉検知センサ8aから自車両のドアが全て閉められたことを示す車両状態信号を入力されたとき、車両が発車する時であることを判定してもよい。また、発車判定手段3cは、図示しないアクセル検知センサからアクセルが踏まれた状態を示す車両状態信号、および、図示しないブレーキ検知センサからブレーキがオフされた状態を示す車両状態信号を入力されたとき、車両が発車する時であることを判定してもよい。
【0060】
なお、本実施形態の車両周囲変化検出装置1において、画像合成手段4は、合成により車両の全周囲画像を生成したが、車両周囲の一部の画像のみを生成してもよい。また、車両周囲変化検出装置1は、画像合成手段4を備えず、撮影手段9の撮影画像をそのまま記憶手段5に記憶する構成であってもよい。この場合、例えば、検出手段6が忘れ物を検知した場合、検出手段6は、その忘れ物が検知された領域が前方カメラ9a、右側方カメラ9b、左側方カメラ9c、後方カメラ9dいずれによって撮像された領域であるかを検出する。検出手段6は、この検出結果を、記憶手段5にインクリメントして記憶させる。そして、判定手段3は、記憶手段5から各カメラ9a〜9dに対応したこの検出回数を読み出す。判定手段3は、検出手段6による検出回数が多いカメラの映像を選択して記憶手段5に記憶させる。これにより、車両の全周囲を確認することはできなくなるが、ユーザが忘れ物をする頻度の高い箇所を検出するので、忘れ物検出にかかる時間を短縮することと忘れ物の検出精度の一定の維持とを両立することができる。
【産業上の利用可能性】
【0061】
本発明の車両周囲変化検出装置は、車両脇まで持ってきた荷物の搭載忘れ防止、靴の置き忘れ防止に有用である。
【符号の説明】
【0062】
1 車両周囲変化検出装置
3 判定手段
5 記憶手段
6 検出手段

【特許請求の範囲】
【請求項1】
車両の発車時と発車前の状態を判定する判定手段と、
この判定手段の判定結果に基づいて入力された車外の撮影映像を記憶する記憶手段と、
前記判定手段の判定結果と前記記憶手段が記憶した車外の撮影映像とに基づいて車両周囲の変化を検出する検出手段とを備え、
前記検出手段は、前記記憶手段が記憶した車両の発車時における車外の撮影映像と車両の発車前における車外の撮影映像とを比較して車両周囲の変化を検出することを特徴とする車両周囲変化検出装置。
【請求項2】
前記検出手段は、検出した車両周囲の変化の情報を報知手段に出力することを特徴とする請求項1に記載の車両周囲変化検出装置。
【請求項3】
前記判定手段は、車両の発車時と乗車前と駐車時の状態を判定し、
前記検出手段は、前記記憶手段が記憶した車両の発車時における車外の撮影映像と車両の乗車前における車外の撮影映像と車両の駐車時における車外の撮影映像とを比較して車両周囲の変化を検出することを特徴とする請求項1に記載の車両周囲変化検出装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−164665(P2011−164665A)
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願番号】特願2010−22961(P2010−22961)
【出願日】平成22年2月4日(2010.2.4)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】