車載用表示装置および表示方法
【課題】 撮像データに映された車両の同一性を容易に確認することができる「車載用表示装置および表示方法」を提供する。
【解決手段】 本発明に係る車載用表示装置１０は、少なくとも自車の後方を撮像し、撮像データを出力する撮像部２０と、撮像データ内の車両を認識する車両認識部３０と、車両が認識されたとき当該車両の固有情報を抽出する抽出部４０と、固有情報に関連付けされる識別情報を設定する検索設定部５０と、撮像データを表示するとき、設定された識別情報を撮像データに合成する画像合成部７０と、合成された画像をバックビューディスプレイに表示する表示制御部８０とを有する。
【解決手段】 本発明に係る車載用表示装置１０は、少なくとも自車の後方を撮像し、撮像データを出力する撮像部２０と、撮像データ内の車両を認識する車両認識部３０と、車両が認識されたとき当該車両の固有情報を抽出する抽出部４０と、固有情報に関連付けされる識別情報を設定する検索設定部５０と、撮像データを表示するとき、設定された識別情報を撮像データに合成する画像合成部７０と、合成された画像をバックビューディスプレイに表示する表示制御部８０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにより撮像された撮像データを用いて自車周辺の状況を表示する機能を備えた車載用表示装置に関し、特に、自車の後方の状況を確認するためのバックビューディスプレイの表示に関する。
【背景技術】
【０００２】
車載カメラにより撮像された撮像データをディスプレイに表示し、目視が届かない後方領域や死角領域の状況を運転者に提示するビューシステムの利用が進んでいる。例えば、特許文献１は、車両の後方監視装置に関し、後続車のナンバープレート情報を認識して、つきまとい車両を検出し、検出された場合には警告を出力し、運転者に注意を喚起させている。
【０００３】
【特許文献１】特開２００５―５６０６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
車両の外観デザインやボディカラーが類似していると、一見して車両を区別することは難しい。特に、バックミラーに写された像は小さいため、車両の外観が似ていると同一車両か否かの区別がつきにくい。また、仮に、後続車のナンバーを確認することができたとしても、そのナンバーを記憶しておき、後続車が入れ替わるたびに車両が同一であるか否かを判別することは事実上困難である。よって、類似した後続車が入れ替わったとしても、ドライバーはそれに気がつかないことが多く、例えば、何度も追越しをする危ない後続車、あるいは、つきまとう迷惑な後続車であっても、これらの後続車を避けることができず、時には事故につながってしまうこともある。
【０００５】
本発明は、このような課題に着目し、撮像データに映された車両の同一性を容易に確認することができる車載用表示装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る車載用表示装置は、少なくとも自車の後方を撮像し、撮像した撮像データを出力する撮像手段と、撮像データから車両が認識されたとき、当該車両に固有な固有情報を抽出する抽出手段と、前記固有情報に関連付けされる識別情報を設定する設定手段と、前記撮像データを表示するとき、前記識別情報を前記撮像データに合成して表示する表示手段とを有する。
【０００７】
好ましくは車載用表示装置はさらに、前記固有情報と前記識別情報との対応関係を記憶する記憶手段と、前記抽出手段により抽出された固有情報と一致する固有情報が前記記憶手段に記憶されているか否かを検索する検索手段とを含み、前記表示手段は、前記検索手段により検索された固有情報に関連付けされた識別情報を前記撮像データに合成して表示する。
【０００８】
前記撮像手段は、車両の側方を撮像する他の撮像カメラを含み、前記抽出手段は、前記他の撮像カメラにより撮像された撮像データから他の車両が認識されたとき、認識された他の車両の固有情報を抽出し、前記表示手段は、前記他の車両の固有情報に関連付けされた識別情報を表示するようにしてもよい。前記設定手段は、予め用意された複数の識別情報から予め決められた順序に従い識別情報を選択し、選択した識別情報を固有情報に関連付けして設定することができる。好ましくは、前記表示手段は、車室内に配置された自車後方を確認するためのディスプレイを含み、当該ディスプレイに前記撮像データおよび識別情報が表示される。好ましくは前記固有情報は、車両のナンバープレートに示された情報である。
【０００９】
本発明に係る、車室内に配置された自車後方を確認するためのディスプレイに撮像データを表示する表示方法は、少なくとも自車の後方を撮像するステップと、撮像データに車両が認識されたとき、当該車両の固有情報を抽出するステップと、前記固有情報に関連付けされる識別情報を設定するステップと、前記設定された識別情報と前記撮像データとを合成するステップと、前記合成された画像を前記ディスプレイに表示するステップとを有する。
【発明の効果】
【００１０】
本発明によれば、撮像データに車両が認識されたとき、撮像データと当該車両の識別情報を合成して表示するようにしたので、撮像データの車両が入れ替われば、識別情報が変更され、車両の入れ替わり、または車両の同一性を容易に確認することができる。また、撮像データに映る車両が何度も入れ替わる場合に、その都度、同じ識別情報が表示されるため、車両の同一性の確認がし易く、当該車両の挙動から危険な車両の可能性を察知することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【００１２】
図１は、本発明の実施例に係る車載用表示装置の構成を示す機能ブロック図である。車載用表示装置１０は、自車周辺を撮像する撮像部２０と、撮像部２０の撮像データ内に車両が撮像されているか否かを認識する車両認識部３０と、車両が認識された場合には、認識された車両の車種、ボディカラー、登録ナンバーなどの車両に固有な固有情報を抽出する抽出部４０と、抽出した固有情報に対応する識別情報を記憶部６０に設定し、あるいは抽出された固有情報に一致する固有情報が既に記憶部に登録されているか否かを検索する検索設定部５０と、予め用意された複数の識別情報を記憶しかつ固有情報と識別情報との対応関係などを記憶する記憶部６０と、認識された車両に対応する識別情報が合成されるように撮像データと識別情報を合成する画像合成部７０と、合成された画像を車内のバックビューディスプレイに表示する表示制御部８０とを含んで構成される。
【００１３】
撮像部２０は、少なくとも１つ以上の撮像カメラ２２を含む。本実施例では、図２(ａ)に示すように撮像カメラ２２が自車の後方に設置され、少なくとも自車の後方を視野角θで撮像する。図２（ｂ）は、自車の車室内を上方から透視した図である。運転席８２の上部前方に、自車の後方の状況を確認するためのバックビューディスプレイ９０が取り付けられている。バックビューディスプレイ９０には、後述するように撮像部２０で撮像された自車後方の撮像データが表示される。あるいは、バックミラーと併用するようにバックミラーに隣接して取り付けるようにしてもよい。さらにこれ以外にも、バックビューディスプレイは、ナビゲーション画像、ＤＶＤの再生映像、テレビの受信映像などを表示するディスプレイと共有でもよい。
【００１４】
車両認識部３０は、撮像データを画像処理し、撮像データに車両が映されているか否かを認識する。認識方法は、例えば、撮像データから切り出された物体のパターンが予め登録されたパターンに一致もしくは類似するか否かを判定するパターンマッチングを用いることができる。
【００１５】
車両認識部３０で車両の存在が認識されると、抽出部４０は、車両認識部３０で画像処理されたデータを受け取り、ここから車両の固有情報を抽出する。
一般に、自車の後方を走行する後続車両を撮像した場合、撮像データには、車両の前部が映されている。抽出部３０は、例えば、撮像データから車両のナンバープレート領域を切り出し、ナンバープレートについての文字認識を行い、ナンバープレートのテキストデータを抽出する。あるいは抽出部３０は、車両前部の撮像データからヘッドライトの配置、ボディカラー、車両形状などを抽出し、車種（トラックまたは乗用車）などを特定するようにしてもよい。車種の特定は、ヘッドライトの配置、形状などの特徴情報を予め登録しておき、そのような特徴情報とのパターンマッチングにより行うことができる。
【００１６】
検索設定部５０は、抽出部４０により車両の固有情報が抽出されると、抽出された固有情報が記憶部６０に登録されているか否かを検索する。固有情報が既に登録されている場合には、検索設定部５０は、登録された固有情報に関連付けされた識別情報を記憶部６０から読出し、読み出した識別情報を画像合成部７０へ提供する。他方、固有情報が未登録である場合には、記憶部６０に予め用意されている複数の識別情報の識別情報を選択し、選択された識別情報と固有情報を関連付けして登録する。例えば、固有情報がナンバー等のテキスト情報であれば、ナンバーが既に登録されているか否かを検索する。また、固有情報が画像データであれば、当該画像データに一致する画像データが登録されているか否かを検索する。
【００１７】
図３は、記憶部に登録される固有情報と識別情報の対応関係の例を示している。ここでは、認識された車両の固有情報として、ナンバープレートから抽出された登録ナンバーを用い、識別情報としてバックビューディスプレイに表示するときの色情報を用いている。例えば、車両Ｃ１の登録ナンバーが「１１１−２２３３」であるとき、これに関連付けされて「赤色」の識別情報が設定される。車両Ｃ２の登録ナンバーが「４４４−５５６６」であるとき、これに関連付けされて「青色」の識別情報が設定され、車両Ｃｎ登録ナンバーが「７７７−８８９９」であるとき、これに関連付けされて「黄色」の識別情報が設定される。ここでは、識別情報の例に色情報を示したが、これ以外にも、図形、数字、アルファベットなどの識別マークや識別形状等を用いることができる。なお、記憶部６０に記憶された固有情報およびそれとの識別情報の対応関係は、一定期間後に消去される。
【００１８】
画像合成部７０は、検索設定部５０から得られた識別情報と撮像部２０からの撮像データとを合成し、合成画像を作成する。画像合成部７０は、例えば、図４に示すように、撮像部２０からの撮像データを一時記憶するバッファメモリ７２と、検索設定部５０から提供された識別情報に基づき識別表示パターンを生成する識別表示パターン生成部７４と、撮像データと識別表示パターンを合成する合成処理部７６とを含んでいる。
【００１９】
識別表示パターン生成部７４は、例えば、バックビューディスプレイの外枠を示す形状パターン、あるいは認識された車両の特定部位（例えば、認識車両の外枠、認識車両のナンバープレートの外枠、ヘッドライトの外枠など）を示す形状パターンを生成する。これらの形状パターンは、識別情報によって特定された色情報を有する。識別表示パターン生成部７４は、車両認識部３０で認識されたデータや抽出部４０で抽出されたデータを利用して形状パターンを生成してもよいし、予め形状パターンを用意してもよい。
【００２０】
画像処理部７６は、撮像データと識別表示パターンとを合成した画像データを作成し、これを表示制御部８０へ提供する。表示制御部８０は、合成された画像データをバックビューディスプレイ９０（図２（ｂ）を参照）に表示する。
【００２１】
次に、本実施例に係る車載用表示装置の動作について図５のフローチャートを参照して説明する。撮像部２０により自車の後方が撮像されると（ステップＳ１０１）、車両認識部３０は、撮像データに基づき後方車両が存在するか否かを判定する（ステップＳ１０２）。後方車両の存在が認識された場合には、抽出部３０は、撮像データに映された後方車両のナンバープレート領域を切り出し、登録ナンバーを固有情報として抽出する（ステップＳ１０３）。
【００２２】
次に、検索設定部５０は、抽出した固有情報が記憶部６０に登録されているか否かを検索する（ステップＳ１０４）。記憶部６０の内容は、一定時間毎に消去されるので、もし、固有情報が記憶部６０に登録されていれば、その後方車両は、一定時間以内に過去に存在しあるいは存在中の車両である。他方、固有情報が登録されていなければ、その後方車両は、新たに存在することになった車両である。
【００２３】
検索設定部５０は、固有情報が登録されている場合には（ステップＳ１０５）、固有情報に関連付けされた識別情報を読み出し（ステップＳ１０６）、固有情報が登録されていない場合には、固有情報に関連付けされる識別情報を設定し（ステップＳ１０７）、設定した識別情報を画像合成部７０に出力する。画像合成部７０は、識別情報に基づき生成された識別表示パターンと撮像データを合成した画像を作成し（ステップＳ１０８）、表示制御部８０は、作成された合成画像をバックビューディスプレイに表示する（ステップＳ１０９）。
【００２４】
図６は、バックビューディスプレイへの表示例である。図６（ａ）は、後方車両の入れ替え前の位置関係を示し、図６（ｂ）はこのときにバックビューディスプレイに表示される合成画像である。図６（ａ）において、矢印の方向に走行する自車Ｍのすぐ後方には車両Ｃ１がおり、その車両Ｃ１の後ろには車両Ｃ２が走行する。検索設定部５０は、新たに認識した車両Ｃ１の固有情報に関連付けされる識別情報として「赤色」を設定する。画像合成部７０は、車両Ｃ１を撮像した撮像データに、赤色の矩形の識別表示パターンＤ１が合成されるような合成画像Ａ１を作成する。識別表示パターンＤ１は、例えば、撮像データの外周を囲むもの、あるいは車両Ｃ１を囲むものである。そして、表示制御部８０は、図６（ｂ）に示すように合成画像Ａ１をバックビューディスプレイ９０に表示する。
【００２５】
次に、図６（ｃ）に示すように、後方の車両Ｃ２が車両Ｃ１を追越し、自車Ｍの後方の車両が車両Ｃ２に入れ替わると、検索設定部５０は、新たに認識した車両Ｃ２の固有情報に関連付けされる識別情報として「青色」を設定し、画像合成部７０は、車両Ｃ２を撮像した撮像データを青色の矩形の識別表示パターンＤ２が取り囲むような合成画像Ａ２を作成し、表示制御部８０は、図６（ｄ）に示すように合成画像Ａ２をバックビューディスプレイ９０に表示する。
【００２６】
このような表示により、車両Ｃ１と車両Ｃ２が一見して類似しまたは外観が酷似していても、車両の固有情報が異なれば、それに応じた識別表示パターンがバックビューディスプレイに成されるため、ドライバーは、識別表示パターンの変化から後方の車両の入れ替わりを直ちに認識することができ、後方への注意を喚起することができる。例えば、過去に何度も追越しを繰り返している車両と、そうでない車両とが似たような外観であっても、ドライバーは識別表示パターンに基づいてこれらを区別することができ、ドライバーは危険な車両を事前に察知することができる。
【００２７】
なお、図６（ｃ）に示す状態から再び図６（ａ）に示す状態に戻った場合には、車両Ｃ１の固有情報が記憶部６０に登録されているので、その識別情報パターンがバックビューディスプレイに表示される。さらに、車両Ｃ１、Ｃ２以外の新たな車両Ｃ３が認識された場合には、検索設定部５０は、車両Ｃ１、Ｃ２に設定された識別情報と異なる識別情報を車両Ｃ３の固有情報に設定し、車両Ｃ３とともにその識別表示パターンがバックビューディスプレイに表示される。
【００２８】
上記実施例では、枠状の識別表示パターンを例示したが、識別表示パターンは、この形状に限定されるものではない。識別表示パターンは、例えば、撮像データに映される車両のナンバープレートの色彩を識別情報に基づき変更することも可能である。さらに、識別表示パターンは、撮像データやそこに映される車両が透けて見えるように合成してもよい。
【００２９】
また、車両の固有情報に割り当てる識別情報は、予め決められた順番で選択されるようにすることができる。例えば、図４に示す色情報を識別情報に用いるとき、赤色、青色、・・・黄色の順に、色情報が設定されるようにする。これにより、ユーザは、バックビューディスプレイに表示された識別表示パターンを見ることで、既に、登録された車両、言い換えれば、以前に、自車の後方を走行していた車両か否かを認識することができる。また、新たな後続車両が出現したことも容易に理解することができる。
【００３０】
さらに上記実施例では、識別情報に基づき識別表示パターンを生成する例を示したが、これに限らず、検索設定部５０は、識別表示パターンを識別情報として記憶部６０に格納し、画像合成部７０は、記憶部６０から読み出された識別表示パターンを合成するようにしてもよい。
【００３１】
次に、本発明の第２の実施例について説明する。車両を追越する場合、走行車線から追越車線に車線変更し、そして前方の車両を追越し、走行車線に戻るのが一般的である。従って、自車の側面（特に、追越し車線がある側面）に移動した車両は、自車を追越す可能性が高い。第２の実施例は、自車の後方から側面に移動した車両を検出してそれの警告案内をすることを特徴とする。
【００３２】
第２の実施例において、撮像部２０は、図７に示すように、車両の後方のみならず左右に撮像カメラ２４、２６を取り付け、自車の後方および左右側面を撮像する。図１に示す車両認識部３０は、それぞれの撮像データに映し出された車両の認識を行い、抽出部４０は、それぞれの撮像データから認識された車両の固有情報を抽出し、検索設定部５０は、それぞれの固有情報についての検索および設定を行う。画像合成部７０は、検索設定部５０からの識別情報を受け取り、撮像データの合成を行う。画像合成部７０は、右側を走行する車両が認識されたときは、バックビューディスプレイの右側に当該車両の識別表示が合成されるようにし、左側を走行する車両が認識されたときは、バックビューディスプレイの左側に当該車両の識別表示が合成されるようにする。
【００３３】
図８（ａ）は自車と他車両の位置関係を示す図である。自車Ｍのすぐ後方を走行していた車両Ｃ１が右側に車線変更をすると、自車Ｍの後方を走行するのは車両Ｃ２であり、自車の右側方を走行するのは車両Ｃ１である。
【００３４】
このとき、バックビューディスプレイには、図８（ｂ）に示すように、第１の実施例のときと同様に、車両Ｃ２の撮像データと車両Ｃ２の識別表示パターンＤ２が表示され、さらに右側に移動した車両Ｃ１の識別表示パターンＤ１が合成された合成画像Ａ３が表示される。この識別表示パターンＤ１が右側に表示されることで、車両Ｃ１が右側へ移動したことを知ることができる。同様に、車両が左側の車線に移動した場合には、図８（ｃ）に示すように識別表示パターンＤ１が左側に表示され、左右の双方に車両が認識されれば、左右に識別表示パターンが成される。なお、図８（ｂ）では、車両Ｃ１の識別表示パターンＤ１と車両Ｃ２の識別表示パターンＤ２との区別を容易にするため、識別表示パターンＤ２は撮像データを取り囲むような矩形であり、識別表示パターンＤ１は円形であるように、色以外にも表示態様を異ならせている。また、表示サイズを異ならせても良い。さらに、図８（ｂ）では、後方を撮像した撮像データのみを表示しているが、自車の左右のいずれかの撮像データに車両が認識された場合には、認識された撮像データを並べて表示させるようにしてもよい。
【００３５】
第２の実施例によれば、ドライバーは、自車の後方および側方に存在する車両をそれぞれ確認することができ、側方車両の追越し行為を事前に探知することができる。さらに、道路交通法規において、車両を追越すときには、対象車両の右側車線から追越すことを推奨しているので、後方車両が右車線に移動したときは追越し、左車線に移動したときは進路変更と予測することができる。
【００３６】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求項の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【００３７】
上記実施例では、バックビューディスプレイに撮像データとその識別情報を表示したが、併せて、音声による警告を出力するようにしてよい、例えば、撮像データに車両が認識されたとき警告音を発したり、撮像データに認識される車両が入れ替わったときに警告音を発するようにしてもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施例に係る車載用表示装置の機能ブロック図である。
【図２】本実施例に係る撮像カメラの設置例である。
【図３】記憶部に登録された固有情報と識別情報との対応関係の例を示した図である。
【図４】図１に示す画像合成部の構成を示す図である。
【図５】本実施例に係る車載用表示装置の動作を示すフローチャートである。
【図６】図６（ａ）は後方車両が入れ替わり前の位置関係を示し、図６（ｂ）は入れ替わり前の合成画像の表示例であり、図６（ｃ）は後方車両が入れ替わった後の位置関係を示し、図６（ｄ）は入れ替わり後の合成画像の表示例である。
【図７】本発明の第２の実施例における撮像カメラの設置例を示す図である。
【図８】本発明の第２の実施例に係る合成画像の表示例である。
【符号の説明】
【００３９】
１０：車載用表示装置 ２０：撮像部
３０：車両認識部 ４０：抽出部
５０：検索設定部 ６０：記憶部
７０：画像合成部 ８０：表示制御部
【技術分野】
【０００１】
本発明は、車載カメラにより撮像された撮像データを用いて自車周辺の状況を表示する機能を備えた車載用表示装置に関し、特に、自車の後方の状況を確認するためのバックビューディスプレイの表示に関する。
【背景技術】
【０００２】
車載カメラにより撮像された撮像データをディスプレイに表示し、目視が届かない後方領域や死角領域の状況を運転者に提示するビューシステムの利用が進んでいる。例えば、特許文献１は、車両の後方監視装置に関し、後続車のナンバープレート情報を認識して、つきまとい車両を検出し、検出された場合には警告を出力し、運転者に注意を喚起させている。
【０００３】
【特許文献１】特開２００５―５６０６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
車両の外観デザインやボディカラーが類似していると、一見して車両を区別することは難しい。特に、バックミラーに写された像は小さいため、車両の外観が似ていると同一車両か否かの区別がつきにくい。また、仮に、後続車のナンバーを確認することができたとしても、そのナンバーを記憶しておき、後続車が入れ替わるたびに車両が同一であるか否かを判別することは事実上困難である。よって、類似した後続車が入れ替わったとしても、ドライバーはそれに気がつかないことが多く、例えば、何度も追越しをする危ない後続車、あるいは、つきまとう迷惑な後続車であっても、これらの後続車を避けることができず、時には事故につながってしまうこともある。
【０００５】
本発明は、このような課題に着目し、撮像データに映された車両の同一性を容易に確認することができる車載用表示装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る車載用表示装置は、少なくとも自車の後方を撮像し、撮像した撮像データを出力する撮像手段と、撮像データから車両が認識されたとき、当該車両に固有な固有情報を抽出する抽出手段と、前記固有情報に関連付けされる識別情報を設定する設定手段と、前記撮像データを表示するとき、前記識別情報を前記撮像データに合成して表示する表示手段とを有する。
【０００７】
好ましくは車載用表示装置はさらに、前記固有情報と前記識別情報との対応関係を記憶する記憶手段と、前記抽出手段により抽出された固有情報と一致する固有情報が前記記憶手段に記憶されているか否かを検索する検索手段とを含み、前記表示手段は、前記検索手段により検索された固有情報に関連付けされた識別情報を前記撮像データに合成して表示する。
【０００８】
前記撮像手段は、車両の側方を撮像する他の撮像カメラを含み、前記抽出手段は、前記他の撮像カメラにより撮像された撮像データから他の車両が認識されたとき、認識された他の車両の固有情報を抽出し、前記表示手段は、前記他の車両の固有情報に関連付けされた識別情報を表示するようにしてもよい。前記設定手段は、予め用意された複数の識別情報から予め決められた順序に従い識別情報を選択し、選択した識別情報を固有情報に関連付けして設定することができる。好ましくは、前記表示手段は、車室内に配置された自車後方を確認するためのディスプレイを含み、当該ディスプレイに前記撮像データおよび識別情報が表示される。好ましくは前記固有情報は、車両のナンバープレートに示された情報である。
【０００９】
本発明に係る、車室内に配置された自車後方を確認するためのディスプレイに撮像データを表示する表示方法は、少なくとも自車の後方を撮像するステップと、撮像データに車両が認識されたとき、当該車両の固有情報を抽出するステップと、前記固有情報に関連付けされる識別情報を設定するステップと、前記設定された識別情報と前記撮像データとを合成するステップと、前記合成された画像を前記ディスプレイに表示するステップとを有する。
【発明の効果】
【００１０】
本発明によれば、撮像データに車両が認識されたとき、撮像データと当該車両の識別情報を合成して表示するようにしたので、撮像データの車両が入れ替われば、識別情報が変更され、車両の入れ替わり、または車両の同一性を容易に確認することができる。また、撮像データに映る車両が何度も入れ替わる場合に、その都度、同じ識別情報が表示されるため、車両の同一性の確認がし易く、当該車両の挙動から危険な車両の可能性を察知することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【００１２】
図１は、本発明の実施例に係る車載用表示装置の構成を示す機能ブロック図である。車載用表示装置１０は、自車周辺を撮像する撮像部２０と、撮像部２０の撮像データ内に車両が撮像されているか否かを認識する車両認識部３０と、車両が認識された場合には、認識された車両の車種、ボディカラー、登録ナンバーなどの車両に固有な固有情報を抽出する抽出部４０と、抽出した固有情報に対応する識別情報を記憶部６０に設定し、あるいは抽出された固有情報に一致する固有情報が既に記憶部に登録されているか否かを検索する検索設定部５０と、予め用意された複数の識別情報を記憶しかつ固有情報と識別情報との対応関係などを記憶する記憶部６０と、認識された車両に対応する識別情報が合成されるように撮像データと識別情報を合成する画像合成部７０と、合成された画像を車内のバックビューディスプレイに表示する表示制御部８０とを含んで構成される。
【００１３】
撮像部２０は、少なくとも１つ以上の撮像カメラ２２を含む。本実施例では、図２(ａ)に示すように撮像カメラ２２が自車の後方に設置され、少なくとも自車の後方を視野角θで撮像する。図２（ｂ）は、自車の車室内を上方から透視した図である。運転席８２の上部前方に、自車の後方の状況を確認するためのバックビューディスプレイ９０が取り付けられている。バックビューディスプレイ９０には、後述するように撮像部２０で撮像された自車後方の撮像データが表示される。あるいは、バックミラーと併用するようにバックミラーに隣接して取り付けるようにしてもよい。さらにこれ以外にも、バックビューディスプレイは、ナビゲーション画像、ＤＶＤの再生映像、テレビの受信映像などを表示するディスプレイと共有でもよい。
【００１４】
車両認識部３０は、撮像データを画像処理し、撮像データに車両が映されているか否かを認識する。認識方法は、例えば、撮像データから切り出された物体のパターンが予め登録されたパターンに一致もしくは類似するか否かを判定するパターンマッチングを用いることができる。
【００１５】
車両認識部３０で車両の存在が認識されると、抽出部４０は、車両認識部３０で画像処理されたデータを受け取り、ここから車両の固有情報を抽出する。
一般に、自車の後方を走行する後続車両を撮像した場合、撮像データには、車両の前部が映されている。抽出部３０は、例えば、撮像データから車両のナンバープレート領域を切り出し、ナンバープレートについての文字認識を行い、ナンバープレートのテキストデータを抽出する。あるいは抽出部３０は、車両前部の撮像データからヘッドライトの配置、ボディカラー、車両形状などを抽出し、車種（トラックまたは乗用車）などを特定するようにしてもよい。車種の特定は、ヘッドライトの配置、形状などの特徴情報を予め登録しておき、そのような特徴情報とのパターンマッチングにより行うことができる。
【００１６】
検索設定部５０は、抽出部４０により車両の固有情報が抽出されると、抽出された固有情報が記憶部６０に登録されているか否かを検索する。固有情報が既に登録されている場合には、検索設定部５０は、登録された固有情報に関連付けされた識別情報を記憶部６０から読出し、読み出した識別情報を画像合成部７０へ提供する。他方、固有情報が未登録である場合には、記憶部６０に予め用意されている複数の識別情報の識別情報を選択し、選択された識別情報と固有情報を関連付けして登録する。例えば、固有情報がナンバー等のテキスト情報であれば、ナンバーが既に登録されているか否かを検索する。また、固有情報が画像データであれば、当該画像データに一致する画像データが登録されているか否かを検索する。
【００１７】
図３は、記憶部に登録される固有情報と識別情報の対応関係の例を示している。ここでは、認識された車両の固有情報として、ナンバープレートから抽出された登録ナンバーを用い、識別情報としてバックビューディスプレイに表示するときの色情報を用いている。例えば、車両Ｃ１の登録ナンバーが「１１１−２２３３」であるとき、これに関連付けされて「赤色」の識別情報が設定される。車両Ｃ２の登録ナンバーが「４４４−５５６６」であるとき、これに関連付けされて「青色」の識別情報が設定され、車両Ｃｎ登録ナンバーが「７７７−８８９９」であるとき、これに関連付けされて「黄色」の識別情報が設定される。ここでは、識別情報の例に色情報を示したが、これ以外にも、図形、数字、アルファベットなどの識別マークや識別形状等を用いることができる。なお、記憶部６０に記憶された固有情報およびそれとの識別情報の対応関係は、一定期間後に消去される。
【００１８】
画像合成部７０は、検索設定部５０から得られた識別情報と撮像部２０からの撮像データとを合成し、合成画像を作成する。画像合成部７０は、例えば、図４に示すように、撮像部２０からの撮像データを一時記憶するバッファメモリ７２と、検索設定部５０から提供された識別情報に基づき識別表示パターンを生成する識別表示パターン生成部７４と、撮像データと識別表示パターンを合成する合成処理部７６とを含んでいる。
【００１９】
識別表示パターン生成部７４は、例えば、バックビューディスプレイの外枠を示す形状パターン、あるいは認識された車両の特定部位（例えば、認識車両の外枠、認識車両のナンバープレートの外枠、ヘッドライトの外枠など）を示す形状パターンを生成する。これらの形状パターンは、識別情報によって特定された色情報を有する。識別表示パターン生成部７４は、車両認識部３０で認識されたデータや抽出部４０で抽出されたデータを利用して形状パターンを生成してもよいし、予め形状パターンを用意してもよい。
【００２０】
画像処理部７６は、撮像データと識別表示パターンとを合成した画像データを作成し、これを表示制御部８０へ提供する。表示制御部８０は、合成された画像データをバックビューディスプレイ９０（図２（ｂ）を参照）に表示する。
【００２１】
次に、本実施例に係る車載用表示装置の動作について図５のフローチャートを参照して説明する。撮像部２０により自車の後方が撮像されると（ステップＳ１０１）、車両認識部３０は、撮像データに基づき後方車両が存在するか否かを判定する（ステップＳ１０２）。後方車両の存在が認識された場合には、抽出部３０は、撮像データに映された後方車両のナンバープレート領域を切り出し、登録ナンバーを固有情報として抽出する（ステップＳ１０３）。
【００２２】
次に、検索設定部５０は、抽出した固有情報が記憶部６０に登録されているか否かを検索する（ステップＳ１０４）。記憶部６０の内容は、一定時間毎に消去されるので、もし、固有情報が記憶部６０に登録されていれば、その後方車両は、一定時間以内に過去に存在しあるいは存在中の車両である。他方、固有情報が登録されていなければ、その後方車両は、新たに存在することになった車両である。
【００２３】
検索設定部５０は、固有情報が登録されている場合には（ステップＳ１０５）、固有情報に関連付けされた識別情報を読み出し（ステップＳ１０６）、固有情報が登録されていない場合には、固有情報に関連付けされる識別情報を設定し（ステップＳ１０７）、設定した識別情報を画像合成部７０に出力する。画像合成部７０は、識別情報に基づき生成された識別表示パターンと撮像データを合成した画像を作成し（ステップＳ１０８）、表示制御部８０は、作成された合成画像をバックビューディスプレイに表示する（ステップＳ１０９）。
【００２４】
図６は、バックビューディスプレイへの表示例である。図６（ａ）は、後方車両の入れ替え前の位置関係を示し、図６（ｂ）はこのときにバックビューディスプレイに表示される合成画像である。図６（ａ）において、矢印の方向に走行する自車Ｍのすぐ後方には車両Ｃ１がおり、その車両Ｃ１の後ろには車両Ｃ２が走行する。検索設定部５０は、新たに認識した車両Ｃ１の固有情報に関連付けされる識別情報として「赤色」を設定する。画像合成部７０は、車両Ｃ１を撮像した撮像データに、赤色の矩形の識別表示パターンＤ１が合成されるような合成画像Ａ１を作成する。識別表示パターンＤ１は、例えば、撮像データの外周を囲むもの、あるいは車両Ｃ１を囲むものである。そして、表示制御部８０は、図６（ｂ）に示すように合成画像Ａ１をバックビューディスプレイ９０に表示する。
【００２５】
次に、図６（ｃ）に示すように、後方の車両Ｃ２が車両Ｃ１を追越し、自車Ｍの後方の車両が車両Ｃ２に入れ替わると、検索設定部５０は、新たに認識した車両Ｃ２の固有情報に関連付けされる識別情報として「青色」を設定し、画像合成部７０は、車両Ｃ２を撮像した撮像データを青色の矩形の識別表示パターンＤ２が取り囲むような合成画像Ａ２を作成し、表示制御部８０は、図６（ｄ）に示すように合成画像Ａ２をバックビューディスプレイ９０に表示する。
【００２６】
このような表示により、車両Ｃ１と車両Ｃ２が一見して類似しまたは外観が酷似していても、車両の固有情報が異なれば、それに応じた識別表示パターンがバックビューディスプレイに成されるため、ドライバーは、識別表示パターンの変化から後方の車両の入れ替わりを直ちに認識することができ、後方への注意を喚起することができる。例えば、過去に何度も追越しを繰り返している車両と、そうでない車両とが似たような外観であっても、ドライバーは識別表示パターンに基づいてこれらを区別することができ、ドライバーは危険な車両を事前に察知することができる。
【００２７】
なお、図６（ｃ）に示す状態から再び図６（ａ）に示す状態に戻った場合には、車両Ｃ１の固有情報が記憶部６０に登録されているので、その識別情報パターンがバックビューディスプレイに表示される。さらに、車両Ｃ１、Ｃ２以外の新たな車両Ｃ３が認識された場合には、検索設定部５０は、車両Ｃ１、Ｃ２に設定された識別情報と異なる識別情報を車両Ｃ３の固有情報に設定し、車両Ｃ３とともにその識別表示パターンがバックビューディスプレイに表示される。
【００２８】
上記実施例では、枠状の識別表示パターンを例示したが、識別表示パターンは、この形状に限定されるものではない。識別表示パターンは、例えば、撮像データに映される車両のナンバープレートの色彩を識別情報に基づき変更することも可能である。さらに、識別表示パターンは、撮像データやそこに映される車両が透けて見えるように合成してもよい。
【００２９】
また、車両の固有情報に割り当てる識別情報は、予め決められた順番で選択されるようにすることができる。例えば、図４に示す色情報を識別情報に用いるとき、赤色、青色、・・・黄色の順に、色情報が設定されるようにする。これにより、ユーザは、バックビューディスプレイに表示された識別表示パターンを見ることで、既に、登録された車両、言い換えれば、以前に、自車の後方を走行していた車両か否かを認識することができる。また、新たな後続車両が出現したことも容易に理解することができる。
【００３０】
さらに上記実施例では、識別情報に基づき識別表示パターンを生成する例を示したが、これに限らず、検索設定部５０は、識別表示パターンを識別情報として記憶部６０に格納し、画像合成部７０は、記憶部６０から読み出された識別表示パターンを合成するようにしてもよい。
【００３１】
次に、本発明の第２の実施例について説明する。車両を追越する場合、走行車線から追越車線に車線変更し、そして前方の車両を追越し、走行車線に戻るのが一般的である。従って、自車の側面（特に、追越し車線がある側面）に移動した車両は、自車を追越す可能性が高い。第２の実施例は、自車の後方から側面に移動した車両を検出してそれの警告案内をすることを特徴とする。
【００３２】
第２の実施例において、撮像部２０は、図７に示すように、車両の後方のみならず左右に撮像カメラ２４、２６を取り付け、自車の後方および左右側面を撮像する。図１に示す車両認識部３０は、それぞれの撮像データに映し出された車両の認識を行い、抽出部４０は、それぞれの撮像データから認識された車両の固有情報を抽出し、検索設定部５０は、それぞれの固有情報についての検索および設定を行う。画像合成部７０は、検索設定部５０からの識別情報を受け取り、撮像データの合成を行う。画像合成部７０は、右側を走行する車両が認識されたときは、バックビューディスプレイの右側に当該車両の識別表示が合成されるようにし、左側を走行する車両が認識されたときは、バックビューディスプレイの左側に当該車両の識別表示が合成されるようにする。
【００３３】
図８（ａ）は自車と他車両の位置関係を示す図である。自車Ｍのすぐ後方を走行していた車両Ｃ１が右側に車線変更をすると、自車Ｍの後方を走行するのは車両Ｃ２であり、自車の右側方を走行するのは車両Ｃ１である。
【００３４】
このとき、バックビューディスプレイには、図８（ｂ）に示すように、第１の実施例のときと同様に、車両Ｃ２の撮像データと車両Ｃ２の識別表示パターンＤ２が表示され、さらに右側に移動した車両Ｃ１の識別表示パターンＤ１が合成された合成画像Ａ３が表示される。この識別表示パターンＤ１が右側に表示されることで、車両Ｃ１が右側へ移動したことを知ることができる。同様に、車両が左側の車線に移動した場合には、図８（ｃ）に示すように識別表示パターンＤ１が左側に表示され、左右の双方に車両が認識されれば、左右に識別表示パターンが成される。なお、図８（ｂ）では、車両Ｃ１の識別表示パターンＤ１と車両Ｃ２の識別表示パターンＤ２との区別を容易にするため、識別表示パターンＤ２は撮像データを取り囲むような矩形であり、識別表示パターンＤ１は円形であるように、色以外にも表示態様を異ならせている。また、表示サイズを異ならせても良い。さらに、図８（ｂ）では、後方を撮像した撮像データのみを表示しているが、自車の左右のいずれかの撮像データに車両が認識された場合には、認識された撮像データを並べて表示させるようにしてもよい。
【００３５】
第２の実施例によれば、ドライバーは、自車の後方および側方に存在する車両をそれぞれ確認することができ、側方車両の追越し行為を事前に探知することができる。さらに、道路交通法規において、車両を追越すときには、対象車両の右側車線から追越すことを推奨しているので、後方車両が右車線に移動したときは追越し、左車線に移動したときは進路変更と予測することができる。
【００３６】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求項の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【００３７】
上記実施例では、バックビューディスプレイに撮像データとその識別情報を表示したが、併せて、音声による警告を出力するようにしてよい、例えば、撮像データに車両が認識されたとき警告音を発したり、撮像データに認識される車両が入れ替わったときに警告音を発するようにしてもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施例に係る車載用表示装置の機能ブロック図である。
【図２】本実施例に係る撮像カメラの設置例である。
【図３】記憶部に登録された固有情報と識別情報との対応関係の例を示した図である。
【図４】図１に示す画像合成部の構成を示す図である。
【図５】本実施例に係る車載用表示装置の動作を示すフローチャートである。
【図６】図６（ａ）は後方車両が入れ替わり前の位置関係を示し、図６（ｂ）は入れ替わり前の合成画像の表示例であり、図６（ｃ）は後方車両が入れ替わった後の位置関係を示し、図６（ｄ）は入れ替わり後の合成画像の表示例である。
【図７】本発明の第２の実施例における撮像カメラの設置例を示す図である。
【図８】本発明の第２の実施例に係る合成画像の表示例である。
【符号の説明】
【００３９】
１０：車載用表示装置 ２０：撮像部
３０：車両認識部 ４０：抽出部
５０：検索設定部 ６０：記憶部
７０：画像合成部 ８０：表示制御部
【特許請求の範囲】
【請求項１】
少なくとも自車の後方を撮像し、撮像した撮像データを出力する撮像手段と、
撮像データから車両が認識されたとき、当該車両に固有な固有情報を抽出する抽出手段と、
前記固有情報に関連付けされる識別情報を設定する設定手段と、
前記撮像データを表示するとき、前記識別情報を前記撮像データに合成して表示する表示手段と、
を有する車載用表示装置。
【請求項２】
車載用表示装置はさらに、前記固有情報と前記識別情報との対応関係を記憶する記憶手段と、
前記抽出手段により抽出された固有情報と一致する固有情報が前記記憶手段に記憶されているか否かを検索する検索手段とを含み、
前記表示手段は、前記検索手段により検索された固有情報に関連付けされた識別情報を前記撮像データに合成して表示する、請求項１に記載の車載用表示装置。
【請求項３】
前記撮像手段は、車両の側方を撮像する他の撮像カメラを含み、
前記抽出手段は、前記他の撮像カメラにより撮像された撮像データから他の車両が認識されたとき、認識された他の車両の固有情報を抽出し、
前記表示手段は、前記他の車両の固有情報に関連付けされた識別情報を表示する、請求項１または２に記載の車載用表示装置。
【請求項４】
前記設定手段は、予め用意された複数の識別情報から予め決められた順序に従い識別情報を選択し、選択した識別情報を固有情報に関連付けして設定する、請求項１ないし３いずれか１つに記載の車載用表示装置。
【請求項５】
前記表示手段は、車室内に配置された自車後方を確認するためのディスプレイを含み、当該ディスプレイに前記撮像データおよび識別情報が表示される、請求項１ないし４いずれか１つに記載の車載用表示装置。
【請求項６】
前記固有情報は、車両のナンバープレートに示された情報である、請求項１ないし５のいずれか１つに記載の車載用表示装置。
【請求項７】
車室内に配置された自車後方を確認するためのディスプレイに撮像データを表示する表示方法であって、
少なくとも自車の後方を撮像するステップと、
撮像データに車両が認識されたとき、当該車両の固有情報を抽出するステップと、
前記固有情報に関連付けされる識別情報を設定するステップと、
前記設定された識別情報と前記撮像データとを合成するステップと、
前記合成された画像を前記ディスプレイに表示するステップと、
を有する表示方法。
【請求項１】
少なくとも自車の後方を撮像し、撮像した撮像データを出力する撮像手段と、
撮像データから車両が認識されたとき、当該車両に固有な固有情報を抽出する抽出手段と、
前記固有情報に関連付けされる識別情報を設定する設定手段と、
前記撮像データを表示するとき、前記識別情報を前記撮像データに合成して表示する表示手段と、
を有する車載用表示装置。
【請求項２】
車載用表示装置はさらに、前記固有情報と前記識別情報との対応関係を記憶する記憶手段と、
前記抽出手段により抽出された固有情報と一致する固有情報が前記記憶手段に記憶されているか否かを検索する検索手段とを含み、
前記表示手段は、前記検索手段により検索された固有情報に関連付けされた識別情報を前記撮像データに合成して表示する、請求項１に記載の車載用表示装置。
【請求項３】
前記撮像手段は、車両の側方を撮像する他の撮像カメラを含み、
前記抽出手段は、前記他の撮像カメラにより撮像された撮像データから他の車両が認識されたとき、認識された他の車両の固有情報を抽出し、
前記表示手段は、前記他の車両の固有情報に関連付けされた識別情報を表示する、請求項１または２に記載の車載用表示装置。
【請求項４】
前記設定手段は、予め用意された複数の識別情報から予め決められた順序に従い識別情報を選択し、選択した識別情報を固有情報に関連付けして設定する、請求項１ないし３いずれか１つに記載の車載用表示装置。
【請求項５】
前記表示手段は、車室内に配置された自車後方を確認するためのディスプレイを含み、当該ディスプレイに前記撮像データおよび識別情報が表示される、請求項１ないし４いずれか１つに記載の車載用表示装置。
【請求項６】
前記固有情報は、車両のナンバープレートに示された情報である、請求項１ないし５のいずれか１つに記載の車載用表示装置。
【請求項７】
車室内に配置された自車後方を確認するためのディスプレイに撮像データを表示する表示方法であって、
少なくとも自車の後方を撮像するステップと、
撮像データに車両が認識されたとき、当該車両の固有情報を抽出するステップと、
前記固有情報に関連付けされる識別情報を設定するステップと、
前記設定された識別情報と前記撮像データとを合成するステップと、
前記合成された画像を前記ディスプレイに表示するステップと、
を有する表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１２３０２１（Ｐ２０１０−１２３０２１Ａ）
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願番号】特願２００８−２９７６４８（Ｐ２００８−２９７６４８）
【出願日】平成２０年１１月２１日（２００８．１１．２１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願日】平成２０年１１月２１日（２００８．１１．２１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]