車両用画像表示装置
【課題】自車両の前方や後方等を撮影して運転者の運転を補助し、撮影した画像に含まれる個人情報を保護することができる車両用画像表示装置を提供する。
【解決手段】車両の前方及び後方の映像を夫々撮影する複数のカメラを含み前記車両の周囲を撮影可能な撮像部と、複数のカメラで撮影したカメラ画像のうち、自車両の前方又は後方に近接する第１の車両の画像に含まれる個人情報保護領域を目隠しするマスク画像を生成するマスク画像生成部と、カメラ画像を利用して第１の車両の前方又は後方での第２の車両の有無を監視する周辺監視部と、周辺監視部によって第２の車両の存在を判別したとき、第２の車両の存在を示す識別画像を生成する識別画像生成部と、カメラ画像にマスク画像及び識別画像を合成して表示部に表示する合成処理部と、を具備する。
を具備する。
【解決手段】車両の前方及び後方の映像を夫々撮影する複数のカメラを含み前記車両の周囲を撮影可能な撮像部と、複数のカメラで撮影したカメラ画像のうち、自車両の前方又は後方に近接する第１の車両の画像に含まれる個人情報保護領域を目隠しするマスク画像を生成するマスク画像生成部と、カメラ画像を利用して第１の車両の前方又は後方での第２の車両の有無を監視する周辺監視部と、周辺監視部によって第２の車両の存在を判別したとき、第２の車両の存在を示す識別画像を生成する識別画像生成部と、カメラ画像にマスク画像及び識別画像を合成して表示部に表示する合成処理部と、を具備する。
を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載したカメラで車両の前方や後方の映像を撮影し、車両の周辺画像を表示することで運転の補助を行う車両用画像表示装置に係り、特にプライバシーの保護を図った車両用画像表示装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し、自車の前方や後方等を撮影し、走行中の見えにくい領域を撮影して運転者に視認させたり、後方車両の異常な接近や挙動を監視したり、或いはバックして駐車する際に後方画像を表示して運転の補助を行うようにした車両用画像表示装置が知られている。
【０００３】
一方、近年のカメラ性能は日増しに改善され、高分解能化が進み、かつ夜間撮影等にも対応したカメラもある。このため、車両に搭載したカメラで自車の前方や後方を撮影した場合、例えば前方車両や後方車両に乗っている人物などが映ることがある。また前方車両或いは後方車両の車室内に置かれた書類や車両のナンバープレート等を撮影してしまうことがある。
【０００４】
しかしながら、カメラで撮影した画像には個人のプライバシーに関する画像、例えば人物の顔、ナンバープレート等が含まれることがあるため、人間の視力を越える高性能カメラで撮影した画像が保存された場合は、プイバシーの侵害や盗撮扱いされる可能性もある。
【０００５】
カメラが高性能化して、詳細でクリアな画像が見られるようになれば、前後車両の車室内の個人情報をどの様に保護するかが将来的に課題となる。高性能カメラのズーム機能や微光撮影機能の有無は被写体側からは関知しようがないため、カメラによる撮影が車両の運転を補助するための撮影行為なのか、故意の盗撮行為なのかは区別できない。しかも技術の進化やニーズの高まりにより、より高性能な基本性能を備え、かつ暗闇でも見通せるような車載カメラが発達することも十分に予想される。
【０００６】
したがって、ドライブアシストを目的とした車載カメラが普及したときに、カメラによる車両周辺の監視が常時行われると、他車からはカメラ搭載車両が前後に居る間は継続して室内が見られる状況にあるため、感情的に気持ちのよいものではない。そのためカメラを搭載した車載機器は、将来的に個人情報を保護するための対策を採る必要があると考えられる。
【０００７】
特許文献１にはプライバシーを保護する目的で、乗員個人を特定する情報（例えば乗員の顔を含む画像）をマスク処理する車内環境記録装置が開示されている。また特許文献２には、監視システムにおいて、カメラで撮影した画像のうちナンバープレート部分を識別して隠蔽する画像処理装置が開示されている。さらに特許文献３には、前方車両や右折車両等によって生じる死角の状況を把握するため、レーダ装置を用いて監視する例が開示されている。
【０００８】
しかしながら、カメラ性能の向上を考慮すると他車の乗員の顔画像やナンバープレート部分をマスクするだけでは個人情報を保護することは難しく、更なる改善が望まれている。また前方や後方車両のマスク領域を広げた場合、前方車両の窓を通して認識していた前前方車両が隠されてしまう可能性があり、ドライブアシストの機能が低下してしまう。またレーダ装置を使用することはコスト的に不利になる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−９７６１号公報
【特許文献２】特開２００７−１６４２７５号公報
【特許文献３】特開２００７−１６４２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の車両用画像表示装置では、撮影した画像の一部（例えば顔やナンバープレート等）をマスクして個人情報の保護を図ったものもあるが、マスク領域を広げた場合、前前方車両（又は後後方車両）が隠されてしまう可能性があり、ドライブアシストの機能が低下するという不具合があった。
【００１１】
本発明はこのような事情に鑑み、自車両の前方や後方等の周囲の状況を撮影して運転者の運転を補助するとともに、撮影した画像に含まれる個人情報を保護することができる車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
請求項１記載の車両用画像表示装置は、車両の前方及び後方の映像を夫々撮影する複数のカメラを含み前記車両の周囲を撮影可能な撮像部と、前記複数のカメラで撮影したカメラ画像のうち、自車両の前方又は後方に近接する第１の車両の画像に含まれる個人情報保護領域を目隠しするマスク画像を生成するマスク画像生成部と、前記カメラ画像を利用して前記第１の車両の前方又は後方での第２の車両の有無を監視する周辺監視部と、前記周辺監視部によって前記第２の車両の存在を判別したとき、前記第２の車両の存在を示す識別画像を生成する識別画像生成部と、前記カメラ画像に前記マスク画像及び前記識別画像を合成して表示部に表示する合成処理部と、を具備したことを特徴とする。
【発明の効果】
【００１３】
本発明の車両用画像表示装置によれば、自車両の前方や後方の周囲の状況を撮影して運転者の運転を補助するとともに、撮影した前方車両や後方車両の窓部等をマスクすることで個人情報を保護することができる。また、マスク処理によって前前方車両や後後方車両が隠される場合でも疑似画像を表示して認識することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図。
【図２】一実施形態の動作を説明する車両位置の一例を示す図。
【図３】自車両の前方を撮影した画像の一例を示す説明図。
【図４】前方車両の一部をマスク画像でマスクした例を示す説明図。
【図５】並走車のマスク処理の一例を示す説明図。
【図６】前方車両の画像に前前方車両の疑似画像を合成した例を示す説明図。
【図７】画像処理部の動作を説明するフローチャート。
【図８】周辺監視部における前前方車両の検出動作を示す説明図。
【図９】前方車両と前前方車両の配列の一例を示す説明図。
【図１０】前方車両の前の物体を前前方車両と認識するまでのフローチャート。
【図１１】前前方車両を画像から検出するためのフローチャート。
【図１２】前前方車両が検出できなかった場合のフローチャート。
【発明を実施するための形態】
【００１５】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１６】
図１は、本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、画像処理部２０、車両情報生成部３０、操作部４０及び表示部５０を備えている。
【００１７】
撮像部１０は、自車両の周囲の映像を撮影する複数のカメラ１１，１２…ｎを有している。カメラ１１，１２…ｎは、車両の前方、後方、及び左側、右側等をそれぞれ撮影するものであり、前方車両や後方車両、対向車両など、自車両の周囲の映像を撮影することができる。各カメラ１１，１２…ｎは、自車両の任意の位置に取り付けられる。以下の説明では、自車両の前方及び後方を撮影する前方カメラ１１と後方カメラ１２を備えた例を説明する。
【００１８】
画像処理部２０は、制御部２１、マスク画像生成部２２、周辺監視部２３、識別画像生成部２４、カメラ画像処理部２５及び合成処理部２６を含む。制御部２１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を有し、操作部４０からの操作に応答して画像処理部２０及び撮像部１０の動作を制御する。マスク画像生成部２２は、カメラ１１，１２で撮影した画像のうち、前方車両や後方車両の窓やナンバープレート部分等をマスク（masking）する画像を生成する。
【００１９】
周辺監視部２３は、前方車両や後方車両によって隠されてしまう可能性がある前前方車両や後後方車両を監視する。識別画像生成部２４は、周辺監視部２３の監視結果をもとに、前前方車両や後後方車両の存在を示す識別画像、例えば前前方車両や後後方車両の疑似画像（イラスト）を生成する。カメラ画像処理部２５は、複数のカメラ１１，１２…で撮像した画像を処理し、前方画像又は後方画像等、表示部５０に表示する画像を選択処理して合成処理部２６に供給する。合成処理部２６は、カメラ画像処理部２５から出力されたカメラ画像に、マスク画像生成部２２からのマスク画像と識別画像生成部２４からの疑似画像を合成して表示部５０に出力する。
【００２０】
車両情報生成部３０は、ナビゲーション装置３１を含む。ナビゲーション装置３１は、自車両の現在位置を検出するＧＰＳ受信部、地図データを格納した記録媒体、目的地までの経路を探索する探索部等を有する。また自車両の車速、加速度、傾き等を検出する車速度センサやジャイロセンサ等を有し、これらＧＰＳ受信部、記録媒体、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。したがって、車両情報生成部３０からは、自車両の現在位置や進行方向（前進、バック、右・左折）等の情報を得ることができる。
【００２１】
操作部４０は、ユーザ（運転者等）が操作するもので、カメラ１１，１２で撮影した画像を表示する場合の画面切り替え操作等を行う。表示部５０は、液晶ディスプレイ等の表示パネルを含み、表示部５０をタッチパネル式とすることで操作部４０を兼用することもでき、ナビゲーション画像を表示する際に現在地や目的地を入力することができる。
【００２２】
以下。本発明の実施形態の動作を詳細に説明する。図２（ａ）は、自車両Ａに備えた前方カメラ１１で前方車両Ｂ及び前前方車両Ｃを撮影する例を示している。また図２（ｂ）は自車両Ａに備えた後方カメラ１２で後方車両Ｂ及び後後方車両Ｃを撮影する例を示している。尚、前方車両Ｂ又は後方車両Ｂを総称して第１の車両Ｂと呼び、また前前方車両Ｃ又は後後方車両Ｃを総称して第２の車両Ｃと呼ぶこともある。
【００２３】
本発明では、前方カメラ１１又は後方カメラ１２で撮像した背景画像の中に前方車両又は後方車両の画像が存在する場合に、個人情報に該当する画像を表示しないようにするため、例えば車両の窓、ナンバープレート、車のキャビン等の領域を自動認識する。そして認識した領域を個人情報保護領域として目隠しするため、マスク画像をリアルタイムで生成して、カメラ画像にオーバーラップさせて表示する。マスク画像としては、例えば該当領域を塗りつぶしたり、モザイク表示する画像がある。
【００２４】
図３は、自車両の前方を撮影した画像の一例を示し、自車両の前に前方車両Ｂと前前方車両Ｃがあり、前方車両Ｂに対して前前方車両Ｃが小さい場合のリアルタイム画像を示している。一方、個人情報を含む画像をマスクするため、図４で示すように前方車両Ｂの窓及びナンバープレート部分は、マスク画像Ｄ１，Ｄ２によってマスクする。
【００２５】
マスク画像Ｄ１，Ｄ２は、マスク画像生成部２２によって生成されるが、窓は一般的に車両の上部にあり、また窓の色と車両本体の色が異なるため、窓の大体の位置と色情報とを基に窓部を判別しマスク画像Ｄ１を生成する。またナンバープレートは、一般的に車両の下部にあり、かつ長方形状であるため、大体の位置と形状でナンバープレート部分を判別しマスク画像Ｄ２を生成する。マスク画像Ｄ１，Ｄ２は合成処理部２６でカメラ画像と合成される。
【００２６】
尚、図４では前方車両Ｂの後方の窓と後方のナンバープレートをマスクする例を示しているが、後方車両Ｂについては、後方車両Ｂの前方の窓と前方のナンバープレートをマスクすることになる。また、マスク処理は前方車両や後方車両だけでなく、並走車両の画像についても行うと良い。
【００２７】
例えば、片側２車線以上の広い道路では、自車両の右側や左側を別の車両が並走する場合がある。撮像部１０の前方カメラ１１や後方カメラ１２の視野角が魚眼カメラのように広い場合、或いは自車両の右側及び左側にカメラを取り付けた場合は、並走車両を撮影することができるため、並走車両についてもマスク処理を行う。
【００２８】
図５は、並走車のマスク処理の一例を示している。図５（ａ）はスポーツカーのように天井のない車両の一部をマスクする例であり、前方の窓と車両のキャビンの部分をマスク画像Ｄ３によってマスクし、ナンバープレートをマスク画像Ｄ４によってマスクする。オープンカーのように、天井部のない車両については、窓を含む車両の上部全体をマスクしてもよい。図５（ｂ）はセダンタイプの並走車両の一部をマスクする例であり、前方の窓部分をマスク画像Ｄ５によってマスクし、ナンバープレートをマスク画像Ｄ６によってマスクする。
【００２９】
一方、通常であれば、第１の車両Ｂの窓を通して第２の車両Ｃを確認することができるが、第１の車両Ｂの窓をマスクした場合、第２の車両Ｃが隠されてしまい目視できなくなる可能性がある。特に第２の車両Ｃが第１の車両Ｂよりも小さい場合は、第１の車両Ｂの窓だけでなく本体によっても隠されるため、より一層目視しにくくなる。
【００３０】
そこで、本発明では、周辺監視部２３で第２の車両Ｃの有無を監視し、第２の車両Ｃが居る場合に識別画像生成部２４で第２の車両Ｃを模した疑似画像（イラストＥ）を生成し、合成処理部２６でカメラ画像にイラストＥを重ねて表示する。イラストＥは、単純な図形や、個人的趣味のキャラクター図形などで良い。尚、周辺監視部２３における第２の車両Ｃの監視方法については後述する。
【００３１】
図６は、前方車両Ｂの画像に前前方車両ＣのイラストＥを重ねて表示した例を示す。図６（ａ）は、図３のように前方車両Ｂによって前前方車両Ｃの一部が隠れている場合のイラストＥの合成位置を示し、図６（ｂ）は、前方車両Ｂによって前前方車両Ｃが殆ど隠れている場合のイラストＥの合成位置を示す。
【００３２】
自車両の運転者は、表示部５０に表示されたカメラ画像を観察することで前方または後方の状況を確認できるが、個人のプライバシーを考慮して第１の車両Ｂの窓やナンバープレートはマスクするため、個人情報を保護することができる。また第１の車両Ｂの前方または後方にいる第２の車両Ｃの存在をイラストＥで確認することができる。
【００３３】
図７は、画像処理部２０の動作を説明するフローチャートである。画像処理部２０は、制御部２１の制御のもとに以下のステップで動作する。
【００３４】
図７において、ステップＳ１はリアルタイムの画像（マスクしない画像）が必要か否かを判断する。即ち、複数のカメラ１１，１２…からの画像や車両情報生成部３０からの情報等を総合判断して緊急時か否かを判断し、事故もしくは緊急性のある場合、或いは事故回避を行う必要がある場合は、リアルタイム画像が望ましいと判断してステップＳ２に進み、マスク処理を行なわずに生画像による表示を行う。これによりステップＳ９において、図３のようなリアルタイム画像を表示する。
【００３５】
ステップＳ１の判断がＮＯの場合、ステップ３では個人情報のマスクが必要か否かを判断する。例えば第１の車両Ｂの窓が黒い場合等は車室内が窓を通して見えないため、マスク処理をする必要がない。したがってマスクする必要がない場合は、ステップＳ２に進み図３のようにリアルタイム画像を表示する。
【００３６】
ステップＳ３でマスクが必要であると判断した場合は、ステップ４においてマスク領域が全体画像に対して占める割合を判断する。つまり、被写体の窓が小さければ、窓を通して見た室内情報量も限られるのでプライバシーを侵害することはないと考えられる。したがって、撮影した画像の全領域に対して窓のマスク領域が予め設定した割合よりも小さい場合は、ステップＳ２に進み、マスク処理を行なわずに生画像による表示を行う。尚、ステップＳ９では、ナンバープレート部分をマスクすると良い。
【００３７】
ステップ４においてマスク領域の画像が占める割合が大きいときは、ステップＳ５において自車両Ａから第１の車両Ｂ及び建物までの距離を測定する。カメラ性能に鑑みて、第１の車両Ｂまでの距離が十分離れている場合は、個人情報等の撮影は困難であるため、ステップＳ２に進み、リアルタイム画像を表示する。尚、カメラの分解能や周囲状況(明暗、霧など)によって距離係数は変化する。また周辺に建物がある場合は、建物を撮影した中に個人情報に該当する画像（窓、表札等）が含まれる可能性があるため、同様にマスクする。
【００３８】
ステップＳ５において第１の車両Ｂまでの距離が近い場合は、ステップＳ６でマスク領域を塗りつぶしてカメラ画像に重ねる。さらにステップＳ７では第２の車両の表示が必要か否かを判断する。つまりカメラ画像の一部をマスクしたことで、第１の車両のさらに前又は後ろに居る車両は陰に隠れて見えなくなってしまうため、それらの車両を表示する必要があるかないかを判断する。第２の車両がいない場合や距離が遠い場合は、ステップＳ１０において、図４で示すように第１の車両Ｂの窓やナンバープレートをマスクした画像のみを合成して表示する。
【００３９】
また第２の車両の表示が必要な場合は、ステップＳ８において第２の車両Ｃを表す疑似画像（イラストＥ）を合成し、ステップＳ１１において図６に示すようなマスク画像Ｄ１，Ｄ２とイラストＥが合成されたカメラ画像を表示する。
【００４０】
尚、図４で示すように前前方車両Ｃの一部が前方車両Ｂからはみ出している場合は、前前方車両Ｃの隠れていない部分の生画像を識別画像として表示してもよいし、前前方車両Ｃの全体を疑似画像（イラスト）で表示してもよい。例えば、操作部４０によって「生画像−イラスト」の表示切り替えを行うようにすると良い。イラストの表示を行った場合は、チラツキ現象を抑え、第２車室Ｃ内の個人情報をマスクすることができる。
【００４１】
次に第２の車両Ｃの存在を確認して疑似画像を生成する方法を具体的に説明する。尚、以下の説明では前方車両Ｂの前に前前方車両Ｃが居るか否かを監視する場合を説明するが、後方車両Ｂの後ろに後後方車両Ｃが居るか否かを監視する場合も同じ手法を用いることができる。
【００４２】
第２の車両Ｃの存在の有無は、制御部２１の制御のもとに周辺監視部２３によって行い、疑似画像の生成は識別画像生成部２４が行う。周辺監視部２３は、前方カメラ１１で撮影した画像をもとに前方車両Ｂへの異常接近や挙動を監視しているが、同時に前方車両Ｂのひとつ先の前前方車両Ｃも同時に認識し、その存在と消失を判断する。例えば、以下の（１）〜（５）の判断ポイントをもとにカメラで撮影した画像情報から風景と切り分けて車両を見分ける。（１）前方車両Ｂの前に居る前前方車両Ｃをどのように認識するか、（２）画像情報に含まれる物体を車両と認識するか、（３）前前方車両Ｃが前方車両Ｂの陰に隠れて見えない期間の位置の判断と消失の判断、（４）前前方車両Ｃが別の車両にスリ替わったときの判断。以下、具体的に（１）〜（４）の判断ポイントについて説明する。
【００４３】
（１）先ず周辺監視部２３は、前方車両Ｂの形状、サイズ、外形色を判断して記録する。また形状、サイズから普通車、小型車、トラック等の大雑把な全長を推測する。前前方車両Ｃの検出は、前方車両Ｂの色と異なる物体、もしくは、前方車両のサイズ以上にはみ出した物体を検出する。或いは前方車両Ｂの窓を通して、または前方車両Ｂの上下や横から前前方車両Ｃを認識する。検出個所は、図８で例示するように、前方車両Ｂの窓Ｆ０、上部Ｆ１、下部Ｆ２、左横Ｆ３、右横Ｆ４の計５カ所である。
このとき、前方車両Ｂの窓を通して前前方車両Ｃが判断できたか、もしくは、前前方車両Ｃが前方車両Ｂの上下左右から２カ所以上にはみ出して認識できたかを記録し履歴を残す。こうして認識した結果をＣ車両存在フラグと呼ぶことにする。尚、前方車両Ｂ及び前前方車両Ｃが居なくなった場合は、認識結果を初期化する。
そして、前方車両Ｂの全長Ｌ１と、前方車両Ｂの前の物体までの距離Ｌ２、及び前方の風景までの距離Ｌ３（＝∞）を基に、
Ｌ１＜Ｌ２≦Ｌ３（＝∞）…（１）
の条件が成り立てば、前方車両Ｂの前の物体を前前方車両Ｃと看做す。またこの時に、物体を車両と仮定して、前前方車両Ｃのサイズを推測して、「（仮）サイズ」として記録しておく（後述の「車両スリ替わり」を判定する際に利用する）。
【００４４】
（２）前方車両Ｂのさらに前方の物体を前前方車両Ｃと認識するための条件は次の（ａ），（ｂ）の通りである。このとき正式に車両と認識されるまでの物体を「車両(仮)」と呼ぶ。
（ａ）車両(仮)が、自車両および前方車両Ｂと同一車線を走行中である。
（ｂ）同一車線でない時は、走行中に限り自車両Ａ（あるいは前方車両Ｂ）から一定距離をＭ秒間保っている。
車両(仮)が実際に車両であると認識される前に停車した場合は、Ｍ秒カウントを一時停止するか、再度、車両(仮)が走行を開始した際にＭ秒カウントをリセットし、再度Ｍ秒カウントを行う。そして自車両Ａが走行中だった場合に限り、一定距離を継続する物体は車両であると推察し、前方車両の全長Ｌ１と、前方車両の前の物体までの距離Ｌ２、及び前方車両の全長Ｌ１に所定距離Ｋを加算した距離Ｌ４を基に、
Ｌ１＜Ｌ２≦Ｌ４（Ｌ４＝Ｌ１＋Ｋ）…（２）
の条件が成り立てば、前方車両Ｂの前の物体を前前方車両Ｃと看做す。
【００４５】
（３）次に前述したＣ車両存在フラグにより、前前方車両Ｃが恒常的に居るものか、それとも車両の位置関係により一時的に視認できたものかを区分する。つまり、図９（ａ）のように、前方の普通車Ｂの前に大型の車両Ｃが居る場合は、恒常的に大型車両Ｃを認識できるので、普通車Ｂの前からＮ秒間、大型車両Ｃが不可視になったなら居なくなったと判断する。
【００４６】
また図９（ｂ）のように、自車両の前方に大型車両Ｂが居て、さらにその前に普通車Ｃが居る場合は、自車両からは普通車Ｃが時々その一部しか視認できないので、大型車両Ｂの陰に隠れてずっと見えなくても居なくなったとは判断しない。こうして、Ｂ車両およびＣ車両と思われる物体の検出ポーリングを定期的に行い、前前方車両Ｃが画像上で不可視だった場合でも、Ｎ秒間は「居る」と判断し続ける。
【００４７】
このときの前前方車両Ｃの位置は、次の（ｃ）〜（ｅ）の通りに判断する。
（ｃ）前前方車両Ｃは、前方車両Ｂのさらに前方に居る。
（ｄ）前前方車両Ｃは、前方車両の左右センター位置で上下位置は最後に認識した位置とする。
（ｅ）前前方車両Ｃの前方車両Ｂとの相対距離は最後に認識した相対距離を維持する。
また、前前方車両Ｃが画像上で不可視の状態がＮ秒間継続された場合でも、一時的に視認できたと履歴されている場合は、居ないとは判断できないのでＮ秒後でも「居る」と判断する。但し自車両の前方の一定距離内に車両が存在しなくなった場合は、前方車両Ｂだけでなく前前方車両Ｃも「居なくなった」と判断する。
【００４８】
（４）前前方車両Ｃの、推測サイズ、もしくは外形色が大きく変化した場合には、前前方車両Ｃが別の車両と入れ替わったと判断する。これを「車両スリ替わり」と呼び、Ｃ車両存在フラグをクリアする。車両がスリ替わったことに伴って、以前の車両に対してフラグ・情報を記録していた場合、これらの旧い情報はスリ替わったものと判定したタイミングでクリアし破棄する。
【００４９】
こうして、前方車両Ｂの前に前前車両Ｃが居ると判断した場合は、前前車両Ｃの疑似画像（イラストＥ）を生成し、図６のようにイラストＥをカメラ画像に合成して表示する。イラストＥの位置は、前前車両Ｃの位置に応じて変化する。また前前方車両Ｃがスリ替わった場合は、スリ替わり後の車両に合わせて色やサイズを変化させ、過去のイラストは削除する。
【００５０】
図１０は、前方車両Ｂの前の物体が前前方車両Ｃと認識されるまでのフローチャートを示す。尚、以下の説明では、前方車両ＢをＢ車両と呼び、前前方車両ＣをＣ車両と呼ぶこともある。
【００５１】
図１０において、ステップ２１ではＢ車両の情報を判定し記録する。つまりＢ車両が視認できる場合、形状やサイズ、及び自車両との距離を推測して記録する。またＢ車両の外形色の情報を記録する。ステップＳ２２ではＣ車両（仮）情報を判定して記録する。ここでは、Ｃ車両と思われる物体の形状やサイズ、及び自車両からの距離を推測して記録する。またＣ車両の存在フラグやＣ車両（仮）の検出タイマーを設定する。ステップＳ２３では、Ｃ車両（仮）が検出できたか否かを判断し、検出できなかった場合はステップＳ２４に進み、図１２で後述するＣ車両、Ｃ車両（仮）が検出できない場合のフローに進む。
【００５２】
ステップＳ２３でＣ車両（仮）が検出できた場合は、ステップＳ２５で車両のスリ替わりを検出する。車両のスリ替わりが検出されたときはステップＳ２６でＣ車両（仮）として記録情報を再設定する。再設定後、又はステップＳ２５で車両のスリ替わりが検出されなかった場合は、ステップＳ２７でＣ車両（仮）とのＬ２距離が（１）式の条件を満たすか否かを判断する。（１）式の条件を満たさない場合はステッフＳ２４に進み、満たす場合はステップＳ２８でＣ車両（仮）が自車両Ａの車線上にいるか否かを判断する。
【００５３】
ステップＳ２８の判断でＣ車両（仮）が同じ車線上にいない場合は、ステッフＳ２４に進み、同じ車線上にいる場合はステップＳ２９で自車両Ａが走行中か否かを判断する。自車両Ａが走行中でない場合は、ステッフＳ２４に進み、走行中であればステップＳ３０でＣ車両（仮）との距離Ｌ２が（２）式の条件を満たすか否かを判断する。（２）式の条件を満たさない場合はステッフＳ２４に進み、満たす場合はステップＳ３１でＣ車両（仮）は単なる物体ではなく車両と判断する。このとき、Ｃ車両フラグをオンにし、Ｃ車両消失タイマーをセットする。尚、Ｃ車両消失タイマーは、Ｃ車両が検出される度にリセットされる。
【００５４】
図１１は、Ｃ車両を画像から検出するためのアルゴリズムを示すフローチャートである。図１１において、ステップＳ４１ではＢ車両が検出できたか否かを判断する。検出できた場合は、ステップＳ４２ではＢ車両の窓を通してその前方にいるＣ車両と思える物体が検出できたか否かを判断する。Ｃ車両と思える物体が検出できた場合は、ステップＳ４３に進み、Ｃ車両の存在フラグをオンにし、ステップＳ４４では、Ｃ車両と思える物体が明確に検出できたとして、識別画像生成部２４でＣ車両を示すイラストを生成し、例えば図６（ａ）のようなイラストＥを表示する。
【００５５】
またステップＳ４１でＢ車両が検出できなかった場合は、ステップＳ４５でＢ車両及びＣ車両の情報を初期化する。この場合は、ステップＳ４６で自車両の前方に車両と思える物体はないと判断する。またステップＳ４２で、Ｂ車両の窓を通してＣ車両と思える物体が検出できなかった場合は、ステップＳ４７で、Ｂ車両からはみ出しているＣ車両と思える物体があるか否かを判断する。Ｃ車両と思える物体がある場合は、ステップＳ４８でＢ車両からはみ出しているＣ車両と思える物体が同時に２か所以上検出されたか否かを判断する。Ｃ車両と思える物体が同時に２か所以上検出された場合（図９（ａ）のような場合）は、ステップＳ４３に進みＣ車両の存在フラグをオンにする。
【００５６】
ステップＳ４８でＣ車両と思える物体が同時に２か所以上検出されなかった場合（図９（ｂ）のような場合で前前方車両Ｃが隠れているとき）は、ステップＳ５０に進み、Ｃ車両存在フラグは操作しない。この状態ではＣ車両と思える物体を明確には視認できず、ステップＳ５１ではＣ車両と思える物体の一部を検出したものと判断する。このとき、Ｃ車両を示すイラストＥは図６（ｂ）のように表示される。
【００５７】
図１２は、Ｃ車両及びＣ車両（仮）が検出できなかった場合のフローチャートである。図１２において、ステップＳ６１ではＣ車両（仮）が既に車両判定されているか否かを判断する。Ｃ車両（仮）が車両判定されている場合は、ステップＳ６２で、Ｃ車両消失タイマーはゼロか否かを判定する。Ｃ車両消失タイマーがゼロである場合は、ステップＳ６３でＣ車両存在フラグはオンか否かを判断する。
【００５８】
ステップＳ６２で、Ｃ車両消失タイマーゼロでない場合、及びステップＳ６３でＣ車両存在フラグがオンでない場合は、ステップＳ６４に進み、Ｃ車両は見えなくなったが居なくなった訳ではないと判断し、過去のＣ車両情報をもとにイラストの表示を行う。ステップＳ６５では、Ｃ車両の位置はＢ車両前方のセンター位置とし、自車両Ａとの相対距離は過去の情報を用いる。ステップＳ６６は、物体は見えないが車両として認識し続ける期間に相当する。
【００５９】
ステップＳ６３でＣ車両存在フラグがオンのときは、恒常的に視認可能な状況で一定時間Ｃ車両が見えないとして、Ｃ車両は居なくなったと判断し、必要であればＣ車両情報をクリアにする。ステップＳ６８では、Ｃ車両は居なくなったと判断する。
【００６０】
またステップＳ６１でＣ車両（仮）が車両判定されていないと判断した場合は、ステップＳ６９で、Ｃ車両（仮）検出タイマーがゼロか否かを判断する。Ｃ車両（仮）検出タイマーがゼロの場合はステップＳ７０に進み、Ｃ車両は居なくなったと判断し、必要であればＣ車両の情報をクリアし、ステップＳ７１では、車両と認識する前の物体が居なくなったと判断する。またステップＳ６９で、Ｃ車両（仮）検出タイマーがゼロでない場合は、ステップＳ７２に進み、Ｃ車両は見えなくなったが居なくなった訳ではないと判断し、過去のＣ車両（仮）情報をもとにイラストの表示を行う。ステップＳ７３では、Ｃ車両の位置はＢ車両前方のセンター位置とする。ステップＳ７４は、物体はあるが車両としては認識されない期間に相当する。
【００６１】
以上説明したように本発明の実施形態によれば、自車両の前方や後方の周囲の状況を撮影して運転者の運転を補助するとともに、撮影した前方車両や後方車両の窓部等をマスクすることで個人情報を保護することができる。また、マスク処理によって前前方車両や後後方車両が隠される場合でも疑似画像を表示して認識することができる。また、カメラ性能が向上した場合に、カメラで撮影した画像の個人情報部分をマスクすることで盗撮行為に該当するのを避けることができる。
【００６２】
尚、以上説明した実施形態については各種の変形例が考えられる。例えば、カメラは車両の前方及び後方を撮影する以外に横方向を撮影可能にしてもよい。また特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００６３】
１０…撮像部
１１，１２，ｎ…カメラ
２０…画像処理部
２１…制御部
２２…マスク画像生成部
２３…周辺監視部
２４…識別画像生成部
２５…カメラ画像処理部
２６…合成処理部
３０…車両情報生成部
３１…ナビゲーション装置
４０…操作部
５０…表示部
【技術分野】
【０００１】
本発明は、車両に搭載したカメラで車両の前方や後方の映像を撮影し、車両の周辺画像を表示することで運転の補助を行う車両用画像表示装置に係り、特にプライバシーの保護を図った車両用画像表示装置に関する。
【背景技術】
【０００２】
従来、車両に複数のカメラを搭載し、自車の前方や後方等を撮影し、走行中の見えにくい領域を撮影して運転者に視認させたり、後方車両の異常な接近や挙動を監視したり、或いはバックして駐車する際に後方画像を表示して運転の補助を行うようにした車両用画像表示装置が知られている。
【０００３】
一方、近年のカメラ性能は日増しに改善され、高分解能化が進み、かつ夜間撮影等にも対応したカメラもある。このため、車両に搭載したカメラで自車の前方や後方を撮影した場合、例えば前方車両や後方車両に乗っている人物などが映ることがある。また前方車両或いは後方車両の車室内に置かれた書類や車両のナンバープレート等を撮影してしまうことがある。
【０００４】
しかしながら、カメラで撮影した画像には個人のプライバシーに関する画像、例えば人物の顔、ナンバープレート等が含まれることがあるため、人間の視力を越える高性能カメラで撮影した画像が保存された場合は、プイバシーの侵害や盗撮扱いされる可能性もある。
【０００５】
カメラが高性能化して、詳細でクリアな画像が見られるようになれば、前後車両の車室内の個人情報をどの様に保護するかが将来的に課題となる。高性能カメラのズーム機能や微光撮影機能の有無は被写体側からは関知しようがないため、カメラによる撮影が車両の運転を補助するための撮影行為なのか、故意の盗撮行為なのかは区別できない。しかも技術の進化やニーズの高まりにより、より高性能な基本性能を備え、かつ暗闇でも見通せるような車載カメラが発達することも十分に予想される。
【０００６】
したがって、ドライブアシストを目的とした車載カメラが普及したときに、カメラによる車両周辺の監視が常時行われると、他車からはカメラ搭載車両が前後に居る間は継続して室内が見られる状況にあるため、感情的に気持ちのよいものではない。そのためカメラを搭載した車載機器は、将来的に個人情報を保護するための対策を採る必要があると考えられる。
【０００７】
特許文献１にはプライバシーを保護する目的で、乗員個人を特定する情報（例えば乗員の顔を含む画像）をマスク処理する車内環境記録装置が開示されている。また特許文献２には、監視システムにおいて、カメラで撮影した画像のうちナンバープレート部分を識別して隠蔽する画像処理装置が開示されている。さらに特許文献３には、前方車両や右折車両等によって生じる死角の状況を把握するため、レーダ装置を用いて監視する例が開示されている。
【０００８】
しかしながら、カメラ性能の向上を考慮すると他車の乗員の顔画像やナンバープレート部分をマスクするだけでは個人情報を保護することは難しく、更なる改善が望まれている。また前方や後方車両のマスク領域を広げた場合、前方車両の窓を通して認識していた前前方車両が隠されてしまう可能性があり、ドライブアシストの機能が低下してしまう。またレーダ装置を使用することはコスト的に不利になる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−９７６１号公報
【特許文献２】特開２００７−１６４２７５号公報
【特許文献３】特開２００７−１６４２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の車両用画像表示装置では、撮影した画像の一部（例えば顔やナンバープレート等）をマスクして個人情報の保護を図ったものもあるが、マスク領域を広げた場合、前前方車両（又は後後方車両）が隠されてしまう可能性があり、ドライブアシストの機能が低下するという不具合があった。
【００１１】
本発明はこのような事情に鑑み、自車両の前方や後方等の周囲の状況を撮影して運転者の運転を補助するとともに、撮影した画像に含まれる個人情報を保護することができる車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
請求項１記載の車両用画像表示装置は、車両の前方及び後方の映像を夫々撮影する複数のカメラを含み前記車両の周囲を撮影可能な撮像部と、前記複数のカメラで撮影したカメラ画像のうち、自車両の前方又は後方に近接する第１の車両の画像に含まれる個人情報保護領域を目隠しするマスク画像を生成するマスク画像生成部と、前記カメラ画像を利用して前記第１の車両の前方又は後方での第２の車両の有無を監視する周辺監視部と、前記周辺監視部によって前記第２の車両の存在を判別したとき、前記第２の車両の存在を示す識別画像を生成する識別画像生成部と、前記カメラ画像に前記マスク画像及び前記識別画像を合成して表示部に表示する合成処理部と、を具備したことを特徴とする。
【発明の効果】
【００１３】
本発明の車両用画像表示装置によれば、自車両の前方や後方の周囲の状況を撮影して運転者の運転を補助するとともに、撮影した前方車両や後方車両の窓部等をマスクすることで個人情報を保護することができる。また、マスク処理によって前前方車両や後後方車両が隠される場合でも疑似画像を表示して認識することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図。
【図２】一実施形態の動作を説明する車両位置の一例を示す図。
【図３】自車両の前方を撮影した画像の一例を示す説明図。
【図４】前方車両の一部をマスク画像でマスクした例を示す説明図。
【図５】並走車のマスク処理の一例を示す説明図。
【図６】前方車両の画像に前前方車両の疑似画像を合成した例を示す説明図。
【図７】画像処理部の動作を説明するフローチャート。
【図８】周辺監視部における前前方車両の検出動作を示す説明図。
【図９】前方車両と前前方車両の配列の一例を示す説明図。
【図１０】前方車両の前の物体を前前方車両と認識するまでのフローチャート。
【図１１】前前方車両を画像から検出するためのフローチャート。
【図１２】前前方車両が検出できなかった場合のフローチャート。
【発明を実施するための形態】
【００１５】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例１】
【００１６】
図１は、本発明の一実施形態に係る車両用画像表示装置の構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、画像処理部２０、車両情報生成部３０、操作部４０及び表示部５０を備えている。
【００１７】
撮像部１０は、自車両の周囲の映像を撮影する複数のカメラ１１，１２…ｎを有している。カメラ１１，１２…ｎは、車両の前方、後方、及び左側、右側等をそれぞれ撮影するものであり、前方車両や後方車両、対向車両など、自車両の周囲の映像を撮影することができる。各カメラ１１，１２…ｎは、自車両の任意の位置に取り付けられる。以下の説明では、自車両の前方及び後方を撮影する前方カメラ１１と後方カメラ１２を備えた例を説明する。
【００１８】
画像処理部２０は、制御部２１、マスク画像生成部２２、周辺監視部２３、識別画像生成部２４、カメラ画像処理部２５及び合成処理部２６を含む。制御部２１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を有し、操作部４０からの操作に応答して画像処理部２０及び撮像部１０の動作を制御する。マスク画像生成部２２は、カメラ１１，１２で撮影した画像のうち、前方車両や後方車両の窓やナンバープレート部分等をマスク（masking）する画像を生成する。
【００１９】
周辺監視部２３は、前方車両や後方車両によって隠されてしまう可能性がある前前方車両や後後方車両を監視する。識別画像生成部２４は、周辺監視部２３の監視結果をもとに、前前方車両や後後方車両の存在を示す識別画像、例えば前前方車両や後後方車両の疑似画像（イラスト）を生成する。カメラ画像処理部２５は、複数のカメラ１１，１２…で撮像した画像を処理し、前方画像又は後方画像等、表示部５０に表示する画像を選択処理して合成処理部２６に供給する。合成処理部２６は、カメラ画像処理部２５から出力されたカメラ画像に、マスク画像生成部２２からのマスク画像と識別画像生成部２４からの疑似画像を合成して表示部５０に出力する。
【００２０】
車両情報生成部３０は、ナビゲーション装置３１を含む。ナビゲーション装置３１は、自車両の現在位置を検出するＧＰＳ受信部、地図データを格納した記録媒体、目的地までの経路を探索する探索部等を有する。また自車両の車速、加速度、傾き等を検出する車速度センサやジャイロセンサ等を有し、これらＧＰＳ受信部、記録媒体、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。したがって、車両情報生成部３０からは、自車両の現在位置や進行方向（前進、バック、右・左折）等の情報を得ることができる。
【００２１】
操作部４０は、ユーザ（運転者等）が操作するもので、カメラ１１，１２で撮影した画像を表示する場合の画面切り替え操作等を行う。表示部５０は、液晶ディスプレイ等の表示パネルを含み、表示部５０をタッチパネル式とすることで操作部４０を兼用することもでき、ナビゲーション画像を表示する際に現在地や目的地を入力することができる。
【００２２】
以下。本発明の実施形態の動作を詳細に説明する。図２（ａ）は、自車両Ａに備えた前方カメラ１１で前方車両Ｂ及び前前方車両Ｃを撮影する例を示している。また図２（ｂ）は自車両Ａに備えた後方カメラ１２で後方車両Ｂ及び後後方車両Ｃを撮影する例を示している。尚、前方車両Ｂ又は後方車両Ｂを総称して第１の車両Ｂと呼び、また前前方車両Ｃ又は後後方車両Ｃを総称して第２の車両Ｃと呼ぶこともある。
【００２３】
本発明では、前方カメラ１１又は後方カメラ１２で撮像した背景画像の中に前方車両又は後方車両の画像が存在する場合に、個人情報に該当する画像を表示しないようにするため、例えば車両の窓、ナンバープレート、車のキャビン等の領域を自動認識する。そして認識した領域を個人情報保護領域として目隠しするため、マスク画像をリアルタイムで生成して、カメラ画像にオーバーラップさせて表示する。マスク画像としては、例えば該当領域を塗りつぶしたり、モザイク表示する画像がある。
【００２４】
図３は、自車両の前方を撮影した画像の一例を示し、自車両の前に前方車両Ｂと前前方車両Ｃがあり、前方車両Ｂに対して前前方車両Ｃが小さい場合のリアルタイム画像を示している。一方、個人情報を含む画像をマスクするため、図４で示すように前方車両Ｂの窓及びナンバープレート部分は、マスク画像Ｄ１，Ｄ２によってマスクする。
【００２５】
マスク画像Ｄ１，Ｄ２は、マスク画像生成部２２によって生成されるが、窓は一般的に車両の上部にあり、また窓の色と車両本体の色が異なるため、窓の大体の位置と色情報とを基に窓部を判別しマスク画像Ｄ１を生成する。またナンバープレートは、一般的に車両の下部にあり、かつ長方形状であるため、大体の位置と形状でナンバープレート部分を判別しマスク画像Ｄ２を生成する。マスク画像Ｄ１，Ｄ２は合成処理部２６でカメラ画像と合成される。
【００２６】
尚、図４では前方車両Ｂの後方の窓と後方のナンバープレートをマスクする例を示しているが、後方車両Ｂについては、後方車両Ｂの前方の窓と前方のナンバープレートをマスクすることになる。また、マスク処理は前方車両や後方車両だけでなく、並走車両の画像についても行うと良い。
【００２７】
例えば、片側２車線以上の広い道路では、自車両の右側や左側を別の車両が並走する場合がある。撮像部１０の前方カメラ１１や後方カメラ１２の視野角が魚眼カメラのように広い場合、或いは自車両の右側及び左側にカメラを取り付けた場合は、並走車両を撮影することができるため、並走車両についてもマスク処理を行う。
【００２８】
図５は、並走車のマスク処理の一例を示している。図５（ａ）はスポーツカーのように天井のない車両の一部をマスクする例であり、前方の窓と車両のキャビンの部分をマスク画像Ｄ３によってマスクし、ナンバープレートをマスク画像Ｄ４によってマスクする。オープンカーのように、天井部のない車両については、窓を含む車両の上部全体をマスクしてもよい。図５（ｂ）はセダンタイプの並走車両の一部をマスクする例であり、前方の窓部分をマスク画像Ｄ５によってマスクし、ナンバープレートをマスク画像Ｄ６によってマスクする。
【００２９】
一方、通常であれば、第１の車両Ｂの窓を通して第２の車両Ｃを確認することができるが、第１の車両Ｂの窓をマスクした場合、第２の車両Ｃが隠されてしまい目視できなくなる可能性がある。特に第２の車両Ｃが第１の車両Ｂよりも小さい場合は、第１の車両Ｂの窓だけでなく本体によっても隠されるため、より一層目視しにくくなる。
【００３０】
そこで、本発明では、周辺監視部２３で第２の車両Ｃの有無を監視し、第２の車両Ｃが居る場合に識別画像生成部２４で第２の車両Ｃを模した疑似画像（イラストＥ）を生成し、合成処理部２６でカメラ画像にイラストＥを重ねて表示する。イラストＥは、単純な図形や、個人的趣味のキャラクター図形などで良い。尚、周辺監視部２３における第２の車両Ｃの監視方法については後述する。
【００３１】
図６は、前方車両Ｂの画像に前前方車両ＣのイラストＥを重ねて表示した例を示す。図６（ａ）は、図３のように前方車両Ｂによって前前方車両Ｃの一部が隠れている場合のイラストＥの合成位置を示し、図６（ｂ）は、前方車両Ｂによって前前方車両Ｃが殆ど隠れている場合のイラストＥの合成位置を示す。
【００３２】
自車両の運転者は、表示部５０に表示されたカメラ画像を観察することで前方または後方の状況を確認できるが、個人のプライバシーを考慮して第１の車両Ｂの窓やナンバープレートはマスクするため、個人情報を保護することができる。また第１の車両Ｂの前方または後方にいる第２の車両Ｃの存在をイラストＥで確認することができる。
【００３３】
図７は、画像処理部２０の動作を説明するフローチャートである。画像処理部２０は、制御部２１の制御のもとに以下のステップで動作する。
【００３４】
図７において、ステップＳ１はリアルタイムの画像（マスクしない画像）が必要か否かを判断する。即ち、複数のカメラ１１，１２…からの画像や車両情報生成部３０からの情報等を総合判断して緊急時か否かを判断し、事故もしくは緊急性のある場合、或いは事故回避を行う必要がある場合は、リアルタイム画像が望ましいと判断してステップＳ２に進み、マスク処理を行なわずに生画像による表示を行う。これによりステップＳ９において、図３のようなリアルタイム画像を表示する。
【００３５】
ステップＳ１の判断がＮＯの場合、ステップ３では個人情報のマスクが必要か否かを判断する。例えば第１の車両Ｂの窓が黒い場合等は車室内が窓を通して見えないため、マスク処理をする必要がない。したがってマスクする必要がない場合は、ステップＳ２に進み図３のようにリアルタイム画像を表示する。
【００３６】
ステップＳ３でマスクが必要であると判断した場合は、ステップ４においてマスク領域が全体画像に対して占める割合を判断する。つまり、被写体の窓が小さければ、窓を通して見た室内情報量も限られるのでプライバシーを侵害することはないと考えられる。したがって、撮影した画像の全領域に対して窓のマスク領域が予め設定した割合よりも小さい場合は、ステップＳ２に進み、マスク処理を行なわずに生画像による表示を行う。尚、ステップＳ９では、ナンバープレート部分をマスクすると良い。
【００３７】
ステップ４においてマスク領域の画像が占める割合が大きいときは、ステップＳ５において自車両Ａから第１の車両Ｂ及び建物までの距離を測定する。カメラ性能に鑑みて、第１の車両Ｂまでの距離が十分離れている場合は、個人情報等の撮影は困難であるため、ステップＳ２に進み、リアルタイム画像を表示する。尚、カメラの分解能や周囲状況(明暗、霧など)によって距離係数は変化する。また周辺に建物がある場合は、建物を撮影した中に個人情報に該当する画像（窓、表札等）が含まれる可能性があるため、同様にマスクする。
【００３８】
ステップＳ５において第１の車両Ｂまでの距離が近い場合は、ステップＳ６でマスク領域を塗りつぶしてカメラ画像に重ねる。さらにステップＳ７では第２の車両の表示が必要か否かを判断する。つまりカメラ画像の一部をマスクしたことで、第１の車両のさらに前又は後ろに居る車両は陰に隠れて見えなくなってしまうため、それらの車両を表示する必要があるかないかを判断する。第２の車両がいない場合や距離が遠い場合は、ステップＳ１０において、図４で示すように第１の車両Ｂの窓やナンバープレートをマスクした画像のみを合成して表示する。
【００３９】
また第２の車両の表示が必要な場合は、ステップＳ８において第２の車両Ｃを表す疑似画像（イラストＥ）を合成し、ステップＳ１１において図６に示すようなマスク画像Ｄ１，Ｄ２とイラストＥが合成されたカメラ画像を表示する。
【００４０】
尚、図４で示すように前前方車両Ｃの一部が前方車両Ｂからはみ出している場合は、前前方車両Ｃの隠れていない部分の生画像を識別画像として表示してもよいし、前前方車両Ｃの全体を疑似画像（イラスト）で表示してもよい。例えば、操作部４０によって「生画像−イラスト」の表示切り替えを行うようにすると良い。イラストの表示を行った場合は、チラツキ現象を抑え、第２車室Ｃ内の個人情報をマスクすることができる。
【００４１】
次に第２の車両Ｃの存在を確認して疑似画像を生成する方法を具体的に説明する。尚、以下の説明では前方車両Ｂの前に前前方車両Ｃが居るか否かを監視する場合を説明するが、後方車両Ｂの後ろに後後方車両Ｃが居るか否かを監視する場合も同じ手法を用いることができる。
【００４２】
第２の車両Ｃの存在の有無は、制御部２１の制御のもとに周辺監視部２３によって行い、疑似画像の生成は識別画像生成部２４が行う。周辺監視部２３は、前方カメラ１１で撮影した画像をもとに前方車両Ｂへの異常接近や挙動を監視しているが、同時に前方車両Ｂのひとつ先の前前方車両Ｃも同時に認識し、その存在と消失を判断する。例えば、以下の（１）〜（５）の判断ポイントをもとにカメラで撮影した画像情報から風景と切り分けて車両を見分ける。（１）前方車両Ｂの前に居る前前方車両Ｃをどのように認識するか、（２）画像情報に含まれる物体を車両と認識するか、（３）前前方車両Ｃが前方車両Ｂの陰に隠れて見えない期間の位置の判断と消失の判断、（４）前前方車両Ｃが別の車両にスリ替わったときの判断。以下、具体的に（１）〜（４）の判断ポイントについて説明する。
【００４３】
（１）先ず周辺監視部２３は、前方車両Ｂの形状、サイズ、外形色を判断して記録する。また形状、サイズから普通車、小型車、トラック等の大雑把な全長を推測する。前前方車両Ｃの検出は、前方車両Ｂの色と異なる物体、もしくは、前方車両のサイズ以上にはみ出した物体を検出する。或いは前方車両Ｂの窓を通して、または前方車両Ｂの上下や横から前前方車両Ｃを認識する。検出個所は、図８で例示するように、前方車両Ｂの窓Ｆ０、上部Ｆ１、下部Ｆ２、左横Ｆ３、右横Ｆ４の計５カ所である。
このとき、前方車両Ｂの窓を通して前前方車両Ｃが判断できたか、もしくは、前前方車両Ｃが前方車両Ｂの上下左右から２カ所以上にはみ出して認識できたかを記録し履歴を残す。こうして認識した結果をＣ車両存在フラグと呼ぶことにする。尚、前方車両Ｂ及び前前方車両Ｃが居なくなった場合は、認識結果を初期化する。
そして、前方車両Ｂの全長Ｌ１と、前方車両Ｂの前の物体までの距離Ｌ２、及び前方の風景までの距離Ｌ３（＝∞）を基に、
Ｌ１＜Ｌ２≦Ｌ３（＝∞）…（１）
の条件が成り立てば、前方車両Ｂの前の物体を前前方車両Ｃと看做す。またこの時に、物体を車両と仮定して、前前方車両Ｃのサイズを推測して、「（仮）サイズ」として記録しておく（後述の「車両スリ替わり」を判定する際に利用する）。
【００４４】
（２）前方車両Ｂのさらに前方の物体を前前方車両Ｃと認識するための条件は次の（ａ），（ｂ）の通りである。このとき正式に車両と認識されるまでの物体を「車両(仮)」と呼ぶ。
（ａ）車両(仮)が、自車両および前方車両Ｂと同一車線を走行中である。
（ｂ）同一車線でない時は、走行中に限り自車両Ａ（あるいは前方車両Ｂ）から一定距離をＭ秒間保っている。
車両(仮)が実際に車両であると認識される前に停車した場合は、Ｍ秒カウントを一時停止するか、再度、車両(仮)が走行を開始した際にＭ秒カウントをリセットし、再度Ｍ秒カウントを行う。そして自車両Ａが走行中だった場合に限り、一定距離を継続する物体は車両であると推察し、前方車両の全長Ｌ１と、前方車両の前の物体までの距離Ｌ２、及び前方車両の全長Ｌ１に所定距離Ｋを加算した距離Ｌ４を基に、
Ｌ１＜Ｌ２≦Ｌ４（Ｌ４＝Ｌ１＋Ｋ）…（２）
の条件が成り立てば、前方車両Ｂの前の物体を前前方車両Ｃと看做す。
【００４５】
（３）次に前述したＣ車両存在フラグにより、前前方車両Ｃが恒常的に居るものか、それとも車両の位置関係により一時的に視認できたものかを区分する。つまり、図９（ａ）のように、前方の普通車Ｂの前に大型の車両Ｃが居る場合は、恒常的に大型車両Ｃを認識できるので、普通車Ｂの前からＮ秒間、大型車両Ｃが不可視になったなら居なくなったと判断する。
【００４６】
また図９（ｂ）のように、自車両の前方に大型車両Ｂが居て、さらにその前に普通車Ｃが居る場合は、自車両からは普通車Ｃが時々その一部しか視認できないので、大型車両Ｂの陰に隠れてずっと見えなくても居なくなったとは判断しない。こうして、Ｂ車両およびＣ車両と思われる物体の検出ポーリングを定期的に行い、前前方車両Ｃが画像上で不可視だった場合でも、Ｎ秒間は「居る」と判断し続ける。
【００４７】
このときの前前方車両Ｃの位置は、次の（ｃ）〜（ｅ）の通りに判断する。
（ｃ）前前方車両Ｃは、前方車両Ｂのさらに前方に居る。
（ｄ）前前方車両Ｃは、前方車両の左右センター位置で上下位置は最後に認識した位置とする。
（ｅ）前前方車両Ｃの前方車両Ｂとの相対距離は最後に認識した相対距離を維持する。
また、前前方車両Ｃが画像上で不可視の状態がＮ秒間継続された場合でも、一時的に視認できたと履歴されている場合は、居ないとは判断できないのでＮ秒後でも「居る」と判断する。但し自車両の前方の一定距離内に車両が存在しなくなった場合は、前方車両Ｂだけでなく前前方車両Ｃも「居なくなった」と判断する。
【００４８】
（４）前前方車両Ｃの、推測サイズ、もしくは外形色が大きく変化した場合には、前前方車両Ｃが別の車両と入れ替わったと判断する。これを「車両スリ替わり」と呼び、Ｃ車両存在フラグをクリアする。車両がスリ替わったことに伴って、以前の車両に対してフラグ・情報を記録していた場合、これらの旧い情報はスリ替わったものと判定したタイミングでクリアし破棄する。
【００４９】
こうして、前方車両Ｂの前に前前車両Ｃが居ると判断した場合は、前前車両Ｃの疑似画像（イラストＥ）を生成し、図６のようにイラストＥをカメラ画像に合成して表示する。イラストＥの位置は、前前車両Ｃの位置に応じて変化する。また前前方車両Ｃがスリ替わった場合は、スリ替わり後の車両に合わせて色やサイズを変化させ、過去のイラストは削除する。
【００５０】
図１０は、前方車両Ｂの前の物体が前前方車両Ｃと認識されるまでのフローチャートを示す。尚、以下の説明では、前方車両ＢをＢ車両と呼び、前前方車両ＣをＣ車両と呼ぶこともある。
【００５１】
図１０において、ステップ２１ではＢ車両の情報を判定し記録する。つまりＢ車両が視認できる場合、形状やサイズ、及び自車両との距離を推測して記録する。またＢ車両の外形色の情報を記録する。ステップＳ２２ではＣ車両（仮）情報を判定して記録する。ここでは、Ｃ車両と思われる物体の形状やサイズ、及び自車両からの距離を推測して記録する。またＣ車両の存在フラグやＣ車両（仮）の検出タイマーを設定する。ステップＳ２３では、Ｃ車両（仮）が検出できたか否かを判断し、検出できなかった場合はステップＳ２４に進み、図１２で後述するＣ車両、Ｃ車両（仮）が検出できない場合のフローに進む。
【００５２】
ステップＳ２３でＣ車両（仮）が検出できた場合は、ステップＳ２５で車両のスリ替わりを検出する。車両のスリ替わりが検出されたときはステップＳ２６でＣ車両（仮）として記録情報を再設定する。再設定後、又はステップＳ２５で車両のスリ替わりが検出されなかった場合は、ステップＳ２７でＣ車両（仮）とのＬ２距離が（１）式の条件を満たすか否かを判断する。（１）式の条件を満たさない場合はステッフＳ２４に進み、満たす場合はステップＳ２８でＣ車両（仮）が自車両Ａの車線上にいるか否かを判断する。
【００５３】
ステップＳ２８の判断でＣ車両（仮）が同じ車線上にいない場合は、ステッフＳ２４に進み、同じ車線上にいる場合はステップＳ２９で自車両Ａが走行中か否かを判断する。自車両Ａが走行中でない場合は、ステッフＳ２４に進み、走行中であればステップＳ３０でＣ車両（仮）との距離Ｌ２が（２）式の条件を満たすか否かを判断する。（２）式の条件を満たさない場合はステッフＳ２４に進み、満たす場合はステップＳ３１でＣ車両（仮）は単なる物体ではなく車両と判断する。このとき、Ｃ車両フラグをオンにし、Ｃ車両消失タイマーをセットする。尚、Ｃ車両消失タイマーは、Ｃ車両が検出される度にリセットされる。
【００５４】
図１１は、Ｃ車両を画像から検出するためのアルゴリズムを示すフローチャートである。図１１において、ステップＳ４１ではＢ車両が検出できたか否かを判断する。検出できた場合は、ステップＳ４２ではＢ車両の窓を通してその前方にいるＣ車両と思える物体が検出できたか否かを判断する。Ｃ車両と思える物体が検出できた場合は、ステップＳ４３に進み、Ｃ車両の存在フラグをオンにし、ステップＳ４４では、Ｃ車両と思える物体が明確に検出できたとして、識別画像生成部２４でＣ車両を示すイラストを生成し、例えば図６（ａ）のようなイラストＥを表示する。
【００５５】
またステップＳ４１でＢ車両が検出できなかった場合は、ステップＳ４５でＢ車両及びＣ車両の情報を初期化する。この場合は、ステップＳ４６で自車両の前方に車両と思える物体はないと判断する。またステップＳ４２で、Ｂ車両の窓を通してＣ車両と思える物体が検出できなかった場合は、ステップＳ４７で、Ｂ車両からはみ出しているＣ車両と思える物体があるか否かを判断する。Ｃ車両と思える物体がある場合は、ステップＳ４８でＢ車両からはみ出しているＣ車両と思える物体が同時に２か所以上検出されたか否かを判断する。Ｃ車両と思える物体が同時に２か所以上検出された場合（図９（ａ）のような場合）は、ステップＳ４３に進みＣ車両の存在フラグをオンにする。
【００５６】
ステップＳ４８でＣ車両と思える物体が同時に２か所以上検出されなかった場合（図９（ｂ）のような場合で前前方車両Ｃが隠れているとき）は、ステップＳ５０に進み、Ｃ車両存在フラグは操作しない。この状態ではＣ車両と思える物体を明確には視認できず、ステップＳ５１ではＣ車両と思える物体の一部を検出したものと判断する。このとき、Ｃ車両を示すイラストＥは図６（ｂ）のように表示される。
【００５７】
図１２は、Ｃ車両及びＣ車両（仮）が検出できなかった場合のフローチャートである。図１２において、ステップＳ６１ではＣ車両（仮）が既に車両判定されているか否かを判断する。Ｃ車両（仮）が車両判定されている場合は、ステップＳ６２で、Ｃ車両消失タイマーはゼロか否かを判定する。Ｃ車両消失タイマーがゼロである場合は、ステップＳ６３でＣ車両存在フラグはオンか否かを判断する。
【００５８】
ステップＳ６２で、Ｃ車両消失タイマーゼロでない場合、及びステップＳ６３でＣ車両存在フラグがオンでない場合は、ステップＳ６４に進み、Ｃ車両は見えなくなったが居なくなった訳ではないと判断し、過去のＣ車両情報をもとにイラストの表示を行う。ステップＳ６５では、Ｃ車両の位置はＢ車両前方のセンター位置とし、自車両Ａとの相対距離は過去の情報を用いる。ステップＳ６６は、物体は見えないが車両として認識し続ける期間に相当する。
【００５９】
ステップＳ６３でＣ車両存在フラグがオンのときは、恒常的に視認可能な状況で一定時間Ｃ車両が見えないとして、Ｃ車両は居なくなったと判断し、必要であればＣ車両情報をクリアにする。ステップＳ６８では、Ｃ車両は居なくなったと判断する。
【００６０】
またステップＳ６１でＣ車両（仮）が車両判定されていないと判断した場合は、ステップＳ６９で、Ｃ車両（仮）検出タイマーがゼロか否かを判断する。Ｃ車両（仮）検出タイマーがゼロの場合はステップＳ７０に進み、Ｃ車両は居なくなったと判断し、必要であればＣ車両の情報をクリアし、ステップＳ７１では、車両と認識する前の物体が居なくなったと判断する。またステップＳ６９で、Ｃ車両（仮）検出タイマーがゼロでない場合は、ステップＳ７２に進み、Ｃ車両は見えなくなったが居なくなった訳ではないと判断し、過去のＣ車両（仮）情報をもとにイラストの表示を行う。ステップＳ７３では、Ｃ車両の位置はＢ車両前方のセンター位置とする。ステップＳ７４は、物体はあるが車両としては認識されない期間に相当する。
【００６１】
以上説明したように本発明の実施形態によれば、自車両の前方や後方の周囲の状況を撮影して運転者の運転を補助するとともに、撮影した前方車両や後方車両の窓部等をマスクすることで個人情報を保護することができる。また、マスク処理によって前前方車両や後後方車両が隠される場合でも疑似画像を表示して認識することができる。また、カメラ性能が向上した場合に、カメラで撮影した画像の個人情報部分をマスクすることで盗撮行為に該当するのを避けることができる。
【００６２】
尚、以上説明した実施形態については各種の変形例が考えられる。例えば、カメラは車両の前方及び後方を撮影する以外に横方向を撮影可能にしてもよい。また特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【００６３】
１０…撮像部
１１，１２，ｎ…カメラ
２０…画像処理部
２１…制御部
２２…マスク画像生成部
２３…周辺監視部
２４…識別画像生成部
２５…カメラ画像処理部
２６…合成処理部
３０…車両情報生成部
３１…ナビゲーション装置
４０…操作部
５０…表示部
【特許請求の範囲】
【請求項１】
車両の前方及び後方の映像を夫々撮影する複数のカメラを含み前記車両の周囲を撮影可能な撮像部と、
前記複数のカメラで撮影したカメラ画像のうち、自車両の前方又は後方に近接する第１の車両の画像に含まれる個人情報保護領域を目隠しするマスク画像を生成するマスク画像生成部と、
前記カメラ画像を利用して前記第１の車両の前方又は後方での第２の車両の有無を監視する周辺監視部と、
前記周辺監視部によって前記第２の車両の存在を判別したとき、前記第２の車両の存在を示す識別画像を生成する識別画像生成部と、
前記カメラ画像に前記マスク画像及び前記識別画像を合成して表示部に表示する合成処理部と、を具備したことを特徴とする車両用画像表示装置。
【請求項２】
前記合成処理部は、緊急時には前記マスク画像を合成せずにリアルタイムの撮影画像を前記表示部に表示することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記マスク画像生成部は、前記第１の車両の窓及びナンバープレートを含む部分を前記個人情報保護領域として前記マスク画像を生成することを特徴とする請求項１記載の車両用画像表示装置。
【請求項４】
前記マスク画像生成部は、前記第１の車両の窓の色、窓の大きさ、及び前記自車両から前記第１の車両まで距離のいずれかの情報に基づいて、前記マスク画像を生成するか否かを判断することを特徴とする請求項１記載の車両用画像表示装置。
【請求項５】
前記識別画像生成部は、前記識別画像として前記第２の車両の疑似画像を生成することを特徴とする請求項１記載の車両用画像表示装置。
【請求項６】
前記周辺監視部は、前記第１の車両の窓部、及び前記第１の車両の上部、下部、側面を含む複数個所の画像を監視し、前記第１の車両と色の異なる物体、又は第１の車両のサイズ以上にはみ出した物体を前記第２の車両として認識することを特徴とする請求項１記載の車両用画像表示装置。
【請求項１】
車両の前方及び後方の映像を夫々撮影する複数のカメラを含み前記車両の周囲を撮影可能な撮像部と、
前記複数のカメラで撮影したカメラ画像のうち、自車両の前方又は後方に近接する第１の車両の画像に含まれる個人情報保護領域を目隠しするマスク画像を生成するマスク画像生成部と、
前記カメラ画像を利用して前記第１の車両の前方又は後方での第２の車両の有無を監視する周辺監視部と、
前記周辺監視部によって前記第２の車両の存在を判別したとき、前記第２の車両の存在を示す識別画像を生成する識別画像生成部と、
前記カメラ画像に前記マスク画像及び前記識別画像を合成して表示部に表示する合成処理部と、を具備したことを特徴とする車両用画像表示装置。
【請求項２】
前記合成処理部は、緊急時には前記マスク画像を合成せずにリアルタイムの撮影画像を前記表示部に表示することを特徴とする請求項１記載の車両用画像表示装置。
【請求項３】
前記マスク画像生成部は、前記第１の車両の窓及びナンバープレートを含む部分を前記個人情報保護領域として前記マスク画像を生成することを特徴とする請求項１記載の車両用画像表示装置。
【請求項４】
前記マスク画像生成部は、前記第１の車両の窓の色、窓の大きさ、及び前記自車両から前記第１の車両まで距離のいずれかの情報に基づいて、前記マスク画像を生成するか否かを判断することを特徴とする請求項１記載の車両用画像表示装置。
【請求項５】
前記識別画像生成部は、前記識別画像として前記第２の車両の疑似画像を生成することを特徴とする請求項１記載の車両用画像表示装置。
【請求項６】
前記周辺監視部は、前記第１の車両の窓部、及び前記第１の車両の上部、下部、側面を含む複数個所の画像を監視し、前記第１の車両と色の異なる物体、又は第１の車両のサイズ以上にはみ出した物体を前記第２の車両として認識することを特徴とする請求項１記載の車両用画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−３９９８３（Ｐ２０１１−３９９８３Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８９２６０（Ｐ２００９−１８９２６０）
【出願日】平成２１年８月１８日（２００９．８．１８）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１８日（２００９．８．１８）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]