車両周辺監視システム
【課題】重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる車両周辺監視システムを提供すること。
【解決手段】運転者の死角領域を撮像する左右のサイドカメラ１，２と、外部モニター４と、実カメラ映像に基づきモニター表示映像データを生成する画像処理コントローラ３を備えたサイドビューモニターシステムＡ１において、画像処理コントローラ３は、死角領域を映した実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成する。
【解決手段】運転者の死角領域を撮像する左右のサイドカメラ１，２と、外部モニター４と、実カメラ映像に基づきモニター表示映像データを生成する画像処理コントローラ３を備えたサイドビューモニターシステムＡ１において、画像処理コントローラ３は、死角領域を映した実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あたかも運転者の視点から見たように車両を透過して死角領域をモニター映像上に表現する車両周辺監視システムに関する。
【背景技術】
【０００２】
従来、車両周辺監視システムの一例であるサイドビューモニターシステムの画像変換応用例としては、視点変換技術を用いて、サイドカメラの映像を、運転者がより認識し易いシステムを構築する提案がなされている（例えば、特許文献１参照）。
【０００３】
この提案の趣旨は、カメラと運転者の視点の違いから来る視差を解消し、形状その他を直感的に把握可能なように画像変換するものであった。
【０００４】
即ち、現状のサイドビューモニター用カメラが、サイドミラー内部へ配置されているため、運転者の視点との間に視差を感じ、障害物その他物体の形状は、カメラ映像のそれと運転者の席から見える形状とは全く違うものである。通常の場合、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。
【０００５】
このような場合、不慣れな運転者及び咄嗟の場合には、画面と運転者の見る映像との整合性が崩れ非常な違和感を生じることが多かった。これらを解消するために、前述の提案ではカメラ画像を、あたかも運転者の視点位置から見たそれ（カメラ映像）へと画像変換して、この影響を最小限に抑えようとしていた。
【０００６】
また更に、その表現手法の特徴として、カメラ映像を２分割し、各々のカメラ映像に対して、画像変換処理を行うものであることが挙げられる。具体的には、その映像の中に映り込んでいる車体の映像部分とその他外部の死角部分を映した映像とに分割し、前者を仮想垂直スクリーンへ投影し、それを運転者視点から見た映像へ、また後者を仮想水平スクリーンへ投影しそれを運転者視点から見た映像へ変換し、その二つの映像を重畳表示するものであった。
【０００７】
結果として、半透明な車体を通して、運転者視点からの映像に変換された外部の死角映像が見える形となる。但し、この場合の半透明の車体映像は、外部から見た車体の鏡像となる。このようにして半透明車両の映像を実現していた。
【０００８】
鏡像とはいえ実際の車両映像が重畳されているため、タイヤ位置やドアの映像から死角カメラの視点変換映像に対する前後方向の大きさ、距離感などが捉えやすく、直感的な理解に非常に効果が高く、安全性の寄与に貢献していた。
【特許文献１】特開2008-85691号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のサイドビューモニターシステムにあっては、その具体的な実現にあたって、次のような視認性の問題が生じていた。
【００１０】
即ち、半透明化した車両映像は実際の車両の映像であり、タイヤの挙動その他が実動作であるため、応答性やその他に関して非常に信頼性が高いが、今回の視点変換の手法上、実車を裏側から見た形に変換するため、必ず鏡像となり、ハンドル切れ角が逆の方向となる。つまり、右にハンドルを切るとタイヤ映像は線対称に左に切れることになり、違和感を生じていた。これは、なまじ実映像を用いているため、ハンドルを切る際の動作との整合性を取る際、感覚的なズレが大きくなってしまう、という問題を生じていた。
【００１１】
本発明は、上記問題に着目してなされたもので、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる車両周辺監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明では、運転者の死角領域を撮像する死角カメラと、運転者が視認できる車室内位置に設定した外部モニターと、前記死角カメラから入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段と、を備えた車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、死角領域を映した前記死角カメラからの実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成することを特徴とする。
【発明の効果】
【００１３】
よって、本発明の車両周辺監視システムにあっては、モニター表示映像データ生成手段において、死角領域を映した死角カメラからの実カメラ映像を運転者視点から見た映像へ変換して死角画像が生成される。そして、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成が行われる。このため、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データが生成されることになる。
すなわち、外部モニターに表示されるタイヤ映像が、あたかも運転者視点から実タイヤを見たときの位置と方向をあらわす映像になるため、運転者に与える違和感が解消され、運転者視点による死角領域の直感的な空間把握を助ける。さらに、外部モニターに表示されるタイヤ映像が、ハンドル切れ角と連動するタイヤ挙動となるため、タイヤ映像により車両の進行方向や車両挙動を簡単に把握することができる。
この結果、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の車両周辺監視システムを実現する最良の形態を、図面に示す実施例１および実施例２に基づいて説明する。
【００１５】
従来技術（特開2008-85691号公報）における最も特徴的な機能、即ち、半透明化した実写映像を垂直仮想スクリーンに投影して、外部カメラ映像を視点変換したものと合成表示する機能に対し、実際のタイヤの挙動が鏡像となるため、違和感を生じていた。本発明は、特徴的な機能を残しつつ違和感を解消しようとするものである。そして、違和感を解消する具体的な手法として、ここでは、２つの手法を提案する。
【００１６】
１つの手法は、システムを２系統持ち、左右両輪のタイヤを映した映像を用いて行うもの、即ち、右側実写映像を左タイヤの挙動として合成表現し、左側実写映像を右タイヤの挙動として合成表現する（実施例１：２系統左右交換表示）。
【００１７】
他の１つの手法は、タイヤをコンピュータ・グラフィックス（以下、「ＣＧ(Computer Graphicsの略)」という。）にて表現し、ハンドル切れ角にあわせてＣＧタイヤを可動させることで、現在の進行方向等を表現する（実施例２：ＣＧタイヤ表示）。
【００１８】
上記いずれの手法を採用しても、タイヤの回転方向とハンドルの切れ角が、運転者の感覚と一致することになり、違和感を無くし、直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。
【実施例１】
【００１９】
まず、構成を説明する。
図１は、実施例１のサイドビューモニターシステムＡ１（車両周辺監視システムの一例）の全体システムを示すシステムブロック図である。
【００２０】
実施例１のサイドビューモニターシステムＡ１は、図１に示すように、左サイドカメラ１（死角カメラ）と、右サイドカメラ２（死角カメラ）と、画像処理コントローラ３（モニター表示映像データ生成手段）と、外部モニター４と、モニター表示映像切換スイッチ５と、を備えている。
【００２１】
前記左サイドカメラ１は、左サイドミラーに設置され、運転者の死角となる車両の前部左側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。
【００２２】
前記右サイドカメラ２は、右サイドミラーに設置され、運転者の死角となる車両の前部右側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。
【００２３】
前記画像処理コントローラ３は、左サイドカメラ１と右サイドカメラ２から入力される実カメラ映像に基づき、モニター表示映像データを生成する。基本的には、カメラ映像に基づいて運転者視点へ視点変換する画像処理ブロックを２系統持つ形で構成されている。そして、左右両輪のタイヤを映した映像を用い、右側実写映像を左タイヤの挙動として合成表現し、左側実写映像を右タイヤの挙動として合成表現する。
【００２４】
前記外部モニター４は、液晶ディスプレイや有機ELディスプレイ等によるモニター画面を有し、運転者が視認できる車室内位置（例えば、インストルメンタルパネル位置）に設定される。この外部モニター４としては、サイドビューモニターシステムＡ１に専用の外部モニターを設定しても良い。また、死角解消カメラを用いたシステムに専用の外部モニターを設定しても良い。また、ナビゲーションシステム等、他のシステムの外部モニターを流用しても良い。
【００２５】
前記モニター表示映像切換スイッチ５は、外部モニター４に表示する映像を、左サイド映像とするか、右サイド映像とするか、左右合成映像とするかを、を切り換える手段である。モニター表示映像切換スイッチ５としては、例えば、外部モニター４の画面上に映像選択モードを表示し、画面タッチ方式で選択するようなスイッチが用いられる。
【００２６】
前記画像処理コントローラ３は、図１に示すように、デコーダー３１Ｌと、デコーダー３１Ｒと、画像メモリ３２Ｌと、画像メモリ３２Ｒと、左周囲映像部分画像変形部３３Ｌと、右周囲映像部分画像変形部３３Ｒと、左車体映像部分画像変形部３４Ｌと、右車体映像部分画像変形部３４Ｒと、左サイド画像合成部３５Ｌと、右サイド画像合成部３５Ｒと、左右画像合成部３５LRと、左サイド映像データ生成部３６Ｌと、右サイド映像データ生成部３６Ｒと、左右合成映像データ生成部３６LRと、ＣＰＵ３７と、画像合成用調整部３８と、を備えている。
【００２７】
前記デコーダー３１Ｌは、左サイドカメラ１から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ３２Ｌに蓄える。
【００２８】
前記デコーダー３１Ｒは、右サイドカメラ２から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ３２Ｒに蓄える。
【００２９】
前記左周囲映像部分画像変形部３３Ｌは、画像メモリ３２Ｌからの実カメラ映像データを左周囲映像部分（左死角部分）と左車体映像部分に２分割し、このうち、左周囲映像部分を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点から見た画像に変形処理する。
【００３０】
前記右周囲映像部分画像変形部３３Ｒは、画像メモリ３２Ｒからの実カメラ映像データを右周囲映像部分（右死角部分）と右車体映像部分に２分割し、このうち、右周囲映像部分を仮想水平スクリーンへ投影し、それを視点変換処理により助手席視点から見た画像に変形処理する。
【００３１】
前記左車体映像部分画像変形部３４Ｌは、画像メモリ３２Ｌからの実カメラ映像データを左周囲映像部分と左車体映像部分（左タイヤを含む）に２分割し、このうち、左車体映像部分を仮想垂直スクリーンへ投影し、それを視点変換処理により運転者視点と助手席視点から見た画像に変形処理すると共に、半透明化して半透明左車体画像とする。
【００３２】
前記右車体映像部分画像変形部３４Ｒは、画像メモリ３２Ｒからの実カメラ映像データを右周囲映像部分と右車体映像部分（右タイヤを含む）に２分割し、このうち、右車体映像部分を仮想垂直スクリーンへ投影し、それを視点変換処理により助手席視点と運転者視点から見た画像に変形処理すると共に、半透明化して半透明右車体画像とする。
【００３３】
前記左サイド画像合成部３５Ｌは、左周囲映像部分画像変形部３３Ｌからの運転者視点による左周囲画像に、右車体映像部分画像変形部３４Ｒからの助手席視点による半透明右車体画像を重ね合わせる画像合成により左サイド画像を生成する。そして、この左サイド画像に基づき、エンコーダ機能を持つ左サイド映像データ生成部３６Ｌにおいて、運転者視点から半透明右車体画像（半透明車両画像と半透明タイヤ画像に相当）を透過して左周囲画像（死角画像に相当）を表現する左サイド映像データを生成する。
【００３４】
前記右サイド画像合成部３５Ｒは、右周囲映像部分画像変形部３３Ｒからの運転者視点による右周囲画像に、左車体映像部分画像変形部３４Ｌからの助手席視点による半透明左車体画像を重ね合わせる画像合成により右サイド画像を生成する。そして、この右サイド画像に基づき、エンコーダ機能を持つ右サイド映像データ生成部３６Ｒにおいて、運転者視点から半透明左車体画像（半透明車両画像と半透明タイヤ画像に相当）を透過して右周囲画像（死角画像に相当）を表現する右サイド映像データを生成する。
【００３５】
前記左右画像合成部３５LRは、左サイド画像合成部３５Ｌからの左サイド画像と、右サイド画像合成部３５Ｒからの右サイド画像を合成し、左右画像を生成する。そして、この左右画像に基づき、エンコーダ機能を持つ左右合成映像データ生成部３６LRにおいて、右サイド映像データと左サイド映像データを合成した左右合成映像データを生成する。
【００３６】
前記ＣＰＵ３７は、画像処理に関する全ての情報処理と制御出力を管理する中央演算処理回路であり、視点変換や画像合成等の各種画像処理制御を行う制御プログラムが設定されている。
【００３７】
前記画像合成用調整部３８は、左サイド画像合成部３５Ｌ、右サイド画像合成部３５Ｒ、左右画像合成部３５LRの各々の出力画像に基づき、最終的に輝度・彩度・透明度等を調整し、外部モニター４へ出力する構成をとっている。
【００３８】
次に、作用を説明する。
近年、全周囲モニターシステムの一環として、また、運転補助システム推進の一環として車両の多カメラ化は進んでおり、左側のみならず右側へのサイドカメラの設置は、特別のことでは無くなってきている。実施例１は、少なくとも左右のサイドカメラ１，２を設置した車両について、これを利用したものである。以下、実施例１のサイドビューモニターシステムＡ１における作用を、「カメラ映像分割作用」、「左サイドのモニター映像生成作用」、「右サイドのモニター映像生成作用」、「タイヤの厚み表現作用」に分けて説明する。
【００３９】
［カメラ映像分割作用］
まず、タイヤ挙動の左右の区別を明らかにするために、図２に示すように、ハンドルを少し右に切っていることで、転舵輪である左右の前輪タイヤが、いずれも右に転舵角を持っている場合を想定する。
【００４０】
左右に設置されたサイドカメラ１，２に関して、各々の実カメラ映像を、車体映像部分と他の周囲映像部分に分割する。すなわち、図３(a)が左サイドカメラ映像であり、この左サイドカメラ映像を、図３(b)に示すように、左サイドカメラ１の車体部分が映り込んだ車体映像部分を車両画像L1とし、その他の車両左側の死角となる周囲映像部分を周囲画像L2とし、映像のブロック分けをする。また、図３(c)が右サイドカメラ映像であり、この右サイドカメラ映像を、図３(d)に示すように、右サイドカメラ２の車体部分が映り込んだ車体映像部分を車両画像R1とし、その他の車両右側の死角となる周囲映像部分を周囲画像R2とし、映像のブロック分けをする。
【００４１】
この映像のブロック分けにより、車両画像L1には、左側車体の実映像と共に左タイヤの実映像が含まれ、車両画像R1には、右側車体の実映像と共に右タイヤの実映像が含まれる。
【００４２】
［左サイドのモニター映像生成作用］
左サイドのモニター映像を作成する手順を以下に説明する。
左サイドカメラ１の映像を用いた視点変換映像は、図２に示すＡ位置（運転者視点）から見た変換映像として構成するものとする。これによって、図４(a)に示す周囲画像L2を仮想視点である運転者視点Ａから見ると、図４(b)に示す変換画像Ma2となる。また、図５(a)に示す車両画像L1を仮想視点である運転者視点Ａから見ると共に半透明化すると、図５(b)に示す半透明変換画像Ma1となる。
【００４３】
また、右サイドカメラ２の映像を用いた視点変換映像は、車両の中心軸を線対称の軸としてＡ位置を変換した図２に示すＢ位置（助手席視点）から見た変換映像として構成するものとする。これによって、図６(a)に示す周囲画像R2を仮想視点である助手席視点Ｂから見ると、図６(b)に示す変換画像Gb2となる。また、図７(a)に示す車両画像R1を仮想視点である助手席視点Ｂから見ると共に半透明化すると、図７(b)に示す半透明変換画像Gb1となり、この半透明変換画像Gb1を鏡像変換すると、図７(c)に示す半透明鏡像変換画像Gb3となる。
【００４４】
従来の手法では、半透明変換画像Ma1と変換画像Ma2の映像を、半透明変換画像Ma1の透過率を調整するαブレンドにより、半透明変換画像Ma1を透過して変換画像Ma2の映像を見る構成としていた。しかし、ここでは、変換画像Ma2の左サイド死角映像と、半透明変換画像Gb1の右側車体映像を用いる。半透明変換画像Gb1は、形状・大きさがほぼ半透明変換画像Ma1の鏡像と同一である。但し、ハンドルによるタイヤの切れ角の動作のみが逆の動作となる。
【００４５】
そして、半透明変換画像Gb1に対し再度左右鏡像変換を行い、半透明鏡像変換画像Gb3を形成する。この半透明鏡像変換画像Gb3は、結果的にハンドル動作によるタイヤの挙動以外は、半透明変換画像Ma1とほぼ同一の映像であり、置き換えが可能となる。
【００４６】
次に、図８に示すように、変換画像Ma2（図８(a)）に対し、半透明鏡像変換画像Gb3を重畳表示することで、ハンドルを右に切れば、タイヤも右に動くような、ハンドルの切れ角と感覚的に一致するタイヤ挙動を行うスーパーインポーズ画面（図８(c)）が完成する。
【００４７】
［右サイドのモニター映像生成作用］
右サイドのモニター映像を作成する手順を以下に説明する。
右サイドカメラ２の映像を用いた視点変換映像は、図２に示すＡ位置（運転者視点）から見た変換映像として構成するものとする。これによって、図９(a)に示す周囲画像R2を仮想視点である運転者視点Ａから見ると、図９(b)に示す変換画像Ga2となる。また、図１０(a)に示す車両画像R1を仮想視点である運転者視点Ａから見ると共に半透明化すると、図１０(b)に示す半透明変換画像Ga1となる。
【００４８】
また、左サイドカメラ１の映像を用いた視点変換映像は、車両の中心軸を線対称の軸としてＡ位置を変換した図２に示すＢ位置（助手席視点）から見た変換映像として構成するものとする。これによって、図１１(a)に示す周囲画像L2を仮想視点である助手席視点Ｂから見ると、図１１(b)に示す変換画像Mb2となる。また、図１２(a)に示す車両画像L1を仮想視点である助手席視点Ｂから見ると共に半透明化すると、図１２(b)に示す半透明変換画像Mb1となり、この半透明変換画像Mb1を鏡像変換すると、図１２(c)に示す半透明鏡像変換画像Mb3となる。
【００４９】
ここでは、変換画像Ga2の右サイド死角映像と、半透明変換画像Mb1の左側車体映像を用いる。半透明変換画像Mb1は、形状・大きさがほぼ半透明変換画像Ga1の鏡像と同一である。但し、ハンドルによるタイヤの切れ角の動作のみが逆の動作となる。
【００５０】
そして、半透明変換画像Mb1に対し再度左右鏡像変換を行い、半透明鏡像変換画像Mb3を形成する。この半透明鏡像変換画像Mb3は、結果的にハンドル動作によるタイヤの挙動以外は、半透明変換画像Ga1とほぼ同一の映像であり、置き換えが可能となる。
【００５１】
次に、図１３に示すように、変換画像Ga2（図１３(a)）に対し、半透明鏡像変換画像Mb3を重畳表示することで、ハンドルを右に切れば、タイヤも右に動くような、ハンドルの切れ角と感覚的に一致するタイヤ挙動を行うスーパーインポーズ画面（図１３(c)）が完成する。
【００５２】
［タイヤの厚み表現作用］
上記のようにして形成された映像は、両サイドカメラ１，２に映る表側、即ち車体表面の映像を基にしているため、厚み０（ゼロ）の薄い鋼板のみで形成された車両、又はワイヤーフレームで形成された車両を内側から透過して見ているような映像となる。
【００５３】
そのため、図１４に示すように、タイヤ自身の厚みが消失し、切れ角表現時の感覚と映像との間に違和感を生じる場合もある。つまり、タイヤを含めサイドカメラに映り込む実映像を用いる場合、半透過映像となる車体映像が平面的になりタイヤ自身も平面化されるため、ハンドルを切る際や、障害物を避ける際のタイヤの動きに厚みが無く、違和感を生じていた。
【００５４】
これに対し、対応例１では、図１５に示すように、スーパーインポーズするタイヤを含めた映像を、内側（図１５の場合は右側）へタイヤの厚み分だけずらして表示する。この場合、タイヤの輪郭線は、運転者視点での実タイヤの内側輪郭線とほぼ一致するものとなり、タイヤの厚み感を出すことができる。
【００５５】
対応例２では、別な手法として、上記のように、スーパーインポーズ画面全体をずらすのでは無く、図１６に示すように、タイヤを含む特定部分のみの映像を一部コピーし、タイヤの厚み分を考慮した形で再度スーパーインポーズすることで、本来立体であるタイヤを表現する。この場合、タイヤの内側輪郭線と外側輪郭線が表現され、図１５の場合より一層、タイヤの厚み感を出すことができる。
【００５６】
このタイヤ部分を再重畳する際に、タイヤ部分の透過率を調整し、タイヤを他の死角映像よりもハッキリさせて視認性を高める。例えば、図１７に示すように、車体外側部分を100％透過率とし、車体部分を75％透過率とし、タイヤ外側輪郭線を50％透過率とし、タイヤ内側輪郭線を25％透過率とすると、タイヤ部分を他の死角映像よりもハッキリさせることができる。なお、透過率のみに限らず、彩度等と共に透過率を変化させて重畳すれば、より路肩側溝の脱輪防止などに対し視認性が高く安全なシステムを構築することが可能である。
【００５７】
次に、効果を説明する。
実施例１のサイドビューモニターシステムＡ１にあっては、下記に列挙する効果を得ることができる。
【００５８】
(1) 運転者の死角領域を撮像する死角カメラ（左サイドカメラ１，右サイドカメラ２）と、運転者が視認できる車室内位置に設定した外部モニター４と、前記死角カメラ（左サイドカメラ１，右サイドカメラ２）から入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段（画像処理コントローラ３）と、を備えた車両周辺監視システム（サイドビューモニターシステムＡ１）において、前記モニター表示映像データ生成手段（画像処理コントローラ３）は、死角領域を映した前記死角カメラ（左サイドカメラ１，右サイドカメラ２）からの実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成する。このため、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。以下、具体的な効果を述べる。
・タイヤの挙動が、実際のハンドル操作や車両の動きに合っているため、違和感を生じ難く、死角解消のための映像が、直感的に把握しやすい。
・タイヤの動き、特に切れ角がわかるため、今後の車両の進行方向など、障害物の回避状況などの把握が容易である。
・タイヤの位置・大きさが、車体の大きさ含めた車体形状把握のための指標となるので、人を含めた死角障害物の大きさ・形状把握が容易になる。
【００５９】
(2) 前記死角カメラは、運転者の死角となる車両の前部左側方領域を撮像する左サイドカメラ１と、運転者の死角となる車両の前部右側方領域を撮像する右サイドカメラ２であり、前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記左サイドカメラ１からの実カメラ映像を、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割し、前記右サイドカメラ２からの実カメラ映像を、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割し、左右の車体映像部分を交換し、左右交換による車体映像部分と周囲映像部分を組み合わせ、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現する。このため、多カメラ化が進んでいる車両において、左右のサイドカメラ１，２を利用し、タイヤの挙動が、実際のハンドル操作や車両の動きに合う半透明タイヤ画像を表現することができる。
【００６０】
(3) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、車両の中心軸を線対称軸として運転者視点Ａを線対称に変換した点を助手席視点Ｂとして設定し、左右一方の周囲映像部分（周囲画像L2,R2）を運転者視点Ａから見た変換画像Ma2,Ga2に視点変換し、左右他方の車体映像部分（車両画像R1,L1）を助手席視点Ｂから見た半透明変換画像Gb1,Mb1に視点変換した後、半透明変換画像Gb1,Mb1を半透明鏡像変換画像Gb3,Mb3に鏡像変換し、前記変換画像Ma2,Ga2に前記半透明鏡像変換画像Gb3,Mb3を重畳する画像合成により、左右一方のモニター表示映像データを生成する。このため、左右交換による車体映像部分を表現する際に生じる視差が、車体映像部分の仮想視点として助手席視点Ｂを設定することにより解消され、運転者視点Ａから見た周囲映像部分への合成時、あたかも運転者視点Ａから見たのと変わらない車体映像部分を表現することができる。
【００６１】
(4) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記変換画像Ma2,Ga2に重畳する前記半透明鏡像変換画像Gb3,Mb3を、実タイヤ幅を考慮して平行移動させることにより、半透明タイヤ画像にタイヤ厚みを表現した。このため、タイヤの厚みが無く平面化されている場合、ハンドルを切る際や障害物を避ける際のタイヤの動きに違和感が生じるが、簡単な画像処理によりタイヤ厚みを表現することで、映し出されたタイヤの動きに違和感が生じるのを防止できる。
【００６２】
(5) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記変換画像Ma2,Ga2に重畳する前記半透明鏡像変換画像Gb3,Mb3のうち、タイヤを含む特定部分の映像を一部コピーし、実タイヤ幅を考慮してコピー部分を平行移動し、再度、平行移動したコピー部分を重畳することにより、半透明タイヤ画像にタイヤ厚みを表現した。このため、タイヤの厚みが無く平面化されている場合、ハンドルを切る際や障害物を避ける際のタイヤの動きに違和感が生じるが、実タイヤに近似するタイヤ厚みを表現することで、映し出されたタイヤの動きを実タイヤの動きに近いものとすることができる。
【００６３】
(6) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記半透明タイヤ画像の透過率や色相や彩度や明度のうち、少なくとも一つの画像表現要素について、他の画像部分に対する識別性を高めるように調整した。このため、タイヤの挙動情報を、他の映像情報に対して高い識別性を持ってモニター表示することができる。
【実施例２】
【００６４】
実施例２は、タイヤをＣＧにて表現し、ハンドル切れ角にあわせて重畳するＣＧタイヤを可動させるようにした例である。
【００６５】
実施例１で述べたタイヤの位置やその傾きの表示は、出力されている周囲映像に対し、車体形状と外部障害物との位置関係、進行方向の情報などを与えてくれており、咄嗟の判断を行うことが多い運転操作の安全性向上に大変役立つものである。
【００６６】
しかしながら、本出願人が先に提案している特願2008-039395号に述べられているような、周囲画像に半透明車室内画像を重畳するシステムの場合や、左右一方のみにしかカメラが存在しない場合、また、カメラの取り付け角度や位置の関係で、タイヤ映像を含めた車体映像が取得しえない場合、何らかの手段でハンドルの舵角情報を表示する必要があった。実施例２は、その点に鑑み提案されたものである。
【００６７】
まず、構成を説明する。
図１８は、実施例２のサイドビューモニターシステムＡ２（車両周辺監視システムの一例）の全体システムを示すシステムブロック図である。
【００６８】
実施例２のサイドビューモニターシステムＡ２は、図１８に示すように、左サイドカメラ１（死角カメラ）と、外部モニター４と、画像処理コントローラ６（モニター表示映像データ生成手段）と、外部センサー７と、を備えている。
【００６９】
前記左サイドカメラ１は、左サイドミラーに設置され、運転者の死角となる車両の前部左側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。
【００７０】
前記外部モニター４は、液晶ディスプレイや有機ELディスプレイ等によるモニター画面を有し、運転者が視認できる車室内位置（例えば、インストルメンタルパネル位置）に設定される。
【００７１】
前記画像処理コントローラ６は、左サイドカメラ１から入力される実カメラ映像に基づき、モニター表示映像データを生成する。基本的には、カメラ映像に基づいて運転者視点へ視点変換する画像処理ブロックを１系統持つ形で構成されている。そして、運転者視点へ視点変換された周囲画像（死角画像）に、予め運転者視点から撮影された半透明車室内画像（半透明車両画像）と、舵角情報に連動する半透明ＣＧタイヤ画像Ｔ（半透明タイヤ画像）を重畳する。
【００７２】
前記外部センサー７は、様々な外部情報をもたらすセンサーであり、この外部センサー７として、舵角センサー７ａ（舵角検出手段）、速度センサー７ｂ、イルミネーションランプスイッチ７ｃ（外部環境検出手段）、ソナーセンサー７ｄ（障害物検出手段）等を有している。
【００７３】
前記画像処理コントローラ６は、図１７に示すように、デコーダー６１と、画像メモリ６２と、周囲画像変形部６３と、車室内画像形成部６４と、ＣＧタイヤ画像作成部６５と、ＣＰＵ６６と、メモリ６７と、画像合成部６８と、エンコーダ６９と、を備えている。
【００７４】
前記デコーダー６１は、左サイドカメラ１から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ６２に蓄える。
【００７５】
前記周囲画像変形部６３は、画像メモリ６２からのカメラ画像データを車体画像と周囲画像（死角画像）に２分割し、このうち、周囲画像を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点Ａから見た画像に変形処理する。
【００７６】
前記車室内画像形成部６４は、画像合成時、予め運転者視点で撮影された車室内画像データを読み込み、車室内画像データの透過率を調整して半透明車室内画像を形成する。
【００７７】
前記ＣＧタイヤ画像作成部６５は、画像合成時、複数のＣＧタイヤ画像データから舵角情報に基づき最も近いＣＧタイヤ画像データを読み込み、変形処理により舵角情報に対応する半透明ＣＧタイヤ画像Ｔを作成する。
【００７８】
前記ＣＰＵ６６は、画像処理に関する全ての情報処理と制御出力を管理する中央演算処理回路であり、視点変換や画像合成等の各種画像処理制御を行う制御プログラムが設定されている。
【００７９】
前記メモリ６７は、予め運転者視点で撮影された車室内画像データや、複数のＣＧタイヤ画像データ等を保存記憶しておき、ＣＰＵ６６から指令によりデータ読み出しがなされる。
【００８０】
前記画像合成部６８は、周囲画像変形部６３からの周囲画像に、車室内画像形成部６４からの半透明車室内画像と、ＣＧタイヤ画像作成部６５からの半透明ＣＧタイヤ画像Ｔを重畳して合成し、最終的に輝度・色相・彩度・透明度等を調整し、エンコーダ６９へ合成画像データを出力する構成をとっている。
【００８１】
前記エンコーダ６９は、画像合成部６８からの合成画像データを、デジタル／アナログ変換し、外部モニター４に表示する映像データを生成する。
【００８２】
図１９は、実施例２のサイドビューモニターシステムＡ２の画像処理コントローラ６にて実行される画像合成処理の流れを示すフローチャートである。以下、図１９の各ステップについて説明する。
【００８３】
ステップＳ181では、左サイドカメラ１から実カメラ映像データが取り込まれ、ステップＳ182へ移行する。
【００８４】
ステップＳ182では、ステップＳ181での左サイドカメラ映像データの取り込みに続き、左サイドカメラ１からのカメラ画像データを、車体画像データと周囲画像データに２分割し、ステップＳ183へ移行する。
【００８５】
ステップＳ183では、ステップＳ182での車体／周囲画像分割に続き、周囲画像を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点から見た画像に変形処理し、ステップＳ183へ移行する。
【００８６】
ステップＳ184では、ステップＳ183での周囲画像の変形に続き、予め運転者視点で撮影された車室内画像データを読み込み、車室内画像データの透過率を調整して半透明車室内画像を形成し、ステップＳ185へ移行する。
【００８７】
ステップＳ185では、ステップＳ184での車室内画像の形成に続き、舵角センサー７ａからから舵角情報を読み込み、ステップＳ186へ移行する。
【００８８】
ステップＳ186では、ステップＳ185での舵角情報の読み込みに続き、複数のＣＧタイヤ画像データから舵角情報に基づき、最も近いＣＧタイヤ画像データを読み込み、変形処理により舵角情報に対応する半透明ＣＧタイヤ画像Ｔを作成し、ステップＳ187へ移行する。
ここで、複数のＣＧタイヤ画像データＤとしては、例えば、図２０に示すように、舵角を異ならせて設定した実タイヤをモデルとし、これを見たままの立体形状に描いた複数のＣＧタイヤ画像T1,T2,T3,T4,T5が保存されている。
【００８９】
ステップＳ187では、ステップＳ186での半透明ＣＧタイヤ画像Ｔの作成に続き、ステップＳ183にて取得された周囲画像に、ステップＳ184にて取得された半透明車室内画像と、ステップＳ186にて取得された半透明ＣＧタイヤ画像Ｔを重畳して合成し、エンドへ移行する。
【００９０】
次に、作用を説明する。
本出願人は、特願2008-039395号において、仮想水平スクリーンへ投影し、それを運転者視点から見た映像へ変換した周囲映像部分のみを使用し、この周囲映像部分へ重畳する半透明映像として、車室内静止画を用いることで、あたかも車室内から外を見透かすかのような映像を実現するものを提案している。
【００９１】
しかしながら、上記提案においては、車室内静止画に基づいて半透明画像を重畳するため、ハンドル操作によるタイヤの挙動情報を表示できず、その点で不十分であった。そこで、実施例２では、タイヤの映像をＣＧにて置き換え、半透明車室内画像のスーパーインポーズと共に重畳表示し、ハンドルの切れ角を取得した後、そのデータに基づきＣＧタイヤ画像を変化させて表示することにより、直感的な空間把握を助ける手法を提案する。
【００９２】
まず、運転者視点から見た映像へ変換した周囲画像に、半透明車室内画像をスーパーインポーズすると、図２１に示すようなモニター映像を得ることができる。これにより、あたかも車室内から、死角となる車室外を見透かすかのようなモニター映像が実現され、直感的な空間把握を助ける。
【００９３】
これに加え、実施例２では、ハンドルの舵角情報を舵角センサー７ａよりＣＰＵ６６へ入力し、その情報より得られた舵角に適合する半透明ＣＧタイヤ画像Ｔを、ＣＧタイヤ画像作成部６５にて作成する。この半透明ＣＧタイヤ画像Ｔは、周囲画像や車室内画像と同様に、視点変換処理を施され、運転者の視点から見たような変形を予め行われているものとする。そして、周囲画像に対し、半透明車室内画像をスーパーインポーズすると共に、本来タイヤのあるべき位置に半透明化した半透明ＣＧタイヤ画像Ｔをスーパーインポーズする。
【００９４】
したがって、車両が直進走行状態（タイヤ切れ角＝０°）のときには、図２２に示すように、車両前後方向に向いた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。また、車両が右旋回状態（タイヤ右切り）のときには、図２３に示すように、右方向に切られた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。また、車両が左旋回状態（タイヤ左切り）のときには、図２４に示すように、左方向に切られた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。
【００９５】
ここで、半透明ＣＧタイヤ画像Ｔの変換処理は、舵角変動があったら、その都度に演算し変形・作成しても良いし、運転者の視点位置等の基本パラメータが定まった時に予め作成し、ＣＰＵ６６の外部に設定したメモリ６７等に記憶することで、演算時間を短縮する手法を採っても構わない。
【００９６】
更に、半透明ＣＧタイヤ画像Ｔを重畳する時点で、例えば、イルミネーションスイッチ７ｃのON/OFFや車外の明るさ／暗さ等により、半透明ＣＧタイヤ画像Ｔの色相や彩度等を、周囲画像との識別が明確になるように変化させるようにしている。例えば、薄暮れ時等において、周囲画像の色が暗くなったら、半透明ＣＧタイヤ画像Ｔが周囲画像に溶け込んで識別性を低下させてしまう。これに対し、外部環境の変化により、周囲画像の色に半透明ＣＧタイヤ画像Ｔが溶け込んで識別性を低下させてしまうようなことが無く、半透明ＣＧタイヤ画像Ｔの識別性を確保することができる。
【００９７】
例えば、ソナーセンサー７ｄ等の障害物検出手段と連動し、相対的に接近する障害物がある場合、半透明ＣＧタイヤ画像Ｔの色を、警報色である赤色に変化させるようにしている。すなわち、障害物警告表示が半透明ＣＧタイヤ画像Ｔにより代表して行われることになる。このため、障害物による警告情報を半透明ＣＧタイヤ画像Ｔで表現することで、安全性に寄与することが可能である。
【００９８】
次に、効果を説明する。
実施例２のサイドビューモニターシステムＡ２にあっては、実施例１の(1)の効果に加え、下記の効果を得ることができる。
【００９９】
(7) 前記死角カメラは、運転者の死角となる車両の前部側方領域を撮像する１台のサイドカメラ（左サイドカメラ１）であり、ハンドル操舵角を検出する舵角検出手段（舵角センサー７ａ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記舵角検出手段（舵角センサー７ａ）からの舵角情報に基づき、舵角に適合するタイヤをコンピュータ・グラフィックスにより描くことで半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を作成し、この半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を本来のタイヤ位置に重ね合わせる画像合成により、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現する。このため、左右一方のみにしかカメラが存在しない車両や周辺監視カメラによりタイヤ映像を含めた車体映像を取得することができない車両において、１台のサイドカメラ（左サイドカメラ１）を利用し、タイヤの挙動が、実際のハンドル操作や車両の動きに合う半透明タイヤ画像を表現することができる。
【０１００】
(8) 前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記１台のサイドカメラ（左サイドカメラ１）からのカメラ映像を視点変換することにより取得した運転者視点から見た周囲画像に、予め運転者視点から車室内を撮影した車室内画像に基づき取得した半透明車室内画像と、コンピュータ・グラフィックスにより立体的に描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を重畳する画像合成により、モニター表示映像データを生成する。このため、運転者視点により、車室内から死角となる車室外を見透かすかのようなモニター映像が実現され、直感的な空間把握を助けると共に、立体的に描いた半透明タイヤ画像により空間把握を損なうことなく、ハンドル操作によるタイヤの挙動情報を表示することができる。
【０１０１】
(9) 車両の外部環境の色相や彩度や明度を検出する外部環境検出手段（イルミネーションスイッチ７ｃ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記外部環境検出手段（イルミネーションスイッチ７ｃ）により検出される外部環境の色相や明るさに応じて、コンピュータ・グラフィックスにより描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）の色相・彩度・明度のうち少なくとも一つを、死角画像に対する識別性を高めるように変化させる。このため、外部環境の変化にかかわらず、ハンドル操作によるタイヤの挙動情報を高い識別性により表示することができる。
【０１０２】
(10) 自車の周囲に接近してくる障害物を検出する障害物検出手段（ソナーセンサー７ｄ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記障害物検知手段（ソナーセンサー７ｄ）により障害物の接近が検出されると、コンピュータ・グラフィックスにより描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）の色を、警告色に変化させる。このため、障害物による警告情報をＣＧで描いた半透明タイヤ画像により表現することで、応答良く障害物からの回避動作を開始でき、安全性に寄与することができる。
【０１０３】
以上、本発明の車両周辺監視システムを実施例１および実施例２に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【０１０４】
実施例１では、左右のサイドカメラ１，２に映り込んでいる車体映像が、殆どデザイン的に大差が無い場合を想定して述べてきた。しかし、左右の形状・ペイントなどデザイン的な違いが有り、それを無視し得ない場合は、車両全体ではなく、丸いタイヤ部分のみ、または、タイヤハウスを含む比較的狭い範囲内の映像のみを左右入れ替えるようにしても良い。この場合も実施例１と同様な重畳画像を作成することができる。
【０１０５】
実施例２では、左サイドカメラ１を用い、運転者視点による周囲画像に、運転者視点による半透明車室内画像と半透明ＣＧタイヤ画像を重畳する例を示した。しかし、左サイドカメラ１からのカメラ映像を周囲画像と車体画像に分割し、運転者視点による周囲画像と車体画像をそれぞれ作成し、運転者視点による周囲画像に、運転者視点による半透明車体画像（タイヤ画像を除く）と半透明ＣＧタイヤ画像を重畳する例としても良い。
【産業上の利用可能性】
【０１０６】
実施例１，２では、運転者の死角となる車両の前部側方領域を撮像するサイドカメラが搭載されたサイドビューモニターシステムへの適用例を示した。しかし、運転者の死角となる領域を撮像する死角カメラが搭載され、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するようにしたバックビューモニターシステムやフロントビューモニターシステムやアラウンドビューモニターシステム等の車両周辺監視システムに対しても適用することができる。
【図面の簡単な説明】
【０１０７】
【図１】実施例１のサイドビューモニターシステムＡ１の全体システムを示すシステムブロック図である。
【図２】運転者視点と助手席視点と左右のサイドカメラによる撮像領域を示す車両平面図である。
【図３】左右のサイドカメラ映像の分割をあらわす図であり、(a)は左サイドカメラ映像を示し、(b)は車両画像L1と周囲画像L2の左映像のブロック分けを示し、(c)は右サイドカメラ映像を示し、(d)は車両画像R1と周囲画像R2の右映像のブロック分けを示す。する。
【図４】左サイドカメラ１の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は周囲画像L2を示し、(b)は変換画像Ma2を示す。
【図５】左サイドカメラ１の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は車両画像L1を示し、(b)は半透明変換画像Ma1を示す。
【図６】右サイドカメラ２の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は周囲画像R2を示し、(b)は変換画像Gb2を示す。
【図７】右サイドカメラ２の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は車両画像R1を示し、(b)は半透明変換画像Gb1を示し、(c)は半透明鏡像変換画像Gb3を示す。
【図８】左サイド映像の画像合成処理をあらわし、(a)は変換画像Ma2を示し、(b)は半透明鏡像変換画像Gb3を示し、(c)は変換画像Ma2に半透明鏡像変換画像Gb3を重畳表示したスーパーインポーズ画面を示す。
【図９】右サイドカメラ２の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は周囲画像R2を示し、(b)は変換画像Ga2を示す。
【図１０】右サイドカメラ２の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は車両画像R1を示し、(b)は半透明変換画像Ga1を示す。
【図１１】左サイドカメラ１の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は周囲画像L2を示し、(b)は変換画像Mb2を示す。
【図１２】左サイドカメラ１の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は車両画像L1を示し、(b)は半透明変換画像Mb1を示し、(c)は半透明鏡像変換画像Mb3を示す。
【図１３】右サイド映像の画像合成処理をあらわし、(a)は変換画像Ga2を示し、(b)は半透明鏡像変換画像Mb3を示し、(c)は変換画像Ga2に半透明鏡像変換画像Mb3を重畳表示したスーパーインポーズ画面を示す。
【図１４】通常の外部モニターの主力映像（左サイド映像）を示すモニター映像図である。
【図１５】タイヤ幅を考慮してずらした外部モニターの主力映像（左サイド映像）を示すモニター映像図である。
【図１６】タイヤ部分のみをタイヤ幅を考慮して平行移動し再度重畳した外部モニターの主力映像（左サイド映像）を示すモニター映像図である。
【図１７】タイヤ部分のみをタイヤ幅を考慮して平行移動し再度重畳した外部モニターの主力映像（左サイド映像）においてタイヤ部分の透過率を変更した例を示すモニター映像図である。
【図１８】実施例２のサイドビューモニターシステムＡ２の全体システムを示すシステムブロック図である。
【図１９】実施例２のサイドビューモニターシステムＡ２の画像処理コントローラ６にて実行される画像合成処理の流れを示すフローチャートである。
【図２０】重畳するための複数のＣＧタイヤ画像データＤの一例を示す図である。
【図２１】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像をスーパーインポーズした例を示すモニター映像図である。
【図２２】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像とタイヤ切れ角０°の半透明ＣＧタイヤ画像をスーパーインポーズした例を示すモニター映像図である。
【図２３】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像と右切りタイヤの半透明ＣＧタイヤ画像をスーパーインポーズした例を示すモニター映像図である。
【図２４】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像と左切りタイヤの半透明ＣＧタイヤ画像をスーパーインポーズした例を示すモニター映像図である。
【符号の説明】
【０１０８】
Ａ１ サイドビューモニターシステム（車両周辺監視システム）
１ 左サイドカメラ（死角カメラ）
２ 右サイドカメラ（死角カメラ）
３ 画像処理コントローラ（モニター表示映像データ生成手段）
３１Ｌ，３１Ｒ デコーダー
３２Ｌ，３２Ｒ 画像メモリ
３３Ｌ 左周囲映像部分画像変形部
３３Ｒ 右周囲映像部分画像変形部
３４Ｌ 左車体映像部分画像変形部
３４Ｒ 右車体映像部分画像変形部
３５Ｌ 左サイド画像合成部
３５Ｒ 右サイド画像合成部
３５LR 左右画像合成部
３６Ｌ 左サイド映像データ生成部
３６Ｒ 右サイド映像データ生成部
３６LR 左右合成映像データ生成部
３７ ＣＰＵ
３８ 画像合成用調整部
４ 外部モニター
５ モニター表示映像切換スイッチ
Ａ２ サイドビューモニターシステム（車両周辺監視システム）
１ 左サイドカメラ（１台の死角カメラ）
６ 画像処理コントローラ（モニター表示映像データ生成手段）
６１ デコーダー
６２ 画像メモリ
６３ 周囲画像変形部
６４ 車室内画像形成部
６５ ＣＧタイヤ画像作成部
６６ ＣＰＵ
６７ メモリ
６８ 画像合成部
６９ エンコーダ
７ 外部センサー
７ａ 舵角センサー（舵角検出手段）
７ｂ 速度センサー
７ｃ イルミネーションランプスイッチ（外部環境検出手段）
７ｄ ソナーセンサー（障害物検出手段）
【技術分野】
【０００１】
本発明は、あたかも運転者の視点から見たように車両を透過して死角領域をモニター映像上に表現する車両周辺監視システムに関する。
【背景技術】
【０００２】
従来、車両周辺監視システムの一例であるサイドビューモニターシステムの画像変換応用例としては、視点変換技術を用いて、サイドカメラの映像を、運転者がより認識し易いシステムを構築する提案がなされている（例えば、特許文献１参照）。
【０００３】
この提案の趣旨は、カメラと運転者の視点の違いから来る視差を解消し、形状その他を直感的に把握可能なように画像変換するものであった。
【０００４】
即ち、現状のサイドビューモニター用カメラが、サイドミラー内部へ配置されているため、運転者の視点との間に視差を感じ、障害物その他物体の形状は、カメラ映像のそれと運転者の席から見える形状とは全く違うものである。通常の場合、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。
【０００５】
このような場合、不慣れな運転者及び咄嗟の場合には、画面と運転者の見る映像との整合性が崩れ非常な違和感を生じることが多かった。これらを解消するために、前述の提案ではカメラ画像を、あたかも運転者の視点位置から見たそれ（カメラ映像）へと画像変換して、この影響を最小限に抑えようとしていた。
【０００６】
また更に、その表現手法の特徴として、カメラ映像を２分割し、各々のカメラ映像に対して、画像変換処理を行うものであることが挙げられる。具体的には、その映像の中に映り込んでいる車体の映像部分とその他外部の死角部分を映した映像とに分割し、前者を仮想垂直スクリーンへ投影し、それを運転者視点から見た映像へ、また後者を仮想水平スクリーンへ投影しそれを運転者視点から見た映像へ変換し、その二つの映像を重畳表示するものであった。
【０００７】
結果として、半透明な車体を通して、運転者視点からの映像に変換された外部の死角映像が見える形となる。但し、この場合の半透明の車体映像は、外部から見た車体の鏡像となる。このようにして半透明車両の映像を実現していた。
【０００８】
鏡像とはいえ実際の車両映像が重畳されているため、タイヤ位置やドアの映像から死角カメラの視点変換映像に対する前後方向の大きさ、距離感などが捉えやすく、直感的な理解に非常に効果が高く、安全性の寄与に貢献していた。
【特許文献１】特開2008-85691号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のサイドビューモニターシステムにあっては、その具体的な実現にあたって、次のような視認性の問題が生じていた。
【００１０】
即ち、半透明化した車両映像は実際の車両の映像であり、タイヤの挙動その他が実動作であるため、応答性やその他に関して非常に信頼性が高いが、今回の視点変換の手法上、実車を裏側から見た形に変換するため、必ず鏡像となり、ハンドル切れ角が逆の方向となる。つまり、右にハンドルを切るとタイヤ映像は線対称に左に切れることになり、違和感を生じていた。これは、なまじ実映像を用いているため、ハンドルを切る際の動作との整合性を取る際、感覚的なズレが大きくなってしまう、という問題を生じていた。
【００１１】
本発明は、上記問題に着目してなされたもので、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる車両周辺監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明では、運転者の死角領域を撮像する死角カメラと、運転者が視認できる車室内位置に設定した外部モニターと、前記死角カメラから入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段と、を備えた車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、死角領域を映した前記死角カメラからの実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成することを特徴とする。
【発明の効果】
【００１３】
よって、本発明の車両周辺監視システムにあっては、モニター表示映像データ生成手段において、死角領域を映した死角カメラからの実カメラ映像を運転者視点から見た映像へ変換して死角画像が生成される。そして、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成が行われる。このため、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データが生成されることになる。
すなわち、外部モニターに表示されるタイヤ映像が、あたかも運転者視点から実タイヤを見たときの位置と方向をあらわす映像になるため、運転者に与える違和感が解消され、運転者視点による死角領域の直感的な空間把握を助ける。さらに、外部モニターに表示されるタイヤ映像が、ハンドル切れ角と連動するタイヤ挙動となるため、タイヤ映像により車両の進行方向や車両挙動を簡単に把握することができる。
この結果、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の車両周辺監視システムを実現する最良の形態を、図面に示す実施例１および実施例２に基づいて説明する。
【００１５】
従来技術（特開2008-85691号公報）における最も特徴的な機能、即ち、半透明化した実写映像を垂直仮想スクリーンに投影して、外部カメラ映像を視点変換したものと合成表示する機能に対し、実際のタイヤの挙動が鏡像となるため、違和感を生じていた。本発明は、特徴的な機能を残しつつ違和感を解消しようとするものである。そして、違和感を解消する具体的な手法として、ここでは、２つの手法を提案する。
【００１６】
１つの手法は、システムを２系統持ち、左右両輪のタイヤを映した映像を用いて行うもの、即ち、右側実写映像を左タイヤの挙動として合成表現し、左側実写映像を右タイヤの挙動として合成表現する（実施例１：２系統左右交換表示）。
【００１７】
他の１つの手法は、タイヤをコンピュータ・グラフィックス（以下、「ＣＧ(Computer Graphicsの略)」という。）にて表現し、ハンドル切れ角にあわせてＣＧタイヤを可動させることで、現在の進行方向等を表現する（実施例２：ＣＧタイヤ表示）。
【００１８】
上記いずれの手法を採用しても、タイヤの回転方向とハンドルの切れ角が、運転者の感覚と一致することになり、違和感を無くし、直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。
【実施例１】
【００１９】
まず、構成を説明する。
図１は、実施例１のサイドビューモニターシステムＡ１（車両周辺監視システムの一例）の全体システムを示すシステムブロック図である。
【００２０】
実施例１のサイドビューモニターシステムＡ１は、図１に示すように、左サイドカメラ１（死角カメラ）と、右サイドカメラ２（死角カメラ）と、画像処理コントローラ３（モニター表示映像データ生成手段）と、外部モニター４と、モニター表示映像切換スイッチ５と、を備えている。
【００２１】
前記左サイドカメラ１は、左サイドミラーに設置され、運転者の死角となる車両の前部左側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。
【００２２】
前記右サイドカメラ２は、右サイドミラーに設置され、運転者の死角となる車両の前部右側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。
【００２３】
前記画像処理コントローラ３は、左サイドカメラ１と右サイドカメラ２から入力される実カメラ映像に基づき、モニター表示映像データを生成する。基本的には、カメラ映像に基づいて運転者視点へ視点変換する画像処理ブロックを２系統持つ形で構成されている。そして、左右両輪のタイヤを映した映像を用い、右側実写映像を左タイヤの挙動として合成表現し、左側実写映像を右タイヤの挙動として合成表現する。
【００２４】
前記外部モニター４は、液晶ディスプレイや有機ELディスプレイ等によるモニター画面を有し、運転者が視認できる車室内位置（例えば、インストルメンタルパネル位置）に設定される。この外部モニター４としては、サイドビューモニターシステムＡ１に専用の外部モニターを設定しても良い。また、死角解消カメラを用いたシステムに専用の外部モニターを設定しても良い。また、ナビゲーションシステム等、他のシステムの外部モニターを流用しても良い。
【００２５】
前記モニター表示映像切換スイッチ５は、外部モニター４に表示する映像を、左サイド映像とするか、右サイド映像とするか、左右合成映像とするかを、を切り換える手段である。モニター表示映像切換スイッチ５としては、例えば、外部モニター４の画面上に映像選択モードを表示し、画面タッチ方式で選択するようなスイッチが用いられる。
【００２６】
前記画像処理コントローラ３は、図１に示すように、デコーダー３１Ｌと、デコーダー３１Ｒと、画像メモリ３２Ｌと、画像メモリ３２Ｒと、左周囲映像部分画像変形部３３Ｌと、右周囲映像部分画像変形部３３Ｒと、左車体映像部分画像変形部３４Ｌと、右車体映像部分画像変形部３４Ｒと、左サイド画像合成部３５Ｌと、右サイド画像合成部３５Ｒと、左右画像合成部３５LRと、左サイド映像データ生成部３６Ｌと、右サイド映像データ生成部３６Ｒと、左右合成映像データ生成部３６LRと、ＣＰＵ３７と、画像合成用調整部３８と、を備えている。
【００２７】
前記デコーダー３１Ｌは、左サイドカメラ１から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ３２Ｌに蓄える。
【００２８】
前記デコーダー３１Ｒは、右サイドカメラ２から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ３２Ｒに蓄える。
【００２９】
前記左周囲映像部分画像変形部３３Ｌは、画像メモリ３２Ｌからの実カメラ映像データを左周囲映像部分（左死角部分）と左車体映像部分に２分割し、このうち、左周囲映像部分を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点から見た画像に変形処理する。
【００３０】
前記右周囲映像部分画像変形部３３Ｒは、画像メモリ３２Ｒからの実カメラ映像データを右周囲映像部分（右死角部分）と右車体映像部分に２分割し、このうち、右周囲映像部分を仮想水平スクリーンへ投影し、それを視点変換処理により助手席視点から見た画像に変形処理する。
【００３１】
前記左車体映像部分画像変形部３４Ｌは、画像メモリ３２Ｌからの実カメラ映像データを左周囲映像部分と左車体映像部分（左タイヤを含む）に２分割し、このうち、左車体映像部分を仮想垂直スクリーンへ投影し、それを視点変換処理により運転者視点と助手席視点から見た画像に変形処理すると共に、半透明化して半透明左車体画像とする。
【００３２】
前記右車体映像部分画像変形部３４Ｒは、画像メモリ３２Ｒからの実カメラ映像データを右周囲映像部分と右車体映像部分（右タイヤを含む）に２分割し、このうち、右車体映像部分を仮想垂直スクリーンへ投影し、それを視点変換処理により助手席視点と運転者視点から見た画像に変形処理すると共に、半透明化して半透明右車体画像とする。
【００３３】
前記左サイド画像合成部３５Ｌは、左周囲映像部分画像変形部３３Ｌからの運転者視点による左周囲画像に、右車体映像部分画像変形部３４Ｒからの助手席視点による半透明右車体画像を重ね合わせる画像合成により左サイド画像を生成する。そして、この左サイド画像に基づき、エンコーダ機能を持つ左サイド映像データ生成部３６Ｌにおいて、運転者視点から半透明右車体画像（半透明車両画像と半透明タイヤ画像に相当）を透過して左周囲画像（死角画像に相当）を表現する左サイド映像データを生成する。
【００３４】
前記右サイド画像合成部３５Ｒは、右周囲映像部分画像変形部３３Ｒからの運転者視点による右周囲画像に、左車体映像部分画像変形部３４Ｌからの助手席視点による半透明左車体画像を重ね合わせる画像合成により右サイド画像を生成する。そして、この右サイド画像に基づき、エンコーダ機能を持つ右サイド映像データ生成部３６Ｒにおいて、運転者視点から半透明左車体画像（半透明車両画像と半透明タイヤ画像に相当）を透過して右周囲画像（死角画像に相当）を表現する右サイド映像データを生成する。
【００３５】
前記左右画像合成部３５LRは、左サイド画像合成部３５Ｌからの左サイド画像と、右サイド画像合成部３５Ｒからの右サイド画像を合成し、左右画像を生成する。そして、この左右画像に基づき、エンコーダ機能を持つ左右合成映像データ生成部３６LRにおいて、右サイド映像データと左サイド映像データを合成した左右合成映像データを生成する。
【００３６】
前記ＣＰＵ３７は、画像処理に関する全ての情報処理と制御出力を管理する中央演算処理回路であり、視点変換や画像合成等の各種画像処理制御を行う制御プログラムが設定されている。
【００３７】
前記画像合成用調整部３８は、左サイド画像合成部３５Ｌ、右サイド画像合成部３５Ｒ、左右画像合成部３５LRの各々の出力画像に基づき、最終的に輝度・彩度・透明度等を調整し、外部モニター４へ出力する構成をとっている。
【００３８】
次に、作用を説明する。
近年、全周囲モニターシステムの一環として、また、運転補助システム推進の一環として車両の多カメラ化は進んでおり、左側のみならず右側へのサイドカメラの設置は、特別のことでは無くなってきている。実施例１は、少なくとも左右のサイドカメラ１，２を設置した車両について、これを利用したものである。以下、実施例１のサイドビューモニターシステムＡ１における作用を、「カメラ映像分割作用」、「左サイドのモニター映像生成作用」、「右サイドのモニター映像生成作用」、「タイヤの厚み表現作用」に分けて説明する。
【００３９】
［カメラ映像分割作用］
まず、タイヤ挙動の左右の区別を明らかにするために、図２に示すように、ハンドルを少し右に切っていることで、転舵輪である左右の前輪タイヤが、いずれも右に転舵角を持っている場合を想定する。
【００４０】
左右に設置されたサイドカメラ１，２に関して、各々の実カメラ映像を、車体映像部分と他の周囲映像部分に分割する。すなわち、図３(a)が左サイドカメラ映像であり、この左サイドカメラ映像を、図３(b)に示すように、左サイドカメラ１の車体部分が映り込んだ車体映像部分を車両画像L1とし、その他の車両左側の死角となる周囲映像部分を周囲画像L2とし、映像のブロック分けをする。また、図３(c)が右サイドカメラ映像であり、この右サイドカメラ映像を、図３(d)に示すように、右サイドカメラ２の車体部分が映り込んだ車体映像部分を車両画像R1とし、その他の車両右側の死角となる周囲映像部分を周囲画像R2とし、映像のブロック分けをする。
【００４１】
この映像のブロック分けにより、車両画像L1には、左側車体の実映像と共に左タイヤの実映像が含まれ、車両画像R1には、右側車体の実映像と共に右タイヤの実映像が含まれる。
【００４２】
［左サイドのモニター映像生成作用］
左サイドのモニター映像を作成する手順を以下に説明する。
左サイドカメラ１の映像を用いた視点変換映像は、図２に示すＡ位置（運転者視点）から見た変換映像として構成するものとする。これによって、図４(a)に示す周囲画像L2を仮想視点である運転者視点Ａから見ると、図４(b)に示す変換画像Ma2となる。また、図５(a)に示す車両画像L1を仮想視点である運転者視点Ａから見ると共に半透明化すると、図５(b)に示す半透明変換画像Ma1となる。
【００４３】
また、右サイドカメラ２の映像を用いた視点変換映像は、車両の中心軸を線対称の軸としてＡ位置を変換した図２に示すＢ位置（助手席視点）から見た変換映像として構成するものとする。これによって、図６(a)に示す周囲画像R2を仮想視点である助手席視点Ｂから見ると、図６(b)に示す変換画像Gb2となる。また、図７(a)に示す車両画像R1を仮想視点である助手席視点Ｂから見ると共に半透明化すると、図７(b)に示す半透明変換画像Gb1となり、この半透明変換画像Gb1を鏡像変換すると、図７(c)に示す半透明鏡像変換画像Gb3となる。
【００４４】
従来の手法では、半透明変換画像Ma1と変換画像Ma2の映像を、半透明変換画像Ma1の透過率を調整するαブレンドにより、半透明変換画像Ma1を透過して変換画像Ma2の映像を見る構成としていた。しかし、ここでは、変換画像Ma2の左サイド死角映像と、半透明変換画像Gb1の右側車体映像を用いる。半透明変換画像Gb1は、形状・大きさがほぼ半透明変換画像Ma1の鏡像と同一である。但し、ハンドルによるタイヤの切れ角の動作のみが逆の動作となる。
【００４５】
そして、半透明変換画像Gb1に対し再度左右鏡像変換を行い、半透明鏡像変換画像Gb3を形成する。この半透明鏡像変換画像Gb3は、結果的にハンドル動作によるタイヤの挙動以外は、半透明変換画像Ma1とほぼ同一の映像であり、置き換えが可能となる。
【００４６】
次に、図８に示すように、変換画像Ma2（図８(a)）に対し、半透明鏡像変換画像Gb3を重畳表示することで、ハンドルを右に切れば、タイヤも右に動くような、ハンドルの切れ角と感覚的に一致するタイヤ挙動を行うスーパーインポーズ画面（図８(c)）が完成する。
【００４７】
［右サイドのモニター映像生成作用］
右サイドのモニター映像を作成する手順を以下に説明する。
右サイドカメラ２の映像を用いた視点変換映像は、図２に示すＡ位置（運転者視点）から見た変換映像として構成するものとする。これによって、図９(a)に示す周囲画像R2を仮想視点である運転者視点Ａから見ると、図９(b)に示す変換画像Ga2となる。また、図１０(a)に示す車両画像R1を仮想視点である運転者視点Ａから見ると共に半透明化すると、図１０(b)に示す半透明変換画像Ga1となる。
【００４８】
また、左サイドカメラ１の映像を用いた視点変換映像は、車両の中心軸を線対称の軸としてＡ位置を変換した図２に示すＢ位置（助手席視点）から見た変換映像として構成するものとする。これによって、図１１(a)に示す周囲画像L2を仮想視点である助手席視点Ｂから見ると、図１１(b)に示す変換画像Mb2となる。また、図１２(a)に示す車両画像L1を仮想視点である助手席視点Ｂから見ると共に半透明化すると、図１２(b)に示す半透明変換画像Mb1となり、この半透明変換画像Mb1を鏡像変換すると、図１２(c)に示す半透明鏡像変換画像Mb3となる。
【００４９】
ここでは、変換画像Ga2の右サイド死角映像と、半透明変換画像Mb1の左側車体映像を用いる。半透明変換画像Mb1は、形状・大きさがほぼ半透明変換画像Ga1の鏡像と同一である。但し、ハンドルによるタイヤの切れ角の動作のみが逆の動作となる。
【００５０】
そして、半透明変換画像Mb1に対し再度左右鏡像変換を行い、半透明鏡像変換画像Mb3を形成する。この半透明鏡像変換画像Mb3は、結果的にハンドル動作によるタイヤの挙動以外は、半透明変換画像Ga1とほぼ同一の映像であり、置き換えが可能となる。
【００５１】
次に、図１３に示すように、変換画像Ga2（図１３(a)）に対し、半透明鏡像変換画像Mb3を重畳表示することで、ハンドルを右に切れば、タイヤも右に動くような、ハンドルの切れ角と感覚的に一致するタイヤ挙動を行うスーパーインポーズ画面（図１３(c)）が完成する。
【００５２】
［タイヤの厚み表現作用］
上記のようにして形成された映像は、両サイドカメラ１，２に映る表側、即ち車体表面の映像を基にしているため、厚み０（ゼロ）の薄い鋼板のみで形成された車両、又はワイヤーフレームで形成された車両を内側から透過して見ているような映像となる。
【００５３】
そのため、図１４に示すように、タイヤ自身の厚みが消失し、切れ角表現時の感覚と映像との間に違和感を生じる場合もある。つまり、タイヤを含めサイドカメラに映り込む実映像を用いる場合、半透過映像となる車体映像が平面的になりタイヤ自身も平面化されるため、ハンドルを切る際や、障害物を避ける際のタイヤの動きに厚みが無く、違和感を生じていた。
【００５４】
これに対し、対応例１では、図１５に示すように、スーパーインポーズするタイヤを含めた映像を、内側（図１５の場合は右側）へタイヤの厚み分だけずらして表示する。この場合、タイヤの輪郭線は、運転者視点での実タイヤの内側輪郭線とほぼ一致するものとなり、タイヤの厚み感を出すことができる。
【００５５】
対応例２では、別な手法として、上記のように、スーパーインポーズ画面全体をずらすのでは無く、図１６に示すように、タイヤを含む特定部分のみの映像を一部コピーし、タイヤの厚み分を考慮した形で再度スーパーインポーズすることで、本来立体であるタイヤを表現する。この場合、タイヤの内側輪郭線と外側輪郭線が表現され、図１５の場合より一層、タイヤの厚み感を出すことができる。
【００５６】
このタイヤ部分を再重畳する際に、タイヤ部分の透過率を調整し、タイヤを他の死角映像よりもハッキリさせて視認性を高める。例えば、図１７に示すように、車体外側部分を100％透過率とし、車体部分を75％透過率とし、タイヤ外側輪郭線を50％透過率とし、タイヤ内側輪郭線を25％透過率とすると、タイヤ部分を他の死角映像よりもハッキリさせることができる。なお、透過率のみに限らず、彩度等と共に透過率を変化させて重畳すれば、より路肩側溝の脱輪防止などに対し視認性が高く安全なシステムを構築することが可能である。
【００５７】
次に、効果を説明する。
実施例１のサイドビューモニターシステムＡ１にあっては、下記に列挙する効果を得ることができる。
【００５８】
(1) 運転者の死角領域を撮像する死角カメラ（左サイドカメラ１，右サイドカメラ２）と、運転者が視認できる車室内位置に設定した外部モニター４と、前記死角カメラ（左サイドカメラ１，右サイドカメラ２）から入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段（画像処理コントローラ３）と、を備えた車両周辺監視システム（サイドビューモニターシステムＡ１）において、前記モニター表示映像データ生成手段（画像処理コントローラ３）は、死角領域を映した前記死角カメラ（左サイドカメラ１，右サイドカメラ２）からの実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成する。このため、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。以下、具体的な効果を述べる。
・タイヤの挙動が、実際のハンドル操作や車両の動きに合っているため、違和感を生じ難く、死角解消のための映像が、直感的に把握しやすい。
・タイヤの動き、特に切れ角がわかるため、今後の車両の進行方向など、障害物の回避状況などの把握が容易である。
・タイヤの位置・大きさが、車体の大きさ含めた車体形状把握のための指標となるので、人を含めた死角障害物の大きさ・形状把握が容易になる。
【００５９】
(2) 前記死角カメラは、運転者の死角となる車両の前部左側方領域を撮像する左サイドカメラ１と、運転者の死角となる車両の前部右側方領域を撮像する右サイドカメラ２であり、前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記左サイドカメラ１からの実カメラ映像を、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割し、前記右サイドカメラ２からの実カメラ映像を、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割し、左右の車体映像部分を交換し、左右交換による車体映像部分と周囲映像部分を組み合わせ、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現する。このため、多カメラ化が進んでいる車両において、左右のサイドカメラ１，２を利用し、タイヤの挙動が、実際のハンドル操作や車両の動きに合う半透明タイヤ画像を表現することができる。
【００６０】
(3) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、車両の中心軸を線対称軸として運転者視点Ａを線対称に変換した点を助手席視点Ｂとして設定し、左右一方の周囲映像部分（周囲画像L2,R2）を運転者視点Ａから見た変換画像Ma2,Ga2に視点変換し、左右他方の車体映像部分（車両画像R1,L1）を助手席視点Ｂから見た半透明変換画像Gb1,Mb1に視点変換した後、半透明変換画像Gb1,Mb1を半透明鏡像変換画像Gb3,Mb3に鏡像変換し、前記変換画像Ma2,Ga2に前記半透明鏡像変換画像Gb3,Mb3を重畳する画像合成により、左右一方のモニター表示映像データを生成する。このため、左右交換による車体映像部分を表現する際に生じる視差が、車体映像部分の仮想視点として助手席視点Ｂを設定することにより解消され、運転者視点Ａから見た周囲映像部分への合成時、あたかも運転者視点Ａから見たのと変わらない車体映像部分を表現することができる。
【００６１】
(4) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記変換画像Ma2,Ga2に重畳する前記半透明鏡像変換画像Gb3,Mb3を、実タイヤ幅を考慮して平行移動させることにより、半透明タイヤ画像にタイヤ厚みを表現した。このため、タイヤの厚みが無く平面化されている場合、ハンドルを切る際や障害物を避ける際のタイヤの動きに違和感が生じるが、簡単な画像処理によりタイヤ厚みを表現することで、映し出されたタイヤの動きに違和感が生じるのを防止できる。
【００６２】
(5) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記変換画像Ma2,Ga2に重畳する前記半透明鏡像変換画像Gb3,Mb3のうち、タイヤを含む特定部分の映像を一部コピーし、実タイヤ幅を考慮してコピー部分を平行移動し、再度、平行移動したコピー部分を重畳することにより、半透明タイヤ画像にタイヤ厚みを表現した。このため、タイヤの厚みが無く平面化されている場合、ハンドルを切る際や障害物を避ける際のタイヤの動きに違和感が生じるが、実タイヤに近似するタイヤ厚みを表現することで、映し出されたタイヤの動きを実タイヤの動きに近いものとすることができる。
【００６３】
(6) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記半透明タイヤ画像の透過率や色相や彩度や明度のうち、少なくとも一つの画像表現要素について、他の画像部分に対する識別性を高めるように調整した。このため、タイヤの挙動情報を、他の映像情報に対して高い識別性を持ってモニター表示することができる。
【実施例２】
【００６４】
実施例２は、タイヤをＣＧにて表現し、ハンドル切れ角にあわせて重畳するＣＧタイヤを可動させるようにした例である。
【００６５】
実施例１で述べたタイヤの位置やその傾きの表示は、出力されている周囲映像に対し、車体形状と外部障害物との位置関係、進行方向の情報などを与えてくれており、咄嗟の判断を行うことが多い運転操作の安全性向上に大変役立つものである。
【００６６】
しかしながら、本出願人が先に提案している特願2008-039395号に述べられているような、周囲画像に半透明車室内画像を重畳するシステムの場合や、左右一方のみにしかカメラが存在しない場合、また、カメラの取り付け角度や位置の関係で、タイヤ映像を含めた車体映像が取得しえない場合、何らかの手段でハンドルの舵角情報を表示する必要があった。実施例２は、その点に鑑み提案されたものである。
【００６７】
まず、構成を説明する。
図１８は、実施例２のサイドビューモニターシステムＡ２（車両周辺監視システムの一例）の全体システムを示すシステムブロック図である。
【００６８】
実施例２のサイドビューモニターシステムＡ２は、図１８に示すように、左サイドカメラ１（死角カメラ）と、外部モニター４と、画像処理コントローラ６（モニター表示映像データ生成手段）と、外部センサー７と、を備えている。
【００６９】
前記左サイドカメラ１は、左サイドミラーに設置され、運転者の死角となる車両の前部左側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。
【００７０】
前記外部モニター４は、液晶ディスプレイや有機ELディスプレイ等によるモニター画面を有し、運転者が視認できる車室内位置（例えば、インストルメンタルパネル位置）に設定される。
【００７１】
前記画像処理コントローラ６は、左サイドカメラ１から入力される実カメラ映像に基づき、モニター表示映像データを生成する。基本的には、カメラ映像に基づいて運転者視点へ視点変換する画像処理ブロックを１系統持つ形で構成されている。そして、運転者視点へ視点変換された周囲画像（死角画像）に、予め運転者視点から撮影された半透明車室内画像（半透明車両画像）と、舵角情報に連動する半透明ＣＧタイヤ画像Ｔ（半透明タイヤ画像）を重畳する。
【００７２】
前記外部センサー７は、様々な外部情報をもたらすセンサーであり、この外部センサー７として、舵角センサー７ａ（舵角検出手段）、速度センサー７ｂ、イルミネーションランプスイッチ７ｃ（外部環境検出手段）、ソナーセンサー７ｄ（障害物検出手段）等を有している。
【００７３】
前記画像処理コントローラ６は、図１７に示すように、デコーダー６１と、画像メモリ６２と、周囲画像変形部６３と、車室内画像形成部６４と、ＣＧタイヤ画像作成部６５と、ＣＰＵ６６と、メモリ６７と、画像合成部６８と、エンコーダ６９と、を備えている。
【００７４】
前記デコーダー６１は、左サイドカメラ１から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ６２に蓄える。
【００７５】
前記周囲画像変形部６３は、画像メモリ６２からのカメラ画像データを車体画像と周囲画像（死角画像）に２分割し、このうち、周囲画像を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点Ａから見た画像に変形処理する。
【００７６】
前記車室内画像形成部６４は、画像合成時、予め運転者視点で撮影された車室内画像データを読み込み、車室内画像データの透過率を調整して半透明車室内画像を形成する。
【００７７】
前記ＣＧタイヤ画像作成部６５は、画像合成時、複数のＣＧタイヤ画像データから舵角情報に基づき最も近いＣＧタイヤ画像データを読み込み、変形処理により舵角情報に対応する半透明ＣＧタイヤ画像Ｔを作成する。
【００７８】
前記ＣＰＵ６６は、画像処理に関する全ての情報処理と制御出力を管理する中央演算処理回路であり、視点変換や画像合成等の各種画像処理制御を行う制御プログラムが設定されている。
【００７９】
前記メモリ６７は、予め運転者視点で撮影された車室内画像データや、複数のＣＧタイヤ画像データ等を保存記憶しておき、ＣＰＵ６６から指令によりデータ読み出しがなされる。
【００８０】
前記画像合成部６８は、周囲画像変形部６３からの周囲画像に、車室内画像形成部６４からの半透明車室内画像と、ＣＧタイヤ画像作成部６５からの半透明ＣＧタイヤ画像Ｔを重畳して合成し、最終的に輝度・色相・彩度・透明度等を調整し、エンコーダ６９へ合成画像データを出力する構成をとっている。
【００８１】
前記エンコーダ６９は、画像合成部６８からの合成画像データを、デジタル／アナログ変換し、外部モニター４に表示する映像データを生成する。
【００８２】
図１９は、実施例２のサイドビューモニターシステムＡ２の画像処理コントローラ６にて実行される画像合成処理の流れを示すフローチャートである。以下、図１９の各ステップについて説明する。
【００８３】
ステップＳ181では、左サイドカメラ１から実カメラ映像データが取り込まれ、ステップＳ182へ移行する。
【００８４】
ステップＳ182では、ステップＳ181での左サイドカメラ映像データの取り込みに続き、左サイドカメラ１からのカメラ画像データを、車体画像データと周囲画像データに２分割し、ステップＳ183へ移行する。
【００８５】
ステップＳ183では、ステップＳ182での車体／周囲画像分割に続き、周囲画像を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点から見た画像に変形処理し、ステップＳ183へ移行する。
【００８６】
ステップＳ184では、ステップＳ183での周囲画像の変形に続き、予め運転者視点で撮影された車室内画像データを読み込み、車室内画像データの透過率を調整して半透明車室内画像を形成し、ステップＳ185へ移行する。
【００８７】
ステップＳ185では、ステップＳ184での車室内画像の形成に続き、舵角センサー７ａからから舵角情報を読み込み、ステップＳ186へ移行する。
【００８８】
ステップＳ186では、ステップＳ185での舵角情報の読み込みに続き、複数のＣＧタイヤ画像データから舵角情報に基づき、最も近いＣＧタイヤ画像データを読み込み、変形処理により舵角情報に対応する半透明ＣＧタイヤ画像Ｔを作成し、ステップＳ187へ移行する。
ここで、複数のＣＧタイヤ画像データＤとしては、例えば、図２０に示すように、舵角を異ならせて設定した実タイヤをモデルとし、これを見たままの立体形状に描いた複数のＣＧタイヤ画像T1,T2,T3,T4,T5が保存されている。
【００８９】
ステップＳ187では、ステップＳ186での半透明ＣＧタイヤ画像Ｔの作成に続き、ステップＳ183にて取得された周囲画像に、ステップＳ184にて取得された半透明車室内画像と、ステップＳ186にて取得された半透明ＣＧタイヤ画像Ｔを重畳して合成し、エンドへ移行する。
【００９０】
次に、作用を説明する。
本出願人は、特願2008-039395号において、仮想水平スクリーンへ投影し、それを運転者視点から見た映像へ変換した周囲映像部分のみを使用し、この周囲映像部分へ重畳する半透明映像として、車室内静止画を用いることで、あたかも車室内から外を見透かすかのような映像を実現するものを提案している。
【００９１】
しかしながら、上記提案においては、車室内静止画に基づいて半透明画像を重畳するため、ハンドル操作によるタイヤの挙動情報を表示できず、その点で不十分であった。そこで、実施例２では、タイヤの映像をＣＧにて置き換え、半透明車室内画像のスーパーインポーズと共に重畳表示し、ハンドルの切れ角を取得した後、そのデータに基づきＣＧタイヤ画像を変化させて表示することにより、直感的な空間把握を助ける手法を提案する。
【００９２】
まず、運転者視点から見た映像へ変換した周囲画像に、半透明車室内画像をスーパーインポーズすると、図２１に示すようなモニター映像を得ることができる。これにより、あたかも車室内から、死角となる車室外を見透かすかのようなモニター映像が実現され、直感的な空間把握を助ける。
【００９３】
これに加え、実施例２では、ハンドルの舵角情報を舵角センサー７ａよりＣＰＵ６６へ入力し、その情報より得られた舵角に適合する半透明ＣＧタイヤ画像Ｔを、ＣＧタイヤ画像作成部６５にて作成する。この半透明ＣＧタイヤ画像Ｔは、周囲画像や車室内画像と同様に、視点変換処理を施され、運転者の視点から見たような変形を予め行われているものとする。そして、周囲画像に対し、半透明車室内画像をスーパーインポーズすると共に、本来タイヤのあるべき位置に半透明化した半透明ＣＧタイヤ画像Ｔをスーパーインポーズする。
【００９４】
したがって、車両が直進走行状態（タイヤ切れ角＝０°）のときには、図２２に示すように、車両前後方向に向いた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。また、車両が右旋回状態（タイヤ右切り）のときには、図２３に示すように、右方向に切られた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。また、車両が左旋回状態（タイヤ左切り）のときには、図２４に示すように、左方向に切られた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。
【００９５】
ここで、半透明ＣＧタイヤ画像Ｔの変換処理は、舵角変動があったら、その都度に演算し変形・作成しても良いし、運転者の視点位置等の基本パラメータが定まった時に予め作成し、ＣＰＵ６６の外部に設定したメモリ６７等に記憶することで、演算時間を短縮する手法を採っても構わない。
【００９６】
更に、半透明ＣＧタイヤ画像Ｔを重畳する時点で、例えば、イルミネーションスイッチ７ｃのON/OFFや車外の明るさ／暗さ等により、半透明ＣＧタイヤ画像Ｔの色相や彩度等を、周囲画像との識別が明確になるように変化させるようにしている。例えば、薄暮れ時等において、周囲画像の色が暗くなったら、半透明ＣＧタイヤ画像Ｔが周囲画像に溶け込んで識別性を低下させてしまう。これに対し、外部環境の変化により、周囲画像の色に半透明ＣＧタイヤ画像Ｔが溶け込んで識別性を低下させてしまうようなことが無く、半透明ＣＧタイヤ画像Ｔの識別性を確保することができる。
【００９７】
例えば、ソナーセンサー７ｄ等の障害物検出手段と連動し、相対的に接近する障害物がある場合、半透明ＣＧタイヤ画像Ｔの色を、警報色である赤色に変化させるようにしている。すなわち、障害物警告表示が半透明ＣＧタイヤ画像Ｔにより代表して行われることになる。このため、障害物による警告情報を半透明ＣＧタイヤ画像Ｔで表現することで、安全性に寄与することが可能である。
【００９８】
次に、効果を説明する。
実施例２のサイドビューモニターシステムＡ２にあっては、実施例１の(1)の効果に加え、下記の効果を得ることができる。
【００９９】
(7) 前記死角カメラは、運転者の死角となる車両の前部側方領域を撮像する１台のサイドカメラ（左サイドカメラ１）であり、ハンドル操舵角を検出する舵角検出手段（舵角センサー７ａ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記舵角検出手段（舵角センサー７ａ）からの舵角情報に基づき、舵角に適合するタイヤをコンピュータ・グラフィックスにより描くことで半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を作成し、この半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を本来のタイヤ位置に重ね合わせる画像合成により、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現する。このため、左右一方のみにしかカメラが存在しない車両や周辺監視カメラによりタイヤ映像を含めた車体映像を取得することができない車両において、１台のサイドカメラ（左サイドカメラ１）を利用し、タイヤの挙動が、実際のハンドル操作や車両の動きに合う半透明タイヤ画像を表現することができる。
【０１００】
(8) 前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記１台のサイドカメラ（左サイドカメラ１）からのカメラ映像を視点変換することにより取得した運転者視点から見た周囲画像に、予め運転者視点から車室内を撮影した車室内画像に基づき取得した半透明車室内画像と、コンピュータ・グラフィックスにより立体的に描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を重畳する画像合成により、モニター表示映像データを生成する。このため、運転者視点により、車室内から死角となる車室外を見透かすかのようなモニター映像が実現され、直感的な空間把握を助けると共に、立体的に描いた半透明タイヤ画像により空間把握を損なうことなく、ハンドル操作によるタイヤの挙動情報を表示することができる。
【０１０１】
(9) 車両の外部環境の色相や彩度や明度を検出する外部環境検出手段（イルミネーションスイッチ７ｃ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記外部環境検出手段（イルミネーションスイッチ７ｃ）により検出される外部環境の色相や明るさに応じて、コンピュータ・グラフィックスにより描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）の色相・彩度・明度のうち少なくとも一つを、死角画像に対する識別性を高めるように変化させる。このため、外部環境の変化にかかわらず、ハンドル操作によるタイヤの挙動情報を高い識別性により表示することができる。
【０１０２】
(10) 自車の周囲に接近してくる障害物を検出する障害物検出手段（ソナーセンサー７ｄ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記障害物検知手段（ソナーセンサー７ｄ）により障害物の接近が検出されると、コンピュータ・グラフィックスにより描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）の色を、警告色に変化させる。このため、障害物による警告情報をＣＧで描いた半透明タイヤ画像により表現することで、応答良く障害物からの回避動作を開始でき、安全性に寄与することができる。
【０１０３】
以上、本発明の車両周辺監視システムを実施例１および実施例２に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【０１０４】
実施例１では、左右のサイドカメラ１，２に映り込んでいる車体映像が、殆どデザイン的に大差が無い場合を想定して述べてきた。しかし、左右の形状・ペイントなどデザイン的な違いが有り、それを無視し得ない場合は、車両全体ではなく、丸いタイヤ部分のみ、または、タイヤハウスを含む比較的狭い範囲内の映像のみを左右入れ替えるようにしても良い。この場合も実施例１と同様な重畳画像を作成することができる。
【０１０５】
実施例２では、左サイドカメラ１を用い、運転者視点による周囲画像に、運転者視点による半透明車室内画像と半透明ＣＧタイヤ画像を重畳する例を示した。しかし、左サイドカメラ１からのカメラ映像を周囲画像と車体画像に分割し、運転者視点による周囲画像と車体画像をそれぞれ作成し、運転者視点による周囲画像に、運転者視点による半透明車体画像（タイヤ画像を除く）と半透明ＣＧタイヤ画像を重畳する例としても良い。
【産業上の利用可能性】
【０１０６】
実施例１，２では、運転者の死角となる車両の前部側方領域を撮像するサイドカメラが搭載されたサイドビューモニターシステムへの適用例を示した。しかし、運転者の死角となる領域を撮像する死角カメラが搭載され、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するようにしたバックビューモニターシステムやフロントビューモニターシステムやアラウンドビューモニターシステム等の車両周辺監視システムに対しても適用することができる。
【図面の簡単な説明】
【０１０７】
【図１】実施例１のサイドビューモニターシステムＡ１の全体システムを示すシステムブロック図である。
【図２】運転者視点と助手席視点と左右のサイドカメラによる撮像領域を示す車両平面図である。
【図３】左右のサイドカメラ映像の分割をあらわす図であり、(a)は左サイドカメラ映像を示し、(b)は車両画像L1と周囲画像L2の左映像のブロック分けを示し、(c)は右サイドカメラ映像を示し、(d)は車両画像R1と周囲画像R2の右映像のブロック分けを示す。する。
【図４】左サイドカメラ１の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は周囲画像L2を示し、(b)は変換画像Ma2を示す。
【図５】左サイドカメラ１の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は車両画像L1を示し、(b)は半透明変換画像Ma1を示す。
【図６】右サイドカメラ２の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は周囲画像R2を示し、(b)は変換画像Gb2を示す。
【図７】右サイドカメラ２の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は車両画像R1を示し、(b)は半透明変換画像Gb1を示し、(c)は半透明鏡像変換画像Gb3を示す。
【図８】左サイド映像の画像合成処理をあらわし、(a)は変換画像Ma2を示し、(b)は半透明鏡像変換画像Gb3を示し、(c)は変換画像Ma2に半透明鏡像変換画像Gb3を重畳表示したスーパーインポーズ画面を示す。
【図９】右サイドカメラ２の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は周囲画像R2を示し、(b)は変換画像Ga2を示す。
【図１０】右サイドカメラ２の映像を用いた運転者視点Ａによる視点変換をあらわし、(a)は車両画像R1を示し、(b)は半透明変換画像Ga1を示す。
【図１１】左サイドカメラ１の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は周囲画像L2を示し、(b)は変換画像Mb2を示す。
【図１２】左サイドカメラ１の映像を用いた助手席視点Ｂによる視点変換をあらわし、(a)は車両画像L1を示し、(b)は半透明変換画像Mb1を示し、(c)は半透明鏡像変換画像Mb3を示す。
【図１３】右サイド映像の画像合成処理をあらわし、(a)は変換画像Ga2を示し、(b)は半透明鏡像変換画像Mb3を示し、(c)は変換画像Ga2に半透明鏡像変換画像Mb3を重畳表示したスーパーインポーズ画面を示す。
【図１４】通常の外部モニターの主力映像（左サイド映像）を示すモニター映像図である。
【図１５】タイヤ幅を考慮してずらした外部モニターの主力映像（左サイド映像）を示すモニター映像図である。
【図１６】タイヤ部分のみをタイヤ幅を考慮して平行移動し再度重畳した外部モニターの主力映像（左サイド映像）を示すモニター映像図である。
【図１７】タイヤ部分のみをタイヤ幅を考慮して平行移動し再度重畳した外部モニターの主力映像（左サイド映像）においてタイヤ部分の透過率を変更した例を示すモニター映像図である。
【図１８】実施例２のサイドビューモニターシステムＡ２の全体システムを示すシステムブロック図である。
【図１９】実施例２のサイドビューモニターシステムＡ２の画像処理コントローラ６にて実行される画像合成処理の流れを示すフローチャートである。
【図２０】重畳するための複数のＣＧタイヤ画像データＤの一例を示す図である。
【図２１】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像をスーパーインポーズした例を示すモニター映像図である。
【図２２】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像とタイヤ切れ角０°の半透明ＣＧタイヤ画像をスーパーインポーズした例を示すモニター映像図である。
【図２３】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像と右切りタイヤの半透明ＣＧタイヤ画像をスーパーインポーズした例を示すモニター映像図である。
【図２４】運転者視点から見た映像へ変換した周囲画像に半透明車室内画像と左切りタイヤの半透明ＣＧタイヤ画像をスーパーインポーズした例を示すモニター映像図である。
【符号の説明】
【０１０８】
Ａ１ サイドビューモニターシステム（車両周辺監視システム）
１ 左サイドカメラ（死角カメラ）
２ 右サイドカメラ（死角カメラ）
３ 画像処理コントローラ（モニター表示映像データ生成手段）
３１Ｌ，３１Ｒ デコーダー
３２Ｌ，３２Ｒ 画像メモリ
３３Ｌ 左周囲映像部分画像変形部
３３Ｒ 右周囲映像部分画像変形部
３４Ｌ 左車体映像部分画像変形部
３４Ｒ 右車体映像部分画像変形部
３５Ｌ 左サイド画像合成部
３５Ｒ 右サイド画像合成部
３５LR 左右画像合成部
３６Ｌ 左サイド映像データ生成部
３６Ｒ 右サイド映像データ生成部
３６LR 左右合成映像データ生成部
３７ ＣＰＵ
３８ 画像合成用調整部
４ 外部モニター
５ モニター表示映像切換スイッチ
Ａ２ サイドビューモニターシステム（車両周辺監視システム）
１ 左サイドカメラ（１台の死角カメラ）
６ 画像処理コントローラ（モニター表示映像データ生成手段）
６１ デコーダー
６２ 画像メモリ
６３ 周囲画像変形部
６４ 車室内画像形成部
６５ ＣＧタイヤ画像作成部
６６ ＣＰＵ
６７ メモリ
６８ 画像合成部
６９ エンコーダ
７ 外部センサー
７ａ 舵角センサー（舵角検出手段）
７ｂ 速度センサー
７ｃ イルミネーションランプスイッチ（外部環境検出手段）
７ｄ ソナーセンサー（障害物検出手段）
【特許請求の範囲】
【請求項１】
運転者の死角領域を撮像する死角カメラと、運転者が視認できる車室内位置に設定した外部モニターと、前記死角カメラから入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段と、を備えた車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、死角領域を映した前記死角カメラからの実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成することを特徴とする車両周辺監視システム。
【請求項２】
請求項１に記載された車両周辺監視システムにおいて、
前記死角カメラは、運転者の死角となる車両の前部左側方領域を撮像する左サイドカメラと、運転者の死角となる車両の前部右側方領域を撮像する右サイドカメラであり、
前記モニター表示映像データ生成手段は、前記左サイドカメラからの実カメラ映像を、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割し、前記右サイドカメラからの実カメラ映像を、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割し、左右の車体映像部分を交換し、左右交換による車体映像部分と周囲映像部分を組み合わせ、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現することを特徴とする車両周辺監視システム。
【請求項３】
請求項２に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、車両の中心軸を線対称軸として運転者視点を線対称に変換した点を助手席視点として設定し、左右一方の周囲映像部分を運転者視点から見た変換画像に視点変換し、左右他方の車体映像部分を助手席視点から見た半透明変換画像に視点変換した後、半透明変換画像を半透明鏡像変換画像に鏡像変換し、前記変換画像に前記半透明鏡像変換画像を重畳する画像合成により、左右一方のモニター表示映像データを生成することを特徴とする車両周辺監視システム。
【請求項４】
請求項３に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記変換画像に重畳する前記半透明鏡像変換画像を、実タイヤ幅を考慮して平行移動させることにより、半透明タイヤ画像にタイヤ厚みを表現したことを特徴とする車両周辺監視システム。
【請求項５】
請求項３に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記変換画像に重畳する前記半透明鏡像変換画像のうち、タイヤを含む特定部分の映像を一部コピーし、実タイヤ幅を考慮してコピー部分を平行移動し、再度、平行移動したコピー部分を重畳することにより、半透明タイヤ画像にタイヤ厚みを表現したことを特徴とする車両周辺監視システム。
【請求項６】
請求項２から請求項５までの何れか１項に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記半透明タイヤ画像の透過率や色相や彩度や明度のうち、少なくとも一つの画像表現要素について、他の画像部分に対する識別性を高めるように調整したことを特徴とする車両周辺監視システム。
【請求項７】
請求項１に記載された車両周辺監視システムにおいて、
前記死角カメラは、運転者の死角となる車両の前部側方領域を撮像する１台のサイドカメラであり、
ハンドル操舵角を検出する舵角検出手段を設け、
前記モニター表示映像データ生成手段は、前記舵角検出手段からの舵角情報に基づき、舵角に適合するタイヤをコンピュータ・グラフィックスにより描くことで半透明タイヤ画像を作成し、この半透明タイヤ画像を本来のタイヤ位置に重ね合わせる画像合成により、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現することを特徴とする車両周辺監視システム。
【請求項８】
請求項７に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記１台のサイドカメラからのカメラ映像を視点変換することにより取得した運転者視点から見た周囲画像に、予め運転者視点から車室内を撮影した車室内画像に基づき取得した半透明車室内画像と、コンピュータ・グラフィックスにより立体的に描いた半透明タイヤ画像を重畳する画像合成により、モニター表示映像データを生成することを特徴とする車両周辺監視システム。
【請求項９】
請求項７または請求項８に記載された車両周辺監視システムにおいて、
車両の外部環境の色相や彩度や明度を検出する外部環境検出手段を設け、
前記モニター表示映像データ生成手段は、前記外部環境検出手段により検出される外部環境の色相や明るさに応じて、コンピュータ・グラフィックスにより描いた半透明タイヤ画像の色相・彩度・明度のうち少なくとも一つを、死角画像に対する識別性を高めるように変化させることを特徴とする車両周辺監視システム。
【請求項１０】
請求項７から請求項９までの何れか１項に記載された車両周辺監視システムにおいて、
自車の周囲に接近してくる障害物を検出する障害物検出手段を設け、
前記モニター表示映像データ生成手段は、前記障害物検知手段により障害物の接近が検出されると、コンピュータ・グラフィックスにより描いた半透明タイヤ画像の色を、警告色に変化させることを特徴とする車両周辺監視システム。
【請求項１】
運転者の死角領域を撮像する死角カメラと、運転者が視認できる車室内位置に設定した外部モニターと、前記死角カメラから入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段と、を備えた車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、死角領域を映した前記死角カメラからの実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成することを特徴とする車両周辺監視システム。
【請求項２】
請求項１に記載された車両周辺監視システムにおいて、
前記死角カメラは、運転者の死角となる車両の前部左側方領域を撮像する左サイドカメラと、運転者の死角となる車両の前部右側方領域を撮像する右サイドカメラであり、
前記モニター表示映像データ生成手段は、前記左サイドカメラからの実カメラ映像を、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割し、前記右サイドカメラからの実カメラ映像を、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割し、左右の車体映像部分を交換し、左右交換による車体映像部分と周囲映像部分を組み合わせ、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現することを特徴とする車両周辺監視システム。
【請求項３】
請求項２に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、車両の中心軸を線対称軸として運転者視点を線対称に変換した点を助手席視点として設定し、左右一方の周囲映像部分を運転者視点から見た変換画像に視点変換し、左右他方の車体映像部分を助手席視点から見た半透明変換画像に視点変換した後、半透明変換画像を半透明鏡像変換画像に鏡像変換し、前記変換画像に前記半透明鏡像変換画像を重畳する画像合成により、左右一方のモニター表示映像データを生成することを特徴とする車両周辺監視システム。
【請求項４】
請求項３に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記変換画像に重畳する前記半透明鏡像変換画像を、実タイヤ幅を考慮して平行移動させることにより、半透明タイヤ画像にタイヤ厚みを表現したことを特徴とする車両周辺監視システム。
【請求項５】
請求項３に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記変換画像に重畳する前記半透明鏡像変換画像のうち、タイヤを含む特定部分の映像を一部コピーし、実タイヤ幅を考慮してコピー部分を平行移動し、再度、平行移動したコピー部分を重畳することにより、半透明タイヤ画像にタイヤ厚みを表現したことを特徴とする車両周辺監視システム。
【請求項６】
請求項２から請求項５までの何れか１項に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記半透明タイヤ画像の透過率や色相や彩度や明度のうち、少なくとも一つの画像表現要素について、他の画像部分に対する識別性を高めるように調整したことを特徴とする車両周辺監視システム。
【請求項７】
請求項１に記載された車両周辺監視システムにおいて、
前記死角カメラは、運転者の死角となる車両の前部側方領域を撮像する１台のサイドカメラであり、
ハンドル操舵角を検出する舵角検出手段を設け、
前記モニター表示映像データ生成手段は、前記舵角検出手段からの舵角情報に基づき、舵角に適合するタイヤをコンピュータ・グラフィックスにより描くことで半透明タイヤ画像を作成し、この半透明タイヤ画像を本来のタイヤ位置に重ね合わせる画像合成により、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現することを特徴とする車両周辺監視システム。
【請求項８】
請求項７に記載された車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記１台のサイドカメラからのカメラ映像を視点変換することにより取得した運転者視点から見た周囲画像に、予め運転者視点から車室内を撮影した車室内画像に基づき取得した半透明車室内画像と、コンピュータ・グラフィックスにより立体的に描いた半透明タイヤ画像を重畳する画像合成により、モニター表示映像データを生成することを特徴とする車両周辺監視システム。
【請求項９】
請求項７または請求項８に記載された車両周辺監視システムにおいて、
車両の外部環境の色相や彩度や明度を検出する外部環境検出手段を設け、
前記モニター表示映像データ生成手段は、前記外部環境検出手段により検出される外部環境の色相や明るさに応じて、コンピュータ・グラフィックスにより描いた半透明タイヤ画像の色相・彩度・明度のうち少なくとも一つを、死角画像に対する識別性を高めるように変化させることを特徴とする車両周辺監視システム。
【請求項１０】
請求項７から請求項９までの何れか１項に記載された車両周辺監視システムにおいて、
自車の周囲に接近してくる障害物を検出する障害物検出手段を設け、
前記モニター表示映像データ生成手段は、前記障害物検知手段により障害物の接近が検出されると、コンピュータ・グラフィックスにより描いた半透明タイヤ画像の色を、警告色に変化させることを特徴とする車両周辺監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１０−１１４６１８（Ｐ２０１０−１１４６１８Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８５０２９（Ｐ２００８−２８５０２９）
【出願日】平成２０年１１月６日（２００８．１１．６）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月６日（２００８．１１．６）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]