車両の画像処理装置
【課題】車両周辺の死角領域に対する画像を提供し、死角への不安感を軽減するとともに、運転者の視点に近付けた位置からの撮像画像を生成することにより、画像を通じて車両と周囲の障害物との位置関係を、運転者に把握し易くする。
【解決手段】車体に設けられた死角カメラで写した画像Ａ0を、運転者の視点位置で撮影した場合の画像に視点変換して変換外部画像Ａ2を生成し、運転者の視点位置近くに設けられた運転者視点カメラで、視点画像Ｂ0を取得し、この視点画像Ｂ0から死角領域を除いた視認領域画像Ｂ1を生成する。視認領域画像Ｂ1に変換外部画像Ａ2を合成して、死角領域部分を補った合成画像を得る。さらに、得られた合成画像に、車両形状を象徴する車両輪郭線6を合成する。
【解決手段】車体に設けられた死角カメラで写した画像Ａ0を、運転者の視点位置で撮影した場合の画像に視点変換して変換外部画像Ａ2を生成し、運転者の視点位置近くに設けられた運転者視点カメラで、視点画像Ｂ0を取得し、この視点画像Ｂ0から死角領域を除いた視認領域画像Ｂ1を生成する。視認領域画像Ｂ1に変換外部画像Ａ2を合成して、死角領域部分を補った合成画像を得る。さらに、得られた合成画像に、車両形状を象徴する車両輪郭線6を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の画像処理装置にかかり、詳しくは、運転者の死角を表示する画像を生成する画像処理装置に関するものである。
【背景技術】
【０００２】
運転者が車両を運転操作する場合、運転席に座っている運転者の視点から認識できる視界には、車のボディ等に遮られて見えない死角が存在する。このような死角は、ルームミラーやサイドミラーなどによって、ある程度は、認識できるように構成されている。また、最近では、車両の外部を映し出すカメラが搭載され、そのカメラによって取得された画像を車内のモニターに映し出す構成の車両も提案されている。例えば、車両の後方を映し出すカメラが搭載され、後退時には後方の死角となった部分が車内モニターに映し出され、車庫入れ等をする際の後方確認の補助がなされる。また、下記特許文献１には、運転者の視覚に即した向きの画像を表示するものが記載されている。
【０００３】
【特許文献１】特開平１０−２６４７２３号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一方、従来カメラ画像などによって車両周辺の認識ができない車両を運転者が操作する場合には、視界に入ってくる外部の障害物と、同時に視界に入っている車内風景（窓枠やトランクの輪郭など）とから、外部障害物と車両との相対位置や距離がどの程度であるのかを、運転者は、感覚的に把握するものである。しかしながら、従来のようにカメラ画像を表示するものは、カメラに映し出された画像をそのままモニターに表示するため、モニターに表示される画像は、運転者の肉眼に映る画像とはかけはなれている。これは、カメラ視点の位置が、運転者の操作する際の視点位置とは異なっていることや、肉眼で把握できる障害物の大きさとモニターに表示される障害物の大きさとが異なることなどの理由が挙げられる。また、従来では、運転者は、視界に入る車外の風景と車体の一部（窓枠やボンネット等）とを同時に認識して、それらの相対位置を感覚的に把握していたものが、画像には、外部景色のみが映し出されてしまうことも原因である。つまり、従来のモニター画像では、従来感覚的に距離感を把握していた運転者は、従来身に付けていた感覚に基づいて、車両のアウトラインと周囲の物体との位置関係が把握しづらいという問題があった。
【０００５】
この発明は、車両周辺の死角領域に対する画像を提供し、死角への不安感を軽減するとともに、運転者の視点に近付けた位置からの撮像画像を生成することにより、画像を通じて車両と周囲の障害物との位置関係を、運転者に把握し易くすることを目的とするものである。
【課題を解決するための手段】
【０００６】
以上のような問題を解決する本発明は、以下のような構成を有する。
（１） 車両に配置され、車両の外部画像を取得する撮像手段と、前記撮像手段によって取得された画像を、運転者の視点位置に視点変換した画像とする撮像位置変換手段とを備えた車両の画像処理装置。
【０００７】
（２） 運転者からの死角領域を検出する死角領域検出手段と、
前記視点変換した画像のうち、前記死角領域に対応する画像を表示する表示手段とを備えた請求項１に記載の車両の画像処理装置。
【発明の効果】
【０００８】
請求項１記載の発明によれば、視点の位置に撮像位置を移動させた場合の画像が得られるので、運転者の視界に入る景色に近似した画像が得られ、車両操作の際の車両と外部障害物との位置関係の把握が容易となる。また、死角領域のない外部画像が得られるので、死角への不安感が軽減される。
【０００９】
請求項２記載の発明によれば、車両の陰となって認識できない領域についても、画像に表示されるので、車両周囲の認識が一層容易となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。図１は本発明の画像処理装置１の構成を示すブロック図である。画像処理装置１は、画像処理を行う演算処理装置１２と、第１の撮像手段としての死角カメラ１３ａと、第２の撮像手段としての運転者視点カメラ１３ｂと、画像を表示する表示手段としての画像表示装置１４と、現在位置検出装置１５と、画像記憶手段としての記憶装置１６とを備え、これらの装置は、システムバス１７を介して相互に接続されている。
【００１１】
死角カメラ１３ａは、広角レンズを使用したものであり、本実施形態では魚眼レンズを使用する。死角カメラ１３ａは、例えば自動車の車外に設けられ、車の進行方向に向けて取り付けられている。後進する際の車両後部の画像を取得するカメラの場合には、例えば、後部トランクの中央部や、ハッチバック式の車両では、後部ウインドーに、外側へ向けて取り付けることもできる。この実施形態では、後部トランクの中央位置に配置されている。また、運転者視点カメラ１３ｂは、例えば自動車の車内に設けられ、運転者の視点位置に取り付けられる。この実施形態では、バックミラーの取付け位置に配置されている。
【００１２】
死角カメラ１３ａ、運転者視点カメラ１３ｂは、それぞれＡ／Ｄ変換器１３１ａ、１３１ｂを介してシステムバス１７に接続される。死角カメラ１３ａ、１３ｂから出力された画像信号は、Ａ/Ｄ変換器１３１ａ、１３１ｂによってデジタル信号にそれぞれ変換される。また、接続された死角カメラ１３ａ、運転者視点カメラ１３ｂが、デジタル信号出力が可能なものである場合には、Ａ/Ｄ変換器１３１ａ、１３１ｂは不要である。死角カメラ１３ａ、運転者視点カメラ１３ｂは、車両の前方に向けて配置されたものと、車両の後方へ向けて配置されたものがある。以下の説明では、最も視界が制限される後方へ移動する場合に使用される後方設置の死角カメラ１３ａ、運転者視点カメラ１３ｂを例に挙げて説明する。
【００１３】
現在位置検出装置１５は、舵角センサ１５１、車速センサ１５２、ＧＰＳ受信装置１５３、方位センサ１５４、距離センサ１５５とを備えている。舵角センサ１５１は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速センサ１５２は、車両の走行速度を検出する。走行速度は、車両を後退させた場合にも検出される。ＧＰＳ受信装置１５３は、車両の絶対位置を検出する。方位センサ１５４は、車両の向きを検出する。距離センサ１５５は、車両の移動距離を検出する。以上説明した各種センサにより車両の移動距離を得ることができる。即ち、距離センサ１５５により移動距離が検出できる。また、車速センサ１５２から検出される車速と時間により移動距離が検出できる。また、ＧＰＳ受信装置１５３で検出された位置の軌跡により移動距離が検出できる。また、車両の向きが変わった場合には、舵角センサ１５１と方位センサ１５４と距離センサ１５５又は車速センサ１５２によって、移動距離や車両の向きを、より正確に検出することができる。
【００１４】
記憶装置１６は、死角カメラ１３ａ、運転者視点カメラ１３ｂが映した画像を記憶する装置で、死角カメラ１３ａ、運転者視点カメラ１３ｂから出力される画像が連続して記憶され、第１の撮像手段である死角カメラ１３ａの取得した画像が記憶される外部画像データメモリ１６２と、運転者視点カメラ１３ｂの取得した視点画像が記憶される視点画像データメモリ１６１と、視点画像と画像データメモリ１６２より生成される変換外部画像を合成した画像が記憶される合成画像データメモリ１６３とを備えている。
【００１５】
画像表示装置１４は、例えば液晶ディスプレイ等で構成され、合成画像データメモリ１６３に格納された合成画像が表示される。画像表示装置１４へ送られるデータは、Ｄ/Ａ変換器１４１を介してアナログ信号に変換される。また、画像表示装置１４がデジタル信号入力可能な場合には、Ｄ/Ａ変換器は不要となる。
【００１６】
演算処理装置１２は、中央処理装置［ＣＰＵ（Central Processing Unit）］１２１と、リードオンリーメモリ［ＲＯＭ］１２２と、ランダムアクセスメモリ［ＲＡＭ］１２３とを備えている。中央演算処理装置１２１は、現在位置検出装置１５から得られた移動距離や車両の向きについての情報を取得し、また、記憶装置１６から視点画像データ、外部画像データを取得し、これらのデータから、合成画像データを生成する等、様々な演算処理を行うものである。ＲＯＭ１２２には、例えば、中央演算処理装置１２１が画像処理を行うためのソフトウエアや、車体の輪郭線の画像データ等が格納されており、ＲＡＭ１２３は、例えば、ワーキングエリアとして使用される。
【００１７】
本発明の画像処理装置は、次のような作用をする。図２は、本発明の画像処理装置を搭載した車両２１の側面全体図である。車両の後方を映し出す第２の撮像手段としての運転者視点カメラ１３ｂは、車内に配置されており、その画面の一部には、例えば、バックウインドーを介して車両の後方の景色が映し出される（視認可能領域ａ）。そして、画面上のその他の領域には、車内が映し出され、バックシートやその他の内装が画面に映し出される。この車内が映し出されている部分が、死角となり、例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等は、車体によって隠された死角領域となる。
【００１８】
一方、第１の撮像手段である死角カメラ１３ａには、車両２１の後方の画像が映し出される。この画像には、運転者視点カメラ１３ｂの映す画像（視点画像）において死角領域にあるものも含めて、車両後方の景色が映し出される（領域ｂ）。例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等であり、さらに、視点画像に映し出された視認可能領域の物も画像に捉えられている（つまり、領域ｂは領域ａを含んでいる）。但し、死角カメラ１３ａは運転者の視点位置に設けられていないので、外部画像は、運転者の視点位置から認識できる画像とは異なっている。
【００１９】
その外部画像を、撮像位置を視点位置（運転者視点カメラ１３ｂの位置）とした場合の画像に画像処理し、この処理された画像を運転者視点カメラ１３ｂの画像（視点画像）に合成し、死角領域を外部画像で埋める。これにより、死角領域のない、運転者の視点位置での画像が得られる。運転者視点カメラ１３ｂの設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口の位置などか挙げられる。また視点位置にカメラが設置されていない場合には、予め記憶してある車体データを基に、視点変換処理をし、画像を視点位置よりみた画像に処理してもよい。
【００２０】
以上のように構成された本発明の画像処理装置１の作用について説明する。図３、図４及び図５は、演算処理装置１２の動作を示すフローチャートである。イグニッションスイッチのオン操作により電源スイッチがオンされる（ステップＳ１００）。スイッチオンのきっかけは、この他、シフトチェンジレバーをＤ位置、後退時の後方の画像を表示するときは、Ｒ位置にセットしたときとしてもよい。
【００２１】
次に初期化処理を行う(ステップＳ１０１)。具体的には、画像データなどを記憶領域に書き込みができるように、記憶装置１６に記憶されているデータを検索し、記憶可能領域がない場合は、次に取得するデータを上書き可能にする準備をし、また画像データと共に記憶された距離や時間などを参照して、今後使用しないデータを消去する等の、データを書き込む準備をする。例えば、視点画像データメモリ１６１や外部画像データメモリ１６２等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【００２２】
次に、車速が予め定められた設定速度を越えているか判断する（ステップＳ１０２）。この実施形態では車両周辺を認識するために用いられるので、使用目的が幅寄せや車庫入れなどに使用するものであり、速度が速い場合には、必要がなくなると判断する。従って、設定速度を越えている場合には、再度ステップＳ１０２が繰り返される。この設定速度は、必要に応じて変更できるようにしても良い。越えていない場合には、画像処理が必要であると判断し、画像処理を行うために、次のステップへ進み、車内画像処理ルーチン(ステップＳ１０３)が開始される。
【００２３】
図４は、車内画像処理ルーチンを示すフローチャートである。また、図６は、画像処理の手順を示す流れ図であり、以下、この図に基づいて、画像処理内容を説明する。車内画像処理ルーチン(ステップＳ１０３)では、運転者視点カメラ１３ｂによって視点位置から映した視点画像を取得する(ステップＳ２０１)。取得された画像は、一旦視点画像データメモリ１６１に記憶される(ステップＳ２０４)。視点画像データメモリ１６１から視点画像Ｂ0を読み出し、死角領域、つまり車内が映っている部分を、画像から切り出し視認領域画像Ｂ1を生成する(ステップＳ２０５)。このステップＳ２０５により画像抽出手段が構成される。この切り出し処理は、まず、最初に取得された原視点画像から、映っている車内の部分の輪郭を抽出する処理（輪郭抽出ステップ）をする。輪郭線の検出方法は、公知の画像処理方法を用いることができ、例えば、Ｓｏｂｅｌフィルタ処理やラプラシアンフィルタ処理などにより輪郭を強調する処理を行い、輪郭線のみを抽出する処理をすることができる。そして、抽出された輪郭線を境界線として、車両の外部が映されている部分を抽出するか、又は車内が映されている部分を消去することにより、死角領域の切り出し処理ができる。この輪郭抽出ステップにより、輪郭線検出手段が構成される。
【００２４】
車内画像処理ルーチン(ステップＳ１０３)の次に、車外画像処理ルーチン(ステップＳ１０４)を開始する。図５は、車外画像処理ルーチンを示すフローチャートである。車外画像処理ルーチン(ステップＳ１０４)では、死角カメラ１３ａによって映し出された外部画像を取得する(ステップＳ３０１)。取得された画像は、一旦外部画像データメモリ１６２に記憶される(ステップＳ３０４)。外部画像データメモリ１６２から画像Ａ0を読み出し、画像処理を行う。死角カメラ１３ａは、魚眼レンズを使用している場合には、画像Ａ0は、魚眼画像であるから、この画像Ａ0より、後に使用する画像個所ａ0を切り出し、その切り出した画像ａ0に正像変換処理を行い(ステップＳ３０５)、画像Ａ1を得る。次に、死角カメラ１３ａは、運転者の視点位置で撮像していないので、撮像位置を運転者の視点位置に変換する処理をおこなう（ステップＳ３０６）。まず、第１に、撮像位置の高さを合わせるために、アフィン変換処理をする。
【００２５】
第２に、運転者視点カメラ１３ｂによる画像に大きさに合わせるように、画像Ａ1を所定の倍率で画像の大きさを調整し、変換外部画像Ａ2を得る。具体的には、画像Ｂ1と画像Ａ1のそれぞれに対して、それぞれ特徴エリアを設定する。このエリアは、画像中の明暗や色彩等の変化が顕著で、その対象が特定しやすい領域を選択する。特徴エリアに設定される画像は、画像Ａ1と画像Ｂ1がそれぞれ同じ対象物を捕らえていることが必要である。そして、この特徴エリアに映し出された対象物の大きさが同じになるように画像変換（画像Ａ1を拡大又は縮小）をする。以上説明したステップＳ１０４により撮像位置変換手段が構成される。
【００２６】
内部画像と外部画像についての処理（ステップＳ１０３、Ｓ１０４）が終了すると、次に、画像合成処理（ステップＳ１０５）が行われる。これは、ステップＳ１０３で生成された画像Ｂ1と、ステップＳ１０４で生成された画像Ａ２とを重ね合わせて、合成画像Ｂ1＋Ａ2を生成する。これにより、視点画像Ｂ1の死角領域に、外部画像Ａ2が加わり、あたかも、車体を透視して外側を映しているような画像が生成される。このステップＳ１０５により画像合成手段が構成される。
【００２７】
さらに、生成された合成画像Ｂ1＋Ａ2に、輪郭線６が加えられ、表示される最終合成画像ＡＢが生成される（ステップＳ１０６）。生成された合成画像ＡＢは、合成画像データメモリ１６３に記憶される。このステップＳ１０６により、輪郭線画像合成手段が構成される。
【００２８】
この輪郭線６は車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状の少なくとも一つを含む輪郭線である。特に、車体の最も外側に位置する部位の輪郭線、あるいは、運転者が車体の外側を見たときに常に外部景色と同時に視覚に認識される部位の輪郭線であるとよい。車体の最も外側に位置する部位としては、車体、バンパー、ライト、タイヤ、サイドミラー等があり、視界に同時に認識される部位としては、ワイパー、インストゥルメントパネル、ハンドル、バックミラー、座席、窓の形状等が挙げられる。車体の最も外側に位置する部位の輪郭線を合成すると、車体と外部障害物との距離の把握か容易となるという効果がある。また、視界に認識される部位の輪郭線を合成すると、肉眼で認識して操作する際の視界に近似した画像が得られるので、運転者は、従来習得した感覚と同じ感覚で外部障害物と車両との位置関係を把握することができる。
【００２９】
この輪郭線データは、本発明装置を設置する車体データをもとに作成されて、予め記憶装置１６やＲＯＭ１２２などに格納されている。或いは、ステップＳ２０５で抽出した輪郭線を合成してもよい。この場合には、実際の車体の状態が画像に映し出されるので、一層リアルに画像中の外部状況と車体との関係を把握することができる。例えば、後進する場合に、リアウィンドウのダッシュボードに置かれている置物などが、画像に映し出され、実際に肉眼で見ているイメージに近付けることができる。また、輪郭線のみを合成する構成に限らず、車体や車内を映されている影像部分（死角を生成する部分の画像）を半透明にして合成してもよい。
【００３０】
次に、画像表示装置へ最終合成画像ＡＢを出力する（ステップＳ１０９）。システムを終了するきっかけがあるか判断する（ステップＳ１１０）。例えば、本発明の画像処理装置のスイッチオフや画像装置１４の表示切替えがあった場合は、システムは停止される。従って、ステップＳ１１０で、ＹｅＳの場合には、この画像処理のフローチャートは終了する（ステップＳ１１３）。
【００３１】
システムを終了するきっかけがなかった場合（ステップＳ１１０：Ｎｏ）には、ステップＳ１０１で初期化された変数が、設定値を越えたか判断する（ステップＳ１１１）。この変数とは、距離、時間、メモリ残量などを表すもので、これらの値が予め定められた設定値に達した場合には、データの書き込みが開始された位置に戻って、古いデータを新しい画像データに書き換える（ステップＳ１１２）。ここで、ステップＳ１０１にリターンされ、設定値を監視する変数は、初期化される。ステップＳ１１１で、変数が設定値を超えていなかった場合には、ステップＳ１０２にリターンされる。
【００３２】
以上説明した本実施形態によれば、視点位置から車両の外側を見た場合に、視覚に映る画像に近い画像が得られるので、従来の運転者の感覚に沿った画像が提供でき、車両の操舵が容易となる。また、車両の陰となって認識できない領域についても、画像に表示されるので、車両周囲の認識が一層容易となる。さらに、車両の位置や大きさを象徴する輪郭線が画面に同時に表示されるので、車両周囲の障害物と車両との距離や位置関係を把握しやすく、一層運転操作が容易となる。
【００３３】
以上説明した構成の他、表示画像として外部画像を視点変換した画像Ａ2を用い、これに輪郭線6を合成する構成としてもよい。つまり、撮像位置変換手段によって、視点位置に視点変換された外部画像を、そのまま表示手段に表示する構成とすることもできる。この場合には、ステップＳ１０３とステップＳ１０５は省略される。また、画像の合成処理が不要となるので、演算処理装置１２の演算処理が軽減される。以上説明した作用は、後進する場合の例であるが、前進する場合でも、同様の作用となる。
【００３４】
次に、運転者視点カメラ１３ｂも広角レンズを用いたものとしてもよい。広角レンズを用いることにより、車両が曲がる際にも、単に前方、後方といったように、設定された単一の固定された方向のみの画像を取得するものに限られず、ハンドル操作角度や前輪の舵角を検出して、操舵方向の角度に応じた画像領域を抽出し、画像処理を行えば、さらに運転者の視覚画像に合致した画像を表示することが可能となる。また、図７に示されているように、車両の側面にも死角カメラ１８ｃ、１８ｄを設け、前部に設けられた死角カメラ１８ｂと後部の設けられた死角カメラ１８ａとともに、車両を中心とした全周囲の画像を取得する構成とすることもできる。その場合には、運転者視点カメラ１３ｂも全周囲の画像を取得する魚眼レンズが使用され、例えば車内中央の天井部分や、運転者の乗車する座席の真上に位置する天井部分に取り付けられる。
【００３５】
なお、超音波等によって外部障害物と車体との間の距離を計測する測距センサなどのような距離検出手段を車体に設け、合成画像の表示とともに、外部障害物との距離を測る構成とすれば、一層距離感を把握し易くなり、好ましい。例えば、超音波センサによって検出される障害物との距離が、所定の距離以下となった場合には、聴覚信号として警報を発するか、視覚信号として画面を赤のシルエットに表示するなどの構成とすることができる。
【００３６】
上記のような、距離検出手段の一例を示す。図８は、距離検出手段の構成を示す模式図である。距離検出手段は、死角カメラ１３ａの向けられている方向の障害物との距離を検出するものであり、死角カメラ１３ａの近傍に設けられている。距離検出手段３は、２つの投光手段３１、３２を備えている。投光手段は、それぞれ異なる色の光を、特定の方向へ向けて照射するもので、照射される光は所定の方向に指向性を有するもの（光線）である。この実施形態では、投光手段の光源として発光ダイオードが用いられており、光源の色は、それぞれ青と赤である。２つの投光手段３１、３２から照射される光線は、光源から所定の距離Ｌで交差するように、相互に相手方が位置する向きへ傾斜して取りけ付けられている。光線が傾斜する方向は、上下方向に傾斜し、図８に示されているように、障害物に光線が当たると、光線が当たった部分が障害物の表面に光点として映し出され、画面内に表示される。この実施形態では、赤の光源を有する投光手段３２は下側に、青の光源を有する投光手段３１は上側に配置され、投光手段３２は斜め上方へ向けて光線を照射し、投光手段３１は斜め下方へ向けて光線を照射している。
【００３７】
図９から図１１は、光点３０ａ、３０ｂが現れた画面の図である。図９に示されているように、車両から障害物までの距離Ｘが、Ｌより大きい場合（Ｘ＞Ｌ）には、赤の光点３０ａが上側、青の光点３０ｂが下側に位置している。図１０に示されているように、障害物までの距離がＬとなった時（Ｘ＝Ｌ）には、光点は、１つに重なり、赤と青の混ざった紫色の光点が表れる。図１１に示されているように、車両から障害物までの距離Ｘが、Ｌより小さい場合（Ｘ＜Ｌ）には、赤の光点３０ａが下側、青の光点３０ｂが上側に位置している。このような表示が、画面内に同時に映し出されるので、画面を見ながら、光点３０ａ、３０ｂの間の距離によって、距離Ｘの長さを感覚的に把握することが容易となる。
【００３８】
このような距離検出手段３は、図１２に示されているように、車両の前部と後部において、車両左右の角部にそれぞれ設けられていてもよい。例えば、前部と後部の中央部に距離検出手段３Ｆ、３Ｒを設け、前部の左右角部に、距離検出手段３ＦＬ、３ＦＲを、後部の左右角部に、距離検出手段３ＲＬ、３ＲＲを設ける。このようにすると、例えば、図１３に示されているように、車両の左側（画面右側）に位置する障害物と、右側（画面左側）に位置する障害物の距離は、光点３０ａ、３０ｂの距離が短いので、車両の左側（画面右側）に位置する障害物の方が近いことが解る。このように、左右方向に位置する障害物との距離感も、画像に現れる光点の距離によって把握することができる。
【００３９】
本明細書は以下の内容を開示する。
（１） 車両の外部に配置され、車両の進行方向の画像を取得する第１の撮像手段と、前記第１の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段とを備えた車両の画像処理装置。
【００４０】
（２） さらに、車内に配置され、前記車両の進行方向の画像を取得する第２の撮像手段と、前記第２の撮像手段によって取得された画像から前記車両の車体形状を除いた画像を抽出する画像抽出手段と、前記画像抽出手段により抽出された画像と、前記撮像位置変換手段によって視点変換された画像とを合成する画像合成手段とを備えた上記（１）に記載の車両の画像処理装置。
【００４１】
（３） 前記第２の撮像手段によって取得された画像を、運転者の視点位置に視点変換した画像とする上記（２）に記載の車両の画像処理装置。
【００４２】
（４） 車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状のうち少なくとも１つを含む車体形状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線検出手段により検出された輪郭線を、前記撮像位置変換手段によって視点変換された画像上に表示するように合成する輪郭線画像合成手段とを備えた上記（２）に記載の車両の画像処理装置。
【００４３】
（５） 前記車体形状は、車体、ワイパー、インストゥルメントパネル、ハンドル、ミラー、座席、及び窓の形状のうち少なくとも１つであり、前記画像合成手段によって合成された画像上に、前記車体形状の輪郭線を表示する上記（１）又は（２）に記載の車両の画像処理装置。
上記（１）に記載の発明によれば、視点の位置に撮像位置を移動させた場合の画像が得られるので、運転者の視界に入る景色に近似した画像が得られ、車両操作の際の車両と外部障害物との位置関係の把握が容易となる。また、死角領域のない外部画像が得られるので、死角への不安感が軽減される。
上記（２）に記載の発明によれば、車体内部の画像を合成するので、運転者の視界画像に、極めて近い画像が得られる。
上記（３）に記載の発明によれば、視点変換処理をするための演算処理が軽減され、処理能力が向上する。上記（４）に記載の発明によれば、輪郭線を取得した画像から検出する構成とすると、実際の車体の状態を輪郭線で映し出すことになり、現実感が増し、画像から受ける車体の感覚が一層把握し易くなる。上記（５）に記載の発明によれば、車体各部の形状の輪郭線を画像に合成することにより、画面に映し出された外部環境と、車体との位置関係を一層把握し易くなる。
【図面の簡単な説明】
【００４４】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】本発明の画像処理装置を搭載した車両の側面図である。
【図３】本発明の画像処理装置の作用を示すフローチャートである。
【図４】本発明の画像処理装置の作用を示すフローチャートである。
【図５】本発明の画像処理装置の作用を示すフローチャートである。
【図６】画像処理の手順を示す流れ図である。
【図７】広角レンズカメラを用いたカメラの視野を示す平面図である。
【図８】距離検出手段の構成を示す模式図である。
【図９】２つの光点が現れた画面を示す図である。
【図１０】２つの光点が現れた画面を示す図である。
【図１１】２つの光点が現れた画面を示す図である。
【図１２】距離検出手段の配置位置を示す、車両の全体平面図である。
【図１３】２つの光点が現れた画面を示す図である。
【符号の説明】
【００４５】
１ 画像処理装置
１２ 処理装置
１３ａ カメラ
１３ｂ カメラ
１４ 画像表示装置
１５ 現在位置検出装置
１６ 記憶装置
２１ 車両
３ 距離検出手段
【技術分野】
【０００１】
この発明は、車両の画像処理装置にかかり、詳しくは、運転者の死角を表示する画像を生成する画像処理装置に関するものである。
【背景技術】
【０００２】
運転者が車両を運転操作する場合、運転席に座っている運転者の視点から認識できる視界には、車のボディ等に遮られて見えない死角が存在する。このような死角は、ルームミラーやサイドミラーなどによって、ある程度は、認識できるように構成されている。また、最近では、車両の外部を映し出すカメラが搭載され、そのカメラによって取得された画像を車内のモニターに映し出す構成の車両も提案されている。例えば、車両の後方を映し出すカメラが搭載され、後退時には後方の死角となった部分が車内モニターに映し出され、車庫入れ等をする際の後方確認の補助がなされる。また、下記特許文献１には、運転者の視覚に即した向きの画像を表示するものが記載されている。
【０００３】
【特許文献１】特開平１０−２６４７２３号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一方、従来カメラ画像などによって車両周辺の認識ができない車両を運転者が操作する場合には、視界に入ってくる外部の障害物と、同時に視界に入っている車内風景（窓枠やトランクの輪郭など）とから、外部障害物と車両との相対位置や距離がどの程度であるのかを、運転者は、感覚的に把握するものである。しかしながら、従来のようにカメラ画像を表示するものは、カメラに映し出された画像をそのままモニターに表示するため、モニターに表示される画像は、運転者の肉眼に映る画像とはかけはなれている。これは、カメラ視点の位置が、運転者の操作する際の視点位置とは異なっていることや、肉眼で把握できる障害物の大きさとモニターに表示される障害物の大きさとが異なることなどの理由が挙げられる。また、従来では、運転者は、視界に入る車外の風景と車体の一部（窓枠やボンネット等）とを同時に認識して、それらの相対位置を感覚的に把握していたものが、画像には、外部景色のみが映し出されてしまうことも原因である。つまり、従来のモニター画像では、従来感覚的に距離感を把握していた運転者は、従来身に付けていた感覚に基づいて、車両のアウトラインと周囲の物体との位置関係が把握しづらいという問題があった。
【０００５】
この発明は、車両周辺の死角領域に対する画像を提供し、死角への不安感を軽減するとともに、運転者の視点に近付けた位置からの撮像画像を生成することにより、画像を通じて車両と周囲の障害物との位置関係を、運転者に把握し易くすることを目的とするものである。
【課題を解決するための手段】
【０００６】
以上のような問題を解決する本発明は、以下のような構成を有する。
（１） 車両に配置され、車両の外部画像を取得する撮像手段と、前記撮像手段によって取得された画像を、運転者の視点位置に視点変換した画像とする撮像位置変換手段とを備えた車両の画像処理装置。
【０００７】
（２） 運転者からの死角領域を検出する死角領域検出手段と、
前記視点変換した画像のうち、前記死角領域に対応する画像を表示する表示手段とを備えた請求項１に記載の車両の画像処理装置。
【発明の効果】
【０００８】
請求項１記載の発明によれば、視点の位置に撮像位置を移動させた場合の画像が得られるので、運転者の視界に入る景色に近似した画像が得られ、車両操作の際の車両と外部障害物との位置関係の把握が容易となる。また、死角領域のない外部画像が得られるので、死角への不安感が軽減される。
【０００９】
請求項２記載の発明によれば、車両の陰となって認識できない領域についても、画像に表示されるので、車両周囲の認識が一層容易となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。図１は本発明の画像処理装置１の構成を示すブロック図である。画像処理装置１は、画像処理を行う演算処理装置１２と、第１の撮像手段としての死角カメラ１３ａと、第２の撮像手段としての運転者視点カメラ１３ｂと、画像を表示する表示手段としての画像表示装置１４と、現在位置検出装置１５と、画像記憶手段としての記憶装置１６とを備え、これらの装置は、システムバス１７を介して相互に接続されている。
【００１１】
死角カメラ１３ａは、広角レンズを使用したものであり、本実施形態では魚眼レンズを使用する。死角カメラ１３ａは、例えば自動車の車外に設けられ、車の進行方向に向けて取り付けられている。後進する際の車両後部の画像を取得するカメラの場合には、例えば、後部トランクの中央部や、ハッチバック式の車両では、後部ウインドーに、外側へ向けて取り付けることもできる。この実施形態では、後部トランクの中央位置に配置されている。また、運転者視点カメラ１３ｂは、例えば自動車の車内に設けられ、運転者の視点位置に取り付けられる。この実施形態では、バックミラーの取付け位置に配置されている。
【００１２】
死角カメラ１３ａ、運転者視点カメラ１３ｂは、それぞれＡ／Ｄ変換器１３１ａ、１３１ｂを介してシステムバス１７に接続される。死角カメラ１３ａ、１３ｂから出力された画像信号は、Ａ/Ｄ変換器１３１ａ、１３１ｂによってデジタル信号にそれぞれ変換される。また、接続された死角カメラ１３ａ、運転者視点カメラ１３ｂが、デジタル信号出力が可能なものである場合には、Ａ/Ｄ変換器１３１ａ、１３１ｂは不要である。死角カメラ１３ａ、運転者視点カメラ１３ｂは、車両の前方に向けて配置されたものと、車両の後方へ向けて配置されたものがある。以下の説明では、最も視界が制限される後方へ移動する場合に使用される後方設置の死角カメラ１３ａ、運転者視点カメラ１３ｂを例に挙げて説明する。
【００１３】
現在位置検出装置１５は、舵角センサ１５１、車速センサ１５２、ＧＰＳ受信装置１５３、方位センサ１５４、距離センサ１５５とを備えている。舵角センサ１５１は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速センサ１５２は、車両の走行速度を検出する。走行速度は、車両を後退させた場合にも検出される。ＧＰＳ受信装置１５３は、車両の絶対位置を検出する。方位センサ１５４は、車両の向きを検出する。距離センサ１５５は、車両の移動距離を検出する。以上説明した各種センサにより車両の移動距離を得ることができる。即ち、距離センサ１５５により移動距離が検出できる。また、車速センサ１５２から検出される車速と時間により移動距離が検出できる。また、ＧＰＳ受信装置１５３で検出された位置の軌跡により移動距離が検出できる。また、車両の向きが変わった場合には、舵角センサ１５１と方位センサ１５４と距離センサ１５５又は車速センサ１５２によって、移動距離や車両の向きを、より正確に検出することができる。
【００１４】
記憶装置１６は、死角カメラ１３ａ、運転者視点カメラ１３ｂが映した画像を記憶する装置で、死角カメラ１３ａ、運転者視点カメラ１３ｂから出力される画像が連続して記憶され、第１の撮像手段である死角カメラ１３ａの取得した画像が記憶される外部画像データメモリ１６２と、運転者視点カメラ１３ｂの取得した視点画像が記憶される視点画像データメモリ１６１と、視点画像と画像データメモリ１６２より生成される変換外部画像を合成した画像が記憶される合成画像データメモリ１６３とを備えている。
【００１５】
画像表示装置１４は、例えば液晶ディスプレイ等で構成され、合成画像データメモリ１６３に格納された合成画像が表示される。画像表示装置１４へ送られるデータは、Ｄ/Ａ変換器１４１を介してアナログ信号に変換される。また、画像表示装置１４がデジタル信号入力可能な場合には、Ｄ/Ａ変換器は不要となる。
【００１６】
演算処理装置１２は、中央処理装置［ＣＰＵ（Central Processing Unit）］１２１と、リードオンリーメモリ［ＲＯＭ］１２２と、ランダムアクセスメモリ［ＲＡＭ］１２３とを備えている。中央演算処理装置１２１は、現在位置検出装置１５から得られた移動距離や車両の向きについての情報を取得し、また、記憶装置１６から視点画像データ、外部画像データを取得し、これらのデータから、合成画像データを生成する等、様々な演算処理を行うものである。ＲＯＭ１２２には、例えば、中央演算処理装置１２１が画像処理を行うためのソフトウエアや、車体の輪郭線の画像データ等が格納されており、ＲＡＭ１２３は、例えば、ワーキングエリアとして使用される。
【００１７】
本発明の画像処理装置は、次のような作用をする。図２は、本発明の画像処理装置を搭載した車両２１の側面全体図である。車両の後方を映し出す第２の撮像手段としての運転者視点カメラ１３ｂは、車内に配置されており、その画面の一部には、例えば、バックウインドーを介して車両の後方の景色が映し出される（視認可能領域ａ）。そして、画面上のその他の領域には、車内が映し出され、バックシートやその他の内装が画面に映し出される。この車内が映し出されている部分が、死角となり、例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等は、車体によって隠された死角領域となる。
【００１８】
一方、第１の撮像手段である死角カメラ１３ａには、車両２１の後方の画像が映し出される。この画像には、運転者視点カメラ１３ｂの映す画像（視点画像）において死角領域にあるものも含めて、車両後方の景色が映し出される（領域ｂ）。例えば、車両後方の車両に近接した領域、車両後部の左右側面に近接した領域等であり、さらに、視点画像に映し出された視認可能領域の物も画像に捉えられている（つまり、領域ｂは領域ａを含んでいる）。但し、死角カメラ１３ａは運転者の視点位置に設けられていないので、外部画像は、運転者の視点位置から認識できる画像とは異なっている。
【００１９】
その外部画像を、撮像位置を視点位置（運転者視点カメラ１３ｂの位置）とした場合の画像に画像処理し、この処理された画像を運転者視点カメラ１３ｂの画像（視点画像）に合成し、死角領域を外部画像で埋める。これにより、死角領域のない、運転者の視点位置での画像が得られる。運転者視点カメラ１３ｂの設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口の位置などか挙げられる。また視点位置にカメラが設置されていない場合には、予め記憶してある車体データを基に、視点変換処理をし、画像を視点位置よりみた画像に処理してもよい。
【００２０】
以上のように構成された本発明の画像処理装置１の作用について説明する。図３、図４及び図５は、演算処理装置１２の動作を示すフローチャートである。イグニッションスイッチのオン操作により電源スイッチがオンされる（ステップＳ１００）。スイッチオンのきっかけは、この他、シフトチェンジレバーをＤ位置、後退時の後方の画像を表示するときは、Ｒ位置にセットしたときとしてもよい。
【００２１】
次に初期化処理を行う(ステップＳ１０１)。具体的には、画像データなどを記憶領域に書き込みができるように、記憶装置１６に記憶されているデータを検索し、記憶可能領域がない場合は、次に取得するデータを上書き可能にする準備をし、また画像データと共に記憶された距離や時間などを参照して、今後使用しないデータを消去する等の、データを書き込む準備をする。例えば、視点画像データメモリ１６１や外部画像データメモリ１６２等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【００２２】
次に、車速が予め定められた設定速度を越えているか判断する（ステップＳ１０２）。この実施形態では車両周辺を認識するために用いられるので、使用目的が幅寄せや車庫入れなどに使用するものであり、速度が速い場合には、必要がなくなると判断する。従って、設定速度を越えている場合には、再度ステップＳ１０２が繰り返される。この設定速度は、必要に応じて変更できるようにしても良い。越えていない場合には、画像処理が必要であると判断し、画像処理を行うために、次のステップへ進み、車内画像処理ルーチン(ステップＳ１０３)が開始される。
【００２３】
図４は、車内画像処理ルーチンを示すフローチャートである。また、図６は、画像処理の手順を示す流れ図であり、以下、この図に基づいて、画像処理内容を説明する。車内画像処理ルーチン(ステップＳ１０３)では、運転者視点カメラ１３ｂによって視点位置から映した視点画像を取得する(ステップＳ２０１)。取得された画像は、一旦視点画像データメモリ１６１に記憶される(ステップＳ２０４)。視点画像データメモリ１６１から視点画像Ｂ0を読み出し、死角領域、つまり車内が映っている部分を、画像から切り出し視認領域画像Ｂ1を生成する(ステップＳ２０５)。このステップＳ２０５により画像抽出手段が構成される。この切り出し処理は、まず、最初に取得された原視点画像から、映っている車内の部分の輪郭を抽出する処理（輪郭抽出ステップ）をする。輪郭線の検出方法は、公知の画像処理方法を用いることができ、例えば、Ｓｏｂｅｌフィルタ処理やラプラシアンフィルタ処理などにより輪郭を強調する処理を行い、輪郭線のみを抽出する処理をすることができる。そして、抽出された輪郭線を境界線として、車両の外部が映されている部分を抽出するか、又は車内が映されている部分を消去することにより、死角領域の切り出し処理ができる。この輪郭抽出ステップにより、輪郭線検出手段が構成される。
【００２４】
車内画像処理ルーチン(ステップＳ１０３)の次に、車外画像処理ルーチン(ステップＳ１０４)を開始する。図５は、車外画像処理ルーチンを示すフローチャートである。車外画像処理ルーチン(ステップＳ１０４)では、死角カメラ１３ａによって映し出された外部画像を取得する(ステップＳ３０１)。取得された画像は、一旦外部画像データメモリ１６２に記憶される(ステップＳ３０４)。外部画像データメモリ１６２から画像Ａ0を読み出し、画像処理を行う。死角カメラ１３ａは、魚眼レンズを使用している場合には、画像Ａ0は、魚眼画像であるから、この画像Ａ0より、後に使用する画像個所ａ0を切り出し、その切り出した画像ａ0に正像変換処理を行い(ステップＳ３０５)、画像Ａ1を得る。次に、死角カメラ１３ａは、運転者の視点位置で撮像していないので、撮像位置を運転者の視点位置に変換する処理をおこなう（ステップＳ３０６）。まず、第１に、撮像位置の高さを合わせるために、アフィン変換処理をする。
【００２５】
第２に、運転者視点カメラ１３ｂによる画像に大きさに合わせるように、画像Ａ1を所定の倍率で画像の大きさを調整し、変換外部画像Ａ2を得る。具体的には、画像Ｂ1と画像Ａ1のそれぞれに対して、それぞれ特徴エリアを設定する。このエリアは、画像中の明暗や色彩等の変化が顕著で、その対象が特定しやすい領域を選択する。特徴エリアに設定される画像は、画像Ａ1と画像Ｂ1がそれぞれ同じ対象物を捕らえていることが必要である。そして、この特徴エリアに映し出された対象物の大きさが同じになるように画像変換（画像Ａ1を拡大又は縮小）をする。以上説明したステップＳ１０４により撮像位置変換手段が構成される。
【００２６】
内部画像と外部画像についての処理（ステップＳ１０３、Ｓ１０４）が終了すると、次に、画像合成処理（ステップＳ１０５）が行われる。これは、ステップＳ１０３で生成された画像Ｂ1と、ステップＳ１０４で生成された画像Ａ２とを重ね合わせて、合成画像Ｂ1＋Ａ2を生成する。これにより、視点画像Ｂ1の死角領域に、外部画像Ａ2が加わり、あたかも、車体を透視して外側を映しているような画像が生成される。このステップＳ１０５により画像合成手段が構成される。
【００２７】
さらに、生成された合成画像Ｂ1＋Ａ2に、輪郭線６が加えられ、表示される最終合成画像ＡＢが生成される（ステップＳ１０６）。生成された合成画像ＡＢは、合成画像データメモリ１６３に記憶される。このステップＳ１０６により、輪郭線画像合成手段が構成される。
【００２８】
この輪郭線６は車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状の少なくとも一つを含む輪郭線である。特に、車体の最も外側に位置する部位の輪郭線、あるいは、運転者が車体の外側を見たときに常に外部景色と同時に視覚に認識される部位の輪郭線であるとよい。車体の最も外側に位置する部位としては、車体、バンパー、ライト、タイヤ、サイドミラー等があり、視界に同時に認識される部位としては、ワイパー、インストゥルメントパネル、ハンドル、バックミラー、座席、窓の形状等が挙げられる。車体の最も外側に位置する部位の輪郭線を合成すると、車体と外部障害物との距離の把握か容易となるという効果がある。また、視界に認識される部位の輪郭線を合成すると、肉眼で認識して操作する際の視界に近似した画像が得られるので、運転者は、従来習得した感覚と同じ感覚で外部障害物と車両との位置関係を把握することができる。
【００２９】
この輪郭線データは、本発明装置を設置する車体データをもとに作成されて、予め記憶装置１６やＲＯＭ１２２などに格納されている。或いは、ステップＳ２０５で抽出した輪郭線を合成してもよい。この場合には、実際の車体の状態が画像に映し出されるので、一層リアルに画像中の外部状況と車体との関係を把握することができる。例えば、後進する場合に、リアウィンドウのダッシュボードに置かれている置物などが、画像に映し出され、実際に肉眼で見ているイメージに近付けることができる。また、輪郭線のみを合成する構成に限らず、車体や車内を映されている影像部分（死角を生成する部分の画像）を半透明にして合成してもよい。
【００３０】
次に、画像表示装置へ最終合成画像ＡＢを出力する（ステップＳ１０９）。システムを終了するきっかけがあるか判断する（ステップＳ１１０）。例えば、本発明の画像処理装置のスイッチオフや画像装置１４の表示切替えがあった場合は、システムは停止される。従って、ステップＳ１１０で、ＹｅＳの場合には、この画像処理のフローチャートは終了する（ステップＳ１１３）。
【００３１】
システムを終了するきっかけがなかった場合（ステップＳ１１０：Ｎｏ）には、ステップＳ１０１で初期化された変数が、設定値を越えたか判断する（ステップＳ１１１）。この変数とは、距離、時間、メモリ残量などを表すもので、これらの値が予め定められた設定値に達した場合には、データの書き込みが開始された位置に戻って、古いデータを新しい画像データに書き換える（ステップＳ１１２）。ここで、ステップＳ１０１にリターンされ、設定値を監視する変数は、初期化される。ステップＳ１１１で、変数が設定値を超えていなかった場合には、ステップＳ１０２にリターンされる。
【００３２】
以上説明した本実施形態によれば、視点位置から車両の外側を見た場合に、視覚に映る画像に近い画像が得られるので、従来の運転者の感覚に沿った画像が提供でき、車両の操舵が容易となる。また、車両の陰となって認識できない領域についても、画像に表示されるので、車両周囲の認識が一層容易となる。さらに、車両の位置や大きさを象徴する輪郭線が画面に同時に表示されるので、車両周囲の障害物と車両との距離や位置関係を把握しやすく、一層運転操作が容易となる。
【００３３】
以上説明した構成の他、表示画像として外部画像を視点変換した画像Ａ2を用い、これに輪郭線6を合成する構成としてもよい。つまり、撮像位置変換手段によって、視点位置に視点変換された外部画像を、そのまま表示手段に表示する構成とすることもできる。この場合には、ステップＳ１０３とステップＳ１０５は省略される。また、画像の合成処理が不要となるので、演算処理装置１２の演算処理が軽減される。以上説明した作用は、後進する場合の例であるが、前進する場合でも、同様の作用となる。
【００３４】
次に、運転者視点カメラ１３ｂも広角レンズを用いたものとしてもよい。広角レンズを用いることにより、車両が曲がる際にも、単に前方、後方といったように、設定された単一の固定された方向のみの画像を取得するものに限られず、ハンドル操作角度や前輪の舵角を検出して、操舵方向の角度に応じた画像領域を抽出し、画像処理を行えば、さらに運転者の視覚画像に合致した画像を表示することが可能となる。また、図７に示されているように、車両の側面にも死角カメラ１８ｃ、１８ｄを設け、前部に設けられた死角カメラ１８ｂと後部の設けられた死角カメラ１８ａとともに、車両を中心とした全周囲の画像を取得する構成とすることもできる。その場合には、運転者視点カメラ１３ｂも全周囲の画像を取得する魚眼レンズが使用され、例えば車内中央の天井部分や、運転者の乗車する座席の真上に位置する天井部分に取り付けられる。
【００３５】
なお、超音波等によって外部障害物と車体との間の距離を計測する測距センサなどのような距離検出手段を車体に設け、合成画像の表示とともに、外部障害物との距離を測る構成とすれば、一層距離感を把握し易くなり、好ましい。例えば、超音波センサによって検出される障害物との距離が、所定の距離以下となった場合には、聴覚信号として警報を発するか、視覚信号として画面を赤のシルエットに表示するなどの構成とすることができる。
【００３６】
上記のような、距離検出手段の一例を示す。図８は、距離検出手段の構成を示す模式図である。距離検出手段は、死角カメラ１３ａの向けられている方向の障害物との距離を検出するものであり、死角カメラ１３ａの近傍に設けられている。距離検出手段３は、２つの投光手段３１、３２を備えている。投光手段は、それぞれ異なる色の光を、特定の方向へ向けて照射するもので、照射される光は所定の方向に指向性を有するもの（光線）である。この実施形態では、投光手段の光源として発光ダイオードが用いられており、光源の色は、それぞれ青と赤である。２つの投光手段３１、３２から照射される光線は、光源から所定の距離Ｌで交差するように、相互に相手方が位置する向きへ傾斜して取りけ付けられている。光線が傾斜する方向は、上下方向に傾斜し、図８に示されているように、障害物に光線が当たると、光線が当たった部分が障害物の表面に光点として映し出され、画面内に表示される。この実施形態では、赤の光源を有する投光手段３２は下側に、青の光源を有する投光手段３１は上側に配置され、投光手段３２は斜め上方へ向けて光線を照射し、投光手段３１は斜め下方へ向けて光線を照射している。
【００３７】
図９から図１１は、光点３０ａ、３０ｂが現れた画面の図である。図９に示されているように、車両から障害物までの距離Ｘが、Ｌより大きい場合（Ｘ＞Ｌ）には、赤の光点３０ａが上側、青の光点３０ｂが下側に位置している。図１０に示されているように、障害物までの距離がＬとなった時（Ｘ＝Ｌ）には、光点は、１つに重なり、赤と青の混ざった紫色の光点が表れる。図１１に示されているように、車両から障害物までの距離Ｘが、Ｌより小さい場合（Ｘ＜Ｌ）には、赤の光点３０ａが下側、青の光点３０ｂが上側に位置している。このような表示が、画面内に同時に映し出されるので、画面を見ながら、光点３０ａ、３０ｂの間の距離によって、距離Ｘの長さを感覚的に把握することが容易となる。
【００３８】
このような距離検出手段３は、図１２に示されているように、車両の前部と後部において、車両左右の角部にそれぞれ設けられていてもよい。例えば、前部と後部の中央部に距離検出手段３Ｆ、３Ｒを設け、前部の左右角部に、距離検出手段３ＦＬ、３ＦＲを、後部の左右角部に、距離検出手段３ＲＬ、３ＲＲを設ける。このようにすると、例えば、図１３に示されているように、車両の左側（画面右側）に位置する障害物と、右側（画面左側）に位置する障害物の距離は、光点３０ａ、３０ｂの距離が短いので、車両の左側（画面右側）に位置する障害物の方が近いことが解る。このように、左右方向に位置する障害物との距離感も、画像に現れる光点の距離によって把握することができる。
【００３９】
本明細書は以下の内容を開示する。
（１） 車両の外部に配置され、車両の進行方向の画像を取得する第１の撮像手段と、前記第１の撮像手段によって取得された画像を、車体外部の撮像位置から運転者の視点位置に視点変換した画像とする撮像位置変換手段とを備えた車両の画像処理装置。
【００４０】
（２） さらに、車内に配置され、前記車両の進行方向の画像を取得する第２の撮像手段と、前記第２の撮像手段によって取得された画像から前記車両の車体形状を除いた画像を抽出する画像抽出手段と、前記画像抽出手段により抽出された画像と、前記撮像位置変換手段によって視点変換された画像とを合成する画像合成手段とを備えた上記（１）に記載の車両の画像処理装置。
【００４１】
（３） 前記第２の撮像手段によって取得された画像を、運転者の視点位置に視点変換した画像とする上記（２）に記載の車両の画像処理装置。
【００４２】
（４） 車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状のうち少なくとも１つを含む車体形状の輪郭線を検出する輪郭線検出手段を有し、該輪郭線検出手段により検出された輪郭線を、前記撮像位置変換手段によって視点変換された画像上に表示するように合成する輪郭線画像合成手段とを備えた上記（２）に記載の車両の画像処理装置。
【００４３】
（５） 前記車体形状は、車体、ワイパー、インストゥルメントパネル、ハンドル、ミラー、座席、及び窓の形状のうち少なくとも１つであり、前記画像合成手段によって合成された画像上に、前記車体形状の輪郭線を表示する上記（１）又は（２）に記載の車両の画像処理装置。
上記（１）に記載の発明によれば、視点の位置に撮像位置を移動させた場合の画像が得られるので、運転者の視界に入る景色に近似した画像が得られ、車両操作の際の車両と外部障害物との位置関係の把握が容易となる。また、死角領域のない外部画像が得られるので、死角への不安感が軽減される。
上記（２）に記載の発明によれば、車体内部の画像を合成するので、運転者の視界画像に、極めて近い画像が得られる。
上記（３）に記載の発明によれば、視点変換処理をするための演算処理が軽減され、処理能力が向上する。上記（４）に記載の発明によれば、輪郭線を取得した画像から検出する構成とすると、実際の車体の状態を輪郭線で映し出すことになり、現実感が増し、画像から受ける車体の感覚が一層把握し易くなる。上記（５）に記載の発明によれば、車体各部の形状の輪郭線を画像に合成することにより、画面に映し出された外部環境と、車体との位置関係を一層把握し易くなる。
【図面の簡単な説明】
【００４４】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】本発明の画像処理装置を搭載した車両の側面図である。
【図３】本発明の画像処理装置の作用を示すフローチャートである。
【図４】本発明の画像処理装置の作用を示すフローチャートである。
【図５】本発明の画像処理装置の作用を示すフローチャートである。
【図６】画像処理の手順を示す流れ図である。
【図７】広角レンズカメラを用いたカメラの視野を示す平面図である。
【図８】距離検出手段の構成を示す模式図である。
【図９】２つの光点が現れた画面を示す図である。
【図１０】２つの光点が現れた画面を示す図である。
【図１１】２つの光点が現れた画面を示す図である。
【図１２】距離検出手段の配置位置を示す、車両の全体平面図である。
【図１３】２つの光点が現れた画面を示す図である。
【符号の説明】
【００４５】
１ 画像処理装置
１２ 処理装置
１３ａ カメラ
１３ｂ カメラ
１４ 画像表示装置
１５ 現在位置検出装置
１６ 記憶装置
２１ 車両
３ 距離検出手段
【特許請求の範囲】
【請求項１】
車両に配置され、車両の外部画像を取得する撮像手段と、前記撮像手段によって取得された画像を、運転者の視点位置に視点変換した画像とする撮像位置変換手段とを備えた車両の画像処理装置。
【請求項２】
運転者からの死角領域を検出する死角領域検出手段と、
前記視点変換した画像のうち、前記死角領域に対応する画像を表示する表示手段とを備えた請求項１に記載の車両の画像処理装置。
【請求項１】
車両に配置され、車両の外部画像を取得する撮像手段と、前記撮像手段によって取得された画像を、運転者の視点位置に視点変換した画像とする撮像位置変換手段とを備えた車両の画像処理装置。
【請求項２】
運転者からの死角領域を検出する死角領域検出手段と、
前記視点変換した画像のうち、前記死角領域に対応する画像を表示する表示手段とを備えた請求項１に記載の車両の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−３０２２３８（Ｐ２００７−３０２２３８Ａ）
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願番号】特願２００７−１４２６４４（Ｐ２００７−１４２６４４）
【出願日】平成１９年５月２９日（２００７．５．２９）
【分割の表示】特願２００１−４００９６２（Ｐ２００１−４００９６２）の分割
【原出願日】平成１３年１２月２８日（２００１．１２．２８）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願日】平成１９年５月２９日（２００７．５．２９）
【分割の表示】特願２００１−４００９６２（Ｐ２００１−４００９６２）の分割
【原出願日】平成１３年１２月２８日（２００１．１２．２８）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
[ Back to top ]