車両周辺監視装置
【課題】車両周辺監視装置において、新たにカメラ等の装置を追加することなく、前方側の画像も後方側の画像も得つつ、適正な変換処理がなされる車両周辺監視装置を提供する。
【解決手段】助手席側に設置されたサイドカメラ１０と、サイドカメラ１０で得られたカメラ視点の画像Ｐ０に対して、運転者の視点から見た運転者視点の画像Ｐ５に変換する画像処理部３０と、得られた運転者視点の画像Ｐ５を表示する表示部４０とを備え、サイドカメラ１０は、その光軸以外の１軸回りに回動可能に設置され、画像処理部３０は、カメラ視点の画像Ｐ０のうち、車両以外の画像部分Ｐ１と車両の画像部分Ｐ２とで相異なる処理条件による変換処理で運転者視点の画像Ｐ３，Ｐ４を得、これら２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した視点変換の変換処理パラメータ（処理条件）は、車載サイドカメラ１０の回動角度θに応じて変化される。
【解決手段】助手席側に設置されたサイドカメラ１０と、サイドカメラ１０で得られたカメラ視点の画像Ｐ０に対して、運転者の視点から見た運転者視点の画像Ｐ５に変換する画像処理部３０と、得られた運転者視点の画像Ｐ５を表示する表示部４０とを備え、サイドカメラ１０は、その光軸以外の１軸回りに回動可能に設置され、画像処理部３０は、カメラ視点の画像Ｐ０のうち、車両以外の画像部分Ｐ１と車両の画像部分Ｐ２とで相異なる処理条件による変換処理で運転者視点の画像Ｐ３，Ｐ４を得、これら２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した視点変換の変換処理パラメータ（処理条件）は、車載サイドカメラ１０の回動角度θに応じて変化される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視装置に関し、詳細には、助手席側の車載カメラにより得られた画像に基づいた車両周辺監視装置に関する。
【背景技術】
【０００２】
ナビゲーションシステムの普及により映像モニタを備えた車両が増えている。加えて、カメラの低価格化により、駐車支援をはじめとする、映像による安全運転支援システムが開発されている。
【０００３】
その代表的な例として、助手席側のサイドミラーに取り付けたカメラで得られた画像を用いて、運転者から死角となる車外の様子を補うシステムがある。このシステムは、一般的には、車両の前輪部周辺の様子をカメラで映し出すことで、脱輪を防止するのが主目的となっており、既に実用化もされている。
【０００４】
また、広角のカメラを車両後方に向けて設置し、サイドミラーの視野を補うシステムも提案されている。
【０００５】
しかし、このシステムにより得られる画像中における対象物までの距離は、運転者が視覚によって感覚的に把握する距離感とは異なっている。そして、この対象物までの距離感の相違は、運転者の感覚を混乱させることになり、その対象物が運転操作に影響を与える障害物である場合には、一層深刻なものとなる。
【０００６】
このシステムによりモニタに映し出された対象物までの距離に対する運転者の違和感は、システムにより得られる画像は車載カメラの設置位置に依存した画像（カメラ視点の画像）であり、運転者の視点によるものではないことに起因している。
【０００７】
そこで、カメラ視点の画像に画像処理を施して、運転者視点の画像に変換して表示するシステムが提案されている（特許文献１）。
【０００８】
しかし、広角カメラを使用したシステムでは、カメラ視点の画像に車両の一部が含まれると、当該の車両部分はカメラの設置位置と運転者視点との間に位置するため、運転者視点の画像に変換しても、その車両部分については、適正な変換処理が行われず、むしろ誤った変換となり、車両と障害物との位置関係に関して、運転者に間違った判断をさせることになる。
【０００９】
また、この問題を回避するために、車両の画像を予めメモリに格納しておき、カメラ視点の画像を運転者視点の画像に変換し、得られた運転者視点の画像に、メモリに格納された車両の画像を重ねて表示する手法が提案されている（特許文献２）。
【００１０】
これとは別の手法として、車外の車載カメラの他に車室内にカメラを設け、この車室内のカメラにより、車室内の画像を取り込む提案もある（特許文献３）。
【特許文献１】特開２００３−３３９０４４号公報
【特許文献２】特開２００５−１８４１４２号公報
【特許文献３】特開２００４−３５０３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献２に開示された提案を適用しようとすると、車両の前方から後方に亘る広角度の範囲で連続した膨大な数の車両の画像をメモリに予め記憶させておく必要があり、大きな容量のメモリを追加する必要がある。したがって、構成の複雑化と製造コストの上昇を招く。
【００１２】
一方、特許文献３に開示された提案を適用しようとすると、システムの構成として車室内に新たなカメラを設ける必要があり、構成の複雑化と製造コストの上昇を招くとともに、車両前方から車両後方の広い範囲に亘って、車外のカメラと車室内のカメラとを同期させて向きを変えるのは困難である。
【００１３】
また、従来のサイドミラー付近に設置されたこれらカメラは固定式であり、設置位置近くの前輪付近や車両後方のうちいずれか一方の専用用途とされているため、両方を映し出すためには独立した２つのカメラが必要である。
【００１４】
本発明は上記事情に鑑みなされたものであり、車両のサイドミラー近傍に設置されたカメラにより、新たにカメラやメモリ等の装置を追加することなく、前方側の画像も後方側の画像も得ることができるとともに、車両部分について適正な変換処理がなされる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る車両周辺監視装置は、車両の助手席側（右ハンドル車の場合は左側、左ハンドル車の場合は右側）のサイドカメラを可動式にして車両前方部分および後方部分の両方を選択的に撮影するとともに、車載サイドカメラで得られた画像のうち、車両が映っている画像部分（車両の画像部分）と車両が映っていない画像部分（車両以外の画像部分）とで視点変換の処理条件に差異を与えることで、新たにカメラ等の装置を追加することなく、前方側の画像も後方側の画像も得るとともに、車両部分について適正な変換処理がなされるようにしたものである。
【００１６】
すなわち、本発明に係る車両周辺監視装置は、車両の助手席側のサイドミラーまたはその近傍に設置された車載サイドカメラと、前記車載サイドカメラで撮影して得られたカメラ視点の画像に対して、運転者の視点から見たと仮定した場合の運転者視点の画像に変換する画像処理部と、前記車両の車室内に設置され、前記画像処理部により得られた前記運転者視点の画像を表示する表示部とを備え、前記車載サイドカメラは、その光軸以外の少なくとも１軸回りに回動可能に設置され、前記画像処理部は、前記カメラ視点の画像のうち、前記車両以外の画像部分と前記車両の画像部分とで相異なる処理条件による変換処理で前記運転者視点の画像を得るとともに、前記２つの画像部分にそれぞれ対応した各前記処理条件は、前記車載サイドカメラの回動角度に応じて変化されることを特徴とする。
【００１７】
このように構成された車両周辺監視装置によれば、車両の助手席側のサイドミラーまたはその近傍に設置された車載サイドカメラによって撮影して得られたカメラ視点の画像は、画像処理部により、運転者の視点から見たと仮定した場合の運転者視点の画像に変換され、この運転者視点の画像は、車室内に設置された表示部に表示される。
【００１８】
ここで、車載サイドカメラは、その光軸以外の少なくとも１軸回りに回動可能に設置されているため、すなわち少なくとも前方と後方に向けた首振りが可能であるため、単一のカメラでありながら、前方側の画像も後方側の画像も得ることができ、車両の前後（車長）方向の広い範囲で利用が可能で、新たにカメラ等の装置を追加する必要がない。
【００１９】
また、画像処理部は、カメラ視点の画像のうち、車両以外の画像部分と車両の画像部分とで相異なる処理条件による変換処理で、それぞれ運転者視点の画像を得るため、車両以外の画像部分と車両の画像部分とに対して、それぞれ適正な視点変換処理を施すことができる。
【００２０】
そして、そのような適正な視点変換処理がなされた画像を表示部に表示させることにより、運転者に対して、車両と障害物等物体との位置関係を適正に判断させることができる。また、運転者の瞬時の判断を容易にすることもできる。
【００２１】
さらに、車両以外の画像部分に合成する車両の画像を、従来のようにメモリに予め記憶された固定の画像を用いるのではなく、当該車両以外の画像部分を含むカメラ視点の画像に含まれている車両の画像部分を用いるため、当該車両の画像データを大量に記憶しておくメモリが必要がなく、画像処理部の構成を簡素化することができる。
【００２２】
なお、カメラ視点の画像に含まれている車両の画像部分を用いて、車両の画像データを得る必要があるため、画像処理の手順を追加する必要があるが、この追加の画像処理はソフトウェアで処理することで、コストへの影響を少なくすることができる。
【００２３】
また、車両の画像データを予め取得する必要がないため、車両の形状が異なる多数の車種に適用する場合にも、車種ごとに車両の画像データを逐一取得しておく必要がなく、コストを大幅に上昇させることなく、多様な車種への適用を容易にすることができる。
【発明の効果】
【００２４】
本発明に係る車両周辺監視装置によれば、新たにカメラ等の装置を追加することなく、前方側の画像も後方側の画像も得ることができ、しかも、運転者に対して、車両と障害物等物体との位置関係を適正に判断させることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明に係る車両周辺監視装置の実施形態について、図面を用いて説明する。
【００２６】
図１は、本発明の一実施形態に係る車両周辺監視装置１００の構成を示すブロック図である。
【００２７】
図示の車両周辺監視装置１００は、図１に示すように、車両２００の助手席側のサイドミラー２１０またはその近傍に設置された車載サイドカメラ１０と、この車載サイドカメラ１０で撮影して得られたカメラ視点Ｃの画像Ｐ０に対して、運転者３００の視点Ｄから見たと仮定した場合の運転者視点Ｄの画像Ｐ５に変換する画像処理部３０と、車両２００の車室内に設置され、画像処理部３０により得られた運転者視点Ｄの画像Ｐ５を表示する表示部４０とを備え、車載サイドカメラ１０は、回動機構により、その光軸以外の少なくとも１軸（本実施形態では光軸と直交しない軸）回りに、手動または自動（電動等）で回動可能に設置され、画像処理部３０は、カメラ視点Ｃの画像Ｐ０のうち、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とで相異なる処理条件による変換処理で運転者視点Ｄの画像Ｐ３，Ｐ４を得るとともに、これら２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した視点変換の変換処理パラメータ（処理条件）は、車載サイドカメラ１０の回動角度θに応じて変化されるように構成されている。
【００２８】
さらに、車載サイドカメラ１０を回動可能に支持する回動機構の近傍には、当該車載サイドカメラ１０の回動角度θを検出する角度センサ２０が設けられており、この角度センサ２０が検出したカメラ１０の回転角度θは、画像処理部３０に入力され、画像処理部３０は、角度センサ２０から入力された回動角度θに応じて、上述した運転者視点Ｄの画像に変換する各処理条件を設定する。
【００２９】
また、画像処理部３０は、カメラ視点Ｃの画像Ｐ０を、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに分割する分割部３１と、分割部３１により分割して得られた車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに対して、相異なる処理条件によりそれぞれ運転者視点Ｄの画像Ｐ３，Ｐ４に変換処理する視点変換処理部３２と、視点変換処理部３２より得られた、２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した２つの運転者視点Ｄの画像Ｐ３，Ｐ４を単一の運転者視点Ｄの画像Ｐ５に合成する合成部３３とを備え、分割部３１は、車載サイドカメラ１０の回動角度θに応じて、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２との分割境界線Ｌを、変動させる。
【００３０】
なお、分割境界線Ｌは、分割位置を示す概念的な境界線を、理解の容易のために可視的に表示したに過ぎず、この分割境界線Ｌ自体を生成しなくてもよく、データ上において、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とを区画し得るような識別が可能であれば、そのような識別を分割境界線Ｌの代用とすることもできる。
【００３１】
合成部３３は、２つの運転者視点Ｄの画像Ｐ３，Ｐ４のうち、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、その輪郭線Ｋに変換して、車両２００以外の画像部分Ｐ３と合成処理する。
【００３２】
図２は、図１に示した車両周囲監視装置１００を、より具体的な構成に展開したブロック図であり、カメラ１１０は車載サイドカメラ１０に、角度センサ１２０は角度センサ２０に、ＣＰＵ１３１、カメラ画像バッファ１３２、車体変形装置１３４、周囲変形装置１３３および合成器１３５が画像処理部３０に、モニタ１４０が表示部４０に、それぞれ対応している。
【００３３】
また、ＣＰＵ１３１、カメラ画像バッファ１３２、車体変形装置１３４および周囲変形装置１３３は分割部３１に、ＣＰＵ１３１、車体変形装置１３４および周囲変形装置１３３は視点変換処理部３２に、合成器１３５は合成部３３に、それぞれ対応している。
【００３４】
なお、Ａ／Ｄ変換器１５０は、車載カメラ１０の一部を構成するものであっても、画像処理部３０の一部を構成するものであってもよい。同様に、Ｄ／Ａ変換器１６０は、表示部４０の一部を構成するものであっても、画像処理部３０の一部を構成するものであってもよい。
【００３５】
ここで、カメラ１１０は、図３（ａ）の側面模式図および同図（ｂ）の平面模式図に示すように、車両２００の助手席側のサイドミラー２１０の近傍に設けられ、図３においては、車両２００の外側で、前下方の観測点ＶＰを向いた姿勢となっている。
【００３６】
なお、本実施形態は、車両２００が右ハンドル車である例であるため、運転者３００は右側、カメラ１１０（車載サイドカメラ１０）は左側、にそれぞれ配置されるが、左ハンドル車の場合には、この実施形態の表示とは左右が対称の位置関係となり、運転者３００は左側、カメラ１１０（車載サイドカメラ１０）は右側に配置され、以下の各図においても同様に、左右対称の配置となることは言うまでもない。
【００３７】
カメラ１１０は、図４の側面模式図に示すように、概略車幅方向に沿った軸を回動中心として、車両２００の前下方から助手席外側下方、後下方に亘って回動可能であり、その回動角度θは、カメラ１１０の光軸が車両の前方水平方向を向いた基準位置からの角度によって規定されている。
【００３８】
分割部３１は、カメラ１１０から得られたカメラ視点Ｃの画像Ｐ０が例えば図５に示すものであるとき、図６に示すように、このカメラ視点Ｃの画像Ｐ０を、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに分割する。
【００３９】
具体的には、カメラ１１０によって撮影され、Ａ／Ｄ変換器１５０によりデジタル化された画像Ｐ０は、カメラ画像バッファ１３２に一旦記憶され、周囲変形装置１３３と車体変形装置１３４とにそれぞれ入力され、ＣＰＵ１３１からの命令により、周囲変形装置１３３が、カメラ視点の画像Ｐ０のうち車両２００以外の画像部分Ｐ１を抽出し、車体変形装置１３４が、カメラ視点の画像Ｐ０のうち車両２００の画像部分Ｐ２を抽出することで、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２との分割を行う。
【００４０】
分割境界線Ｌは、車両２００の輪郭線を画像処理により検出するなどして、車両の画像部分だけを正確に抽出することで決定してもよいが、処理時間が無用に長くなったり、そこまでの過剰な検出精度は不要である、等の理由により、実験的なデータに基づいて予め設定されている。
【００４１】
ここで、カメラ１１０は可動であり、しかも、カメラ１１０は、車両２００の外側の観察点ＶＰ周辺を広く撮影するために、その光軸の向きが車幅方向の若干外側に向いて設定されている（カメラの光軸と、車両前後方向の軸および車両の高さ方向の軸を含む鉛直面との交差角度は一定（例えば１０°程度）であるとする。）ことから、カメラ１１０がその回動軸回りに回動すると、カメラ１１０の光軸の軌跡は、円錐形状の母線の回転軌跡によって形成される円錐形状の斜面と同様の軌跡となり、回動角度θに応じて、分割境界線Ｌは変動する。
【００４２】
つまり、角度センサ１２０によって検出された回動角度θに応じて、ＣＰＵ１３１が、予め設定されている分割境界線Ｌを、図７に示すように適宜変動させる。
【００４３】
ここで、θ１＜θ２＜θ３であり、θ１はカメラ１１０が車両２００の前方の略水平方向に向いた状態に対応する回動角度であり、θ３はカメラ１１０が略真下方向に向いた状態に対応する回動角度である。
【００４４】
なお、回動角度θが９０°（≒θ３）を超えると、カメラ視点Ｃの画像Ｐ０は上下が逆転するため、この上下の逆転を補正するために、画像Ｐ０を１８０°回転するものとし、図７においても１８０°回転して表示している。
【００４５】
つまり、回動角度θ３′は回動角度θ３と略等しく、カメラ１１０が略真下方向に向いた状態に対応する回動角度であり、θ５はカメラ１１０が車両２００の後方の略水平方向に向いた状態に対応する回動角度である（θ３′＜θ４＜θ５）。
【００４６】
視点変換処理部３２としての周囲変形装置１３３は、車両２００以外の画像部分Ｐ１（図８（ａ））に対して、運転者視点Ｄの画像Ｐ３（図８（ｂ））に変換処理し、視点変換処理部３２としての車体変形装置１３４は、車両２００の画像部分Ｐ２（図９（ａ））に対して、運転者視点Ｄの画像Ｐ４（図９（ｂ））に変換処理する。
【００４７】
この視点変換の処理は、国際公開第００／０７３７３号パンフレット等を始め、既に知られているように、観測点ＶＰにおける、カメラ視点Ｃへの向きから、運転者視点Ｄへの向きに至る、空間の２軸回りの回転角度φ（鉛直軸回りの回転角度），ψ（車幅方向に沿った軸回りの回転角度）および観測点ＶＰからカメラ視点Ｃまでの距離と観測点ＶＰから運転者視点Ｄまでの距離との差Δｒ（既知の値）を用いて、行うことができる。
【００４８】
本実施形態の車両周辺監視装置１００の周囲変形装置１３３は、これらの変数φ，ψ，Δｒに、新たなパラメータであるカメラ１１０の回動角度θを加えた演算により、車両２００以外の画像部分Ｐ１についての、運転者視点Ｄの画像Ｐ３を得る。
【００４９】
同様に、車体変形装置１３４は、上述した変数φに対応する変数φ′、変数ψに対応する変数ψ′および変数Δｒに、新たなパラメータであるカメラ１１０の回動角度θを加えた演算により、車両２００の画像部分Ｐ２についての、運転者視点Ｄの画像Ｐ４を得る。
【００５０】
なお、パラメータφ′，ψ′は、上述したパラメータφ，ψとそれぞれ異なる値に設定されているため、車両２００の画像部分Ｐ２についての運転者視点Ｄの画像Ｐ４は、車両２００以外の画像部分Ｐ１についての運転者視点Ｄの画像Ｐ３とは異なる処理条件で、視点変換処理がなされたことになる。
【００５１】
また、上述した各パラメータφ，φ′，ψ，ψ′，θ，Δｒは、角度センサ１２０により検出されたカメラ１１０の回動角度ΔθがＣＰＵ１３１に入力された後、ＣＰＵ１３１が算出して、周囲変形装置１３３および車体変形装置１３４に出力される。
【００５２】
合成器１３５は、周囲変形装置１３３により得られた運転者視点Ｄの画像Ｐ３（図８（ｂ））と車体変形装置１３４により得られた運転者視点Ｄの画像Ｐ４（図９（ｂ））とを、画素（位置）を対応させて合成処理する。
【００５３】
合成器１３５による合成処理は、前述したように、運転者視点Ｄの画像Ｐ４を、まず車両２００の輪郭線Ｋ（図１０において破線で示す）に変換して、この輪郭線Ｋを、運転者視点Ｄの画像Ｐ３に重畳している。ここで、図１０中の「車両周辺を直接ご確認下さい」のメッセージＭは、運転者の注意を喚起することを目的として付加的にインポーズされているに過ぎず、省略してもよいし、他のメッセージＭを追加合成してもよい。
【００５４】
なお、合成器１３５による合成処理としては、上述した車両２００の輪郭線Ｋを用いるのに代えて、図１１に示すように、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、車両２００以外の画像部分Ｐ１に対応した画像Ｐ３よりも、重み付けを小さくして、加算演算してもよい。この場合、周囲の画像Ｐ３に、車両２００の画像Ｐ４が、薄く重なって視認できる程度であればよい。
【００５５】
輪郭線Ｋを重畳して合成（インポーズ）し、または重み付けを小さくした加算演算をして合成するのは、車両２００の画像Ｐ４よりも、車両２００の周囲の画像Ｐ３を明瞭に表示させることが重要であり、車両２００の画像Ｐ４は、周囲の障害物との距離感を得るための補助的なものであることによる。
【００５６】
次に、本発明の実施形態に係る車両周囲監視装置１００の作用について、図１２に示したフローチャートを参照して説明する。
【００５７】
まず、角度センサ１２０がカメラ１１０の回動角度θ（図４）を検出し（Ｓ１）、検出された回動角度θは画像処理部１３０のＣＰＵ１３１に入力され、ＣＰＵ１３１は、視点変換のパラメータφ，φ′，ψ，ψ′，θ，Δｒを算出する（Ｓ２）。
【００５８】
次いで、カメラ１１０によって撮影されたカメラ視点Ｃの画像Ｐ０（図５）が、Ａ／Ｄ変換器１５０によりデジタル化された上で、画像処理部１３０のカメラ画像バッファ１３２に取り込まれる（Ｓ３）。
【００５９】
カメラ画像バッファ１３２の画像Ｐ０は車体変形装置１３４と周囲変形装置１３３とに入力され、車体変形装置１３４と周囲変形装置１３３とは、回動角度θに応じてＣＰＵ１３１により設定された分割境界線Ｌ（図６，７）にしたがい、画像Ｐ０を、車両２００の画像部分Ｐ２と車両２００以外の画像部分Ｐ１とに分割する（Ｓ４）。
【００６０】
車体変形装置１３４は、ＣＰＵ１３１により設定されたパラメータφ，ψ，θ，Δｒにしたがって、車両２００の画像部分Ｐ２を運転者視点Ｄの画像Ｐ４に視点変換処理（図９（ａ）→（ｂ））し（Ｓ５）、周囲変形装置１３３は、ＣＰＵ１３１により設定されたパラメータφ′，ψ′，θ，Δｒにしたがって、車両２００以外の画像部分Ｐ１を運転者視点Ｄの画像Ｐ３に視点変換処理（図８（ａ）→（ｂ））する（Ｓ６）。
【００６１】
次に、合成器１３５が、車体変形装置１３４により得られた運転車視点Ｄの画像Ｐ４と周囲変形装置１３３により得られた運転車視点Ｄの画像Ｐ３とを合成して合成画像Ｐ５（図１０）を生成する（Ｓ７）。
【００６２】
そして、得られた合成画像Ｐ５は、画像処理部１３０の合成器１３５から出力されてＤ／Ａ変換器１６０に入力され、アナログ信号に変換された上で、運転者の視認用として運転者に向けて車室内に設置されたモニタ１４０に入力され、合成画像Ｐ５は可視画像として視認可能にモニタ１４０に表示される（Ｓ８）。
【００６３】
以上のように、本実施形態に係る車両周囲監視装置１００によれば、カメラ１１０が、光軸以外の１軸回り（車幅方向に沿った軸回り）に回動可能に設置されているため、すなわち少なくとも前方と後方に向けた首振りが可能であるため、単一のカメラ１１０でありながら、前方側の画像も後方側の画像も得ることができ、車両の前後（車長）方向の広い範囲で利用が可能で、新たにカメラ等の装置を追加する必要がない。
【００６４】
また、画像処理部１３０は、カメラ視点Ｃの画像Ｐ０のうち、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とで相異なる処理条件による視点変換処理で、それぞれ運転者視点Ｄの画像Ｐ３，Ｐ４を得るため、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに対して、両者ともに最適な視点変換処理を施すことができる。
【００６５】
そして、そのような最適な視点変換処理がなされた画像をモニタ１４０に表示させることにより、運転者に対して、車両２００と車両以外の障害物等物体との位置関係を適正に判断させることができる。
【００６６】
また、運転者の瞬時の判断を容易にすることもできる。
【００６７】
さらに、車両２００以外の画像Ｐ３に合成する車両２００の画像Ｐ４を、従来のようにメモリに予め記憶された固定の画像を用いるのではなく、当該車両２００以外の画像部分Ｐ１を含むカメラ視点Ｃの元の画像Ｐ０に含まれている車両２００の画像部分Ｐ２を用いるため、画像処理部１３０を簡素化することができる。
【００６８】
本実施形態の車両周囲監視装置１００によれば、画像処理部３０は、カメラ視点Ｃの画像Ｐ０を、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに分割する分割部３１と、分割部３１により分割して得られた車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに対して、相異なる処理条件によりそれぞれ運転者視点の画像Ｐ３，Ｐ４に変換処理する視点変換処理部３２と、視点変換処理部３２より得られた２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した２つの運転者視点Ｄの画像Ｐ３，Ｐ４を単一の運転者視点Ｄの画像Ｐ５に合成する合成部３３とを備え、分割部３１は、車載サイドカメラ１０の回動角度θに応じて、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２との分割境界線Ｌを、変動させるため、カメラ１０の光軸が、鉛直面内で回動するもの（回動しても、分割境界線Ｌが不変）に限定されず、鉛直面から傾いた面内で回動するように設定されたカメラ（回動すると、分割境界線Ｌが変動）にも、本発明を適用することができる。
【００６９】
また、本実施形態の車両周囲監視装置１００（図１１）によれば、合成部３３は、２つの運転者視点Ｄの画像Ｐ３，Ｐ４のうち、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、車両２００以外の画像部分Ｐ１に対応した画像Ｐ３よりも、重み付けを小さくして合成処理する（図１１）ため、車両２００の画像Ｐ４によって、車両２００の周囲の画像Ｐ３が不明瞭になるのを防止することができるとともに、車両２００（画像Ｐ４）と障害物等物体（画像Ｐ３）との距離感の把握機能を確保することができる。
【００７０】
一方、本実施形態の車両周囲監視装置１００（図１０）によれば、合成部３３は、２つの運転者視点Ｄの画像Ｐ３，Ｐ４のうち、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、その輪郭線Ｋに変換して合成処理する（図１０）ため、車両２００の画像Ｐ４によって、車両２００の周囲の画像Ｐ３が不明瞭になるのを防止することができるとともに、車両２００（画像Ｐ４）と障害物等物体（画像Ｐ３）との距離感の把握機能を確保することができる。
【００７１】
また、本実施形態の車両周囲監視装置１００によれば、車載サイドカメラ１０の回動角度θを検出する角度センサ２０を備え、画像処理部３０は、角度センサ２０により得られた回動角度θに応じて、各視点変換処理や分割処理の処理条件を設定するため、常に、サイドカメラ１０の回動角度θに応じた適切な処理を実行することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示した車両周囲監視装置を、より具体的な構成に展開したブロック図である。
【図３】カメラの設置状態を示す、（ａ）側面模式図、（ｂ）平面模式図である。
【図４】カメラの回動角度を示す側面模式図である。
【図５】カメラ視点の画像の一例を示す図である。
【図６】車両以外の画像部分と車両の画像部分とに分割した様子を示す図である。
【図７】カメラの回動角度に応じた分割境界線の変動を示す図である。
【図８】（ａ）は車両以外の画像部分、（ｂ）は（ａ）に示した画像部分を運転者視点に変換処理した後の画像、をそれぞれ表す。
【図９】（ａ）は車両の画像部分、（ｂ）は（ａ）に示した画像部分を運転者視点に変換処理した後の画像、をそれぞれ表す。
【図１０】合成画像の一例を示す図である。
【図１１】合成画像の他の例を示す図である。
【図１２】図２に示した車両周囲監視装置の処理手順を示したフローチャートである。
【符号の説明】
【００７３】
１０ 車載サイドカメラ
２０ 角度センサ
３０ 画像処理部
３１ 分割部
３２ 視点変換部
３３ 合成部
４０ 表示部
１００ 車両周囲監装置
２００ 車両
Ｃ カメラ視点
Ｄ 運転者視点
θ サイドカメラの回動角度
Ｐ０ カメラ視点の画像
Ｐ１ カメラ視点の車両以外（周囲）の画像
Ｐ２ カメラ視点の車両（車体）の画像
Ｐ３ 運転者視点の車両以外（周囲）の画像
Ｐ４ 運転者視点の車両（車体）の画像
Ｐ５ 運転者視点の合成画像
【技術分野】
【０００１】
本発明は、車両周辺監視装置に関し、詳細には、助手席側の車載カメラにより得られた画像に基づいた車両周辺監視装置に関する。
【背景技術】
【０００２】
ナビゲーションシステムの普及により映像モニタを備えた車両が増えている。加えて、カメラの低価格化により、駐車支援をはじめとする、映像による安全運転支援システムが開発されている。
【０００３】
その代表的な例として、助手席側のサイドミラーに取り付けたカメラで得られた画像を用いて、運転者から死角となる車外の様子を補うシステムがある。このシステムは、一般的には、車両の前輪部周辺の様子をカメラで映し出すことで、脱輪を防止するのが主目的となっており、既に実用化もされている。
【０００４】
また、広角のカメラを車両後方に向けて設置し、サイドミラーの視野を補うシステムも提案されている。
【０００５】
しかし、このシステムにより得られる画像中における対象物までの距離は、運転者が視覚によって感覚的に把握する距離感とは異なっている。そして、この対象物までの距離感の相違は、運転者の感覚を混乱させることになり、その対象物が運転操作に影響を与える障害物である場合には、一層深刻なものとなる。
【０００６】
このシステムによりモニタに映し出された対象物までの距離に対する運転者の違和感は、システムにより得られる画像は車載カメラの設置位置に依存した画像（カメラ視点の画像）であり、運転者の視点によるものではないことに起因している。
【０００７】
そこで、カメラ視点の画像に画像処理を施して、運転者視点の画像に変換して表示するシステムが提案されている（特許文献１）。
【０００８】
しかし、広角カメラを使用したシステムでは、カメラ視点の画像に車両の一部が含まれると、当該の車両部分はカメラの設置位置と運転者視点との間に位置するため、運転者視点の画像に変換しても、その車両部分については、適正な変換処理が行われず、むしろ誤った変換となり、車両と障害物との位置関係に関して、運転者に間違った判断をさせることになる。
【０００９】
また、この問題を回避するために、車両の画像を予めメモリに格納しておき、カメラ視点の画像を運転者視点の画像に変換し、得られた運転者視点の画像に、メモリに格納された車両の画像を重ねて表示する手法が提案されている（特許文献２）。
【００１０】
これとは別の手法として、車外の車載カメラの他に車室内にカメラを設け、この車室内のカメラにより、車室内の画像を取り込む提案もある（特許文献３）。
【特許文献１】特開２００３−３３９０４４号公報
【特許文献２】特開２００５−１８４１４２号公報
【特許文献３】特開２００４−３５０３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献２に開示された提案を適用しようとすると、車両の前方から後方に亘る広角度の範囲で連続した膨大な数の車両の画像をメモリに予め記憶させておく必要があり、大きな容量のメモリを追加する必要がある。したがって、構成の複雑化と製造コストの上昇を招く。
【００１２】
一方、特許文献３に開示された提案を適用しようとすると、システムの構成として車室内に新たなカメラを設ける必要があり、構成の複雑化と製造コストの上昇を招くとともに、車両前方から車両後方の広い範囲に亘って、車外のカメラと車室内のカメラとを同期させて向きを変えるのは困難である。
【００１３】
また、従来のサイドミラー付近に設置されたこれらカメラは固定式であり、設置位置近くの前輪付近や車両後方のうちいずれか一方の専用用途とされているため、両方を映し出すためには独立した２つのカメラが必要である。
【００１４】
本発明は上記事情に鑑みなされたものであり、車両のサイドミラー近傍に設置されたカメラにより、新たにカメラやメモリ等の装置を追加することなく、前方側の画像も後方側の画像も得ることができるとともに、車両部分について適正な変換処理がなされる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る車両周辺監視装置は、車両の助手席側（右ハンドル車の場合は左側、左ハンドル車の場合は右側）のサイドカメラを可動式にして車両前方部分および後方部分の両方を選択的に撮影するとともに、車載サイドカメラで得られた画像のうち、車両が映っている画像部分（車両の画像部分）と車両が映っていない画像部分（車両以外の画像部分）とで視点変換の処理条件に差異を与えることで、新たにカメラ等の装置を追加することなく、前方側の画像も後方側の画像も得るとともに、車両部分について適正な変換処理がなされるようにしたものである。
【００１６】
すなわち、本発明に係る車両周辺監視装置は、車両の助手席側のサイドミラーまたはその近傍に設置された車載サイドカメラと、前記車載サイドカメラで撮影して得られたカメラ視点の画像に対して、運転者の視点から見たと仮定した場合の運転者視点の画像に変換する画像処理部と、前記車両の車室内に設置され、前記画像処理部により得られた前記運転者視点の画像を表示する表示部とを備え、前記車載サイドカメラは、その光軸以外の少なくとも１軸回りに回動可能に設置され、前記画像処理部は、前記カメラ視点の画像のうち、前記車両以外の画像部分と前記車両の画像部分とで相異なる処理条件による変換処理で前記運転者視点の画像を得るとともに、前記２つの画像部分にそれぞれ対応した各前記処理条件は、前記車載サイドカメラの回動角度に応じて変化されることを特徴とする。
【００１７】
このように構成された車両周辺監視装置によれば、車両の助手席側のサイドミラーまたはその近傍に設置された車載サイドカメラによって撮影して得られたカメラ視点の画像は、画像処理部により、運転者の視点から見たと仮定した場合の運転者視点の画像に変換され、この運転者視点の画像は、車室内に設置された表示部に表示される。
【００１８】
ここで、車載サイドカメラは、その光軸以外の少なくとも１軸回りに回動可能に設置されているため、すなわち少なくとも前方と後方に向けた首振りが可能であるため、単一のカメラでありながら、前方側の画像も後方側の画像も得ることができ、車両の前後（車長）方向の広い範囲で利用が可能で、新たにカメラ等の装置を追加する必要がない。
【００１９】
また、画像処理部は、カメラ視点の画像のうち、車両以外の画像部分と車両の画像部分とで相異なる処理条件による変換処理で、それぞれ運転者視点の画像を得るため、車両以外の画像部分と車両の画像部分とに対して、それぞれ適正な視点変換処理を施すことができる。
【００２０】
そして、そのような適正な視点変換処理がなされた画像を表示部に表示させることにより、運転者に対して、車両と障害物等物体との位置関係を適正に判断させることができる。また、運転者の瞬時の判断を容易にすることもできる。
【００２１】
さらに、車両以外の画像部分に合成する車両の画像を、従来のようにメモリに予め記憶された固定の画像を用いるのではなく、当該車両以外の画像部分を含むカメラ視点の画像に含まれている車両の画像部分を用いるため、当該車両の画像データを大量に記憶しておくメモリが必要がなく、画像処理部の構成を簡素化することができる。
【００２２】
なお、カメラ視点の画像に含まれている車両の画像部分を用いて、車両の画像データを得る必要があるため、画像処理の手順を追加する必要があるが、この追加の画像処理はソフトウェアで処理することで、コストへの影響を少なくすることができる。
【００２３】
また、車両の画像データを予め取得する必要がないため、車両の形状が異なる多数の車種に適用する場合にも、車種ごとに車両の画像データを逐一取得しておく必要がなく、コストを大幅に上昇させることなく、多様な車種への適用を容易にすることができる。
【発明の効果】
【００２４】
本発明に係る車両周辺監視装置によれば、新たにカメラ等の装置を追加することなく、前方側の画像も後方側の画像も得ることができ、しかも、運転者に対して、車両と障害物等物体との位置関係を適正に判断させることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明に係る車両周辺監視装置の実施形態について、図面を用いて説明する。
【００２６】
図１は、本発明の一実施形態に係る車両周辺監視装置１００の構成を示すブロック図である。
【００２７】
図示の車両周辺監視装置１００は、図１に示すように、車両２００の助手席側のサイドミラー２１０またはその近傍に設置された車載サイドカメラ１０と、この車載サイドカメラ１０で撮影して得られたカメラ視点Ｃの画像Ｐ０に対して、運転者３００の視点Ｄから見たと仮定した場合の運転者視点Ｄの画像Ｐ５に変換する画像処理部３０と、車両２００の車室内に設置され、画像処理部３０により得られた運転者視点Ｄの画像Ｐ５を表示する表示部４０とを備え、車載サイドカメラ１０は、回動機構により、その光軸以外の少なくとも１軸（本実施形態では光軸と直交しない軸）回りに、手動または自動（電動等）で回動可能に設置され、画像処理部３０は、カメラ視点Ｃの画像Ｐ０のうち、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とで相異なる処理条件による変換処理で運転者視点Ｄの画像Ｐ３，Ｐ４を得るとともに、これら２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した視点変換の変換処理パラメータ（処理条件）は、車載サイドカメラ１０の回動角度θに応じて変化されるように構成されている。
【００２８】
さらに、車載サイドカメラ１０を回動可能に支持する回動機構の近傍には、当該車載サイドカメラ１０の回動角度θを検出する角度センサ２０が設けられており、この角度センサ２０が検出したカメラ１０の回転角度θは、画像処理部３０に入力され、画像処理部３０は、角度センサ２０から入力された回動角度θに応じて、上述した運転者視点Ｄの画像に変換する各処理条件を設定する。
【００２９】
また、画像処理部３０は、カメラ視点Ｃの画像Ｐ０を、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに分割する分割部３１と、分割部３１により分割して得られた車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに対して、相異なる処理条件によりそれぞれ運転者視点Ｄの画像Ｐ３，Ｐ４に変換処理する視点変換処理部３２と、視点変換処理部３２より得られた、２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した２つの運転者視点Ｄの画像Ｐ３，Ｐ４を単一の運転者視点Ｄの画像Ｐ５に合成する合成部３３とを備え、分割部３１は、車載サイドカメラ１０の回動角度θに応じて、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２との分割境界線Ｌを、変動させる。
【００３０】
なお、分割境界線Ｌは、分割位置を示す概念的な境界線を、理解の容易のために可視的に表示したに過ぎず、この分割境界線Ｌ自体を生成しなくてもよく、データ上において、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とを区画し得るような識別が可能であれば、そのような識別を分割境界線Ｌの代用とすることもできる。
【００３１】
合成部３３は、２つの運転者視点Ｄの画像Ｐ３，Ｐ４のうち、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、その輪郭線Ｋに変換して、車両２００以外の画像部分Ｐ３と合成処理する。
【００３２】
図２は、図１に示した車両周囲監視装置１００を、より具体的な構成に展開したブロック図であり、カメラ１１０は車載サイドカメラ１０に、角度センサ１２０は角度センサ２０に、ＣＰＵ１３１、カメラ画像バッファ１３２、車体変形装置１３４、周囲変形装置１３３および合成器１３５が画像処理部３０に、モニタ１４０が表示部４０に、それぞれ対応している。
【００３３】
また、ＣＰＵ１３１、カメラ画像バッファ１３２、車体変形装置１３４および周囲変形装置１３３は分割部３１に、ＣＰＵ１３１、車体変形装置１３４および周囲変形装置１３３は視点変換処理部３２に、合成器１３５は合成部３３に、それぞれ対応している。
【００３４】
なお、Ａ／Ｄ変換器１５０は、車載カメラ１０の一部を構成するものであっても、画像処理部３０の一部を構成するものであってもよい。同様に、Ｄ／Ａ変換器１６０は、表示部４０の一部を構成するものであっても、画像処理部３０の一部を構成するものであってもよい。
【００３５】
ここで、カメラ１１０は、図３（ａ）の側面模式図および同図（ｂ）の平面模式図に示すように、車両２００の助手席側のサイドミラー２１０の近傍に設けられ、図３においては、車両２００の外側で、前下方の観測点ＶＰを向いた姿勢となっている。
【００３６】
なお、本実施形態は、車両２００が右ハンドル車である例であるため、運転者３００は右側、カメラ１１０（車載サイドカメラ１０）は左側、にそれぞれ配置されるが、左ハンドル車の場合には、この実施形態の表示とは左右が対称の位置関係となり、運転者３００は左側、カメラ１１０（車載サイドカメラ１０）は右側に配置され、以下の各図においても同様に、左右対称の配置となることは言うまでもない。
【００３７】
カメラ１１０は、図４の側面模式図に示すように、概略車幅方向に沿った軸を回動中心として、車両２００の前下方から助手席外側下方、後下方に亘って回動可能であり、その回動角度θは、カメラ１１０の光軸が車両の前方水平方向を向いた基準位置からの角度によって規定されている。
【００３８】
分割部３１は、カメラ１１０から得られたカメラ視点Ｃの画像Ｐ０が例えば図５に示すものであるとき、図６に示すように、このカメラ視点Ｃの画像Ｐ０を、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに分割する。
【００３９】
具体的には、カメラ１１０によって撮影され、Ａ／Ｄ変換器１５０によりデジタル化された画像Ｐ０は、カメラ画像バッファ１３２に一旦記憶され、周囲変形装置１３３と車体変形装置１３４とにそれぞれ入力され、ＣＰＵ１３１からの命令により、周囲変形装置１３３が、カメラ視点の画像Ｐ０のうち車両２００以外の画像部分Ｐ１を抽出し、車体変形装置１３４が、カメラ視点の画像Ｐ０のうち車両２００の画像部分Ｐ２を抽出することで、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２との分割を行う。
【００４０】
分割境界線Ｌは、車両２００の輪郭線を画像処理により検出するなどして、車両の画像部分だけを正確に抽出することで決定してもよいが、処理時間が無用に長くなったり、そこまでの過剰な検出精度は不要である、等の理由により、実験的なデータに基づいて予め設定されている。
【００４１】
ここで、カメラ１１０は可動であり、しかも、カメラ１１０は、車両２００の外側の観察点ＶＰ周辺を広く撮影するために、その光軸の向きが車幅方向の若干外側に向いて設定されている（カメラの光軸と、車両前後方向の軸および車両の高さ方向の軸を含む鉛直面との交差角度は一定（例えば１０°程度）であるとする。）ことから、カメラ１１０がその回動軸回りに回動すると、カメラ１１０の光軸の軌跡は、円錐形状の母線の回転軌跡によって形成される円錐形状の斜面と同様の軌跡となり、回動角度θに応じて、分割境界線Ｌは変動する。
【００４２】
つまり、角度センサ１２０によって検出された回動角度θに応じて、ＣＰＵ１３１が、予め設定されている分割境界線Ｌを、図７に示すように適宜変動させる。
【００４３】
ここで、θ１＜θ２＜θ３であり、θ１はカメラ１１０が車両２００の前方の略水平方向に向いた状態に対応する回動角度であり、θ３はカメラ１１０が略真下方向に向いた状態に対応する回動角度である。
【００４４】
なお、回動角度θが９０°（≒θ３）を超えると、カメラ視点Ｃの画像Ｐ０は上下が逆転するため、この上下の逆転を補正するために、画像Ｐ０を１８０°回転するものとし、図７においても１８０°回転して表示している。
【００４５】
つまり、回動角度θ３′は回動角度θ３と略等しく、カメラ１１０が略真下方向に向いた状態に対応する回動角度であり、θ５はカメラ１１０が車両２００の後方の略水平方向に向いた状態に対応する回動角度である（θ３′＜θ４＜θ５）。
【００４６】
視点変換処理部３２としての周囲変形装置１３３は、車両２００以外の画像部分Ｐ１（図８（ａ））に対して、運転者視点Ｄの画像Ｐ３（図８（ｂ））に変換処理し、視点変換処理部３２としての車体変形装置１３４は、車両２００の画像部分Ｐ２（図９（ａ））に対して、運転者視点Ｄの画像Ｐ４（図９（ｂ））に変換処理する。
【００４７】
この視点変換の処理は、国際公開第００／０７３７３号パンフレット等を始め、既に知られているように、観測点ＶＰにおける、カメラ視点Ｃへの向きから、運転者視点Ｄへの向きに至る、空間の２軸回りの回転角度φ（鉛直軸回りの回転角度），ψ（車幅方向に沿った軸回りの回転角度）および観測点ＶＰからカメラ視点Ｃまでの距離と観測点ＶＰから運転者視点Ｄまでの距離との差Δｒ（既知の値）を用いて、行うことができる。
【００４８】
本実施形態の車両周辺監視装置１００の周囲変形装置１３３は、これらの変数φ，ψ，Δｒに、新たなパラメータであるカメラ１１０の回動角度θを加えた演算により、車両２００以外の画像部分Ｐ１についての、運転者視点Ｄの画像Ｐ３を得る。
【００４９】
同様に、車体変形装置１３４は、上述した変数φに対応する変数φ′、変数ψに対応する変数ψ′および変数Δｒに、新たなパラメータであるカメラ１１０の回動角度θを加えた演算により、車両２００の画像部分Ｐ２についての、運転者視点Ｄの画像Ｐ４を得る。
【００５０】
なお、パラメータφ′，ψ′は、上述したパラメータφ，ψとそれぞれ異なる値に設定されているため、車両２００の画像部分Ｐ２についての運転者視点Ｄの画像Ｐ４は、車両２００以外の画像部分Ｐ１についての運転者視点Ｄの画像Ｐ３とは異なる処理条件で、視点変換処理がなされたことになる。
【００５１】
また、上述した各パラメータφ，φ′，ψ，ψ′，θ，Δｒは、角度センサ１２０により検出されたカメラ１１０の回動角度ΔθがＣＰＵ１３１に入力された後、ＣＰＵ１３１が算出して、周囲変形装置１３３および車体変形装置１３４に出力される。
【００５２】
合成器１３５は、周囲変形装置１３３により得られた運転者視点Ｄの画像Ｐ３（図８（ｂ））と車体変形装置１３４により得られた運転者視点Ｄの画像Ｐ４（図９（ｂ））とを、画素（位置）を対応させて合成処理する。
【００５３】
合成器１３５による合成処理は、前述したように、運転者視点Ｄの画像Ｐ４を、まず車両２００の輪郭線Ｋ（図１０において破線で示す）に変換して、この輪郭線Ｋを、運転者視点Ｄの画像Ｐ３に重畳している。ここで、図１０中の「車両周辺を直接ご確認下さい」のメッセージＭは、運転者の注意を喚起することを目的として付加的にインポーズされているに過ぎず、省略してもよいし、他のメッセージＭを追加合成してもよい。
【００５４】
なお、合成器１３５による合成処理としては、上述した車両２００の輪郭線Ｋを用いるのに代えて、図１１に示すように、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、車両２００以外の画像部分Ｐ１に対応した画像Ｐ３よりも、重み付けを小さくして、加算演算してもよい。この場合、周囲の画像Ｐ３に、車両２００の画像Ｐ４が、薄く重なって視認できる程度であればよい。
【００５５】
輪郭線Ｋを重畳して合成（インポーズ）し、または重み付けを小さくした加算演算をして合成するのは、車両２００の画像Ｐ４よりも、車両２００の周囲の画像Ｐ３を明瞭に表示させることが重要であり、車両２００の画像Ｐ４は、周囲の障害物との距離感を得るための補助的なものであることによる。
【００５６】
次に、本発明の実施形態に係る車両周囲監視装置１００の作用について、図１２に示したフローチャートを参照して説明する。
【００５７】
まず、角度センサ１２０がカメラ１１０の回動角度θ（図４）を検出し（Ｓ１）、検出された回動角度θは画像処理部１３０のＣＰＵ１３１に入力され、ＣＰＵ１３１は、視点変換のパラメータφ，φ′，ψ，ψ′，θ，Δｒを算出する（Ｓ２）。
【００５８】
次いで、カメラ１１０によって撮影されたカメラ視点Ｃの画像Ｐ０（図５）が、Ａ／Ｄ変換器１５０によりデジタル化された上で、画像処理部１３０のカメラ画像バッファ１３２に取り込まれる（Ｓ３）。
【００５９】
カメラ画像バッファ１３２の画像Ｐ０は車体変形装置１３４と周囲変形装置１３３とに入力され、車体変形装置１３４と周囲変形装置１３３とは、回動角度θに応じてＣＰＵ１３１により設定された分割境界線Ｌ（図６，７）にしたがい、画像Ｐ０を、車両２００の画像部分Ｐ２と車両２００以外の画像部分Ｐ１とに分割する（Ｓ４）。
【００６０】
車体変形装置１３４は、ＣＰＵ１３１により設定されたパラメータφ，ψ，θ，Δｒにしたがって、車両２００の画像部分Ｐ２を運転者視点Ｄの画像Ｐ４に視点変換処理（図９（ａ）→（ｂ））し（Ｓ５）、周囲変形装置１３３は、ＣＰＵ１３１により設定されたパラメータφ′，ψ′，θ，Δｒにしたがって、車両２００以外の画像部分Ｐ１を運転者視点Ｄの画像Ｐ３に視点変換処理（図８（ａ）→（ｂ））する（Ｓ６）。
【００６１】
次に、合成器１３５が、車体変形装置１３４により得られた運転車視点Ｄの画像Ｐ４と周囲変形装置１３３により得られた運転車視点Ｄの画像Ｐ３とを合成して合成画像Ｐ５（図１０）を生成する（Ｓ７）。
【００６２】
そして、得られた合成画像Ｐ５は、画像処理部１３０の合成器１３５から出力されてＤ／Ａ変換器１６０に入力され、アナログ信号に変換された上で、運転者の視認用として運転者に向けて車室内に設置されたモニタ１４０に入力され、合成画像Ｐ５は可視画像として視認可能にモニタ１４０に表示される（Ｓ８）。
【００６３】
以上のように、本実施形態に係る車両周囲監視装置１００によれば、カメラ１１０が、光軸以外の１軸回り（車幅方向に沿った軸回り）に回動可能に設置されているため、すなわち少なくとも前方と後方に向けた首振りが可能であるため、単一のカメラ１１０でありながら、前方側の画像も後方側の画像も得ることができ、車両の前後（車長）方向の広い範囲で利用が可能で、新たにカメラ等の装置を追加する必要がない。
【００６４】
また、画像処理部１３０は、カメラ視点Ｃの画像Ｐ０のうち、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とで相異なる処理条件による視点変換処理で、それぞれ運転者視点Ｄの画像Ｐ３，Ｐ４を得るため、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに対して、両者ともに最適な視点変換処理を施すことができる。
【００６５】
そして、そのような最適な視点変換処理がなされた画像をモニタ１４０に表示させることにより、運転者に対して、車両２００と車両以外の障害物等物体との位置関係を適正に判断させることができる。
【００６６】
また、運転者の瞬時の判断を容易にすることもできる。
【００６７】
さらに、車両２００以外の画像Ｐ３に合成する車両２００の画像Ｐ４を、従来のようにメモリに予め記憶された固定の画像を用いるのではなく、当該車両２００以外の画像部分Ｐ１を含むカメラ視点Ｃの元の画像Ｐ０に含まれている車両２００の画像部分Ｐ２を用いるため、画像処理部１３０を簡素化することができる。
【００６８】
本実施形態の車両周囲監視装置１００によれば、画像処理部３０は、カメラ視点Ｃの画像Ｐ０を、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに分割する分割部３１と、分割部３１により分割して得られた車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２とに対して、相異なる処理条件によりそれぞれ運転者視点の画像Ｐ３，Ｐ４に変換処理する視点変換処理部３２と、視点変換処理部３２より得られた２つの画像部分Ｐ１，Ｐ２にそれぞれ対応した２つの運転者視点Ｄの画像Ｐ３，Ｐ４を単一の運転者視点Ｄの画像Ｐ５に合成する合成部３３とを備え、分割部３１は、車載サイドカメラ１０の回動角度θに応じて、車両２００以外の画像部分Ｐ１と車両２００の画像部分Ｐ２との分割境界線Ｌを、変動させるため、カメラ１０の光軸が、鉛直面内で回動するもの（回動しても、分割境界線Ｌが不変）に限定されず、鉛直面から傾いた面内で回動するように設定されたカメラ（回動すると、分割境界線Ｌが変動）にも、本発明を適用することができる。
【００６９】
また、本実施形態の車両周囲監視装置１００（図１１）によれば、合成部３３は、２つの運転者視点Ｄの画像Ｐ３，Ｐ４のうち、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、車両２００以外の画像部分Ｐ１に対応した画像Ｐ３よりも、重み付けを小さくして合成処理する（図１１）ため、車両２００の画像Ｐ４によって、車両２００の周囲の画像Ｐ３が不明瞭になるのを防止することができるとともに、車両２００（画像Ｐ４）と障害物等物体（画像Ｐ３）との距離感の把握機能を確保することができる。
【００７０】
一方、本実施形態の車両周囲監視装置１００（図１０）によれば、合成部３３は、２つの運転者視点Ｄの画像Ｐ３，Ｐ４のうち、車両２００の画像部分Ｐ２に対応した画像Ｐ４を、その輪郭線Ｋに変換して合成処理する（図１０）ため、車両２００の画像Ｐ４によって、車両２００の周囲の画像Ｐ３が不明瞭になるのを防止することができるとともに、車両２００（画像Ｐ４）と障害物等物体（画像Ｐ３）との距離感の把握機能を確保することができる。
【００７１】
また、本実施形態の車両周囲監視装置１００によれば、車載サイドカメラ１０の回動角度θを検出する角度センサ２０を備え、画像処理部３０は、角度センサ２０により得られた回動角度θに応じて、各視点変換処理や分割処理の処理条件を設定するため、常に、サイドカメラ１０の回動角度θに応じた適切な処理を実行することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示した車両周囲監視装置を、より具体的な構成に展開したブロック図である。
【図３】カメラの設置状態を示す、（ａ）側面模式図、（ｂ）平面模式図である。
【図４】カメラの回動角度を示す側面模式図である。
【図５】カメラ視点の画像の一例を示す図である。
【図６】車両以外の画像部分と車両の画像部分とに分割した様子を示す図である。
【図７】カメラの回動角度に応じた分割境界線の変動を示す図である。
【図８】（ａ）は車両以外の画像部分、（ｂ）は（ａ）に示した画像部分を運転者視点に変換処理した後の画像、をそれぞれ表す。
【図９】（ａ）は車両の画像部分、（ｂ）は（ａ）に示した画像部分を運転者視点に変換処理した後の画像、をそれぞれ表す。
【図１０】合成画像の一例を示す図である。
【図１１】合成画像の他の例を示す図である。
【図１２】図２に示した車両周囲監視装置の処理手順を示したフローチャートである。
【符号の説明】
【００７３】
１０ 車載サイドカメラ
２０ 角度センサ
３０ 画像処理部
３１ 分割部
３２ 視点変換部
３３ 合成部
４０ 表示部
１００ 車両周囲監装置
２００ 車両
Ｃ カメラ視点
Ｄ 運転者視点
θ サイドカメラの回動角度
Ｐ０ カメラ視点の画像
Ｐ１ カメラ視点の車両以外（周囲）の画像
Ｐ２ カメラ視点の車両（車体）の画像
Ｐ３ 運転者視点の車両以外（周囲）の画像
Ｐ４ 運転者視点の車両（車体）の画像
Ｐ５ 運転者視点の合成画像
【特許請求の範囲】
【請求項１】
車両の助手席側のサイドミラーまたはその近傍に設置された車載サイドカメラと、
前記車載サイドカメラで撮影して得られたカメラ視点の画像に対して、運転者の視点から見たと仮定した場合の運転者視点の画像に変換する画像処理部と、
前記車両の車室内に設置され、前記画像処理部により得られた前記運転者視点の画像を表示する表示部とを備え、
前記車載サイドカメラは、その光軸以外の少なくとも１軸回りに回動可能に設置され、
前記画像処理部は、前記カメラ視点の画像のうち、前記車両以外の画像部分と前記車両の画像部分とで相異なる処理条件による変換処理で前記運転者視点の画像を得るとともに、前記２つの画像部分にそれぞれ対応した各前記処理条件は、前記車載サイドカメラの回動角度に応じて変化されることを特徴とする車両周辺監視装置。
【請求項２】
前記画像処理部は、前記カメラ視点の画像を、前記車両以外の画像部分と前記車両の画像部分とに分割する分割部と、前記分割部により分割して得られた前記車両以外の画像部分と前記車両の画像部分とに対して、前記相異なる処理条件によりそれぞれ前記運転者視点の画像に変換処理する視点変換処理部と、前記視点変換処理部より得られた前記２つの画像部分にそれぞれ対応した２つの前記運転者視点の画像を単一の運転者視点の画像に合成する合成部とを備え、
前記分割部は、前記車載サイドカメラの回動角度に応じて、前記車両以外の画像部分と前記車両の画像部分との分割境界線を、変動させることを特徴とする請求項１に記載の車両周囲監視装置。
【請求項３】
前記合成部は、前記２つの運転者視点の画像のうち、前記車両の画像部分に対応した画像を、前記車両以外の画像部分に対応した画像よりも、重み付けを小さくして合成処理することを特徴とする請求項２に記載の車両周囲監視装置。
【請求項４】
前記合成部は、前記２つの運転者視点の画像のうち、前記車両の画像部分に対応した画像を、その輪郭線に変換して、合成処理することを特徴とする請求項２に記載の車両周囲監視装置。
【請求項５】
前記車載サイドカメラの回動角度を検出する角度センサを備え、
前記画像処理部は、前記角度センサにより得られた前記回動角度に応じて、前記各処理条件を設定することを特徴とする請求項１から４のうちいずれか１項に記載の車両周囲監視装置。
【請求項１】
車両の助手席側のサイドミラーまたはその近傍に設置された車載サイドカメラと、
前記車載サイドカメラで撮影して得られたカメラ視点の画像に対して、運転者の視点から見たと仮定した場合の運転者視点の画像に変換する画像処理部と、
前記車両の車室内に設置され、前記画像処理部により得られた前記運転者視点の画像を表示する表示部とを備え、
前記車載サイドカメラは、その光軸以外の少なくとも１軸回りに回動可能に設置され、
前記画像処理部は、前記カメラ視点の画像のうち、前記車両以外の画像部分と前記車両の画像部分とで相異なる処理条件による変換処理で前記運転者視点の画像を得るとともに、前記２つの画像部分にそれぞれ対応した各前記処理条件は、前記車載サイドカメラの回動角度に応じて変化されることを特徴とする車両周辺監視装置。
【請求項２】
前記画像処理部は、前記カメラ視点の画像を、前記車両以外の画像部分と前記車両の画像部分とに分割する分割部と、前記分割部により分割して得られた前記車両以外の画像部分と前記車両の画像部分とに対して、前記相異なる処理条件によりそれぞれ前記運転者視点の画像に変換処理する視点変換処理部と、前記視点変換処理部より得られた前記２つの画像部分にそれぞれ対応した２つの前記運転者視点の画像を単一の運転者視点の画像に合成する合成部とを備え、
前記分割部は、前記車載サイドカメラの回動角度に応じて、前記車両以外の画像部分と前記車両の画像部分との分割境界線を、変動させることを特徴とする請求項１に記載の車両周囲監視装置。
【請求項３】
前記合成部は、前記２つの運転者視点の画像のうち、前記車両の画像部分に対応した画像を、前記車両以外の画像部分に対応した画像よりも、重み付けを小さくして合成処理することを特徴とする請求項２に記載の車両周囲監視装置。
【請求項４】
前記合成部は、前記２つの運転者視点の画像のうち、前記車両の画像部分に対応した画像を、その輪郭線に変換して、合成処理することを特徴とする請求項２に記載の車両周囲監視装置。
【請求項５】
前記車載サイドカメラの回動角度を検出する角度センサを備え、
前記画像処理部は、前記角度センサにより得られた前記回動角度に応じて、前記各処理条件を設定することを特徴とする請求項１から４のうちいずれか１項に記載の車両周囲監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−８５６９１（Ｐ２００８−８５６９１Ａ）
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願番号】特願２００６−２６３７６４（Ｐ２００６−２６３７６４）
【出願日】平成１８年９月２８日（２００６．９．２８）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願日】平成１８年９月２８日（２００６．９．２８）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]