車両周辺撮影装置および車両周辺画像の処理方法
【課題】高精度に車両周辺の障害物を検出することができる車両周辺撮影技術を提供する。
【解決手段】車両の周辺の情景を撮影する第１カメラと、第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラと、が車両に搭載されている。第１カメラと第２カメラとの一方を主カメラとするとともに他方を副カメラとし、主カメラにより撮影された画像を主撮影画像とするとともに副カメラにより撮影された画像を副撮影画像とする。視点変換部１３は、副撮影画像を主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する。画像差分部１４は、比較情報として主撮影画像と視点変換画像との差分画像を生成する。
【解決手段】車両の周辺の情景を撮影する第１カメラと、第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラと、が車両に搭載されている。第１カメラと第２カメラとの一方を主カメラとするとともに他方を副カメラとし、主カメラにより撮影された画像を主撮影画像とするとともに副カメラにより撮影された画像を副撮影画像とする。視点変換部１３は、副撮影画像を主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する。画像差分部１４は、比較情報として主撮影画像と視点変換画像との差分画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の画像を撮影する技術、特に、撮影領域の一部が互いに重複するように車両に搭載された複数のカメラにより車両の周辺の情景を撮影する車両周辺撮影装置および、前記のカメラにより撮影された車両周辺画像の処理方法に関する。
【背景技術】
【０００２】
近年、周辺の情景を撮影するカメラを搭載された車両が実用化されている。このような車両では、カメラにより撮影された画像を車室内に設けられたディスプレイに表示することにより、運転者は車両の周辺の障害物等を確認することができる。
【０００３】
障害物等の存在をより運転者に認知させるために、画像から障害物を検出する技術が提案されている。例えば、特許文献１から３の技術では、撮影範囲が部分的に重複する複数台の撮像装置によって撮像された画像を仮想視点から見た鳥瞰図画像に変換し、それぞれの鳥瞰図画像間の差分を求めることにより、差分領域（障害物が存在する領域）を検出している。
【０００４】
特許文献１の技術では、鳥瞰図画像を合成する際に、上述のようにして検出された差分領域に対しては一の鳥瞰図画像の画素値を用いることにより、合成された鳥瞰図画像において障害物の二重表示、および、障害物の消失を防止している。
【０００５】
一方、特許文献２の技術では、上述のようにして検出された差分領域に基づいて、障害物をよりよく撮影しているカメラを選択し、鳥瞰図画像を合成する際に、その選択されたカメラの鳥瞰図画像を優先的に使用している。これにより、運転者が障害物を視認しやすい鳥瞰図画像を合成することができる。
【０００６】
他方、特許文献３の技術では、障害物が存在する差分領域を他の領域と区別するように表示することにより、運転者が障害物を視認しやすくしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−０４８３１７号公報
【特許文献２】特開２００８−０４８３４５号公報
【特許文献３】特開２００８−０８５７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、特許文献１から３の技術では、撮影範囲が重複する撮像装置によって撮影された画像を鳥瞰図画像に変換し、それらを差分処理することにより障害物を検知している。しかしながら、鳥瞰図画像を生成するためには補間処理等が必要であり、補間処理がなされた領域では鮮鋭度が低下する等の画像劣化が生じる。そのため、鳥瞰図画像間の差分を算出すると、劣化した画像間で差分を算出することとなり、障害物の検出精度が低下するおそれがある。
【０００９】
本発明は上記課題に鑑みてなされたものであり、その目的は、高精度に車両周辺の障害物を検出することができる車両周辺撮影技術を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の車両周辺撮影装置は、車両に搭載され、当該車両の周辺の情景を撮影する第１カメラと、前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラと、前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された画像を主撮影画像とするとともに当該副カメラにより撮影された画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、前記主撮影画像と前記視点変換画像とを比較した比較情報を生成する画像情報比較部、とを備えている。
【００１１】
この構成では、撮影範囲の一部が重複する第１カメラと第２カメラとにより車両周辺の情景が撮影される。そのため、重複した撮影範囲に障害物があれば、これらの画像を同じカメラの視点位置から撮影された画像に視点変換し、それらを比較することにより生成した比較情報（例えば、差分画像）を生成すると、障害物はそのような差分画像中で優位な画素値を有する領域として表される。上述したように、特許文献１から３では、両方の画像を、車両上方に光軸が鉛直下向きに設定された仮想的なカメラにより撮影された画像に視点変換し、それらの画像の差分を算出していた。これに対して、本発明では、一方の画像（主撮影画像）は視点変換を行わずに、他方の画像（副撮影画像）のみを主撮影画像を撮影したカメラ（主カメラ）の視点から撮影した画像に視点変換し、それらの比較を行っている。そのため、視点変換による歪は副撮影画像にのみ生じ、歪による障害物検出精度の低下を抑制することができる。
【００１２】
本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記主撮影画像からエッジを抽出したエッジ画像を生成するエッジ抽出部と、前記比較情報としての差分画像と前記エッジ画像との画素値に論理積を施した積画像を生成し、当該積画像を出力画像として出力する積画像生成部と、を備えている。
【００１３】
この構成では、視点変換が施されない主撮影画像からエッジを抽出したエッジ画像を生成し、そのエッジ画像と比較情報としての差分画像との論理積を施した積画像を生成している。そのため、積画像中で優位な画素値（真値）を有する領域は、差分画像中で優位な画素値を有する領域であり、主撮影画像中で明確なエッジを有している領域の輪郭となる。すなわち、この構成では、差分画像により検出することができる障害物の領域をエッジという情報により検証を行っている。これにより、障害物の検出精度を向上させることができる。
【００１４】
本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記主撮影画像を領域分割する領域分割部と、前記領域分割された各々の領域と前記積画像において真値を有する領域との類似性に基づいて障害物の領域を抽出した障害物画像を生成し、前記積画像に代えて当該障害物画像を前記出力画像として出力する障害物画像生成部と、を備えている。
【００１５】
上述したように、積画像において優位な値（真値）を有している領域は障害物の輪郭である。本構成では、この障害物の輪郭領域と主撮影画像中の領域分割された領域との類似性に基づいて、障害物の領域を抽出している。すなわち、本構成では、積画像に含まれる障害物の輪郭である可能性のある領域に対して、領域分割結果の領域の特徴量という情報により検証を行っている。これにより、障害物の検出精度を向上させることができる。
【００１６】
本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記第１カメラを前記主カメラとして前記出力画像を第１出力画像として生成するとともに、前記第２カメラを前記主カメラとして前記出力画像を第２出力画像として生成し、前記第１出力画像と前記第２出力画像とに基づいて障害物を示す画素を所定の画素値に設定した画像を出力画像として出力する。
【００１７】
この構成では、視点変換されない第１カメラにより撮影された画像と視点変換された第２カメラにより撮影された画像とに基づいて上記処理により得られる第１出力画像と、視点変換された第１カメラにより撮影された画像と視点変換されない第２カメラにより撮影された画像とに基づいて上記処理により得られる第２出力画像と、を統合した画像を出力画像としている。すなわち、この構成では、主撮影画像と副撮影画像とを入れ換えた２つの処理結果を統合して出力画像とすることにより、出力画像に含まれる障害物の領域をダブルチェックしている。これにより、視点変換により生じる歪に起因する障害物の誤検出を低減し、障害物の検出精度を向上させることができる。
【００１８】
また、上記課題を解決するため、本発明の車両周辺画像の処理方法は、車両に搭載され、当該車両の周辺の情景を撮影する第１カメラから撮影画像を取得するステップと、前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラから撮影画像を取得するステップと、前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された前記撮影画像を主撮影画像とするとともに当該副カメラにより撮影された前記撮影画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成するステップと、前記主撮影画像と前記視点変換画像とを比較した比較情報を生成するステップと、を備えている。当然ながら、このような車両周辺画像の処理方法にも、上述した車両周辺画像撮影装置の付加的特徴を適用することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の車両周辺撮影装置を搭載した車両の平面図である。
【図２】実施例１における車両周辺撮影装置の機能ブロック図である。
【図３】実施例１における車両周辺撮影装置の処理の流れを表すフローチャートである。
【図４】画像間差分の処理の流れを表すフローチャートである。
【図５】フロントカメラの撮影画像と左サイドカメラの撮影画像をフロントカメラの視点位置から撮影した画像に視点変換した視点変換画像の例である。
【図６】第１画像と第２画像の視点変換画像との差分画像の例である。
【図７】実施例１における表示画像の例である。
【図８】実施例２における車両周辺撮影装置の機能ブロック図である。
【図９】実施例２における車両周辺撮影装置の処理の流れを表すフローチャートである。
【図１０】第１画像のエッジ画像と図６の差分画像とから生成した積画像の例である。
【図１１】実施例２における表示画像の例である。
【図１２】実施例３における車両周辺撮影装置の機能ブロック図である。
【図１３】実施例３における車両周辺撮影装置の処理の流れを表すフローチャートである。
【図１４】実施例３における障害物画像生成部の処理の流れを表すフローチャートである。
【図１５】実施例４の処理を実施例１に適用した場合の処理の流れを模式的に表すである。
【図１６】実施例４の処理を実施例２に適用した場合の処理の流れを模式的に表すである。
【図１７】実施例４の処理を実施例３に適用した場合の処理の流れを模式的に表すである。
【発明を実施するための形態】
【実施例１】
【００２０】
以下に、図面を用いて本発明の車両周辺撮影装置の実施形態を説明する。図１は本発明の車両周辺撮影装置を搭載した車両Ｖの平面図である。本実施形態の車両Ｖは、前方，後方，右方および左方をそれぞれ撮影するフロントカメラＦ，リアカメラＲ，右サイドカメラＳＲ，左サイドカメラＳＬを備えている。なお、特にこれらを区別する必要がない場合は、カメラＣと総称する。
【００２１】
カメラＣは、車両Ｖの周辺の情景、特に、車両Ｖの周囲に存在する立体物である障害物を撮影可能に設置されている。そのため、カメラＣは、その光軸が水平よりも少し下方に向くように設置されている。
【００２２】
また、カメラＣは広角レンズを備えており、隣接するカメラＣの撮影範囲は互いに部分的に重複している。図１には、カメラＣとともにその撮影範囲および撮影範囲が重複する領域（ハッチング部分）を示している。例えば、フロントカメラＦの撮影範囲と右サイドカメラＳＲの撮影範囲とは車両Ｖの右前方において重複している。すなわち、フロントカメラＦおよび右サイドカメラＳＲはいずれも、車両Ｖの右前方を撮影することができる。
【００２３】
なお、フロントカメラＦと右サイドカメラＳＲ、右サイドカメラＳＲとリアカメラＲ、リアカメラＲと左サイドカメラＳＬ、左サイドカメラＳＬとフロントカメラＦのそれぞれの組み合わせが本発明の第１カメラと第２カメラとなる。なお、第１カメラと第２カメラとは入れ換えても構わない。
【００２４】
本実施形態では、カメラＣは、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を撮影し、デジタル変換して動画データを出力するデジタルカメラを用いている。
【００２５】
また、図２に示すように、車両Ｖの車内には各種表示を行うディスプレイＤが備えられている。本実施例では、ディスプレイＤは、ナビゲーションシステムのモニタ装置を兼用している。そのため、ディスプレイＤは、表示部Ｄａおよび表示部Ｄａ上に形成されたタッチパネルＤｂを有している。表示部Ｄａは液晶ディスプレイによって構成することができ、タッチパネルＤｂは、表示部Ｄａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置により構成することができる。
【００２６】
図２は、本実施例における車両周辺撮影装置のシステム構成図である。本実施例における車両周辺撮影装置は、ＣＰＵ（central processing unit）を中核としてメモリ、その他の周辺回路と共に構成されたＥＣＵ（electronic control unit）１を備えている。当然ながら、ＣＰＵに代えて、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成しても構わない。
【００２７】
カメラＣにより撮影された車両Ｖの周辺の情景はこのＥＣＵ１に入力される。また、ＥＣＵ１は、各種情報やカメラＣによって撮影された撮影画像や撮影画像を処理した画像等を表示部Ｄａに表示したり、運転者がタッチパネルＤｂを操作した情報を取得したりする機能を備えている。
【００２８】
また、ＥＣＵ１は車内ネットワーク（図示せず）を介して種々のシステムやセンサと通信可能に接続されている。車内ネットワークとしてはＣＡＮ（controller area network）を用いることができる。
【００２９】
図に示すように、ＥＣＵ１は、制御部１０と、カメラＣによって撮影された撮影画像を取得する画像取得部１１と、取得した撮影画像に前処理を施す前処理部１２と、撮影画像を任意の視点から撮影された画像に視点変換した視点変換画像を生成する視点変換部１３と、画像間の差分を算出する画像差分部１４（本発明の画像情報比較部の例）と、各カメラＣにより撮影された画像を合成する画像合成部２０と、を備えている。なお、これらの機能部は、ソフトウェアとＣＰＵとが協働することにより実現されているが、ハードウェアを用いて実現しても構わない。
【００３０】
制御部１０は、ＥＣＵ１に構成されている各機能部全体の処理の流れの制御をはじめとして、各種制御を行う。
【００３１】
画像取得部１１は、フロントカメラＦ，リアカメラＲ，右サイドカメラＳＲ，左サイドカメラＳＬのそれぞれから画像を取得する。なお、上述したように、本実施形態のカメラＣは撮影画像としてデジタル動画を出力するものであるため、画像取得部１１はカメラＣから取得した動画から１フレームを抽出して静止画像（以下、画像と略称する）を生成する。このとき、全てのカメラＣの動画から同じタイムフレームを抽出することが望ましい。
【００３２】
前処理部１２は、取得した画像に対して前処理を施す。本実施形態では、前処理として平滑化処理を施しており、これにより、路面のアスファルト等のざらつきによる障害物の誤検出を抑制している。平滑化処理は、Gaussianフィルタ等の公知の方法を用いることができる。また、前処理部１２では必要に応じて他の画像処理を行っても構わない。
【００３３】
視点変換部１３は、画像の視点変換を行い、視点変換画像を生成する。例えば、カメラＣにより撮影された画像を、車両Ｖの上方に鉛直下向きの視点を有する仮想的なカメラから撮影された画像（以下、トップビュー画像と称する）に変換したり、一のカメラＣにより撮影された画像を他のカメラＣの視点位置から撮影された画像に視点変換したりする。後者の場合には、例えば、左サイドカメラＳＬにより撮影された画像をフロントカメラＦの視点位置から撮影された画像に視点変換する。なお、視点変換は、公知の方法を用いることができる。
【００３４】
画像差分部１４は、２つの画像間の差分を算出し、差分画像（本発明の比較画像の例）を生成する。差分の方法は、画素値、特に、輝度値の差の絶対値や正規化自己相関等を用いることができるが、本実施形態では、各画素位置における画素値の勾配方向のヒストグラム（以下、ＨＯＧ（Histgrams of Oriented Gradients）と称する）を用いた差分を行っている。そのため、画像差分部１４は、画像の各画素位置における画素値の勾配方向を算出する勾配方向算出部１４ａ、画像の各画素位置におけるＨＯＧを算出するヒストグラム生成部１４ｂ、２つの画像の各画素位置におけるＨＯＧに基づいて、その画素位置における差分値を算出する画素差分部１４ｃを備えている。なお、本実施形態では、比較情報として差分画像を用いているが、比較情報はこれに限定されるものではない。例えば、注目画素の周囲領域の輝度の類似度（ＮＣＣ，ＳＡＤ等）を比較情報とすることもできる。
【００３５】
勾配方向算出部１４ａは、画像を構成する各画素の画素位置における画素値の勾配方向を算出する。なお、本実施形態では、画素値として輝度値を用い、カメラＣがカラーカメラの場合には、前処理部１２において画像をモノクロ変換しておく。例えば、画素位置（ｘ，ｙ）における画素値をｆ（ｘ，ｙ）とすると、画素位置（ｘ，ｙ）におけるｘ方向の変化量ΔｘはΔｘ＝２ｆ（ｘ＋１，ｙ）−２ｆ（ｘ−１，ｙ）、ｙ方向における変化量ΔｙはΔｙ＝２ｆ（ｘ，ｙ＋１）−２ｆ（ｘ，ｙ−１）と表すことができ、勾配角度θはθ＝ｔａｎ―1（Δｙ／Δｘ）となる。ただし、この算出方法では、実際の勾配方向がθであるかθ＋πであるかが不明である。そのため、本実施形態では、Δｘが正の場合のθ（−π／２＜θ＜π／２）を４段階に符号化した値を勾配方向するとともに、Δｘが負の場合のθ（−π／２≦θ≦π／２）を４段階に符号化した値を勾配方向としている。具体的には、０≦θ＜π／４およびπ／４≦θ＜π／２のそれぞれに対して符号（勾配方向）０，１を割り当て、−π／２＜θ≦−π／４および−π／４＜θ＜０のそれぞれに対して勾配方向６，７を割り当てる。そして、Δｘが負の場合には、（勾配方向＋４）ｍｏｄ８を勾配方向とする。ここで、「ｍｏｄ」は剰余を算出する演算子である。これにより、算出された勾配角度θは８段階の勾配方向に符号化される。なお、ΔｘおよびΔｙがともに０の場合には、無方向（＝８）としている。したがって、本実施形態では、勾配方向は、無方向と、８つの方向（有方向）とのいずれかである。
【００３６】
ヒストグラム生成部１４ｂは、勾配方向算出部１４ａにより算出された勾配方向に基づいて、画像の各画素位置におけるＨＯＧを求める。具体的には、注目画素の周囲に領域（以下、ヒストグラム生成領域と称する）を設定し、そのヒストグラム生成領域に含まれる各画素の画素位置における勾配方向を取得し、勾配方向毎の度数を積算する。この度数分布が注目画素の画素位置におけるＨＯＧとなる。注目画素を走査することにより、画像の各画素位置におけるＨＯＧを求めることができる。なお、本実施形態では、ヒストグラム生成領域は、注目画素を中心とする５×５の大きさとしているが、ヒストグラム生成領域の設定は適宜変更可能である。
【００３７】
画素差分部１４ｃは、２つの画像の各画素位置におけるＨＯＧに基づいて、その画素位置における差分値（以下、画素差分値と称する）を算出する。具体的には、第１の画像の差分対象となる画素（以下、差分対象画素と称する）の画素位置におけるＨＯＧと第２の画像の差分対象画素の画素位置におけるＨＯＧとの差異を求めて、その差分対象画素の画素位置における画素差分値とする。なお、ＨＯＧどうしの差異は、各勾配方向における度数の差の絶対値和を用いることができる。すなわち、勾配方向をｉ（＝０〜８）、第１の画像および第２の画像の差分対象画素の画素位置におけるＨＯＧをそれぞれＨＯＧ１，ＨＯＧ２とし、ＨＯＧの勾配方向ｉの度数をＨＯＧ［ｉ］とすると、差分対象画素の画素位置における画素差分値ｄは、
【数１】
と表すことができる。
【００３８】
画像差分部１４は、画素差分部１４ｃに対して、画像の各画素を順次差分対象画素として設定することにより、全画素位置における画素差分値を取得し、２つの画像間の差分を求める。
【００３９】
画像合成部２０は、各カメラＣにより撮影された画像を合成した合成画像を生成する。
【００４０】
以下に、図３のフローチャートを用いて本実施例における車両周辺撮影装置の処理の流れを説明する。なお、以下の説明では、フロントカメラＦを本発明の第１カメラおよび主カメラ、左サイドカメラＳＬを本発明の第２カメラおよび副カメラとした場合のみを説明するが、他のカメラＣについても同様の処理が行われる。
【００４１】
本実施形態では、運転者がタッチパネルＤｂを操作して、車両周辺撮影装置の作動を明示的に指示した場合に以下の処理が実行されるが、車両Ｖに搭載されている各種センサ等の出力に基づいて、制御部１０が処理を実行するか否かを判断する構成としても構わない。
【００４２】
まず、運転者がタッチパネルＤｂを操作して、車両周辺撮影装置の作動を指示すると、その指示は制御部１０により取得され、指示を取得した制御部１０は、画像取得部１１に対して画像を取得する旨の指示を送る。これに対して、画像取得部１１は主カメラおよび副カメラから画像を取得する（＃０１）。取得された画像はそれぞれ主撮影画像および副撮影画像としてメモリ（図示せず）に記憶される。
【００４３】
画像の取得が完了すると、制御部１０は、視点変換部１３に対して、副撮影画像を主カメラの視点から撮影した画像に視点変換するよう指示を送る。これに対して、視点変換部１３は、公知の方法により、副撮影画像から視点変換画像を生成する（＃０２）。生成された視点変換画像は、メモリに記憶される。なお、各カメラＣの視点位置（車両座標系中におけるカメラ原点の座標および光軸方向）または、視点変換のための変換テーブルは予めメモリ等に記録されており、視点変換処理に用いられる。
【００４４】
視点変換画像の生成が完了すると、制御部１０は、画像差分部１４に対して、主撮影画像と視点変換画像との差分を算出するように指示を送る。これに対して、画像差分部１４は主撮影画像と視点変換画像との差分を算出する（＃０３）。本実施例では、主撮影画像と視点変換画像との差分結果は、各画素位置における画素差分値を画素値とする差分画像として出力し、メモリに記憶される。
【００４５】
図４は本実施形態における画像間差分の処理の流れを表すフローチャートである。ここでは、画像間差分を行う２つの画像を第１画像および第２画像と称する。まず、勾配方向算出部１４ａは、上述の方法により、第１画像および第２画像の各画素位置における輝度値の勾配方向を算出し、２次元配列形式でメモリに記憶する（＃２１，＃２２）。
【００４６】
次に、ヒストグラム生成部１４ｂは、上述の処理により算出した各画素位置における勾配方向を用いて、上述の処理により、第１画像および第２画像の各画素位置におけるＨＯＧを算出する（＃２３，＃２４）。各画素位置におけるＨＯＧは９の要素を持つ１次元配列であるため、算出された全画素位置におけるＨＯＧは３次元配列形式でメモリに記憶される。
【００４７】
画像差分部１４は、第１画像から順次１つの画素を差分対象画素として選択し、画素差分部１４ｃに対して差分対象画素の画素位置における画素差分値を算出するよう指示を送る。
【００４８】
具体的には、まず、画像差分部１４は第１画像から位置の画素を差分対象画素として選択する（＃２５）。選択された差分対象画素の画素位置は画像差分部１４から画素差分部１４ｃ送られる。差分対象画素の画素位置を取得した画素差分部１４ｃは、メモリから第１画像の差分対象画素の画素位置におけるＨＯＧと第２画像の差分対象画素の画素位置におけるＨＯＧとを取得し、上述の式（１）により画素差分値ｄを算出する（＃２６）。算出された画素差分値ｄは画像差分部１４に送られる。
【００４９】
画像差分部１４は、メモリ上に画素差分値を記憶するための２次元配列を確保しておき、その２次元配列の差分対象画素の画素位置に対応する位置に取得した画素差分値ｄを記憶させる。
【００５０】
上述の処理が完了すると、画像差分部１４は未処理、すなわち、差分対象画素として選択していない画素の有無を判定し（＃２７）、未処理画素が存在すれば（＃２７のＹｅｓ分岐）、処理を＃２５に移行して上述の処理を繰り返す。
【００５１】
図５（ａ）および（ｂ）に、主撮影画像としてのフロントカメラＦにより撮影された画像と、副撮影画像としての左サイドカメラＳＬにより撮影された画像をフロントカメラＦの視点位置から撮影された画像に視点変換した視点変換画像の例を示す。また、図６は図５（ａ）の画像と図５（ｂ）の画像との差分画像である。なお、図５（ｂ）の視点変換画像は、図５（ａ）と位置合せを行った後、図５（ａ）と重複する部分のみをクリッピングしたものである。図に示すように、主撮影画像および視点変換画像には白線Ｗと障害物Ａとが含まれている。また、図５から明らかなように、主撮影画像中の白線Ｗと視点変換画像中の白線Ｗとは、略同じ位置となっている。したがって、主撮影画像と視点変換画像との画像間差分をとると、図６に示すように、白線Ｗに対応する領域では優位な画素差分値は算出されない。一方、図６に示すように、障害物Ａに対応する領域、特に、障害物Ａの上部に対応する領域では優位な画素差分値が算出される。したがって、差分画像内に優位な画素差分値を有する領域があるか否かを判定すれば、車両Ｖの周辺に障害物が存在するか否かを判定することができる。
【００５２】
この差分画像を運転者に提示することにより、運転者は車両Ｖの周辺に存在する障害物の有無を判断することはできるが、より運転者の判断が容易になるように、本実施形態では、表示部Ｄａにトップビュー画像を表示し、その画像中に障害物を示す指標を重畳表示している。
【００５３】
そのため、差分画像が生成されると、制御部１０は、画像合成部２０に対して、トップビュー画像の生成、および、トップビュー画像に障害物を示す指標を重畳させるよう指示を送る。これに対して、画像合成部２０は、視点変換部１２を用いて、各カメラＣの撮影画像および差分画像をトップビュー画像に視点変換する（＃１０）。なお、差分画像は主撮影画像を基準として生成されたものであるため、主撮影画像と同じ視点変換処理を受ける。
【００５４】
また、画像合成部２０は差分画像から障害物を検出する（＃１１）。上述したように、障害物は差分画像中で優位な画素値を有する領域である。そのため、差分画像に対して２値化および領域分割を施せば、障害物の領域が検出できる。また、差分画像に対してエッジ抽出および２値化を施せば、障害物の輪郭を抽出することができる。画像合成部２０は、このようにして障害物を検出し、上述の処理により合成したトップビュー画像に対して、障害物の位置を示す指標を合成する（＃１２）。このようにして生成された画像はメモリに記憶され、制御部１０の指示によって表示部Ｄａに表示される（＃１３）。
【００５５】
図７は上述の処理によって表示部Ｄａに表示される表示画像の例である。図７（ａ）では、トップビュー画像に対して障害物Ａの輪郭を表す指標Ｅを合成している。一方、図７（ｂ）では、トップビュー画像に対して障害物Ａの路面との接地位置を示す指標Ｅを合成している。なお、この例では、トップビュー画像を合成する際に、フロントカメラＦの撮影範囲と左サイドカメラＳＬの撮影範囲との重複する範囲は双方の画像を合成しているため、障害物Ａの形状は実際の形状とは異なっている。
【実施例２】
【００５６】
図８は本実施例における車両周辺撮影装置の機能ブロック図である。なお、実施例１と同様の機能部に対しては実施例１と同じ符号を付しており、詳細な説明は省略する。本実施例の車両周辺撮影装置は、画像のエッジ抽出を行うエッジ抽出部１５、２つの画像に対して論理積を施した積画像を生成する積画像生成部１６を備えている点において実施例１と異なっている。
【００５７】
エッジ抽出部１５は、画像からエッジ抽出を行う。エッジの抽出は、ＣａｎｎｙアルゴリズムやＳｏｂｅｌオペレータ等の公知の方法を用いることができる。なお、Ｓｏｂｅｌオペレータを使用すると実際のエッジの両側にエッジが検出されるため、膨張処理および細線化処理を施しておくことが望ましい。
【００５８】
積画像生成部１６は、２つの画像において対応する画素位置の画素値の論理積を算出し、その論理積の値を画素値とする積画像を生成する。なお、本発明における論理積とは一般的な論理積の概念を拡張したものであり、第１の画素値および第２の画素値がともに優位な値（例えば、閾値よりも大きい値）を有している場合にこれらの論理積が優位な値（固定値であっても、所定の値よりも大きい値であっても構わない）となり、それ以外の場合にはこれらの論理積は劣位（例えば、閾値以下の場合）な値となるものである。したがって、２つの画像がともに２値画像であれば本発明における論理積は一般的なａｎｄオペレータとなる。
【００５９】
一方、画像が多値の場合には次のようにして論理積を算出することができる。例えば、真値を１（優位な値）、偽値を０（劣位な値）とし、第１の画素値をｐ１、第２の画素値をｐ２とすると、第１の画素値ｐ１と第２の画素値ｐ２との論理積は（ｐ１＞ＴＨ１）＆（ｐ２＞ＴＨ２）なる論理演算の結果とすることができる。この場合、第１の画素値ｐ１が閾値ＴＨ１よりも大きく、かつ、第２の画素値ｐ２が閾値ＴＨ２よりも大きい、すなわち、両方の画素値が優位な値である場合にのみ、上述の論理演算の結果は真値となる。この場合には、積画像は２値画像となる。なお、閾値ＴＨ１と閾値ＴＨ２とは同じ値であっても構わないし、異なる値であっても構わない。また、閾値ＴＨ１と閾値ＴＨ２とは固定値であっても構わないし、大津の判別分析法等の方法等によって画像の画素値の分布に応じて定められた値であっても構わない。
【００６０】
このように、論理積の概念を拡張することにより、画像を予め２値化することなく、画像間の論理積を算出することができる。そのため、２値画像を記憶するためのメモリが不要となり、車両周辺撮影装置のメモリ容量が小さい場合には有利となる。
【００６１】
図９は本実施例における画像周辺撮影装置の処理の流れを表すフローチャートである。なお、＃０１から＃０３、および、＃１０〜＃１３までの処理は実施例１と同様であるため、詳細な説明は省略する。
【００６２】
制御部１０は、差分画像の生成が完了すると、エッジ抽出部１５に対して主撮影画像のエッジ抽出を行うよう指示を送る。エッジ抽出部１５はこの指示を受けて、主撮影画像に対してＣａｎｎｙアルゴリズムを適用してエッジ画像を生成する（＃０４）。なお、本実施形態では、エッジ抽出部１５は、生成されたエッジ画像に対して膨張処理を施している。このようにして生成されたエッジ画像（２値画像）はメモリに記憶される。なお、本実施例におけるエッジ画像では、エッジ画素の画素値を１（優位な値）、非エッジ画素の画素値を０（劣位な値）としている。
【００６３】
制御部１０は、エッジ画像の生成が完了すると、積画像生成部１６に対して、差分画像と主撮影画像のエッジ画像とから積画像を生成するよう指示を送る。この指示を受けた積画像生成部１６は、上述の処理により積画像を生成する（＃０５）。なお、本実施例では、差分画像が多値画像、エッジ画像が２値画像であるため、差分画像の画素値をｐ１、エッジ画像の画素値をｐ２とすると、論理演算式は（ｐ１＞ＴＨ１）＆ｐ２となる。このようにして生成された積画像はメモリに記憶される。
【００６４】
制御部１０は、積画像の生成が完了すると、画像合成部２０に対して合成画像の生成を指示し、生成された合成画像を表示部Ｄａに表示する（＃１０〜＃１３）。なお、実施例１では＃１１の処理において差分画像から障害物を検出したが、本実施例では差分画像から障害物の領域を抽出することに代えて、積画像において真値を有する領域を障害物の領域とする。
【００６５】
図１０（ａ）は第１画像のエッジ画像の例であり、エッジ画像には主撮影画像における障害物の輪郭や路面の白線等の輪郭が含まれている。図１０（ｂ）はこのエッジ画像と図６の差分画像とから生成した積画像の例である。図から明らかなように、積画像には白線等の領域が含まれておらず、差分画像では正確に検出されていなかった障害物の輪郭形状がより正確に検出されている。したがって、この障害物の輪郭形状を用いれば、図１１に示すように、正確な障害物Ａの輪郭形状を示す指標Ｅを合成したトップビュー画像を合成することができる。
【００６６】
本実施例では、このように、主撮影画像のエッジと差分画像との積画像に基づいて障害物の領域を抽出している。そのため、本実施例によれば、実施例１において誤検出された障害物の領域であって、障害物の輪郭付近にない領域を除外することができる。そのため、実施例１に比べて、より高精度な障害物の領域の抽出を行うことができる。
【実施例３】
【００６７】
図１２は本実施例における画像周辺撮影装置の機能ブロック図である。なお、実施例２と同様の機能部に対しては実施例２と同じ符号を付しており、詳細な説明は省略する。本実施例の車両周辺撮影装置は、画像に対して領域分割処理を施す領域分割部１７、障害物画像生成部１８を備えている。
【００６８】
領域分割部１７は、画像の画素値（ＲＧＢ値等のカラー値であっても輝度値であっても構わない）に基づいて領域分割処理を行い、ラベリング画像を生成する。なお、ラベリング画像とは、領域分割処理において同じ領域に属すると判定された画素に同じ画素値（ラベル値）を付与した画像である。領域分割は、グラフカット、Ｍｅａｎ−Ｓｈｉｆｔ等の公知の手法を用いることができる。
【００６９】
障害物画像生成部１８は、領域分割された各々の領域と積画像において真値を有する領域との類似性に基づいて障害物の領域を抽出した障害物画像を生成する。なお、障害物画像とは、障害物であると判定された領域に属する画素の画素値を真値とした画像である。
【００７０】
上述したように、積画像において真値を有する領域は障害物の輪郭形状を表している。したがって、障害物画像生成部１８は、領域分割された各々の領域と、積画像に表されている輪郭との類似性に基づいて障害物の領域を求めている。なお、領域と輪郭との類似性の尺度は様々なものを利用することができる。例えば、比較対象の輪郭と、比較対象の領域の輪郭との一致性や、比較対象の輪郭により囲まれた領域と比較対象の領域との一致性等を用いることができる。
【００７１】
図１３は本実施例における画像周辺撮影装置の処理の流れを表すフローチャートである。なお、＃０１から＃０５、および、＃１０〜＃１３までの処理は実施例２と同様であるため、詳細な説明は省略する。
【００７２】
制御部１０は、積画像の生成が完了すると、領域分割部１７に対して、主撮影画像および積画像の領域分割を行うよう指示を送る。指示を受けた領域分割部１７は主撮影画像を領域分割し、第１ラベリング画像を生成する（＃０６）。また、積画像を領域分割し、第２ラベリング画像を生成する（＃０７）。これらのラベリング画像はメモリに記憶される。
【００７３】
制御部１０は、領域分割が完了すると、障害物画像生成部１８に対して障害物画像を生成するよう指示を送る。指示を受けた障害物画像生成部１８は、障害物画像を生成し、メモリに記憶する（＃０８）。
【００７４】
図１４は、障害物画像生成処理の流れを表すフローチャートである。まず、第１ラベリング画像から一の領域（以下、第１領域と称する）を選択する（＃３１）。また、第２ラベリング画像から一の領域（以下、第２領域と称する）を選択する（＃３２）。そして、第１領域と第２領域との類似性を算出する（＃３３）。このとき、使用する類似性の尺度に応じて第１領域および第２領域の特徴量の算出が行われる。なお、予め領域の特徴量を求めておき、メモリに記憶させておいても構わない。
【００７５】
算出された類似性が所定の閾値よりも大きければ（＃３４のＹｅｓ分岐）、第１領域を障害物の領域とし、メモリ上に確保された障害物領域画像用の２次元配列の第１領域に対応する画素値に真値を代入する（＃３５）。
【００７６】
第２ラベリング画像において未処理の領域が存在すれば（＃３６のＹｅｓ分岐）、処理を＃３２に移行させ、上述の処理を繰り返す。一方、第２ラベリング画像において未処理の領域が存在しなければ（＃３６のＮｏ分岐）、第１ラベリング画像において未処理の領域が存在するか否かが判定され（＃３７）、未処理の領域が存在すれば（＃３７のＹｅｓ分岐）、処理を＃３１に移行させ、上述の処理が繰り返される。
【００７７】
本実施例では、このように、主撮影画像の各領域と積画像において真値を有する領域、すなわち、実施例２で障害物として抽出された領域との類似性に基づいて、障害物の領域を抽出している。そのため、本実施例によれば、実施例２において誤検出された障害物の領域であって、主撮影画像の領域と整合しない形状等を有する領域を除外することができる。そのため、実施例２に比べて、より高精度な障害物の領域の抽出を行うことができる。
【実施例４】
【００７８】
上述の実施例１から実施例３では、第１カメラ（上述の実施例では、フロントカメラＦ）を主カメラ、第２カメラ（上述の実施例では、左サイドカメラＳＬ）を副カメラとして処理を行った。これに対して、本実施例では、第１カメラを主カメラ、第２カメラを副カメラとした処理結果（出力画像）と、第１カメラを副カメラ，第２カメラを主カメラとした処理結果（出力画像）とを統合した結果を出力する。なお、処理結果の統合は、例えば、両方の処理結果において、障害物の領域が対応する位置になければ、処理結果から除外する。これにより、障害物の領域の障害物としての確からしさがダブルチェックされ、抽出精度を高めることができる。なお、両方の処理結果における障害物の領域の位置の対応関係は主カメラと副カメラとの姿勢に基づいて検証することができる。また、視点変換等の誤差により、両方の処理結果における障害物の領域は完全に対応する位置とはならない可能性がある。その場合には、車両Ｖに近い側の障害物の領域を使用することが望ましい。
【００７９】
〔実施例１への適用〕
図１５は本実施例の処理を実施例１の処理に適用した場合の処理の流れを模式的に表す図である。まず、実施例１と同様に第１カメラを主カメラ、第２カメラを副カメラとして、差分画像（以下、第１差分画像と称する）の生成を行う（＃０２〜＃０３）。また、第２カメラを主カメラ、第１カメラを副カメラとして、差分画像（以下、第２差分画像と称する）の生成を行う（＃０２’〜＃０３’）。そして、第１差分画像と第２差分画像とを統合して出力画像としての差分画像を生成する。
【００８０】
〔実施例２への適用〕
実施例２の処理において、実施例１の処理により生成された差分画像に代えて、図１５の処理により生成された差分画像（出力画像）を用いても構わない。また、図１６に模式的に示す処理を行っても構わない。まず、実施例２と同様に第１カメラを主カメラ、第２カメラを副カメラとして、積画像（以下、第１積画像と称する）の生成を行う（＃０２〜＃０５）。また、第２カメラを主カメラ、第１カメラを副カメラとして、積画像（以下、第２積画像と称する）の生成を行う（＃０２’〜＃０５’）。そして、第１積画像と第２積画像とを統合して出力画像としての積画像を生成する。また、この図１６の処理における差分画像の生成処理を図１５の処理に置き換えても構わない。
【００８１】
〔実施例３への適用〕
実施例３の処理において、実施例２の処理により生成された積画像に代えて、図１６の処理により生成された積画像（出力画像）を用いても構わない。また、図１７に模式的に示す処理を行っても構わない。まず、実施例３と同様に第１カメラを主カメラ、第２カメラを副カメラとして、障害物画像（以下、第１障害物画像と称する）の生成を行う（＃０２〜＃０８）。また、第２カメラを主カメラ、第１カメラを副カメラとして、障害物画像（以下、第２障害物画像と称する）の生成を行う（＃０２’〜＃０８’）。そして、第１障害物画像と第２障害物画像とを統合して出力画像としての障害物画像を生成する。また、この図１７の処理における差分画像の生成処理を図１５の処理に置き換えても構わないし、積画像の生成処理を図１６の処理に置き換えても構わない。
【００８２】
〔別実施形態〕
（１）上述の実施形態では、４つのカメラＣの撮影画像を合成したトップビュー画像を生成してディスプレイに表示する構成としたが、一部のカメラＣの撮影画像を用いた表示を行う構成としても構わない。この場合には、車両Ｖに搭載されている様々なセンサ等の出力に基づいて使用するカメラを選択する構成とすることもできる。例えば、ステアリングの操舵角を検出するステアリングセンサの出力とシフトレバーの操作位置を検出するシフトレバーセンサの出力とに基づいて車両Ｖの進行方向を判定し、その進行方向側のカメラＣの撮影画像を用いた表示を行う構成とすることができる。具体的には、ステアリングセンサの操舵角が左方向であり、シフトレバーセンサの出力が後進（＝Ｒ）の場合には、車両Ｖの進行方向は左後方であるため、左サイドカメラＳＬとリアカメラＲとの撮影画像を用いた表示を行う。
【００８３】
（２）また、撮影画像を合成せずに、各々のカメラＣにより撮影された画像をそのまま表示しても構わない。なお、この場合にも障害物を示す指標Ｅを重畳させることが望ましい。
【産業上の利用可能性】
【００８４】
本発明は、撮影領域の一部が互いに重複するように車両に搭載された複数のカメラにより車両の周辺の情景を撮影する車両周辺撮影技術に適用することができる。
【符号の説明】
【００８５】
Ｃ：カメラ
Ｆ：フロントカメラ
Ｒ：リアカメラ
ＳＲ：右サイドカメラ
ＳＬ：左サイドカメラ
１３：視点変換部
１４：画像差分部（画像情報比較部）
１５：エッジ抽出部
１６：積画像生成部
１７：領域分割部
１８：障害物画像生成部
【技術分野】
【０００１】
本発明は、車両周辺の画像を撮影する技術、特に、撮影領域の一部が互いに重複するように車両に搭載された複数のカメラにより車両の周辺の情景を撮影する車両周辺撮影装置および、前記のカメラにより撮影された車両周辺画像の処理方法に関する。
【背景技術】
【０００２】
近年、周辺の情景を撮影するカメラを搭載された車両が実用化されている。このような車両では、カメラにより撮影された画像を車室内に設けられたディスプレイに表示することにより、運転者は車両の周辺の障害物等を確認することができる。
【０００３】
障害物等の存在をより運転者に認知させるために、画像から障害物を検出する技術が提案されている。例えば、特許文献１から３の技術では、撮影範囲が部分的に重複する複数台の撮像装置によって撮像された画像を仮想視点から見た鳥瞰図画像に変換し、それぞれの鳥瞰図画像間の差分を求めることにより、差分領域（障害物が存在する領域）を検出している。
【０００４】
特許文献１の技術では、鳥瞰図画像を合成する際に、上述のようにして検出された差分領域に対しては一の鳥瞰図画像の画素値を用いることにより、合成された鳥瞰図画像において障害物の二重表示、および、障害物の消失を防止している。
【０００５】
一方、特許文献２の技術では、上述のようにして検出された差分領域に基づいて、障害物をよりよく撮影しているカメラを選択し、鳥瞰図画像を合成する際に、その選択されたカメラの鳥瞰図画像を優先的に使用している。これにより、運転者が障害物を視認しやすい鳥瞰図画像を合成することができる。
【０００６】
他方、特許文献３の技術では、障害物が存在する差分領域を他の領域と区別するように表示することにより、運転者が障害物を視認しやすくしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−０４８３１７号公報
【特許文献２】特開２００８−０４８３４５号公報
【特許文献３】特開２００８−０８５７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、特許文献１から３の技術では、撮影範囲が重複する撮像装置によって撮影された画像を鳥瞰図画像に変換し、それらを差分処理することにより障害物を検知している。しかしながら、鳥瞰図画像を生成するためには補間処理等が必要であり、補間処理がなされた領域では鮮鋭度が低下する等の画像劣化が生じる。そのため、鳥瞰図画像間の差分を算出すると、劣化した画像間で差分を算出することとなり、障害物の検出精度が低下するおそれがある。
【０００９】
本発明は上記課題に鑑みてなされたものであり、その目的は、高精度に車両周辺の障害物を検出することができる車両周辺撮影技術を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の車両周辺撮影装置は、車両に搭載され、当該車両の周辺の情景を撮影する第１カメラと、前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラと、前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された画像を主撮影画像とするとともに当該副カメラにより撮影された画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、前記主撮影画像と前記視点変換画像とを比較した比較情報を生成する画像情報比較部、とを備えている。
【００１１】
この構成では、撮影範囲の一部が重複する第１カメラと第２カメラとにより車両周辺の情景が撮影される。そのため、重複した撮影範囲に障害物があれば、これらの画像を同じカメラの視点位置から撮影された画像に視点変換し、それらを比較することにより生成した比較情報（例えば、差分画像）を生成すると、障害物はそのような差分画像中で優位な画素値を有する領域として表される。上述したように、特許文献１から３では、両方の画像を、車両上方に光軸が鉛直下向きに設定された仮想的なカメラにより撮影された画像に視点変換し、それらの画像の差分を算出していた。これに対して、本発明では、一方の画像（主撮影画像）は視点変換を行わずに、他方の画像（副撮影画像）のみを主撮影画像を撮影したカメラ（主カメラ）の視点から撮影した画像に視点変換し、それらの比較を行っている。そのため、視点変換による歪は副撮影画像にのみ生じ、歪による障害物検出精度の低下を抑制することができる。
【００１２】
本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記主撮影画像からエッジを抽出したエッジ画像を生成するエッジ抽出部と、前記比較情報としての差分画像と前記エッジ画像との画素値に論理積を施した積画像を生成し、当該積画像を出力画像として出力する積画像生成部と、を備えている。
【００１３】
この構成では、視点変換が施されない主撮影画像からエッジを抽出したエッジ画像を生成し、そのエッジ画像と比較情報としての差分画像との論理積を施した積画像を生成している。そのため、積画像中で優位な画素値（真値）を有する領域は、差分画像中で優位な画素値を有する領域であり、主撮影画像中で明確なエッジを有している領域の輪郭となる。すなわち、この構成では、差分画像により検出することができる障害物の領域をエッジという情報により検証を行っている。これにより、障害物の検出精度を向上させることができる。
【００１４】
本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記主撮影画像を領域分割する領域分割部と、前記領域分割された各々の領域と前記積画像において真値を有する領域との類似性に基づいて障害物の領域を抽出した障害物画像を生成し、前記積画像に代えて当該障害物画像を前記出力画像として出力する障害物画像生成部と、を備えている。
【００１５】
上述したように、積画像において優位な値（真値）を有している領域は障害物の輪郭である。本構成では、この障害物の輪郭領域と主撮影画像中の領域分割された領域との類似性に基づいて、障害物の領域を抽出している。すなわち、本構成では、積画像に含まれる障害物の輪郭である可能性のある領域に対して、領域分割結果の領域の特徴量という情報により検証を行っている。これにより、障害物の検出精度を向上させることができる。
【００１６】
本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記第１カメラを前記主カメラとして前記出力画像を第１出力画像として生成するとともに、前記第２カメラを前記主カメラとして前記出力画像を第２出力画像として生成し、前記第１出力画像と前記第２出力画像とに基づいて障害物を示す画素を所定の画素値に設定した画像を出力画像として出力する。
【００１７】
この構成では、視点変換されない第１カメラにより撮影された画像と視点変換された第２カメラにより撮影された画像とに基づいて上記処理により得られる第１出力画像と、視点変換された第１カメラにより撮影された画像と視点変換されない第２カメラにより撮影された画像とに基づいて上記処理により得られる第２出力画像と、を統合した画像を出力画像としている。すなわち、この構成では、主撮影画像と副撮影画像とを入れ換えた２つの処理結果を統合して出力画像とすることにより、出力画像に含まれる障害物の領域をダブルチェックしている。これにより、視点変換により生じる歪に起因する障害物の誤検出を低減し、障害物の検出精度を向上させることができる。
【００１８】
また、上記課題を解決するため、本発明の車両周辺画像の処理方法は、車両に搭載され、当該車両の周辺の情景を撮影する第１カメラから撮影画像を取得するステップと、前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラから撮影画像を取得するステップと、前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された前記撮影画像を主撮影画像とするとともに当該副カメラにより撮影された前記撮影画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成するステップと、前記主撮影画像と前記視点変換画像とを比較した比較情報を生成するステップと、を備えている。当然ながら、このような車両周辺画像の処理方法にも、上述した車両周辺画像撮影装置の付加的特徴を適用することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の車両周辺撮影装置を搭載した車両の平面図である。
【図２】実施例１における車両周辺撮影装置の機能ブロック図である。
【図３】実施例１における車両周辺撮影装置の処理の流れを表すフローチャートである。
【図４】画像間差分の処理の流れを表すフローチャートである。
【図５】フロントカメラの撮影画像と左サイドカメラの撮影画像をフロントカメラの視点位置から撮影した画像に視点変換した視点変換画像の例である。
【図６】第１画像と第２画像の視点変換画像との差分画像の例である。
【図７】実施例１における表示画像の例である。
【図８】実施例２における車両周辺撮影装置の機能ブロック図である。
【図９】実施例２における車両周辺撮影装置の処理の流れを表すフローチャートである。
【図１０】第１画像のエッジ画像と図６の差分画像とから生成した積画像の例である。
【図１１】実施例２における表示画像の例である。
【図１２】実施例３における車両周辺撮影装置の機能ブロック図である。
【図１３】実施例３における車両周辺撮影装置の処理の流れを表すフローチャートである。
【図１４】実施例３における障害物画像生成部の処理の流れを表すフローチャートである。
【図１５】実施例４の処理を実施例１に適用した場合の処理の流れを模式的に表すである。
【図１６】実施例４の処理を実施例２に適用した場合の処理の流れを模式的に表すである。
【図１７】実施例４の処理を実施例３に適用した場合の処理の流れを模式的に表すである。
【発明を実施するための形態】
【実施例１】
【００２０】
以下に、図面を用いて本発明の車両周辺撮影装置の実施形態を説明する。図１は本発明の車両周辺撮影装置を搭載した車両Ｖの平面図である。本実施形態の車両Ｖは、前方，後方，右方および左方をそれぞれ撮影するフロントカメラＦ，リアカメラＲ，右サイドカメラＳＲ，左サイドカメラＳＬを備えている。なお、特にこれらを区別する必要がない場合は、カメラＣと総称する。
【００２１】
カメラＣは、車両Ｖの周辺の情景、特に、車両Ｖの周囲に存在する立体物である障害物を撮影可能に設置されている。そのため、カメラＣは、その光軸が水平よりも少し下方に向くように設置されている。
【００２２】
また、カメラＣは広角レンズを備えており、隣接するカメラＣの撮影範囲は互いに部分的に重複している。図１には、カメラＣとともにその撮影範囲および撮影範囲が重複する領域（ハッチング部分）を示している。例えば、フロントカメラＦの撮影範囲と右サイドカメラＳＲの撮影範囲とは車両Ｖの右前方において重複している。すなわち、フロントカメラＦおよび右サイドカメラＳＲはいずれも、車両Ｖの右前方を撮影することができる。
【００２３】
なお、フロントカメラＦと右サイドカメラＳＲ、右サイドカメラＳＲとリアカメラＲ、リアカメラＲと左サイドカメラＳＬ、左サイドカメラＳＬとフロントカメラＦのそれぞれの組み合わせが本発明の第１カメラと第２カメラとなる。なお、第１カメラと第２カメラとは入れ換えても構わない。
【００２４】
本実施形態では、カメラＣは、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を撮影し、デジタル変換して動画データを出力するデジタルカメラを用いている。
【００２５】
また、図２に示すように、車両Ｖの車内には各種表示を行うディスプレイＤが備えられている。本実施例では、ディスプレイＤは、ナビゲーションシステムのモニタ装置を兼用している。そのため、ディスプレイＤは、表示部Ｄａおよび表示部Ｄａ上に形成されたタッチパネルＤｂを有している。表示部Ｄａは液晶ディスプレイによって構成することができ、タッチパネルＤｂは、表示部Ｄａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置により構成することができる。
【００２６】
図２は、本実施例における車両周辺撮影装置のシステム構成図である。本実施例における車両周辺撮影装置は、ＣＰＵ（central processing unit）を中核としてメモリ、その他の周辺回路と共に構成されたＥＣＵ（electronic control unit）１を備えている。当然ながら、ＣＰＵに代えて、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成しても構わない。
【００２７】
カメラＣにより撮影された車両Ｖの周辺の情景はこのＥＣＵ１に入力される。また、ＥＣＵ１は、各種情報やカメラＣによって撮影された撮影画像や撮影画像を処理した画像等を表示部Ｄａに表示したり、運転者がタッチパネルＤｂを操作した情報を取得したりする機能を備えている。
【００２８】
また、ＥＣＵ１は車内ネットワーク（図示せず）を介して種々のシステムやセンサと通信可能に接続されている。車内ネットワークとしてはＣＡＮ（controller area network）を用いることができる。
【００２９】
図に示すように、ＥＣＵ１は、制御部１０と、カメラＣによって撮影された撮影画像を取得する画像取得部１１と、取得した撮影画像に前処理を施す前処理部１２と、撮影画像を任意の視点から撮影された画像に視点変換した視点変換画像を生成する視点変換部１３と、画像間の差分を算出する画像差分部１４（本発明の画像情報比較部の例）と、各カメラＣにより撮影された画像を合成する画像合成部２０と、を備えている。なお、これらの機能部は、ソフトウェアとＣＰＵとが協働することにより実現されているが、ハードウェアを用いて実現しても構わない。
【００３０】
制御部１０は、ＥＣＵ１に構成されている各機能部全体の処理の流れの制御をはじめとして、各種制御を行う。
【００３１】
画像取得部１１は、フロントカメラＦ，リアカメラＲ，右サイドカメラＳＲ，左サイドカメラＳＬのそれぞれから画像を取得する。なお、上述したように、本実施形態のカメラＣは撮影画像としてデジタル動画を出力するものであるため、画像取得部１１はカメラＣから取得した動画から１フレームを抽出して静止画像（以下、画像と略称する）を生成する。このとき、全てのカメラＣの動画から同じタイムフレームを抽出することが望ましい。
【００３２】
前処理部１２は、取得した画像に対して前処理を施す。本実施形態では、前処理として平滑化処理を施しており、これにより、路面のアスファルト等のざらつきによる障害物の誤検出を抑制している。平滑化処理は、Gaussianフィルタ等の公知の方法を用いることができる。また、前処理部１２では必要に応じて他の画像処理を行っても構わない。
【００３３】
視点変換部１３は、画像の視点変換を行い、視点変換画像を生成する。例えば、カメラＣにより撮影された画像を、車両Ｖの上方に鉛直下向きの視点を有する仮想的なカメラから撮影された画像（以下、トップビュー画像と称する）に変換したり、一のカメラＣにより撮影された画像を他のカメラＣの視点位置から撮影された画像に視点変換したりする。後者の場合には、例えば、左サイドカメラＳＬにより撮影された画像をフロントカメラＦの視点位置から撮影された画像に視点変換する。なお、視点変換は、公知の方法を用いることができる。
【００３４】
画像差分部１４は、２つの画像間の差分を算出し、差分画像（本発明の比較画像の例）を生成する。差分の方法は、画素値、特に、輝度値の差の絶対値や正規化自己相関等を用いることができるが、本実施形態では、各画素位置における画素値の勾配方向のヒストグラム（以下、ＨＯＧ（Histgrams of Oriented Gradients）と称する）を用いた差分を行っている。そのため、画像差分部１４は、画像の各画素位置における画素値の勾配方向を算出する勾配方向算出部１４ａ、画像の各画素位置におけるＨＯＧを算出するヒストグラム生成部１４ｂ、２つの画像の各画素位置におけるＨＯＧに基づいて、その画素位置における差分値を算出する画素差分部１４ｃを備えている。なお、本実施形態では、比較情報として差分画像を用いているが、比較情報はこれに限定されるものではない。例えば、注目画素の周囲領域の輝度の類似度（ＮＣＣ，ＳＡＤ等）を比較情報とすることもできる。
【００３５】
勾配方向算出部１４ａは、画像を構成する各画素の画素位置における画素値の勾配方向を算出する。なお、本実施形態では、画素値として輝度値を用い、カメラＣがカラーカメラの場合には、前処理部１２において画像をモノクロ変換しておく。例えば、画素位置（ｘ，ｙ）における画素値をｆ（ｘ，ｙ）とすると、画素位置（ｘ，ｙ）におけるｘ方向の変化量ΔｘはΔｘ＝２ｆ（ｘ＋１，ｙ）−２ｆ（ｘ−１，ｙ）、ｙ方向における変化量ΔｙはΔｙ＝２ｆ（ｘ，ｙ＋１）−２ｆ（ｘ，ｙ−１）と表すことができ、勾配角度θはθ＝ｔａｎ―1（Δｙ／Δｘ）となる。ただし、この算出方法では、実際の勾配方向がθであるかθ＋πであるかが不明である。そのため、本実施形態では、Δｘが正の場合のθ（−π／２＜θ＜π／２）を４段階に符号化した値を勾配方向するとともに、Δｘが負の場合のθ（−π／２≦θ≦π／２）を４段階に符号化した値を勾配方向としている。具体的には、０≦θ＜π／４およびπ／４≦θ＜π／２のそれぞれに対して符号（勾配方向）０，１を割り当て、−π／２＜θ≦−π／４および−π／４＜θ＜０のそれぞれに対して勾配方向６，７を割り当てる。そして、Δｘが負の場合には、（勾配方向＋４）ｍｏｄ８を勾配方向とする。ここで、「ｍｏｄ」は剰余を算出する演算子である。これにより、算出された勾配角度θは８段階の勾配方向に符号化される。なお、ΔｘおよびΔｙがともに０の場合には、無方向（＝８）としている。したがって、本実施形態では、勾配方向は、無方向と、８つの方向（有方向）とのいずれかである。
【００３６】
ヒストグラム生成部１４ｂは、勾配方向算出部１４ａにより算出された勾配方向に基づいて、画像の各画素位置におけるＨＯＧを求める。具体的には、注目画素の周囲に領域（以下、ヒストグラム生成領域と称する）を設定し、そのヒストグラム生成領域に含まれる各画素の画素位置における勾配方向を取得し、勾配方向毎の度数を積算する。この度数分布が注目画素の画素位置におけるＨＯＧとなる。注目画素を走査することにより、画像の各画素位置におけるＨＯＧを求めることができる。なお、本実施形態では、ヒストグラム生成領域は、注目画素を中心とする５×５の大きさとしているが、ヒストグラム生成領域の設定は適宜変更可能である。
【００３７】
画素差分部１４ｃは、２つの画像の各画素位置におけるＨＯＧに基づいて、その画素位置における差分値（以下、画素差分値と称する）を算出する。具体的には、第１の画像の差分対象となる画素（以下、差分対象画素と称する）の画素位置におけるＨＯＧと第２の画像の差分対象画素の画素位置におけるＨＯＧとの差異を求めて、その差分対象画素の画素位置における画素差分値とする。なお、ＨＯＧどうしの差異は、各勾配方向における度数の差の絶対値和を用いることができる。すなわち、勾配方向をｉ（＝０〜８）、第１の画像および第２の画像の差分対象画素の画素位置におけるＨＯＧをそれぞれＨＯＧ１，ＨＯＧ２とし、ＨＯＧの勾配方向ｉの度数をＨＯＧ［ｉ］とすると、差分対象画素の画素位置における画素差分値ｄは、
【数１】
と表すことができる。
【００３８】
画像差分部１４は、画素差分部１４ｃに対して、画像の各画素を順次差分対象画素として設定することにより、全画素位置における画素差分値を取得し、２つの画像間の差分を求める。
【００３９】
画像合成部２０は、各カメラＣにより撮影された画像を合成した合成画像を生成する。
【００４０】
以下に、図３のフローチャートを用いて本実施例における車両周辺撮影装置の処理の流れを説明する。なお、以下の説明では、フロントカメラＦを本発明の第１カメラおよび主カメラ、左サイドカメラＳＬを本発明の第２カメラおよび副カメラとした場合のみを説明するが、他のカメラＣについても同様の処理が行われる。
【００４１】
本実施形態では、運転者がタッチパネルＤｂを操作して、車両周辺撮影装置の作動を明示的に指示した場合に以下の処理が実行されるが、車両Ｖに搭載されている各種センサ等の出力に基づいて、制御部１０が処理を実行するか否かを判断する構成としても構わない。
【００４２】
まず、運転者がタッチパネルＤｂを操作して、車両周辺撮影装置の作動を指示すると、その指示は制御部１０により取得され、指示を取得した制御部１０は、画像取得部１１に対して画像を取得する旨の指示を送る。これに対して、画像取得部１１は主カメラおよび副カメラから画像を取得する（＃０１）。取得された画像はそれぞれ主撮影画像および副撮影画像としてメモリ（図示せず）に記憶される。
【００４３】
画像の取得が完了すると、制御部１０は、視点変換部１３に対して、副撮影画像を主カメラの視点から撮影した画像に視点変換するよう指示を送る。これに対して、視点変換部１３は、公知の方法により、副撮影画像から視点変換画像を生成する（＃０２）。生成された視点変換画像は、メモリに記憶される。なお、各カメラＣの視点位置（車両座標系中におけるカメラ原点の座標および光軸方向）または、視点変換のための変換テーブルは予めメモリ等に記録されており、視点変換処理に用いられる。
【００４４】
視点変換画像の生成が完了すると、制御部１０は、画像差分部１４に対して、主撮影画像と視点変換画像との差分を算出するように指示を送る。これに対して、画像差分部１４は主撮影画像と視点変換画像との差分を算出する（＃０３）。本実施例では、主撮影画像と視点変換画像との差分結果は、各画素位置における画素差分値を画素値とする差分画像として出力し、メモリに記憶される。
【００４５】
図４は本実施形態における画像間差分の処理の流れを表すフローチャートである。ここでは、画像間差分を行う２つの画像を第１画像および第２画像と称する。まず、勾配方向算出部１４ａは、上述の方法により、第１画像および第２画像の各画素位置における輝度値の勾配方向を算出し、２次元配列形式でメモリに記憶する（＃２１，＃２２）。
【００４６】
次に、ヒストグラム生成部１４ｂは、上述の処理により算出した各画素位置における勾配方向を用いて、上述の処理により、第１画像および第２画像の各画素位置におけるＨＯＧを算出する（＃２３，＃２４）。各画素位置におけるＨＯＧは９の要素を持つ１次元配列であるため、算出された全画素位置におけるＨＯＧは３次元配列形式でメモリに記憶される。
【００４７】
画像差分部１４は、第１画像から順次１つの画素を差分対象画素として選択し、画素差分部１４ｃに対して差分対象画素の画素位置における画素差分値を算出するよう指示を送る。
【００４８】
具体的には、まず、画像差分部１４は第１画像から位置の画素を差分対象画素として選択する（＃２５）。選択された差分対象画素の画素位置は画像差分部１４から画素差分部１４ｃ送られる。差分対象画素の画素位置を取得した画素差分部１４ｃは、メモリから第１画像の差分対象画素の画素位置におけるＨＯＧと第２画像の差分対象画素の画素位置におけるＨＯＧとを取得し、上述の式（１）により画素差分値ｄを算出する（＃２６）。算出された画素差分値ｄは画像差分部１４に送られる。
【００４９】
画像差分部１４は、メモリ上に画素差分値を記憶するための２次元配列を確保しておき、その２次元配列の差分対象画素の画素位置に対応する位置に取得した画素差分値ｄを記憶させる。
【００５０】
上述の処理が完了すると、画像差分部１４は未処理、すなわち、差分対象画素として選択していない画素の有無を判定し（＃２７）、未処理画素が存在すれば（＃２７のＹｅｓ分岐）、処理を＃２５に移行して上述の処理を繰り返す。
【００５１】
図５（ａ）および（ｂ）に、主撮影画像としてのフロントカメラＦにより撮影された画像と、副撮影画像としての左サイドカメラＳＬにより撮影された画像をフロントカメラＦの視点位置から撮影された画像に視点変換した視点変換画像の例を示す。また、図６は図５（ａ）の画像と図５（ｂ）の画像との差分画像である。なお、図５（ｂ）の視点変換画像は、図５（ａ）と位置合せを行った後、図５（ａ）と重複する部分のみをクリッピングしたものである。図に示すように、主撮影画像および視点変換画像には白線Ｗと障害物Ａとが含まれている。また、図５から明らかなように、主撮影画像中の白線Ｗと視点変換画像中の白線Ｗとは、略同じ位置となっている。したがって、主撮影画像と視点変換画像との画像間差分をとると、図６に示すように、白線Ｗに対応する領域では優位な画素差分値は算出されない。一方、図６に示すように、障害物Ａに対応する領域、特に、障害物Ａの上部に対応する領域では優位な画素差分値が算出される。したがって、差分画像内に優位な画素差分値を有する領域があるか否かを判定すれば、車両Ｖの周辺に障害物が存在するか否かを判定することができる。
【００５２】
この差分画像を運転者に提示することにより、運転者は車両Ｖの周辺に存在する障害物の有無を判断することはできるが、より運転者の判断が容易になるように、本実施形態では、表示部Ｄａにトップビュー画像を表示し、その画像中に障害物を示す指標を重畳表示している。
【００５３】
そのため、差分画像が生成されると、制御部１０は、画像合成部２０に対して、トップビュー画像の生成、および、トップビュー画像に障害物を示す指標を重畳させるよう指示を送る。これに対して、画像合成部２０は、視点変換部１２を用いて、各カメラＣの撮影画像および差分画像をトップビュー画像に視点変換する（＃１０）。なお、差分画像は主撮影画像を基準として生成されたものであるため、主撮影画像と同じ視点変換処理を受ける。
【００５４】
また、画像合成部２０は差分画像から障害物を検出する（＃１１）。上述したように、障害物は差分画像中で優位な画素値を有する領域である。そのため、差分画像に対して２値化および領域分割を施せば、障害物の領域が検出できる。また、差分画像に対してエッジ抽出および２値化を施せば、障害物の輪郭を抽出することができる。画像合成部２０は、このようにして障害物を検出し、上述の処理により合成したトップビュー画像に対して、障害物の位置を示す指標を合成する（＃１２）。このようにして生成された画像はメモリに記憶され、制御部１０の指示によって表示部Ｄａに表示される（＃１３）。
【００５５】
図７は上述の処理によって表示部Ｄａに表示される表示画像の例である。図７（ａ）では、トップビュー画像に対して障害物Ａの輪郭を表す指標Ｅを合成している。一方、図７（ｂ）では、トップビュー画像に対して障害物Ａの路面との接地位置を示す指標Ｅを合成している。なお、この例では、トップビュー画像を合成する際に、フロントカメラＦの撮影範囲と左サイドカメラＳＬの撮影範囲との重複する範囲は双方の画像を合成しているため、障害物Ａの形状は実際の形状とは異なっている。
【実施例２】
【００５６】
図８は本実施例における車両周辺撮影装置の機能ブロック図である。なお、実施例１と同様の機能部に対しては実施例１と同じ符号を付しており、詳細な説明は省略する。本実施例の車両周辺撮影装置は、画像のエッジ抽出を行うエッジ抽出部１５、２つの画像に対して論理積を施した積画像を生成する積画像生成部１６を備えている点において実施例１と異なっている。
【００５７】
エッジ抽出部１５は、画像からエッジ抽出を行う。エッジの抽出は、ＣａｎｎｙアルゴリズムやＳｏｂｅｌオペレータ等の公知の方法を用いることができる。なお、Ｓｏｂｅｌオペレータを使用すると実際のエッジの両側にエッジが検出されるため、膨張処理および細線化処理を施しておくことが望ましい。
【００５８】
積画像生成部１６は、２つの画像において対応する画素位置の画素値の論理積を算出し、その論理積の値を画素値とする積画像を生成する。なお、本発明における論理積とは一般的な論理積の概念を拡張したものであり、第１の画素値および第２の画素値がともに優位な値（例えば、閾値よりも大きい値）を有している場合にこれらの論理積が優位な値（固定値であっても、所定の値よりも大きい値であっても構わない）となり、それ以外の場合にはこれらの論理積は劣位（例えば、閾値以下の場合）な値となるものである。したがって、２つの画像がともに２値画像であれば本発明における論理積は一般的なａｎｄオペレータとなる。
【００５９】
一方、画像が多値の場合には次のようにして論理積を算出することができる。例えば、真値を１（優位な値）、偽値を０（劣位な値）とし、第１の画素値をｐ１、第２の画素値をｐ２とすると、第１の画素値ｐ１と第２の画素値ｐ２との論理積は（ｐ１＞ＴＨ１）＆（ｐ２＞ＴＨ２）なる論理演算の結果とすることができる。この場合、第１の画素値ｐ１が閾値ＴＨ１よりも大きく、かつ、第２の画素値ｐ２が閾値ＴＨ２よりも大きい、すなわち、両方の画素値が優位な値である場合にのみ、上述の論理演算の結果は真値となる。この場合には、積画像は２値画像となる。なお、閾値ＴＨ１と閾値ＴＨ２とは同じ値であっても構わないし、異なる値であっても構わない。また、閾値ＴＨ１と閾値ＴＨ２とは固定値であっても構わないし、大津の判別分析法等の方法等によって画像の画素値の分布に応じて定められた値であっても構わない。
【００６０】
このように、論理積の概念を拡張することにより、画像を予め２値化することなく、画像間の論理積を算出することができる。そのため、２値画像を記憶するためのメモリが不要となり、車両周辺撮影装置のメモリ容量が小さい場合には有利となる。
【００６１】
図９は本実施例における画像周辺撮影装置の処理の流れを表すフローチャートである。なお、＃０１から＃０３、および、＃１０〜＃１３までの処理は実施例１と同様であるため、詳細な説明は省略する。
【００６２】
制御部１０は、差分画像の生成が完了すると、エッジ抽出部１５に対して主撮影画像のエッジ抽出を行うよう指示を送る。エッジ抽出部１５はこの指示を受けて、主撮影画像に対してＣａｎｎｙアルゴリズムを適用してエッジ画像を生成する（＃０４）。なお、本実施形態では、エッジ抽出部１５は、生成されたエッジ画像に対して膨張処理を施している。このようにして生成されたエッジ画像（２値画像）はメモリに記憶される。なお、本実施例におけるエッジ画像では、エッジ画素の画素値を１（優位な値）、非エッジ画素の画素値を０（劣位な値）としている。
【００６３】
制御部１０は、エッジ画像の生成が完了すると、積画像生成部１６に対して、差分画像と主撮影画像のエッジ画像とから積画像を生成するよう指示を送る。この指示を受けた積画像生成部１６は、上述の処理により積画像を生成する（＃０５）。なお、本実施例では、差分画像が多値画像、エッジ画像が２値画像であるため、差分画像の画素値をｐ１、エッジ画像の画素値をｐ２とすると、論理演算式は（ｐ１＞ＴＨ１）＆ｐ２となる。このようにして生成された積画像はメモリに記憶される。
【００６４】
制御部１０は、積画像の生成が完了すると、画像合成部２０に対して合成画像の生成を指示し、生成された合成画像を表示部Ｄａに表示する（＃１０〜＃１３）。なお、実施例１では＃１１の処理において差分画像から障害物を検出したが、本実施例では差分画像から障害物の領域を抽出することに代えて、積画像において真値を有する領域を障害物の領域とする。
【００６５】
図１０（ａ）は第１画像のエッジ画像の例であり、エッジ画像には主撮影画像における障害物の輪郭や路面の白線等の輪郭が含まれている。図１０（ｂ）はこのエッジ画像と図６の差分画像とから生成した積画像の例である。図から明らかなように、積画像には白線等の領域が含まれておらず、差分画像では正確に検出されていなかった障害物の輪郭形状がより正確に検出されている。したがって、この障害物の輪郭形状を用いれば、図１１に示すように、正確な障害物Ａの輪郭形状を示す指標Ｅを合成したトップビュー画像を合成することができる。
【００６６】
本実施例では、このように、主撮影画像のエッジと差分画像との積画像に基づいて障害物の領域を抽出している。そのため、本実施例によれば、実施例１において誤検出された障害物の領域であって、障害物の輪郭付近にない領域を除外することができる。そのため、実施例１に比べて、より高精度な障害物の領域の抽出を行うことができる。
【実施例３】
【００６７】
図１２は本実施例における画像周辺撮影装置の機能ブロック図である。なお、実施例２と同様の機能部に対しては実施例２と同じ符号を付しており、詳細な説明は省略する。本実施例の車両周辺撮影装置は、画像に対して領域分割処理を施す領域分割部１７、障害物画像生成部１８を備えている。
【００６８】
領域分割部１７は、画像の画素値（ＲＧＢ値等のカラー値であっても輝度値であっても構わない）に基づいて領域分割処理を行い、ラベリング画像を生成する。なお、ラベリング画像とは、領域分割処理において同じ領域に属すると判定された画素に同じ画素値（ラベル値）を付与した画像である。領域分割は、グラフカット、Ｍｅａｎ−Ｓｈｉｆｔ等の公知の手法を用いることができる。
【００６９】
障害物画像生成部１８は、領域分割された各々の領域と積画像において真値を有する領域との類似性に基づいて障害物の領域を抽出した障害物画像を生成する。なお、障害物画像とは、障害物であると判定された領域に属する画素の画素値を真値とした画像である。
【００７０】
上述したように、積画像において真値を有する領域は障害物の輪郭形状を表している。したがって、障害物画像生成部１８は、領域分割された各々の領域と、積画像に表されている輪郭との類似性に基づいて障害物の領域を求めている。なお、領域と輪郭との類似性の尺度は様々なものを利用することができる。例えば、比較対象の輪郭と、比較対象の領域の輪郭との一致性や、比較対象の輪郭により囲まれた領域と比較対象の領域との一致性等を用いることができる。
【００７１】
図１３は本実施例における画像周辺撮影装置の処理の流れを表すフローチャートである。なお、＃０１から＃０５、および、＃１０〜＃１３までの処理は実施例２と同様であるため、詳細な説明は省略する。
【００７２】
制御部１０は、積画像の生成が完了すると、領域分割部１７に対して、主撮影画像および積画像の領域分割を行うよう指示を送る。指示を受けた領域分割部１７は主撮影画像を領域分割し、第１ラベリング画像を生成する（＃０６）。また、積画像を領域分割し、第２ラベリング画像を生成する（＃０７）。これらのラベリング画像はメモリに記憶される。
【００７３】
制御部１０は、領域分割が完了すると、障害物画像生成部１８に対して障害物画像を生成するよう指示を送る。指示を受けた障害物画像生成部１８は、障害物画像を生成し、メモリに記憶する（＃０８）。
【００７４】
図１４は、障害物画像生成処理の流れを表すフローチャートである。まず、第１ラベリング画像から一の領域（以下、第１領域と称する）を選択する（＃３１）。また、第２ラベリング画像から一の領域（以下、第２領域と称する）を選択する（＃３２）。そして、第１領域と第２領域との類似性を算出する（＃３３）。このとき、使用する類似性の尺度に応じて第１領域および第２領域の特徴量の算出が行われる。なお、予め領域の特徴量を求めておき、メモリに記憶させておいても構わない。
【００７５】
算出された類似性が所定の閾値よりも大きければ（＃３４のＹｅｓ分岐）、第１領域を障害物の領域とし、メモリ上に確保された障害物領域画像用の２次元配列の第１領域に対応する画素値に真値を代入する（＃３５）。
【００７６】
第２ラベリング画像において未処理の領域が存在すれば（＃３６のＹｅｓ分岐）、処理を＃３２に移行させ、上述の処理を繰り返す。一方、第２ラベリング画像において未処理の領域が存在しなければ（＃３６のＮｏ分岐）、第１ラベリング画像において未処理の領域が存在するか否かが判定され（＃３７）、未処理の領域が存在すれば（＃３７のＹｅｓ分岐）、処理を＃３１に移行させ、上述の処理が繰り返される。
【００７７】
本実施例では、このように、主撮影画像の各領域と積画像において真値を有する領域、すなわち、実施例２で障害物として抽出された領域との類似性に基づいて、障害物の領域を抽出している。そのため、本実施例によれば、実施例２において誤検出された障害物の領域であって、主撮影画像の領域と整合しない形状等を有する領域を除外することができる。そのため、実施例２に比べて、より高精度な障害物の領域の抽出を行うことができる。
【実施例４】
【００７８】
上述の実施例１から実施例３では、第１カメラ（上述の実施例では、フロントカメラＦ）を主カメラ、第２カメラ（上述の実施例では、左サイドカメラＳＬ）を副カメラとして処理を行った。これに対して、本実施例では、第１カメラを主カメラ、第２カメラを副カメラとした処理結果（出力画像）と、第１カメラを副カメラ，第２カメラを主カメラとした処理結果（出力画像）とを統合した結果を出力する。なお、処理結果の統合は、例えば、両方の処理結果において、障害物の領域が対応する位置になければ、処理結果から除外する。これにより、障害物の領域の障害物としての確からしさがダブルチェックされ、抽出精度を高めることができる。なお、両方の処理結果における障害物の領域の位置の対応関係は主カメラと副カメラとの姿勢に基づいて検証することができる。また、視点変換等の誤差により、両方の処理結果における障害物の領域は完全に対応する位置とはならない可能性がある。その場合には、車両Ｖに近い側の障害物の領域を使用することが望ましい。
【００７９】
〔実施例１への適用〕
図１５は本実施例の処理を実施例１の処理に適用した場合の処理の流れを模式的に表す図である。まず、実施例１と同様に第１カメラを主カメラ、第２カメラを副カメラとして、差分画像（以下、第１差分画像と称する）の生成を行う（＃０２〜＃０３）。また、第２カメラを主カメラ、第１カメラを副カメラとして、差分画像（以下、第２差分画像と称する）の生成を行う（＃０２’〜＃０３’）。そして、第１差分画像と第２差分画像とを統合して出力画像としての差分画像を生成する。
【００８０】
〔実施例２への適用〕
実施例２の処理において、実施例１の処理により生成された差分画像に代えて、図１５の処理により生成された差分画像（出力画像）を用いても構わない。また、図１６に模式的に示す処理を行っても構わない。まず、実施例２と同様に第１カメラを主カメラ、第２カメラを副カメラとして、積画像（以下、第１積画像と称する）の生成を行う（＃０２〜＃０５）。また、第２カメラを主カメラ、第１カメラを副カメラとして、積画像（以下、第２積画像と称する）の生成を行う（＃０２’〜＃０５’）。そして、第１積画像と第２積画像とを統合して出力画像としての積画像を生成する。また、この図１６の処理における差分画像の生成処理を図１５の処理に置き換えても構わない。
【００８１】
〔実施例３への適用〕
実施例３の処理において、実施例２の処理により生成された積画像に代えて、図１６の処理により生成された積画像（出力画像）を用いても構わない。また、図１７に模式的に示す処理を行っても構わない。まず、実施例３と同様に第１カメラを主カメラ、第２カメラを副カメラとして、障害物画像（以下、第１障害物画像と称する）の生成を行う（＃０２〜＃０８）。また、第２カメラを主カメラ、第１カメラを副カメラとして、障害物画像（以下、第２障害物画像と称する）の生成を行う（＃０２’〜＃０８’）。そして、第１障害物画像と第２障害物画像とを統合して出力画像としての障害物画像を生成する。また、この図１７の処理における差分画像の生成処理を図１５の処理に置き換えても構わないし、積画像の生成処理を図１６の処理に置き換えても構わない。
【００８２】
〔別実施形態〕
（１）上述の実施形態では、４つのカメラＣの撮影画像を合成したトップビュー画像を生成してディスプレイに表示する構成としたが、一部のカメラＣの撮影画像を用いた表示を行う構成としても構わない。この場合には、車両Ｖに搭載されている様々なセンサ等の出力に基づいて使用するカメラを選択する構成とすることもできる。例えば、ステアリングの操舵角を検出するステアリングセンサの出力とシフトレバーの操作位置を検出するシフトレバーセンサの出力とに基づいて車両Ｖの進行方向を判定し、その進行方向側のカメラＣの撮影画像を用いた表示を行う構成とすることができる。具体的には、ステアリングセンサの操舵角が左方向であり、シフトレバーセンサの出力が後進（＝Ｒ）の場合には、車両Ｖの進行方向は左後方であるため、左サイドカメラＳＬとリアカメラＲとの撮影画像を用いた表示を行う。
【００８３】
（２）また、撮影画像を合成せずに、各々のカメラＣにより撮影された画像をそのまま表示しても構わない。なお、この場合にも障害物を示す指標Ｅを重畳させることが望ましい。
【産業上の利用可能性】
【００８４】
本発明は、撮影領域の一部が互いに重複するように車両に搭載された複数のカメラにより車両の周辺の情景を撮影する車両周辺撮影技術に適用することができる。
【符号の説明】
【００８５】
Ｃ：カメラ
Ｆ：フロントカメラ
Ｒ：リアカメラ
ＳＲ：右サイドカメラ
ＳＬ：左サイドカメラ
１３：視点変換部
１４：画像差分部（画像情報比較部）
１５：エッジ抽出部
１６：積画像生成部
１７：領域分割部
１８：障害物画像生成部
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の周辺の情景を撮影する第１カメラと、
前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラと、
前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された画像を主撮影画像とするとともに当該副カメラにより撮影された画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、
前記主撮影画像と前記視点変換画像とを比較した比較情報を生成する画像情報比較部、とを備えた車両周辺撮影装置。
【請求項２】
前記主撮影画像からエッジを抽出したエッジ画像を生成するエッジ抽出部と、
前記比較情報としての差分画像と前記エッジ画像との画素値に論理積を施した積画像を生成し、当該積画像を出力画像として出力する積画像生成部と、を備えた請求項１記載の車両周辺撮影装置。
【請求項３】
前記主撮影画像を領域分割する領域分割部と、
前記領域分割された各々の領域と前記積画像において真値を有する領域との類似性に基づいて障害物の領域を抽出した障害物画像を生成し、前記積画像に代えて当該障害物画像を前記出力画像として出力する障害物画像生成部と、を備えた請求項２記載の車両周辺撮影装置。
【請求項４】
前記第１カメラを前記主カメラとして前記出力画像を第１出力画像として生成するとともに、前記第２カメラを前記主カメラとして前記出力画像を第２出力画像として生成し、
前記第１出力画像と前記第２出力画像とに基づいて障害物を示す画素を所定の画素値に設定した画像を出力画像として出力する請求項１から３のいずれか一項に記載の車両周辺撮影装置。
【請求項５】
車両に搭載され、当該車両の周辺の情景を撮影する第１カメラから撮影画像を取得するステップと、
前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラから撮影画像を取得するステップと、
前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された前記撮影画像を主撮影画像とするとともに当該副カメラにより撮影された前記撮影画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成するステップと、
前記主撮影画像と前記視点変換画像とを比較した比較情報を生成するステップと、を備えた車両周辺画像の処理方法。
【請求項１】
車両に搭載され、当該車両の周辺の情景を撮影する第１カメラと、
前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラと、
前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された画像を主撮影画像とするとともに当該副カメラにより撮影された画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、
前記主撮影画像と前記視点変換画像とを比較した比較情報を生成する画像情報比較部、とを備えた車両周辺撮影装置。
【請求項２】
前記主撮影画像からエッジを抽出したエッジ画像を生成するエッジ抽出部と、
前記比較情報としての差分画像と前記エッジ画像との画素値に論理積を施した積画像を生成し、当該積画像を出力画像として出力する積画像生成部と、を備えた請求項１記載の車両周辺撮影装置。
【請求項３】
前記主撮影画像を領域分割する領域分割部と、
前記領域分割された各々の領域と前記積画像において真値を有する領域との類似性に基づいて障害物の領域を抽出した障害物画像を生成し、前記積画像に代えて当該障害物画像を前記出力画像として出力する障害物画像生成部と、を備えた請求項２記載の車両周辺撮影装置。
【請求項４】
前記第１カメラを前記主カメラとして前記出力画像を第１出力画像として生成するとともに、前記第２カメラを前記主カメラとして前記出力画像を第２出力画像として生成し、
前記第１出力画像と前記第２出力画像とに基づいて障害物を示す画素を所定の画素値に設定した画像を出力画像として出力する請求項１から３のいずれか一項に記載の車両周辺撮影装置。
【請求項５】
車両に搭載され、当該車両の周辺の情景を撮影する第１カメラから撮影画像を取得するステップと、
前記車両に搭載され、前記第１カメラの撮影範囲と部分的に重複する撮影範囲を撮影する第２カメラから撮影画像を取得するステップと、
前記第１カメラと前記第２カメラとの一方を主カメラとするとともに他方を副カメラとし、当該主カメラにより撮影された前記撮影画像を主撮影画像とするとともに当該副カメラにより撮影された前記撮影画像を副撮影画像として、当該副撮影画像を当該主カメラの視点位置から撮影された画像に視点変換した視点変換画像を生成するステップと、
前記主撮影画像と前記視点変換画像とを比較した比較情報を生成するステップと、を備えた車両周辺画像の処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１１５７３８（Ｐ２０１３−１１５７３８Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２４９８（Ｐ２０１１−２６２４９８）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]