説明

画像間差分装置および画像間差分方法

【課題】外乱の影響を受け難いロバストな画像間差分技術を提供する。
【解決手段】勾配方向算出部14aは、画像を構成する各々の画素の画素位置における画素値の勾配方向を求める。ヒストグラム生成部14bは、各々の画素を対象画素として設定するとともに、対象画素の周囲にヒストグラム算出領域を設定し、ヒストグラム算出領域に含まれる画素の画素位置における勾配方向の度数分布を対象画素の画素位置におけるヒストグラムとして生成する。画素差分部14cは、第1の画像の差分対象画素の画素位置におけるヒストグラムと、第2の画像の比較対象画素の画素位置におけるヒストグラムと、の差分値を差分対象画素と比較対象画素との画素差分値として算出する。画像差分部14は、差分対象画素の画素位置における画素値を画素差分値に基づいて設定することにより差分画像を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2つの画像間の差分を算出する画像間差分技術に関する。
【背景技術】
【0002】
画像間差分は画像処理分野において非常によく用いられる方法である。例えば、特許文献1の技術では、撮影範囲が部分的に重複する複数台の撮像装置によって撮像された画像を仮想視点から見た鳥瞰図画像に変換し、それぞれの鳥瞰図画像間の差分を求めることにより、障害物を検出する技術にも用いられている。また、特許文献2の技術では、背景のみが撮影された背景画像と、背景と移動体とが撮影された画像との差分画像を2値化し、時系列に沿ったこの2値化画像に基づいて移動体の動きを検出している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−048317号公報
【特許文献2】特開2006−059252号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような技術をはじめとして、画像処理においては、高精度に移動体や障害物を検出するためには、外乱の影響等を受けにくいロバストな画像間差分技術が求められている。しかしながら、上述の特許文献では単に画素値間の差分を行っているだけで、画像間差分におけるロバスト性の向上には言及していない。
【0005】
本発明は上記課題に鑑みてなされたものであり、その目的は、外乱の影響を受け難いロバストな画像間差分技術を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の画像間差分装置は、画像を構成する各々の画素の画素位置における画素値の勾配方向を求める勾配方向算出部と、各々の前記画素を対象画素として設定するとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる前記画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するヒストグラム生成部と、第1の前記画像の差分対象となる前記画素の画素位置における第1の前記ヒストグラムと、第2の前記画像の比較対象となる前記画素の画素位置における第2の前記ヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出する画素差分部と、前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成する画像差分部と、を備えている。
【0007】
この構成では、画像間差分を算出する際の特徴量として、画素位置における画素値の勾配方向のヒストグラム(以下、HOG(Histgrams of Oriented Gradients)と称する)を用いている。このHOGは、注目する画素を含む所定の大きさの領域に含まれる画素の画素位置における画素値の勾配方向の度数分布を表している。画素値の勾配方向とは、ある画素の画素値とその画素に隣接する画素の画素値との関係を示すものである。そのため、例えば、ある画像と、その画像全体の輝度を明るくした画像とでは、上述のHOGは略同一となる。したがって、HOGを特徴量とすることにより、画素値変化等に対してロバストな画像間差分を行うことができる。
【0008】
本発明の画像間差分装置の好適な実施形態の一つでは、第1のカメラと、当該第1のカメラの撮影範囲と部分的に重複する撮影範囲を有する第2のカメラと、により撮影された撮影画像を取得する画像取得部と、前記第2のカメラにより撮影された前記撮影画像を前記第1のカメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、を備え、前記第1の画像が前記第1のカメラにより撮影された前記撮影画像であり、前記第2の画像が前記視点変換画像である。
【0009】
この構成では、視点変換を施されていない画像と、視点変換を施されている画像との間で画像間差分が行われる。視点変換を行う場合には画素値の補間処理等が行われるため、そのような処理を施された画素周辺では、画像の歪等が生じる。そのため、単に輝度値等に基づいた画像間差分を行うと、そのような歪を生じた箇所では正確な差分値が得られ難く、誤検出等の原因となる。これに対して、本発明では、上述したようにHOGを特徴量として用いているため、そのような歪が生じた場合でも、安定した画像間差分を行うことができる。
【0010】
本発明の画像間差分装置の好適な実施形態の一つでは、前記第2の画像における前記差分対象となる前記画素の周囲に所定の大きさの領域を設定し、前記画素差分部に対して当該領域に含まれる画素を順次前記比較対象となる画素として設定することにより、前記第1の画像の前記差分対象となる画素と前記第2の画像の前記領域に含まれる各々の画素との前記画素差分値を算出させ、当該各々の画素差分値に基づいて前記差分対象となる画素の画素位置における前記画素差分値を算出する領域差分部を備えている。
【0011】
この構成では、差分対象となる画素に対する画素差分値を算出する際に、その差分対象となる画素の画素位置におけるHOGと、一の比較対象となる画素の画素位置におけるHOGとだけを比較するのではなく、差分対象となる画素位置におけるHOGと、差分対象となる画素の周囲に設定された領域に含まれる各々の画素の画素位置におけるHOGとに基づいて差分値を算出している。換言すると、画素対画素の比較を行うのではなく、画素対領域の比較により画素差分値を算出している。これにより、2つの画像間で多少の位置ずれ等が生じていても、安定した画像間差分を行うことができる。
【0012】
上述のように、画素と領域とを比較して差分値を算出すると、演算量の増大により処理速度が低下するため、好ましくない。そのため、本発明の画像間差分装置の好適な実施形態の一つでは、前記領域差分部は、画素差分部によって前記第1の画像の前記差分対象となる画素と前記第2の画像の前記領域に含まれる各々の画素との前記画素差分値を算出する際に、算出された当該差分対象となる画素と当該領域に含まれる前記比較対象となる画素との前記画素差分値が所定の閾値以下であれば、当該差分対象となる画素と当該領域に含まれる前記画素との前記画素差分値の算出を打ち切り、前記差分対象となる画素の画素位置における画素差分値として差異がないことを示す値を設定する。
【0013】
この構成では、領域差分部が差分対象画素と第2画像において設定された領域に含まれる各々の画素とから各々の画素差分値を算出する際に、算出された画素差分値が閾値以下となった場合に、それ以降の画素差分値の算出を打ち切り、差異がないことを示す値を差分対象画素に対する画素差分値として設定する。これにより、不要な画素差分値の算出を回避することができ、演算量および速度低下を抑制することができる。
【0014】
単調な風景を撮影したような画像では、勾配方向が得られない(すなわち、無方向)画素が多くなり、そのような画像においてHOGを算出すると無方向の度数が優位となる。本発明の画像間差分装置の好適な実施形態の一つでは、このような画像の特性に鑑みて、前記勾配方向は無方向および複数の有方向を含み、前記画素差分部は、前記第1のヒストグラムの前記無方向の度数と前記第2のヒストグラムの前記無方向の度数との差を算出し、当該差の絶対値が所定の閾値よりも大きい場合には、前記有方向の度数の差を算出せずに、前記第1のヒストグラムと前記第2のヒストグラムとが差異を有することを示す値を前記画素差分値とする。
【0015】
この構成では、HOGどうしの差異を算出する際に、最初に無方向の度数どうしの差を算出し、その差の絶対値が閾値よりも大きい場合に、以降の演算を打ち切り、第1のヒストグラムと第2のヒストグラムとが差異を有することを示す値を画素差分値として出力している。これにより、演算量および速度低下を抑制することができる。
【0016】
また、上記課題を解決するため、本発明の画像間差分方法は、第1の画像の各画素位置における画素値の勾配方向を求めるステップと、第2の画像の各画素位置における画素値の勾配方向を求めるステップと、前記第1の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、前記第2の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、前記第1の画像の各画素を差分対象画素とし、当該第1の画像の当該差分対象画素の画素位置における第1のヒストグラムと、前記第2の画像の比較対象となる前記画素の画素位置における第2のヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出するステップと、前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成するステッププと、を備えている。当然ながら、このような画像間差分方法にも、上述した画像間差分装置の付加的特徴を適用することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の画像間差分装置が適用された車両周辺撮影装置を搭載した車両の平面図である。
【図2】実施例1における車両周辺撮影装置の機能ブロック図である。
【図3】実施例1における車両周辺撮影装置の処理の流れを表すフローチャートである。
【図4】実施例1における画像間差分の処理の流れを表すフローチャートである。
【図5】フロントカメラの撮影画像と左サイドカメラの撮影画像をフロントカメラの視点位置から撮影した画像に視点変換した視点変換画像の例である。
【図6】第1画像と第2画像の視点変換画像との差分画像の例である。
【図7】実施例1における表示画像の例である。
【図8】実施例2における車両周辺撮影装置の機能ブロック図である。
【図9】実施例2における画素差分値の算出の処理の流れを表すフローチャートである。
【図10】計算の打ち切りを導入した実施例2における画素差分値の算出の処理の流れを表すフローチャートである。
【発明を実施するための形態】
【実施例1】
【0018】
以下に、図面を用いて本発明の画像間差分装置の実施形態を説明する。本実施形態では、画像間差分装置を車両周辺撮影装置に適用している。図1は本実施形態の車両周辺撮影装置を搭載した車両Vの平面図である。本実施形態の車両Vは、前方,後方,右方および左方をそれぞれ撮影するフロントカメラF,リアカメラR,右サイドカメラSR,左サイドカメラSLを備えている。なお、特にこれらを区別する必要がない場合は、カメラCと総称する。
【0019】
カメラCは、車両Vの周辺の情景、特に、車両Vの周囲に存在する立体物である障害物を撮影可能に設置されている。そのため、カメラCは、その光軸が水平よりも少し下方に向くように設置されている。
【0020】
また、カメラCは広角レンズを備えており、隣接するカメラCの撮影範囲は互いに部分的に重複している。図1には、カメラCとともにその撮影範囲および撮影範囲が重複する領域(ハッチング部分)を示している。例えば、フロントカメラFの撮影範囲と右サイドカメラSRの撮影範囲とは車両Vの右前方において重複している。すなわち、フロントカメラFおよび右サイドカメラSRはいずれも、車両Vの右前方を撮影することができる。
【0021】
なお、フロントカメラFと右サイドカメラSR、右サイドカメラSRとリアカメラR、リアカメラRと左サイドカメラSL、左サイドカメラSLとフロントカメラFのそれぞれの組み合わせが本発明の第1のカメラ(以下、第1カメラと称する)と第2のカメラ(以下、第2カメラと称する)となる。なお、第1カメラと第2カメラとは入れ換えても構わない。
【0022】
本実施形態では、カメラCは、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を撮影し、デジタル変換して動画データを出力するデジタルカメラを用いている。
【0023】
また、図2に示すように、車両Vの車内には各種表示を行うディスプレイDが備えられている。本実施例では、ディスプレイDは、ナビゲーションシステムのモニタ装置を兼用している。そのため、ディスプレイDは、表示部Daおよび表示部Da上に形成されたタッチパネルDbを有している。表示部Daは液晶ディスプレイによって構成することができ、タッチパネルDbは、表示部Daと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置により構成することができる。
【0024】
図2は、本実施例における車両周辺撮影装置のシステム構成図である。本実施例における車両周辺撮影装置は、CPU(central processing unit)を中核としてメモリ、その他の周辺回路と共に構成されたECU(electronic control unit)1を備えている。当然ながら、CPUに代えて、DSP(digital signal processor)など、他の論理演算プロセッサや論理回路を中核として構成しても構わない。
【0025】
カメラCにより撮影された車両Vの周辺の情景はこのECU1に入力される。また、ECU1は、各種情報やカメラCによって撮影された撮影画像や撮影画像を処理した画像等を表示部Daに表示したり、運転者がタッチパネルDbを操作した情報を取得したりする機能を備えている。
【0026】
また、ECU1は車内ネットワーク(図示せず)を介して種々のシステムやセンサと通信可能に接続されている。車内ネットワークとしてはCAN(controller area network)を用いることができる。
【0027】
図に示すように、ECU1は、制御部10と、カメラCによって撮影された撮影画像を取得する画像取得部11と、取得した撮影画像に前処理を施す前処理部12と、撮影画像を任意の視点から撮影された画像に視点変換した視点変換画像を生成する視点変換部13と、画像間の差分を算出する画像差分部14と、各カメラCにより撮影された画像を合成する画像合成部20と、を備えている。なお、これらの機能部は、ソフトウェアとCPUとが協働することにより実現されているが、ハードウェアを用いて実現しても構わない。
【0028】
制御部10は、ECU1に構成されている各機能部全体の処理の流れの制御をはじめとして、各種制御を行う。
【0029】
画像取得部11は、フロントカメラF,リアカメラR,右サイドカメラSR,左サイドカメラSLのそれぞれから画像を取得する。なお、上述したように、本実施形態のカメラCは撮影画像としてデジタル動画を出力するものであるため、画像取得部11はカメラCから取得した動画から1フレームを抽出して静止画像(以下、画像と略称する)を生成する。このとき、全てのカメラCの動画から同じタイムフレームを抽出することが望ましい。
【0030】
前処理部12は、取得した画像に対して前処理を施す。本実施形態では、前処理として平滑化処理を施しており、これにより、路面のアスファルト等のざらつきによる障害物の誤検出を抑制している。平滑化処理は、Gaussianフィルタ等の公知の方法を用いることができる。また、前処理部12では必要に応じて他の画像処理を行っても構わない。
【0031】
視点変換部13は、画像の視点変換を行い、視点変換画像を生成する。例えば、カメラCにより撮影された画像を、車両Vの上方に鉛直下向きの視点を有する仮想的なカメラから撮影された画像(以下、トップビュー画像と称する)に変換したり、一のカメラCにより撮影された画像を他のカメラCの視点位置から撮影された画像に視点変換したりする。後者の場合には、例えば、左サイドカメラSLにより撮影された画像をフロントカメラFの視点位置から撮影された画像に視点変換する。なお、視点変換は、公知の方法を用いることができる。
【0032】
本発明の画像間差分装置としての画像差分部14は、2つの画像間の差分を算出し、差分画像を生成する。画像間差分部14は、画像の各画素位置におけるHOGに基づいて差分を行っている。そのため、画像差分部14は、画像の各画素位置における画素値の勾配方向を算出する勾配方向算出部14a、画像の各画素位置におけるHOGを算出するヒストグラム生成部14b、2つの画像の各画素位置におけるHOGに基づいて、その画素位置における差分値を算出する画素差分部14cを備えている。
【0033】
勾配方向算出部14aは、画像を構成する各画素の画素位置における画素値の勾配方向を算出する。なお、本実施形態では、画素値として輝度値を用い、カメラCがカラーカメラの場合には、前処理部12において画像をモノクロ変換しておく。例えば、画素位置(x,y)における画素値をf(x,y)とすると、画素位置(x,y)におけるx方向の変化量ΔxはΔx=2f(x+1,y)−2f(x−1,y)、y方向における変化量ΔyはΔy=2f(x,y+1)−2f(x,y−1)と表すことができ、勾配角度θはθ=tan―1(Δy/Δx)となる。ただし、この算出方法では、実際の勾配方向がθであるかθ+πであるかが不明である。そのため、本実施形態では、Δxが正の場合のθ(−π/2<θ<π/2)を4段階に符号化した値を勾配方向するとともに、Δxが負の場合のθ(−π/2≦θ≦π/2)を4段階に符号化した値を勾配方向としている。具体的には、0≦θ<π/4およびπ/4≦θ<π/2のそれぞれに対して符号(勾配方向)0,1を割り当て、−π/2<θ≦−π/4および−π/4<θ<0のそれぞれに対して勾配方向6,7を割り当てる。そして、Δxが負の場合には、(勾配方向+4)mod8を勾配方向とする。ここで、「mod」は剰余を算出する演算子である。これにより、算出された勾配角度θは8段階の勾配方向に符号化される。なお、ΔxおよびΔyがともに0の場合には、無方向(=8)としている。したがって、本実施形態では、勾配方向は、無方向と、8つの方向(有方向)とのいずれかである。
【0034】
ヒストグラム生成部14bは、勾配方向算出部14aにより算出された勾配方向に基づいて、画像の各画素位置におけるHOGを求める。具体的には、注目画素の周囲に領域(以下、ヒストグラム生成領域と称する)を設定し、そのヒストグラム生成領域に含まれる各画素の画素位置における勾配方向を取得し、勾配方向毎の度数を積算する。この度数分布が注目画素の画素位置におけるHOGとなる。注目画素を走査することにより、画像の各画素位置におけるHOGを求めることができる。なお、本実施形態では、ヒストグラム生成領域は、注目画素を中心とする5×5の大きさとしているが、ヒストグラム生成領域の設定は適宜変更可能である。
【0035】
画素差分部14cは、第1の画像の差分対象となる画素(以下、差分対象画素と称する)の画素位置におけるHOGと第2の画像の比較対象となる画素(以下、比較対象画素と称する)におけるHOGとに基づいて、差分対象画素と比較対象画素との差分値(以下、画素差分値と称する)を算出する。具体的には、第1の画像の差分対象画素の画素位置におけるHOGと第2の画像の比較対象画素の画素位置におけるHOGとの差異を求めて、その差分対象画素の画素位置における画素差分値とする。なお、本実施例では、差分対象画素の画素位置と比較対象画素の画素位置とは同じである。
【0036】
HOGどうしの差異は、各勾配方向における度数の差の絶対値和を用いることができる。すなわち、勾配方向をi(=0〜8)、第1の画像の差分対象画素の画素位置におけるHOGをHOG1、第2の画像の比較対象画素の画素位置におけるHOGをHOG2とし、HOGの勾配方向iの度数をHOG[i]とすると、差分対象画素の画素位置における画素差分値dは、
【数1】

と表すことができる。
【0037】
画像差分部14は、画素差分部14cに対して、画像の各画素を順次差分対象画素として設定することにより、全画素位置における画素差分値を取得し、その画素差分値に応じて設定された画素値を持つ差分画像を生成する。
【0038】
画像合成部20は、各カメラCにより撮影された画像を合成した合成画像を生成する。
【0039】
以下に、図3のフローチャートを用いて本実施例における車両周辺撮影装置の処理の流れを説明する。なお、以下の説明では、フロントカメラFを第1カメラ、左サイドカメラSLを第2カメラとした場合のみを説明するが、他のカメラCについても同様の処理が行われる。
【0040】
本実施形態では、運転者がタッチパネルDbを操作して、車両周辺撮影装置の作動を明示的に指示した場合に以下の処理が実行されるが、車両Vに搭載されている各種センサ等の出力に基づいて、制御部10が処理を実行するか否かを判断する構成としても構わない。
【0041】
まず、運転者がタッチパネルDbを操作して、車両周辺撮影装置の作動を指示すると、その指示は制御部10により取得され、指示を取得した制御部10は、画像取得部11に対して画像を取得する旨の指示を送る。これに対して、画像取得部11は第1カメラおよび第2カメラから画像を取得する(#01)。以下、これらの画像をそれぞれ主撮影画像および副撮影画像と称する。取得された主撮影画像および副撮影画像はメモリ(図示せず)に記憶される。
【0042】
画像の取得が完了すると、制御部10は、視点変換部13に対して、副撮影画像を主カメラの視点から撮影した画像に視点変換するよう指示を送る。これに対して、視点変換部13は、公知の方法により、副撮影画像から視点変換画像を生成する(#02)。生成された視点変換画像は、メモリに記憶される。なお、各カメラCの視点位置(車両座標系中におけるカメラ原点の座標および光軸方向)または、視点変換のための変換テーブルは予めメモリ等に記録されており、視点変換処理に用いられる。
【0043】
視点変換画像の生成が完了すると、制御部10は、画像差分部14に対して、主撮影画像と視点変換画像との差分を算出するように指示を送る。これに対して、画像差分部14は主撮影画像と視点変換画像との差分画像を生成し、メモリに記憶させる(#03)。
【0044】
図4は本実施形態における画像間差分の処理の流れを表すフローチャートである。ここでは、画像間差分を行う2つの画像を第1画像および第2画像と称し、本実施形態では主撮影画像が第1画像であり、視点変換画像が第2画像である。まず、勾配方向算出部14aは、上述の方法により、第1画像および第2画像の各画素位置における輝度値の勾配方向を算出し、2次元配列形式でメモリに記憶する(#21,#22)。
【0045】
次に、ヒストグラム生成部14bは、上述の処理により算出した各画素位置における勾配方向を用いて、上述の処理により、第1画像および第2画像の各画素位置におけるHOGを算出する(#23,#24)。各画素位置におけるHOGは9の要素を持つ1次元配列であるため、算出された全画素位置におけるHOGは3次元配列形式でメモリに記憶される。
【0046】
画像差分部14は、第1画像から順次1つの画素を差分対象画素として選択し、画素差分部14cに対して差分対象画素の画素位置における画素差分値を算出するよう指示を送る。
【0047】
具体的には、まず、画像差分部14は第1画像から位置の画素を差分対象画素として選択する(#25)。選択された差分対象画素の画素位置は画像差分部14から画素差分部14c送られる。上述したように、本実施例では差分対象画素の画素位置と比較対象画素の画素位置とは同一であるため、差分対象画素の画素位置を取得した画素差分部14cは、メモリから第1画像の差分対象画素の画素位置におけるHOGと第2画像の差分対象画素の画素位置におけるHOGとを取得し、上述の式(1)により画素差分値dを算出する(#26)。算出された画素差分値dは画像差分部14に送られる。
【0048】
画像差分部14は、メモリ上に画素差分値を記憶するための2次元配列を確保しておき、その2次元配列の差分対象画素の画素位置に対応する位置に取得した画素差分値dを記憶させる。これにより、差分画像が生成される。なお、算出された画素差分値dをそのまま差分画像の画素値として使用するのではなく、正規化等の処理を施しても構わない。また、算出された画素差分値dと所定の閾値とを比較することにより、差分画像を真値と偽値とを有する2値画像としても構わない。この場合、真値を有する画素の画素位置は差異があり、偽値を有する画素の画素位置は差異がないことを示している。
【0049】
上述の処理が完了すると、画像差分部14は未処理、すなわち、差分対象画素として選択していない画素の有無を判定し(#27)、未処理画素が存在すれば(#27のYes分岐)、処理を#25に移行して上述の処理を繰り返す。
【0050】
図5(a)および(b)に、主撮影画像としてのフロントカメラFにより撮影された画像と、副撮影画像としての左サイドカメラSLにより撮影された画像をフロントカメラFの視点位置から撮影された画像に視点変換した視点変換画像の例を示す。また、図6は図5(a)の画像と図5(b)の画像との差分画像である。なお、図5(b)の視点変換画像は、図5(a)と位置合せを行った後、図5(a)と重複する部分のみをクリッピングしたものである。図に示すように、主撮影画像および視点変換画像には白線Wと障害物Aとが含まれている。また、図5から明らかなように、主撮影画像中の白線Wと視点変換画像中の白線Wとは、略同じ位置となっている。したがって、主撮影画像と視点変換画像との画像間差分をとると、図6に示すように、白線Wに対応する領域では優位な画素差分値は算出されない。一方、図6に示すように、障害物Aに対応する領域、特に、障害物Aの上部に対応する領域では優位な画素差分値が算出される。したがって、差分画像内に優位な画素差分値を有する領域があるか否かを判定すれば、車両Vの周辺に障害物が存在するか否かを判定することができる。
【0051】
この差分画像を運転者に提示することにより、運転者は車両Vの周辺に存在する障害物の有無を判断することはできるが、より運転者の判断が容易になるように、本実施形態では、表示部Daにトップビュー画像を表示し、その画像中に障害物を示す指標を重畳表示している。
【0052】
そのため、差分画像が生成されると、制御部10は、画像合成部20に対して、トップビュー画像の生成、および、トップビュー画像に障害物を示す指標を重畳させるよう指示を送る。これに対して、画像合成部20は、視点変換部12を用いて、各カメラCの撮影画像および差分画像をトップビュー画像に視点変換する(#10)。なお、差分画像は主撮影画像を基準として生成されたものであるため、主撮影画像と同じ視点変換処理を受ける。
【0053】
また、画像合成部20は差分画像から障害物を検出する(#11)。上述したように、障害物は差分画像中で優位な画素値を有する領域である。そのため、差分画像に対して2値化および領域分割を施せば、障害物の領域が検出できる。また、差分画像に対してエッジ抽出および2値化を施せば、障害物の輪郭を抽出することができる。画像合成部20は、このようにして障害物を検出し、上述の処理により合成したトップビュー画像に対して、障害物の位置を示す指標を合成する(#12)。このようにして生成された画像はメモリに記憶され、制御部10の指示によって表示部Daに表示される(#13)。
【0054】
図7は上述の処理によって表示部Daに表示される表示画像の例である。図7(a)では、トップビュー画像に対して障害物Aの輪郭を表す指標Eを合成している。一方、図7(b)では、トップビュー画像に対して障害物Aの路面との接地位置を示す指標Eを合成している。なお、この例では、トップビュー画像を合成する際に、フロントカメラFの撮影範囲と左サイドカメラSLの撮影範囲との重複する範囲は双方の画像を合成しているため、障害物Aの形状は実際の形状とは異なっている。
【実施例2】
【0055】
本実施例における車両周辺撮影装置は、画像差分部14の処理の流れが実施例1と異なっている。実施例1では、第1画像の差分対象画素と、第2の画像の比較対象画素とのHOGを比較することにより画素差分値を算出した。すなわち、実施例1では画素と画素とを比較することによって画素差分値を算出した。これに対して、本実施例では、画素と領域とを比較することにより画素差分値を算出している。そのため、本実施例における画像差分部14は、図8の機能ブロック図に示すように領域差分部14dを備えている。
【0056】
領域差分部14dは、第2画像において差分対象画素の周囲に所定の大きさの領域(以下、比較対象領域と称する)を設定し、画素差分部14cに対して、比較対象領域に含まれる各々の画素を順次比較対象画素として設定することにより、差分対象画素と比較対象領域に含まれる各々の画素との画素差分値を算出する。さらに、領域差分部14dは、これらの画素差分値に基づいて、最終的な差分対象画素に対する画素差分値を算出する。
【0057】
以下に、本実施例における画像差分部14の処理の流れを説明する。なお、本実施例における画像差分部14の全体の処理は実施例1と略同様であり、画素差分値を算出する#26の処理が図9のフローチャートの処理に置き換えられる。したがって、ここではこの画素差分値を算出する処理を中心に説明する。
【0058】
#21から#25の処理により、第1画像および第2画像の各画素位置におけるHOGが算出され、第1画像中の一の画素が差分対象画素として設定される。このとき、領域差分部14dは、第2画像の差分対象画素の周囲に所定の大きさの比較対象領域を設定する(#31)。本実施例では、比較対象領域は差分対象画素を中心とする5×5の領域としている。すなわち、差分対象画素の画素位置を(x,y)とすると比較対象領域は(x−2,y−2)と(x+2,y+2)とを結ぶ直線を対角線にもつ矩形領域である。なお、比較対象領域における差分対象画素の位置や比較対象領域の大きさは適宜変更可能である。
【0059】
次に、領域差分部14dは、比較対象領域に含まれる一の画素を比較対象画素として設定し(#32)、画素差分部14cにより、第1画像の差分対象画素と第2画像の比較対象画素との画素差分値を算出する(#33)。この処理を、比較対象領域に含まれる全ての画素に対して行う(#34のYes分岐)。
【0060】
上記の処理により、比較対象領域に含まれる画素と同数の画素差分値が得られる。本実施例では、25の画素差分値が得られる。領域差分部14dは、この複数の画素差分値から、差分対象画素に対する最終的な画素差分値を算出する(#35)。具体的には、算出された複数の画素差分値の全てが所定の閾値よりも大きければ、真値を差分対象画素に対する画素差分値とし、一つでも所定の閾値以下の画素差分値があれば、偽値を差分対象画素に対する画素差分値dとする。
【0061】
本実施例における画素差分値dの算出を数式化すると式(2)のようになる。ここで、diは#33において算出される各々の画素差分値である。
【0062】
【数2】

【0063】
このように、差分対象画素に対する画素差分値を算出することにより、第2画像中の差分対象画素に対応する画素が位置ずれしていた場合であっても、その画素が比較対象領域に含まれていれば、その差分対象画素に対する画素差分値は偽値となる。したがって、本実施例のようにして差分対象画素に対する画素差分値を算出すれば、位置ずれに対してロバストな画像間差分を行うことができる。
【0064】
このように、本実施例では一の差分対象画素に対して複数の画素差分値を算出することにより、位置ずれに対するロバスト性を向上させている。しかしながら、比較対象領域を5×5に設定すると、一の差分対象画素に対する画素差分値を求めるための計算コストは、単純計算で実施例1の25倍となる。このような計算コストの増大は、処理速度の低下やより高速なCPUを必要とするなど、好ましくない状況を招く。そのため、計算コストを低減することによる高速化が必要となる。以下に、高速化手法を説明する。
【0065】
〔高速化手法1〕
ここでは、計算の打ち切りによる高速化について説明する。図10は、計算の打ち切り処理を導入した差分対象画素に対する画素差分値の算出処理の流れを表すフローチャートである。なお、#41から#43の処理は#31から#33の処理と同様であるため説明は省略する。
【0066】
差分対象画素と比較対象画素との画素差分値diが算出されると(#43)、算出された画素差分値diと所定の閾値THとが比較される(#43)。このとき、算出された画素差分値diが閾値TH以下の場合には(#44のYes分岐)、式(2)における論理式(di>TH)が偽となり、式(2)により算出される画素差分値dはそれ以降の画素差分値diに関係なく、必ず偽値となる。そのため、算出された画素差分値diが閾値TH以下の場合には(#44のYes分岐)、差分対象画素の画素差分値を偽値に設定し(#45)、処理を終了する。すなわち、閾値以下の画素差分値diが算出されると、その比較対象画素に含まれる画素に対する画素差分値diの算出を打ち切る。これにより、不要な演算を削減し、処理を高速化することができる。
【0067】
一方、算出された画素差分値diが閾値THよりも大きければ(#44のNo分岐)、比較対象領域の全ての画素を比較対象画素として設定するまで上記の処理を繰り返す(#43〜#46)。そして、未処理の画素が存在しなくなると(#46のNo分岐)、差分対象画素に対する画素差分値dを真値に設定する(#47)。
【0068】
〔別実施形態〕
(1)式(1)における算出処理を以下のようにしても構わない。まず、無方向の度数の差分の絶対値|HOG1[8]−HOG2[8]|を算出し、この値が所定の閾値TH1よりも大きければ、画素差分値dを真値とし、この値が所定の閾値以下の場合は式(1)により算出した値dを論理式(d>TH2)に代入した結果を画素差分値とする構成としても構わない。ここで、TH2は画素間の差異の有無を判定するための閾値である。この方法は、路面のような画素値の変化が小さな領域を多く含む画像のような、無方向となる画素値の勾配方向を多く有する画像に対しては演算量の削減を図ることができるため、好ましい。
【0069】
(2)上述の実施形態では、予め画像の全画素位置におけるHOGを算出してメモリに記憶させていた。しかしながら、上述したように、HOGの記憶には3次元配列が必要なため、メモリ容量の小さな装置においてHOGを記憶させておくとメモリ容量を圧迫して好ましくない。そのため、画素差分値を算出する際に、逐次HOGを算出するように構成しても構わない。ただし、このように構成すると実施例2のように領域単位で比較を行うと、HOGの算出が重複して行われ、演算量が増加し、速度低下を招く。この場合には、以下のようにして、重複する演算を回避することにより、演算量の増加を抑制することが望ましい。
【0070】
まず、実施例2の処理により、一の差分対象画素(以下、第1差分対象画素と称する)の画素位置におけるHOGが算出され、第1差分対象画素に対する比較対象領域(以下、第1比較対象領域)が設定される。そして、第1比較対象領域内の各画素位置におけるHOGを算出する。ここで算出した各HOGは各画素位置に関連付けてメモリに記憶される。このようにして、HOGが算出されると、実施例2の方法により、第1差分対象画素に対する画素差分値が算出される。
【0071】
次に、第1比較対象領域に含まれる一の差分対象画素(以下、第2差分対象画素と称する)が選択され、第2差分対象画素の画素位置におけるHOGが算出される。また、その第2差分対象画素に対する比較対象領域(以下、第2比較対象領域と称する)が設定される。
【0072】
ここで、第2比較対象領域内の各画素位置におけるHOGの算出を行うが、第1比較対象領域と第2比較対象領域とは部分的に重複しており、第1比較対象領域内の各画素位置におけるHOGはメモリに記憶されている。したがって、ここでは、第1比較対象領域と第2比較対象領域との重複領域内の各画素位置におけるHOGはメモリから取得できるため、算出は不要である。すなわち、第1比較対象領域と第2比較対象領域とが重複していない領域内の各画素位置におけるHOGのみを算出すればよい。
【0073】
例えば、比較対象領域を5×5とし、第1差分対象画素の画素位置を(x,y)、第2差分対象領域の画素位置を(x+1,y)とすると、第2比較対象領域の25の画素のうち、20画素が第1比較対象領域に含まれている。したがって、5つのHOGを算出すれば済むことになる。
【0074】
(3)上述の実施形態では、主撮影画像を第1画像、視点変換画像を第2画像として画像間差分を行った。実施例1において、これらの関係を入れ換えても結果は同じであるが、実施例2において、これらの関係を入れ換えると結果が異なる可能性がある。そこで、主撮影画像を第2画像、視点変換画像を第2画像として第1差分画像を算出するとともに、視点変換画像を第1画像、主撮影画像を第2画像として第2差分画像を算出し、第1差分画像および第2差分画像のいずれも差異がないことを示す値(偽値)であれば、その画素の画素値を差異がないことを示す値とし、少なくとも一方が差異があることを示す値(真値)であれば、その画素の画素値を差異があることを示す値(真)とする。すなわち、第1差分画像および第2差分画像の座標位置(x、y)における画素値をそれぞれf1(x,y),f2(x,y)とすると、最終的な差分画像の座標位置(x,y)における画素値は
f(x,y)=f1(x,y) or f2(f,y)
となる。このように、双方向から比較することにより、ロバスト性を向上させることができる。
【産業上の利用可能性】
【0075】
本発明は、障害物検出をはじめとして移動体検出やオプティカルフロー検出等の演算を行う際の画像間差分技術に適用することができる。
【符号の説明】
【0076】
C:カメラ
C1:第1カメラ
C2:第2カメラ
F:フロントカメラ
R:リアカメラ
SR:右サイドカメラ
SL:左サイドカメラ
13:視点変換部
14:画像差分部
14a:勾配方向算出部
14b:ヒストグラム生成部
14c:画素差分部
14d:領域差分部

【特許請求の範囲】
【請求項1】
画像を構成する各々の画素の画素位置における画素値の勾配方向を求める勾配方向算出部と、
各々の前記画素を対象画素として設定するとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる前記画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するヒストグラム生成部と、
第1の前記画像の差分対象となる前記画素の画素位置における第1の前記ヒストグラムと、第2の前記画像の比較対象となる前記画素の画素位置における第2の前記ヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出する画素差分部と、
前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成する画像差分部と、を備えた画像間差分装置。
【請求項2】
第1のカメラと、当該第1のカメラの撮影範囲と部分的に重複する撮影範囲を有する第2のカメラと、により撮影された撮影画像を取得する画像取得部と、
前記第2のカメラにより撮影された前記撮影画像を前記第1のカメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、を備え、
前記第1の画像が前記第1のカメラにより撮影された前記撮影画像であり、前記第2の画像が前記視点変換画像である請求項1記載の画像間差分装置。
【請求項3】
前記第2の画像における前記差分対象となる前記画素の周囲に所定の大きさの領域を設定し、前記画素差分部に対して当該領域に含まれる画素を順次前記比較対象となる画素として設定することにより、前記第1の画像の前記差分対象となる画素と前記第2の画像の前記領域に含まれる各々の画素との前記画素差分値を算出させ、当該各々の画素差分値に基づいて前記差分対象となる画素の画素位置における前記画素差分値を算出する領域差分部を備えた請求項1または2記載の画像間差分装置。
【請求項4】
前記領域差分部は、画素差分部によって前記第1の画像の前記差分対象となる画素と前記第2の画像の前記領域に含まれる各々の画素との前記画素差分値を算出する際に、算出された当該差分対象となる画素と当該領域に含まれる前記比較対象となる画素との前記画素差分値が所定の閾値以下であれば、当該差分対象となる画素と当該領域に含まれる前記画素との前記画素差分値の算出を打ち切り、前記差分対象となる画素の画素位置における画素差分値として差異がないことを示す値を設定する請求項3記載の画像間差分装置。
【請求項5】
前記勾配方向は無方向および複数の有方向を含み、
前記画素差分部は、前記第1のヒストグラムの前記無方向の度数と前記第2のヒストグラムの前記無方向の度数との差を算出し、当該差の絶対値が所定の閾値よりも大きい場合には、前記有方向の度数の差を算出せずに、前記第1のヒストグラムと前記第2のヒストグラムとが差異を有することを示す値を前記画素差分値とする請求項1から4のいずれか一項に記載の画像間差分装置。
【請求項6】
第1の画像の各画素位置における画素値の勾配方向を求めるステップと、
第2の画像の各画素位置における画素値の勾配方向を求めるステップと、
前記第1の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、
前記第2の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、
前記第1の画像の各画素を差分対象画素とし、当該第1の画像の当該差分対象画素の画素位置における第1のヒストグラムと、前記第2の画像の比較対象となる前記画素の画素位置における第2のヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出するステップと、
前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成するステップと、を備えた画像間差分方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−115739(P2013−115739A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−262499(P2011−262499)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【Fターム(参考)】