画像処理装置
【課題】パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行する。
【解決手段】画像処理装置１２０は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部１７２と、一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部１７４と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部１８０と、を備える。こうして、空間周波数の偏差を抑制して適切にパターンマッチングを遂行することが可能となる。
【解決手段】画像処理装置１２０は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部１７２と、一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部１７４と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部１８０と、を備える。こうして、空間周波数の偏差を抑制して適切にパターンマッチングを遂行することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
先行車両との車間距離は、例えば、異なる位置で撮像された一対の画像データにおける対象物の視差から求めることができる。また、一対の画像データにおける対象物の視差は、画像間のパターンマッチングに基づいて導出される。パターンマッチングとしては、画像間で所定の大きさのブロック同士を比較し（マッチングし）、相関性が高いブロックを特定するといったことが一般的に行われている。また、画像の濃度ヒストグラムを用いてパターンマッチングを実行する技術も開示されている（例えば、特許文献３）。
【０００４】
さらに、パターンマッチングの精度を高めるべく、パターンマッチングの前段で、撮像した画像の光学的な位置ズレを幾何学的に位置補正する技術も公開されている（例えば、特許文献４、５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開平５−２１０７３７号公報
【特許文献４】特許第３２８４１９０号
【特許文献５】特許第３２６１１１５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像を取得する手段として、例えば、格子状に配列された画素に対応する複数の受光部位（フォトダイオード）に、３原色であるＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、所謂ベイヤー配列が知られている。ベイヤー配列では、画素毎にＲＧＢのうち１の色相しか取得されないため、通常、各画素において未設定の（欠落している）色相の輝度を、隣接する画素に基づいて補間し、色を復元する。そして、色が復元された各画素が、上述したように幾何学的に位置補正され、その後、パターンマッチングが遂行される。
【０００７】
しかし、上述した色の復元では、未設定の色相の輝度を、隣接する画素の輝度を線形補間して求めるため、その空間周波数が低下する。そうすると、色の復元処理を行わない画素と、復元処理が必要な画素とで空間周波数の偏差が生じ、パターンマッチングの精度が向上しないといった事態を招いていた。また、幾何学的な位置補正においても、位置補正の必要のない画素と、位置補正が必要な画素とで空間周波数の偏差が生じ、同様に、パターンマッチングの精度の向上を図ることができなかった。
【０００８】
本発明は、このような課題に鑑み、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行可能な、画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の画像処理装置は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備えることを特徴とする。
【００１０】
色合成部は、色復元部によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成してもよい。
【００１１】
色合成部は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成してもよい。
【００１２】
一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出する座標変換部と、座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、をさらに備えてもよい。
【００１３】
上記課題を解決するために、本発明の他の画像処理装置は、一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出する座標変換部と、座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備えることを特徴とする。
【００１４】
座標合成部は、座標変換部によって座標変換されることで低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成してもよい。
【００１５】
座標合成部は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成してもよい。
【００１６】
マッチング処理部は、特定されたブロック同士の相関値と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値とに基づいて、画素単位より分解能の高いマッチング位置を導出してもよい。
【発明の効果】
【００１７】
本発明によれば、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態による環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】ベイヤー配列の一例を説明するための説明図である。
【図４】色復元処理を説明するための説明図である。
【図５】座標変換処理を説明するための説明図である。
【図６】座標変換の一例を示す説明図である。
【図７】画像処理装置の概略的な機能を示した機能ブロック図である。
【図８】色合成部の合成例を示した説明図である。
【図９】座標合成部の合成例を示した説明図である。
【図１０】パターンマッチングにおける相関値（差分値）の推移を示した説明図である。
【図１１】画像処理方法の全体的な流れを示したフローチャートである。
【図１２】色復元処理の流れを示したフローチャートである。
【図１３】座標変換処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２０】
（環境認識システム１００）
画像処理装置は、任意の目的を適切に達成するため撮像された画像を加工処理することを目的としている。例えば、画像処理装置を、車両周囲の環境を認識するための環境認識システムに採用した場合、画像処理装置は、撮像装置で撮像された画像を加工処理し、画像内の対象物の相対距離を特定するためその画像の視差情報を導出する。ここでは、画像処理装置の理解を容易にするため、まず、画像処理装置を用いた一実施形態である環境認識システムを説明し、その後、画像処理装置の具体的な構成を詳述する。
【００２１】
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００２２】
（撮像装置１１０）
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得する。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、画素に対応する受光部位（フォトダイオード）にＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、ベイヤー配列によるカラー画像を得ることとする。また、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２３】
撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２４】
（画像処理装置１２０）
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した一対の画像データの相関性を評価し、画像中の任意のブロック（所定数の画素を集めたもの）の両画像間の視差を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導出する。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。かかる相関性の評価およびパターンマッチングに関しては後ほど詳述する。
【００２５】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を距離画像という。
【００２６】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２７】
（環境認識装置１３０）
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６の視差情報に基づく車両（自車両）１との相対距離とを用いて検出領域１２２における対象物がいずれの物（車両、信号機、道路、ガードレール、テールランプ、ウィンカー、信号機の各点灯部分等）に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。
【００２８】
（車両制御装置１４０）
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２９】
（本実施形態における問題点とその解決手段）
カラー画像は様々な態様で取得できる。例えば、（１）撮像装置１１０への入射光をプリズムによってＲＧＢの各色相に分割し、３つの撮像素子で色相毎に画像を取得したり、（２）ＲＧＢそれぞれの感度セルを光路方向に重畳した撮像素子でＲＧＢに基づく画像を一度に取得したり、（３）ベイヤー配列によって画素毎に１の色相を規則的かつ排他的に取得したりすることが可能である。本実施形態では、このうち（３）ベイヤー配列を用いて画像を取得する。
【００３０】
図３は、ベイヤー配列の一例を説明するための説明図である。図３（ａ）に示すように、ベイヤー配列は、格子状に配列された画素に規則的かつ排他的に各色相ＲＧＢを配置したものであり、いずれの色相においても、少なくとも水平方向および垂直方向の２つ隣の画素には同一の色相が配されている。ただし、色相Ｇは、色相Ｒと色相Ｂに対して２倍の密度（占有面積）となっている。これは、図３（ｂ）に示した分光感度特性のように、色相Ｇの感度分布が高いため、輝度情報を取得しやすく、また、人間の視覚が色相Ｇに対して高い感度を持っているからである。
【００３１】
ベイヤー配列においては、各画素からは１つの色相に関してしか輝度を得られない。そこで、欠落している他の２つの色相に関し、隣接する画素の当該色相の輝度を用いて色復元処理（補間処理）を行う。
【００３２】
図４は、色復元処理を説明するための説明図である。図４を含む以下の図では、画像周囲に付された数字が画素の水平および垂直位置を示す。例えば、色相Ｒは、ベイヤー配列において図４（ａ）のように配されている。したがって、既に色相Ｒについて輝度が取得されている画素（２，１）、（２，３）、（４，１）、（４，３）の輝度は、取得した輝度ａ、ｂ、ｃ、ｄをそのまま利用できる。
【００３３】
また、水平方向または垂直方向に、輝度が取得された２つの画素が隣接する画素（２，２）、（３，１）、（３，３）、（４，２）では、隣接する２つの画素の輝度が線形補間され、画素（２，２）の輝度＝（ａ＋ｂ）／２、画素（３，１）の輝度＝（ａ＋ｃ）／２、画素（３，３）の輝度＝（ｂ＋ｄ）／２、画素（４，２）の輝度＝（ｃ＋ｄ）／２となる。
【００３４】
さらに、対角線方向に、輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ａ＋ｂ＋ｃ＋ｄ）／４となる。ここでは、説明の便宜のため水平方向１行目および垂直方向４行目の画素の導出は省略している。このような画素の補間は、図４（ｂ）に示すように色相Ｂでも適用できるため、ここでは、色相Ｂについての説明を省略する。
【００３５】
また、色相Ｇは，ベイヤー配列において図４（ｃ）のように配されている。したがって、既に色相Ｇについて輝度が取得されている画素（２，２）、（３，１）、（３，３）、（４，２）の輝度は、取得した輝度ｅ、ｆ、ｇ、ｈをそのまま利用できる。また、水平方向および垂直方向に輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ｅ＋ｆ＋ｇ＋ｈ）／４となる。
【００３６】
ここで、色復元された画素の輝度における空間周波数に着目する。空間周波数（spatial frequency）は、画像の周期的構造の細かさを示したもので、単位長あたりの周期で表すことができる。また、撮像装置１１０に適用した場合、空間周波数はレンズの解像度を表す。空間周波数は、加工を施していない状態で高く、平均化や合成により低くなる。
【００３７】
したがって、図４（ａ）の例で、既に色相Ｒについて輝度が取得されている画素（２，１）、（２，３）、（４，１）、（４，３）の空間周波数を仮に１としたとき、２つの画素の輝度を線形補間した、画素（２，２）、（３，１）、（３，３）、（４，２）の空間周波数は１／２となり、４つの画素を線形補間した画素（３，２）の空間周波数は１／４となる。ただし、ここでは、理解を容易にするため、単純な画素について空間周波数の値を算出しているが、実際に取得された画素によって、空間周波数が異なるのは言うまでもない。
【００３８】
そうすると、図４（ａ）の破線で囲んだ隣接する４つの画素において、空間周波数が１、１／２、１／４と異なってしまうこととなり、その空間周波数の最大値と最小値で偏差が生じる。通常、空間周波数が低い画素が生じても、空間周波数が高い画素により、画像の鮮明度が保たれる。しかし、後述するパターンマッチングに関しては、このような空間周波数の偏差が弊害となる場合もある。
【００３９】
即ち、パターンマッチングは、一対の画像データにおける画素同士の相関性を評価するところ、対象物の同一の部位に相当する、同一の輝度を有する画素であっても、その空間周波数が異なれば、相関性が低くなる。ここで、高い空間周波数に揃えることも考えられるが、１／４となった画素の情報量から高い空間周波数を復元するのは困難である。そこで、本実施形態では、空間周波数を低い値に揃えることを試みる。
【００４０】
したがって、本実施形態では、図４（ａ）において、空間周波数が１／２となった画素（２，２）、（３，１）、（３，３）、（４，２）や、空間周波数が１／４となった画素（３，２）はそのまま維持し、画素（２，１）、（２，３）、（４，１）、（４，３）の空間周波数１を敢えて下げることとする。
【００４１】
こうして空間周波数を均一化（空間周波数の偏差を抑制）する場合、その値が低ければ低い程、パターンマッチングの精度が向上する。これは、一対の画像データの一方における任意の画素と対応する他方の領域が、画像データの２つの画素に跨る場合、空間周波数が高い画素だと、２つの画素のいずれとも相関値が低くなるからである。このとき、空間周波数を下げると、画素自体がぼやけて、任意の画素データとの相関性が高くなる。こうして、適切にパターンマッチングが実行される。ただし、空間周波数を下げ過ぎると、本来は異なる対象物同士であってもマッチングできてしまうので注意を要する。
【００４２】
そして、色復元処理が完了すると、次に、撮像装置１１０に応じて予め定められた画素毎の位置ズレ（歪み）特性に基づき各画素を座標変換する座標変換処理が遂行される。座標変換は、撮像装置１１０を通じたことにより本来の位置から歪んで取得されてしまった対象物を本来の位置に戻すための処理である。例えば、図５（ａ）に示す魚眼レンズを通じたような位置ズレ特性を有する映像を、水平方向や垂直方向への単純シフトやアフィン変換等を用いた回転移動により、図５（ｂ）のような水平方向や垂直方向が直線となる画像に補正する。
【００４３】
図６は、座標変換の一例を示す説明図である。例えば、任意の画素１５０を水平右方向にｘ、垂直下方向にｙだけシフトする座標変換を実行すると、座標が異なる新たな画素１５２が生成される。かかる画素１５２の輝度は、図６に破線で示した４つの画素の輝度の合成で表すことができる。例えば、４つの画素の輝度＝ａ、ｂ、ｃ、ｄから実線で示した１つの画素を幾何補正により復元すると、実線で示した画素１５２の輝度は、距離ｘ、ｙを用いて、ａ×（１−ｘ）（１−ｙ）＋ｂ×ｘ（１−ｙ）＋ｃ×（１−ｘ）ｙ＋ｄ×ｘｙで表される。
【００４４】
そうすると、色復元処理同様、座標変換処理においても、画素１５２の空間周波数が１／４となってしまう。ただし、画素１５２が、たまたま２つの画素のみに跨って生成された場合、その空間周波数は１／２となり、さらに、１つの画素と完全に重なった場合、その空間周波数は１となる。このように、空間周波数が１、１／２、１／４と異なってしまうと、色復元処理で説明したように、後述するパターンマッチングにおいて、その空間周波数の偏差が弊害となる。
【００４５】
そこで、本実施形態においては、空間周波数が１／４となった画素や、空間周波数が１／２となった画素はそのまま維持し、たまたま１つの画素に重なることで座標変換が不要と判断された画素の空間周波数１を敢えて低くする。このように、空間周波数を下げることで、画素自体がぼやけ、任意の画素データとの相関性が高くなる。こうして、適切にパターンマッチングが実行される。
【００４６】
以下、空間周波数を下げ、空間周波数の偏差を抑制することで、パターンマッチングの精度を向上可能な画像処理装置１２０の構成を具体的に述べる。
【００４７】
（画像処理装置１２０）
図７は、画像処理装置１２０の概略的な機能を示した機能ブロック図である。図７に示すように、画像処理装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。
【００４８】
Ｉ／Ｆ部１６０は、撮像装置１１０や環境認識装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した輝度画像１２４を一時的に保持する。
【００４９】
中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０やデータ保持部１６２を制御する。また、本実施形態において、中央制御部１６４は、感度補正部１７０、色復元部１７２、色合成部１７４、座標変換部１７６、座標合成部１７８、マッチング処理部１８０、視差導出部１８２としても機能する。
【００５０】
感度補正部１７０は、撮像装置１１０から受信した一対の画像データに、ガンマ補正、ニー処理等の所定の処理を施す。
【００５１】
色復元部１７２は、図４を用いて説明したように、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を、隣接する画素に基づいて線形補間等により復元する。
【００５２】
色合成部１７４は、一対の画像データにおいて、各画素に予め設定されている、本来加工しない色相の輝度を周囲の画素に基づいて敢えて合成する。ここで、色合成部１７４は、色復元部１７２によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成している。こうして、空間周波数を、色復元部１７２で復元した低い空間周波数の画素に合わせることで、空間周波数の偏差を抑制することができ、パターンマッチングの精度を向上することが可能となる。
【００５３】
また、具体的に、色合成部１７４は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成する。以下に、図８を用いて色合成部１７４の合成例を示す。
【００５４】
ベイヤー配列において、色相Ｒは、図８（ａ）のように、１画素ずつ隔てて設定される。例えば、画素（４，３）には、色相Ｒに関して輝度ｅが予め設定されているとする。しかし、本実施形態では、輝度ｅをそのまま利用せず、敢えて空間周波数を下げることとする。即ち、画素（２，１）、（２，３）、（２，５）、（４，１）、（４，５）、（６，１）、（６，３）、（６，５）の輝度をａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、ｉとしたとき、画素（４，３）の輝度ｅを（ａ＋ｂ＋ｃ＋ｄ＋８ｅ＋ｆ＋ｇ＋ｈ＋ｉ）／１６に変換する。ここでは、画素（４，３）自体の本来の輝度ｅの情報を残すべく、「８」を乗算し、他の画素の輝度と加算、最後に「１６」で除算している。すなわち、輝度ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉを１：１：１：１：８：１：１：１：１の比率で合成している。こうすることで、画素（４，３）の空間周波数を１／１６〜１のいずれかの値に下げることができる。
【００５５】
なお、複数の画素の輝度を重み付けして加算し、最終的に均一化する計算さえすれば、乗算や除算の数値は任意に決めることができ、上記の数値「８」や「１６」に限定されない。例えば、水平方向および垂直方向の画素のみを参照し、画素（４，３）の輝度ｅを（ｂ＋ｄ＋４ｅ＋ｆ＋ｈ）／８に変換するとしてもよい。
【００５６】
色相Ｂについても、色相Ｒ同様、図８（ｂ）のように、画素（１，２）、（１，４）、（１，６）、（３，２）、（３，６）、（５，２）、（５，４）、（５，６）の輝度をａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、ｉとしたとき、画素（３，４）の輝度ｅを（ａ＋ｂ＋ｃ＋ｄ＋８ｅ＋ｆ＋ｇ＋ｈ＋ｉ）／１６に変換する。こうして、画素（３，４）の空間周波数を１／１６〜１のいずれかの値に下げることができる。
【００５７】
ベイヤー配列において、色相Ｇは、色相Ｒ、Ｂ同様、１画素ずつ隔てて設定されているが、色相Ｒ、Ｂと異なり、対角線方向にも予め輝度が設定された画素が隣接している。したがって、色相Ｒ、Ｂより近接した画素を用いて、即ち、本来の輝度に近い値を用いて空間周波数を下げることができる。例えば、図８（ｃ）のように、画素（２，２）、（２，４）、（４，２）、（４，４）の輝度をｊ、ｋ、ｍ、ｎとしたとき、画素（３，３）の輝度ｌを（ｊ＋ｋ＋４ｌ＋ｍ＋ｎ）／８に変換する。こうして、画素（３，３）の空間周波数を１／８〜１のいずれかの値に下げることができる。ここでも画素（３，３）自体の本来の輝度のみ４倍の重み付けをして他の画素より輝度の影響を高めている。すなわち、輝度ｊ、ｋ、ｌ、ｍ、ｎを１：１：４：１：１の比率で合成している。なお、色相Ｇについても、複数の画素の輝度を重み付けして加算し最終的に均一化する計算さえすれば、乗算や除算の数値は、任意に決めることができる。
【００５８】
ただし、参照する他の画素が、既に、上記の変換が施されている場合、想定より空間周波数が下がり過ぎてしまう。したがって、予め設定されている輝度をデータ保持部１６２に保持しておき、当該色合成を行う場合には、色合成後の輝度を用いず、保持されている本来の輝度を用いるとよい。
【００５９】
かかる構成により、空間周波数の偏差を抑制でき、任意の画素のみ色復元処理を行う場合と比べ、パターンマッチングを遂行し易い画像に変換することができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。
【００６０】
また、ここでは、色相Ｇに関し占有度（密度）が高いことを前提として計算したが、その占有度に応じて各色相の計算式は任意に変更することができる。ここでは、上述したように、複数の画素の輝度を重み付けして加算し、最終的に除算することで、空間周波数を下げさえすればよい。
【００６１】
座標変換部１７６は、図５を用いて説明したように、一対の画像データを生成する撮像装置１１０に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出（色復元）する。かかる座標変換は、特許第３２８４１９０号等、既存の様々な技術を採用することができるので、ここではその詳細な説明を省略する。
【００６２】
座標合成部１７８は、座標変換部１７６による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する。ここで、座標合成部１７８は、座標変換部１７６によって低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する。こうして、空間周波数を、座標変換部１７６で変換された低い空間周波数の画素に合わせることで、空間周波数の偏差を抑制することができ、パターンマッチングの精度を向上することが可能となる。
【００６３】
また、具体的に、座標合成部１７８は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成する。以下に、図９を用いて座標合成部１７８の合成例を示す。
【００６４】
例えば、座標変換後の画素１５２が画素（２，２）と重なるので、座標変換が不要と判断された場合、画素（２，２）における輝度ｃをそのまま利用することができる。しかし、本実施形態では、輝度ｃをそのまま利用せず、敢えて空間周波数を下げることとする。即ち、画素（１，２）、（２，１）、（２，３）、（３，２）の輝度をａ、ｂ、ｄ、ｅとしたとき、画素（２，２）の輝度ｃを（ａ＋ｂ＋４ｃ＋ｄ＋ｅ）／８に変換する。ここでは、画素（２，２）自体の本来の輝度ｃの情報を残すべく「４」を乗算し、他の画素の輝度と加算、最後に「８」で除算している。こうすることで、画素（２，２）の空間周波数を１／８〜１のいずれかの値に下げることができる。
【００６５】
かかる構成により、空間周波数の偏差を抑制でき、座標変換処理のみを行う場合と比べ、パターンマッチングを遂行し易い画像に変換することができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。
【００６６】
マッチング処理部１８０は、輝度が復元および合成され、かつ、位置ズレが補正された一対のデータそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定する。
【００６７】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。以下、図１０を用いてマッチング処理部１８０の具体的な動作を述べる。
【００６８】
図１０における軌跡は、ブロック単位のパターンマッチングにおける相関値（差分値）の推移を示している。このように、ブロック同士をリニアにシフトすることができれば、相関値が最大となる（ここでは差分値が最小となる）具体的な点Ａを求めるのが可能となる。しかし、実際は画素単位の移動しかできず、画素単位で移動した…Ｂｎ−２、Ｂｎ−１、Ｂn、Ｂｎ＋１、Ｂｎ＋２…（ｎは整数）における相関値（ここでは差分値）のみしか取得することができない。そうすると相関値が最大の点（差分値が最小の点）は、点Ｂnとなる。
【００６９】
ここでは、図１０のように相関値の推移が、相関値が最大になる点から上下に延伸した線に対して線対称となっていることを利用し、さらに細かい分解能で水平方向のシフト量を導出する。例えば、マッチング処理部１８０は、特定されたブロック同士の相関値（相関値が最大と判定された点Ｂnの相関値）と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値（点Ｂｎ−１、Ｂｎ＋１の相関値）とに基づいて、画素単位より分解能の高いマッチング位置を導出する。
【００７０】
具体的に、マッチング処理部１８０は、相関値が最大と判定された、即ち、差分値が最小の点Ｂnと差分値が最小から３番目の点Ｂｎ−１の相関値との結線１９０を生成する。次に、当該結線１９０と符号は反転しているが傾きの大きさが等しく、かつ、差分値が最小から２番目の点Ｂｎ＋１を通る線分１９２を生成する。そして、その交点１９４に相当するマッチング位置Ｃを新たに導出する。かかるマッチング位置Ｃは真に相関値が最大となる点Ａとは少しずれることもあるが、ほぼ相関値が最大となる点を示している。また、このようにして導出された点は、画素単位に比べ８〜１６倍程度の分解能で表される。したがって、より詳細なパターンマッチングが可能となる。
【００７１】
本実施形態では、上述したように、一対の画像データにおける空間周波数の偏差を抑制しているので、このような分解能の高いパターンマッチングにおいて、特に、色合成部１７４や座標合成部１７８が効果的に機能する。
【００７２】
視差導出部１８２は、マッチング処理部１８０によって特定されたブロック同士の、画像を基準とした分解能の高まった視差を求め、そのブロックに関連付けさせる。かかる視差は視差情報として後段の環境認識装置１３０に利用される。
【００７３】
（画像処理方法）
以下、画像処理装置１２０の具体的な処理を図１１〜図１３のフローチャートに基づいて説明する。図１１は、画像処理装置１２０が輝度画像１２４を受信した場合の割込処理に関する全体的な流れを示し、図１２、１３は、その中の個別のサブルーチンを示している。また、ここでは、６００×２００画素の輝度画像１２４の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該画像処理方法による処理を遂行する。
【００７４】
図１１に示すように、輝度画像１２４の受信を契機に当該環境認識方法による割込が発生すると、輝度画像１２４の感度が補正され（Ｓ２００）、色復元処理（Ｓ２０２）および座標変換処理（Ｓ２０４）が実行される。そして、パターンマッチング処理（Ｓ２０６）が遂行された後、視差情報が生成される（Ｓ２０８）。以下、上記のうち、本実施形態において特徴的な色復元処理Ｓ２０２および座標変換処理Ｓ２０４を具体的に説明する。
【００７５】
（色復元処理Ｓ２０２）
図１２を参照すると、色復元部１７２は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ２５０）。続いて、色復元部１７２は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ２５２）。次に、色復元部１７２は、水平変数ｉに「１」を加算する（Ｓ２５４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該色復元処理を実行するためである。
【００７６】
続いて、色復元部１７２は、輝度画像１２４から画素（ｉ，ｊ）における色相Ｒ、Ｇ、Ｂそれぞれの輝度を取得する（Ｓ２５６）。そして、色復元部１７２は、色相Ｒについて色復元が必要な画素であるか否か、すなわち、色相Ｒが予め設定されていない画素であるか否か判定する（Ｓ２５８）。色復元が必要な画素であれば（Ｓ２５８におけるＹＥＳ）、色復元部１７２が色復元を行い（Ｓ２６０）、色復元が不要な画素であれば（Ｓ２５８におけるＮＯ）、色合成部１７４が、周囲の画素に基づいて色を合成する（Ｓ２６２）。
【００７７】
次に、色復元部１７２は、色相Ｇについて色復元が必要な画素であるか否か判定する（Ｓ２６４）。色復元が必要な画素であれば（Ｓ２６４におけるＹＥＳ）、色復元部１７２が色復元を行い（Ｓ２６６）、色復元が不要な画素であれば（Ｓ２６４におけるＮＯ）、色合成部１７４が、周囲の画素に基づいて色を合成する（Ｓ２６８）。同様に、色復元部１７２は、色相Ｂについても色復元が必要な画素であるか否か判定する（Ｓ２７０）。色復元が必要な画素であれば（Ｓ２７０におけるＹＥＳ）、色復元部１７２が色復元を行い（Ｓ２７２）、色復元が不要な画素であれば（Ｓ２７０におけるＮＯ）、色合成部１７４が、周囲の画素に基づいて色を合成する（Ｓ２７４）。
【００７８】
次に、水平変数ｉが水平画素の最大値（ここでは６００）を超えたか否か判定し（Ｓ２７６）、水平変数ｉが最大値を超えていなければ（Ｓ２７６におけるＮＯ）、ステップＳ２５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ２７６におけるＹＥＳ）、色復元部１７２は、垂直変数ｊが垂直画素の最大値（ここでは２００）を超えたか否か判定する（Ｓ２７８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ２７８におけるＮＯ）、ステップＳ２５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ２７８におけるＹＥＳ）、当該色復元処理を終了する。
【００７９】
（座標変換処理Ｓ２０４）
図１３を参照すると、座標変換部１７６は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ３００）。続いて、座標変換部１７６は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ３０２）。次に、座標変換部１７６は、水平変数ｉに「１」を加算する（Ｓ３０４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該座標変換処理を実行するためである。
【００８０】
続いて、座標変換部１７６は、輝度画像１２４から画素（ｉ，ｊ）における色相Ｒ、Ｇ、Ｂそれぞれの輝度を取得する（Ｓ３０６）。そして、座標変換部１７６は、周囲４画素または２画素から色復元を行うか否か、すなわち、座標変換不要と判断されていない画素であるか否か判定する（Ｓ３０８）。色復元を行う画素であれば（Ｓ３０８におけるＹＥＳ）、座標変換部１７６が座標変換後の画素の各色相の色復元を行い（Ｓ３１０）、色復元を行わない画素であれば（Ｓ３０８におけるＮＯ）、座標合成部１７８が、周囲の画素に基づいて色を合成する（Ｓ３１２）。
【００８１】
次に、水平変数ｉが水平画素の最大値（ここでは６００）を超えたか否か判定し（Ｓ３１４）、水平変数ｉが最大値を超えていなければ（Ｓ３１４におけるＮＯ）、ステップＳ３０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３１４におけるＹＥＳ）、座標変換部１７６は、垂直変数ｊが垂直画素の最大値（ここでは２００）を超えたか否か判定する（Ｓ３１６）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３１６におけるＮＯ）、ステップＳ３０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３１６におけるＹＥＳ）、当該座標変換処理を終了する。
【００８２】
以上、説明した画像処理装置１２０では、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【００８３】
また、コンピュータを、画像処理装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８５】
例えば、上述した実施形態においては、２つの撮像装置１１０を用いて同時に取得した画像データを利用しているが、１つの撮像装置１１０を用いて時系列に対応する一対の画像データを用いることもできる。また、撮像装置１１０の数は１や２に限らず、３以上の複眼にも適用可能である。
【００８６】
また、上述した実施形態においては、ベイヤー配列としてＲＧＢの３原色を挙げて説明したが、ＲＧＢＣの４原色、もしくは異なる５色以上の色を適用することもできる。
【００８７】
さらに、上述した実施形態では、撮像装置１１０を介して取得した画像データのみを対象としているが、電波レーザレーダを用い、周波数フィルタを異ならせて上述した特定の色相に相当するレーザ光を取得するとしてもよい。ここで、電波レーザレーダは、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、その反射光を分析するものである。さらに、温度測定装置でも、温度測定素子毎の画像データに当該実施形態を適用することも可能である。
【産業上の利用可能性】
【００８８】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に利用することができる。
【符号の説明】
【００８９】
１ …車両
１００ …環境認識システム
１２０ …画像処理装置
１７０ …感度補正部
１７２ …色復元部
１７４ …色合成部
１７６ …座標変換部
１７８ …座標合成部
１８０ …マッチング処理部
【技術分野】
【０００１】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
先行車両との車間距離は、例えば、異なる位置で撮像された一対の画像データにおける対象物の視差から求めることができる。また、一対の画像データにおける対象物の視差は、画像間のパターンマッチングに基づいて導出される。パターンマッチングとしては、画像間で所定の大きさのブロック同士を比較し（マッチングし）、相関性が高いブロックを特定するといったことが一般的に行われている。また、画像の濃度ヒストグラムを用いてパターンマッチングを実行する技術も開示されている（例えば、特許文献３）。
【０００４】
さらに、パターンマッチングの精度を高めるべく、パターンマッチングの前段で、撮像した画像の光学的な位置ズレを幾何学的に位置補正する技術も公開されている（例えば、特許文献４、５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開平５−２１０７３７号公報
【特許文献４】特許第３２８４１９０号
【特許文献５】特許第３２６１１１５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像を取得する手段として、例えば、格子状に配列された画素に対応する複数の受光部位（フォトダイオード）に、３原色であるＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、所謂ベイヤー配列が知られている。ベイヤー配列では、画素毎にＲＧＢのうち１の色相しか取得されないため、通常、各画素において未設定の（欠落している）色相の輝度を、隣接する画素に基づいて補間し、色を復元する。そして、色が復元された各画素が、上述したように幾何学的に位置補正され、その後、パターンマッチングが遂行される。
【０００７】
しかし、上述した色の復元では、未設定の色相の輝度を、隣接する画素の輝度を線形補間して求めるため、その空間周波数が低下する。そうすると、色の復元処理を行わない画素と、復元処理が必要な画素とで空間周波数の偏差が生じ、パターンマッチングの精度が向上しないといった事態を招いていた。また、幾何学的な位置補正においても、位置補正の必要のない画素と、位置補正が必要な画素とで空間周波数の偏差が生じ、同様に、パターンマッチングの精度の向上を図ることができなかった。
【０００８】
本発明は、このような課題に鑑み、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行可能な、画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の画像処理装置は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備えることを特徴とする。
【００１０】
色合成部は、色復元部によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成してもよい。
【００１１】
色合成部は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成してもよい。
【００１２】
一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出する座標変換部と、座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、をさらに備えてもよい。
【００１３】
上記課題を解決するために、本発明の他の画像処理装置は、一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出する座標変換部と、座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備えることを特徴とする。
【００１４】
座標合成部は、座標変換部によって座標変換されることで低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成してもよい。
【００１５】
座標合成部は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成してもよい。
【００１６】
マッチング処理部は、特定されたブロック同士の相関値と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値とに基づいて、画素単位より分解能の高いマッチング位置を導出してもよい。
【発明の効果】
【００１７】
本発明によれば、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態による環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】ベイヤー配列の一例を説明するための説明図である。
【図４】色復元処理を説明するための説明図である。
【図５】座標変換処理を説明するための説明図である。
【図６】座標変換の一例を示す説明図である。
【図７】画像処理装置の概略的な機能を示した機能ブロック図である。
【図８】色合成部の合成例を示した説明図である。
【図９】座標合成部の合成例を示した説明図である。
【図１０】パターンマッチングにおける相関値（差分値）の推移を示した説明図である。
【図１１】画像処理方法の全体的な流れを示したフローチャートである。
【図１２】色復元処理の流れを示したフローチャートである。
【図１３】座標変換処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２０】
（環境認識システム１００）
画像処理装置は、任意の目的を適切に達成するため撮像された画像を加工処理することを目的としている。例えば、画像処理装置を、車両周囲の環境を認識するための環境認識システムに採用した場合、画像処理装置は、撮像装置で撮像された画像を加工処理し、画像内の対象物の相対距離を特定するためその画像の視差情報を導出する。ここでは、画像処理装置の理解を容易にするため、まず、画像処理装置を用いた一実施形態である環境認識システムを説明し、その後、画像処理装置の具体的な構成を詳述する。
【００２１】
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００２２】
（撮像装置１１０）
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得する。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、画素に対応する受光部位（フォトダイオード）にＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、ベイヤー配列によるカラー画像を得ることとする。また、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２３】
撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２４】
（画像処理装置１２０）
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した一対の画像データの相関性を評価し、画像中の任意のブロック（所定数の画素を集めたもの）の両画像間の視差を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導出する。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。かかる相関性の評価およびパターンマッチングに関しては後ほど詳述する。
【００２５】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を距離画像という。
【００２６】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２７】
（環境認識装置１３０）
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６の視差情報に基づく車両（自車両）１との相対距離とを用いて検出領域１２２における対象物がいずれの物（車両、信号機、道路、ガードレール、テールランプ、ウィンカー、信号機の各点灯部分等）に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。
【００２８】
（車両制御装置１４０）
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２９】
（本実施形態における問題点とその解決手段）
カラー画像は様々な態様で取得できる。例えば、（１）撮像装置１１０への入射光をプリズムによってＲＧＢの各色相に分割し、３つの撮像素子で色相毎に画像を取得したり、（２）ＲＧＢそれぞれの感度セルを光路方向に重畳した撮像素子でＲＧＢに基づく画像を一度に取得したり、（３）ベイヤー配列によって画素毎に１の色相を規則的かつ排他的に取得したりすることが可能である。本実施形態では、このうち（３）ベイヤー配列を用いて画像を取得する。
【００３０】
図３は、ベイヤー配列の一例を説明するための説明図である。図３（ａ）に示すように、ベイヤー配列は、格子状に配列された画素に規則的かつ排他的に各色相ＲＧＢを配置したものであり、いずれの色相においても、少なくとも水平方向および垂直方向の２つ隣の画素には同一の色相が配されている。ただし、色相Ｇは、色相Ｒと色相Ｂに対して２倍の密度（占有面積）となっている。これは、図３（ｂ）に示した分光感度特性のように、色相Ｇの感度分布が高いため、輝度情報を取得しやすく、また、人間の視覚が色相Ｇに対して高い感度を持っているからである。
【００３１】
ベイヤー配列においては、各画素からは１つの色相に関してしか輝度を得られない。そこで、欠落している他の２つの色相に関し、隣接する画素の当該色相の輝度を用いて色復元処理（補間処理）を行う。
【００３２】
図４は、色復元処理を説明するための説明図である。図４を含む以下の図では、画像周囲に付された数字が画素の水平および垂直位置を示す。例えば、色相Ｒは、ベイヤー配列において図４（ａ）のように配されている。したがって、既に色相Ｒについて輝度が取得されている画素（２，１）、（２，３）、（４，１）、（４，３）の輝度は、取得した輝度ａ、ｂ、ｃ、ｄをそのまま利用できる。
【００３３】
また、水平方向または垂直方向に、輝度が取得された２つの画素が隣接する画素（２，２）、（３，１）、（３，３）、（４，２）では、隣接する２つの画素の輝度が線形補間され、画素（２，２）の輝度＝（ａ＋ｂ）／２、画素（３，１）の輝度＝（ａ＋ｃ）／２、画素（３，３）の輝度＝（ｂ＋ｄ）／２、画素（４，２）の輝度＝（ｃ＋ｄ）／２となる。
【００３４】
さらに、対角線方向に、輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ａ＋ｂ＋ｃ＋ｄ）／４となる。ここでは、説明の便宜のため水平方向１行目および垂直方向４行目の画素の導出は省略している。このような画素の補間は、図４（ｂ）に示すように色相Ｂでも適用できるため、ここでは、色相Ｂについての説明を省略する。
【００３５】
また、色相Ｇは，ベイヤー配列において図４（ｃ）のように配されている。したがって、既に色相Ｇについて輝度が取得されている画素（２，２）、（３，１）、（３，３）、（４，２）の輝度は、取得した輝度ｅ、ｆ、ｇ、ｈをそのまま利用できる。また、水平方向および垂直方向に輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ｅ＋ｆ＋ｇ＋ｈ）／４となる。
【００３６】
ここで、色復元された画素の輝度における空間周波数に着目する。空間周波数（spatial frequency）は、画像の周期的構造の細かさを示したもので、単位長あたりの周期で表すことができる。また、撮像装置１１０に適用した場合、空間周波数はレンズの解像度を表す。空間周波数は、加工を施していない状態で高く、平均化や合成により低くなる。
【００３７】
したがって、図４（ａ）の例で、既に色相Ｒについて輝度が取得されている画素（２，１）、（２，３）、（４，１）、（４，３）の空間周波数を仮に１としたとき、２つの画素の輝度を線形補間した、画素（２，２）、（３，１）、（３，３）、（４，２）の空間周波数は１／２となり、４つの画素を線形補間した画素（３，２）の空間周波数は１／４となる。ただし、ここでは、理解を容易にするため、単純な画素について空間周波数の値を算出しているが、実際に取得された画素によって、空間周波数が異なるのは言うまでもない。
【００３８】
そうすると、図４（ａ）の破線で囲んだ隣接する４つの画素において、空間周波数が１、１／２、１／４と異なってしまうこととなり、その空間周波数の最大値と最小値で偏差が生じる。通常、空間周波数が低い画素が生じても、空間周波数が高い画素により、画像の鮮明度が保たれる。しかし、後述するパターンマッチングに関しては、このような空間周波数の偏差が弊害となる場合もある。
【００３９】
即ち、パターンマッチングは、一対の画像データにおける画素同士の相関性を評価するところ、対象物の同一の部位に相当する、同一の輝度を有する画素であっても、その空間周波数が異なれば、相関性が低くなる。ここで、高い空間周波数に揃えることも考えられるが、１／４となった画素の情報量から高い空間周波数を復元するのは困難である。そこで、本実施形態では、空間周波数を低い値に揃えることを試みる。
【００４０】
したがって、本実施形態では、図４（ａ）において、空間周波数が１／２となった画素（２，２）、（３，１）、（３，３）、（４，２）や、空間周波数が１／４となった画素（３，２）はそのまま維持し、画素（２，１）、（２，３）、（４，１）、（４，３）の空間周波数１を敢えて下げることとする。
【００４１】
こうして空間周波数を均一化（空間周波数の偏差を抑制）する場合、その値が低ければ低い程、パターンマッチングの精度が向上する。これは、一対の画像データの一方における任意の画素と対応する他方の領域が、画像データの２つの画素に跨る場合、空間周波数が高い画素だと、２つの画素のいずれとも相関値が低くなるからである。このとき、空間周波数を下げると、画素自体がぼやけて、任意の画素データとの相関性が高くなる。こうして、適切にパターンマッチングが実行される。ただし、空間周波数を下げ過ぎると、本来は異なる対象物同士であってもマッチングできてしまうので注意を要する。
【００４２】
そして、色復元処理が完了すると、次に、撮像装置１１０に応じて予め定められた画素毎の位置ズレ（歪み）特性に基づき各画素を座標変換する座標変換処理が遂行される。座標変換は、撮像装置１１０を通じたことにより本来の位置から歪んで取得されてしまった対象物を本来の位置に戻すための処理である。例えば、図５（ａ）に示す魚眼レンズを通じたような位置ズレ特性を有する映像を、水平方向や垂直方向への単純シフトやアフィン変換等を用いた回転移動により、図５（ｂ）のような水平方向や垂直方向が直線となる画像に補正する。
【００４３】
図６は、座標変換の一例を示す説明図である。例えば、任意の画素１５０を水平右方向にｘ、垂直下方向にｙだけシフトする座標変換を実行すると、座標が異なる新たな画素１５２が生成される。かかる画素１５２の輝度は、図６に破線で示した４つの画素の輝度の合成で表すことができる。例えば、４つの画素の輝度＝ａ、ｂ、ｃ、ｄから実線で示した１つの画素を幾何補正により復元すると、実線で示した画素１５２の輝度は、距離ｘ、ｙを用いて、ａ×（１−ｘ）（１−ｙ）＋ｂ×ｘ（１−ｙ）＋ｃ×（１−ｘ）ｙ＋ｄ×ｘｙで表される。
【００４４】
そうすると、色復元処理同様、座標変換処理においても、画素１５２の空間周波数が１／４となってしまう。ただし、画素１５２が、たまたま２つの画素のみに跨って生成された場合、その空間周波数は１／２となり、さらに、１つの画素と完全に重なった場合、その空間周波数は１となる。このように、空間周波数が１、１／２、１／４と異なってしまうと、色復元処理で説明したように、後述するパターンマッチングにおいて、その空間周波数の偏差が弊害となる。
【００４５】
そこで、本実施形態においては、空間周波数が１／４となった画素や、空間周波数が１／２となった画素はそのまま維持し、たまたま１つの画素に重なることで座標変換が不要と判断された画素の空間周波数１を敢えて低くする。このように、空間周波数を下げることで、画素自体がぼやけ、任意の画素データとの相関性が高くなる。こうして、適切にパターンマッチングが実行される。
【００４６】
以下、空間周波数を下げ、空間周波数の偏差を抑制することで、パターンマッチングの精度を向上可能な画像処理装置１２０の構成を具体的に述べる。
【００４７】
（画像処理装置１２０）
図７は、画像処理装置１２０の概略的な機能を示した機能ブロック図である。図７に示すように、画像処理装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。
【００４８】
Ｉ／Ｆ部１６０は、撮像装置１１０や環境認識装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した輝度画像１２４を一時的に保持する。
【００４９】
中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０やデータ保持部１６２を制御する。また、本実施形態において、中央制御部１６４は、感度補正部１７０、色復元部１７２、色合成部１７４、座標変換部１７６、座標合成部１７８、マッチング処理部１８０、視差導出部１８２としても機能する。
【００５０】
感度補正部１７０は、撮像装置１１０から受信した一対の画像データに、ガンマ補正、ニー処理等の所定の処理を施す。
【００５１】
色復元部１７２は、図４を用いて説明したように、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を、隣接する画素に基づいて線形補間等により復元する。
【００５２】
色合成部１７４は、一対の画像データにおいて、各画素に予め設定されている、本来加工しない色相の輝度を周囲の画素に基づいて敢えて合成する。ここで、色合成部１７４は、色復元部１７２によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成している。こうして、空間周波数を、色復元部１７２で復元した低い空間周波数の画素に合わせることで、空間周波数の偏差を抑制することができ、パターンマッチングの精度を向上することが可能となる。
【００５３】
また、具体的に、色合成部１７４は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成する。以下に、図８を用いて色合成部１７４の合成例を示す。
【００５４】
ベイヤー配列において、色相Ｒは、図８（ａ）のように、１画素ずつ隔てて設定される。例えば、画素（４，３）には、色相Ｒに関して輝度ｅが予め設定されているとする。しかし、本実施形態では、輝度ｅをそのまま利用せず、敢えて空間周波数を下げることとする。即ち、画素（２，１）、（２，３）、（２，５）、（４，１）、（４，５）、（６，１）、（６，３）、（６，５）の輝度をａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、ｉとしたとき、画素（４，３）の輝度ｅを（ａ＋ｂ＋ｃ＋ｄ＋８ｅ＋ｆ＋ｇ＋ｈ＋ｉ）／１６に変換する。ここでは、画素（４，３）自体の本来の輝度ｅの情報を残すべく、「８」を乗算し、他の画素の輝度と加算、最後に「１６」で除算している。すなわち、輝度ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉを１：１：１：１：８：１：１：１：１の比率で合成している。こうすることで、画素（４，３）の空間周波数を１／１６〜１のいずれかの値に下げることができる。
【００５５】
なお、複数の画素の輝度を重み付けして加算し、最終的に均一化する計算さえすれば、乗算や除算の数値は任意に決めることができ、上記の数値「８」や「１６」に限定されない。例えば、水平方向および垂直方向の画素のみを参照し、画素（４，３）の輝度ｅを（ｂ＋ｄ＋４ｅ＋ｆ＋ｈ）／８に変換するとしてもよい。
【００５６】
色相Ｂについても、色相Ｒ同様、図８（ｂ）のように、画素（１，２）、（１，４）、（１，６）、（３，２）、（３，６）、（５，２）、（５，４）、（５，６）の輝度をａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、ｉとしたとき、画素（３，４）の輝度ｅを（ａ＋ｂ＋ｃ＋ｄ＋８ｅ＋ｆ＋ｇ＋ｈ＋ｉ）／１６に変換する。こうして、画素（３，４）の空間周波数を１／１６〜１のいずれかの値に下げることができる。
【００５７】
ベイヤー配列において、色相Ｇは、色相Ｒ、Ｂ同様、１画素ずつ隔てて設定されているが、色相Ｒ、Ｂと異なり、対角線方向にも予め輝度が設定された画素が隣接している。したがって、色相Ｒ、Ｂより近接した画素を用いて、即ち、本来の輝度に近い値を用いて空間周波数を下げることができる。例えば、図８（ｃ）のように、画素（２，２）、（２，４）、（４，２）、（４，４）の輝度をｊ、ｋ、ｍ、ｎとしたとき、画素（３，３）の輝度ｌを（ｊ＋ｋ＋４ｌ＋ｍ＋ｎ）／８に変換する。こうして、画素（３，３）の空間周波数を１／８〜１のいずれかの値に下げることができる。ここでも画素（３，３）自体の本来の輝度のみ４倍の重み付けをして他の画素より輝度の影響を高めている。すなわち、輝度ｊ、ｋ、ｌ、ｍ、ｎを１：１：４：１：１の比率で合成している。なお、色相Ｇについても、複数の画素の輝度を重み付けして加算し最終的に均一化する計算さえすれば、乗算や除算の数値は、任意に決めることができる。
【００５８】
ただし、参照する他の画素が、既に、上記の変換が施されている場合、想定より空間周波数が下がり過ぎてしまう。したがって、予め設定されている輝度をデータ保持部１６２に保持しておき、当該色合成を行う場合には、色合成後の輝度を用いず、保持されている本来の輝度を用いるとよい。
【００５９】
かかる構成により、空間周波数の偏差を抑制でき、任意の画素のみ色復元処理を行う場合と比べ、パターンマッチングを遂行し易い画像に変換することができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。
【００６０】
また、ここでは、色相Ｇに関し占有度（密度）が高いことを前提として計算したが、その占有度に応じて各色相の計算式は任意に変更することができる。ここでは、上述したように、複数の画素の輝度を重み付けして加算し、最終的に除算することで、空間周波数を下げさえすればよい。
【００６１】
座標変換部１７６は、図５を用いて説明したように、一対の画像データを生成する撮像装置１１０に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出（色復元）する。かかる座標変換は、特許第３２８４１９０号等、既存の様々な技術を採用することができるので、ここではその詳細な説明を省略する。
【００６２】
座標合成部１７８は、座標変換部１７６による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する。ここで、座標合成部１７８は、座標変換部１７６によって低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する。こうして、空間周波数を、座標変換部１７６で変換された低い空間周波数の画素に合わせることで、空間周波数の偏差を抑制することができ、パターンマッチングの精度を向上することが可能となる。
【００６３】
また、具体的に、座標合成部１７８は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成する。以下に、図９を用いて座標合成部１７８の合成例を示す。
【００６４】
例えば、座標変換後の画素１５２が画素（２，２）と重なるので、座標変換が不要と判断された場合、画素（２，２）における輝度ｃをそのまま利用することができる。しかし、本実施形態では、輝度ｃをそのまま利用せず、敢えて空間周波数を下げることとする。即ち、画素（１，２）、（２，１）、（２，３）、（３，２）の輝度をａ、ｂ、ｄ、ｅとしたとき、画素（２，２）の輝度ｃを（ａ＋ｂ＋４ｃ＋ｄ＋ｅ）／８に変換する。ここでは、画素（２，２）自体の本来の輝度ｃの情報を残すべく「４」を乗算し、他の画素の輝度と加算、最後に「８」で除算している。こうすることで、画素（２，２）の空間周波数を１／８〜１のいずれかの値に下げることができる。
【００６５】
かかる構成により、空間周波数の偏差を抑制でき、座標変換処理のみを行う場合と比べ、パターンマッチングを遂行し易い画像に変換することができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。
【００６６】
マッチング処理部１８０は、輝度が復元および合成され、かつ、位置ズレが補正された一対のデータそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定する。
【００６７】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。以下、図１０を用いてマッチング処理部１８０の具体的な動作を述べる。
【００６８】
図１０における軌跡は、ブロック単位のパターンマッチングにおける相関値（差分値）の推移を示している。このように、ブロック同士をリニアにシフトすることができれば、相関値が最大となる（ここでは差分値が最小となる）具体的な点Ａを求めるのが可能となる。しかし、実際は画素単位の移動しかできず、画素単位で移動した…Ｂｎ−２、Ｂｎ−１、Ｂn、Ｂｎ＋１、Ｂｎ＋２…（ｎは整数）における相関値（ここでは差分値）のみしか取得することができない。そうすると相関値が最大の点（差分値が最小の点）は、点Ｂnとなる。
【００６９】
ここでは、図１０のように相関値の推移が、相関値が最大になる点から上下に延伸した線に対して線対称となっていることを利用し、さらに細かい分解能で水平方向のシフト量を導出する。例えば、マッチング処理部１８０は、特定されたブロック同士の相関値（相関値が最大と判定された点Ｂnの相関値）と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値（点Ｂｎ−１、Ｂｎ＋１の相関値）とに基づいて、画素単位より分解能の高いマッチング位置を導出する。
【００７０】
具体的に、マッチング処理部１８０は、相関値が最大と判定された、即ち、差分値が最小の点Ｂnと差分値が最小から３番目の点Ｂｎ−１の相関値との結線１９０を生成する。次に、当該結線１９０と符号は反転しているが傾きの大きさが等しく、かつ、差分値が最小から２番目の点Ｂｎ＋１を通る線分１９２を生成する。そして、その交点１９４に相当するマッチング位置Ｃを新たに導出する。かかるマッチング位置Ｃは真に相関値が最大となる点Ａとは少しずれることもあるが、ほぼ相関値が最大となる点を示している。また、このようにして導出された点は、画素単位に比べ８〜１６倍程度の分解能で表される。したがって、より詳細なパターンマッチングが可能となる。
【００７１】
本実施形態では、上述したように、一対の画像データにおける空間周波数の偏差を抑制しているので、このような分解能の高いパターンマッチングにおいて、特に、色合成部１７４や座標合成部１７８が効果的に機能する。
【００７２】
視差導出部１８２は、マッチング処理部１８０によって特定されたブロック同士の、画像を基準とした分解能の高まった視差を求め、そのブロックに関連付けさせる。かかる視差は視差情報として後段の環境認識装置１３０に利用される。
【００７３】
（画像処理方法）
以下、画像処理装置１２０の具体的な処理を図１１〜図１３のフローチャートに基づいて説明する。図１１は、画像処理装置１２０が輝度画像１２４を受信した場合の割込処理に関する全体的な流れを示し、図１２、１３は、その中の個別のサブルーチンを示している。また、ここでは、６００×２００画素の輝度画像１２４の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該画像処理方法による処理を遂行する。
【００７４】
図１１に示すように、輝度画像１２４の受信を契機に当該環境認識方法による割込が発生すると、輝度画像１２４の感度が補正され（Ｓ２００）、色復元処理（Ｓ２０２）および座標変換処理（Ｓ２０４）が実行される。そして、パターンマッチング処理（Ｓ２０６）が遂行された後、視差情報が生成される（Ｓ２０８）。以下、上記のうち、本実施形態において特徴的な色復元処理Ｓ２０２および座標変換処理Ｓ２０４を具体的に説明する。
【００７５】
（色復元処理Ｓ２０２）
図１２を参照すると、色復元部１７２は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ２５０）。続いて、色復元部１７２は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ２５２）。次に、色復元部１７２は、水平変数ｉに「１」を加算する（Ｓ２５４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該色復元処理を実行するためである。
【００７６】
続いて、色復元部１７２は、輝度画像１２４から画素（ｉ，ｊ）における色相Ｒ、Ｇ、Ｂそれぞれの輝度を取得する（Ｓ２５６）。そして、色復元部１７２は、色相Ｒについて色復元が必要な画素であるか否か、すなわち、色相Ｒが予め設定されていない画素であるか否か判定する（Ｓ２５８）。色復元が必要な画素であれば（Ｓ２５８におけるＹＥＳ）、色復元部１７２が色復元を行い（Ｓ２６０）、色復元が不要な画素であれば（Ｓ２５８におけるＮＯ）、色合成部１７４が、周囲の画素に基づいて色を合成する（Ｓ２６２）。
【００７７】
次に、色復元部１７２は、色相Ｇについて色復元が必要な画素であるか否か判定する（Ｓ２６４）。色復元が必要な画素であれば（Ｓ２６４におけるＹＥＳ）、色復元部１７２が色復元を行い（Ｓ２６６）、色復元が不要な画素であれば（Ｓ２６４におけるＮＯ）、色合成部１７４が、周囲の画素に基づいて色を合成する（Ｓ２６８）。同様に、色復元部１７２は、色相Ｂについても色復元が必要な画素であるか否か判定する（Ｓ２７０）。色復元が必要な画素であれば（Ｓ２７０におけるＹＥＳ）、色復元部１７２が色復元を行い（Ｓ２７２）、色復元が不要な画素であれば（Ｓ２７０におけるＮＯ）、色合成部１７４が、周囲の画素に基づいて色を合成する（Ｓ２７４）。
【００７８】
次に、水平変数ｉが水平画素の最大値（ここでは６００）を超えたか否か判定し（Ｓ２７６）、水平変数ｉが最大値を超えていなければ（Ｓ２７６におけるＮＯ）、ステップＳ２５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ２７６におけるＹＥＳ）、色復元部１７２は、垂直変数ｊが垂直画素の最大値（ここでは２００）を超えたか否か判定する（Ｓ２７８）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ２７８におけるＮＯ）、ステップＳ２５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ２７８におけるＹＥＳ）、当該色復元処理を終了する。
【００７９】
（座標変換処理Ｓ２０４）
図１３を参照すると、座標変換部１７６は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ３００）。続いて、座標変換部１７６は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ３０２）。次に、座標変換部１７６は、水平変数ｉに「１」を加算する（Ｓ３０４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該座標変換処理を実行するためである。
【００８０】
続いて、座標変換部１７６は、輝度画像１２４から画素（ｉ，ｊ）における色相Ｒ、Ｇ、Ｂそれぞれの輝度を取得する（Ｓ３０６）。そして、座標変換部１７６は、周囲４画素または２画素から色復元を行うか否か、すなわち、座標変換不要と判断されていない画素であるか否か判定する（Ｓ３０８）。色復元を行う画素であれば（Ｓ３０８におけるＹＥＳ）、座標変換部１７６が座標変換後の画素の各色相の色復元を行い（Ｓ３１０）、色復元を行わない画素であれば（Ｓ３０８におけるＮＯ）、座標合成部１７８が、周囲の画素に基づいて色を合成する（Ｓ３１２）。
【００８１】
次に、水平変数ｉが水平画素の最大値（ここでは６００）を超えたか否か判定し（Ｓ３１４）、水平変数ｉが最大値を超えていなければ（Ｓ３１４におけるＮＯ）、ステップＳ３０４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３１４におけるＹＥＳ）、座標変換部１７６は、垂直変数ｊが垂直画素の最大値（ここでは２００）を超えたか否か判定する（Ｓ３１６）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３１６におけるＮＯ）、ステップＳ３０２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３１６におけるＹＥＳ）、当該座標変換処理を終了する。
【００８２】
以上、説明した画像処理装置１２０では、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【００８３】
また、コンピュータを、画像処理装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８５】
例えば、上述した実施形態においては、２つの撮像装置１１０を用いて同時に取得した画像データを利用しているが、１つの撮像装置１１０を用いて時系列に対応する一対の画像データを用いることもできる。また、撮像装置１１０の数は１や２に限らず、３以上の複眼にも適用可能である。
【００８６】
また、上述した実施形態においては、ベイヤー配列としてＲＧＢの３原色を挙げて説明したが、ＲＧＢＣの４原色、もしくは異なる５色以上の色を適用することもできる。
【００８７】
さらに、上述した実施形態では、撮像装置１１０を介して取得した画像データのみを対象としているが、電波レーザレーダを用い、周波数フィルタを異ならせて上述した特定の色相に相当するレーザ光を取得するとしてもよい。ここで、電波レーザレーダは、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、その反射光を分析するものである。さらに、温度測定装置でも、温度測定素子毎の画像データに当該実施形態を適用することも可能である。
【産業上の利用可能性】
【００８８】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に利用することができる。
【符号の説明】
【００８９】
１ …車両
１００ …環境認識システム
１２０ …画像処理装置
１７０ …感度補正部
１７２ …色復元部
１７４ …色合成部
１７６ …座標変換部
１７８ …座標合成部
１８０ …マッチング処理部
【特許請求の範囲】
【請求項１】
ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、
前記一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部と、
前記一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記色合成部は、前記色復元部によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色合成部は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、該座標変換後の画素の輝度を導出する座標変換部と、
前記座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、
をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、該座標変換後の画素の輝度を導出する座標変換部と、
前記座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、
前記一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備えることを特徴とする画像処理装置。
【請求項６】
前記座標合成部は、前記座標変換部によって座標変換されることで低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記座標合成部は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記マッチング処理部は、前記特定されたブロック同士の相関値と、前記特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値とに基づいて、画素単位より分解能の高いマッチング位置を導出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１】
ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、
前記一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部と、
前記一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記色合成部は、前記色復元部によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色合成部は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、該座標変換後の画素の輝度を導出する座標変換部と、
前記座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、
をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、該座標変換後の画素の輝度を導出する座標変換部と、
前記座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、
前記一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備えることを特徴とする画像処理装置。
【請求項６】
前記座標合成部は、前記座標変換部によって座標変換されることで低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記座標合成部は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記マッチング処理部は、前記特定されたブロック同士の相関値と、前記特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値とに基づいて、画素単位より分解能の高いマッチング位置を導出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図３】
【図４】
【図８】
【図２】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図３】
【図４】
【図８】
【公開番号】特開２０１３−７３３０６（Ｐ２０１３−７３３０６Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０２２３（Ｐ２０１１−２１０２２３）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]