画像処理装置
【課題】パターンマッチングに利用する色相を特定することで適切にパターンマッチングを遂行する。
【解決手段】画像処理装置１２０は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部１７２と、輝度が復元された一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部１７６と、を備え、色復元部およびマッチング処理部は、ベイヤー配列で占有度が最も高い色相のみを対象に、それぞれ輝度の復元およびマッチングを実行する。こうして、パターンマッチングに利用する色相を特定することで適切にパターンマッチングを遂行することが可能となる。
【解決手段】画像処理装置１２０は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部１７２と、輝度が復元された一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部１７６と、を備え、色復元部およびマッチング処理部は、ベイヤー配列で占有度が最も高い色相のみを対象に、それぞれ輝度の復元およびマッチングを実行する。こうして、パターンマッチングに利用する色相を特定することで適切にパターンマッチングを遂行することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
先行車両との車間距離は、例えば、異なる位置で撮像された一対の画像データにおける対象物の視差から求めることができる。また、一対の画像データにおける対象物の視差は、画像間のパターンマッチングに基づいて導出される。パターンマッチングとしては、画像間で所定の大きさのブロック同士を比較し（マッチングし）、相関性が高いブロックを特定するといったことが一般的に行われている。また、画像の濃度ヒストグラムを用いてパターンマッチングを実行する技術も開示されている（例えば、特許文献３）。
【０００４】
さらに、パターンマッチングの精度を高めるべく、パターンマッチングの前段で、撮像した画像の光学的な位置ズレを幾何学的に位置補正する技術も公開されている（例えば、特許文献４）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開平５−２１０７３７号公報
【特許文献４】特許第３２８４１９０号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像を取得する手段として、例えば、格子状に配列された画素に対応する複数の受光部位（フォトダイオード）に、３原色であるＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、所謂ベイヤー配列が知られている。ベイヤー配列では、画素毎にＲＧＢのうち１の色相しか取得されないため、通常、各画素において未設定の（欠落している）色相の輝度を、隣接する画素に基づいて補間し、色を復元する。そして、色が復元された各画素が、上述したように幾何学的に位置補正され、その後、パターンマッチングが遂行される。
【０００７】
しかし、上述した色の復元は、対象となる画素の本来の色と隣接する画素の本来の色とが等しいことを前提としているため、隣接する画素の色が異なったり、そもそも対象物が異なる場合、その異なる色に基づいて色を復元してしまい偽色が生じるおそれがある。また、画素の物理的重心とその画素について復元された色重心とが異なる場合、画素の物理的重心に基づく幾何学的な位置補正によって、色重心が偏ってしまう可能性がある。
【０００８】
また、夜間の走行時には、少ない入射光を効果的に取得すべく、シャッタの絞りを抑えて（シャッタを開いて）撮像するところ、検出領域内の光源の光が強すぎて任意の色相の輝度がサチレーションする（飽和する）現象が生じていた。
【０００９】
本発明は、このような課題に鑑み、パターンマッチングに利用する色相を特定することで適切にパターンマッチングを遂行可能な、画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の画像処理装置は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、輝度が復元された一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備え、色復元部およびマッチング処理部は、ベイヤー配列で占有度が最も高い色相のみを対象に、それぞれ輝度の復元およびマッチングを実行することを特徴とする。
【００１１】
一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換する座標変換部をさらに備えてもよい。
【００１２】
上記課題を解決するために、本発明の他の画像処理装置は、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、明暗に関する環境情報を取得する環境情報取得部と、を備え、マッチング処理部は、環境情報取得部が所定の明るさ以下であることを示す環境情報を取得した場合、対象となる複数の色相のうち、波長が最も短い色相のみを対象にマッチングを実行することを特徴とする。
【００１３】
マッチング処理部は、ＨＩＤランプおよびハロゲンランプのいずれかを光源とする対象物をマッチングの対象としてもよい。
【発明の効果】
【００１４】
本発明によれば、パターンマッチングに利用する色相を特定することで適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態による環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】ベイヤー配列の一例を説明するための説明図である。
【図４】色復元処理を説明するための説明図である。
【図５】座標変換処理を説明するための説明図である。
【図６】色重心を説明するための説明図である。
【図７】画像処理装置の概略的な機能を示した機能ブロック図である。
【図８】ＨＩＤランプおよびハロゲンランプの特定を説明するための説明図である。
【図９】第２の実施形態における画像処理装置の概略的な機能を示した機能ブロック図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（第１の実施形態：環境認識システム１００）
画像処理装置は、任意の目的を適切に達成するため撮像された画像を加工処理することを目的としている。例えば、画像処理装置を、車両周囲の環境を認識するための環境認識システムに採用した場合、画像処理装置は、撮像装置で撮像された画像を加工処理し、画像内の対象物の相対距離を特定するため、その画像の視差情報を導出する。ここでは、画像処理装置の理解を容易にするため、まず、画像処理装置を用いた一実施形態である環境認識システムを説明し、その後、画像処理装置の具体的な構成を詳述する。
【００１８】
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
（撮像装置１１０）
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得する。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、画素に対応する受光部位（フォトダイオード）にＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、ベイヤー配列によるカラー画像を得ることとする。また、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２０】
撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２１】
（画像処理装置１２０）
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した一対の画像データの相関性を評価し、画像中の任意のブロック（所定数の画素を集めたもの）の両画像間の視差を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導出する。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。かかる相関性の評価およびパターンマッチングに関しては後ほど詳述する。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
（環境認識装置１３０）
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６の視差情報に基づく車両（自車両）１との相対距離とを用いて検出領域１２２における対象物がいずれの物（車両、信号機、道路、ガードレール、テールランプ、ウィンカー、信号機の各点灯部分等）に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。
【００２５】
（車両制御装置１４０）
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２６】
（第１の実施形態における問題点とその解決手段）
カラー画像は様々な態様で取得できる。例えば、（１）撮像装置１１０への入射光をプリズムによってＲＧＢの各色相に分割し、３つの撮像素子で色相毎に画像を取得したり、（２）ＲＧＢそれぞれの感度セルを光路方向に重畳した撮像素子でＲＧＢに基づく画像を一度に取得したり、（３）ベイヤー配列によって画素毎に１の色相を規則的かつ排他的に取得したりすることが可能である。本実施形態では、このうち（３）ベイヤー配列を用いて画像を取得する。
【００２７】
図３は、ベイヤー配列の一例を説明するための説明図である。図３（ａ）に示すように、ベイヤー配列は、格子状に配列された画素に規則的かつ排他的に各色相ＲＧＢを配置したものであり、いずれの色相においても、少なくとも水平方向および垂直方向の２つ隣の画素には同一の色相が配されている。ただし、色相Ｇは、色相Ｒと色相Ｂに対して２倍の密度（占有面積）となっている。これは、図３（ｂ）に示した分光感度特性のように、色相Ｇの感度分布が高いため、輝度情報を取得しやすく、また、人間の視覚が色相Ｇに対して高い感度を持っているからである。
【００２８】
ベイヤー配列においては、各画素からは１つの色相に関してしか輝度を得られない。そこで、欠落している他の２つの色相に関し、隣接する画素の当該色相の輝度を用いて色復元処理（補間処理）を行う。
【００２９】
図４は、色復元処理を説明するための説明図である。ここでは、画像周囲に付された数字が画素の水平および垂直位置を示す。例えば、色相Ｒは、ベイヤー配列において図４（ａ）のように配されている。したがって、既に色相Ｒについて輝度が取得されている画素（２，１）、（２，３）、（４，１）、（４，３）の輝度は、取得した輝度ａ、ｂ、ｃ、ｄをそのまま利用できる。
【００３０】
また、水平方向または垂直方向に、輝度が取得された２つの画素が隣接する画素（２，２）、（３，１）、（３，３）、（４，２）では、隣接する２つの画素の輝度が線形補間され、画素（２，２）の輝度＝（ａ＋ｂ）／２、画素（３，１）の輝度＝（ａ＋ｃ）／２、画素（３，３）の輝度＝（ｂ＋ｄ）／２、画素（４，２）の輝度＝（ｃ＋ｄ）／２となる。
【００３１】
さらに、対角線方向に、輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ａ＋ｂ＋ｃ＋ｄ）／４となる。ここでは、説明の便宜のため水平方向１行目および垂直方向４行目の画素の導出は省略している。このような画素の補間は、図４（ｂ）に示すように色相Ｂでも適用できるため、ここでは、色相Ｂについての説明を省略する。
【００３２】
また、色相Ｇは，ベイヤー配列において図４（ｃ）のように配されている。したがって、既に色相Ｇについて輝度が取得されている画素（２，２）、（３，１）、（３，３）、（４，２）の輝度は、取得した輝度ｅ、ｆ、ｇ、ｈをそのまま利用できる。また、水平方向および垂直方向に輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ｅ＋ｆ＋ｇ＋ｈ）／４となる。
【００３３】
したがって、いずれの色相であっても、本来の色を復元するためには、水平方向または垂直方向に最大３画素の領域幅が必要である（参照画素数の最大は４画素）ことが理解できる。そうすると、電線、木（葉等）、その他の一方向に細い対象物を撮像した場合、その幅が１画素や２画素となると、適切な色への復元が困難となる。
【００３４】
例えば、図４（ａ）において、仮に、垂直方向２行目に、水平方向の幅が１画素の対象物が位置しているとする。図４（ａ）の垂直方向２行目には、その対象物のＲ成分に関する情報が全くなく、上述した線形補間によって、他の対象物のＲ成分に影響を受けた偽色が生じる。同様に、図４（ｂ）において、仮に、垂直方向３行目に、水平方向の幅が１画素の対象物が位置しているとする。図４（ｂ）の垂直方向３行目には、その対象物のＢ成分に関する情報が全くなく、上述した線形補間によって、他の対象物のＢ成分に影響を受けた偽色が生じる。これに対して、図４（ｃ）では、垂直方向２行目であっても、垂直方向３行目であっても、その対象物のＧ成分に関する情報が含まれるので、他の対象物のＧ成分の影響を受けたとしても、線形補間によって本来の色に近い色が復元される。
【００３５】
したがって、色復元処理に、例えば、ベイヤー配列において密度の高い色相Ｇのみを扱うとした場合、偽色が生じにくく、色相Ｒ、Ｂも含めた場合と比較して、色の復元性を高めることができる。偽色が生じた場合、パターンマッチングが適切に実行されないばかりか、ミスマッチングによって誤った視差情報を導出してしまうこともある。ここでは、上記の如く色の復元性を高めることで、かかる事態を回避することが可能となる。
【００３６】
そして、色復元処理が完了すると、次に、撮像装置１１０に応じて予め定められた画素毎の位置ズレ（歪み）特性に基づき各画素を座標変換する座標変換処理が遂行される。座標変換は、撮像装置１１０を通じたことにより本来の位置から歪んで取得されてしまった対象物を本来の位置に戻すための処理である。例えば、図５（ａ）に示す魚眼レンズを通じたような位置ズレ特性を有する映像を、水平方向や垂直方向への単純シフトやアフィン変換等を用いた回転移動により、図５（ｂ）のような水平方向や垂直方向が直線となる画像に補正する。
【００３７】
かかる座標変換においては、座標変換後の画素の色復元も実行されるが、画素の物理的重心とその画素について復元された色重心とが異なる場合に問題が生じる。ここで、色重心は、上述した色復元処理により偏移しうる。以下、色重心の説明を行う。
【００３８】
図６は、色重心を説明するための説明図である。図６（ａ）に破線で示した４つの画素（輝度＝ａ、ｂ、ｃ、ｄ）から実線で示した１つの画素を幾何補正により復元すると、実線で示した画素１５０の輝度は、距離ｘ、ｙを用いて、ａ×（１−ｘ）（１−ｙ）＋ｂ×ｘ（１−ｙ）＋ｃ×（１−ｘ）ｙ＋ｄ×ｘｙで表される。
【００３９】
したがって、図６（ｂ）のように色相Ｒが配され、その輝度がａ、ｂ、ｃ、ｄであった場合、図６（ｂ）の実線で示した画素１５２の輝度は、画素（２，２）、（３，２）、（３，３）のＲ成分をｅ、ｆ、ｇとすると、（ｂ＋ｅ＋ｆ＋ｇ）／４となる。ただし、ここでは、理解を容易にするため、図６（ａ）における距離ｘ、ｙを０．５としている。また、上述した色復元処理により、ｅ＝（ａ＋ｂ）／２、ｆ＝（ａ＋ｂ＋ｃ＋ｄ）／４、ｇ＝（ｂ＋ｄ）／２となる。すると、画素１５２への色相Ｒの寄与度は、ａ＝３／１６、ｂ＝９／１６、ｃ＝１／１６、ｄ＝３／１６となる。この場合、色重心は、画素１５２の物理的重心（中心位置）より図面中左下に生じる。色相Ｂについても、色相Ｒ同様に求めると、図６（ｃ）の如く、色重心が、画素１５２の物理的重心より図面中右上に生じる。かかる色重心の位置は、実線の画素１５２の取り方によって変化することは言うまでもない。
【００４０】
ただし、色相Ｇの場合、図６（ｄ）の如く、画素（３，１）、（２，２）、（１，３）、（４，２）、（３，３）、（２，４）の輝度をｈ、ｉ、ｊ、ｋ、ｌ、ｍとすると、画素１５２への色相Ｇの寄与度は、ｈ＝１／１６、ｉ＝６／１６、ｊ＝１／１６、ｋ＝１／１６、ｌ＝６／１６、ｍ＝１／１６となる。この場合、色重心は、画素１５２の物理的重心（中心位置）と等しくなる。
【００４１】
したがって、座標変換を行った場合、色相Ｒ、Ｂについては、画素の物理的重心とその画素について復元された色重心とが異なる場合があるので、画素の物理的重心に基づく幾何学的な位置補正によって、色重心が偏ってしまうおそれがある。しかし、例えば、ベイヤー配列において市松模様の如く均等に配された色相Ｇのみを扱うとした場合、このような物理的重心と色重心との偏移も生じることがなく、色相Ｒ、Ｂも含めた場合と比較して、座標変換した後の画像の色配置も適切となる。このような色重心の偏移が生じた場合、色復元処理同様、パターンマッチングが適切に実行されないばかりか、ミスマッチングによって誤った視差情報を導出してしまうこともある。ここでは、上記の如く色の偏移を抑制することで、かかる事態を回避することが可能となる。
【００４２】
したがって、座標変換処理において色相Ｇのみを扱うとした場合、色の復元性を高め、偏移を抑制することが可能となる。以下、対象とする色相を色相Ｇのみとした画像処理装置１２０の構成を具体的に述べる。
【００４３】
（画像処理装置１２０）
図７は、画像処理装置１２０の概略的な機能を示した機能ブロック図である。図７に示すように、画像処理装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。
【００４４】
Ｉ／Ｆ部１６０は、撮像装置１１０や環境認識装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した輝度画像１２４を一時的に保持する。
【００４５】
中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０やデータ保持部１６２を制御する。また、本実施形態において、中央制御部１６４は、感度補正部１７０、色復元部１７２、座標変換部１７４、マッチング処理部１７６、視差導出部１７８としても機能する。
【００４６】
感度補正部１７０は、撮像装置１１０から受信した一対の画像データに、ガンマ補正、ニー処理等の所定の処理を施す。
【００４７】
色復元部１７２は、図４を用いて説明したように、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を、隣接する画素に基づいて線形補間等により復元する。ただし、本実施形態においては、３原色全てではなく、ベイヤー配列で占有度の高い色相Ｇのみ抽出し、色相Ｇに関する輝度が未設定の画素に対して色復元処理を施す。
【００４８】
かかる構成により、偽色が生じにくく、色相Ｒ、Ｂも含めた場合と比較して、色の復元性を高めることができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。
【００４９】
また、ここでは、占有度の高い色相として色相Ｇを用いているが、ベイヤー配列において占有面積が多い色相であれば、いずれの色相を採用することもできる。例えばＲＧＢの原色系のみならず、ＹＭｇＣｙＧｒの補色系でも最も占有度の高い補色を用いることが可能である。
【００５０】
座標変換部１７４は、図５を用いて説明したように、一対の画像データを生成する撮像装置１１０に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出（色復元）する。かかる座標変換は、特許第３２８４１９０号等、既存の様々な技術を採用することができるので、ここではその詳細な説明を省略する。ここで、座標変換部１７４は、色復元部１７２によって色復元処理が施された色相Ｇのみを用いて座標変換後の色復元を行う。
【００５１】
色相Ｇは、ベイヤー配列で市松模様の如く均等に配されているので、物理的重心と色重心との偏移も生じることがなく、色相Ｒ、Ｂも含めた場合と比較して、座標変換した後の画像の色配置も適切となる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度をより高めることが可能となる。
【００５２】
マッチング処理部１７６は、輝度が復元され、かつ、位置ズレが補正された一対のデータそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定する。ただし、本実施形態においては、色相Ｇのみについてパターンマッチングを行う。
【００５３】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００５４】
本実施形態では、マッチング処理部１７６が１の色相Ｇを用いてパターンマッチングを行う例を挙げて説明したが、条件に応じ、従来の３原色によるパターンマッチングと切り換えて利用することで、パターンマッチングを効果的に行うことが可能となる。このときの条件は、例えば、エッジの細かさ、想定する映像、ＤＣＤＸ値等が想定される。例えば、全体的にエッジが細かい場合、色相Ｇのみによってパターンマッチングを行い、エッジが緩やかであれば、３原色によるパターンマッチングを行う。
【００５５】
視差導出部１７８は、マッチング処理部１７６によって特定されたブロック同士の、画像を基準とした視差を画素単位で求め、そのブロックに関連付けさせる。かかる視差は視差情報として後段の環境認識装置１３０に利用される。
【００５６】
以上、説明した画像処理装置１２０では、色相として色相Ｇのみを扱うことで、色の復元性を高め、色重心の偏移を抑制することが可能となる。したがって、パターンマッチングの精度をより高めることで、視差情報を適切に導出することができ、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【００５７】
（第２の実施形態）
第１の実施形態では、ベイヤー配列の構成に基づいて１の色相によるマッチングを遂行した。第２の実施形態では、ベイヤー配列に拘わらず、車両１外の環境に応じて１の色相によるマッチングを遂行する。
【００５８】
（第２の実施形態における問題点とその解決手段）
夜間の車両１の走行において、環境認識システム１００では、検出領域１２２から受光できる光が全体的に少なくなるので、撮像装置１１０のシャッタを比較的大きく開いて、光の受光感度を高める。このとき、テールランプ、ストップランプ、ヘッドライト、ウィンカー等の自発光する光源が検出領域１２２に出現すると、高まった受光感度によって輝度がサチレーション（飽和）してしまう。
【００５９】
このように輝度の情報がサチレーションしてしまうと、サチレーションした全ての画素が同一の輝度を示してしまうので、適切なパターンマッチングができなくなる。かかる事象を回避すべくシャッタを絞ると、上述した光源に対してパターンマッチングが可能となるかもしれないが、今度は光源以外の対象物を取得できなくなってしまう。
【００６０】
ところで、テールランプ、ストップランプ、ヘッドライト、ウィンカー等、車両１には、ＨＩＤ（High Intensity Discharge）ランプやハロゲンランプが用いられている。第２の実施形態においては、このようなランプの特性に着目する。
【００６１】
図８は、ＨＩＤランプおよびハロゲンランプの特定を説明するための説明図である。例えば、図８（ａ）に示した、ＨＩＤランプ（ここでは、メタルハライドランプ）の分光エネルギー分布を参照すると、色相Ｇや、色相Ｇと色相Ｒの間の波長で相対エネルギーが高い波長があることが分かる。一方、色相Ｂの相対エネルギーは低い値を示している。同様に図８（ｂ）に示したハロゲンランプにおいても、色相Ｂの相対エネルギーは低く、波長が大きくなるに連れ、即ち、色相が色相Ｇ、色相Ｒと移行するに従って、相対エネルギーは高くなっている。
【００６２】
そこで、本実施形態では、光源のうちでも相対エネルギーの弱い、色相Ｂのみを取得することで、サチレーションを回避する。特に、テールランプ、ストップランプ、ウィンカー等は、赤や橙のカラーフィルタがかかっているので色相Ｂの光が通りにくく、より色相Ｂの輝度が低くなり、サチレーションが回避され易くなる。
【００６３】
色相Ｂは、シャッタを開いた状態であっても、そもそもの相対エネルギーが低いため、サチレーションし難く、輝度として有効な値を取得できる。そうすると、その色相Ｂによるテクスチャが生じ、適切にパターンマッチングを行うことが可能となる。
【００６４】
（画像処理装置２２０）
図９は、第２の実施形態における画像処理装置２２０の概略的な機能を示した機能ブロック図である。図９に示すように、画像処理装置２２０は、第１の実施形態の画像処理装置１２０同様、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。また、中央制御部１６４は、感度補正部１７０、色復元部１７２、座標変換部１７４、マッチング処理部１７６、視差導出部１７８、環境情報取得部２８０としても機能する。第１の実施形態における構成要素として既に述べたＩ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４と、感度補正部１７０と、視差導出部１７８とは、実質的に機能が同一なので、重複説明を省略する。また、色復元部１７２、座標変換部１７４、マッチング処理部１７６に関しても、対象とする色相が色相Ｂであること以外は実質的に等しいので、重複説明を省略し、構成が相違する環境情報取得部２８０を主に説明する。
【００６５】
環境情報取得部２８０は、車両１外の環境における明暗に関する環境情報を取得する。例えば、車両１がヘッドライトを点灯した場合、ヘッドライトが必要な程度に環境的に暗くなったと判断し、そのヘッドライトの点灯を環境情報「暗」として取得する。また、環境情報取得部２８０として、明度センサを設け、適当な閾値以下となったか否かによって環境情報「暗」を判断してもよい。
【００６６】
マッチング処理部１７６は、環境情報取得部２８０が所定の明るさ以下であることを示す環境情報「暗」を取得した場合、対象となる複数の色相のうち、最も波長の短い色相である色相Ｂのみを対象にマッチングを実行する。例えば、先行車両のテールランプは色相Ｒの波長が多く、色相Ｂの波長が少ない。そのため色相Ｂの波長の画像のみでマッチングすると、テールランプがサチレーションせず、適切にパターンマッチングを遂行することが可能となる。すると、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことができる。
【００６７】
なお、昼間のように環境的に十分明るければ、即ち、環境情報取得部２８０が環境情報「明」を示しているとき、マッチング処理部１７６は、３原色によるパターンマッチングを行う。
【００６８】
以上、説明したように、画像処理装置２２０によれば、夜間の走行時に、シャッタの絞りを抑えて少ない入射光を撮像素子で効果的に取得しつつ、光源を有する対象物も適切に取得することができ、ひいては、パターンマッチングの精度をより高めることが可能となる。
【００６９】
また、コンピュータを、画像処理装置１２０、２２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００７０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７１】
例えば、上述した実施形態においては、２つの撮像装置１１０を用いて同時に取得した画像データを利用しているが、１つの撮像装置１１０を用いて時系列に対応する一対の画像データを用いることもできる。また、撮像装置１１０の数は１や２に限らず、３以上の複眼にも適用可能である。
【００７２】
また、上述した実施形態においては、ベイヤー配列としてＲＧＢの３原色を挙げて説明したが、ＲＧＢＣの４原色、もしくは異なる５色以上の色を適用することもできる。
【００７３】
さらに、上述した実施形態では、撮像装置１１０を介して取得した画像データのみを対象としているが、電波レーザレーダを用い、周波数フィルタを異ならせて上述した特定の色相に相当するレーザ光を取得するとしてもよい。ここで、電波レーザレーダは、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、その反射光を分析するものである。さらに、温度測定装置でも、温度測定素子毎の画像データに当該実施形態を適用することも可能である。
【産業上の利用可能性】
【００７４】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に利用することができる。
【符号の説明】
【００７５】
１ …車両
１００ …環境認識システム
１２０、２２０ …画像処理装置
１７０ …感度補正部
１７２ …色復元部
１７４ …座標変換部
１７６ …マッチング処理部
２８０ …環境情報取得部
【技術分野】
【０００１】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。
【０００３】
先行車両との車間距離は、例えば、異なる位置で撮像された一対の画像データにおける対象物の視差から求めることができる。また、一対の画像データにおける対象物の視差は、画像間のパターンマッチングに基づいて導出される。パターンマッチングとしては、画像間で所定の大きさのブロック同士を比較し（マッチングし）、相関性が高いブロックを特定するといったことが一般的に行われている。また、画像の濃度ヒストグラムを用いてパターンマッチングを実行する技術も開示されている（例えば、特許文献３）。
【０００４】
さらに、パターンマッチングの精度を高めるべく、パターンマッチングの前段で、撮像した画像の光学的な位置ズレを幾何学的に位置補正する技術も公開されている（例えば、特許文献４）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３４９０６０号
【特許文献２】特開平１０−２８３４６１号公報
【特許文献３】特開平５−２１０７３７号公報
【特許文献４】特許第３２８４１９０号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像を取得する手段として、例えば、格子状に配列された画素に対応する複数の受光部位（フォトダイオード）に、３原色であるＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、所謂ベイヤー配列が知られている。ベイヤー配列では、画素毎にＲＧＢのうち１の色相しか取得されないため、通常、各画素において未設定の（欠落している）色相の輝度を、隣接する画素に基づいて補間し、色を復元する。そして、色が復元された各画素が、上述したように幾何学的に位置補正され、その後、パターンマッチングが遂行される。
【０００７】
しかし、上述した色の復元は、対象となる画素の本来の色と隣接する画素の本来の色とが等しいことを前提としているため、隣接する画素の色が異なったり、そもそも対象物が異なる場合、その異なる色に基づいて色を復元してしまい偽色が生じるおそれがある。また、画素の物理的重心とその画素について復元された色重心とが異なる場合、画素の物理的重心に基づく幾何学的な位置補正によって、色重心が偏ってしまう可能性がある。
【０００８】
また、夜間の走行時には、少ない入射光を効果的に取得すべく、シャッタの絞りを抑えて（シャッタを開いて）撮像するところ、検出領域内の光源の光が強すぎて任意の色相の輝度がサチレーションする（飽和する）現象が生じていた。
【０００９】
本発明は、このような課題に鑑み、パターンマッチングに利用する色相を特定することで適切にパターンマッチングを遂行可能な、画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の画像処理装置は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、輝度が復元された一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備え、色復元部およびマッチング処理部は、ベイヤー配列で占有度が最も高い色相のみを対象に、それぞれ輝度の復元およびマッチングを実行することを特徴とする。
【００１１】
一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換する座標変換部をさらに備えてもよい。
【００１２】
上記課題を解決するために、本発明の他の画像処理装置は、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、明暗に関する環境情報を取得する環境情報取得部と、を備え、マッチング処理部は、環境情報取得部が所定の明るさ以下であることを示す環境情報を取得した場合、対象となる複数の色相のうち、波長が最も短い色相のみを対象にマッチングを実行することを特徴とする。
【００１３】
マッチング処理部は、ＨＩＤランプおよびハロゲンランプのいずれかを光源とする対象物をマッチングの対象としてもよい。
【発明の効果】
【００１４】
本発明によれば、パターンマッチングに利用する色相を特定することで適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態による環境認識システムの接続関係を示したブロック図である。
【図２】輝度画像と距離画像を説明するための説明図である。
【図３】ベイヤー配列の一例を説明するための説明図である。
【図４】色復元処理を説明するための説明図である。
【図５】座標変換処理を説明するための説明図である。
【図６】色重心を説明するための説明図である。
【図７】画像処理装置の概略的な機能を示した機能ブロック図である。
【図８】ＨＩＤランプおよびハロゲンランプの特定を説明するための説明図である。
【図９】第２の実施形態における画像処理装置の概略的な機能を示した機能ブロック図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（第１の実施形態：環境認識システム１００）
画像処理装置は、任意の目的を適切に達成するため撮像された画像を加工処理することを目的としている。例えば、画像処理装置を、車両周囲の環境を認識するための環境認識システムに採用した場合、画像処理装置は、撮像装置で撮像された画像を加工処理し、画像内の対象物の相対距離を特定するため、その画像の視差情報を導出する。ここでは、画像処理装置の理解を容易にするため、まず、画像処理装置を用いた一実施形態である環境認識システムを説明し、その後、画像処理装置の具体的な構成を詳述する。
【００１８】
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。
【００１９】
（撮像装置１１０）
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得する。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、画素に対応する受光部位（フォトダイオード）にＲＧＢ信号それぞれのカラーフィルタを規則的かつ排他的に配した、ベイヤー配列によるカラー画像を得ることとする。また、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
【００２０】
撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。
【００２１】
（画像処理装置１２０）
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した一対の画像データの相関性を評価し、画像中の任意のブロック（所定数の画素を集めたもの）の両画像間の視差を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導出する。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。かかる相関性の評価およびパターンマッチングに関しては後ほど詳述する。
【００２２】
ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を距離画像という。
【００２３】
図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００２４】
（環境認識装置１３０）
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６の視差情報に基づく車両（自車両）１との相対距離とを用いて検出領域１２２における対象物がいずれの物（車両、信号機、道路、ガードレール、テールランプ、ウィンカー、信号機の各点灯部分等）に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。
【００２５】
（車両制御装置１４０）
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。
【００２６】
（第１の実施形態における問題点とその解決手段）
カラー画像は様々な態様で取得できる。例えば、（１）撮像装置１１０への入射光をプリズムによってＲＧＢの各色相に分割し、３つの撮像素子で色相毎に画像を取得したり、（２）ＲＧＢそれぞれの感度セルを光路方向に重畳した撮像素子でＲＧＢに基づく画像を一度に取得したり、（３）ベイヤー配列によって画素毎に１の色相を規則的かつ排他的に取得したりすることが可能である。本実施形態では、このうち（３）ベイヤー配列を用いて画像を取得する。
【００２７】
図３は、ベイヤー配列の一例を説明するための説明図である。図３（ａ）に示すように、ベイヤー配列は、格子状に配列された画素に規則的かつ排他的に各色相ＲＧＢを配置したものであり、いずれの色相においても、少なくとも水平方向および垂直方向の２つ隣の画素には同一の色相が配されている。ただし、色相Ｇは、色相Ｒと色相Ｂに対して２倍の密度（占有面積）となっている。これは、図３（ｂ）に示した分光感度特性のように、色相Ｇの感度分布が高いため、輝度情報を取得しやすく、また、人間の視覚が色相Ｇに対して高い感度を持っているからである。
【００２８】
ベイヤー配列においては、各画素からは１つの色相に関してしか輝度を得られない。そこで、欠落している他の２つの色相に関し、隣接する画素の当該色相の輝度を用いて色復元処理（補間処理）を行う。
【００２９】
図４は、色復元処理を説明するための説明図である。ここでは、画像周囲に付された数字が画素の水平および垂直位置を示す。例えば、色相Ｒは、ベイヤー配列において図４（ａ）のように配されている。したがって、既に色相Ｒについて輝度が取得されている画素（２，１）、（２，３）、（４，１）、（４，３）の輝度は、取得した輝度ａ、ｂ、ｃ、ｄをそのまま利用できる。
【００３０】
また、水平方向または垂直方向に、輝度が取得された２つの画素が隣接する画素（２，２）、（３，１）、（３，３）、（４，２）では、隣接する２つの画素の輝度が線形補間され、画素（２，２）の輝度＝（ａ＋ｂ）／２、画素（３，１）の輝度＝（ａ＋ｃ）／２、画素（３，３）の輝度＝（ｂ＋ｄ）／２、画素（４，２）の輝度＝（ｃ＋ｄ）／２となる。
【００３１】
さらに、対角線方向に、輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ａ＋ｂ＋ｃ＋ｄ）／４となる。ここでは、説明の便宜のため水平方向１行目および垂直方向４行目の画素の導出は省略している。このような画素の補間は、図４（ｂ）に示すように色相Ｂでも適用できるため、ここでは、色相Ｂについての説明を省略する。
【００３２】
また、色相Ｇは，ベイヤー配列において図４（ｃ）のように配されている。したがって、既に色相Ｇについて輝度が取得されている画素（２，２）、（３，１）、（３，３）、（４，２）の輝度は、取得した輝度ｅ、ｆ、ｇ、ｈをそのまま利用できる。また、水平方向および垂直方向に輝度が取得された４つの画素が隣接する画素（３，２）では、隣接する４つの画素の輝度が線形補間され、画素（３，２）の輝度＝（ｅ＋ｆ＋ｇ＋ｈ）／４となる。
【００３３】
したがって、いずれの色相であっても、本来の色を復元するためには、水平方向または垂直方向に最大３画素の領域幅が必要である（参照画素数の最大は４画素）ことが理解できる。そうすると、電線、木（葉等）、その他の一方向に細い対象物を撮像した場合、その幅が１画素や２画素となると、適切な色への復元が困難となる。
【００３４】
例えば、図４（ａ）において、仮に、垂直方向２行目に、水平方向の幅が１画素の対象物が位置しているとする。図４（ａ）の垂直方向２行目には、その対象物のＲ成分に関する情報が全くなく、上述した線形補間によって、他の対象物のＲ成分に影響を受けた偽色が生じる。同様に、図４（ｂ）において、仮に、垂直方向３行目に、水平方向の幅が１画素の対象物が位置しているとする。図４（ｂ）の垂直方向３行目には、その対象物のＢ成分に関する情報が全くなく、上述した線形補間によって、他の対象物のＢ成分に影響を受けた偽色が生じる。これに対して、図４（ｃ）では、垂直方向２行目であっても、垂直方向３行目であっても、その対象物のＧ成分に関する情報が含まれるので、他の対象物のＧ成分の影響を受けたとしても、線形補間によって本来の色に近い色が復元される。
【００３５】
したがって、色復元処理に、例えば、ベイヤー配列において密度の高い色相Ｇのみを扱うとした場合、偽色が生じにくく、色相Ｒ、Ｂも含めた場合と比較して、色の復元性を高めることができる。偽色が生じた場合、パターンマッチングが適切に実行されないばかりか、ミスマッチングによって誤った視差情報を導出してしまうこともある。ここでは、上記の如く色の復元性を高めることで、かかる事態を回避することが可能となる。
【００３６】
そして、色復元処理が完了すると、次に、撮像装置１１０に応じて予め定められた画素毎の位置ズレ（歪み）特性に基づき各画素を座標変換する座標変換処理が遂行される。座標変換は、撮像装置１１０を通じたことにより本来の位置から歪んで取得されてしまった対象物を本来の位置に戻すための処理である。例えば、図５（ａ）に示す魚眼レンズを通じたような位置ズレ特性を有する映像を、水平方向や垂直方向への単純シフトやアフィン変換等を用いた回転移動により、図５（ｂ）のような水平方向や垂直方向が直線となる画像に補正する。
【００３７】
かかる座標変換においては、座標変換後の画素の色復元も実行されるが、画素の物理的重心とその画素について復元された色重心とが異なる場合に問題が生じる。ここで、色重心は、上述した色復元処理により偏移しうる。以下、色重心の説明を行う。
【００３８】
図６は、色重心を説明するための説明図である。図６（ａ）に破線で示した４つの画素（輝度＝ａ、ｂ、ｃ、ｄ）から実線で示した１つの画素を幾何補正により復元すると、実線で示した画素１５０の輝度は、距離ｘ、ｙを用いて、ａ×（１−ｘ）（１−ｙ）＋ｂ×ｘ（１−ｙ）＋ｃ×（１−ｘ）ｙ＋ｄ×ｘｙで表される。
【００３９】
したがって、図６（ｂ）のように色相Ｒが配され、その輝度がａ、ｂ、ｃ、ｄであった場合、図６（ｂ）の実線で示した画素１５２の輝度は、画素（２，２）、（３，２）、（３，３）のＲ成分をｅ、ｆ、ｇとすると、（ｂ＋ｅ＋ｆ＋ｇ）／４となる。ただし、ここでは、理解を容易にするため、図６（ａ）における距離ｘ、ｙを０．５としている。また、上述した色復元処理により、ｅ＝（ａ＋ｂ）／２、ｆ＝（ａ＋ｂ＋ｃ＋ｄ）／４、ｇ＝（ｂ＋ｄ）／２となる。すると、画素１５２への色相Ｒの寄与度は、ａ＝３／１６、ｂ＝９／１６、ｃ＝１／１６、ｄ＝３／１６となる。この場合、色重心は、画素１５２の物理的重心（中心位置）より図面中左下に生じる。色相Ｂについても、色相Ｒ同様に求めると、図６（ｃ）の如く、色重心が、画素１５２の物理的重心より図面中右上に生じる。かかる色重心の位置は、実線の画素１５２の取り方によって変化することは言うまでもない。
【００４０】
ただし、色相Ｇの場合、図６（ｄ）の如く、画素（３，１）、（２，２）、（１，３）、（４，２）、（３，３）、（２，４）の輝度をｈ、ｉ、ｊ、ｋ、ｌ、ｍとすると、画素１５２への色相Ｇの寄与度は、ｈ＝１／１６、ｉ＝６／１６、ｊ＝１／１６、ｋ＝１／１６、ｌ＝６／１６、ｍ＝１／１６となる。この場合、色重心は、画素１５２の物理的重心（中心位置）と等しくなる。
【００４１】
したがって、座標変換を行った場合、色相Ｒ、Ｂについては、画素の物理的重心とその画素について復元された色重心とが異なる場合があるので、画素の物理的重心に基づく幾何学的な位置補正によって、色重心が偏ってしまうおそれがある。しかし、例えば、ベイヤー配列において市松模様の如く均等に配された色相Ｇのみを扱うとした場合、このような物理的重心と色重心との偏移も生じることがなく、色相Ｒ、Ｂも含めた場合と比較して、座標変換した後の画像の色配置も適切となる。このような色重心の偏移が生じた場合、色復元処理同様、パターンマッチングが適切に実行されないばかりか、ミスマッチングによって誤った視差情報を導出してしまうこともある。ここでは、上記の如く色の偏移を抑制することで、かかる事態を回避することが可能となる。
【００４２】
したがって、座標変換処理において色相Ｇのみを扱うとした場合、色の復元性を高め、偏移を抑制することが可能となる。以下、対象とする色相を色相Ｇのみとした画像処理装置１２０の構成を具体的に述べる。
【００４３】
（画像処理装置１２０）
図７は、画像処理装置１２０の概略的な機能を示した機能ブロック図である。図７に示すように、画像処理装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。
【００４４】
Ｉ／Ｆ部１６０は、撮像装置１１０や環境認識装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した輝度画像１２４を一時的に保持する。
【００４５】
中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０やデータ保持部１６２を制御する。また、本実施形態において、中央制御部１６４は、感度補正部１７０、色復元部１７２、座標変換部１７４、マッチング処理部１７６、視差導出部１７８としても機能する。
【００４６】
感度補正部１７０は、撮像装置１１０から受信した一対の画像データに、ガンマ補正、ニー処理等の所定の処理を施す。
【００４７】
色復元部１７２は、図４を用いて説明したように、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を、隣接する画素に基づいて線形補間等により復元する。ただし、本実施形態においては、３原色全てではなく、ベイヤー配列で占有度の高い色相Ｇのみ抽出し、色相Ｇに関する輝度が未設定の画素に対して色復元処理を施す。
【００４８】
かかる構成により、偽色が生じにくく、色相Ｒ、Ｂも含めた場合と比較して、色の復元性を高めることができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。
【００４９】
また、ここでは、占有度の高い色相として色相Ｇを用いているが、ベイヤー配列において占有面積が多い色相であれば、いずれの色相を採用することもできる。例えばＲＧＢの原色系のみならず、ＹＭｇＣｙＧｒの補色系でも最も占有度の高い補色を用いることが可能である。
【００５０】
座標変換部１７４は、図５を用いて説明したように、一対の画像データを生成する撮像装置１１０に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出（色復元）する。かかる座標変換は、特許第３２８４１９０号等、既存の様々な技術を採用することができるので、ここではその詳細な説明を省略する。ここで、座標変換部１７４は、色復元部１７２によって色復元処理が施された色相Ｇのみを用いて座標変換後の色復元を行う。
【００５１】
色相Ｇは、ベイヤー配列で市松模様の如く均等に配されているので、物理的重心と色重心との偏移も生じることがなく、色相Ｒ、Ｂも含めた場合と比較して、座標変換した後の画像の色配置も適切となる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度をより高めることが可能となる。
【００５２】
マッチング処理部１７６は、輝度が復元され、かつ、位置ズレが補正された一対のデータそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定する。ただし、本実施形態においては、色相Ｇのみについてパターンマッチングを行う。
【００５３】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
【００５４】
本実施形態では、マッチング処理部１７６が１の色相Ｇを用いてパターンマッチングを行う例を挙げて説明したが、条件に応じ、従来の３原色によるパターンマッチングと切り換えて利用することで、パターンマッチングを効果的に行うことが可能となる。このときの条件は、例えば、エッジの細かさ、想定する映像、ＤＣＤＸ値等が想定される。例えば、全体的にエッジが細かい場合、色相Ｇのみによってパターンマッチングを行い、エッジが緩やかであれば、３原色によるパターンマッチングを行う。
【００５５】
視差導出部１７８は、マッチング処理部１７６によって特定されたブロック同士の、画像を基準とした視差を画素単位で求め、そのブロックに関連付けさせる。かかる視差は視差情報として後段の環境認識装置１３０に利用される。
【００５６】
以上、説明した画像処理装置１２０では、色相として色相Ｇのみを扱うことで、色の復元性を高め、色重心の偏移を抑制することが可能となる。したがって、パターンマッチングの精度をより高めることで、視差情報を適切に導出することができ、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。
【００５７】
（第２の実施形態）
第１の実施形態では、ベイヤー配列の構成に基づいて１の色相によるマッチングを遂行した。第２の実施形態では、ベイヤー配列に拘わらず、車両１外の環境に応じて１の色相によるマッチングを遂行する。
【００５８】
（第２の実施形態における問題点とその解決手段）
夜間の車両１の走行において、環境認識システム１００では、検出領域１２２から受光できる光が全体的に少なくなるので、撮像装置１１０のシャッタを比較的大きく開いて、光の受光感度を高める。このとき、テールランプ、ストップランプ、ヘッドライト、ウィンカー等の自発光する光源が検出領域１２２に出現すると、高まった受光感度によって輝度がサチレーション（飽和）してしまう。
【００５９】
このように輝度の情報がサチレーションしてしまうと、サチレーションした全ての画素が同一の輝度を示してしまうので、適切なパターンマッチングができなくなる。かかる事象を回避すべくシャッタを絞ると、上述した光源に対してパターンマッチングが可能となるかもしれないが、今度は光源以外の対象物を取得できなくなってしまう。
【００６０】
ところで、テールランプ、ストップランプ、ヘッドライト、ウィンカー等、車両１には、ＨＩＤ（High Intensity Discharge）ランプやハロゲンランプが用いられている。第２の実施形態においては、このようなランプの特性に着目する。
【００６１】
図８は、ＨＩＤランプおよびハロゲンランプの特定を説明するための説明図である。例えば、図８（ａ）に示した、ＨＩＤランプ（ここでは、メタルハライドランプ）の分光エネルギー分布を参照すると、色相Ｇや、色相Ｇと色相Ｒの間の波長で相対エネルギーが高い波長があることが分かる。一方、色相Ｂの相対エネルギーは低い値を示している。同様に図８（ｂ）に示したハロゲンランプにおいても、色相Ｂの相対エネルギーは低く、波長が大きくなるに連れ、即ち、色相が色相Ｇ、色相Ｒと移行するに従って、相対エネルギーは高くなっている。
【００６２】
そこで、本実施形態では、光源のうちでも相対エネルギーの弱い、色相Ｂのみを取得することで、サチレーションを回避する。特に、テールランプ、ストップランプ、ウィンカー等は、赤や橙のカラーフィルタがかかっているので色相Ｂの光が通りにくく、より色相Ｂの輝度が低くなり、サチレーションが回避され易くなる。
【００６３】
色相Ｂは、シャッタを開いた状態であっても、そもそもの相対エネルギーが低いため、サチレーションし難く、輝度として有効な値を取得できる。そうすると、その色相Ｂによるテクスチャが生じ、適切にパターンマッチングを行うことが可能となる。
【００６４】
（画像処理装置２２０）
図９は、第２の実施形態における画像処理装置２２０の概略的な機能を示した機能ブロック図である。図９に示すように、画像処理装置２２０は、第１の実施形態の画像処理装置１２０同様、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。また、中央制御部１６４は、感度補正部１７０、色復元部１７２、座標変換部１７４、マッチング処理部１７６、視差導出部１７８、環境情報取得部２８０としても機能する。第１の実施形態における構成要素として既に述べたＩ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４と、感度補正部１７０と、視差導出部１７８とは、実質的に機能が同一なので、重複説明を省略する。また、色復元部１７２、座標変換部１７４、マッチング処理部１７６に関しても、対象とする色相が色相Ｂであること以外は実質的に等しいので、重複説明を省略し、構成が相違する環境情報取得部２８０を主に説明する。
【００６５】
環境情報取得部２８０は、車両１外の環境における明暗に関する環境情報を取得する。例えば、車両１がヘッドライトを点灯した場合、ヘッドライトが必要な程度に環境的に暗くなったと判断し、そのヘッドライトの点灯を環境情報「暗」として取得する。また、環境情報取得部２８０として、明度センサを設け、適当な閾値以下となったか否かによって環境情報「暗」を判断してもよい。
【００６６】
マッチング処理部１７６は、環境情報取得部２８０が所定の明るさ以下であることを示す環境情報「暗」を取得した場合、対象となる複数の色相のうち、最も波長の短い色相である色相Ｂのみを対象にマッチングを実行する。例えば、先行車両のテールランプは色相Ｒの波長が多く、色相Ｂの波長が少ない。そのため色相Ｂの波長の画像のみでマッチングすると、テールランプがサチレーションせず、適切にパターンマッチングを遂行することが可能となる。すると、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことができる。
【００６７】
なお、昼間のように環境的に十分明るければ、即ち、環境情報取得部２８０が環境情報「明」を示しているとき、マッチング処理部１７６は、３原色によるパターンマッチングを行う。
【００６８】
以上、説明したように、画像処理装置２２０によれば、夜間の走行時に、シャッタの絞りを抑えて少ない入射光を撮像素子で効果的に取得しつつ、光源を有する対象物も適切に取得することができ、ひいては、パターンマッチングの精度をより高めることが可能となる。
【００６９】
また、コンピュータを、画像処理装置１２０、２２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００７０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７１】
例えば、上述した実施形態においては、２つの撮像装置１１０を用いて同時に取得した画像データを利用しているが、１つの撮像装置１１０を用いて時系列に対応する一対の画像データを用いることもできる。また、撮像装置１１０の数は１や２に限らず、３以上の複眼にも適用可能である。
【００７２】
また、上述した実施形態においては、ベイヤー配列としてＲＧＢの３原色を挙げて説明したが、ＲＧＢＣの４原色、もしくは異なる５色以上の色を適用することもできる。
【００７３】
さらに、上述した実施形態では、撮像装置１１０を介して取得した画像データのみを対象としているが、電波レーザレーダを用い、周波数フィルタを異ならせて上述した特定の色相に相当するレーザ光を取得するとしてもよい。ここで、電波レーザレーダは、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、その反射光を分析するものである。さらに、温度測定装置でも、温度測定素子毎の画像データに当該実施形態を適用することも可能である。
【産業上の利用可能性】
【００７４】
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に利用することができる。
【符号の説明】
【００７５】
１ …車両
１００ …環境認識システム
１２０、２２０ …画像処理装置
１７０ …感度補正部
１７２ …色復元部
１７４ …座標変換部
１７６ …マッチング処理部
２８０ …環境情報取得部
【特許請求の範囲】
【請求項１】
ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、
輝度が復元された一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備え、
前記色復元部および前記マッチング処理部は、前記ベイヤー配列で占有度が最も高い色相のみを対象に、それぞれ輝度の復元およびマッチングを実行することを特徴とする画像処理装置。
【請求項２】
前記一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換する座標変換部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
明暗に関する環境情報を取得する環境情報取得部と、
を備え、
前記マッチング処理部は、前記環境情報取得部が所定の明るさ以下であることを示す環境情報を取得した場合、対象となる複数の色相のうち、波長が最も短い色相のみを対象にマッチングを実行することを特徴とする画像処理装置。
【請求項４】
前記マッチング処理部は、ＨＩＤランプおよびハロゲンランプのいずれかを光源とする対象物をマッチングの対象とすることを特徴とする請求項３に記載の画像処理装置。
【請求項１】
ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、
輝度が復元された一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備え、
前記色復元部および前記マッチング処理部は、前記ベイヤー配列で占有度が最も高い色相のみを対象に、それぞれ輝度の復元およびマッチングを実行することを特徴とする画像処理装置。
【請求項２】
前記一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換する座標変換部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
明暗に関する環境情報を取得する環境情報取得部と、
を備え、
前記マッチング処理部は、前記環境情報取得部が所定の明るさ以下であることを示す環境情報を取得した場合、対象となる複数の色相のうち、波長が最も短い色相のみを対象にマッチングを実行することを特徴とする画像処理装置。
【請求項４】
前記マッチング処理部は、ＨＩＤランプおよびハロゲンランプのいずれかを光源とする対象物をマッチングの対象とすることを特徴とする請求項３に記載の画像処理装置。
【図１】
【図２】
【図５】
【図７】
【図８】
【図９】
【図３】
【図４】
【図６】
【図２】
【図５】
【図７】
【図８】
【図９】
【図３】
【図４】
【図６】
【公開番号】特開２０１３−７３３０５（Ｐ２０１３−７３３０５Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０２２２（Ｐ２０１１−２１０２２２）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]