撮像装置及びこれを用いた物体識別装置
【課題】撮像画像の画素値に基づいた後段の情報処理で異常な処理結果が生じるのを回避することを課題とする。
【解決手段】撮像部から出力された画素データI5に対応する単位画素の画素値を、所定の演算パラメータを用いて、その周辺画素を含む9個の画素データI1〜I9から算出する際、これらの画素データの中に所定の異常判定条件を満たす画像信号が含まれている場合には、上記所定の演算パラメータを用いずに、異常値であることを示す異常指示値を当該単位画素の画素値として算出する。
【解決手段】撮像部から出力された画素データI5に対応する単位画素の画素値を、所定の演算パラメータを用いて、その周辺画素を含む9個の画素データI1〜I9から算出する際、これらの画素データの中に所定の異常判定条件を満たす画像信号が含まれている場合には、上記所定の演算パラメータを用いずに、異常値であることを示す異常指示値を当該単位画素の画素値として算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、1種類又は2種類以上の偏光フィルタ部や色分解フィルタ部を周期的に配列した光学フィルタを通じて撮像領域からの光を受光素子アレイで受光し、これにより得た画像信号から撮像画像の画像情報の画素値を算出する撮像装置及びこれを用いた物体識別装置に関するものである。
【背景技術】
【0002】
この種の撮像装置としては、所定の撮像領域をデジタルカメラ等の撮像手段を用いて撮像し、その画像信号から、所望の波長帯域のみを抽出した画像情報や、所望の偏光成分のみを抽出した画像情報などを生成するものが知られている。このような撮像装置は、例えば、光学フィルタを通じて入射する撮像領域からの光を、多数の受光素子を2次元配置された受光素子アレイを用いて受光し、各受光素子で受光した光量に応じて受光素子アレイから出力される画像信号から、撮像領域の画像情報を生成する。特許文献1には、光学フィルタとして、例えば、R(Red)、G(Green)、B(Blue)の色分解フィルタ部が所定の配置パターンに従って配列されたカラーフィルタを用いた撮像装置が記載されている。また、特許文献2には、2種類(縦偏光成分と横偏光成分)の偏光フィルタ部が周期的に配置された光学フィルタを通じて入射する撮像領域からの光を受光素子アレイで受光する撮像装置が記載されている。このような撮像装置によれば、1回の撮像動作で、互いに異なる複数の光学成分それぞれを抽出した画像情報(例えば、R、G、Bそれぞれの画像情報や、縦偏光成分及び横偏光成分それぞれの画像情報)を得ることができる。
【0003】
このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、撮像領域内の物体を識別する物体識別処理に利用することで、単なる輝度情報のみからなる画像情報(モノクロ画像情報)で物体識別処理を行う場合よりも、高い精度での物体識別を可能とする点で有用である。そのため、このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域(撮像領域)を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者(ドライバー)の運転負荷を軽減させる運転者支援システムへ利用されている。また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者らは、このような光学成分抽出画像をフレームレート30fpsでリアルタイム映像出力することを可能とする撮像装置を開発し、その開発にあたっては、次のような課題に直面した。以下の説明では、縦偏光成分及び横偏光成分それぞれの光学成分抽出画像を得る撮像装置について説明するが、R、G、B等の互いに波長成分が異なる画像情報を得る撮像装置においても同様である。
【0005】
このような撮像装置を開発するにあたっては、受光素子アレイから出力される画像信号から縦偏光成分及び横偏光成分を抽出して光学成分抽出画像を生成するという画像処理を、フレームレート30fpsでのリアルタイム映像出力を可能とする短い時間内で完了することが要求される。現状において、この要求を満たす画像処理を可能とするには、現実的には、所定の画像処理プログラムを汎用CPUに実行させて当該画像処理を実現するソフトウェア処理ではなく、FPGA(Field Programmable Gate Array)等の専用ハードウェアを用いて当該画像処理を実現するハードウェア処理を採用することが必要となる。
【0006】
ここで、受光素子アレイから出力される画像信号から光学成分抽出画像を生成する画像処理の一例について説明する。
図31は、光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
この図において、縦横に並ぶ各正方形がそれぞれ受光素子を示し、受光素子の並び方向に対して斜めに延びるハッチング領域が縦偏光成分をカットする縦偏光フィルタの領域を示し、ハッチング領域以外の領域が横偏光成分をカットする横偏光フィルタの領域を示す。図示の例の光学フィルタは、縦偏光フィルタの帯及び横偏光フィルタの帯が交互に配置され、その帯の長手方向が受光素子の並び方向に対して斜めになるように、縦偏光フィルタの帯及び横偏光フィルタが配置されたものである。
【0007】
受光素子アレイ上の1つの受光素子に対応する注目画素(図中の画素番号5)の縦偏光成分Vと横偏光成分Hは、例えば、当該注目画素5の受光量に対応した画像信号値I5だけでなく、その注目画素5の周囲を取り囲む8つの周辺画素1〜4,6〜9の受光量に対応した画像信号値I1〜I4,I6〜I9も用いて、下記の数1に示す式より求められる。下記の数1に示す式において、画像信号値I1〜I9から注目画素5の縦偏光成分Vと横偏光成分Hを算出するためのA1〜A18の要素をもつ係数行列(演算パラメータ)を、以下、疑似逆行列パラメータと称する。
【数1】
【0008】
この疑似逆行列パラメータは、以下のようにして予め求めておくことができる。
まず、図31に示した光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Vで100%縦偏光のサンプル光を照射し、そのときに各受光素子(その受光素子の画素番号をiとする。)で受光する受光量に応じたサンプル縦偏光強度aviを取得する。また、同様に、光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Hで100%横偏光のサンプル光を照射し、そのときに各受光素子で受光する受光量に応じたサンプル横偏光強度ahiを取得する。このようにして得られる各受光素子のサンプル縦偏光強度avi及びサンプル横偏光強度ahiは、それぞれ、その受光素子で受光される縦偏光成分及び横偏光成分の感度に比例していると考えることができる。よって、光学フィルタを透過して各受光素子iで受光する光の強度をIiとすると、Ii=avi×V+ahi×Hが成り立つ。そして、注目画素5を中心とした3×3画素の合計9つの画素1〜9に対して入射する光が同じであると仮定し、これらの画素1〜9について下記の数2に示す行列式を得る。この行列式において、av1〜9及びah1〜9を要素とした感度行列パラメータについての逆行列を求める。この逆行列が上述した疑似逆行列パラメータとなる。ただし、ハードウェア処理に最適化するために、このようにして求まる疑似逆行列パラメータを多少変形してもよい。
【数2】
【0009】
ここでは、縦偏光フィルタと横偏光フィルタとが交互に配置された光学フィルタを例に挙げたが、縦偏光フィルタとフィルタ無し(光をそのまま透過させる領域)とが交互に配置された光学フィルタや、横偏光フィルタとフィルタ無しとが交互に配置された光学フィルタであっても、上述した手順と同様の方法で、疑似逆行列パラメータを求めることができる。ただし、このような光学フィルタを用いる場合、実際の撮像時には、受光素子アレイが横偏光成分及び縦偏光成分のいずれか一方を受光しない。そのため、偏光フィルタを通過して受光される偏光成分の画像信号値とフィルタ無しを通過して受光される非偏光の画像信号値とを用いて、受光しない偏光成分を求める必要がある。この場合、例えば、非偏光の受光量が縦偏光成分の受光量と横偏光成分の受光量との合算値に近似することを利用して、疑似逆行列パラメータを生成すればよい。
【0010】
このように、注目画素の画素値を、疑似逆行列パラメータ等の演算パラメータを用いて、当該注目画素5の画像信号値I5と該注目画素周辺に位置する周辺画素1〜4,6〜9の画像信号値I1〜I4,I6〜I9とから構成される画像信号群から算出する場合、その画像信号群に異常な値が含まれていると、当該注目画素の画素値として正常な値を算出することができない。例えば、画像信号値がゼロである画素(いわゆる受光量がゼロで黒つぶれが生じている画素)や、画像信号値が上限値である画素(いわゆる受光量が飽和している画素)は、通常の撮像領域内からの光を受光する場合には存在し得ない場合が多く、その画素値は異常な画素値であることが多い。このような異常な画素値が注目画素を算出するための画像信号群の中に含まれていると、注目画素の画素値として、本来の画素値から外れた異常な値が算出される。撮像画像中に異常な値を示す画素値が含まれている場合、撮像画像の画素値を用いた後段の情報処理にそのまま利用されると、その処理結果に異常を来すという問題があった。例えば、撮像画像の画素値に基づいて物体の識別を行う物体識別処理であれば、物体識別率が低下したり、物体の誤識別を生じさせたりする。
【0011】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像画像の画素値に基づいた後段の情報処理で異常な処理結果が生じるのを回避することが可能な撮像装置及びこれを用いた物体識別装置を提供することである。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本発明は、互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が2次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、該撮像手段から出力された画像信号に対応する単位画素の画素値を、所定の演算パラメータを用いて、該単位画素の画像信号と該単位画素周辺に位置する周辺画素の画像信号とから構成される画像信号群から算出する画素値算出手段とを備えた撮像装置において、上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれているか否かを判定する異常信号判定手段を有し、上記画素値算出手段は、上記画像信号群を構成する画像信号の中に上記所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値を、該画像信号群に対応する単位画素の画素値とする処理を実行することを特徴とするものである。
【0013】
本発明においては、単位画素の画素値を所定の演算パラメータを用いて算出する際に参照される画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段により判定された場合、当該画素値については、異常な値であることを示す異常指示値が割り当てられる。したがって、撮像画像の画素値を用いた後段の情報処理において、当該単位画素の画素値が所定の異常判定条件を満たす異常な画像信号に基づく異常な値であることを把握することができる。その結果、後段の情報処理では、当該単位画素の画素値を異常な値として取り扱うことができるので、異常な値を示す単位画素の画素値をそのまま正常な画素値として処理してしまうことによる処理結果の異常を回避することが可能となる。
【発明の効果】
【0014】
以上、本発明によれば、撮像画像の画素値に基づいた後段の情報処理で異常な処理結果が生じるのを回避することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る運転者支援システムの機能ブロック図である。
【図2】同運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
【図3】路面及び立体物を判別するための処理の流れを示すフローチャートである。
【図4】高速道路を走行している車両に搭載した偏光カメラにより撮像して得た差分偏光度画像を示したものである。
【図5】同差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
【図6】立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
【図7】同運転者支援システムに利用可能な偏光カメラの概略構成を示す説明図である。
【図8】同偏光カメラの光学フィルタと画像センサとを示す断面拡大図である。
【図9】同光学フィルタの偏光フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図10】同画像センサ上の受光素子を単位処理領域ごとに区分する方法を説明するための説明図である。
【図11】一の単位処理領域における4種類の共通単位画素の分布を示す説明図である。
【図12】(a)は、第1共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。(b)は、第2共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。(c)は、第3共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。(d)は、第4共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。
【図13】同画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
【図14】すべての画素について予め個別に用意しておいた疑似逆行列パラメータ(疑似逆行列パラメータの全データ量=約26Mバイト)を用いて得た差分偏光度画像の一例を示すものである。
【図15】同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像(疑似逆行列パラメータの全データ量=約0.025Mバイト))の一例を示すものである。
【図16】変形例1に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図17】変形例1における一の単位処理領域に存在する6種類の共通単位画素の分布を示す説明図である。
【図18】変形例2に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図19】変形例2における一の単位処理領域に存在する12種類の共通単位画素の分布を示す説明図である。
【図20】実施例に係る偏光カメラの概略構成を示すブロック図である。
【図21】同偏光カメラに設けられた差分偏光度画像生成部の内部構成を示すブロック図である。
【図22】同差分偏光度画像生成部に設けられたBRAMアドレス計算部の出力タイミングチャートである。
【図23】同差分偏光度画像生成部に設けられた係数生成部の内部構成図である。
【図24】実施例における単位処理領域の区分を示す説明図である。
【図25】擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用BRAMのアドレスマップである。
【図26】同差分偏光度画像生成部に設けられた偏光分離処理部の内部構成図である。
【図27】同差分偏光度画像生成部に設けられた差分偏光度計算部の内部構成図である。
【図28】同差分偏光度画像生成部に設けられた差分偏光度画像計算部の内部構成図である。
【図29】擬似逆行列パラメータが格納されたSPIフラッシュメモリのアドレスマップである。
【図30】同SPIフラッシュメモリのセクター24に格納される疑似逆行列パラメータのアドレスマップである。
【図31】光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
【発明を実施するための形態】
【0016】
以下、本発明に係る撮像装置を、自車の運転者(ドライバー)の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
まず、本運転者支援システムにおける概略構成及び動作概要を説明する。
図1は、本実施形態に係る運転者支援システムの機能ブロック図である。
図2は、本実施形態の運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
図示しない車両に搭載された撮像装置としての偏光カメラ10により、車両が走行する路面(移動面)を含む自車周囲の風景を撮影する(S1)。これにより、偏光カメラ10の受光素子1つに対応した単位画素(以下、単に「画素」という。)ごとの縦偏光強度及び横偏光強度を得る(S2)。本実施形態では、このようにして得られる各画素の縦偏光強度及び横偏光強度から、単位画素ごとに、差分偏光度を算出する(S3)。この差分偏光度から、各画素の差分偏光度を画素値とした差分偏光度画像を生成することができる。ここで、「縦偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの縦列(鉛直方向の列)に平行な偏光方向をもった偏光の光強度を意味し、「横偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの横列(水平方向の列)に平行な偏光方向をもった偏光の光強度を意味する。
【0017】
差分偏光度は、下記の式(3)に示す計算式から求められる。すなわち、差分偏光度は、横偏光強度と縦偏光強度との合計値(輝度合計値)に対する横偏光強度と縦偏光強度との差分値(輝度差分値)の比率である。また、差分偏光度は、輝度合計値に対するP偏向強度の比率(横差分偏光度)と、輝度合計値に対するS偏向強度の比率(縦差分偏光度)との差分値であると言い換えることもできる。本実施形態では、横偏光強度から縦偏光強度を差し引く場合について説明するが、縦偏光強度から横偏光強度を差し引くようにしてもよい。
差分偏光度=(横偏光強度−縦偏光強度)/(横偏光強度+縦偏光強度) ・・(3)
【0018】
本実施形態では、偏光カメラ10から差分偏光度画像のデータが出力され、この差分偏光度画像のデータが路面・立体物判別部21に入力される。路面・立体物判別部21は、偏光カメラ10から出力された差分偏光度画像について、路面を映し出した画像領域と立体物を映し出した画像領域とを判別する(S4)。
図3は、路面及び立体物を判別するための処理の流れを示すフローチャートである。
路面・立体物判別部21は、偏光カメラ10から差分偏光度画像のデータを受け取ったら、まず、差分偏光度画像を2値化するための閾値を設定し(S41)、その閾値を用いて差分偏光度画像を2値化する(S42)。具体的には、所定の閾値以上の差分偏光度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。その後、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの画像領域として認識するラベリング処理を実施する(S43)。これによって、差分偏光度の高い近接した複数の画素の集合が1つの高差分偏光度領域として抽出される。このようにして抽出した各高差分偏光度領域を、図示しない路面特徴データ記憶手段としての記憶部内に記憶されている路面の特徴データと照らし合わせ、路面の特徴データに合致した高差分偏光度領域を路面領域として抽出する(S44)。そして、このようにして抽出した路面領域の形状を、路面形状パターンと照らし合わせて推定し(S45)、路面領域の両端すなわち路端ラインを特定する。その後、抽出した路面領域以外の残りの画像領域を、立体物を映し出した立体物領域として抽出する(S46)。
【0019】
図4は、高速道路を走行している車両に搭載した偏光カメラ10により撮像して得た差分偏光度画像を示したものである。
図5は、この差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
図5に示す画像中の黒塗り部分の画像領域が路面領域として抽出された箇所である。また、図5に示す画像中の点線で示すラインが路端ラインである。
【0020】
車両候補領域決定部22は、車両の窓ガラスからの光が有する差分偏光度の特徴を利用して、上記S46において立体物領域であると判定された領域の中から、車両候補領域を決定する(S5)。
図6は、立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
車両候補領域決定部22は、路面・立体物判別部21において判定された各立体物領域に対して、その差分偏光度が所定の閾値以上であるか否か(所定の数値範囲内であるか否か)を判断し、差分偏光度が所定の閾値以上である立体物領域を検知する(S51)。次に、このようにして検知した立体物領域の面積が、車両の窓ガラスに対応する面積範囲内であるか否かをチェックする(S52)。そして、このチェックを通った立体物領域に対し、車両の窓ガラスに対応する形状を有するかどうかをチェックして、このチェックも通った立体物領域を、車両後方領域として決定する(S53)。
【0021】
車両識別部23は、車両特徴量パターン記憶部24に記憶された車両特徴量パターンによるバターンマッチング手法により、上記車両候補領域決定部22が決定した車両候補領域が車両領域であるか否かを識別する。このバターンマッチング手法は、公知のものを広く利用できる。
【0022】
本実施形態では、例えば、CRTや液晶等で構成される車内の情報報知手段である表示部(ディスプレイ)25に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ輝度画像(フロントビュー画像)を表示し、その画像中の他車を映し出している領域を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する。これによれば、例えば、運転者が目視で他車を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と他車との相対位置関係を把握することができ、他車に衝突することなく安全に走行することが容易になる。
【0023】
また、本実施形態の車両制御部26は、例えば、車両識別部23により識別された車両領域の位置情報から、自車と他車との相対位置関係を把握する処理を行い、自車が他車に近づいて走行していないかどうかを判断し、他車に近づいたときに警報音等を発する処理を行う。あるいは、他車に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理を行ってもよい。
【0024】
以下、本発明の特徴部分である偏光カメラ10の構成及び動作について詳述する。
図7は、本実施形態における偏光カメラ10の概略構成を示す説明図である。
この偏光カメラ10は、主に、撮像レンズ1と、光学フィルタ2と、受光素子が2次元配置された受光素子アレイを有する画像センサ4が搭載されたセンサ基板3と、センサ基板3から出力されるアナログ電気信号(画像センサ4上の各受光素子が受光した受光量)をデジタル電気信号に変換するA/D変換部5と、A/D変換部5から出力されるデジタル電気信号(画素データ)に対して画像処理を行って差分偏光度画像のデータを生成して出力する信号処理部6とから構成されている。被写体(被検物)を含む撮像領域からの光は、撮像レンズ1を通り、光学フィルタ2を透過して、画像センサ4でその光強度に応じた電気信号に変換される。A/D変換部5では、画像センサ4から出力される電気信号(アナログ信号)が入力されると、その電気信号から、画素データとして、画像センサ4上における各画素の受光量を示すデジタル信号を、画像の垂直同期信号及び水平同期信号とともに信号処理部6へ出力する。
【0025】
図8は、光学フィルタ2と画像センサ4とを示す断面拡大図である。
画像センサ4は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード4aを用いている。フォトダイオード4aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード4aの集光効率を上げるために、各フォトダイオード4aの入射側にはマイクロレンズ4bが設けられている。この画像センサ4がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板3が形成されている。撮像する画像の波長範囲は略可視光であるため、画像センサ4としては、可視光の範囲に感度を有するものを選択すればよい。本実施形態の画像センサ4は、互いに直交する縦方向及び横方向に等間隔で配列された480×752の受光素子(フォトダイオード4a)を有効画素とする構成であり、1個のフォトダイオード4aを単位画素とする。
【0026】
画像センサ4のマイクロレンズ4b側の面には、光学フィルタ2が近接配置されている。光学フィルタ2の画像センサ4側の面には、図9に示すように、光をそのまま透過する非選択フィルタ領域である透過領域2aと、横偏光成分のみを選択的に透過させる選択フィルタ領域としての横偏光フィルタ領域2bとが、画像センサ4の縦方向(図中y方向)及び横方向(図中x方向)のいずれにも傾斜するように交互配置されたストライプ状の領域分割パターンを有している。具体的には、画像センサ4の縦方向における画素間隔(フォトダイオード4aの中心間距離)をnとし、横方向における画素間隔をmとしたとき、透過領域2a及び横偏光フィルタ領域2bの縦方向長さNが下記の式(1)を満たし、透過領域2a及び横偏光フィルタ領域2bの横方向長さMが下記の式(2)を満たすように、光学フィルタ2が構成されている。本実施形態の光学フィルタ2は、図9に示すように、A=1、B=2の例(すなわち、B/A=2の例)である。
N = A × n ・・・(1)
M = B × m ・・・(2)
【0027】
本実施形態においては、図9に示すように、光学フィルタ2に備わった2種類のフィルタ領域(透過領域2aと横偏光フィルタ領域2b)を透過した各光の1画素内における受光面積の比率が互いに等しい4種類の共通単位画素が周期的に存在するように構成される。
具体的に説明すると、第1共通単位画素は、図9に示す画素番号1の画素のように、当該画素の右上隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。
第2共通単位画素は、図9に示す画素番号2の画素のように、当該画素の左下隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。
第3共通単位画素は、図9に示す画素番号3の画素のように、当該画素の右上隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。
第4共通単位画素は、図9に示す画素番号5の画素のように、当該画素の左下隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。
【0028】
本実施形態の偏光カメラ10の信号処理部6では、A/D変換部5から出力される画素データと疑似逆行列パラメータとを用いて、注目画素(図9中の画素番号5)の縦偏光成分Vと横偏光成分Hを、下記の数3に示す式より算出する。すなわち、本実施形態では、注目画素5の縦偏光成分Vと横偏光成分Hを、当該注目画素5の画素データI5だけでなく、その注目画素5の周囲を取り囲む8つの周辺画素1〜4,6〜9の画素データI1〜I4,I6〜I9も用いて算出する。この算出に必要な疑似逆行列パラメータは、予め求めておいて後述するパラメータ記憶手段としてのSPIフラッシュメモリに格納されているものを用いる。
【数3】
【0029】
本実施形態の信号処理部6が実行する画像処理においては、画像センサ4の有効画素(480×752)について、図10に示すように、縦を30等分し、横を47等分して、16×16画素で構成される1410個の単位処理領域に区分して、注目画素5の縦偏光成分Vと横偏光成分Hを上記数3に示す式より算出する演算処理を行う。このように区分すると、各単位処理領域には、上述した4種類の共通単位画素それぞれについて、同一種類の共通単位画素が2つ以上存在する。
【0030】
一の単位処理領域における4種類の共通単位画素の分布は、図11に示す。
また、4種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、図12(a)〜(d)に示す。
4種類の共通単位画素について、第1共通単位画素を丸付き数字1で示し、第2共通単位画素を丸付き数字2で示し、第3共通単位画素を丸付き数字3で示し、第4共通単位画素を丸付き数字4で示すと、図9に示すように構成された光学フィルタ2の場合、各単位処理領域内の共通単位画素分布は、図11に示すようになる。このような分布においては、上述したように、第1共通単位画素を注目画素とした画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、当該単位処理領域内のどの第1共通単位画素についても、図12(a)のようになる。すなわち、第1共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布は一意に決まる。第2共通単位画素、第3共通単位画素、第4共通単位画素についても、同様に、一意に決まる。
【0031】
上述したとおり、受光面積比率が同じである同一種類の共通単位画素については、画像センサ4上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータ(演算パラメータ)が互いに近似する。特に、受光面積比率だけでなく、透過領域2a及び横偏光フィルタ領域2bを透過した各光の画素内における受光位置までも同じであるものを同一種類の共通単位画素とすれば、疑似逆行列パラメータの近似性はより高まる。よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。
【0032】
そこで、本実施形態においては、画像センサ4上における480×752の有効画素を、互いに隣接する16×16画素で構成された1410個の単位処理領域に区分することとしている。この区分数は、許容する演算誤差に応じて適宜設定されるものである。すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。
【0033】
この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数(データ量)は増えることになる。
具体例を挙げると、本実施形態の場合、1つの疑似逆行列パラメータの要素数が18個で、その1要素あたりのデータ量が4バイトであるので、疑似逆行列パラメータ1個あたりのデータ量は72バイトである。本実施形態のように1410個の単位処理領域に区分する場合、各単位処理領域それぞれで4つの疑似逆行列パラメータを使い回すことになるので、全体で4×1410=5640個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は406080バイト(約0.4Mバイト)となる。これに対し、1つの単位処理領域が8×8画素で構成されるように区分すると、その区分数は5640個となり、全体で4×5640=22560個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は1624320バイト(約1.6Mバイト)となる。
逆に、演算誤差に余裕がある場合には、区分数を減らして、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の数を増やし、疑似逆行列パラメータの数(データ量)を更に減らすようにしてもよい。
【0034】
本実施形態においては、疑似逆行列パラメータの1要素あたりのデータ量を例えば1バイトに減らしてもよい。この場合、疑似逆行列パラメータの全データ量は、更に101520バイト(約0.1Mバイト)にまで低減することができる。
特に、本実施形態においては、各単位処理領域で使い回す4種類の擬似逆行列パラメータは、その単位処理領域を構成する16×16画素のすべてについて求めた擬似逆行列パラメータの和をとり、その絶対値が一番大きい要素の絶対値が127となるように規格化してもよい。この規格化すると、疑似逆行列パラメータの1要素あたりのデータ量が1バイトとなるが、このようにデータ量を減らしても、計算精度の良好な差分偏光度が算出できる。
【0035】
また、本実施形態においては、疑似逆行列パラメータの全データ量を更に低減するために、SPIフラッシュメモリには、上述した1410個の単位処理領域のうち一部の単位処理領域については擬似逆行列パラメータを記憶しない。そして、SPIフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域(特定単位処理領域)については、SPIフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域の擬似逆行列パラメータを用いて補間処理を行い、この補間処理によって生成された算出擬似逆行列パラメータを用いて画像処理を行う。
【0036】
図13は、画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
本実施形態では、図13の太線で区画したように、1410個の単位処理領域を2×2の4領域で1ユニットとなるように分割する。そして、1ユニットにつき1領域の割合で、擬似逆行列パラメータをSPIフラッシュメモリに記憶する。これにより、擬似逆行列パラメータがSPIフラッシュメモリに記憶されない単位処理領域については、擬似逆行列パラメータがSPIフラッシュメモリに記憶されている少なくとも2つの単位処理領域の間に位置することになる。
【0037】
ここで、本発明者が鋭意研究したところ、画像センサ4上で近接している単位処理領域同士は、各領域で用いる疑似逆行列パラメータ(演算パラメータ)がその並び方向に沿って一定の関係(線形に近い関係)にあるという知見を得た。よって、この関係を利用することで、互いに離間した2つの単位処理領域の間に位置する単位処理領域(特定単位処理領域)の疑似逆行列パラメータは、当該2つの単位処理領域の疑似逆行列パラメータから高精度に生成することが可能である。そして、このように生成される疑似逆行列パラメータを用いて、当該特定単位処理領域についての演算誤差は許容範囲内に収めることができる。
【0038】
そこで、本実施形態においては、SPIフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域については、SPIフラッシュメモリ内の擬似逆行列パラメータを用いて縦偏光成分Vと横偏光成分Hを算出する一方、SPIフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域については、補間処理により生成した擬似逆行列パラメータを用いて縦偏光成分Vと横偏光成分Hを算出する。
【0039】
具体的には、図13に示すように、単位処理領域Aについては当該領域Aに対応する擬似逆行列パラメータをSPIフラッシュメモリから読み出して利用する。一方、単位処理領域Aと単位処理領域Bとの間に位置する単位処理領域αについては、信号処理部6において、これらの領域A,Bの擬似逆行列パラメータをSPIフラッシュメモリから読み出し、その2つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域αの画素の縦偏光成分Vと横偏光成分Hを算出する。また、単位処理領域Aと単位処理領域Eとの間に位置する単位処理領域βについては、信号処理部6において、これらの領域A,Eの擬似逆行列パラメータをSPIフラッシュメモリから読み出し、その2つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域βの画素の縦偏光成分Vと横偏光成分Hを算出する。また、単位処理領域Aと単位処理領域Fとの間あるいは単位処理領域Bと単位処理領域Eとの間に位置する単位処理領域γについては、信号処理部6において、これらの領域A,Fあるいは領域B,Eの擬似逆行列パラメータをSPIフラッシュメモリから読み出し、その2つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域γの画素の縦偏光成分Vと横偏光成分Hを算出する。
【0040】
補間処理の方法は、互いに離間した2つの単位処理領域の疑似逆行列パラメータとこれらの間に位置する特定単位処理領域の本来の疑似逆行列パラメータとの間における一定の関係に応じて適宜選択されるが、本実施形態では線形補間処理が好ましい。線形補間処理をFPGA等を用いてハードウェア処理する場合、ビットシフトだけで済むように工夫するのが好ましい。そのため、本実施形態では、上述したように2×2の4領域につき1領域の割合で疑似逆行列パラメータをSPIフラッシュメモリに記憶するようにしているが、16領域につき1領域、64領域につき1領域の割合とすることも可能である。ただし、補間処理の精度上、本実施形態のように2×2の4領域につき1領域の割合で疑似逆行列パラメータをSPIフラッシュメモリに記憶するのが好ましい。
【0041】
すべての画素について個別に疑似逆行列パラメータを用意する場合には、全疑似逆行列パラメータのデータ量が約26Mバイトにもなり、疑似逆行列パラメータを格納しておくメモリとして、26Mバイト以上の大容量メモリが必要であったところ、本実施形態によれば、同じ疑似逆行列パラメータを使い回すことで全疑似逆行列パラメータのデータ量を約0.4Mバイトにまで低減できるとともに、更に、補間処理を用いることでそのデータ量を1/4に低減できる。したがって、本実施形態によれば、全疑似逆行列パラメータのデータ量を約0.1Mバイトにまで低減できる。
【0042】
特に、上述したように、疑似逆行列パラメータの1要素あたりのデータ量を例えば1バイトに減らした場合、同じ疑似逆行列パラメータを使い回すとともに、上述した補間処理を用いることで、全疑似逆行列パラメータのデータ量を約0.025Mバイトにまで低減することが可能である。すなわち、疑似逆行列パラメータのデータ量として約26M倍バイトという大きなデータ量が必要であった場合と比較して、疑似逆行列パラメータのデータ量を0.1%にまで圧縮することが可能となる。
【0043】
図14は、すべての画素について予め個別に用意しておいた疑似逆行列パラメータ(疑似逆行列パラメータの全データ量=約26Mバイト)を用いて得た差分偏光度画像の一例を示すものである。
図15は、本実施形態のように同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像(疑似逆行列パラメータの全データ量=約0.025Mバイト))の一例を示すものである。
これらの図において、差分偏光度は画像中の各画素の輝度によって表現されている。これらの図を比較してわかるように、両者の間には輝度の違いがほとんど見受けられず、差分偏光度の違いはほとんどない。したがって、疑似逆行列パラメータの全データ量を0.1%にまで圧縮しても、高い精度の差分偏光度画像を得ることができる。
【0044】
本実施形態では、光学フィルタ2の各フィルタ領域2a,2bの配列パターン(領域分割パターン)が、縦に480画素、横に752画素の有効画素で構成される画像センサ4に対し、横に2画素分、縦に1画素分の傾きを有するストライプ状のパターンである例について説明したが、横に1画素分、縦に2画素分の傾きを有するストライプ状のパターンであっても同じである。この傾きは、適宜設定され、例えば傾きを1に設定してもよい。
【0045】
〔変形例1〕
図16は、各フィルタ領域2a,2bの傾きが1/3となるように構成された変形例1に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。
図17は、本変形例1における一の単位処理領域に存在する6種類の共通単位画素の分布を示す説明図である。
本変形例1の光学フィルタのように各フィルタ領域2a,2bの傾きが1/3となるように構成されている場合、全体で6種類の共通単位画素が存在することになり、その分布は図17に示すものを繰り返したものとなる。本変形例1では、共通単位画素の種類が6種類であることを考慮して、一の単位処理領域を6×6画素で構成した。この場合、その区分数はおよそ10080個となるので、全体で6×10080=60480個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1088640バイト(約1.1Mバイト)となる。
【0046】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に1/4に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約0.27Mバイトにまで低減することができる。
傾きが3である場合も同様である。
【0047】
〔変形例2〕
図18は、各フィルタ領域2a,2bの傾きが2/3となるように構成された変形例2に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。
図19は、本変形例2における一の単位処理領域に存在する12種類の共通単位画素の分布を示す説明図である。
本変形例2の光学フィルタのように各フィルタ領域2a,2bの傾きが2/3となるように構成されている場合、全体で12種類の共通単位画素が存在することになる。本変形例2では、共通単位画素の種類が12種類であることを考慮して、一の単位処理領域を8×8画素で構成した。この場合、その区分数は5640個となるので、全体で12×5640=67680個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1218240バイト(約1.2Mバイト)となる。
【0048】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に1/4に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約0.3Mバイトにまで低減することができる。
【0049】
本実施形態(各変形例を含む。以下同じ。)においては、光学フィルタ2に備わった複数種類のフィルタ領域が、光をそのまま透過する透過領域2aと横偏光成分のみを選択的に透過させる横偏光フィルタ領域2bとである場合であったが、これに限られるものではない。例えば、光をそのまま透過する透過領域と縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域とである場合や、縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域と横偏光成分のみを選択的に透過させる横偏光フィルタ領域とである場合でも、同様の演算精度で差分偏光度画像を得ることができる。
また、本実施形態においては、光学フィルタ2に備わった複数種類のフィルタ領域が画像センサ4の縦方向及び横方向のいずれにも傾斜するように構成されたものであったが、画像センサ4の縦方向及び横方向のいずれか一方に平行である構成としてもよい。ただし、この場合には、各フィルタ領域を透過した両方の光が1つの画素内で受光されるように構成する。
【0050】
〔実施例〕
以下、本発明の実施例について説明する。
図20は、本実施例に係る偏光カメラ10の概略構成を示すブロック図である。
画像センサ4から出力される各画素の受光量に応じたアナログ電気信号は、A/D変換部5でデジタル信号である画素データに変換され、その画素データは垂直同期信号及び水平同期信号とともに信号処理部6へ順次出力する。信号処理部6に順次入力された垂直同期信号及び水平同期信号並びに画素データは、信号処理部6内のラインバッファ部31に一時的に保持される。このラインバッファ部31には、少なくとも直前2ライン分の画素データが保持される。そして、ラインバッファ部31は、保持している直前2ライン分の画素データと信号処理部6に入力されてくる最新の1ライン分の画素データとを含む3ライン分の画素データから、画像処理の対象となる注目画素及びその周辺画素からなる3×3画素分の画素データI1〜I9を選択して、差分偏光度画像生成部50へ出力する。そして、差分偏光度画像生成部50は、入力された3×3画素分の画素データI1〜I9と、パラメータ記憶手段としてのSPIフラッシュメモリ32に格納されていた当該注目画素に対応する擬似逆行列パラメータとを用いて、上記数3に示した式より、当該注目画素で受光した光の縦偏光強度Vと横偏光強度Hとを算出し、その算出結果から当該注目画素についての差分偏光度を算出する。算出した差分偏光度は、差分偏光度画像のデータ(画素値)として、水平・垂直同期信号とともに後段の機器へと順次出力される。このような画像処理を画像センサ4の有効画素全体について行うことで、各画素についての差分偏光度を画素値とした差分偏光度画像が生成される。
【0051】
ここで、本実施例における差分偏光度画像生成部50の構成及び動作について説明する。
図21は、差分偏光度画像生成部50の内部構成を示すブロック図である。
この差分偏光度画像生成部50は、FPGAで構成されていて、画素データI1〜I9と擬似逆行列パラメータとから当該画素についての縦偏光強度Vと横偏光強度Hを算出して、その算出結果から当該画素についての差分偏光度を算出する画像処理をハードウェア処理により実現している。この画像処理で用いるすべての擬似逆行列パラメータは、予めFPGA内部に設けられた擬似逆行列パラメータ格納用BRAM(Block-RAM)にロードしておく。
【0052】
差分偏光度画像生成部50のBRAMアドレス計算部51は、垂直同期信号と水平同期信号を受け取ることで、その画像処理に使用する擬似逆行列パラメータが格納されているBRAMアドレス値を計算する。本実施例におけるBRAMアドレス計算部51の出力タイミングチャートは図22に示すとおりである。
【0053】
差分偏光度画像生成部50の係数生成部52は、BRAMアドレス計算部51から出力されるBRAMアドレス値を受け取ったら、そのBRAMアドレス値に格納されている擬似逆行列パラメータを偏光分離処理部53へ出力する。本実施例における係数生成部52の内部構成図を図23に示す。また、本実施例における単位処理領域の区分を図24に示す。また、擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用BRAMのアドレスマップを図25に示す。上述した補間処理は、係数生成部52のパラメータ算出部において実行される。
【0054】
差分偏光度画像生成部50の偏光分離処理部53は、ラインバッファ部31から出力される9個の画素データI1〜I9と、係数生成部52から出力される18個の要素A1〜A18をもつ擬似逆行列パラメータとを受け取り、上記数3に示した式より、横偏光成分Hと縦偏光成分Vを算出する。本実施例における偏光分離処理部53の内部構成を図26に示す。
【0055】
差分偏光度画像生成部50の差分偏光度計算部54は、偏光分離処理部53から出力される横偏光成分Hと縦偏光成分Vを受け取ったら、差分偏光度P=(H−V)/(H+V)を計算する。通常の場合、差分偏光度Pは−1〜1の範囲内の値をとるので、小数部分をビット表現したものが差分偏光度計算部54から出力されることになる。本実施例における差分偏光度計算部54の内部構成図を図27に示す。
【0056】
差分偏光度画像生成部50の差分偏光度画像計算部55は、差分偏光度計算部54から出力された差分偏光度Pを受け取ったら、小数部分をビット表現した差分偏光度Pを、差分偏光度画像の画素値へ変換して出力する処理を行う。具体的には、この処理は、−1〜1の範囲内の値を示す差分偏光度Pを0〜1022の範囲にスケーリングして、スケーリング後の値を差分偏光度画像の画素値として出力する処理である。このとき、差分偏光度Pが−1〜1の範囲外である場合、その差分偏光度Pは異常な値である可能性が高い。よって、−1〜1の範囲外の値を示す差分偏光度Pについては、異常指示値である1023を画素値として出力する。本実施例における差分偏光度画像計算部55の内部構成図を図28に示す。
【0057】
また、本実施形態の差分偏光度画像計算部55は、図21に示すように、遅延処理部56を介して画素データI1〜I9(RAWデータ)を取得する。そして、各画素データI1〜I9のいずれかが、所定の黒つぶれ閾値以下である場合、あるいは、所定の飽和閾値以上である場合には、これらの画素データI1〜I9から算出された差分偏光度Pの画素値として、異常指示値である1023を出力する。
【0058】
各画素データI1〜I9のいずれかが、所定の黒つぶれ閾値以下であるか、あるいは、所定の飽和閾値以上であるかを検出する方法としては、例えば、これらの閾値を表すレジスタを用意して、それと各画素データI1〜I9とを比較して判定する方法が好適である。黒つぶれ閾値は、ゼロに近い値が設定されるが、必ずしもゼロである必要はない。同様に、飽和閾値は、A/D変換部5から出力されるデジタル電気信号(画素データ)の上限値に近い値が設定されるが、必ずしも当該上限値である必要はない。これらの閾値は、適宜変更可能に構成するのが好ましい。
【0059】
このような処理を行うことで、差分偏光度画像データの各画素値は、正常値については0〜1022の範囲を示し、異常値については1023を示すものとなる。このような差分偏光度画像データを、路面及び立体物を判別するための処理(後段の情報処理)で使用する際、異常な値が示された画素については、例えば、これを除外して処理したり、これを補正して使用したりして、適切な異常値対応を実行することができる。異常な値が示された画素を補正して使用する方法としては、例えば、差分偏光度画像を2値化処理する際、異常値を示す画素については、その周囲の正常な画素値から「0」又は「1」を割り振る方法が挙げられる。その結果、正常値と異常値とを区別できないまま処理する場合と比較して、路面及び立体物の誤判別などを少なく抑えることができ、路面及び立体物の判定精度を向上させることができる。
【0060】
次に、本実施例におけるパラメータ制御部40の構成及び動作について説明する。
本実施例においては、事前にすべての疑似逆行列パラメータを算出しておき、それをSPIフラッシュメモリ32内に格納してある。本実施例におけるSPIフラッシュメモリ32のアドレスマップは、図29及び図30に示すとおりである。パラメータ制御部40は、図20や図21に示したように、汎用のCPU41を備えていて、電源投入時に、SPIインターフェース42を通じてSPIフラッシュメモリ32から擬似逆行列パラメータを読み出し、読み出した全擬似逆行列パラメータを、CPUバス43及びUserインターフェース44を介して、差分偏光度画像生成部50を構成するFPGA内の擬似逆行列パラメータ格納用BRAMへ転送する。
【0061】
次に、電源を投入してから差分偏光度画像を生成するまでの処理フローについて説明する。
電源が投入されると、まず、パラメータ制御部40のCPU41は、SPIフラッシュメモリ32内のFPGA回路データを、差分偏光度画像生成部50を構成するFPGA内にロードする。その後、CPU41は、擬似逆行列パラメータ転送処理を実行する。この擬似逆行列パラメータ転送処理では、まず、CPU41からSPIインターフェース42にRead用コマンドを発行する。これにより、SPIインターフェース42を介してSPIフラッシュメモリ32内の擬似逆行列パラメータがCPU41に読み込まれる。その後、CPU41はUserインターフェース44にWrite用コマンドを発行する。これにより、Userインターフェース44を介して擬似逆行列パラメータが係数生成部52内における擬似逆行列パラメータ格納用BRAMに書き込まれる。すべての擬似逆行列パラメータが係数生成部52内の擬似逆行列パラメータ格納用BRAMに転送されるまで、上述したRead用コマンドの発行からWrite用コマンドの発行までの処理を繰り返し行う。
【0062】
以上のようにして、SPIフラッシュメモリ32内の全擬似逆行列パラメータが係数生成部52内の擬似逆行列パラメータ格納用BRAMに転送されて擬似逆行列パラメータ転送処理が完了したら、差分偏光度画像生成工程に移行する。この差分偏光度画像生成工程では、垂直同期信号と水平同期信号と画素データとが画像センサ4から転送されてくると、まず、垂直同期信号と水平同期信号を参照して、画素ごとに係数生成部52内の擬似逆行列パラメータ格納用BRAMのアドレス値を計算し、そのBRAMに格納されている擬似逆行列パラメータの要素(144bitのbus信号)を読み出す。そして、読み出した144bitのbus信号を18要素に分割して、擬似逆行列パラメータの18要素A1〜A18を得る。その後、偏光分離処理部53において、この18要素の擬似逆行列パラメータを用いて、処理対象となる画素(注目画素)についての横偏光成分Hと縦偏光成分Vを、当該注目画素及びその周辺画素の画素データI1〜I9から上記数3に示した式より計算する。このようにして算出された横偏光成分Hと縦偏光成分Vは差分偏光度計算部54に送られ、差分偏光度計算部54にて差分偏光度Pが算出される。そして、差分偏光度画像計算部55では、この差分偏光度Pを差分偏光度画像の画素値(画像データ)へ変換する処理行う。これにより、差分偏光度画像の1画素についての画像データが得られる。以上のような処理を全画素について行うことで差分偏光度画像が生成される。
【0063】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタ2を通じて、フォトダイオード4a等の受光素子が2次元配置された画像センサ4等の受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像部等の撮像手段と、該撮像手段から出力された画像信号に対応する単位画素の画素値(0〜1022の範囲)を、所定の演算パラメータを用いて、該単位画素の画像信号と該単位画素周辺に位置する周辺画素の画像信号とから構成される画像信号群から算出する信号処理部6等の画素値算出手段とを備えた撮像装置において、上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれているか否かを判定する差分偏光度画像計算部55等の異常信号判定手段を有し、上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値(1023)を、該画像信号群に対応する単位画素の画素値とする処理を実行することを特徴とする。
これによれば、撮像画像の画素値を用いて路面及び立体物を判別する処理等の後段情報処理において、当該画素値が異常値であることを把握することができる。その結果、後段の情報処理では、当該画素値が異常値として取り扱うことができるので、異常値を示す画素値をそのまま正常な画素値として処理してしまうことによる誤判定などの処理結果異常を回避することが可能となる。
【0064】
(態様B)
上記態様Aにおいて、上記所定の異常判定条件は、受光量が所定の黒つぶれ閾値以下である場合に対応した画像信号であるという条件及び受光量が所定の飽和閾値以上である場合に対応した画像信号であるという条件の少なくとも一方を含むことを特徴とする。
これによれば、異常値である可能性が高い黒つぶれした画像信号あるいは飽和した画像信号を、適切に異常値として取り扱うことができる。
【0065】
(態様C)
上記態様A又はBにおいて、上記画素値算出手段は、上記異常指示値として、上記所定の演算パラメータを用いて算出され得る画素値の数値範囲(0〜1022)から外れた値であって、該数値範囲の上限値に隣接する値又は該数値範囲の下限値に隣接する値を用いることを特徴とする。
これによれば、正常値と異常値のデータ処理が容易となる。
【0066】
(態様D)
上記態様A〜Cのいずれかの態様において、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする。
これによれば、受光素子アレイから出力される画像信号から特定の偏光成分を抽出することができる。
【0067】
(態様E)
撮像手段が撮像した撮像画像の画素値に基づいて撮像領域内に存在する検出対象物の識別処理を行う物体識別処理手段を有する物体識別装置において、上記撮像手段として、上記態様A〜Dのいずれかの態様に係る撮像装置を用い、上記撮像画像の画素値として上記単位画素の画素値を出力するものであり、上記物体識別処理手段は、上記異常指示値を示す画素値を除外した残りの画素値に基づいて上記識別処理を行うことを特徴とする。
これによれば、異常値を示す画素による識別処理の異常を回避することができる。
【0068】
以上の説明では、光学フィルタ2の選択フィルタ領域を、所定の偏光成分を選択的に透過させる偏光フィルタで構成して、互いに異なる2つの偏光成分から差分偏光度画像を生成する場合について説明したが、光学フィルタ2の選択フィルタ領域を、特定の波長成分を選択的に透過させる分光フィルタで構成して、互いに異なる複数の波長成分から例えば色分解画像を生成する場合でも、本発明を同様に適用できる。
また、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ10のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本発明に係る撮像装置は、本実施形態に限らず、幅広い分野に応用することができる。
【符号の説明】
【0069】
1 撮像レンズ
2 光学フィルタ
2a 透過領域
2b 横偏光フィルタ領域
4 画像センサ
4a フォトダイオード(受光素子)
5 A/D変換部
6 信号処理部
10 偏光カメラ
31 ラインバッファ部
32 SPIフラッシュメモリ
40 パラメータ制御部
41 CPU
50 差分偏光度画像生成部
51 アドレス計算部
52 係数生成部
53 偏光分離処理部
54 差分偏光度計算部
55 差分偏光度画像計算部
【先行技術文献】
【特許文献】
【0070】
【特許文献1】特開2007−086720号公報
【特許文献2】特許3771054号公報
【技術分野】
【0001】
本発明は、1種類又は2種類以上の偏光フィルタ部や色分解フィルタ部を周期的に配列した光学フィルタを通じて撮像領域からの光を受光素子アレイで受光し、これにより得た画像信号から撮像画像の画像情報の画素値を算出する撮像装置及びこれを用いた物体識別装置に関するものである。
【背景技術】
【0002】
この種の撮像装置としては、所定の撮像領域をデジタルカメラ等の撮像手段を用いて撮像し、その画像信号から、所望の波長帯域のみを抽出した画像情報や、所望の偏光成分のみを抽出した画像情報などを生成するものが知られている。このような撮像装置は、例えば、光学フィルタを通じて入射する撮像領域からの光を、多数の受光素子を2次元配置された受光素子アレイを用いて受光し、各受光素子で受光した光量に応じて受光素子アレイから出力される画像信号から、撮像領域の画像情報を生成する。特許文献1には、光学フィルタとして、例えば、R(Red)、G(Green)、B(Blue)の色分解フィルタ部が所定の配置パターンに従って配列されたカラーフィルタを用いた撮像装置が記載されている。また、特許文献2には、2種類(縦偏光成分と横偏光成分)の偏光フィルタ部が周期的に配置された光学フィルタを通じて入射する撮像領域からの光を受光素子アレイで受光する撮像装置が記載されている。このような撮像装置によれば、1回の撮像動作で、互いに異なる複数の光学成分それぞれを抽出した画像情報(例えば、R、G、Bそれぞれの画像情報や、縦偏光成分及び横偏光成分それぞれの画像情報)を得ることができる。
【0003】
このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、撮像領域内の物体を識別する物体識別処理に利用することで、単なる輝度情報のみからなる画像情報(モノクロ画像情報)で物体識別処理を行う場合よりも、高い精度での物体識別を可能とする点で有用である。そのため、このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域(撮像領域)を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者(ドライバー)の運転負荷を軽減させる運転者支援システムへ利用されている。また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者らは、このような光学成分抽出画像をフレームレート30fpsでリアルタイム映像出力することを可能とする撮像装置を開発し、その開発にあたっては、次のような課題に直面した。以下の説明では、縦偏光成分及び横偏光成分それぞれの光学成分抽出画像を得る撮像装置について説明するが、R、G、B等の互いに波長成分が異なる画像情報を得る撮像装置においても同様である。
【0005】
このような撮像装置を開発するにあたっては、受光素子アレイから出力される画像信号から縦偏光成分及び横偏光成分を抽出して光学成分抽出画像を生成するという画像処理を、フレームレート30fpsでのリアルタイム映像出力を可能とする短い時間内で完了することが要求される。現状において、この要求を満たす画像処理を可能とするには、現実的には、所定の画像処理プログラムを汎用CPUに実行させて当該画像処理を実現するソフトウェア処理ではなく、FPGA(Field Programmable Gate Array)等の専用ハードウェアを用いて当該画像処理を実現するハードウェア処理を採用することが必要となる。
【0006】
ここで、受光素子アレイから出力される画像信号から光学成分抽出画像を生成する画像処理の一例について説明する。
図31は、光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
この図において、縦横に並ぶ各正方形がそれぞれ受光素子を示し、受光素子の並び方向に対して斜めに延びるハッチング領域が縦偏光成分をカットする縦偏光フィルタの領域を示し、ハッチング領域以外の領域が横偏光成分をカットする横偏光フィルタの領域を示す。図示の例の光学フィルタは、縦偏光フィルタの帯及び横偏光フィルタの帯が交互に配置され、その帯の長手方向が受光素子の並び方向に対して斜めになるように、縦偏光フィルタの帯及び横偏光フィルタが配置されたものである。
【0007】
受光素子アレイ上の1つの受光素子に対応する注目画素(図中の画素番号5)の縦偏光成分Vと横偏光成分Hは、例えば、当該注目画素5の受光量に対応した画像信号値I5だけでなく、その注目画素5の周囲を取り囲む8つの周辺画素1〜4,6〜9の受光量に対応した画像信号値I1〜I4,I6〜I9も用いて、下記の数1に示す式より求められる。下記の数1に示す式において、画像信号値I1〜I9から注目画素5の縦偏光成分Vと横偏光成分Hを算出するためのA1〜A18の要素をもつ係数行列(演算パラメータ)を、以下、疑似逆行列パラメータと称する。
【数1】
【0008】
この疑似逆行列パラメータは、以下のようにして予め求めておくことができる。
まず、図31に示した光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Vで100%縦偏光のサンプル光を照射し、そのときに各受光素子(その受光素子の画素番号をiとする。)で受光する受光量に応じたサンプル縦偏光強度aviを取得する。また、同様に、光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Hで100%横偏光のサンプル光を照射し、そのときに各受光素子で受光する受光量に応じたサンプル横偏光強度ahiを取得する。このようにして得られる各受光素子のサンプル縦偏光強度avi及びサンプル横偏光強度ahiは、それぞれ、その受光素子で受光される縦偏光成分及び横偏光成分の感度に比例していると考えることができる。よって、光学フィルタを透過して各受光素子iで受光する光の強度をIiとすると、Ii=avi×V+ahi×Hが成り立つ。そして、注目画素5を中心とした3×3画素の合計9つの画素1〜9に対して入射する光が同じであると仮定し、これらの画素1〜9について下記の数2に示す行列式を得る。この行列式において、av1〜9及びah1〜9を要素とした感度行列パラメータについての逆行列を求める。この逆行列が上述した疑似逆行列パラメータとなる。ただし、ハードウェア処理に最適化するために、このようにして求まる疑似逆行列パラメータを多少変形してもよい。
【数2】
【0009】
ここでは、縦偏光フィルタと横偏光フィルタとが交互に配置された光学フィルタを例に挙げたが、縦偏光フィルタとフィルタ無し(光をそのまま透過させる領域)とが交互に配置された光学フィルタや、横偏光フィルタとフィルタ無しとが交互に配置された光学フィルタであっても、上述した手順と同様の方法で、疑似逆行列パラメータを求めることができる。ただし、このような光学フィルタを用いる場合、実際の撮像時には、受光素子アレイが横偏光成分及び縦偏光成分のいずれか一方を受光しない。そのため、偏光フィルタを通過して受光される偏光成分の画像信号値とフィルタ無しを通過して受光される非偏光の画像信号値とを用いて、受光しない偏光成分を求める必要がある。この場合、例えば、非偏光の受光量が縦偏光成分の受光量と横偏光成分の受光量との合算値に近似することを利用して、疑似逆行列パラメータを生成すればよい。
【0010】
このように、注目画素の画素値を、疑似逆行列パラメータ等の演算パラメータを用いて、当該注目画素5の画像信号値I5と該注目画素周辺に位置する周辺画素1〜4,6〜9の画像信号値I1〜I4,I6〜I9とから構成される画像信号群から算出する場合、その画像信号群に異常な値が含まれていると、当該注目画素の画素値として正常な値を算出することができない。例えば、画像信号値がゼロである画素(いわゆる受光量がゼロで黒つぶれが生じている画素)や、画像信号値が上限値である画素(いわゆる受光量が飽和している画素)は、通常の撮像領域内からの光を受光する場合には存在し得ない場合が多く、その画素値は異常な画素値であることが多い。このような異常な画素値が注目画素を算出するための画像信号群の中に含まれていると、注目画素の画素値として、本来の画素値から外れた異常な値が算出される。撮像画像中に異常な値を示す画素値が含まれている場合、撮像画像の画素値を用いた後段の情報処理にそのまま利用されると、その処理結果に異常を来すという問題があった。例えば、撮像画像の画素値に基づいて物体の識別を行う物体識別処理であれば、物体識別率が低下したり、物体の誤識別を生じさせたりする。
【0011】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像画像の画素値に基づいた後段の情報処理で異常な処理結果が生じるのを回避することが可能な撮像装置及びこれを用いた物体識別装置を提供することである。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本発明は、互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が2次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、該撮像手段から出力された画像信号に対応する単位画素の画素値を、所定の演算パラメータを用いて、該単位画素の画像信号と該単位画素周辺に位置する周辺画素の画像信号とから構成される画像信号群から算出する画素値算出手段とを備えた撮像装置において、上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれているか否かを判定する異常信号判定手段を有し、上記画素値算出手段は、上記画像信号群を構成する画像信号の中に上記所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値を、該画像信号群に対応する単位画素の画素値とする処理を実行することを特徴とするものである。
【0013】
本発明においては、単位画素の画素値を所定の演算パラメータを用いて算出する際に参照される画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段により判定された場合、当該画素値については、異常な値であることを示す異常指示値が割り当てられる。したがって、撮像画像の画素値を用いた後段の情報処理において、当該単位画素の画素値が所定の異常判定条件を満たす異常な画像信号に基づく異常な値であることを把握することができる。その結果、後段の情報処理では、当該単位画素の画素値を異常な値として取り扱うことができるので、異常な値を示す単位画素の画素値をそのまま正常な画素値として処理してしまうことによる処理結果の異常を回避することが可能となる。
【発明の効果】
【0014】
以上、本発明によれば、撮像画像の画素値に基づいた後段の情報処理で異常な処理結果が生じるのを回避することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る運転者支援システムの機能ブロック図である。
【図2】同運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
【図3】路面及び立体物を判別するための処理の流れを示すフローチャートである。
【図4】高速道路を走行している車両に搭載した偏光カメラにより撮像して得た差分偏光度画像を示したものである。
【図5】同差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
【図6】立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
【図7】同運転者支援システムに利用可能な偏光カメラの概略構成を示す説明図である。
【図8】同偏光カメラの光学フィルタと画像センサとを示す断面拡大図である。
【図9】同光学フィルタの偏光フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図10】同画像センサ上の受光素子を単位処理領域ごとに区分する方法を説明するための説明図である。
【図11】一の単位処理領域における4種類の共通単位画素の分布を示す説明図である。
【図12】(a)は、第1共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。(b)は、第2共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。(c)は、第3共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。(d)は、第4共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。
【図13】同画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
【図14】すべての画素について予め個別に用意しておいた疑似逆行列パラメータ(疑似逆行列パラメータの全データ量=約26Mバイト)を用いて得た差分偏光度画像の一例を示すものである。
【図15】同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像(疑似逆行列パラメータの全データ量=約0.025Mバイト))の一例を示すものである。
【図16】変形例1に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図17】変形例1における一の単位処理領域に存在する6種類の共通単位画素の分布を示す説明図である。
【図18】変形例2に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図19】変形例2における一の単位処理領域に存在する12種類の共通単位画素の分布を示す説明図である。
【図20】実施例に係る偏光カメラの概略構成を示すブロック図である。
【図21】同偏光カメラに設けられた差分偏光度画像生成部の内部構成を示すブロック図である。
【図22】同差分偏光度画像生成部に設けられたBRAMアドレス計算部の出力タイミングチャートである。
【図23】同差分偏光度画像生成部に設けられた係数生成部の内部構成図である。
【図24】実施例における単位処理領域の区分を示す説明図である。
【図25】擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用BRAMのアドレスマップである。
【図26】同差分偏光度画像生成部に設けられた偏光分離処理部の内部構成図である。
【図27】同差分偏光度画像生成部に設けられた差分偏光度計算部の内部構成図である。
【図28】同差分偏光度画像生成部に設けられた差分偏光度画像計算部の内部構成図である。
【図29】擬似逆行列パラメータが格納されたSPIフラッシュメモリのアドレスマップである。
【図30】同SPIフラッシュメモリのセクター24に格納される疑似逆行列パラメータのアドレスマップである。
【図31】光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
【発明を実施するための形態】
【0016】
以下、本発明に係る撮像装置を、自車の運転者(ドライバー)の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
まず、本運転者支援システムにおける概略構成及び動作概要を説明する。
図1は、本実施形態に係る運転者支援システムの機能ブロック図である。
図2は、本実施形態の運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
図示しない車両に搭載された撮像装置としての偏光カメラ10により、車両が走行する路面(移動面)を含む自車周囲の風景を撮影する(S1)。これにより、偏光カメラ10の受光素子1つに対応した単位画素(以下、単に「画素」という。)ごとの縦偏光強度及び横偏光強度を得る(S2)。本実施形態では、このようにして得られる各画素の縦偏光強度及び横偏光強度から、単位画素ごとに、差分偏光度を算出する(S3)。この差分偏光度から、各画素の差分偏光度を画素値とした差分偏光度画像を生成することができる。ここで、「縦偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの縦列(鉛直方向の列)に平行な偏光方向をもった偏光の光強度を意味し、「横偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの横列(水平方向の列)に平行な偏光方向をもった偏光の光強度を意味する。
【0017】
差分偏光度は、下記の式(3)に示す計算式から求められる。すなわち、差分偏光度は、横偏光強度と縦偏光強度との合計値(輝度合計値)に対する横偏光強度と縦偏光強度との差分値(輝度差分値)の比率である。また、差分偏光度は、輝度合計値に対するP偏向強度の比率(横差分偏光度)と、輝度合計値に対するS偏向強度の比率(縦差分偏光度)との差分値であると言い換えることもできる。本実施形態では、横偏光強度から縦偏光強度を差し引く場合について説明するが、縦偏光強度から横偏光強度を差し引くようにしてもよい。
差分偏光度=(横偏光強度−縦偏光強度)/(横偏光強度+縦偏光強度) ・・(3)
【0018】
本実施形態では、偏光カメラ10から差分偏光度画像のデータが出力され、この差分偏光度画像のデータが路面・立体物判別部21に入力される。路面・立体物判別部21は、偏光カメラ10から出力された差分偏光度画像について、路面を映し出した画像領域と立体物を映し出した画像領域とを判別する(S4)。
図3は、路面及び立体物を判別するための処理の流れを示すフローチャートである。
路面・立体物判別部21は、偏光カメラ10から差分偏光度画像のデータを受け取ったら、まず、差分偏光度画像を2値化するための閾値を設定し(S41)、その閾値を用いて差分偏光度画像を2値化する(S42)。具体的には、所定の閾値以上の差分偏光度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。その後、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの画像領域として認識するラベリング処理を実施する(S43)。これによって、差分偏光度の高い近接した複数の画素の集合が1つの高差分偏光度領域として抽出される。このようにして抽出した各高差分偏光度領域を、図示しない路面特徴データ記憶手段としての記憶部内に記憶されている路面の特徴データと照らし合わせ、路面の特徴データに合致した高差分偏光度領域を路面領域として抽出する(S44)。そして、このようにして抽出した路面領域の形状を、路面形状パターンと照らし合わせて推定し(S45)、路面領域の両端すなわち路端ラインを特定する。その後、抽出した路面領域以外の残りの画像領域を、立体物を映し出した立体物領域として抽出する(S46)。
【0019】
図4は、高速道路を走行している車両に搭載した偏光カメラ10により撮像して得た差分偏光度画像を示したものである。
図5は、この差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
図5に示す画像中の黒塗り部分の画像領域が路面領域として抽出された箇所である。また、図5に示す画像中の点線で示すラインが路端ラインである。
【0020】
車両候補領域決定部22は、車両の窓ガラスからの光が有する差分偏光度の特徴を利用して、上記S46において立体物領域であると判定された領域の中から、車両候補領域を決定する(S5)。
図6は、立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
車両候補領域決定部22は、路面・立体物判別部21において判定された各立体物領域に対して、その差分偏光度が所定の閾値以上であるか否か(所定の数値範囲内であるか否か)を判断し、差分偏光度が所定の閾値以上である立体物領域を検知する(S51)。次に、このようにして検知した立体物領域の面積が、車両の窓ガラスに対応する面積範囲内であるか否かをチェックする(S52)。そして、このチェックを通った立体物領域に対し、車両の窓ガラスに対応する形状を有するかどうかをチェックして、このチェックも通った立体物領域を、車両後方領域として決定する(S53)。
【0021】
車両識別部23は、車両特徴量パターン記憶部24に記憶された車両特徴量パターンによるバターンマッチング手法により、上記車両候補領域決定部22が決定した車両候補領域が車両領域であるか否かを識別する。このバターンマッチング手法は、公知のものを広く利用できる。
【0022】
本実施形態では、例えば、CRTや液晶等で構成される車内の情報報知手段である表示部(ディスプレイ)25に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ輝度画像(フロントビュー画像)を表示し、その画像中の他車を映し出している領域を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する。これによれば、例えば、運転者が目視で他車を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と他車との相対位置関係を把握することができ、他車に衝突することなく安全に走行することが容易になる。
【0023】
また、本実施形態の車両制御部26は、例えば、車両識別部23により識別された車両領域の位置情報から、自車と他車との相対位置関係を把握する処理を行い、自車が他車に近づいて走行していないかどうかを判断し、他車に近づいたときに警報音等を発する処理を行う。あるいは、他車に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理を行ってもよい。
【0024】
以下、本発明の特徴部分である偏光カメラ10の構成及び動作について詳述する。
図7は、本実施形態における偏光カメラ10の概略構成を示す説明図である。
この偏光カメラ10は、主に、撮像レンズ1と、光学フィルタ2と、受光素子が2次元配置された受光素子アレイを有する画像センサ4が搭載されたセンサ基板3と、センサ基板3から出力されるアナログ電気信号(画像センサ4上の各受光素子が受光した受光量)をデジタル電気信号に変換するA/D変換部5と、A/D変換部5から出力されるデジタル電気信号(画素データ)に対して画像処理を行って差分偏光度画像のデータを生成して出力する信号処理部6とから構成されている。被写体(被検物)を含む撮像領域からの光は、撮像レンズ1を通り、光学フィルタ2を透過して、画像センサ4でその光強度に応じた電気信号に変換される。A/D変換部5では、画像センサ4から出力される電気信号(アナログ信号)が入力されると、その電気信号から、画素データとして、画像センサ4上における各画素の受光量を示すデジタル信号を、画像の垂直同期信号及び水平同期信号とともに信号処理部6へ出力する。
【0025】
図8は、光学フィルタ2と画像センサ4とを示す断面拡大図である。
画像センサ4は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード4aを用いている。フォトダイオード4aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード4aの集光効率を上げるために、各フォトダイオード4aの入射側にはマイクロレンズ4bが設けられている。この画像センサ4がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板3が形成されている。撮像する画像の波長範囲は略可視光であるため、画像センサ4としては、可視光の範囲に感度を有するものを選択すればよい。本実施形態の画像センサ4は、互いに直交する縦方向及び横方向に等間隔で配列された480×752の受光素子(フォトダイオード4a)を有効画素とする構成であり、1個のフォトダイオード4aを単位画素とする。
【0026】
画像センサ4のマイクロレンズ4b側の面には、光学フィルタ2が近接配置されている。光学フィルタ2の画像センサ4側の面には、図9に示すように、光をそのまま透過する非選択フィルタ領域である透過領域2aと、横偏光成分のみを選択的に透過させる選択フィルタ領域としての横偏光フィルタ領域2bとが、画像センサ4の縦方向(図中y方向)及び横方向(図中x方向)のいずれにも傾斜するように交互配置されたストライプ状の領域分割パターンを有している。具体的には、画像センサ4の縦方向における画素間隔(フォトダイオード4aの中心間距離)をnとし、横方向における画素間隔をmとしたとき、透過領域2a及び横偏光フィルタ領域2bの縦方向長さNが下記の式(1)を満たし、透過領域2a及び横偏光フィルタ領域2bの横方向長さMが下記の式(2)を満たすように、光学フィルタ2が構成されている。本実施形態の光学フィルタ2は、図9に示すように、A=1、B=2の例(すなわち、B/A=2の例)である。
N = A × n ・・・(1)
M = B × m ・・・(2)
【0027】
本実施形態においては、図9に示すように、光学フィルタ2に備わった2種類のフィルタ領域(透過領域2aと横偏光フィルタ領域2b)を透過した各光の1画素内における受光面積の比率が互いに等しい4種類の共通単位画素が周期的に存在するように構成される。
具体的に説明すると、第1共通単位画素は、図9に示す画素番号1の画素のように、当該画素の右上隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。
第2共通単位画素は、図9に示す画素番号2の画素のように、当該画素の左下隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。
第3共通単位画素は、図9に示す画素番号3の画素のように、当該画素の右上隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。
第4共通単位画素は、図9に示す画素番号5の画素のように、当該画素の左下隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。
【0028】
本実施形態の偏光カメラ10の信号処理部6では、A/D変換部5から出力される画素データと疑似逆行列パラメータとを用いて、注目画素(図9中の画素番号5)の縦偏光成分Vと横偏光成分Hを、下記の数3に示す式より算出する。すなわち、本実施形態では、注目画素5の縦偏光成分Vと横偏光成分Hを、当該注目画素5の画素データI5だけでなく、その注目画素5の周囲を取り囲む8つの周辺画素1〜4,6〜9の画素データI1〜I4,I6〜I9も用いて算出する。この算出に必要な疑似逆行列パラメータは、予め求めておいて後述するパラメータ記憶手段としてのSPIフラッシュメモリに格納されているものを用いる。
【数3】
【0029】
本実施形態の信号処理部6が実行する画像処理においては、画像センサ4の有効画素(480×752)について、図10に示すように、縦を30等分し、横を47等分して、16×16画素で構成される1410個の単位処理領域に区分して、注目画素5の縦偏光成分Vと横偏光成分Hを上記数3に示す式より算出する演算処理を行う。このように区分すると、各単位処理領域には、上述した4種類の共通単位画素それぞれについて、同一種類の共通単位画素が2つ以上存在する。
【0030】
一の単位処理領域における4種類の共通単位画素の分布は、図11に示す。
また、4種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、図12(a)〜(d)に示す。
4種類の共通単位画素について、第1共通単位画素を丸付き数字1で示し、第2共通単位画素を丸付き数字2で示し、第3共通単位画素を丸付き数字3で示し、第4共通単位画素を丸付き数字4で示すと、図9に示すように構成された光学フィルタ2の場合、各単位処理領域内の共通単位画素分布は、図11に示すようになる。このような分布においては、上述したように、第1共通単位画素を注目画素とした画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、当該単位処理領域内のどの第1共通単位画素についても、図12(a)のようになる。すなわち、第1共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布は一意に決まる。第2共通単位画素、第3共通単位画素、第4共通単位画素についても、同様に、一意に決まる。
【0031】
上述したとおり、受光面積比率が同じである同一種類の共通単位画素については、画像センサ4上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータ(演算パラメータ)が互いに近似する。特に、受光面積比率だけでなく、透過領域2a及び横偏光フィルタ領域2bを透過した各光の画素内における受光位置までも同じであるものを同一種類の共通単位画素とすれば、疑似逆行列パラメータの近似性はより高まる。よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。
【0032】
そこで、本実施形態においては、画像センサ4上における480×752の有効画素を、互いに隣接する16×16画素で構成された1410個の単位処理領域に区分することとしている。この区分数は、許容する演算誤差に応じて適宜設定されるものである。すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。
【0033】
この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数(データ量)は増えることになる。
具体例を挙げると、本実施形態の場合、1つの疑似逆行列パラメータの要素数が18個で、その1要素あたりのデータ量が4バイトであるので、疑似逆行列パラメータ1個あたりのデータ量は72バイトである。本実施形態のように1410個の単位処理領域に区分する場合、各単位処理領域それぞれで4つの疑似逆行列パラメータを使い回すことになるので、全体で4×1410=5640個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は406080バイト(約0.4Mバイト)となる。これに対し、1つの単位処理領域が8×8画素で構成されるように区分すると、その区分数は5640個となり、全体で4×5640=22560個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は1624320バイト(約1.6Mバイト)となる。
逆に、演算誤差に余裕がある場合には、区分数を減らして、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の数を増やし、疑似逆行列パラメータの数(データ量)を更に減らすようにしてもよい。
【0034】
本実施形態においては、疑似逆行列パラメータの1要素あたりのデータ量を例えば1バイトに減らしてもよい。この場合、疑似逆行列パラメータの全データ量は、更に101520バイト(約0.1Mバイト)にまで低減することができる。
特に、本実施形態においては、各単位処理領域で使い回す4種類の擬似逆行列パラメータは、その単位処理領域を構成する16×16画素のすべてについて求めた擬似逆行列パラメータの和をとり、その絶対値が一番大きい要素の絶対値が127となるように規格化してもよい。この規格化すると、疑似逆行列パラメータの1要素あたりのデータ量が1バイトとなるが、このようにデータ量を減らしても、計算精度の良好な差分偏光度が算出できる。
【0035】
また、本実施形態においては、疑似逆行列パラメータの全データ量を更に低減するために、SPIフラッシュメモリには、上述した1410個の単位処理領域のうち一部の単位処理領域については擬似逆行列パラメータを記憶しない。そして、SPIフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域(特定単位処理領域)については、SPIフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域の擬似逆行列パラメータを用いて補間処理を行い、この補間処理によって生成された算出擬似逆行列パラメータを用いて画像処理を行う。
【0036】
図13は、画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
本実施形態では、図13の太線で区画したように、1410個の単位処理領域を2×2の4領域で1ユニットとなるように分割する。そして、1ユニットにつき1領域の割合で、擬似逆行列パラメータをSPIフラッシュメモリに記憶する。これにより、擬似逆行列パラメータがSPIフラッシュメモリに記憶されない単位処理領域については、擬似逆行列パラメータがSPIフラッシュメモリに記憶されている少なくとも2つの単位処理領域の間に位置することになる。
【0037】
ここで、本発明者が鋭意研究したところ、画像センサ4上で近接している単位処理領域同士は、各領域で用いる疑似逆行列パラメータ(演算パラメータ)がその並び方向に沿って一定の関係(線形に近い関係)にあるという知見を得た。よって、この関係を利用することで、互いに離間した2つの単位処理領域の間に位置する単位処理領域(特定単位処理領域)の疑似逆行列パラメータは、当該2つの単位処理領域の疑似逆行列パラメータから高精度に生成することが可能である。そして、このように生成される疑似逆行列パラメータを用いて、当該特定単位処理領域についての演算誤差は許容範囲内に収めることができる。
【0038】
そこで、本実施形態においては、SPIフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域については、SPIフラッシュメモリ内の擬似逆行列パラメータを用いて縦偏光成分Vと横偏光成分Hを算出する一方、SPIフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域については、補間処理により生成した擬似逆行列パラメータを用いて縦偏光成分Vと横偏光成分Hを算出する。
【0039】
具体的には、図13に示すように、単位処理領域Aについては当該領域Aに対応する擬似逆行列パラメータをSPIフラッシュメモリから読み出して利用する。一方、単位処理領域Aと単位処理領域Bとの間に位置する単位処理領域αについては、信号処理部6において、これらの領域A,Bの擬似逆行列パラメータをSPIフラッシュメモリから読み出し、その2つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域αの画素の縦偏光成分Vと横偏光成分Hを算出する。また、単位処理領域Aと単位処理領域Eとの間に位置する単位処理領域βについては、信号処理部6において、これらの領域A,Eの擬似逆行列パラメータをSPIフラッシュメモリから読み出し、その2つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域βの画素の縦偏光成分Vと横偏光成分Hを算出する。また、単位処理領域Aと単位処理領域Fとの間あるいは単位処理領域Bと単位処理領域Eとの間に位置する単位処理領域γについては、信号処理部6において、これらの領域A,Fあるいは領域B,Eの擬似逆行列パラメータをSPIフラッシュメモリから読み出し、その2つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域γの画素の縦偏光成分Vと横偏光成分Hを算出する。
【0040】
補間処理の方法は、互いに離間した2つの単位処理領域の疑似逆行列パラメータとこれらの間に位置する特定単位処理領域の本来の疑似逆行列パラメータとの間における一定の関係に応じて適宜選択されるが、本実施形態では線形補間処理が好ましい。線形補間処理をFPGA等を用いてハードウェア処理する場合、ビットシフトだけで済むように工夫するのが好ましい。そのため、本実施形態では、上述したように2×2の4領域につき1領域の割合で疑似逆行列パラメータをSPIフラッシュメモリに記憶するようにしているが、16領域につき1領域、64領域につき1領域の割合とすることも可能である。ただし、補間処理の精度上、本実施形態のように2×2の4領域につき1領域の割合で疑似逆行列パラメータをSPIフラッシュメモリに記憶するのが好ましい。
【0041】
すべての画素について個別に疑似逆行列パラメータを用意する場合には、全疑似逆行列パラメータのデータ量が約26Mバイトにもなり、疑似逆行列パラメータを格納しておくメモリとして、26Mバイト以上の大容量メモリが必要であったところ、本実施形態によれば、同じ疑似逆行列パラメータを使い回すことで全疑似逆行列パラメータのデータ量を約0.4Mバイトにまで低減できるとともに、更に、補間処理を用いることでそのデータ量を1/4に低減できる。したがって、本実施形態によれば、全疑似逆行列パラメータのデータ量を約0.1Mバイトにまで低減できる。
【0042】
特に、上述したように、疑似逆行列パラメータの1要素あたりのデータ量を例えば1バイトに減らした場合、同じ疑似逆行列パラメータを使い回すとともに、上述した補間処理を用いることで、全疑似逆行列パラメータのデータ量を約0.025Mバイトにまで低減することが可能である。すなわち、疑似逆行列パラメータのデータ量として約26M倍バイトという大きなデータ量が必要であった場合と比較して、疑似逆行列パラメータのデータ量を0.1%にまで圧縮することが可能となる。
【0043】
図14は、すべての画素について予め個別に用意しておいた疑似逆行列パラメータ(疑似逆行列パラメータの全データ量=約26Mバイト)を用いて得た差分偏光度画像の一例を示すものである。
図15は、本実施形態のように同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像(疑似逆行列パラメータの全データ量=約0.025Mバイト))の一例を示すものである。
これらの図において、差分偏光度は画像中の各画素の輝度によって表現されている。これらの図を比較してわかるように、両者の間には輝度の違いがほとんど見受けられず、差分偏光度の違いはほとんどない。したがって、疑似逆行列パラメータの全データ量を0.1%にまで圧縮しても、高い精度の差分偏光度画像を得ることができる。
【0044】
本実施形態では、光学フィルタ2の各フィルタ領域2a,2bの配列パターン(領域分割パターン)が、縦に480画素、横に752画素の有効画素で構成される画像センサ4に対し、横に2画素分、縦に1画素分の傾きを有するストライプ状のパターンである例について説明したが、横に1画素分、縦に2画素分の傾きを有するストライプ状のパターンであっても同じである。この傾きは、適宜設定され、例えば傾きを1に設定してもよい。
【0045】
〔変形例1〕
図16は、各フィルタ領域2a,2bの傾きが1/3となるように構成された変形例1に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。
図17は、本変形例1における一の単位処理領域に存在する6種類の共通単位画素の分布を示す説明図である。
本変形例1の光学フィルタのように各フィルタ領域2a,2bの傾きが1/3となるように構成されている場合、全体で6種類の共通単位画素が存在することになり、その分布は図17に示すものを繰り返したものとなる。本変形例1では、共通単位画素の種類が6種類であることを考慮して、一の単位処理領域を6×6画素で構成した。この場合、その区分数はおよそ10080個となるので、全体で6×10080=60480個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1088640バイト(約1.1Mバイト)となる。
【0046】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に1/4に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約0.27Mバイトにまで低減することができる。
傾きが3である場合も同様である。
【0047】
〔変形例2〕
図18は、各フィルタ領域2a,2bの傾きが2/3となるように構成された変形例2に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。
図19は、本変形例2における一の単位処理領域に存在する12種類の共通単位画素の分布を示す説明図である。
本変形例2の光学フィルタのように各フィルタ領域2a,2bの傾きが2/3となるように構成されている場合、全体で12種類の共通単位画素が存在することになる。本変形例2では、共通単位画素の種類が12種類であることを考慮して、一の単位処理領域を8×8画素で構成した。この場合、その区分数は5640個となるので、全体で12×5640=67680個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1218240バイト(約1.2Mバイト)となる。
【0048】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に1/4に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約0.3Mバイトにまで低減することができる。
【0049】
本実施形態(各変形例を含む。以下同じ。)においては、光学フィルタ2に備わった複数種類のフィルタ領域が、光をそのまま透過する透過領域2aと横偏光成分のみを選択的に透過させる横偏光フィルタ領域2bとである場合であったが、これに限られるものではない。例えば、光をそのまま透過する透過領域と縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域とである場合や、縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域と横偏光成分のみを選択的に透過させる横偏光フィルタ領域とである場合でも、同様の演算精度で差分偏光度画像を得ることができる。
また、本実施形態においては、光学フィルタ2に備わった複数種類のフィルタ領域が画像センサ4の縦方向及び横方向のいずれにも傾斜するように構成されたものであったが、画像センサ4の縦方向及び横方向のいずれか一方に平行である構成としてもよい。ただし、この場合には、各フィルタ領域を透過した両方の光が1つの画素内で受光されるように構成する。
【0050】
〔実施例〕
以下、本発明の実施例について説明する。
図20は、本実施例に係る偏光カメラ10の概略構成を示すブロック図である。
画像センサ4から出力される各画素の受光量に応じたアナログ電気信号は、A/D変換部5でデジタル信号である画素データに変換され、その画素データは垂直同期信号及び水平同期信号とともに信号処理部6へ順次出力する。信号処理部6に順次入力された垂直同期信号及び水平同期信号並びに画素データは、信号処理部6内のラインバッファ部31に一時的に保持される。このラインバッファ部31には、少なくとも直前2ライン分の画素データが保持される。そして、ラインバッファ部31は、保持している直前2ライン分の画素データと信号処理部6に入力されてくる最新の1ライン分の画素データとを含む3ライン分の画素データから、画像処理の対象となる注目画素及びその周辺画素からなる3×3画素分の画素データI1〜I9を選択して、差分偏光度画像生成部50へ出力する。そして、差分偏光度画像生成部50は、入力された3×3画素分の画素データI1〜I9と、パラメータ記憶手段としてのSPIフラッシュメモリ32に格納されていた当該注目画素に対応する擬似逆行列パラメータとを用いて、上記数3に示した式より、当該注目画素で受光した光の縦偏光強度Vと横偏光強度Hとを算出し、その算出結果から当該注目画素についての差分偏光度を算出する。算出した差分偏光度は、差分偏光度画像のデータ(画素値)として、水平・垂直同期信号とともに後段の機器へと順次出力される。このような画像処理を画像センサ4の有効画素全体について行うことで、各画素についての差分偏光度を画素値とした差分偏光度画像が生成される。
【0051】
ここで、本実施例における差分偏光度画像生成部50の構成及び動作について説明する。
図21は、差分偏光度画像生成部50の内部構成を示すブロック図である。
この差分偏光度画像生成部50は、FPGAで構成されていて、画素データI1〜I9と擬似逆行列パラメータとから当該画素についての縦偏光強度Vと横偏光強度Hを算出して、その算出結果から当該画素についての差分偏光度を算出する画像処理をハードウェア処理により実現している。この画像処理で用いるすべての擬似逆行列パラメータは、予めFPGA内部に設けられた擬似逆行列パラメータ格納用BRAM(Block-RAM)にロードしておく。
【0052】
差分偏光度画像生成部50のBRAMアドレス計算部51は、垂直同期信号と水平同期信号を受け取ることで、その画像処理に使用する擬似逆行列パラメータが格納されているBRAMアドレス値を計算する。本実施例におけるBRAMアドレス計算部51の出力タイミングチャートは図22に示すとおりである。
【0053】
差分偏光度画像生成部50の係数生成部52は、BRAMアドレス計算部51から出力されるBRAMアドレス値を受け取ったら、そのBRAMアドレス値に格納されている擬似逆行列パラメータを偏光分離処理部53へ出力する。本実施例における係数生成部52の内部構成図を図23に示す。また、本実施例における単位処理領域の区分を図24に示す。また、擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用BRAMのアドレスマップを図25に示す。上述した補間処理は、係数生成部52のパラメータ算出部において実行される。
【0054】
差分偏光度画像生成部50の偏光分離処理部53は、ラインバッファ部31から出力される9個の画素データI1〜I9と、係数生成部52から出力される18個の要素A1〜A18をもつ擬似逆行列パラメータとを受け取り、上記数3に示した式より、横偏光成分Hと縦偏光成分Vを算出する。本実施例における偏光分離処理部53の内部構成を図26に示す。
【0055】
差分偏光度画像生成部50の差分偏光度計算部54は、偏光分離処理部53から出力される横偏光成分Hと縦偏光成分Vを受け取ったら、差分偏光度P=(H−V)/(H+V)を計算する。通常の場合、差分偏光度Pは−1〜1の範囲内の値をとるので、小数部分をビット表現したものが差分偏光度計算部54から出力されることになる。本実施例における差分偏光度計算部54の内部構成図を図27に示す。
【0056】
差分偏光度画像生成部50の差分偏光度画像計算部55は、差分偏光度計算部54から出力された差分偏光度Pを受け取ったら、小数部分をビット表現した差分偏光度Pを、差分偏光度画像の画素値へ変換して出力する処理を行う。具体的には、この処理は、−1〜1の範囲内の値を示す差分偏光度Pを0〜1022の範囲にスケーリングして、スケーリング後の値を差分偏光度画像の画素値として出力する処理である。このとき、差分偏光度Pが−1〜1の範囲外である場合、その差分偏光度Pは異常な値である可能性が高い。よって、−1〜1の範囲外の値を示す差分偏光度Pについては、異常指示値である1023を画素値として出力する。本実施例における差分偏光度画像計算部55の内部構成図を図28に示す。
【0057】
また、本実施形態の差分偏光度画像計算部55は、図21に示すように、遅延処理部56を介して画素データI1〜I9(RAWデータ)を取得する。そして、各画素データI1〜I9のいずれかが、所定の黒つぶれ閾値以下である場合、あるいは、所定の飽和閾値以上である場合には、これらの画素データI1〜I9から算出された差分偏光度Pの画素値として、異常指示値である1023を出力する。
【0058】
各画素データI1〜I9のいずれかが、所定の黒つぶれ閾値以下であるか、あるいは、所定の飽和閾値以上であるかを検出する方法としては、例えば、これらの閾値を表すレジスタを用意して、それと各画素データI1〜I9とを比較して判定する方法が好適である。黒つぶれ閾値は、ゼロに近い値が設定されるが、必ずしもゼロである必要はない。同様に、飽和閾値は、A/D変換部5から出力されるデジタル電気信号(画素データ)の上限値に近い値が設定されるが、必ずしも当該上限値である必要はない。これらの閾値は、適宜変更可能に構成するのが好ましい。
【0059】
このような処理を行うことで、差分偏光度画像データの各画素値は、正常値については0〜1022の範囲を示し、異常値については1023を示すものとなる。このような差分偏光度画像データを、路面及び立体物を判別するための処理(後段の情報処理)で使用する際、異常な値が示された画素については、例えば、これを除外して処理したり、これを補正して使用したりして、適切な異常値対応を実行することができる。異常な値が示された画素を補正して使用する方法としては、例えば、差分偏光度画像を2値化処理する際、異常値を示す画素については、その周囲の正常な画素値から「0」又は「1」を割り振る方法が挙げられる。その結果、正常値と異常値とを区別できないまま処理する場合と比較して、路面及び立体物の誤判別などを少なく抑えることができ、路面及び立体物の判定精度を向上させることができる。
【0060】
次に、本実施例におけるパラメータ制御部40の構成及び動作について説明する。
本実施例においては、事前にすべての疑似逆行列パラメータを算出しておき、それをSPIフラッシュメモリ32内に格納してある。本実施例におけるSPIフラッシュメモリ32のアドレスマップは、図29及び図30に示すとおりである。パラメータ制御部40は、図20や図21に示したように、汎用のCPU41を備えていて、電源投入時に、SPIインターフェース42を通じてSPIフラッシュメモリ32から擬似逆行列パラメータを読み出し、読み出した全擬似逆行列パラメータを、CPUバス43及びUserインターフェース44を介して、差分偏光度画像生成部50を構成するFPGA内の擬似逆行列パラメータ格納用BRAMへ転送する。
【0061】
次に、電源を投入してから差分偏光度画像を生成するまでの処理フローについて説明する。
電源が投入されると、まず、パラメータ制御部40のCPU41は、SPIフラッシュメモリ32内のFPGA回路データを、差分偏光度画像生成部50を構成するFPGA内にロードする。その後、CPU41は、擬似逆行列パラメータ転送処理を実行する。この擬似逆行列パラメータ転送処理では、まず、CPU41からSPIインターフェース42にRead用コマンドを発行する。これにより、SPIインターフェース42を介してSPIフラッシュメモリ32内の擬似逆行列パラメータがCPU41に読み込まれる。その後、CPU41はUserインターフェース44にWrite用コマンドを発行する。これにより、Userインターフェース44を介して擬似逆行列パラメータが係数生成部52内における擬似逆行列パラメータ格納用BRAMに書き込まれる。すべての擬似逆行列パラメータが係数生成部52内の擬似逆行列パラメータ格納用BRAMに転送されるまで、上述したRead用コマンドの発行からWrite用コマンドの発行までの処理を繰り返し行う。
【0062】
以上のようにして、SPIフラッシュメモリ32内の全擬似逆行列パラメータが係数生成部52内の擬似逆行列パラメータ格納用BRAMに転送されて擬似逆行列パラメータ転送処理が完了したら、差分偏光度画像生成工程に移行する。この差分偏光度画像生成工程では、垂直同期信号と水平同期信号と画素データとが画像センサ4から転送されてくると、まず、垂直同期信号と水平同期信号を参照して、画素ごとに係数生成部52内の擬似逆行列パラメータ格納用BRAMのアドレス値を計算し、そのBRAMに格納されている擬似逆行列パラメータの要素(144bitのbus信号)を読み出す。そして、読み出した144bitのbus信号を18要素に分割して、擬似逆行列パラメータの18要素A1〜A18を得る。その後、偏光分離処理部53において、この18要素の擬似逆行列パラメータを用いて、処理対象となる画素(注目画素)についての横偏光成分Hと縦偏光成分Vを、当該注目画素及びその周辺画素の画素データI1〜I9から上記数3に示した式より計算する。このようにして算出された横偏光成分Hと縦偏光成分Vは差分偏光度計算部54に送られ、差分偏光度計算部54にて差分偏光度Pが算出される。そして、差分偏光度画像計算部55では、この差分偏光度Pを差分偏光度画像の画素値(画像データ)へ変換する処理行う。これにより、差分偏光度画像の1画素についての画像データが得られる。以上のような処理を全画素について行うことで差分偏光度画像が生成される。
【0063】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタ2を通じて、フォトダイオード4a等の受光素子が2次元配置された画像センサ4等の受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像部等の撮像手段と、該撮像手段から出力された画像信号に対応する単位画素の画素値(0〜1022の範囲)を、所定の演算パラメータを用いて、該単位画素の画像信号と該単位画素周辺に位置する周辺画素の画像信号とから構成される画像信号群から算出する信号処理部6等の画素値算出手段とを備えた撮像装置において、上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれているか否かを判定する差分偏光度画像計算部55等の異常信号判定手段を有し、上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値(1023)を、該画像信号群に対応する単位画素の画素値とする処理を実行することを特徴とする。
これによれば、撮像画像の画素値を用いて路面及び立体物を判別する処理等の後段情報処理において、当該画素値が異常値であることを把握することができる。その結果、後段の情報処理では、当該画素値が異常値として取り扱うことができるので、異常値を示す画素値をそのまま正常な画素値として処理してしまうことによる誤判定などの処理結果異常を回避することが可能となる。
【0064】
(態様B)
上記態様Aにおいて、上記所定の異常判定条件は、受光量が所定の黒つぶれ閾値以下である場合に対応した画像信号であるという条件及び受光量が所定の飽和閾値以上である場合に対応した画像信号であるという条件の少なくとも一方を含むことを特徴とする。
これによれば、異常値である可能性が高い黒つぶれした画像信号あるいは飽和した画像信号を、適切に異常値として取り扱うことができる。
【0065】
(態様C)
上記態様A又はBにおいて、上記画素値算出手段は、上記異常指示値として、上記所定の演算パラメータを用いて算出され得る画素値の数値範囲(0〜1022)から外れた値であって、該数値範囲の上限値に隣接する値又は該数値範囲の下限値に隣接する値を用いることを特徴とする。
これによれば、正常値と異常値のデータ処理が容易となる。
【0066】
(態様D)
上記態様A〜Cのいずれかの態様において、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする。
これによれば、受光素子アレイから出力される画像信号から特定の偏光成分を抽出することができる。
【0067】
(態様E)
撮像手段が撮像した撮像画像の画素値に基づいて撮像領域内に存在する検出対象物の識別処理を行う物体識別処理手段を有する物体識別装置において、上記撮像手段として、上記態様A〜Dのいずれかの態様に係る撮像装置を用い、上記撮像画像の画素値として上記単位画素の画素値を出力するものであり、上記物体識別処理手段は、上記異常指示値を示す画素値を除外した残りの画素値に基づいて上記識別処理を行うことを特徴とする。
これによれば、異常値を示す画素による識別処理の異常を回避することができる。
【0068】
以上の説明では、光学フィルタ2の選択フィルタ領域を、所定の偏光成分を選択的に透過させる偏光フィルタで構成して、互いに異なる2つの偏光成分から差分偏光度画像を生成する場合について説明したが、光学フィルタ2の選択フィルタ領域を、特定の波長成分を選択的に透過させる分光フィルタで構成して、互いに異なる複数の波長成分から例えば色分解画像を生成する場合でも、本発明を同様に適用できる。
また、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ10のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本発明に係る撮像装置は、本実施形態に限らず、幅広い分野に応用することができる。
【符号の説明】
【0069】
1 撮像レンズ
2 光学フィルタ
2a 透過領域
2b 横偏光フィルタ領域
4 画像センサ
4a フォトダイオード(受光素子)
5 A/D変換部
6 信号処理部
10 偏光カメラ
31 ラインバッファ部
32 SPIフラッシュメモリ
40 パラメータ制御部
41 CPU
50 差分偏光度画像生成部
51 アドレス計算部
52 係数生成部
53 偏光分離処理部
54 差分偏光度計算部
55 差分偏光度画像計算部
【先行技術文献】
【特許文献】
【0070】
【特許文献1】特開2007−086720号公報
【特許文献2】特許3771054号公報
【特許請求の範囲】
【請求項1】
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が2次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、
該撮像手段から出力された画像信号に対応する単位画素の画素値を、所定の演算パラメータを用いて、該単位画素の画像信号と該単位画素周辺に位置する周辺画素の画像信号とから構成される画像信号群から算出する画素値算出手段とを備えた撮像装置において、
上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれているか否かを判定する異常信号判定手段を有し、
上記画素値算出手段は、上記画像信号群を構成する画像信号の中に上記所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値を、該画像信号群に対応する単位画素の画素値とする処理を実行することを特徴とする撮像装置。
【請求項2】
請求項1の撮像装置において、
上記所定の異常判定条件は、受光量が所定の黒つぶれ閾値以下である場合に対応した画像信号であるという条件及び受光量が所定の飽和閾値以上である場合に対応した画像信号であるという条件の少なくとも一方を含むことを特徴とする撮像装置。
【請求項3】
請求項1又は2の撮像装置において、
上記画素値算出手段は、上記異常指示値として、上記所定の演算パラメータを用いて算出され得る画素値の数値範囲から外れた値であって、該数値範囲の上限値に隣接する値又は該数値範囲の下限値に隣接する値を用いることを特徴とする撮像装置。
【請求項4】
請求項1乃至3のいずれか1項に記載の撮像装置において、
上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。
【請求項5】
撮像手段が撮像した撮像画像の画素値に基づいて撮像領域内に存在する検出対象物の識別処理を行う物体識別処理手段を有する物体識別装置において、
上記撮像手段として、請求項1乃至4のいずれか1項に記載の撮像装置を用い、上記撮像画像の画素値として上記単位画素の画素値を出力するものであり、
上記物体識別処理手段は、上記異常指示値を示す画素値を除外した残りの画素値に基づいて上記識別処理を行うことを特徴とする物体識別装置。
【請求項1】
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が2次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、
該撮像手段から出力された画像信号に対応する単位画素の画素値を、所定の演算パラメータを用いて、該単位画素の画像信号と該単位画素周辺に位置する周辺画素の画像信号とから構成される画像信号群から算出する画素値算出手段とを備えた撮像装置において、
上記画像信号群を構成する画像信号の中に所定の異常判定条件を満たす画像信号が含まれているか否かを判定する異常信号判定手段を有し、
上記画素値算出手段は、上記画像信号群を構成する画像信号の中に上記所定の異常判定条件を満たす画像信号が含まれていると上記異常信号判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値を、該画像信号群に対応する単位画素の画素値とする処理を実行することを特徴とする撮像装置。
【請求項2】
請求項1の撮像装置において、
上記所定の異常判定条件は、受光量が所定の黒つぶれ閾値以下である場合に対応した画像信号であるという条件及び受光量が所定の飽和閾値以上である場合に対応した画像信号であるという条件の少なくとも一方を含むことを特徴とする撮像装置。
【請求項3】
請求項1又は2の撮像装置において、
上記画素値算出手段は、上記異常指示値として、上記所定の演算パラメータを用いて算出され得る画素値の数値範囲から外れた値であって、該数値範囲の上限値に隣接する値又は該数値範囲の下限値に隣接する値を用いることを特徴とする撮像装置。
【請求項4】
請求項1乃至3のいずれか1項に記載の撮像装置において、
上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。
【請求項5】
撮像手段が撮像した撮像画像の画素値に基づいて撮像領域内に存在する検出対象物の識別処理を行う物体識別処理手段を有する物体識別装置において、
上記撮像手段として、請求項1乃至4のいずれか1項に記載の撮像装置を用い、上記撮像画像の画素値として上記単位画素の画素値を出力するものであり、
上記物体識別処理手段は、上記異常指示値を示す画素値を除外した残りの画素値に基づいて上記識別処理を行うことを特徴とする物体識別装置。
【図1】
【図2】
【図3】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図4】
【図5】
【図14】
【図15】
【図2】
【図3】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図4】
【図5】
【図14】
【図15】
【公開番号】特開2013−65995(P2013−65995A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2011−202582(P2011−202582)
【出願日】平成23年9月16日(2011.9.16)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願日】平成23年9月16日(2011.9.16)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]