撮像装置
【課題】光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくすることを課題とする。
【解決手段】全単位画素（１pixel）に対応する演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した２つの単位処理領域Ａ，Ｂ，Ｅ，Ｆを構成する単位画素に対応した演算パラメータは予め記憶しておき、これらの単位処理領域の間に位置した特定単位処理領域α，β，γを構成する単位画素についての演算パラメータは、予め記憶せず、当該特定単位処理領域を挟み込む単位処理領域についての演算パラメータを用いた補間処理により生成する。
【解決手段】全単位画素（１pixel）に対応する演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した２つの単位処理領域Ａ，Ｂ，Ｅ，Ｆを構成する単位画素に対応した演算パラメータは予め記憶しておき、これらの単位処理領域の間に位置した特定単位処理領域α，β，γを構成する単位画素についての演算パラメータは、予め記憶せず、当該特定単位処理領域を挟み込む単位処理領域についての演算パラメータを用いた補間処理により生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１種類又は２種類以上の偏光フィルタや色分解フィルタを周期的に配列した光学フィルタを通じて撮像領域からの光を受光素子アレイで受光し、これにより得た画像信号に対して画像処理を行って互いに異なった光学成分をそれぞれ抽出し、抽出した複数種類の光学成分を用いた画像情報を出力する撮像装置に関するものである。
【背景技術】
【０００２】
この種の撮像装置としては、所定の撮像領域をデジタルカメラ等の撮像手段を用いて撮像し、その画像信号から、所望の波長帯域のみを抽出した画像情報や、所望の偏光成分のみを抽出した画像情報などを生成するものが知られている。このような撮像装置は、例えば、光学フィルタを通じて入射する撮像領域からの光を、多数の受光素子を２次元配置された受光素子アレイを用いて受光し、各受光素子で受光した光量に応じて受光素子アレイから出力される画像信号から、撮像領域の画像情報を生成する。特許文献１には、光学フィルタとして、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタが所定の配置パターンに従って配列されたカラーフィルタを用いた撮像装置が記載されている。また、特許文献２には、２種類（縦偏光成分と横偏光成分）の偏光フィルタが周期的に配置された光学フィルタを通じて入射する撮像領域からの光を受光素子アレイで受光する撮像装置が記載されている。このような撮像装置によれば、１回の撮像動作で、互いに異なる複数の光学成分それぞれを抽出した画像情報（例えば、Ｒ、Ｇ、Ｂそれぞれの画像情報や、縦偏光成分及び横偏光成分それぞれの画像情報）を得ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、撮像領域内の物体を識別する物体識別処理に利用することで、単なる輝度情報のみからなる画像情報（モノクロ画像情報）で物体識別処理を行う場合よりも、高い精度での物体識別を可能とする点で有用である。そのため、このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域（撮像領域）を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者（ドライバー）の運転負荷を軽減させる運転者支援システムへ利用されている。また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。
【０００４】
本発明者らは、このような光学成分抽出画像をフレームレート３０ｆｐｓでリアルタイム映像出力することを可能とする撮像装置を開発し、その開発にあたっては、次のような課題に直面した。なお、以下の説明では、縦偏光成分及び横偏光成分それぞれの光学成分抽出画像を得る撮像装置について説明するが、Ｒ、Ｇ、Ｂ等の互いに波長成分が異なる画像情報を得る撮像装置においても同様である。
【０００５】
このような撮像装置を開発するにあたっては、受光素子アレイから出力される画像信号から縦偏光成分及び横偏光成分を抽出して光学成分抽出画像を生成するという画像処理を、フレームレート３０ｆｐｓでのリアルタイム映像出力を可能とする短い時間内で完了することが要求される。現状において、この要求を満たす画像処理を可能とするには、現実的には、所定の画像処理プログラムを汎用ＣＰＵに実行させて当該画像処理を実現するソフトウェア処理ではなく、ＦＰＧＡ（Field Programmable Gate Array）等の専用ハードウェアを用いて当該画像処理を実現するハードウェア処理を採用することが必要となる。
【０００６】
ここで、受光素子アレイから出力される画像信号から光学成分抽出画像を生成する画像処理の一例について説明する。
図２８は、光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係の一例を示す説明図である。
この図において、縦横に並ぶ各正方形がそれぞれ受光素子を示し、受光素子の並び方向に対して斜めに延びるハッチング領域が縦偏光成分をカットする縦偏光フィルタの領域を示し、ハッチング領域以外の領域が横偏光成分をカットする横偏光フィルタの領域を示す。図示の例の光学フィルタは、縦偏光フィルタの帯及び横偏光フィルタの帯が交互に配置され、その帯の長手方向が受光素子の並び方向に対して斜めになるように、縦偏光フィルタの帯及び横偏光フィルタが配置されたものである。
【０００７】
受光素子アレイ上の１つの受光素子に対応する注目画素（図中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈは、例えば、当該注目画素５の受光量に対応した画像信号値Ｉ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の受光量に対応した画像信号値Ｉ１〜Ｉ４，Ｉ６〜Ｉ９も用いて、下記の数１に示す式より求められる。なお、下記の数１に示す式において、画像信号値Ｉ１〜Ｉ９から注目画素５の縦偏光成分Ｖと横偏光成分Ｈを算出するためのＡ１〜Ａ１８の要素をもつ係数行列（演算パラメータ）を、以下、疑似逆行列パラメータと称する。
【数１】
【０００８】
この疑似逆行列パラメータは、以下のようにして予め求めておくことができる。
まず、図２８に示した光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Ｖで１００％縦偏光のサンプル光を照射し、そのときに各受光素子（その受光素子の画素番号をｉとする。）で受光する受光量に応じたサンプル縦偏光強度ａｖｉを取得する。また、同様に、光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Ｈで１００％横偏光のサンプル光を照射し、そのときに各受光素子で受光する受光量に応じたサンプル横偏光強度ａｈｉを取得する。このようにして得られる各受光素子のサンプル縦偏光強度ａｖｉ及びサンプル横偏光強度ａｈｉは、それぞれ、その受光素子で受光される縦偏光成分及び横偏光成分の感度に比例していると考えることができる。よって、光学フィルタを透過して各受光素子ｉで受光する光の強度をＩｉとすると、Ｉｉ＝ａｖｉ×Ｖ＋ａｈｉ×Ｈが成り立つ。そして、注目画素５を中心とした３×３画素の合計９つの画素１〜９に対して入射する光が同じであると仮定し、これらの画素１〜９について下記の数２に示す行列式を得る。この行列式において、ａｖ１〜９及びａｈ１〜９を要素とした感度行列パラメータについての逆行列を求める。この逆行列が上述した疑似逆行列パラメータとなる。ただし、ハードウェア処理に最適化するために、このようにして求まる疑似逆行列パラメータを多少変形してもよい。
【数２】
【０００９】
なお、ここでは、縦偏光フィルタと横偏光フィルタとが交互に配置された光学フィルタを例に挙げたが、縦偏光フィルタとフィルタ無し（光をそのまま透過させる領域）とが交互に配置された光学フィルタや、横偏光フィルタとフィルタ無しとが交互に配置された光学フィルタであっても、上述した手順と同様の方法で、疑似逆行列パラメータを求めることができる。ただし、このような光学フィルタを用いる場合、実際の撮像時には、受光素子アレイが横偏光成分及び縦偏光成分のいずれか一方を受光しない。そのため、偏光フィルタを通過して受光される偏光成分の画像信号値とフィルタ無しを通過して受光される非偏光の画像信号値とを用いて、受光しない偏光成分を求める必要がある。この場合、例えば、非偏光の受光量が縦偏光成分の受光量と横偏光成分の受光量との合算値に近似することを利用して、疑似逆行列パラメータを生成すればよい。
【００１０】
このようにして生成される疑似逆行列パラメータは、従来、受光素子１つ１つについて個別に設定されていた。この場合、その疑似逆行列パラメータを記憶するのに要する全記憶容量は、例えば、受光素子アレイの画素数（受光素子数）が４８０×７５２であり、１つの疑似逆行列パラメータの要素数が１８個であり、その１要素あたりのデータ量が４バイトであると、約２６Ｍバイトとなる。上記数１に示した式より、各受光素子の縦偏光成分Ｖと横偏光成分Ｈを、その周辺画素を含む３×３画素の画像信号値Ｉ１〜Ｉ９も用いて上記数１に示した式より求める画像処理をハードウェア処理にて行う場合、予めＳＰＩフラッシュメモリなどのＲＯＭに擬似逆行列パラメータを格納しておく方法が考えられる。この方法によれば、予め擬似逆行列パラメータが算出済みであるので、撮像装置が起動するたびに擬似逆行列パラメータを算出する必要がなく、撮像装置の起動時間を短縮化できる。
【００１１】
しかしながら、この方法では、擬似逆行列パラメータを格納しておくＲＯＭとして、２６Ｍバイト以上の大容量メモリが必要となり、コストの面や消費電力の面で不利となるという問題が生じる。特に、ＦＰＧＡ等のプログラマブルな専用ハードウェアに上記数１に示した式に基づく画像処理を実行させる場合、一般には、撮像装置の起動時等に、擬似逆行列パラメータだけでなく、回路データ（例えば１．４Ｍバイト程度）やその他の初期データも専用ハードウェア内のＲＡＭにロードする必要がある。この場合、擬似逆行列パラメータを記憶するＲＯＭには回路データや初期データも記憶する必要が出てくるので、当該ＲＯＭに必要な容量は更に増大する。したがって、コストの面や消費電力の面から擬似逆行列パラメータを記憶するＲＯＭの低容量化を図るために、擬似逆行列パラメータの記憶容量を削減することが強く望まれる。
【００１２】
なお、擬似逆行列パラメータをＲＯＭに記憶するのではなく、例えば、疑似逆行列パラメータを求めるために取得した各受光素子ｉのサンプル縦偏光強度ａｖｉとサンプル横偏光強度ａｈｉとをＲＯＭに記憶しておき、撮像装置内において各受光素子ｉの擬似逆行列パラメータを算出するという方法も考えられる。この方法の場合、ＲＯＭに記憶するサンプル縦偏光強度ａｖｉとサンプル横偏光強度ａｈｉの全記憶容量は、受光素子アレイの画素数（受光素子数）が４８０×７５２であり、１画素あたりのデータ量が４バイトであると、約２．９Ｍバイト程度となり、擬似逆行列パラメータの全容量（約２６Ｍバイト）よりも大幅に少なくできる。しかしながら、この方法では、すべての受光素子についての擬似逆行列パラメータを撮像装置内で演算する必要がある。このような逆行列演算は、特殊な演算処理が必要となり、その演算処理を行うための専用装置を設けるのにコストがかかる上、演算処理の負荷が大きく、かえって消費電力の面で不利となるおそれがある。
【００１３】
そこで、本発明者は、特願２０１１−１３２０号（以下「先願」という。）において、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくして、その演算パラメータを格納するメモリの低容量化を実現できる撮像装置を提案した。この撮像装置は、光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい１種類又は２種類以上の共通単位画素が周期的に存在するように構成されている。そして、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成される２以上の単位処理領域に区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて画像処理を実行する。
【００１４】
上記先願で例示されている先願発明の一実施形態を、図２８に示した光学フィルタの例で具体的で説明する。
図２８に示すように、この光学フィルタの場合、２種類のフィルタ領域（縦偏光フィルタと横偏光フィルタ）を透過した各光の１画素内における受光面積の比率が互いに等しい４種類の共通単位画素が周期的に存在する。詳しくは、第１共通単位画素は、図２８に示す画素番号１の画素のように、当該画素の右上隅の小領域で縦偏光フィルタを透過した横偏光成分を受光するとともに、残りの大領域で横偏光フィルタを透過した縦偏光成分を受光するパターンの画素である。第２共通単位画素は、図２８に示す画素番号２の画素のように、当該画素の左下隅の小領域で横偏光フィルタを透過した縦偏光成分を受光するとともに、残りの大領域で縦偏光フィルタを透過した横偏光成分を受光するパターンの画素である。第３共通単位画素は、図２８に示す画素番号３の画素のように、当該画素の右上隅の小領域で横偏光フィルタを透過した縦偏光成分を受光するとともに、残りの大領域で縦偏光フィルタを透過した横偏光成分を受光するパターンの画素である。第４共通単位画素は、図２８に示す画素番号５の画素のように、当該画素の左下隅の小領域で縦偏光フィルタを透過した横偏光成分を受光するとともに、残りの大領域で横偏光フィルタを透過した縦偏光成分を受光するパターンの画素である。
【００１５】
上記先願発明の実施形態でも、画素データと疑似逆行列パラメータとを用いて、注目画素（図２８中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈを、上記数１に示す式より算出する。すなわち、注目画素５の縦偏光成分Ｖと横偏光成分Ｈは、当該注目画素５の画素データＩ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の画素データＩ１〜Ｉ４，Ｉ６〜Ｉ９も用い、疑似逆行列パラメータを使用して算出する。
【００１６】
ここで、上記先願発明の実施形態では、受光素子アレイの有効画素（４８０×７５２）について、図２９に示すように、縦を３０等分し、横を４７等分して、１６×１６画素で構成される１４１０個の単位処理領域に区分し、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを上記数１に示す式より算出する。このように区分すると、各単位処理領域には、上述した４種類の共通単位画素それぞれについて、同一種類の共通単位画素が２つ以上存在する。
【００１７】
図３０は、一の単位処理領域における４種類の共通単位画素の分布を示す説明図である。
図３１（ａ）〜（ｄ）は、４種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる３×３画素内における４種類の共通単位画素の分布を示す説明図である。
４種類の共通単位画素について、第１共通単位画素を丸付き数字１で示し、第２共通単位画素を丸付き数字２で示し、第３共通単位画素を丸付き数字３で示し、第４共通単位画素を丸付き数字４で示すと、図２８に示した光学フィルタの場合、各単位処理領域内の共通単位画素分布は、図３０に示すようになる。このような分布においては、第１共通単位画素を注目画素とした画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、当該単位処理領域内のどの第１共通単位画素についても、図３１（ａ）のようになる。すなわち、第１共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布は一意に決まる。同様に、第２共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布も、図３１（ｂ）に示すように、一意に決まる。また、第３共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布も、図３１（ｃ）に示すように、一意に決まる。また、第４共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布も、図３１（ｄ）に示すように、一意に決まる。
【００１８】
上記先願で説明されているように、受光面積比率が同じである同一種類の共通単位画素については、受光素子アレイ上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータが互いに近似する。よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。そこで、上記先願発明の実施形態では、画像センサ４上における４８０×７５２の有効画素を、互いに隣接する１６×１６画素で構成された１４１０個の単位処理領域に区分することとしている。この区分数は、許容する演算誤差に応じて適宜設定されるものである。すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。
【００１９】
この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数（データ量）は増えることになる。具体例を挙げると、上記先願発明の実施形態の場合、１つの疑似逆行列パラメータの要素数が１８個で、その１要素あたりのデータ量が４バイトであるので、疑似逆行列パラメータ１個あたりのデータ量は７２バイトである。本実施形態のように１４１０個の単位処理領域に区分する場合、各単位処理領域それぞれで４つの疑似逆行列パラメータを使い回すことになるので、全体で４×１４１０＝５６４０個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は４０６０８０バイト（約０．４Ｍバイト）となる。これに対し、１つの単位処理領域が８×８画素で構成されるように区分すると、その区分数は５６４０個となり、全体で４×５６４０＝２２５６０個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は１６２４３２０バイト（約１．６Ｍバイト）となる。
【００２０】
上記先願で説明されているように、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らすことが可能であり、この場合、疑似逆行列パラメータの全データ量は、更に１０１５２０バイト（約０．１Ｍバイト）にまで低減することが可能である。しかしながら、上記先願発明によれば疑似逆行列パラメータ（演算パラメータ）を大幅に削減できるものの、いまだ演算パラメータのデータ削減量としては不十分な場合であり、更なるデータ量の削減が求められている。
【００２１】
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、上記先願発明とは異なる方法でかつ上記先願発明と併用可能な方法で、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくし、その演算パラメータを格納するメモリの低容量化を実現することができる撮像装置を提供することである。
【課題を解決するための手段】
【００２２】
上記目的を達成するために、本発明は、互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタを通じて、又は、１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が２次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、該撮像手段から出力された画像信号から、該画像信号に対応する単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を算出する画像処理を実行する画像処理手段と、全単位画素に対応する演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した少なくとも２つの単位処理領域を構成する単位画素に対応した演算パラメータを記憶し、演算パラメータが記憶されている単位画素で構成された単位処理領域の間に位置した特定単位処理領域を構成する単位画素についての演算パラメータは記憶しないパラメータ記憶手段とを備え、上記画像処理手段は、上記特定単位処理領域を構成する単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータを、該特定単位処理領域を挟み込む単位処理領域を構成する単位画素についての演算パラメータを用いた補間処理により生成し、生成した演算パラメータを用いて該特定単位処理領域を構成する単位画素についての光学成分を算出することを特徴とするものである。
【００２３】
本発明においては、各単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータの一部を、予めパラメータ記憶手段に記憶するのではなく、画像処理の際に補間処理によって生成する。よって、生成する分の演算パラメータはパラメータ記憶手段に記憶しておく必要がない。したがって、パラメータ記憶手段に記憶しておく演算パラメータの数は、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その補間処理による生成分だけ少なくできる。
しかも、演算パラメータが記憶される単位処理領域を、上記先願発明のように同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成される単位処理領域とすれば、当該単位処理領域内では同一種類の共通単位画素について同一の演算パラメータを用いることが可能である。したがって、この場合には、上記先願発明による演算パラメータのデータ削減量と、本発明によるデータ削減量との相乗効果により、大幅なデータ削減量を実現することができる。
【発明の効果】
【００２４】
以上、本発明によれば、上記先願発明とは異なる方法でかつ上記先願発明と併用可能な方法で、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくし、その演算パラメータを格納するメモリの低容量化を実現することができるという優れた効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
【図３】路面及び立体物を判別するための処理の流れを示すフローチャートである。
【図４】高速道路を走行している車両に搭載した偏光カメラにより撮像して得た差分偏光度画像を示したものである。
【図５】同差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
【図６】立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
【図７】同運転者支援システムに利用可能な偏光カメラの概略構成を示す説明図である。
【図８】同偏光カメラの光学フィルタと画像センサとを示す断面拡大図である。
【図９】同光学フィルタの偏光フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１０】同画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
【図１１】すべての画素について予め個別に用意しておいた疑似逆行列パラメータ（疑似逆行列パラメータの全データ量＝約２６Ｍバイト）を用いて得た差分偏光度画像の一例を示すものである。
【図１２】同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像（疑似逆行列パラメータの全データ量＝約０．０２５Ｍバイト））の一例を示すものである。
【図１３】変形例１に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１４】変形例１における一の単位処理領域に存在する６種類の共通単位画素の分布を示す説明図である。
【図１５】変形例２に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１６】変形例２における一の単位処理領域に存在する１２種類の共通単位画素の分布を示す説明図である。
【図１７】実施例に係る偏光カメラの概略構成を示すブロック図である。
【図１８】同偏光カメラに設けられた差分偏光度画像生成部の内部構成を示すブロック図である。
【図１９】同差分偏光度画像生成部に設けられたＢＲＡＭアドレス計算部の出力タイミングチャートである。
【図２０】同差分偏光度画像生成部に設けられた係数生成部の内部構成図である。
【図２１】実施例における単位処理領域の区分を示す説明図である。
【図２２】擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用ＢＲＡＭのアドレスマップである。
【図２３】同差分偏光度画像生成部に設けられた偏光分離処理部の内部構成図である。
【図２４】同差分偏光度画像生成部に設けられた差分偏光度計算部の内部構成図である。
【図２５】同差分偏光度画像生成部に設けられた差分偏光度画像計算部の内部構成図である。
【図２６】擬似逆行列パラメータが格納されたＳＰＩフラッシュメモリのアドレスマップである。
【図２７】同ＳＰＩフラッシュメモリのセクター２４に格納される疑似逆行列パラメータのアドレスマップである。
【図２８】光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
【図２９】同画像センサ上の受光素子を単位処理領域ごとに区分する方法を説明するための説明図である。
【図３０】一の単位処理領域における４種類の共通単位画素の分布を示す説明図である。
【図３１】（ａ）は、第１共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｂ）は、第２共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｃ）は、第３共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｄ）は、第４共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。
【発明を実施するための形態】
【００２６】
以下、本発明に係る撮像装置を、自車の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
まず、本運転者支援システムにおける概略構成及び動作概要を説明する。
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図２は、本実施形態の運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
図示しない車両に搭載された撮像装置としての偏光カメラ１０により、車両が走行する路面（移動面）を含む自車周囲の風景を撮影する（Ｓ１）。これにより、偏光カメラ１０の受光素子１つに対応した単位画素（以下、単に「画素」という。）ごとの縦偏光強度及び横偏光強度を得る（Ｓ２）。本実施形態では、このようにして得られる各画素の縦偏光強度及び横偏光強度から、単位画素ごとに、差分偏光度を算出する（Ｓ３）。この差分偏光度から、各画素の差分偏光度を画素値とした差分偏光度画像を生成することができる。なお、ここで、「縦偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの縦列（鉛直方向の列）に平行な偏光方向をもった偏光の光強度を意味し、「横偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの横列（水平方向の列）に平行な偏光方向をもった偏光の光強度を意味する。
【００２７】
差分偏光度は、下記の式（３）に示す計算式から求められる。すなわち、差分偏光度は、横偏光強度と縦偏光強度との合計値（輝度合計値）に対する横偏光強度と縦偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（横差分偏光度）と、輝度合計値に対するＳ偏向強度の比率（縦差分偏光度）との差分値であると言い換えることもできる。なお、本実施形態では、横偏光強度から縦偏光強度を差し引く場合について説明するが、縦偏光強度から横偏光強度を差し引くようにしてもよい。
差分偏光度＝（横偏光強度−縦偏光強度）／（横偏光強度＋縦偏光強度） ・・（３）
【００２８】
本実施形態では、偏光カメラ１０から差分偏光度画像のデータが出力され、この差分偏光度画像のデータが路面・立体物判別部２１に入力される。路面・立体物判別部２１は、偏光カメラ１０から出力された差分偏光度画像について、路面を映し出した画像領域と立体物を映し出した画像領域とを判別する（Ｓ４）。
図３は、路面及び立体物を判別するための処理の流れを示すフローチャートである。
路面・立体物判別部２１は、偏光カメラ１０から差分偏光度画像のデータを受け取ったら、まず、差分偏光度画像を２値化するための閾値を設定し（Ｓ４１）、その閾値を用いて差分偏光度画像を２値化する（Ｓ４２）。具体的には、所定の閾値以上の差分偏光度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。その後、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの画像領域として認識するラベリング処理を実施する（Ｓ４３）。これによって、差分偏光度の高い近接した複数の画素の集合が１つの高差分偏光度領域として抽出される。このようにして抽出した各高差分偏光度領域を、図示しない路面特徴データ記憶手段としての記憶部内に記憶されている路面の特徴データと照らし合わせ、路面の特徴データに合致した高差分偏光度領域を路面領域として抽出する（Ｓ４４）。そして、このようにして抽出した路面領域の形状を、路面形状パターンと照らし合わせて推定し（Ｓ４５）、路面領域の両端すなわち路端ラインを特定する。その後、抽出した路面領域以外の残りの画像領域を、立体物を映し出した立体物領域として抽出する（Ｓ４６）。
【００２９】
図４は、高速道路を走行している車両に搭載した偏光カメラ１０により撮像して得た差分偏光度画像を示したものである。
図５は、この差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
図５に示す画像中の黒塗り部分の画像領域が路面領域として抽出された箇所である。また、図５に示す画像中の点線で示すラインが路端ラインである。
【００３０】
車両候補領域決定部２２は、車両の窓ガラスからの光が有する差分偏光度の特徴を利用して、上記Ｓ４６において立体物領域であると判定された領域の中から、車両候補領域を決定する（Ｓ５）。
図６は、立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
車両候補領域決定部２２は、路面・立体物判別部２１において判定された各立体物領域に対して、その差分偏光度が所定の閾値以上であるか否か（所定の数値範囲内であるか否か）を判断し、差分偏光度が所定の閾値以上である立体物領域を検知する（Ｓ５１）。次に、このようにして検知した立体物領域の面積が、車両の窓ガラスに対応する面積範囲内であるか否かをチェックする（Ｓ５２）。そして、このチェックを通った立体物領域に対し、車両の窓ガラスに対応する形状を有するかどうかをチェックして、このチェックも通った立体物領域を、車両後方領域として決定する（Ｓ５３）。
【００３１】
車両識別部２３は、車両特徴量パターン記憶部２４に記憶された車両特徴量パターンによるバターンマッチング手法により、上記車両候補領域決定部２２が決定した車両候補領域が車両領域であるか否かを識別する。このバターンマッチング手法は、公知のものを広く利用できる。
【００３２】
本実施形態では、例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）２５に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ輝度画像（フロントビュー画像）を表示し、その画像中の他車を映し出している領域を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する。これによれば、例えば、運転者が目視で他車を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と他車との相対位置関係を把握することができ、他車に衝突することなく安全に走行することが容易になる。
【００３３】
また、本実施形態の車両制御部２６は、例えば、車両識別部２３により識別された車両領域の位置情報から、自車と他車との相対位置関係を把握する処理を行い、自車が他車に近づいて走行していないかどうかを判断し、他車に近づいたときに警報音等を発する処理を行う。あるいは、他車に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理を行ってもよい。
【００３４】
以下、本発明の特徴部分である偏光カメラ１０の構成及び動作について詳述する。
図７は、本実施形態における偏光カメラ１０の概略構成を示す説明図である。
この偏光カメラ１０は、主に、撮像レンズ１と、光学フィルタ２と、受光素子が２次元配置された受光素子アレイを有する画像センサ４が搭載されたセンサ基板３と、センサ基板３から出力されるアナログ電気信号（画像センサ４上の各受光素子が受光した受光量）をデジタル電気信号に変換するＡ／Ｄ変換部５と、Ａ／Ｄ変換部５から出力されるデジタル電気信号（画素データ）に対して画像処理を行って差分偏光度画像のデータを生成して出力する信号処理部６とから構成されている。被写体（被検物）を含む撮像領域からの光は、撮像レンズ１を通り、光学フィルタ２を透過して、画像センサ４でその光強度に応じた電気信号に変換される。Ａ／Ｄ変換部５では、画像センサ４から出力される電気信号（アナログ信号）が入力されると、その電気信号から、画素データとして、画像センサ４上における各画素の受光量を示すデジタル信号を、画像の垂直同期信号及び水平同期信号とともに信号処理部６へ出力する。
【００３５】
図８は、光学フィルタ２と画像センサ４とを示す断面拡大図である。
画像センサ４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード４ａを用いている。フォトダイオード４ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード４ａの集光効率を上げるために、各フォトダイオード４ａの入射側にはマイクロレンズ４ｂが設けられている。この画像センサ４がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板３が形成されている。撮像する画像の波長範囲は略可視光であるため、画像センサ４としては、可視光の範囲に感度を有するものを選択すればよい。本実施形態の画像センサ４は、互いに直交する縦方向及び横方向に等間隔で配列された４８０×７５２の受光素子（フォトダイオード４ａ）を有効画素とする構成であり、１個のフォトダイオード４ａを単位画素とする。
【００３６】
画像センサ４のマイクロレンズ４ｂ側の面には、光学フィルタ２が近接配置されている。光学フィルタ２の画像センサ４側の面には、図９に示すように、光をそのまま透過する非選択フィルタ領域である透過領域２ａと、横偏光成分のみを選択的に透過させる選択フィルタ領域としての横偏光フィルタ領域２ｂとが、画像センサ４の縦方向（図中ｙ方向）及び横方向（図中ｘ方向）のいずれにも傾斜するように交互配置されたストライプ状の領域分割パターンを有している。具体的には、画像センサ４の縦方向における画素間隔（フォトダイオード４ａの中心間距離）をｎとし、横方向における画素間隔をｍとしたとき、透過領域２ａ及び横偏光フィルタ領域２ｂの縦方向長さＮが下記の式（１）を満たし、透過領域２ａ及び横偏光フィルタ領域２ｂの横方向長さＭが下記の式（２）を満たすように、光学フィルタ２が構成されている。本実施形態の光学フィルタ２は、図９に示すように、Ａ＝１、Ｂ＝２の例（すなわち、Ｂ／Ａ＝２の例）である。
Ｎ ＝ Ａ × ｎ ・・・（１）
Ｍ ＝ Ｂ × ｍ ・・・（２）
【００３７】
本実施形態においては、図９に示すように、光学フィルタ２に備わった２種類のフィルタ領域（透過領域２ａと横偏光フィルタ領域２ｂ）を透過した各光の１画素内における受光面積の比率が互いに等しい４種類の共通単位画素が周期的に存在するように構成される。
具体的に説明すると、第１共通単位画素は、図９に示す画素番号１の画素のように、当該画素の右上隅の小領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するとともに、残りの大領域で透過領域２ａを透過した非偏光の光を受光するパターンの画素である。
第２共通単位画素は、図９に示す画素番号２の画素のように、当該画素の左下隅の小領域で透過領域２ａを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するパターンの画素である。
第３共通単位画素は、図９に示す画素番号３の画素のように、当該画素の右上隅の小領域で透過領域２ａを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するパターンの画素である。
第４共通単位画素は、図９に示す画素番号５の画素のように、当該画素の左下隅の小領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するとともに、残りの大領域で透過領域２ａを透過した非偏光の光を受光するパターンの画素である。
【００３８】
本実施形態の偏光カメラ１０の信号処理部６では、Ａ／Ｄ変換部５から出力される画素データと疑似逆行列パラメータとを用いて、注目画素（図９中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈを、下記の数３に示す式より算出する。すなわち、本実施形態では、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを、当該注目画素５の画素データＩ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の画素データＩ１〜Ｉ４，Ｉ６〜Ｉ９も用いて算出する。この算出に必要な疑似逆行列パラメータは、予め求めておいて後述するパラメータ記憶手段としてのＳＰＩフラッシュメモリに格納されているものを用いる。
【数３】
【００３９】
本実施形態の信号処理部６が実行する画像処理においては、画像センサ４の有効画素（４８０×７５２）について、図２９に示したものと同様に、縦を３０等分し、横を４７等分して、１６×１６画素で構成される１４１０個の単位処理領域に区分して、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを上記数３に示す式より算出する演算処理を行う。このように区分すると、各単位処理領域には、上述した４種類の共通単位画素それぞれについて、同一種類の共通単位画素が２つ以上存在する。
【００４０】
一の単位処理領域における４種類の共通単位画素の分布は、図３０に示したものと同様である。
また、４種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、図３１（ａ）〜（ｄ）に示したものと同様である。
４種類の共通単位画素について、第１共通単位画素を丸付き数字１で示し、第２共通単位画素を丸付き数字２で示し、第３共通単位画素を丸付き数字３で示し、第４共通単位画素を丸付き数字４で示すと、図９に示すように構成された光学フィルタ２の場合、各単位処理領域内の共通単位画素分布は、図３０に示すようになる。このような分布においては、上述したように、第１共通単位画素を注目画素とした画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、当該単位処理領域内のどの第１共通単位画素についても、図３１（ａ）のようになる。すなわち、第１共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布は一意に決まる。第２共通単位画素、第３共通単位画素、第４共通単位画素についても、同様に、一意に決まる。
【００４１】
上述したとおり、受光面積比率が同じである同一種類の共通単位画素については、画像センサ４上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータ（演算パラメータ）が互いに近似する。特に、受光面積比率だけでなく、透過領域２ａ及び横偏光フィルタ領域２ｂを透過した各光の画素内における受光位置までも同じであるものを同一種類の共通単位画素とすれば、疑似逆行列パラメータの近似性はより高まる。よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。
【００４２】
そこで、本実施形態においては、画像センサ４上における４８０×７５２の有効画素を、互いに隣接する１６×１６画素で構成された１４１０個の単位処理領域に区分することとしている。この区分数は、許容する演算誤差に応じて適宜設定されるものである。すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。
【００４３】
この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数（データ量）は増えることになる。
具体例を挙げると、本実施形態の場合、１つの疑似逆行列パラメータの要素数が１８個で、その１要素あたりのデータ量が４バイトであるので、疑似逆行列パラメータ１個あたりのデータ量は７２バイトである。本実施形態のように１４１０個の単位処理領域に区分する場合、各単位処理領域それぞれで４つの疑似逆行列パラメータを使い回すことになるので、全体で４×１４１０＝５６４０個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は４０６０８０バイト（約０．４Ｍバイト）となる。これに対し、１つの単位処理領域が８×８画素で構成されるように区分すると、その区分数は５６４０個となり、全体で４×５６４０＝２２５６０個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は１６２４３２０バイト（約１．６Ｍバイト）となる。
なお、逆に、演算誤差に余裕がある場合には、区分数を減らして、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の数を増やし、疑似逆行列パラメータの数（データ量）を更に減らすようにしてもよい。
【００４４】
本実施形態においては、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らしてもよい。この場合、疑似逆行列パラメータの全データ量は、更に１０１５２０バイト（約０．１Ｍバイト）にまで低減することができる。
特に、本実施形態においては、各単位処理領域で使い回す４種類の擬似逆行列パラメータは、その単位処理領域を構成する１６×１６画素のすべてについて求めた擬似逆行列パラメータの和をとり、その絶対値が一番大きい要素の絶対値が１２７となるように規格化してもよい。この規格化すると、疑似逆行列パラメータの１要素あたりのデータ量が１バイトとなるが、このようにデータ量を減らしても、計算精度の良好な差分偏光度が算出できる。
【００４５】
また、本実施形態においては、疑似逆行列パラメータの全データ量を更に低減するために、ＳＰＩフラッシュメモリには、上述した１４１０個の単位処理領域のうち一部の単位処理領域については擬似逆行列パラメータを記憶しない。そして、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域（特定単位処理領域）については、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域の擬似逆行列パラメータを用いて補間処理を行い、この補間処理によって生成された算出擬似逆行列パラメータを用いて画像処理を行う。
【００４６】
図１０は、画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
本実施形態では、図１０の太線で区画したように、１４１０個の単位処理領域を２×２の４領域で１ユニットとなるように分割する。そして、１ユニットにつき１領域の割合で、擬似逆行列パラメータをＳＰＩフラッシュメモリに記憶する。これにより、擬似逆行列パラメータがＳＰＩフラッシュメモリに記憶されない単位処理領域については、擬似逆行列パラメータがＳＰＩフラッシュメモリに記憶されている少なくとも２つの単位処理領域の間に位置することになる。
【００４７】
ここで、本発明者が鋭意研究したところ、画像センサ４上で近接している単位処理領域同士は、各領域で用いる疑似逆行列パラメータ（演算パラメータ）がその並び方向に沿って一定の関係（線形に近い関係）にあるという知見を得た。よって、この関係を利用することで、互いに離間した２つの単位処理領域の間に位置する単位処理領域（特定単位処理領域）の疑似逆行列パラメータは、当該２つの単位処理領域の疑似逆行列パラメータから高精度に生成することが可能である。そして、このように生成される疑似逆行列パラメータを用いて、当該特定単位処理領域についての演算誤差は許容範囲内に収めることができる。
【００４８】
そこで、本実施形態においては、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域については、ＳＰＩフラッシュメモリ内の擬似逆行列パラメータを用いて縦偏光成分Ｖと横偏光成分Ｈを算出する一方、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域については、補間処理により生成した擬似逆行列パラメータを用いて縦偏光成分Ｖと横偏光成分Ｈを算出する。
【００４９】
具体的には、図１０に示すように、単位処理領域Ａについては当該領域Ａに対応する擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出して利用する。一方、単位処理領域Ａと単位処理領域Ｂとの間に位置する単位処理領域αについては、信号処理部６において、これらの領域Ａ，Ｂの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域αの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。また、単位処理領域Ａと単位処理領域Ｅとの間に位置する単位処理領域βについては、信号処理部６において、これらの領域Ａ，Ｅの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域βの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。また、単位処理領域Ａと単位処理領域Ｆとの間あるいは単位処理領域Ｂと単位処理領域Ｅとの間に位置する単位処理領域γについては、信号処理部６において、これらの領域Ａ，Ｆあるいは領域Ｂ，Ｅの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域γの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。
【００５０】
補間処理の方法は、互いに離間した２つの単位処理領域の疑似逆行列パラメータとこれらの間に位置する特定単位処理領域の本来の疑似逆行列パラメータとの間における一定の関係に応じて適宜選択されるが、本実施形態では線形補間処理が好ましい。線形補間処理をＦＰＧＡ等を用いてハードウェア処理する場合、ビットシフトだけで済むように工夫するのが好ましい。そのため、本実施形態では、上述したように２×２の４領域につき１領域の割合で疑似逆行列パラメータをＳＰＩフラッシュメモリに記憶するようにしているが、１６領域につき１領域、６４領域につき１領域の割合とすることも可能である。ただし、補間処理の精度上、本実施形態のように２×２の４領域につき１領域の割合で疑似逆行列パラメータをＳＰＩフラッシュメモリに記憶するのが好ましい。
【００５１】
すべての画素について個別に疑似逆行列パラメータを用意する場合には、全疑似逆行列パラメータのデータ量が約２６Ｍバイトにもなり、疑似逆行列パラメータを格納しておくメモリとして、２６Ｍバイト以上の大容量メモリが必要であったところ、本実施形態によれば、同じ疑似逆行列パラメータを使い回すことで全疑似逆行列パラメータのデータ量を約０．４Ｍバイトにまで低減できるとともに、更に、補間処理を用いることでそのデータ量を１／４に低減できる。したがって、本実施形態によれば、全疑似逆行列パラメータのデータ量を約０．１Ｍバイトにまで低減できる。
【００５２】
特に、上述したように、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らした場合、同じ疑似逆行列パラメータを使い回すとともに、上述した補間処理を用いることで、全疑似逆行列パラメータのデータ量を約０．０２５Ｍバイトにまで低減することが可能である。すなわち、疑似逆行列パラメータのデータ量として約２６Ｍ倍バイトという大きなデータ量が必要であった場合と比較して、疑似逆行列パラメータのデータ量を０．１％にまで圧縮することが可能となる。
【００５３】
図１１は、すべての画素について予め個別に用意しておいた疑似逆行列パラメータ（疑似逆行列パラメータの全データ量＝約２６Ｍバイト）を用いて得た差分偏光度画像の一例を示すものである。
図１２は、本実施形態のように同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像（疑似逆行列パラメータの全データ量＝約０．０２５Ｍバイト））の一例を示すものである。
これらの図において、差分偏光度は画像中の各画素の輝度によって表現されている。これらの図を比較してわかるように、両者の間には輝度の違いがほとんど見受けられず、差分偏光度の違いはほとんどない。したがって、疑似逆行列パラメータの全データ量を０．１％にまで圧縮しても、高い精度の差分偏光度画像を得ることができる。
【００５４】
なお、本実施形態では、光学フィルタ２の各フィルタ領域２ａ，２ｂの配列パターン（領域分割パターン）が、縦に４８０画素、横に７５２画素の有効画素で構成される画像センサ４に対し、横に２画素分、縦に１画素分の傾きを有するストライプ状のパターンである例について説明したが、横に１画素分、縦に２画素分の傾きを有するストライプ状のパターンであっても同じである。この傾きは、適宜設定され、例えば傾きを１に設定してもよい。
【００５５】
〔変形例１〕
図１３は、各フィルタ領域２ａ，２ｂの傾きが１／３となるように構成された変形例１に係る光学フィルタ２と画像センサ４の画素との対応関係を示す説明図である。
図１４は、本変形例１における一の単位処理領域に存在する６種類の共通単位画素の分布を示す説明図である。
本変形例１の光学フィルタのように各フィルタ領域２ａ，２ｂの傾きが１／３となるように構成されている場合、全体で６種類の共通単位画素が存在することになり、その分布は図１４に示すものを繰り返したものとなる。本変形例１では、共通単位画素の種類が６種類であることを考慮して、一の単位処理領域を６×６画素で構成した。この場合、その区分数はおよそ１００８０個となるので、全体で６×１００８０＝６０４８０個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ１個あたりのデータ量を１８バイトであるとすると、疑似逆行列パラメータの全データ量は１０８８６４０バイト（約１．１Ｍバイト）となる。
【００５６】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に１／４に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約０．２７Ｍバイトにまで低減することができる。
なお、傾きが３である場合も同様である。
【００５７】
〔変形例２〕
図１５は、各フィルタ領域２ａ，２ｂの傾きが２／３となるように構成された変形例２に係る光学フィルタ２と画像センサ４の画素との対応関係を示す説明図である。
図１６は、本変形例２における一の単位処理領域に存在する１２種類の共通単位画素の分布を示す説明図である。
本変形例２の光学フィルタのように各フィルタ領域２ａ，２ｂの傾きが２／３となるように構成されている場合、全体で１２種類の共通単位画素が存在することになる。本変形例２では、共通単位画素の種類が１２種類であることを考慮して、一の単位処理領域を８×８画素で構成した。この場合、その区分数は５６４０個となるので、全体で１２×５６４０＝６７６８０個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ１個あたりのデータ量を１８バイトであるとすると、疑似逆行列パラメータの全データ量は１２１８２４０バイト（約１．２Ｍバイト）となる。
【００５８】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に１／４に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約０．３Ｍバイトにまで低減することができる。
【００５９】
本実施形態（各変形例を含む。以下同じ。）においては、光学フィルタ２に備わった複数種類のフィルタ領域が、光をそのまま透過する透過領域２ａと横偏光成分のみを選択的に透過させる横偏光フィルタ領域２ｂとである場合であったが、これに限られるものではない。例えば、光をそのまま透過する透過領域と縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域とである場合や、縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域と横偏光成分のみを選択的に透過させる横偏光フィルタ領域とである場合でも、同様の演算精度で差分偏光度画像を得ることができる。
また、本実施形態においては、光学フィルタ２に備わった複数種類のフィルタ領域が画像センサ４の縦方向及び横方向のいずれにも傾斜するように構成されたものであったが、画像センサ４の縦方向及び横方向のいずれか一方に平行である構成としてもよい。ただし、この場合には、各フィルタ領域を透過した両方の光が１つの画素内で受光されるように構成する。
【００６０】
〔実施例〕
以下、本発明の実施例について説明する。
図１７は、本実施例に係る偏光カメラ１０の概略構成を示すブロック図である。
画像センサ４から出力される各画素の受光量に応じたアナログ電気信号は、Ａ／Ｄ変換部５でデジタル信号である画素データに変換され、その画素データは垂直同期信号及び水平同期信号とともに信号処理部６へ順次出力する。信号処理部６に順次入力された垂直同期信号及び水平同期信号並びに画素データは、信号処理部６内のラインバッファ部３１に一時的に保持される。このラインバッファ部３１には、少なくとも直前２ライン分の画素データが保持される。そして、ラインバッファ部３１は、保持している直前２ライン分の画素データと信号処理部６に入力されてくる最新の１ライン分の画素データとを含む３ライン分の画素データから、画像処理の対象となる注目画素及びその周辺画素からなる３×３画素分の画素データＩ１〜Ｉ９を選択して、差分偏光度画像生成部５０へ出力する。そして、差分偏光度画像生成部５０は、入力された３×３画素分の画素データＩ１〜Ｉ９と、パラメータ記憶手段としてのＳＰＩフラッシュメモリ３２に格納されていた当該注目画素に対応する擬似逆行列パラメータとを用いて、上記数３に示した式より、当該注目画素で受光した光の縦偏光強度Ｖと横偏光強度Ｈとを算出し、その算出結果から当該注目画素についての差分偏光度を算出する。算出した差分偏光度は、差分偏光度画像のデータ（画素値）として、水平・垂直同期信号とともに後段の機器へと順次出力される。このような画像処理を画像センサ４の有効画素全体について行うことで、各画素についての差分偏光度を画素値とした差分偏光度画像が生成される。
【００６１】
ここで、本実施例における差分偏光度画像生成部５０の構成及び動作について説明する。
図１８は、差分偏光度画像生成部５０の内部構成を示すブロック図である。
この差分偏光度画像生成部５０は、ＦＰＧＡで構成されていて、画素データＩ１〜Ｉ９と擬似逆行列パラメータとから当該画素についての縦偏光強度Ｖと横偏光強度Ｈを算出して、その算出結果から当該画素についての差分偏光度を算出する画像処理をハードウェア処理により実現している。なお、この画像処理で用いるすべての擬似逆行列パラメータは、予めＦＰＧＡ内部に設けられた擬似逆行列パラメータ格納用ＢＲＡＭ（Block-RAM）にロードしておく。
【００６２】
差分偏光度画像生成部５０のＢＲＡＭアドレス計算部５１は、垂直同期信号と水平同期信号を受け取ることで、その画像処理に使用する擬似逆行列パラメータが格納されているＢＲＡＭアドレス値を計算する。本実施例におけるＢＲＡＭアドレス計算部５１の出力タイミングチャートは図１９に示すとおりである。
【００６３】
差分偏光度画像生成部５０の係数生成部５２は、ＢＲＡＭアドレス計算部５１から出力されるＢＲＡＭアドレス値を受け取ったら、そのＢＲＡＭアドレス値に格納されている擬似逆行列パラメータを偏光分離処理部５３へ出力する。本実施例における係数生成部５２の内部構成図を図２０に示す。また、本実施例における単位処理領域の区分を図２１に示す。また、擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用ＢＲＡＭのアドレスマップを図２２に示す。上述した補間処理は、係数生成部５２のパラメータ算出部において実行される。
【００６４】
差分偏光度画像生成部５０の偏光分離処理部５３は、ラインバッファ部３１から出力される９個の画素データＩ１〜Ｉ９と、係数生成部５２から出力される１８個の要素Ａ１〜Ａ１８をもつ擬似逆行列パラメータとを受け取り、上記数３に示した式より、横偏光成分Ｈと縦偏光成分Ｖを算出する。本実施例における偏光分離処理部５３の内部構成を図２３に示す。
【００６５】
差分偏光度画像生成部５０の差分偏光度計算部５４は、偏光分離処理部５３から出力される横偏光成分Ｈと縦偏光成分Ｖを受け取ったら、差分偏光度Ｐ＝（Ｈ−Ｖ）／（Ｈ＋Ｖ）を計算する。理論的に差分偏光度Ｐは−１〜１の範囲内の値をとるので、小数部分をビット表現したものが差分偏光度計算部５４から出力されることになる。本実施例における差分偏光度計算部５４の内部構成図を図２４に示す。
【００６６】
差分偏光度画像生成部５０の差分偏光度画像計算部５５は、差分偏光度計算部５４から出力された差分偏光度Ｐを受け取ったら、小数部分をビット表現した差分偏光度Ｐを、差分偏光度画像の画素値へ変換する処理を行う。本実施例における差分偏光度画像計算部５５の内部構成図を図２５に示す。
【００６７】
次に、本実施例におけるパラメータ制御部４０の構成及び動作について説明する。
本実施例においては、事前にすべての疑似逆行列パラメータを算出しておき、それをＳＰＩフラッシュメモリ３２内に格納してある。本実施例におけるＳＰＩフラッシュメモリ３２のアドレスマップは、図２６及び図２７に示すとおりである。パラメータ制御部４０は、図１７や図１８に示したように、汎用のＣＰＵ４１を備えていて、電源投入時に、ＳＰＩインターフェース４２を通じてＳＰＩフラッシュメモリ３２から擬似逆行列パラメータを読み出し、読み出した全擬似逆行列パラメータを、ＣＰＵバス４３及びＵｓｅｒインターフェース４４を介して、差分偏光度画像生成部５０を構成するＦＰＧＡ内の擬似逆行列パラメータ格納用ＢＲＡＭへ転送する。
【００６８】
次に、電源を投入してから差分偏光度画像を生成するまでの処理フローについて説明する。
電源が投入されると、まず、パラメータ制御部４０のＣＰＵ４１は、ＳＰＩフラッシュメモリ３２内のＦＰＧＡ回路データを、差分偏光度画像生成部５０を構成するＦＰＧＡ内にロードする。その後、ＣＰＵ４１は、擬似逆行列パラメータ転送処理を実行する。この擬似逆行列パラメータ転送処理では、まず、ＣＰＵ４１からＳＰＩインターフェース４２にＲｅａｄ用コマンドを発行する。これにより、ＳＰＩインターフェース４２を介してＳＰＩフラッシュメモリ３２内の擬似逆行列パラメータがＣＰＵ４１に読み込まれる。その後、ＣＰＵ４１はＵｓｅｒインターフェース４４にＷｒｉｔｅ用コマンドを発行する。これにより、Ｕｓｅｒインターフェース４４を介して擬似逆行列パラメータが係数生成部５２内における擬似逆行列パラメータ格納用ＢＲＡＭに書き込まれる。すべての擬似逆行列パラメータが係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭに転送されるまで、上述したＲｅａｄ用コマンドの発行からＷｒｉｔｅ用コマンドの発行までの処理を繰り返し行う。
【００６９】
以上のようにして、ＳＰＩフラッシュメモリ３２内の全擬似逆行列パラメータが係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭに転送されて擬似逆行列パラメータ転送処理が完了したら、差分偏光度画像生成工程に移行する。この差分偏光度画像生成工程では、垂直同期信号と水平同期信号と画素データとが画像センサ４から転送されてくると、まず、垂直同期信号と水平同期信号を参照して、画素ごとに係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭのアドレス値を計算し、そのＢＲＡＭに格納されている擬似逆行列パラメータの要素（１４４ｂｉｔのｂｕｓ信号）を読み出す。そして、読み出した１４４ｂｉｔのｂｕｓ信号を１８要素に分割して、擬似逆行列パラメータの１８要素Ａ１〜Ａ１８を得る。その後、偏光分離処理部５３において、この１８要素の擬似逆行列パラメータを用いて、処理対象となる画素（注目画素）についての横偏光成分Ｈと縦偏光成分Ｖを、当該注目画素及びその周辺画素の画素データＩ１〜Ｉ９から上記数３に示した式より計算する。このようにして算出された横偏光成分Ｈと縦偏光成分Ｖは差分偏光度計算部５４に送られ、差分偏光度計算部５４にて差分偏光度Ｐが算出される。そして、差分偏光度画像計算部５５では、この差分偏光度Ｐを差分偏光度画像の画素値（画像データ）へ変換する処理行う。これにより、差分偏光度画像の１画素についての画像データが得られる。以上のような処理を全画素について行うことで差分偏光度画像が生成される。
【００７０】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタを通じて、又は、１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタ２を通じて、フォトダイオード４ａ等の受光素子が２次元配置された画像センサ４等の受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像部等の撮像手段と、該撮像手段から出力された画像信号から、該画像信号に対応する単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を算出する画像処理を実行する信号処理部６等の画像処理手段と、全単位画素に対応する疑似逆行列パラメータ等の演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した少なくとも２つの単位処理領域Ａ〜Ｌ（図１０参照）を構成する単位画素に対応した演算パラメータを記憶し、演算パラメータが記憶されている単位画素で構成された単位処理領域の間に位置した特定単位処理領域α，β，γ（図１０参照）を構成する単位画素についての演算パラメータは記憶しないＳＰＩフラッシュメモリ３２等のパラメータ記憶手段とを備え、上記画像処理手段は、上記特定単位処理領域α，β，γを構成する単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータを、該特定単位処理領域α，β，γを挟み込む単位処理領域Ａ，Ｂ，Ｅ，Ｆを構成する単位画素についての演算パラメータを用いた補間処理により生成し、生成した演算パラメータを用いて該特定単位処理領域α，β，γを構成する単位画素についての光学成分を算出する。
これによれば、各単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータ（疑似逆行列パラメータ）の一部は、予めパラメータ記憶手段に記憶しておくのではなく、画像処理の際に補間処理によって生成される。よって、生成される分の演算パラメータはパラメータ記憶手段に記憶しておく必要がない。したがって、パラメータ記憶手段に記憶しておく演算パラメータの数は、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その補間処理による生成分だけ少なくできる。
【００７１】
（態様Ｂ）
上記態様Ａにおいて、上記特定単位処理領域α，β，γは、演算パラメータが記憶されている単位画素で構成されていて当該特定単位処理領域α，β，γに隣接している２つの単位処理領域Ａ，Ｂ，Ｅ，Ｆに挟み込まれるように位置している。
これによれば、当該特定単位処理領域α，β，γに最も近接している単位処理領域の演算パラメータを用いて当該特定単位処理領域α，β，γの演算パラメータの補間処理を行うことができるので、高精度な補間が可能となる。
【００７２】
（態様Ｃ）
上記態様Ａ又は上記態様Ｂにおいて、上記補間処理は線形補間処理である。
これによれば、簡易かつ高精度な補間が可能となる。
【００７３】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記撮像手段は、上記光学フィルタ２に備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい１種類又は２種類以上の共通単位画素が周期的に存在するように構成されており、上記画像処理手段は、各単位処理領域を、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成されるように区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記画像処理を実行する。
上記先願で説明したとおり、受光面積比率が同じである同一種類の共通単位画素は、受光素子アレイ上で近接している画素同士であれば、その画像信号から出力画像情報の画素値を算出する画像処理で用いる演算パラメータが互いに近似している。受光素子アレイ上の単位画素を、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成される２以上の単位処理領域に区分する。このように区分された単位処理領域内には、受光素子アレイ上で互いに近接した少なくとも２つの同一種類の共通単位画素が含まれる。よって、これらの共通単位画素に対する画像処理で用いる演算パラメータは互いに近似したものである。したがって、これらの共通単位画素の演算パラメータとして同一の演算パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。その結果、パラメータ記憶手段に記憶しておく演算パラメータの数が、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その使い回し分だけ少なくできる。
【００７４】
（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、上記光学フィルタ２は、複数種類のフィルタ領域をストライプ状に配列したものである。
これによれば、複数種類のフィルタ領域２ａ，２ｂを例えば市松模様状に配列した場合よりも、光学フィルタ２を安価に製造できる。
【００７５】
（態様Ｆ）
上記態様Ｅにおいて、上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されている。
これによれば、傾斜していない構成よりも、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置されやすく、演算精度を高めやすい。
【００７６】
（態様Ｇ）
上記態様Ｆにおいて、上記受光素子アレイの縦方向における受光素子間隔をｎとし、横方向における受光素子間隔をｍとしたとき、上記光学フィルタ２は、上記複数種類のフィルタ領域の縦方向長さＮが上記式（１）を満たし、該複数種類のフィルタ領域の横方向長さＭが上記式（２）を満たすように構成されている。
これによれば、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置され、演算精度を高めることができる。
【００７７】
（態様Ｈ）
上記態様Ｇにおいて、上記式（１）中のＡに対する上記式（２）中のＢの比率が１／２又は２であることを特徴とする撮像装置。
これによれば、注目画素の光学成分の演算内容が複雑化しない範囲で、演算精度を高めることができる。
【００７８】
（態様Ｉ）
上記態様Ａ〜Ｈのいずれかの態様において、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されている。
これによれば、受光素子アレイから出力される画像信号から特定の偏光成分を抽出することができる。
【００７９】
以上の説明では、光学フィルタ２の選択フィルタ領域を、所定の偏光成分を選択的に透過させる偏光フィルタで構成して、互いに異なる２つの偏光成分から差分偏光度画像を生成する場合について説明したが、光学フィルタ２の選択フィルタ領域を、特定の波長成分を選択的に透過させる分光フィルタで構成して、互いに異なる複数の波長成分から例えば色分解画像を生成する場合でも、本発明を同様に適用できる。
また、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本発明に係る撮像装置は、本実施形態に限らず、幅広い分野に応用することができる。
【符号の説明】
【００８０】
１ 撮像レンズ
２ 光学フィルタ
２ａ 透過領域
２ｂ 横偏光フィルタ領域
４ 画像センサ
４ａ フォトダイオード（受光素子）
５ Ａ／Ｄ変換部
６ 信号処理部
１０ 偏光カメラ
３１ ラインバッファ部
３２ ＳＰＩフラッシュメモリ
４０ パラメータ制御部
４１ ＣＰＵ
５０ 差分偏光度画像生成部
５１ アドレス計算部
５２ 係数生成部
５３ 偏光分離処理部
５４ 差分偏光度計算部
５５ 差分偏光度画像計算部
【先行技術文献】
【特許文献】
【００８１】
【特許文献１】特開２００７−０８６７２０号公報
【特許文献２】特許３７７１０５４号公報
【技術分野】
【０００１】
本発明は、１種類又は２種類以上の偏光フィルタや色分解フィルタを周期的に配列した光学フィルタを通じて撮像領域からの光を受光素子アレイで受光し、これにより得た画像信号に対して画像処理を行って互いに異なった光学成分をそれぞれ抽出し、抽出した複数種類の光学成分を用いた画像情報を出力する撮像装置に関するものである。
【背景技術】
【０００２】
この種の撮像装置としては、所定の撮像領域をデジタルカメラ等の撮像手段を用いて撮像し、その画像信号から、所望の波長帯域のみを抽出した画像情報や、所望の偏光成分のみを抽出した画像情報などを生成するものが知られている。このような撮像装置は、例えば、光学フィルタを通じて入射する撮像領域からの光を、多数の受光素子を２次元配置された受光素子アレイを用いて受光し、各受光素子で受光した光量に応じて受光素子アレイから出力される画像信号から、撮像領域の画像情報を生成する。特許文献１には、光学フィルタとして、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタが所定の配置パターンに従って配列されたカラーフィルタを用いた撮像装置が記載されている。また、特許文献２には、２種類（縦偏光成分と横偏光成分）の偏光フィルタが周期的に配置された光学フィルタを通じて入射する撮像領域からの光を受光素子アレイで受光する撮像装置が記載されている。このような撮像装置によれば、１回の撮像動作で、互いに異なる複数の光学成分それぞれを抽出した画像情報（例えば、Ｒ、Ｇ、Ｂそれぞれの画像情報や、縦偏光成分及び横偏光成分それぞれの画像情報）を得ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、撮像領域内の物体を識別する物体識別処理に利用することで、単なる輝度情報のみからなる画像情報（モノクロ画像情報）で物体識別処理を行う場合よりも、高い精度での物体識別を可能とする点で有用である。そのため、このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域（撮像領域）を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者（ドライバー）の運転負荷を軽減させる運転者支援システムへ利用されている。また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。
【０００４】
本発明者らは、このような光学成分抽出画像をフレームレート３０ｆｐｓでリアルタイム映像出力することを可能とする撮像装置を開発し、その開発にあたっては、次のような課題に直面した。なお、以下の説明では、縦偏光成分及び横偏光成分それぞれの光学成分抽出画像を得る撮像装置について説明するが、Ｒ、Ｇ、Ｂ等の互いに波長成分が異なる画像情報を得る撮像装置においても同様である。
【０００５】
このような撮像装置を開発するにあたっては、受光素子アレイから出力される画像信号から縦偏光成分及び横偏光成分を抽出して光学成分抽出画像を生成するという画像処理を、フレームレート３０ｆｐｓでのリアルタイム映像出力を可能とする短い時間内で完了することが要求される。現状において、この要求を満たす画像処理を可能とするには、現実的には、所定の画像処理プログラムを汎用ＣＰＵに実行させて当該画像処理を実現するソフトウェア処理ではなく、ＦＰＧＡ（Field Programmable Gate Array）等の専用ハードウェアを用いて当該画像処理を実現するハードウェア処理を採用することが必要となる。
【０００６】
ここで、受光素子アレイから出力される画像信号から光学成分抽出画像を生成する画像処理の一例について説明する。
図２８は、光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係の一例を示す説明図である。
この図において、縦横に並ぶ各正方形がそれぞれ受光素子を示し、受光素子の並び方向に対して斜めに延びるハッチング領域が縦偏光成分をカットする縦偏光フィルタの領域を示し、ハッチング領域以外の領域が横偏光成分をカットする横偏光フィルタの領域を示す。図示の例の光学フィルタは、縦偏光フィルタの帯及び横偏光フィルタの帯が交互に配置され、その帯の長手方向が受光素子の並び方向に対して斜めになるように、縦偏光フィルタの帯及び横偏光フィルタが配置されたものである。
【０００７】
受光素子アレイ上の１つの受光素子に対応する注目画素（図中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈは、例えば、当該注目画素５の受光量に対応した画像信号値Ｉ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の受光量に対応した画像信号値Ｉ１〜Ｉ４，Ｉ６〜Ｉ９も用いて、下記の数１に示す式より求められる。なお、下記の数１に示す式において、画像信号値Ｉ１〜Ｉ９から注目画素５の縦偏光成分Ｖと横偏光成分Ｈを算出するためのＡ１〜Ａ１８の要素をもつ係数行列（演算パラメータ）を、以下、疑似逆行列パラメータと称する。
【数１】
【０００８】
この疑似逆行列パラメータは、以下のようにして予め求めておくことができる。
まず、図２８に示した光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Ｖで１００％縦偏光のサンプル光を照射し、そのときに各受光素子（その受光素子の画素番号をｉとする。）で受光する受光量に応じたサンプル縦偏光強度ａｖｉを取得する。また、同様に、光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Ｈで１００％横偏光のサンプル光を照射し、そのときに各受光素子で受光する受光量に応じたサンプル横偏光強度ａｈｉを取得する。このようにして得られる各受光素子のサンプル縦偏光強度ａｖｉ及びサンプル横偏光強度ａｈｉは、それぞれ、その受光素子で受光される縦偏光成分及び横偏光成分の感度に比例していると考えることができる。よって、光学フィルタを透過して各受光素子ｉで受光する光の強度をＩｉとすると、Ｉｉ＝ａｖｉ×Ｖ＋ａｈｉ×Ｈが成り立つ。そして、注目画素５を中心とした３×３画素の合計９つの画素１〜９に対して入射する光が同じであると仮定し、これらの画素１〜９について下記の数２に示す行列式を得る。この行列式において、ａｖ１〜９及びａｈ１〜９を要素とした感度行列パラメータについての逆行列を求める。この逆行列が上述した疑似逆行列パラメータとなる。ただし、ハードウェア処理に最適化するために、このようにして求まる疑似逆行列パラメータを多少変形してもよい。
【数２】
【０００９】
なお、ここでは、縦偏光フィルタと横偏光フィルタとが交互に配置された光学フィルタを例に挙げたが、縦偏光フィルタとフィルタ無し（光をそのまま透過させる領域）とが交互に配置された光学フィルタや、横偏光フィルタとフィルタ無しとが交互に配置された光学フィルタであっても、上述した手順と同様の方法で、疑似逆行列パラメータを求めることができる。ただし、このような光学フィルタを用いる場合、実際の撮像時には、受光素子アレイが横偏光成分及び縦偏光成分のいずれか一方を受光しない。そのため、偏光フィルタを通過して受光される偏光成分の画像信号値とフィルタ無しを通過して受光される非偏光の画像信号値とを用いて、受光しない偏光成分を求める必要がある。この場合、例えば、非偏光の受光量が縦偏光成分の受光量と横偏光成分の受光量との合算値に近似することを利用して、疑似逆行列パラメータを生成すればよい。
【００１０】
このようにして生成される疑似逆行列パラメータは、従来、受光素子１つ１つについて個別に設定されていた。この場合、その疑似逆行列パラメータを記憶するのに要する全記憶容量は、例えば、受光素子アレイの画素数（受光素子数）が４８０×７５２であり、１つの疑似逆行列パラメータの要素数が１８個であり、その１要素あたりのデータ量が４バイトであると、約２６Ｍバイトとなる。上記数１に示した式より、各受光素子の縦偏光成分Ｖと横偏光成分Ｈを、その周辺画素を含む３×３画素の画像信号値Ｉ１〜Ｉ９も用いて上記数１に示した式より求める画像処理をハードウェア処理にて行う場合、予めＳＰＩフラッシュメモリなどのＲＯＭに擬似逆行列パラメータを格納しておく方法が考えられる。この方法によれば、予め擬似逆行列パラメータが算出済みであるので、撮像装置が起動するたびに擬似逆行列パラメータを算出する必要がなく、撮像装置の起動時間を短縮化できる。
【００１１】
しかしながら、この方法では、擬似逆行列パラメータを格納しておくＲＯＭとして、２６Ｍバイト以上の大容量メモリが必要となり、コストの面や消費電力の面で不利となるという問題が生じる。特に、ＦＰＧＡ等のプログラマブルな専用ハードウェアに上記数１に示した式に基づく画像処理を実行させる場合、一般には、撮像装置の起動時等に、擬似逆行列パラメータだけでなく、回路データ（例えば１．４Ｍバイト程度）やその他の初期データも専用ハードウェア内のＲＡＭにロードする必要がある。この場合、擬似逆行列パラメータを記憶するＲＯＭには回路データや初期データも記憶する必要が出てくるので、当該ＲＯＭに必要な容量は更に増大する。したがって、コストの面や消費電力の面から擬似逆行列パラメータを記憶するＲＯＭの低容量化を図るために、擬似逆行列パラメータの記憶容量を削減することが強く望まれる。
【００１２】
なお、擬似逆行列パラメータをＲＯＭに記憶するのではなく、例えば、疑似逆行列パラメータを求めるために取得した各受光素子ｉのサンプル縦偏光強度ａｖｉとサンプル横偏光強度ａｈｉとをＲＯＭに記憶しておき、撮像装置内において各受光素子ｉの擬似逆行列パラメータを算出するという方法も考えられる。この方法の場合、ＲＯＭに記憶するサンプル縦偏光強度ａｖｉとサンプル横偏光強度ａｈｉの全記憶容量は、受光素子アレイの画素数（受光素子数）が４８０×７５２であり、１画素あたりのデータ量が４バイトであると、約２．９Ｍバイト程度となり、擬似逆行列パラメータの全容量（約２６Ｍバイト）よりも大幅に少なくできる。しかしながら、この方法では、すべての受光素子についての擬似逆行列パラメータを撮像装置内で演算する必要がある。このような逆行列演算は、特殊な演算処理が必要となり、その演算処理を行うための専用装置を設けるのにコストがかかる上、演算処理の負荷が大きく、かえって消費電力の面で不利となるおそれがある。
【００１３】
そこで、本発明者は、特願２０１１−１３２０号（以下「先願」という。）において、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくして、その演算パラメータを格納するメモリの低容量化を実現できる撮像装置を提案した。この撮像装置は、光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい１種類又は２種類以上の共通単位画素が周期的に存在するように構成されている。そして、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成される２以上の単位処理領域に区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて画像処理を実行する。
【００１４】
上記先願で例示されている先願発明の一実施形態を、図２８に示した光学フィルタの例で具体的で説明する。
図２８に示すように、この光学フィルタの場合、２種類のフィルタ領域（縦偏光フィルタと横偏光フィルタ）を透過した各光の１画素内における受光面積の比率が互いに等しい４種類の共通単位画素が周期的に存在する。詳しくは、第１共通単位画素は、図２８に示す画素番号１の画素のように、当該画素の右上隅の小領域で縦偏光フィルタを透過した横偏光成分を受光するとともに、残りの大領域で横偏光フィルタを透過した縦偏光成分を受光するパターンの画素である。第２共通単位画素は、図２８に示す画素番号２の画素のように、当該画素の左下隅の小領域で横偏光フィルタを透過した縦偏光成分を受光するとともに、残りの大領域で縦偏光フィルタを透過した横偏光成分を受光するパターンの画素である。第３共通単位画素は、図２８に示す画素番号３の画素のように、当該画素の右上隅の小領域で横偏光フィルタを透過した縦偏光成分を受光するとともに、残りの大領域で縦偏光フィルタを透過した横偏光成分を受光するパターンの画素である。第４共通単位画素は、図２８に示す画素番号５の画素のように、当該画素の左下隅の小領域で縦偏光フィルタを透過した横偏光成分を受光するとともに、残りの大領域で横偏光フィルタを透過した縦偏光成分を受光するパターンの画素である。
【００１５】
上記先願発明の実施形態でも、画素データと疑似逆行列パラメータとを用いて、注目画素（図２８中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈを、上記数１に示す式より算出する。すなわち、注目画素５の縦偏光成分Ｖと横偏光成分Ｈは、当該注目画素５の画素データＩ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の画素データＩ１〜Ｉ４，Ｉ６〜Ｉ９も用い、疑似逆行列パラメータを使用して算出する。
【００１６】
ここで、上記先願発明の実施形態では、受光素子アレイの有効画素（４８０×７５２）について、図２９に示すように、縦を３０等分し、横を４７等分して、１６×１６画素で構成される１４１０個の単位処理領域に区分し、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを上記数１に示す式より算出する。このように区分すると、各単位処理領域には、上述した４種類の共通単位画素それぞれについて、同一種類の共通単位画素が２つ以上存在する。
【００１７】
図３０は、一の単位処理領域における４種類の共通単位画素の分布を示す説明図である。
図３１（ａ）〜（ｄ）は、４種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる３×３画素内における４種類の共通単位画素の分布を示す説明図である。
４種類の共通単位画素について、第１共通単位画素を丸付き数字１で示し、第２共通単位画素を丸付き数字２で示し、第３共通単位画素を丸付き数字３で示し、第４共通単位画素を丸付き数字４で示すと、図２８に示した光学フィルタの場合、各単位処理領域内の共通単位画素分布は、図３０に示すようになる。このような分布においては、第１共通単位画素を注目画素とした画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、当該単位処理領域内のどの第１共通単位画素についても、図３１（ａ）のようになる。すなわち、第１共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布は一意に決まる。同様に、第２共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布も、図３１（ｂ）に示すように、一意に決まる。また、第３共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布も、図３１（ｃ）に示すように、一意に決まる。また、第４共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布も、図３１（ｄ）に示すように、一意に決まる。
【００１８】
上記先願で説明されているように、受光面積比率が同じである同一種類の共通単位画素については、受光素子アレイ上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータが互いに近似する。よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。そこで、上記先願発明の実施形態では、画像センサ４上における４８０×７５２の有効画素を、互いに隣接する１６×１６画素で構成された１４１０個の単位処理領域に区分することとしている。この区分数は、許容する演算誤差に応じて適宜設定されるものである。すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。
【００１９】
この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数（データ量）は増えることになる。具体例を挙げると、上記先願発明の実施形態の場合、１つの疑似逆行列パラメータの要素数が１８個で、その１要素あたりのデータ量が４バイトであるので、疑似逆行列パラメータ１個あたりのデータ量は７２バイトである。本実施形態のように１４１０個の単位処理領域に区分する場合、各単位処理領域それぞれで４つの疑似逆行列パラメータを使い回すことになるので、全体で４×１４１０＝５６４０個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は４０６０８０バイト（約０．４Ｍバイト）となる。これに対し、１つの単位処理領域が８×８画素で構成されるように区分すると、その区分数は５６４０個となり、全体で４×５６４０＝２２５６０個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は１６２４３２０バイト（約１．６Ｍバイト）となる。
【００２０】
上記先願で説明されているように、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らすことが可能であり、この場合、疑似逆行列パラメータの全データ量は、更に１０１５２０バイト（約０．１Ｍバイト）にまで低減することが可能である。しかしながら、上記先願発明によれば疑似逆行列パラメータ（演算パラメータ）を大幅に削減できるものの、いまだ演算パラメータのデータ削減量としては不十分な場合であり、更なるデータ量の削減が求められている。
【００２１】
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、上記先願発明とは異なる方法でかつ上記先願発明と併用可能な方法で、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくし、その演算パラメータを格納するメモリの低容量化を実現することができる撮像装置を提供することである。
【課題を解決するための手段】
【００２２】
上記目的を達成するために、本発明は、互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタを通じて、又は、１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が２次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、該撮像手段から出力された画像信号から、該画像信号に対応する単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を算出する画像処理を実行する画像処理手段と、全単位画素に対応する演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した少なくとも２つの単位処理領域を構成する単位画素に対応した演算パラメータを記憶し、演算パラメータが記憶されている単位画素で構成された単位処理領域の間に位置した特定単位処理領域を構成する単位画素についての演算パラメータは記憶しないパラメータ記憶手段とを備え、上記画像処理手段は、上記特定単位処理領域を構成する単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータを、該特定単位処理領域を挟み込む単位処理領域を構成する単位画素についての演算パラメータを用いた補間処理により生成し、生成した演算パラメータを用いて該特定単位処理領域を構成する単位画素についての光学成分を算出することを特徴とするものである。
【００２３】
本発明においては、各単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータの一部を、予めパラメータ記憶手段に記憶するのではなく、画像処理の際に補間処理によって生成する。よって、生成する分の演算パラメータはパラメータ記憶手段に記憶しておく必要がない。したがって、パラメータ記憶手段に記憶しておく演算パラメータの数は、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その補間処理による生成分だけ少なくできる。
しかも、演算パラメータが記憶される単位処理領域を、上記先願発明のように同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成される単位処理領域とすれば、当該単位処理領域内では同一種類の共通単位画素について同一の演算パラメータを用いることが可能である。したがって、この場合には、上記先願発明による演算パラメータのデータ削減量と、本発明によるデータ削減量との相乗効果により、大幅なデータ削減量を実現することができる。
【発明の効果】
【００２４】
以上、本発明によれば、上記先願発明とは異なる方法でかつ上記先願発明と併用可能な方法で、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくし、その演算パラメータを格納するメモリの低容量化を実現することができるという優れた効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
【図３】路面及び立体物を判別するための処理の流れを示すフローチャートである。
【図４】高速道路を走行している車両に搭載した偏光カメラにより撮像して得た差分偏光度画像を示したものである。
【図５】同差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
【図６】立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
【図７】同運転者支援システムに利用可能な偏光カメラの概略構成を示す説明図である。
【図８】同偏光カメラの光学フィルタと画像センサとを示す断面拡大図である。
【図９】同光学フィルタの偏光フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１０】同画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
【図１１】すべての画素について予め個別に用意しておいた疑似逆行列パラメータ（疑似逆行列パラメータの全データ量＝約２６Ｍバイト）を用いて得た差分偏光度画像の一例を示すものである。
【図１２】同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像（疑似逆行列パラメータの全データ量＝約０．０２５Ｍバイト））の一例を示すものである。
【図１３】変形例１に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１４】変形例１における一の単位処理領域に存在する６種類の共通単位画素の分布を示す説明図である。
【図１５】変形例２に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１６】変形例２における一の単位処理領域に存在する１２種類の共通単位画素の分布を示す説明図である。
【図１７】実施例に係る偏光カメラの概略構成を示すブロック図である。
【図１８】同偏光カメラに設けられた差分偏光度画像生成部の内部構成を示すブロック図である。
【図１９】同差分偏光度画像生成部に設けられたＢＲＡＭアドレス計算部の出力タイミングチャートである。
【図２０】同差分偏光度画像生成部に設けられた係数生成部の内部構成図である。
【図２１】実施例における単位処理領域の区分を示す説明図である。
【図２２】擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用ＢＲＡＭのアドレスマップである。
【図２３】同差分偏光度画像生成部に設けられた偏光分離処理部の内部構成図である。
【図２４】同差分偏光度画像生成部に設けられた差分偏光度計算部の内部構成図である。
【図２５】同差分偏光度画像生成部に設けられた差分偏光度画像計算部の内部構成図である。
【図２６】擬似逆行列パラメータが格納されたＳＰＩフラッシュメモリのアドレスマップである。
【図２７】同ＳＰＩフラッシュメモリのセクター２４に格納される疑似逆行列パラメータのアドレスマップである。
【図２８】光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
【図２９】同画像センサ上の受光素子を単位処理領域ごとに区分する方法を説明するための説明図である。
【図３０】一の単位処理領域における４種類の共通単位画素の分布を示す説明図である。
【図３１】（ａ）は、第１共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｂ）は、第２共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｃ）は、第３共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｄ）は、第４共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。
【発明を実施するための形態】
【００２６】
以下、本発明に係る撮像装置を、自車の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
まず、本運転者支援システムにおける概略構成及び動作概要を説明する。
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図２は、本実施形態の運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
図示しない車両に搭載された撮像装置としての偏光カメラ１０により、車両が走行する路面（移動面）を含む自車周囲の風景を撮影する（Ｓ１）。これにより、偏光カメラ１０の受光素子１つに対応した単位画素（以下、単に「画素」という。）ごとの縦偏光強度及び横偏光強度を得る（Ｓ２）。本実施形態では、このようにして得られる各画素の縦偏光強度及び横偏光強度から、単位画素ごとに、差分偏光度を算出する（Ｓ３）。この差分偏光度から、各画素の差分偏光度を画素値とした差分偏光度画像を生成することができる。なお、ここで、「縦偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの縦列（鉛直方向の列）に平行な偏光方向をもった偏光の光強度を意味し、「横偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの横列（水平方向の列）に平行な偏光方向をもった偏光の光強度を意味する。
【００２７】
差分偏光度は、下記の式（３）に示す計算式から求められる。すなわち、差分偏光度は、横偏光強度と縦偏光強度との合計値（輝度合計値）に対する横偏光強度と縦偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（横差分偏光度）と、輝度合計値に対するＳ偏向強度の比率（縦差分偏光度）との差分値であると言い換えることもできる。なお、本実施形態では、横偏光強度から縦偏光強度を差し引く場合について説明するが、縦偏光強度から横偏光強度を差し引くようにしてもよい。
差分偏光度＝（横偏光強度−縦偏光強度）／（横偏光強度＋縦偏光強度） ・・（３）
【００２８】
本実施形態では、偏光カメラ１０から差分偏光度画像のデータが出力され、この差分偏光度画像のデータが路面・立体物判別部２１に入力される。路面・立体物判別部２１は、偏光カメラ１０から出力された差分偏光度画像について、路面を映し出した画像領域と立体物を映し出した画像領域とを判別する（Ｓ４）。
図３は、路面及び立体物を判別するための処理の流れを示すフローチャートである。
路面・立体物判別部２１は、偏光カメラ１０から差分偏光度画像のデータを受け取ったら、まず、差分偏光度画像を２値化するための閾値を設定し（Ｓ４１）、その閾値を用いて差分偏光度画像を２値化する（Ｓ４２）。具体的には、所定の閾値以上の差分偏光度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。その後、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの画像領域として認識するラベリング処理を実施する（Ｓ４３）。これによって、差分偏光度の高い近接した複数の画素の集合が１つの高差分偏光度領域として抽出される。このようにして抽出した各高差分偏光度領域を、図示しない路面特徴データ記憶手段としての記憶部内に記憶されている路面の特徴データと照らし合わせ、路面の特徴データに合致した高差分偏光度領域を路面領域として抽出する（Ｓ４４）。そして、このようにして抽出した路面領域の形状を、路面形状パターンと照らし合わせて推定し（Ｓ４５）、路面領域の両端すなわち路端ラインを特定する。その後、抽出した路面領域以外の残りの画像領域を、立体物を映し出した立体物領域として抽出する（Ｓ４６）。
【００２９】
図４は、高速道路を走行している車両に搭載した偏光カメラ１０により撮像して得た差分偏光度画像を示したものである。
図５は、この差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
図５に示す画像中の黒塗り部分の画像領域が路面領域として抽出された箇所である。また、図５に示す画像中の点線で示すラインが路端ラインである。
【００３０】
車両候補領域決定部２２は、車両の窓ガラスからの光が有する差分偏光度の特徴を利用して、上記Ｓ４６において立体物領域であると判定された領域の中から、車両候補領域を決定する（Ｓ５）。
図６は、立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
車両候補領域決定部２２は、路面・立体物判別部２１において判定された各立体物領域に対して、その差分偏光度が所定の閾値以上であるか否か（所定の数値範囲内であるか否か）を判断し、差分偏光度が所定の閾値以上である立体物領域を検知する（Ｓ５１）。次に、このようにして検知した立体物領域の面積が、車両の窓ガラスに対応する面積範囲内であるか否かをチェックする（Ｓ５２）。そして、このチェックを通った立体物領域に対し、車両の窓ガラスに対応する形状を有するかどうかをチェックして、このチェックも通った立体物領域を、車両後方領域として決定する（Ｓ５３）。
【００３１】
車両識別部２３は、車両特徴量パターン記憶部２４に記憶された車両特徴量パターンによるバターンマッチング手法により、上記車両候補領域決定部２２が決定した車両候補領域が車両領域であるか否かを識別する。このバターンマッチング手法は、公知のものを広く利用できる。
【００３２】
本実施形態では、例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）２５に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ輝度画像（フロントビュー画像）を表示し、その画像中の他車を映し出している領域を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する。これによれば、例えば、運転者が目視で他車を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と他車との相対位置関係を把握することができ、他車に衝突することなく安全に走行することが容易になる。
【００３３】
また、本実施形態の車両制御部２６は、例えば、車両識別部２３により識別された車両領域の位置情報から、自車と他車との相対位置関係を把握する処理を行い、自車が他車に近づいて走行していないかどうかを判断し、他車に近づいたときに警報音等を発する処理を行う。あるいは、他車に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理を行ってもよい。
【００３４】
以下、本発明の特徴部分である偏光カメラ１０の構成及び動作について詳述する。
図７は、本実施形態における偏光カメラ１０の概略構成を示す説明図である。
この偏光カメラ１０は、主に、撮像レンズ１と、光学フィルタ２と、受光素子が２次元配置された受光素子アレイを有する画像センサ４が搭載されたセンサ基板３と、センサ基板３から出力されるアナログ電気信号（画像センサ４上の各受光素子が受光した受光量）をデジタル電気信号に変換するＡ／Ｄ変換部５と、Ａ／Ｄ変換部５から出力されるデジタル電気信号（画素データ）に対して画像処理を行って差分偏光度画像のデータを生成して出力する信号処理部６とから構成されている。被写体（被検物）を含む撮像領域からの光は、撮像レンズ１を通り、光学フィルタ２を透過して、画像センサ４でその光強度に応じた電気信号に変換される。Ａ／Ｄ変換部５では、画像センサ４から出力される電気信号（アナログ信号）が入力されると、その電気信号から、画素データとして、画像センサ４上における各画素の受光量を示すデジタル信号を、画像の垂直同期信号及び水平同期信号とともに信号処理部６へ出力する。
【００３５】
図８は、光学フィルタ２と画像センサ４とを示す断面拡大図である。
画像センサ４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード４ａを用いている。フォトダイオード４ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード４ａの集光効率を上げるために、各フォトダイオード４ａの入射側にはマイクロレンズ４ｂが設けられている。この画像センサ４がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板３が形成されている。撮像する画像の波長範囲は略可視光であるため、画像センサ４としては、可視光の範囲に感度を有するものを選択すればよい。本実施形態の画像センサ４は、互いに直交する縦方向及び横方向に等間隔で配列された４８０×７５２の受光素子（フォトダイオード４ａ）を有効画素とする構成であり、１個のフォトダイオード４ａを単位画素とする。
【００３６】
画像センサ４のマイクロレンズ４ｂ側の面には、光学フィルタ２が近接配置されている。光学フィルタ２の画像センサ４側の面には、図９に示すように、光をそのまま透過する非選択フィルタ領域である透過領域２ａと、横偏光成分のみを選択的に透過させる選択フィルタ領域としての横偏光フィルタ領域２ｂとが、画像センサ４の縦方向（図中ｙ方向）及び横方向（図中ｘ方向）のいずれにも傾斜するように交互配置されたストライプ状の領域分割パターンを有している。具体的には、画像センサ４の縦方向における画素間隔（フォトダイオード４ａの中心間距離）をｎとし、横方向における画素間隔をｍとしたとき、透過領域２ａ及び横偏光フィルタ領域２ｂの縦方向長さＮが下記の式（１）を満たし、透過領域２ａ及び横偏光フィルタ領域２ｂの横方向長さＭが下記の式（２）を満たすように、光学フィルタ２が構成されている。本実施形態の光学フィルタ２は、図９に示すように、Ａ＝１、Ｂ＝２の例（すなわち、Ｂ／Ａ＝２の例）である。
Ｎ ＝ Ａ × ｎ ・・・（１）
Ｍ ＝ Ｂ × ｍ ・・・（２）
【００３７】
本実施形態においては、図９に示すように、光学フィルタ２に備わった２種類のフィルタ領域（透過領域２ａと横偏光フィルタ領域２ｂ）を透過した各光の１画素内における受光面積の比率が互いに等しい４種類の共通単位画素が周期的に存在するように構成される。
具体的に説明すると、第１共通単位画素は、図９に示す画素番号１の画素のように、当該画素の右上隅の小領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するとともに、残りの大領域で透過領域２ａを透過した非偏光の光を受光するパターンの画素である。
第２共通単位画素は、図９に示す画素番号２の画素のように、当該画素の左下隅の小領域で透過領域２ａを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するパターンの画素である。
第３共通単位画素は、図９に示す画素番号３の画素のように、当該画素の右上隅の小領域で透過領域２ａを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するパターンの画素である。
第４共通単位画素は、図９に示す画素番号５の画素のように、当該画素の左下隅の小領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するとともに、残りの大領域で透過領域２ａを透過した非偏光の光を受光するパターンの画素である。
【００３８】
本実施形態の偏光カメラ１０の信号処理部６では、Ａ／Ｄ変換部５から出力される画素データと疑似逆行列パラメータとを用いて、注目画素（図９中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈを、下記の数３に示す式より算出する。すなわち、本実施形態では、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを、当該注目画素５の画素データＩ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の画素データＩ１〜Ｉ４，Ｉ６〜Ｉ９も用いて算出する。この算出に必要な疑似逆行列パラメータは、予め求めておいて後述するパラメータ記憶手段としてのＳＰＩフラッシュメモリに格納されているものを用いる。
【数３】
【００３９】
本実施形態の信号処理部６が実行する画像処理においては、画像センサ４の有効画素（４８０×７５２）について、図２９に示したものと同様に、縦を３０等分し、横を４７等分して、１６×１６画素で構成される１４１０個の単位処理領域に区分して、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを上記数３に示す式より算出する演算処理を行う。このように区分すると、各単位処理領域には、上述した４種類の共通単位画素それぞれについて、同一種類の共通単位画素が２つ以上存在する。
【００４０】
一の単位処理領域における４種類の共通単位画素の分布は、図３０に示したものと同様である。
また、４種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、図３１（ａ）〜（ｄ）に示したものと同様である。
４種類の共通単位画素について、第１共通単位画素を丸付き数字１で示し、第２共通単位画素を丸付き数字２で示し、第３共通単位画素を丸付き数字３で示し、第４共通単位画素を丸付き数字４で示すと、図９に示すように構成された光学フィルタ２の場合、各単位処理領域内の共通単位画素分布は、図３０に示すようになる。このような分布においては、上述したように、第１共通単位画素を注目画素とした画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、当該単位処理領域内のどの第１共通単位画素についても、図３１（ａ）のようになる。すなわち、第１共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布は一意に決まる。第２共通単位画素、第３共通単位画素、第４共通単位画素についても、同様に、一意に決まる。
【００４１】
上述したとおり、受光面積比率が同じである同一種類の共通単位画素については、画像センサ４上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータ（演算パラメータ）が互いに近似する。特に、受光面積比率だけでなく、透過領域２ａ及び横偏光フィルタ領域２ｂを透過した各光の画素内における受光位置までも同じであるものを同一種類の共通単位画素とすれば、疑似逆行列パラメータの近似性はより高まる。よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。
【００４２】
そこで、本実施形態においては、画像センサ４上における４８０×７５２の有効画素を、互いに隣接する１６×１６画素で構成された１４１０個の単位処理領域に区分することとしている。この区分数は、許容する演算誤差に応じて適宜設定されるものである。すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。
【００４３】
この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数（データ量）は増えることになる。
具体例を挙げると、本実施形態の場合、１つの疑似逆行列パラメータの要素数が１８個で、その１要素あたりのデータ量が４バイトであるので、疑似逆行列パラメータ１個あたりのデータ量は７２バイトである。本実施形態のように１４１０個の単位処理領域に区分する場合、各単位処理領域それぞれで４つの疑似逆行列パラメータを使い回すことになるので、全体で４×１４１０＝５６４０個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は４０６０８０バイト（約０．４Ｍバイト）となる。これに対し、１つの単位処理領域が８×８画素で構成されるように区分すると、その区分数は５６４０個となり、全体で４×５６４０＝２２５６０個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は１６２４３２０バイト（約１．６Ｍバイト）となる。
なお、逆に、演算誤差に余裕がある場合には、区分数を減らして、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の数を増やし、疑似逆行列パラメータの数（データ量）を更に減らすようにしてもよい。
【００４４】
本実施形態においては、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らしてもよい。この場合、疑似逆行列パラメータの全データ量は、更に１０１５２０バイト（約０．１Ｍバイト）にまで低減することができる。
特に、本実施形態においては、各単位処理領域で使い回す４種類の擬似逆行列パラメータは、その単位処理領域を構成する１６×１６画素のすべてについて求めた擬似逆行列パラメータの和をとり、その絶対値が一番大きい要素の絶対値が１２７となるように規格化してもよい。この規格化すると、疑似逆行列パラメータの１要素あたりのデータ量が１バイトとなるが、このようにデータ量を減らしても、計算精度の良好な差分偏光度が算出できる。
【００４５】
また、本実施形態においては、疑似逆行列パラメータの全データ量を更に低減するために、ＳＰＩフラッシュメモリには、上述した１４１０個の単位処理領域のうち一部の単位処理領域については擬似逆行列パラメータを記憶しない。そして、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域（特定単位処理領域）については、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域の擬似逆行列パラメータを用いて補間処理を行い、この補間処理によって生成された算出擬似逆行列パラメータを用いて画像処理を行う。
【００４６】
図１０は、画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
本実施形態では、図１０の太線で区画したように、１４１０個の単位処理領域を２×２の４領域で１ユニットとなるように分割する。そして、１ユニットにつき１領域の割合で、擬似逆行列パラメータをＳＰＩフラッシュメモリに記憶する。これにより、擬似逆行列パラメータがＳＰＩフラッシュメモリに記憶されない単位処理領域については、擬似逆行列パラメータがＳＰＩフラッシュメモリに記憶されている少なくとも２つの単位処理領域の間に位置することになる。
【００４７】
ここで、本発明者が鋭意研究したところ、画像センサ４上で近接している単位処理領域同士は、各領域で用いる疑似逆行列パラメータ（演算パラメータ）がその並び方向に沿って一定の関係（線形に近い関係）にあるという知見を得た。よって、この関係を利用することで、互いに離間した２つの単位処理領域の間に位置する単位処理領域（特定単位処理領域）の疑似逆行列パラメータは、当該２つの単位処理領域の疑似逆行列パラメータから高精度に生成することが可能である。そして、このように生成される疑似逆行列パラメータを用いて、当該特定単位処理領域についての演算誤差は許容範囲内に収めることができる。
【００４８】
そこで、本実施形態においては、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域については、ＳＰＩフラッシュメモリ内の擬似逆行列パラメータを用いて縦偏光成分Ｖと横偏光成分Ｈを算出する一方、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域については、補間処理により生成した擬似逆行列パラメータを用いて縦偏光成分Ｖと横偏光成分Ｈを算出する。
【００４９】
具体的には、図１０に示すように、単位処理領域Ａについては当該領域Ａに対応する擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出して利用する。一方、単位処理領域Ａと単位処理領域Ｂとの間に位置する単位処理領域αについては、信号処理部６において、これらの領域Ａ，Ｂの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域αの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。また、単位処理領域Ａと単位処理領域Ｅとの間に位置する単位処理領域βについては、信号処理部６において、これらの領域Ａ，Ｅの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域βの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。また、単位処理領域Ａと単位処理領域Ｆとの間あるいは単位処理領域Ｂと単位処理領域Ｅとの間に位置する単位処理領域γについては、信号処理部６において、これらの領域Ａ，Ｆあるいは領域Ｂ，Ｅの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域γの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。
【００５０】
補間処理の方法は、互いに離間した２つの単位処理領域の疑似逆行列パラメータとこれらの間に位置する特定単位処理領域の本来の疑似逆行列パラメータとの間における一定の関係に応じて適宜選択されるが、本実施形態では線形補間処理が好ましい。線形補間処理をＦＰＧＡ等を用いてハードウェア処理する場合、ビットシフトだけで済むように工夫するのが好ましい。そのため、本実施形態では、上述したように２×２の４領域につき１領域の割合で疑似逆行列パラメータをＳＰＩフラッシュメモリに記憶するようにしているが、１６領域につき１領域、６４領域につき１領域の割合とすることも可能である。ただし、補間処理の精度上、本実施形態のように２×２の４領域につき１領域の割合で疑似逆行列パラメータをＳＰＩフラッシュメモリに記憶するのが好ましい。
【００５１】
すべての画素について個別に疑似逆行列パラメータを用意する場合には、全疑似逆行列パラメータのデータ量が約２６Ｍバイトにもなり、疑似逆行列パラメータを格納しておくメモリとして、２６Ｍバイト以上の大容量メモリが必要であったところ、本実施形態によれば、同じ疑似逆行列パラメータを使い回すことで全疑似逆行列パラメータのデータ量を約０．４Ｍバイトにまで低減できるとともに、更に、補間処理を用いることでそのデータ量を１／４に低減できる。したがって、本実施形態によれば、全疑似逆行列パラメータのデータ量を約０．１Ｍバイトにまで低減できる。
【００５２】
特に、上述したように、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らした場合、同じ疑似逆行列パラメータを使い回すとともに、上述した補間処理を用いることで、全疑似逆行列パラメータのデータ量を約０．０２５Ｍバイトにまで低減することが可能である。すなわち、疑似逆行列パラメータのデータ量として約２６Ｍ倍バイトという大きなデータ量が必要であった場合と比較して、疑似逆行列パラメータのデータ量を０．１％にまで圧縮することが可能となる。
【００５３】
図１１は、すべての画素について予め個別に用意しておいた疑似逆行列パラメータ（疑似逆行列パラメータの全データ量＝約２６Ｍバイト）を用いて得た差分偏光度画像の一例を示すものである。
図１２は、本実施形態のように同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像（疑似逆行列パラメータの全データ量＝約０．０２５Ｍバイト））の一例を示すものである。
これらの図において、差分偏光度は画像中の各画素の輝度によって表現されている。これらの図を比較してわかるように、両者の間には輝度の違いがほとんど見受けられず、差分偏光度の違いはほとんどない。したがって、疑似逆行列パラメータの全データ量を０．１％にまで圧縮しても、高い精度の差分偏光度画像を得ることができる。
【００５４】
なお、本実施形態では、光学フィルタ２の各フィルタ領域２ａ，２ｂの配列パターン（領域分割パターン）が、縦に４８０画素、横に７５２画素の有効画素で構成される画像センサ４に対し、横に２画素分、縦に１画素分の傾きを有するストライプ状のパターンである例について説明したが、横に１画素分、縦に２画素分の傾きを有するストライプ状のパターンであっても同じである。この傾きは、適宜設定され、例えば傾きを１に設定してもよい。
【００５５】
〔変形例１〕
図１３は、各フィルタ領域２ａ，２ｂの傾きが１／３となるように構成された変形例１に係る光学フィルタ２と画像センサ４の画素との対応関係を示す説明図である。
図１４は、本変形例１における一の単位処理領域に存在する６種類の共通単位画素の分布を示す説明図である。
本変形例１の光学フィルタのように各フィルタ領域２ａ，２ｂの傾きが１／３となるように構成されている場合、全体で６種類の共通単位画素が存在することになり、その分布は図１４に示すものを繰り返したものとなる。本変形例１では、共通単位画素の種類が６種類であることを考慮して、一の単位処理領域を６×６画素で構成した。この場合、その区分数はおよそ１００８０個となるので、全体で６×１００８０＝６０４８０個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ１個あたりのデータ量を１８バイトであるとすると、疑似逆行列パラメータの全データ量は１０８８６４０バイト（約１．１Ｍバイト）となる。
【００５６】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に１／４に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約０．２７Ｍバイトにまで低減することができる。
なお、傾きが３である場合も同様である。
【００５７】
〔変形例２〕
図１５は、各フィルタ領域２ａ，２ｂの傾きが２／３となるように構成された変形例２に係る光学フィルタ２と画像センサ４の画素との対応関係を示す説明図である。
図１６は、本変形例２における一の単位処理領域に存在する１２種類の共通単位画素の分布を示す説明図である。
本変形例２の光学フィルタのように各フィルタ領域２ａ，２ｂの傾きが２／３となるように構成されている場合、全体で１２種類の共通単位画素が存在することになる。本変形例２では、共通単位画素の種類が１２種類であることを考慮して、一の単位処理領域を８×８画素で構成した。この場合、その区分数は５６４０個となるので、全体で１２×５６４０＝６７６８０個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ１個あたりのデータ量を１８バイトであるとすると、疑似逆行列パラメータの全データ量は１２１８２４０バイト（約１．２Ｍバイト）となる。
【００５８】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に１／４に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約０．３Ｍバイトにまで低減することができる。
【００５９】
本実施形態（各変形例を含む。以下同じ。）においては、光学フィルタ２に備わった複数種類のフィルタ領域が、光をそのまま透過する透過領域２ａと横偏光成分のみを選択的に透過させる横偏光フィルタ領域２ｂとである場合であったが、これに限られるものではない。例えば、光をそのまま透過する透過領域と縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域とである場合や、縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域と横偏光成分のみを選択的に透過させる横偏光フィルタ領域とである場合でも、同様の演算精度で差分偏光度画像を得ることができる。
また、本実施形態においては、光学フィルタ２に備わった複数種類のフィルタ領域が画像センサ４の縦方向及び横方向のいずれにも傾斜するように構成されたものであったが、画像センサ４の縦方向及び横方向のいずれか一方に平行である構成としてもよい。ただし、この場合には、各フィルタ領域を透過した両方の光が１つの画素内で受光されるように構成する。
【００６０】
〔実施例〕
以下、本発明の実施例について説明する。
図１７は、本実施例に係る偏光カメラ１０の概略構成を示すブロック図である。
画像センサ４から出力される各画素の受光量に応じたアナログ電気信号は、Ａ／Ｄ変換部５でデジタル信号である画素データに変換され、その画素データは垂直同期信号及び水平同期信号とともに信号処理部６へ順次出力する。信号処理部６に順次入力された垂直同期信号及び水平同期信号並びに画素データは、信号処理部６内のラインバッファ部３１に一時的に保持される。このラインバッファ部３１には、少なくとも直前２ライン分の画素データが保持される。そして、ラインバッファ部３１は、保持している直前２ライン分の画素データと信号処理部６に入力されてくる最新の１ライン分の画素データとを含む３ライン分の画素データから、画像処理の対象となる注目画素及びその周辺画素からなる３×３画素分の画素データＩ１〜Ｉ９を選択して、差分偏光度画像生成部５０へ出力する。そして、差分偏光度画像生成部５０は、入力された３×３画素分の画素データＩ１〜Ｉ９と、パラメータ記憶手段としてのＳＰＩフラッシュメモリ３２に格納されていた当該注目画素に対応する擬似逆行列パラメータとを用いて、上記数３に示した式より、当該注目画素で受光した光の縦偏光強度Ｖと横偏光強度Ｈとを算出し、その算出結果から当該注目画素についての差分偏光度を算出する。算出した差分偏光度は、差分偏光度画像のデータ（画素値）として、水平・垂直同期信号とともに後段の機器へと順次出力される。このような画像処理を画像センサ４の有効画素全体について行うことで、各画素についての差分偏光度を画素値とした差分偏光度画像が生成される。
【００６１】
ここで、本実施例における差分偏光度画像生成部５０の構成及び動作について説明する。
図１８は、差分偏光度画像生成部５０の内部構成を示すブロック図である。
この差分偏光度画像生成部５０は、ＦＰＧＡで構成されていて、画素データＩ１〜Ｉ９と擬似逆行列パラメータとから当該画素についての縦偏光強度Ｖと横偏光強度Ｈを算出して、その算出結果から当該画素についての差分偏光度を算出する画像処理をハードウェア処理により実現している。なお、この画像処理で用いるすべての擬似逆行列パラメータは、予めＦＰＧＡ内部に設けられた擬似逆行列パラメータ格納用ＢＲＡＭ（Block-RAM）にロードしておく。
【００６２】
差分偏光度画像生成部５０のＢＲＡＭアドレス計算部５１は、垂直同期信号と水平同期信号を受け取ることで、その画像処理に使用する擬似逆行列パラメータが格納されているＢＲＡＭアドレス値を計算する。本実施例におけるＢＲＡＭアドレス計算部５１の出力タイミングチャートは図１９に示すとおりである。
【００６３】
差分偏光度画像生成部５０の係数生成部５２は、ＢＲＡＭアドレス計算部５１から出力されるＢＲＡＭアドレス値を受け取ったら、そのＢＲＡＭアドレス値に格納されている擬似逆行列パラメータを偏光分離処理部５３へ出力する。本実施例における係数生成部５２の内部構成図を図２０に示す。また、本実施例における単位処理領域の区分を図２１に示す。また、擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用ＢＲＡＭのアドレスマップを図２２に示す。上述した補間処理は、係数生成部５２のパラメータ算出部において実行される。
【００６４】
差分偏光度画像生成部５０の偏光分離処理部５３は、ラインバッファ部３１から出力される９個の画素データＩ１〜Ｉ９と、係数生成部５２から出力される１８個の要素Ａ１〜Ａ１８をもつ擬似逆行列パラメータとを受け取り、上記数３に示した式より、横偏光成分Ｈと縦偏光成分Ｖを算出する。本実施例における偏光分離処理部５３の内部構成を図２３に示す。
【００６５】
差分偏光度画像生成部５０の差分偏光度計算部５４は、偏光分離処理部５３から出力される横偏光成分Ｈと縦偏光成分Ｖを受け取ったら、差分偏光度Ｐ＝（Ｈ−Ｖ）／（Ｈ＋Ｖ）を計算する。理論的に差分偏光度Ｐは−１〜１の範囲内の値をとるので、小数部分をビット表現したものが差分偏光度計算部５４から出力されることになる。本実施例における差分偏光度計算部５４の内部構成図を図２４に示す。
【００６６】
差分偏光度画像生成部５０の差分偏光度画像計算部５５は、差分偏光度計算部５４から出力された差分偏光度Ｐを受け取ったら、小数部分をビット表現した差分偏光度Ｐを、差分偏光度画像の画素値へ変換する処理を行う。本実施例における差分偏光度画像計算部５５の内部構成図を図２５に示す。
【００６７】
次に、本実施例におけるパラメータ制御部４０の構成及び動作について説明する。
本実施例においては、事前にすべての疑似逆行列パラメータを算出しておき、それをＳＰＩフラッシュメモリ３２内に格納してある。本実施例におけるＳＰＩフラッシュメモリ３２のアドレスマップは、図２６及び図２７に示すとおりである。パラメータ制御部４０は、図１７や図１８に示したように、汎用のＣＰＵ４１を備えていて、電源投入時に、ＳＰＩインターフェース４２を通じてＳＰＩフラッシュメモリ３２から擬似逆行列パラメータを読み出し、読み出した全擬似逆行列パラメータを、ＣＰＵバス４３及びＵｓｅｒインターフェース４４を介して、差分偏光度画像生成部５０を構成するＦＰＧＡ内の擬似逆行列パラメータ格納用ＢＲＡＭへ転送する。
【００６８】
次に、電源を投入してから差分偏光度画像を生成するまでの処理フローについて説明する。
電源が投入されると、まず、パラメータ制御部４０のＣＰＵ４１は、ＳＰＩフラッシュメモリ３２内のＦＰＧＡ回路データを、差分偏光度画像生成部５０を構成するＦＰＧＡ内にロードする。その後、ＣＰＵ４１は、擬似逆行列パラメータ転送処理を実行する。この擬似逆行列パラメータ転送処理では、まず、ＣＰＵ４１からＳＰＩインターフェース４２にＲｅａｄ用コマンドを発行する。これにより、ＳＰＩインターフェース４２を介してＳＰＩフラッシュメモリ３２内の擬似逆行列パラメータがＣＰＵ４１に読み込まれる。その後、ＣＰＵ４１はＵｓｅｒインターフェース４４にＷｒｉｔｅ用コマンドを発行する。これにより、Ｕｓｅｒインターフェース４４を介して擬似逆行列パラメータが係数生成部５２内における擬似逆行列パラメータ格納用ＢＲＡＭに書き込まれる。すべての擬似逆行列パラメータが係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭに転送されるまで、上述したＲｅａｄ用コマンドの発行からＷｒｉｔｅ用コマンドの発行までの処理を繰り返し行う。
【００６９】
以上のようにして、ＳＰＩフラッシュメモリ３２内の全擬似逆行列パラメータが係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭに転送されて擬似逆行列パラメータ転送処理が完了したら、差分偏光度画像生成工程に移行する。この差分偏光度画像生成工程では、垂直同期信号と水平同期信号と画素データとが画像センサ４から転送されてくると、まず、垂直同期信号と水平同期信号を参照して、画素ごとに係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭのアドレス値を計算し、そのＢＲＡＭに格納されている擬似逆行列パラメータの要素（１４４ｂｉｔのｂｕｓ信号）を読み出す。そして、読み出した１４４ｂｉｔのｂｕｓ信号を１８要素に分割して、擬似逆行列パラメータの１８要素Ａ１〜Ａ１８を得る。その後、偏光分離処理部５３において、この１８要素の擬似逆行列パラメータを用いて、処理対象となる画素（注目画素）についての横偏光成分Ｈと縦偏光成分Ｖを、当該注目画素及びその周辺画素の画素データＩ１〜Ｉ９から上記数３に示した式より計算する。このようにして算出された横偏光成分Ｈと縦偏光成分Ｖは差分偏光度計算部５４に送られ、差分偏光度計算部５４にて差分偏光度Ｐが算出される。そして、差分偏光度画像計算部５５では、この差分偏光度Ｐを差分偏光度画像の画素値（画像データ）へ変換する処理行う。これにより、差分偏光度画像の１画素についての画像データが得られる。以上のような処理を全画素について行うことで差分偏光度画像が生成される。
【００７０】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタを通じて、又は、１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタ２を通じて、フォトダイオード４ａ等の受光素子が２次元配置された画像センサ４等の受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像部等の撮像手段と、該撮像手段から出力された画像信号から、該画像信号に対応する単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を算出する画像処理を実行する信号処理部６等の画像処理手段と、全単位画素に対応する疑似逆行列パラメータ等の演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した少なくとも２つの単位処理領域Ａ〜Ｌ（図１０参照）を構成する単位画素に対応した演算パラメータを記憶し、演算パラメータが記憶されている単位画素で構成された単位処理領域の間に位置した特定単位処理領域α，β，γ（図１０参照）を構成する単位画素についての演算パラメータは記憶しないＳＰＩフラッシュメモリ３２等のパラメータ記憶手段とを備え、上記画像処理手段は、上記特定単位処理領域α，β，γを構成する単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータを、該特定単位処理領域α，β，γを挟み込む単位処理領域Ａ，Ｂ，Ｅ，Ｆを構成する単位画素についての演算パラメータを用いた補間処理により生成し、生成した演算パラメータを用いて該特定単位処理領域α，β，γを構成する単位画素についての光学成分を算出する。
これによれば、各単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータ（疑似逆行列パラメータ）の一部は、予めパラメータ記憶手段に記憶しておくのではなく、画像処理の際に補間処理によって生成される。よって、生成される分の演算パラメータはパラメータ記憶手段に記憶しておく必要がない。したがって、パラメータ記憶手段に記憶しておく演算パラメータの数は、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その補間処理による生成分だけ少なくできる。
【００７１】
（態様Ｂ）
上記態様Ａにおいて、上記特定単位処理領域α，β，γは、演算パラメータが記憶されている単位画素で構成されていて当該特定単位処理領域α，β，γに隣接している２つの単位処理領域Ａ，Ｂ，Ｅ，Ｆに挟み込まれるように位置している。
これによれば、当該特定単位処理領域α，β，γに最も近接している単位処理領域の演算パラメータを用いて当該特定単位処理領域α，β，γの演算パラメータの補間処理を行うことができるので、高精度な補間が可能となる。
【００７２】
（態様Ｃ）
上記態様Ａ又は上記態様Ｂにおいて、上記補間処理は線形補間処理である。
これによれば、簡易かつ高精度な補間が可能となる。
【００７３】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記撮像手段は、上記光学フィルタ２に備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい１種類又は２種類以上の共通単位画素が周期的に存在するように構成されており、上記画像処理手段は、各単位処理領域を、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成されるように区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記画像処理を実行する。
上記先願で説明したとおり、受光面積比率が同じである同一種類の共通単位画素は、受光素子アレイ上で近接している画素同士であれば、その画像信号から出力画像情報の画素値を算出する画像処理で用いる演算パラメータが互いに近似している。受光素子アレイ上の単位画素を、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成される２以上の単位処理領域に区分する。このように区分された単位処理領域内には、受光素子アレイ上で互いに近接した少なくとも２つの同一種類の共通単位画素が含まれる。よって、これらの共通単位画素に対する画像処理で用いる演算パラメータは互いに近似したものである。したがって、これらの共通単位画素の演算パラメータとして同一の演算パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。その結果、パラメータ記憶手段に記憶しておく演算パラメータの数が、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その使い回し分だけ少なくできる。
【００７４】
（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、上記光学フィルタ２は、複数種類のフィルタ領域をストライプ状に配列したものである。
これによれば、複数種類のフィルタ領域２ａ，２ｂを例えば市松模様状に配列した場合よりも、光学フィルタ２を安価に製造できる。
【００７５】
（態様Ｆ）
上記態様Ｅにおいて、上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されている。
これによれば、傾斜していない構成よりも、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置されやすく、演算精度を高めやすい。
【００７６】
（態様Ｇ）
上記態様Ｆにおいて、上記受光素子アレイの縦方向における受光素子間隔をｎとし、横方向における受光素子間隔をｍとしたとき、上記光学フィルタ２は、上記複数種類のフィルタ領域の縦方向長さＮが上記式（１）を満たし、該複数種類のフィルタ領域の横方向長さＭが上記式（２）を満たすように構成されている。
これによれば、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置され、演算精度を高めることができる。
【００７７】
（態様Ｈ）
上記態様Ｇにおいて、上記式（１）中のＡに対する上記式（２）中のＢの比率が１／２又は２であることを特徴とする撮像装置。
これによれば、注目画素の光学成分の演算内容が複雑化しない範囲で、演算精度を高めることができる。
【００７８】
（態様Ｉ）
上記態様Ａ〜Ｈのいずれかの態様において、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されている。
これによれば、受光素子アレイから出力される画像信号から特定の偏光成分を抽出することができる。
【００７９】
以上の説明では、光学フィルタ２の選択フィルタ領域を、所定の偏光成分を選択的に透過させる偏光フィルタで構成して、互いに異なる２つの偏光成分から差分偏光度画像を生成する場合について説明したが、光学フィルタ２の選択フィルタ領域を、特定の波長成分を選択的に透過させる分光フィルタで構成して、互いに異なる複数の波長成分から例えば色分解画像を生成する場合でも、本発明を同様に適用できる。
また、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本発明に係る撮像装置は、本実施形態に限らず、幅広い分野に応用することができる。
【符号の説明】
【００８０】
１ 撮像レンズ
２ 光学フィルタ
２ａ 透過領域
２ｂ 横偏光フィルタ領域
４ 画像センサ
４ａ フォトダイオード（受光素子）
５ Ａ／Ｄ変換部
６ 信号処理部
１０ 偏光カメラ
３１ ラインバッファ部
３２ ＳＰＩフラッシュメモリ
４０ パラメータ制御部
４１ ＣＰＵ
５０ 差分偏光度画像生成部
５１ アドレス計算部
５２ 係数生成部
５３ 偏光分離処理部
５４ 差分偏光度計算部
５５ 差分偏光度画像計算部
【先行技術文献】
【特許文献】
【００８１】
【特許文献１】特開２００７−０８６７２０号公報
【特許文献２】特許３７７１０５４号公報
【特許請求の範囲】
【請求項１】
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタを通じて、又は、１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が２次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、
該撮像手段から出力された画像信号から、該画像信号に対応する単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を算出する画像処理を実行する画像処理手段と、
全単位画素に対応する演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した少なくとも２つの単位処理領域を構成する単位画素に対応した演算パラメータを記憶し、演算パラメータが記憶されている単位画素で構成された単位処理領域の間に位置した特定単位処理領域を構成する単位画素についての演算パラメータは記憶しないパラメータ記憶手段とを備え、
上記画像処理手段は、上記特定単位処理領域を構成する単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータを、該特定単位処理領域を挟み込む単位処理領域を構成する単位画素についての演算パラメータを用いた補間処理により生成し、生成した演算パラメータを用いて該特定単位処理領域を構成する単位画素についての光学成分を算出することを特徴とする撮像装置。
【請求項２】
請求項１の撮像装置において、
上記特定単位処理領域は、演算パラメータが記憶されている単位画素で構成されていて当該特定単位処理領域に隣接している２つの単位処理領域に挟み込まれるように位置していることを特徴とする撮像装置。
【請求項３】
請求項１又は２の撮像装置において、
上記補間処理は線形補間処理であることを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の撮像装置において、
上記撮像手段は、上記光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい１種類又は２種類以上の共通単位画素が周期的に存在するように構成されており、
上記画像処理手段は、各単位処理領域を、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成されるように区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記画像処理を実行することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の撮像装置において、
上記光学フィルタは、複数種類のフィルタ領域をストライプ状に配列したものであることを特徴とする撮像装置。
【請求項６】
請求項５の撮像装置において、
上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、
上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されていることを特徴とする撮像装置。
【請求項７】
請求項６の撮像装置において、
上記受光素子アレイの縦方向における受光素子間隔をｎとし、横方向における受光素子間隔をｍとしたとき、上記光学フィルタは、上記複数種類のフィルタ領域の縦方向長さＮが下記の式（１）を満たし、該複数種類のフィルタ領域の横方向長さＭが下記の式（２）を満たすように構成されていることを特徴とする撮像装置。
Ｎ ＝ Ａ × ｎ ・・・（１）
Ｍ ＝ Ｂ × ｍ ・・・（２）
ただし、Ａ及びＢは自然数であり、かつ、Ａ≠Ｂを満たすものである。
【請求項８】
請求項７の撮像装置において、
上記式（１）中のＡに対する上記式（２）中のＢの比率が１／２又は２であることを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の撮像装置において、
上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。
【請求項１】
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタを通じて、又は、１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が２次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像手段と、
該撮像手段から出力された画像信号から、該画像信号に対応する単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を算出する画像処理を実行する画像処理手段と、
全単位画素に対応する演算パラメータのうち、全単位画素を３以上の単位処理領域に区分したときに互いに離間した少なくとも２つの単位処理領域を構成する単位画素に対応した演算パラメータを記憶し、演算パラメータが記憶されている単位画素で構成された単位処理領域の間に位置した特定単位処理領域を構成する単位画素についての演算パラメータは記憶しないパラメータ記憶手段とを備え、
上記画像処理手段は、上記特定単位処理領域を構成する単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータを、該特定単位処理領域を挟み込む単位処理領域を構成する単位画素についての演算パラメータを用いた補間処理により生成し、生成した演算パラメータを用いて該特定単位処理領域を構成する単位画素についての光学成分を算出することを特徴とする撮像装置。
【請求項２】
請求項１の撮像装置において、
上記特定単位処理領域は、演算パラメータが記憶されている単位画素で構成されていて当該特定単位処理領域に隣接している２つの単位処理領域に挟み込まれるように位置していることを特徴とする撮像装置。
【請求項３】
請求項１又は２の撮像装置において、
上記補間処理は線形補間処理であることを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の撮像装置において、
上記撮像手段は、上記光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい１種類又は２種類以上の共通単位画素が周期的に存在するように構成されており、
上記画像処理手段は、各単位処理領域を、同一種類の共通単位画素を複数含んだ互いに隣接する４つ以上の単位画素で構成されるように区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記画像処理を実行することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の撮像装置において、
上記光学フィルタは、複数種類のフィルタ領域をストライプ状に配列したものであることを特徴とする撮像装置。
【請求項６】
請求項５の撮像装置において、
上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、
上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されていることを特徴とする撮像装置。
【請求項７】
請求項６の撮像装置において、
上記受光素子アレイの縦方向における受光素子間隔をｎとし、横方向における受光素子間隔をｍとしたとき、上記光学フィルタは、上記複数種類のフィルタ領域の縦方向長さＮが下記の式（１）を満たし、該複数種類のフィルタ領域の横方向長さＭが下記の式（２）を満たすように構成されていることを特徴とする撮像装置。
Ｎ ＝ Ａ × ｎ ・・・（１）
Ｍ ＝ Ｂ × ｍ ・・・（２）
ただし、Ａ及びＢは自然数であり、かつ、Ａ≠Ｂを満たすものである。
【請求項８】
請求項７の撮像装置において、
上記式（１）中のＡに対する上記式（２）中のＢの比率が１／２又は２であることを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の撮像装置において、
上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図４】
【図５】
【図１１】
【図１２】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図４】
【図５】
【図１１】
【図１２】
【公開番号】特開２０１３−５５３８２（Ｐ２０１３−５５３８２Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９０２７７（Ｐ２０１１−１９０２７７）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]