説明

撮像装置、並びに、これを用いる画像解析装置及び移動装置

【課題】撮像領域内の各地点からの光に含まれる偏光成分間の大きさの違いを示す指標値に基づく画素値をもった偏光情報画像の高精度な解析処理を実現することを課題とする。
【解決手段】水平偏光成分P及び鉛直偏光成分Sの大きさの違いを示す差分偏光度(指標値)を算出し、算出した各指標値に基づく画素値をもった差分偏光度画像(偏光情報画像)を撮像するという撮像動作を連続して行うことで、露光量が互いに異なる例えば3種類の偏光情報画像を撮像する。そして、過去の撮像動作により撮像された3種類の偏光情報画像の中から、偏光成分間の大きさの違いが最大である特定の偏光情報画像を選定し、選定した特定の偏光情報画像に対応する露光量に基づいて後の撮像動作時の露光量を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像領域内の各地点からの光に含まれる互いに偏光方向が異なった複数の偏光成分の大きさの違いを示す指標値を算出し、算出した各指標値に基づく画素値をもった偏光情報画像を撮像する撮像装置、並びに、これを用いる画像解析装置及び移動装置に関するものである。
【背景技術】
【0002】
この種の撮像装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの物体識別処理に広く利用されている。具体例を挙げると、例えば、車両の運転者(ドライバー)の運転負荷を軽減させるための、ACC(Adaptive Cruise Control)等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲の状況を示す様々な情報をできるだけ正確に得ることが重要である。自車両周囲の状況を示す情報としては、例えば、自車両周囲に存在する障害物、他車両、車線(白線やボッツドッツ等)、マンホール蓋などの路面構成物、ガードレールなどの路端構造物などの各種物体の位置情報、路面が乾燥状態か湿潤状態かを示す路面乾湿情報、日向部分か影部分かを示す日照情報などが挙げられる。
【0003】
一般的な撮像装置は、撮像領域からの光の強さ(輝度情報)を検出し、この輝度情報に基づいて撮像画像を得るというものである。しかしながら、近年、撮像領域内に存在する物体の形状や材質、表面状態などの検出(センシング)のために偏光情報を反映した撮像画像(偏光情報画像)を得ることができる撮像装置が注目されている。この撮像装置は、特定偏光した光または非偏光の自然光が照射された物体からの反射光(鏡面反射光または拡散反射光)が、その物体の表面の向きやその物体に対する撮像位置などの幾何学的要因や物体の表面材質などによって種々の部分偏光を呈することを利用する。このような撮像装置によれば、撮像領域内の物体からの反射光に含まれる互いに偏光方向が異なっている複数の偏光成分についての2次元分布を取得することができる。そして、撮像領域内の物体からの光に含まれる偏光成分間の大きさの違いを比較することで、輝度情報だけでは取得することが困難な物体位置情報、路面乾湿情報、日照情報などを、より高い精度で得ることが可能となる。
【0004】
特許文献1には、垂直偏光成分のみ透過する偏光フィルタを介して撮像する撮像素子と、水平偏光成分のみ透過する偏光フィルタを介して撮像する撮像素子とを並列配置させた撮像装置が開示されている。この撮像装置では、前者の撮像素子から、撮像領域内の物体からの反射光に含まれる垂直偏光成分の2次元強度分布を表現した垂直偏光画像の画像信号が出力され、後者の撮像素子から、撮像領域内の物体からの反射光に含まれる水平偏光成分の2次元強度分布を表現した水平偏光画像の画像信号が出力される。この撮像装置では、これらの垂直偏光画像及び水平偏光画像の画像信号について、視差による位置ズレを補正した後、画素ごとに水平偏光強度に対する垂直偏光強度の比率を示す偏光比を算出し、その偏光比を画素値とした偏光比画像(偏光情報画像)を得ることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1に記載の撮像装置が撮像する偏光比画像を解析することで、物体位置情報などの上述した各種情報を得ることが可能である。また、このような偏光比画像だけでなく、撮像領域内の各地点からの光に含まれる偏光成分間の大きさの違いを示す指標値に基づく画素値をもった偏光情報画像、例えば、これらの偏光成分間の差分値や、これらの偏光成分の合計値に対するこれらの偏光成分の差分値の比率を示す差分偏光度などを指標値としたものも、同様である。
【0006】
このような指標値に基づく画素値をもった偏光情報画像を解析する場合、その指標値の算出に用いる偏光成分のうちのいずれか1つにでも、その偏光成分を受光する受光素子の受光量が光量検出範囲の上限値である飽和値を示したものであると、不正確な指標値が算出されてしまう。このような不正確な指標値が多い偏光情報画像について画像解析を行うと、その解析結果に誤りが生じ、上述した各種情報について正確な情報を得ることが困難となるといった不具合が発生する。このような不具合の発生を抑制する方法としては、どのような撮影状況でも各受光素子の受光量が飽和値を示さないように、十分な余裕を持った低い露光量で撮像動作を行うという方法が挙げられる。しかしながら、この方法では、いずれの偏光成分も全体的に少ない受光量を示すようになるので、これらの偏光成分間の大きさの違いを示す指標値がとり得る範囲は狭いものとなる。その結果、指標値に基づく画素値をもった偏光情報画像のコントラストが低くなるなどの弊害をもたらし、偏光情報画像の解析処理の精度が落ちるという問題が生じる。
【0007】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像領域内の各地点からの光に含まれる偏光成分間の大きさの違いを示す指標値に基づく画素値をもった偏光情報画像の高精度な解析処理を実現することが可能な撮像装置及びこれを用いる画像解析装置を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は、撮像領域内の各地点からの光に含まれる互いに偏光方向が異なった複数の偏光成分の大きさの違いを示す指標値を算出し、算出した各指標値に基づく画素値をもった偏光情報画像を撮像する撮像動作を連続して行って偏光情報画像の動画像を得る撮像手段を備えた撮像装置において、上記撮像動作を連続して行っている合間の所定の露光量調整タイミングで、上記複数の偏光成分の大きさの違いが最大となるように露光量を調整する露光量調整手段を有することを特徴とするものである。
【0009】
本発明によれば、上記露光量調整手段により調整された露光量で撮像動作を行うことにより、撮像領域内の各地点からの光に含まれる互いに偏光方向が異なった複数の偏光成分の大きさの違いをより大きくできる露光量で撮像動作を行うことができる。これにより、これらの偏光成分の大きさの違いを示す指標値に基づく画素値をもった偏光情報画像を高いコントラストで撮像することが可能となり、コントラストが低いことによる偏光情報画像の解析処理精度の低下を抑制することができる。
【0010】
また、本発明のように、複数の偏光成分間の大きさの違いが最大となるように露光量を調整することで、飽和値を示す受光素子の数を減らす効果も期待でき、不正確な指標値の画素数を減少させて偏光情報画像の高精度な解析処理を実現することも可能となる。
この点について具体的な数値を例示して説明すると、例えば、ある露光量(以下「第1露光量」という。)で2つの偏光成分を受光した場合に、一方の偏光成分を受光する受光素子の受光量が飽和値を示したとする。具体的には、一方の偏光成分の検出値が受光素子の光量検出範囲の上限値である255(飽和値)であり、他方の偏光成分の検出値が100であったとする。この例において、これらの偏光成分間の大きさの違いは、これを差分値で示すと155となる。このとき、飽和値を示した受光素子が実際に受光した光量は、その受光素子の光量検出範囲の上限値よりも多く、このときの光量を受光素子の検出値に換算して仮に270であったとする。ここで、飽和値を示していた偏光成分が飽和値を示さないように、例えば飽和値を示していた偏光成分の検出値が250となるような露光量(以下「第2露光量」という。)に落としたとする。この場合、いずれの偏光成分についても、露光量を落とした分だけ受光量は落ちる。そのため、露光量を落とす前の段階で飽和値を示していなかった偏光成分の検出値は、露光量を落とした分だけ落ち込み、例えば100から85程度になる。しかしながら、飽和値を示していた偏光成分についての検出値は、255から250へと僅かに変化するだけである。そのため、これらの偏光成分間の大きさの違い(差分値)を見ると、一方の偏光成分が飽和値を示していた露光量の場合(差分値=155)よりも、いずれの偏光成分も飽和値を示さない露光量の場合(差分値=165)の方が、大きいものとなる。これは、言い換えると、偏光成分間の大きさの違いが大きくなるように露光量を調整すれば、上記の例においては飽和値を示す偏光成分を減らすことができることを意味する。したがって、本発明のように偏光成分間の大きさの違いが大きくなるように露光量を調整して撮像動作を行うことで、飽和値を示す偏光成分を用いた不正確な指標値の画素数を減少させることが可能であり、この場合、より正確な画素値をもった偏光情報画像を用いた高精度な解析処理を実現することが可能となる。
【発明の効果】
【0011】
以上より、本発明によれば、撮像領域内の各地点からの光に含まれる偏光成分間の大きさの違いを示す指標値に基づく画素値をもった偏光情報画像の高精度な解析処理を実現することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【0012】
【図1】実施形態における撮像車載機器制御システム全体の概略を示す模式図である。
【図2】実施形態における撮像車載機器制御システムの概略構成を示す模式図である。
【図3】実施形態で用いる偏光フィルタの説明図である。
【図4】画像センサの動作タイミングを示すタイミングチャートである。
【図5】画像処理部を示すブロック図である。
【図6】画像処理部の他の例を示すブロック図である。
【図7】露光量制御部による露光量決定処理の流れを示すフローチャートである。
【図8】変形例の露光量制御部が行う露光量制御を示す制御ブロック図である。
【図9】変形例の露光量制御の流れを示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明に係る撮像装置を、車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う画像解析装置を搭載したその他のシステムにも適用できる。
【0014】
図1は、本実施形態における車載機器制御システム全体の概略を示す模式図である。
図2は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの移動装置である自車両400に搭載された撮像部100で撮像した自車両進行方向前方領域(撮像領域)の撮像画像を画像処理部200で解析して、撮像領域内に存在する検出対象物の位置を検出し、その検出結果を表示部300に表示して運転者に有益な情報(車走行補助用情報)を提供するものである。本実施形態の車載機器制御システムに設けられる撮像装置は、主に、撮像部100、画像処理部200、表示部300とから構成される。
【0015】
撮像部100は、例えば、自車両400のフロントガラス105のルームミラー付近に設置され、走行する自車両400の進行方向前方領域を撮像領域とする。撮像部100は、主に、撮像レンズ等の光学系101と、光学フィルタである偏光フィルタ103と、受光素子が2次元配置された画素アレイで構成された画像センサ102とから構成されている。
【0016】
図3は、本実施形態で用いる偏光フィルタ103の説明図である。
本実施形態の偏光フィルタ103は、画像センサ102の受光素子102aの縦列(鉛直方向)に平行に振動する鉛直偏光成分のみを選択して透過させる鉛直偏光領域(第1領域)103aと、画像センサ102の受光素子102aの横列(水平方向)に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域(第2領域)103bとが、2次元方向で交互に隣接するように格子状に配置されて市松状に領域分割されたものである。偏光フィルタ103の各領域は、画像センサ102上における1つの受光素子102a(単位領域)にそれぞれ対応している。
【0017】
なお、本実施形態の偏光フィルタ103としては、鉛直偏光成分又は水平偏光成分のみを選択して透過させる偏光領域(第1領域)と、偏光成分の選択を行わずに非偏光の光を透過させる非偏光領域(第2領域)とによって構成される偏光フィルタを用いてもよい。この場合、鉛直偏光成分及び水平偏光成分のいずれか一方は、偏光領域を透過した光を受光する受光素子102aの受光量から直接得ることができる。他方の偏光成分については、受光素子102aの受光量から直接得ることができないので、例えば、非偏光領域を透過した光を受光する受光素子102aの受光量から、これに隣接する偏光領域を透過した光を受光する受光素子102aの受光量を差し引いた値から、推定する。
【0018】
偏光フィルタ103の鉛直偏光領域に対向した受光素子は、鉛直偏光成分を受光してその受光量に応じた出力信号を出力し、偏光フィルタ103の水平偏光領域に対向した受光素子は、水平偏光成分を受光してその受光量に応じた出力信号を出力する。したがって、本実施形態によれば、鉛直偏光成分の偏光画像データと水平偏光成分の偏光画像データとを1回の撮像動作で得ることができる。画像センサ102の各受光素子102aから出力される出力信号に基づき、画像センサ102からは、何も処理されていないそのままの偏光RAW画像データとして、各受光素子102aの受光量に応じたデジタル信号値を画像の水平・垂直同期信号とともに画像処理部200へと出力する。
【0019】
図4は、画像センサ102の動作タイミングを示すタイミングチャートである。
図4のタイミングチャート中の各用語の意味は、以下のとおりである。
「Frame no.」は、フレーム番号であり、実在する信号ではなく、説明の便宜上のものである。
「FV(Flame Valid)」は、垂直同期信号(垂直有効期間信号)である。
「LV(Line Valid)」は、水平同期信号(水平有効期間信号)である。
「Interrupt」は、垂直同期信号FVの立ち下がりタイミングを起点に生成されて、露光制御部202内のCPUに入力される割り込み処理の基点となる信号である。
「Exposure Calc」は、露光時間計算期間を示すものであり、実在する信号ではなく、説明の便宜上のものである。
「Exposure time」は、露光時間を示すものであり、具体的には、画像センサ102の各受光素子102aを構成するフォトダイオードの電荷蓄積時間を示すものである。
「Output Image」は、画像センサ102から出力される偏向RAW画像データである。
【0020】
画像センサ102から出力される各受光素子102aの受光量に応じた各デジタル信号値(各撮像画素の信号値)は、その画像データのどこからどこまでが一画面にあたるのかを示す垂直同期信号と、その画像データのどこからどこまでが横1ライン分(1行分)にあたるのかを示す水平同期信号とに同期して、1つずつピクセル同期信号に合わせて順次出力する。画像処理部200は、画像センサ102から出力されるこれらの同期信号に合わせて、各撮像画素の信号値を受信することで、偏光RAW画像データを適切に取得することができる。
【0021】
図5は、画像処理部200を示すブロック図である。
画像処理部200は、主に、画像解析部201と露光量制御部202とから構成されている。また、画像解析部201は、主に、画像情報生成部203と、車走行補助用情報生成部204とから構成されている。
【0022】
画像解析部201の画像情報生成部203は、撮像部100から出力された偏光RAW画像データから、各画像画素について、その鉛直偏光成分と水平偏光成分の大きさの違いを示す指標値を算出し、偏光情報として出力する。ここで使用する指標値としては、例えば、水平偏光成分Pに対する鉛直偏光成分Sの比率である偏光比(S/P)を用いることもできるし、水平偏光成分Pと鉛直偏光成分Sの合計値に対するこれらの偏光成分の差分値の比率である差分偏光度((P−S)/(P+S))を用いることもできる。
【0023】
指標値として偏光比を用いる場合、水平偏光成分Pが小さい値であるとき(P≒0)のとき、算出される偏光比は∞に近い値をとることになり、適正な値を得ることができない。また、指標値として差分偏光度を用いる場合、水平偏光成分Pと鉛直偏光成分Sの合計値が小さい値であるとき(P+S≒0)のとき、算出される差分偏光度が∞に近い値をとることになり、適正な値を得ることができない。両者を比較すると、適正な値を得ることができない状況になる確率が、前者の偏光比よりも後者の差分偏光度の方が少ないので、好ましい。ただし、偏光比は、鉛直偏光成分Sが小さい値であるとき(S≒0)のときには正確な値を得ることができる。以下、本実施形態では、差分偏光度を指標値(偏光情報)として用いる場合について説明する。
【0024】
また、画像情報生成部203は、差分偏光度のほか、後段の車走行補助用情報生成部204の処理に用いる他のデータも生成して出力する。例えば、本実施形態では、撮像領域内の各地点からの光の受光量に応じたモノクロ輝度情報も出力する。このモノクロ輝度情報は、水平偏光成分Pと鉛直偏光成分Sの合計値(P+S)を代用することができる。なお、本実施形態では、図5に示すように、画像情報生成部203において、偏光情報(差分偏光度)及びモノクロ輝度情報の両方を生成する場合について説明したが、図6に示すように、モノクロ輝度情報を生成するモノクロ情報生成部205と、偏光情報(差分偏光度)を生成する偏光情報生成部206とに分けて、これらの情報生成処理を並行して行うことができるようにしてもよい。
【0025】
画像解析部201の車走行補助用情報生成部204は、画像情報生成部203から出力された各画像画素の差分偏光度をフレームメモリ204a内に一旦保持し、その差分偏光度に基づいて、各画像画素の画素値をもった偏光情報画像の画像データを生成する。このとき、差分偏光度の値はマイナス値の範囲からプラス値の範囲まで分布するので、例えば、ゼロを中心とした有効範囲を画像画素値の範囲(例えば0〜255)に規格化し、規格化した数値を画素値とする。画像情報生成部203から出力された各画像画素のモノクロ輝度情報については、その有効範囲を画像画素値の範囲(例えば0〜255)に規格化し、規格化した数値を画素値とすればよい。
【0026】
車走行補助用情報生成部204は、このようにして求めた差分偏光度画像データや輝度画像データを用いて、自車両周囲に存在する障害物、他車両、車線(白線やボッツドッツ等)、マンホール蓋などの路面構成物、ガードレールなどの路端構造物などの各種物体位置情報、路面が乾燥状態か湿潤状態かを示す路面乾湿情報、日向部分か影部分かを示す日照情報などを、車走行補助用情報として生成する。生成された車走行補助用情報は表示部300に送られ、運転者に提供される。
【0027】
画像処理部200露光量制御部202は、画像解析部201の画像情報生成部203が出力した差分偏光度(偏光情報)に基づいて、次回の撮像動作時における露光量(露光時間、ゲイン)を決定し、画像センサ102の設定を変更する処理を行う。このゲインとは、画像センサ102の受光素子で受光した受光量を示す信号の増幅率に対応する。
【0028】
図7は、露光量制御部202による露光量決定処理の流れを示すフローチャートである。
まず、露光量制御部202は、画像センサ102に対し、1フレームごとに(1つの画像ごとに)、互いに異なる複数の露光量(露光時間、ゲイン)を順次設定する(S1)。ここでは、E1(t)、E2(t)、E3(t)という3種類の露光量を順次設定する場合で説明する。この場合、画像センサ102を60FPSで駆動させた場合、それぞれの露光量についての画像を、20FPSの動画として表示することが可能である。なお、3種類の露光量の大小関係は、E1(t)<E2(t)<E3(t)である。
【0029】
このようにして露光量が順次設定される画像センサ102からは、それぞれの露光量で受光された偏光RAW画像データが順次出力され、これが画像解析部201の画像情報生成部203に入力される。そして、露光量制御部202は、画像情報生成部203で生成される3種類の露光量のフレームについての差分偏光度を取得する(S2)。露光量制御部202は、取得した差分偏光度について、フレームごとに、そのフレーム全体の差分偏光度の絶対値の総和σ1(t)、σ2(t)、σ3(t)を算出する(S3)。そして、露光量が異なる3つのフレームの中で、差分偏光度の絶対値の総和σ1(t)、σ2(t)、σ3(t)が最大であるフレームを選定する(S4)。その後、露光量制御部202は、選定したフレームの露光量を、又は当該露光量を所定の演算式に代入して得た演算結果を、次の3種類の露光量の中央値E2(t+2)として決定する(S5)。
【0030】
露光時間の具体的な設定方法は、次のようにして行う。
露光量制御部202は、垂直同期信号FV、水平同期信号LV、割り込み信号(Interrupt)を生成し、更に割り込み信号(Interrupt)を起点に割り込み処理を行うことで、次の3種類の露光時間(exposure time)を算出する。算出された露光時間は画像センサ102へ供給される。ここで、画像センサ102へ供給される露光時間(exposure time)の制御信号は、露光期間を直接示す信号ではなく、水平同期信号LVとピクセル同期信号PCLKの数を示す信号である。したがって、露光時間(exposure time)の設定値は、この制御信号を受けた画像センサ102によって作成される。
【0031】
図4に示すタイミングチャートを参照して説明を進めると、フレーム番号1〜3(不図示)に対応する偏光RAW画像データA1,B2,C3(不図示)は、予め記憶された値に基づいて設定された露光時間E1(t),E2(t),E3(t)で撮像されたものである。その後、フレーム番号4の垂直同期信号FVの立ち下がりタイミングを起点とした割り込み信号(Interrupt)を受けて、これらの偏光RAW画像データA1,B2,C3に基づき、フレーム番号6〜8で設定される3種類の露光時間E1(t+2),E2(t+2),E3(t+2)が計算される。そして、3種類の露光時間E1(t+2),E2(t+2),E3(t+2)で撮像される偏光RAW画像データは、フレーム番号7〜9に対応する偏光RAW画像データA7,B8,C9として得られる。なお、フレーム番号4〜6に対応する偏光RAW画像データA4,B5,C6を撮像する際の露光時間E1(t+1),E2(t+1),E3(t+1)は、フレーム番号3〜5で露光時間E1(t),E2(t),E3(t)と同じ露光時間に設定される。
【0032】
つまり、フレーム番号が3n+1(n≧1)を満たす時の割り込み処理においては、その2フレーム後の3n+3から始まる3フレームの間で設定される露光時間(3n+4から始まる3フレームに対応する偏光RAW画像データを撮像するための露光時間)を計算するとともに、事前に求めておいたそのフレームで使用する露光時間の設定も行う。一方、フレーム番号が3n及び3n+2(n≧1)を満たす時の割り込み処理においては、事前に求めておいたそのフレームで使用する露光時間の設定だけを行い、露光時間の計算は行わない。
【0033】
3種類の露光時間E1(t+2),E2(t+2),E3(t+2)の制御信号は、順次、画像センサ102へ出力され、画像センサ102は、その制御信号に従って露光時間を設定する。詳しくは、露光時間の設定値は、画像センサ102のAEC(Automatic Exposure Control)ユニットに入力され、これにより、画像センサ102の各受光素子102aを構成するフォトダイオードの電荷蓄積時間が決定される。画像センサ102は、露光動作を開始する際、まず、各受光素子102aを構成するフォトダイオードの蓄積電荷をゼロにリセットする処理を行う。そして、決定された電荷蓄積時間が経過したら、その電荷蓄積時間内に各フォトダイオードに蓄積された電荷が電荷検出部によって検出される。電荷検出部からは、検出した電荷量に応じた電圧信号が、各撮像画素の信号値として出力される。なお、露光量制御部202からは、ゲインの設定値に係る制御信号も出力され、この制御信号は画像センサ102のAGC(Automatic Gain Control)ユニットに入力されて、そのゲインによる撮像動作が行われる。
【0034】
本実施形態では、各画像画素に対応する差分偏光度の違い(水平偏光成分と鉛直偏光成分との大きさの違い)が最大となるフレーム(差分偏光度画像)を選定する方法として、各差分偏光度の絶対値の総和が最大であることを条件として選定している。これは、水平偏光成分の値をmとし、鉛直偏光成分の値をnとし、これらの差分偏光度をP(m,n)としたとき、Σ|P(m,n)|が最大となる条件を意味する。また、例えば、各差分偏光度の二乗和の平方根が最大であることを条件としてもよい。この場合、(Σ(P(m,n)2))0.5が最大となる条件となる。
【0035】
本実施形態では、以上の処理を繰り返しながら差分偏光度画像の撮像動作を継続して行う。車走行補助用情報生成部204では、3種類の露光量E1(t),E2(t),E3(t)のうち、中央値E2(t)の差分偏光度だけを用いて、差分偏光度画像の画像データを生成する。これにより、車走行補助用情報生成部204は、差分偏光度の絶対値の総和が大きい差分偏光度画像、すなわち、水平偏光成分と鉛直偏光成分の大きさの違いが大きい差分偏光度画像を用いて、車走行補助用情報として生成することができる。
【0036】
ここで、鉛直偏光成分または水平偏光成分のいずれか又は両方がゼロ付近である差分偏光度、または、鉛直偏光成分または水平偏光成分のいずれか又は両方が受光量の飽和値付近である差分偏光度については、上述した選定条件(水平偏光成分と鉛直偏光成分との大きさの違いが最大となるフレームの選定条件)を判断するための総和計算の対象から除外してもよい。このような差分偏光度は、水平偏光成分と鉛直偏光成分の大きさの違いを正確に反映したものではなく、不正確なものであるためである。
【0037】
具体的に説明すると、例えば、実際の鉛直偏光成分が600で水平偏光成分が200である場合、その差分偏光度は、本来、(200−600)/(200+600)=−0.5である。なお、偏光比だと、600/200=3である。しかしながら、画像センサ102の受光素子が0〜255に相当する受光量までしか検出できないものであると、検出される鉛直偏光成分の値は255となり、水平偏光成分は200となる。この場合の差分偏光度は、(200−255)/(200+255)≒−0.12であり、偏光比だと255/200=1.275である。したがって、得られる差分偏光度は、実際の鉛直偏光成分及び水平偏光成分における差分偏光度や偏光比と異なったものとなり、不正確な値(精度の低い値)を示すことになる。このような不正確な差分偏光度や偏光比などの偏光情報は、最適な露光量を決定する際の誤判断の原因となる。
【0038】
また、例えば、実際の鉛直偏光成分が0.5(ゼロ付近)で水平偏光成分が200である場合、その差分偏光度は、本来、(200−0.5)/(200+0.5)=−0.995である。なお、偏光比だと、1.0/200=0.0025である。また、実際の鉛直偏光成分が1.0(ゼロ付近)で水平偏光成分が200である場合、その差分偏光度は、本来、(200−1.0)/(200+1.0)≒−0.990である。なお、偏光比だと、1.0/200=0.005である。このように、一方の偏光成分(ここの例では鉛直偏光成分)がゼロ付近であると、差分偏光度の値が極端に小さい値となり、最適な露光量の決定にほとんど影響しないばかりか、ゼロ付近の偏光成分はノイズの影響が大きいので、その偏光成分の値自体の信頼性が低いので、総和計算の対象から除外するのがよい。両方の偏光成分がゼロ付近である場合には、ノイズの影響が大きい両偏光成分から得られる差分偏光度の値は信頼性が低い(精度が低い)ので、総和計算の対象から除外するのがよい。
【0039】
このように、鉛直偏光成分または水平偏光成分のいずれか又は両方がゼロ付近である差分偏光度、または、鉛直偏光成分または水平偏光成分のいずれか又は両方が受光量の飽和値付近である差分偏光度は、実際の差分偏光度から外れた値が算出され、不正確な値であることが多い。よって、例えば、画像解析部201の画像情報生成部203において偏光情報画像の画像データを生成する際、そのような差分偏光度に基づく画像画素については無効な画素として取り扱い、車走行補助用情報の生成に際してこのような差分偏光度を利用しないようにするのが好ましい。これにより、精度の悪い差分偏光度を除外した差分偏光度から車走行補助用情報を生成できるので、車走行補助用情報の精度が向上する。
【0040】
〔変形例〕
以下、上記実施形態における露光量制御部202の一変形例について説明する。
図8は、本変形例の露光量制御部202が行う露光量制御を示す制御ブロック図である。
図9は、本変形例の露光量制御の流れを示すフローチャートである。
本変形例では、画像センサ102から出力される偏光RAW画像データは、画像解析部201だけでなく、露光量制御部202にも入力される。露光量制御部202は、画像センサ102からの偏光RAW画像データに基づいて、画像センサ102上の全受光素子(撮像画素)の受光量データのヒストグラムをヒストグラム作成部301にて作成する(S21)。具体的には、ヒストグラム作成部301は、所定数に区分された受光量範囲ごとに、それぞれの受光量範囲に属する撮像画素の個数をカウントする。このとき、撮像画像を複数の画像領域に区分して、画像領域ごとにヒストグラムを作成するようにしてもよい。
【0041】
対象画素カウント部302、差分算出部303、最適露光量算出部304、ゲイン決定部305、露光時間算出部306及び制御信号出力部307は、高輝度の撮像画素の個数を目標画素数に近づけるための処理である。本変形例において、画像センサ102は、各受光素子(撮像画素)について、0〜255の範囲を示す8bitデータからなる受光量データを出力する。そのため、飽和している受光量データの値は255となる。本変形例では、受光量データが255に近い高輝度の撮像画素の数を、0個〜少数個の目標画素数以下となるように制御することで、飽和した受光量データが検出される頻度を小さくする。
【0042】
対象画素カウント部302は、ヒストグラム作成部301からヒストグラムデータを受け取ったら、高輝度撮像画素の個数の総和Nbrightnessをカウントする(S22)。高輝度撮像画素か否かの判断は、例えば、受光量データが予め決められた上限閾値(例えば230)を超える撮像画素を高輝度撮像画素と判断すればよい。差分算出部303は、高輝度撮像画素の個数の総和Nbrightnessと予め設定された目標画素数Ntargetとの差分値Errorを算出する(S23)。
【0043】
最適露光量算出部304は、高輝度撮像画素の個数の総和Nbrightnessが予め設定された目標画素数Ntargetに近づくように、以下のような処理を行う。すなわち、差分算出部303が算出した高輝度撮像画素の個数の総和Nbrightnessと目標画素数Ntargetとの差分値Errorから、PID制御法を用いて、最適露光量変化分updataを計算する(S24)。具体的には、下記の式(1)より最適露光量変化分updataを算出する。
updata = Kphist × (error−error
+ Kihist × error
+ Kdhist × (error−error
−(error−error) ・・・(1)
【0044】
上記式(1)において、「error」は、1フレーム前における高輝度撮像画素の個数の総和Nbrightnessと目標画素数Ntargetとの差分値であり、「error2」は、2フレーム前における高輝度撮像画素の個数の総和Nbrightnessと目標画素数Ntargetとの差分値である。また、「Kphist」、「Kihist」、「Kdhist」は、PID制御係数である。このPID制御係数は、各種実験等により適宜設定されるもので、本変形例では正規化する係数も含めているものとする。
【0045】
ゲイン決定部305は、最適露光量算出部304が出力する最適露光量変化分updataから、最適露光量exposureを算出する(S25)。そして、最適露光量exposureの大きさに応じて、設定するゲインを決定する(S26)。具体的には、ゲイン決定部305は、予め、画像センサ102が取り得る露光時間を最大にしたときの最大露光量exposuremaxのデータを保有している。なお、本変形例における最大露光量exposuremaxは、下記の式(2)により求めたものである。なお、本変形例では、Ncolumn=845で、Nrow=525である。
exposuremax = Ncolumn × Nrow ・・・(2)
【0046】
ゲイン決定部305は、最適露光量変化分updataから算出した最適露光量exposureが最大露光量exposuremaxを超えるとき、ゲインを上げて最適露光量exposureが得られるように露光量を調整する。具体的には、最適露光量exposureが最大露光量exposuremax以下である場合には、ゲインの設定を1倍にする。一方、最適露光量exposureが最大露光量exposuremaxよりも大きく、かつ、最大露光量exposuremaxの2倍以下である場合には、ゲインの設定を2倍に変更する。また、最適露光量exposureが最大露光量exposuremaxの2倍よりも大きく、かつ、最大露光量exposuremaxの3倍以下である場合には、ゲインの設定を3倍に変更する。また、最適露光量exposureが最大露光量exposuremaxの3倍よりも大きく、かつ、最大露光量exposuremaxの4倍以下である場合には、ゲインの設定を4倍に変更する。以下、同様にして、最適露光量exposureが最大露光量exposuremaxの(n−1)倍よりも大きく、かつ、最大露光量exposuremaxのn倍以下である場合には、ゲインの設定をn倍に変更する。
【0047】
ゲイン決定部305は、このようにしてゲインを設定したら、露光時間算出部306へ出力する、最適露光量からゲイン調整分を除いた残りの残調整露光量exposurewithoutgainを、下記の式(3)により計算する(S27)。なお、下記式(3)中の「gain」は、設定したゲイン(倍数値)である。
exposurewithoutgain = exposure
− (gain−1)×exposuremax ・・・(3)
【0048】
露光時間算出部306は、ゲイン決定部305から残調整露光量exposurewithoutgainを受け取ったら、これに基づいて下記の式(4)及び(5)より露光時間を算出する。なお、「rowexposure」は、画像データ一行分の出力時間に対応する露光時間(水平同期信号における1つのHレベル期間と1つのLレベル期間との合算期間に相当する時間)であり、「pixelexposure」は、画像データの一画素(ピクセル)分の出力時間に対応する露光時間(ピクセル同期信号における1つのHレベル期間と1つのLレベル期間との合算期間に相当する時間)である。画像センサ102は、図4に示すように、垂直同期信号、水平同期信号、ピクセル同期信号という各種同期信号を基準にして動作するため、露光時間算出部306は、下記の式(4)及び(5)より、露光時間として、水平同期信号の個数とピクセル同期信号の個数を算出する。
rowexposure = exposurewithoutgain / Ncolumn・・・(4)
pixelexposure = exposurewithoutgain
− rowexposure × Nrow・・・(5)
【0049】
制御信号出力部307は、ゲイン決定部305及び露光時間算出部306で決定したゲインと露光時間を設定するための制御信号を画像センサ102へ送る。これにより、画像センサ102のゲインと露光時間とが設定される。
【0050】
また、本実施形態では、差分偏光度画像等の偏光情報画像だけでなく、モノクロ輝度情報に基づくモノクロ輝度画像も得ることで、偏光情報画像が得意とする画像解析処理と、モノクロ輝度画像が得意とする画像解析処理とを手分けして行うことができ、それぞれの画像解析処理の精度が向上する。
【0051】
具体例を挙げて説明すると、撮像領域を撮像する場合、その撮像領域内の天候の違いや日向日影の違いによって、モノクロ輝度画像や偏光情報画像のコントラストが異なってくる。例えば、路面情報、他車両の情報、路端情報、路面乾湿情報、マンホール蓋などの路面構成物の情報、車線(白線やボッツドッツ)の情報、日照情報(日陰部分の情報)などの車走行補助用情報を検出する場合には、モノクロ輝度画像、偏光情報画像それぞれが、検出を得意とする情報、検出を苦手とする情報がある。そして、モノクロ輝度画像が検出を苦手とする情報は偏光情報画像が検出を得意とする情報であったり、反対に、偏光情報画像が検出を苦手とする情報はモノクロ輝度画像が検出を得意とするものであったりと、お互いを補間し合う関係にある場合が多いことを、本発明者らの鋭意研究の結果から判明した。本実施形態では、このようなモノクロ輝度画像と偏光情報画像との補間関係を利用することで、撮像環境によらずに、簡易の構成で、各種情報の検出精度を向上させることができる。
【0052】
また、路面情報、他車両情報、路端情報、路面乾湿情報、路面構成物情報、車線情報、日照情報などの車走行補助用情報の検出に適したモノクロ輝度画像を得るためには、これまで説明してきた偏光情報画像用の露光量調整とは別に、モノクロ輝度画像用の露光量制御を行うのが好ましい。モノクロ輝度画像用の露光量調整は、一般的に次のようなものがある。例えば、モノクロ輝度画像の平均輝度が予め決定した範囲内に収束するように露光量を制御する方法が挙げられる。また、例えば、明るい画素、やや明るい画素、暗い画素、やや暗い画素というように、画素を明るさの範囲でグループ分けして、各グループに属する画素の数の範囲を予め決定しておき、その範囲内に収まるように露光量を制御する方法が挙げられる。本実施形態では、どちらの方法を採用しても良いし、これ以外の方法を採用しても良い。本実施形態において、偏光情報画像用の露光量調整とは別にモノクロ輝度画像用の露光量制御を行う場合、例えば、差分偏光度画像用の露光量調整のために互いに異なる露光量で4回撮像し、そのうちの3回については上述した差分偏光度画像用の露光量調整に用い、残りの1回についてはモノクロ輝度画像用の露光量調整に用いる。このとき、画像センサ102を60FPSで駆動させた場合には、それぞれ15FPSとなる。
【0053】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
撮像領域内の各地点からの光に含まれる互いに偏光方向が異なった水平偏光成分P及び鉛直偏光成分S等の複数の偏光成分の大きさの違いを示す偏光比や差分偏光度等の指標値を算出し、算出した各指標値に基づく画素値をもった偏光比画像や差分偏光度画像等の偏光情報画像を撮像する撮像動作を連続して行って偏光情報画像の動画像を得る撮像部100等の撮像手段を備えた撮像装置において、上記撮像動作を連続して行っている合間の所定の露光量調整タイミングで、上記複数の偏光成分の大きさの違いが最大となるように露光量を調整する露光量制御部202等の露光量調整手段を有することを特徴とするものである。
これによれば、上述したように、複数の偏光成分の大きさの違いがより大きく示された高精度な指標値に基づく偏光情報画像を得ることができる。その結果、よりコントラストの高い偏光情報画像を撮像することが可能となり、偏光情報画像の画像解析処理で高い精度が得られる。
【0054】
(態様B)
上記態様Aにおいて、上記撮像手段は、撮像領域内に存在する物体からの光を、光学フィルタを介して、受光素子102aが2次元配置された画素アレイで構成された画像センサ102により受光するものであり、上記光学フィルタは、特定方向の偏光成分(鉛直偏光成分)のみを選択して透過させる鉛直偏光領域等の第1領域と、偏光成分の選択を行わずに光を透過させるか又は該特定方向とは異なる方向の偏光成分(水平偏光成分)のみを選択して透過させる水平偏光領域等の第2領域とが、上記画像センサ102上における1つの受光素子又は2つ以上の受光素子で構成される単位領域で、該画像センサ上の受光素子が配置されている2次方向に分布した偏光フィルタ103を含んでいることを特徴とする。
これによれば、1回の撮像動作で、第1領域を透過した光に基づく画像(鉛直偏光画像)と第2領域を透過した光に基づく画像(水平偏光画像)の両方を得ることができるので、よりフレームレートの高い画像(動画)を得ることができる。
【0055】
(態様C)
上記態様A又はBにおいて、上記露光量調整手段は、上記所定の露光量調整タイミングで上記撮像動作を連続して又は1回だけ上記撮像手段に行わせて、露光量が互いに異なる複数の偏光情報画像を取得し、該複数の偏光情報画像の中から、上記複数の偏光成分の大きさの違いが最大である特定の偏光情報画像を選定し、選定した特定の偏光情報画像に対応する露光量に基づいて後の撮像動作における露光量を決定し、決定した露光量に調整することを特徴とするものである。
これによれば、撮像動作を連続して行っている動画像撮像動作中の合間でも、複数の偏光成分の大きさの違いがより大きく示された偏光情報画像が得られる露光量に調整することが可能である。
なお、上述した説明では、撮像動作を3回連続して行うことで露光量が異なる3種類の偏光情報画像を撮像する場合について説明したが、1回の撮像動作で3種類の偏光情報画像を撮像することも可能である。この場合、偏光フィルタ103の第1領域及び第2領域に、領域の一部を遮光する遮光面(絞り)を形成し、その遮光面の面積を異ならせることで、第1領域及び第2領域を3種類の異なる光透過率をもった領域に分類すればよい。このような遮光面は画像センサ102の各受光素子の受光領域に形成してもよい。
【0056】
(態様D)
上記態様Cにおいて、上記露光量調整手段は、取得した上記複数の偏光情報画像について、それぞれの各指標値の絶対値の総和あるいは各指標値の二乗和の平方根を計算し、その計算結果が最大である偏光情報画像を上記特定の偏光情報画像として選定することを特徴とする。
これによれば、簡易な計算で、複数の偏光成分の大きさの違いが最大である特定の偏光情報画像を選定することができる。
【0057】
(態様E)
上記態様Dにおいて、上記露光量調整手段は、ゼロ付近である下限閾値以下の受光量であった偏光成分を用いて算出される指標値については、上記の計算に用いないことを特徴とする。
これにより、ノイズの影響が大きい偏光成分に基づく不正確な指標値に基づいて露光量が調整されることが少なくなり、より信頼性の高い露光量調整が可能となる。
【0058】
(態様F)
上記態様D又はEにおいて、上記露光量調整手段は、上限閾値(例えば230)以上の受光量であった偏光成分を用いて算出される指標値については、上記の計算に用いないことを特徴とする。
これにより、受光量が飽和値に近い値を示している偏光成分に基づく不正確な指標値に基づいて露光量が調整されることが少なくなり、より信頼性の高い露光量調整が可能となる。
【0059】
(態様G)
上記態様C〜Fのいずれかの態様において、上記露光量調整手段は、露光量を段階的に増加又は減少させて複数回の撮像動作を連続して行うことにより上記複数の偏光情報画像を取得し、選定した上記特定の偏光情報画像に対応する露光量を、後の複数回の撮像動作で用いる露光量のうちの中央値として決定することを特徴とする。
これによれば、比較的簡易な制御により露光量の調整を行うことができる。
【0060】
(態様H)
上記態様A〜Gのいずれかの態様において、上記露光量調整手段は、所定の閾値を超える受光量を受光する受光素子の数が規定数以下となるように露光量を調整することを特徴とする。
これによれば、上記変形例で説明したように、受光量が飽和値に近い値を示している偏光成分に基づく不正確な指標値に基づいて偏光情報画像が生成されることを抑制でき、より精度の高い偏光情報画像が得られ、偏光情報画像の画像解析処理で高い精度が得られる。
【0061】
(態様I)
撮像手段が撮像した撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う検出処理手段を有する画像解析装置において、上記撮像手段として、上述した態様A〜Hのいずれかの態様に係る撮像装置を用いたことを特徴とする。
これによれば、上述したように、複数の偏光成分の大きさの違いがより大きく示された高精度な指標値に基づく偏光情報画像の画像解析処理で高い精度が得られる。
【0062】
(態様J)
自らの周囲を撮像する撮像手段を備えた自動車等の移動装置において、上記撮像手段として、上記態様A〜Hのいずれかの態様に係る撮像装置を用いたことを特徴とする。
これによれば、上述したように、自らの周囲の状況を、複数の偏光成分の大きさの違いがより大きく示された高精度な指標値に基づく偏光情報画像によって把握することができる。
【符号の説明】
【0063】
100 撮像部
101 光学系
102 画像センサ
102a 受光素子
103 偏光フィルタ
200 画像処理部
201 画像解析部
202 露光量制御部
203 画像情報生成部
204 車走行補助用情報生成部
205 モノクロ情報生成部
206 偏光情報生成部
300 表示部
301 ヒストグラム作成部
302 対象画素カウント部
303 差分算出部
304 最適露光量算出部
305 ゲイン決定部
306 露光時間算出部
307 制御信号出力部
【先行技術文献】
【特許文献】
【0064】
【特許文献1】特開平11−175702号公報

【特許請求の範囲】
【請求項1】
撮像領域内の各地点からの光に含まれる互いに偏光方向が異なった複数の偏光成分の大きさの違いを示す指標値を算出し、算出した各指標値に基づく画素値をもった偏光情報画像を撮像する撮像動作を連続して行って偏光情報画像の動画像を得る撮像手段を備えた撮像装置において、
上記撮像動作を連続して行っている合間の所定の露光量調整タイミングで、上記複数の偏光成分の大きさの違いが最大となるように露光量を調整する露光量調整手段を有することを特徴とする撮像装置。
【請求項2】
請求項1の撮像装置において、
上記撮像手段は、撮像領域内に存在する物体からの光を、光学フィルタを介して、受光素子が2次元配置された画素アレイで構成された画像センサにより受光するものであり、
上記光学フィルタは、特定方向の偏光成分のみを選択して透過させる第1領域と偏光成分の選択を行わずに光を透過させるか又は該特定方向とは異なる方向の偏光成分のみを選択して透過させる第2領域とが、上記画像センサ上における1つの受光素子又は2つ以上の受光素子で構成される単位領域で、該画像センサ上の受光素子が配置されている2次方向に分布した偏光フィルタを含んでいることを特徴とする撮像装置。
【請求項3】
請求項1又は2の撮像装置において、
上記露光量調整手段は、上記所定の露光量調整タイミングで上記撮像動作を連続して又は1回だけ上記撮像手段に行わせて、露光量が互いに異なる複数の偏光情報画像を取得し、該複数の偏光情報画像の中から、上記複数の偏光成分の大きさの違いが最大である特定の偏光情報画像を選定し、選定した特定の偏光情報画像に対応する露光量に基づいて後の撮像動作における露光量を決定し、決定した露光量に調整することを特徴とする撮像装置。
【請求項4】
請求項3の撮像装置において、
上記露光量調整手段は、取得した上記複数の偏光情報画像について、それぞれの各指標値の絶対値の総和あるいは各指標値の二乗和の平方根を計算し、その計算結果が最大である偏光情報画像を上記特定の偏光情報画像として選定することを特徴とする撮像装置。
【請求項5】
請求項4の撮像装置において、
上記露光量調整手段は、下限閾値以下の受光量であった偏光成分を用いて算出される指標値については、上記の計算に用いないことを特徴とする撮像装置。
【請求項6】
請求項4又は5の撮像装置において、
上記露光量調整手段は、上限閾値以上の受光量であった偏光成分を用いて算出される指標値については、上記の計算に用いないことを特徴とする撮像装置。
【請求項7】
請求項3乃至6のいずれか1項に記載の撮像装置において、
上記露光量調整手段は、露光量を段階的に増加又は減少させて複数回の撮像動作を連続して行うことにより上記複数の偏光情報画像を取得し、選定した上記特定の偏光情報画像に対応する露光量を、後の複数回の撮像動作で用いる露光量のうちの中央値として決定することを特徴とする撮像装置。
【請求項8】
請求項1乃至7のいずれか1項に記載の撮像装置において、
上記露光量調整手段は、所定の閾値を超える受光量を受光する受光素子の数が規定数以下となるように露光量を調整することを特徴とする撮像装置。
【請求項9】
撮像手段が撮像した撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う検出処理手段を有する画像解析装置において、
上記撮像手段として、請求項1乃至8のいずれか1項に記載の撮像装置を用いたことを特徴とする画像解析装置。
【請求項10】
自らの周囲を撮像する撮像手段を備えた移動装置において、
上記撮像手段として、請求項1乃至8のいずれか1項に記載の撮像装置を用いたことを特徴とする移動装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−66166(P2013−66166A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2012−149029(P2012−149029)
【出願日】平成24年7月3日(2012.7.3)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】