説明

オフセット値変更装置及びオフセット値変更方法

【課題】環境に応じて、赤外線カメラから出力される輝度信号の最適な補正するためのオフセット値を変更することができるオフセット値変更装置及びオフセット値変更方法を提供する。
【解決手段】複数の撮像素子11から出力された輝度信号を補正するオフセット値が設定されており、設定されているオフセット値を変更する撮像装置100において、複数の撮像素子11から出力された輝度信号から最小輝度値を特定し、特定した最小輝度値から撮像装置100の撮像範囲内の路面最低温度を算出する。算出した路面最低温度と演算式とに基づいてオフセット値を算出する。算出したオフセット値、及び設定されているオフセット値の差分が閾値以上である場合、設定されているオフセット値を、路面最低温度から算出したオフセット値へ変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、赤外線カメラが有する複数の撮像素子の輝度値を補正するために設定されたオフセット値を更新するオフセット値変更装置及びオフセット値変更方法に関する。
【背景技術】
【0002】
交差点等で発生する車両同士の事故、又は車両と歩行者との事故を防止すべく、交差点に設置したカメラで車両又は歩行者を撮像した結果を、交差点に接近する車両へ提供するシステムが提案されている(例えば、特許文献1)。斯かるカメラには、夜でも撮像可能なように、歩行者等の撮像対象が発する赤外光を集光して映像を取得する赤外線カメラが用いられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−109199号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般的に、赤外線カメラを用いて歩行者等を検出するためには、赤外線カメラが有する撮像素子で測定した輝度信号を、所定の階調(例えば、256階調)の画像データに変換し、画像処理を行う。この際、歩行者及び周囲物体の微小な温度差を検出するため、所定の温度幅(例えば、30度)に含まれる輝度信号のみを、所定階調の画像データに変換する。ここで、所望の温度範囲を撮像するため、撮像素子からの輝度信号に対し、被撮像体の温度に応じた温度範囲補正(オフセット補正)を行うことで、画像データで表現する温度範囲を変更して、被撮像体を画像データで表示できるようにする必要がある。ところが、被撮像体の温度が、設定した温度範囲より高温(又は低温)であれば、画像データにおいて、その部分は白つぶれ(又は黒つぶれ)となって表現される。特許文献1のように、赤外線カメラが撮像する道路は、季節又は昼夜によって温度が変化するため、適切なオフセット補正を行わなければ、画像データにおいて、検出すべき歩行者部分が白つぶれ(又は黒つぶれ)となり、歩行者の検出ができない場合がある。
【0005】
本発明はかかる事情に鑑みてなされたものであり、その目的とするところは、環境に応じて、赤外線カメラから出力される輝度信号に対し、最適なオフセット値を設定することができるオフセット値変更装置及びオフセット値変更方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明に係るオフセット値変更装置は、赤外線カメラが有する複数の撮像素子から出力された輝度信号を補正するオフセット値が設定されており、設定されているオフセット値を変更するオフセット値変更装置において、複数の撮像素子から出力された輝度信号から最小輝度値を特定する特定手段と、該特定手段が特定した最小輝度値に基づいてオフセット値を算出する算出手段と、該算出手段が算出したオフセット値、及び設定されているオフセット値の差分を算出する手段と、算出した差分が閾値以上か否かを判定する手段と、算出した差分が閾値以上と判定された場合、設定されているオフセット値を、前記算出手段が算出したオフセット値へ変更する変更手段とを備えることを特徴とする。
【0007】
本発明に係るオフセット値変更装置は、前記算出手段は、前記特定手段が特定した最小輝度値に対応する温度を算出し、算出した温度、及び予め設定された演算式を用いて、オフセット値を算出するようにしてあることを特徴とする。
【0008】
本発明に係るオフセット値変更装置は、撮像素子と、該撮像素子へ入射させる光を集光するレンズとの間に開閉可能に設けられたシャッタの開閉状態を検知する開閉状態検知手段と、該開閉状態検知手段がシャッタが閉じていると検知した場合、オフセット値の変更を無効にする手段とをさらに備えることを特徴とする。
【0009】
本発明に係るオフセット値変更装置は、前記開閉状態検知手段は、複数の撮像素子から出力された輝度信号に係る輝度値が一様である場合に、シャッタが閉じていると検知するようにしてあることを特徴とする。
【0010】
本発明に係るオフセット値変更装置は、前記赤外線カメラの撮像範囲内に複数のエリアを設定する手段をさらに備え、前記特定手段は、設定されたエリア毎に最小輝度値を特定し、前記算出手段は、エリア毎に特定された最小輝度値の中の最小値に基づいて、オフセット値を算出するようにしてあり、設定されたエリア内への物体の進入を検知する進入検知手段と、該進入検知手段が物体の進入を検知した場合、進入を検知したエリアにおける最小輝度値の特定を停止する手段とをさらに備えることを特徴とする。
【0011】
本発明に係るオフセット値変更装置は、前記進入検知手段は、設定されたエリア内に対応する撮像素子から異なるタイミングで出力された輝度信号に係る輝度値の差分を算出する手段、及び、算出した差分が閾値以上か否かを判定する手段を有し、差分が閾値以上と判定した場合に、物体の進入を検知するようにしてあることを特徴とする。
【0012】
本発明に係るオフセット値変更装置は、前記特定手段は、繰り返し最小輝度値を特定するようにしてあり、前記特定手段が最小輝度値を特定する都度、特定した最小輝度値を記憶する手段と、最小輝度値の特定が停止されたエリア以外のエリアの最小輝度値が前記特定手段により特定された場合、特定された前記エリアの最小輝度値、及び記憶された前記エリアの直近の最小輝度値の差分に基づいて、最小輝度値の特定が停止されたエリアの最小輝度値を推定する手段とをさらに備えることを特徴とする。
【0013】
本発明に係るオフセット値変更方法は、赤外線カメラが有する複数の撮像素子から出力された輝度信号を補正するオフセット値が設定されており、設定されているオフセット値を変更するオフセット値変更方法において、複数の撮像素子から出力された輝度信号から最小輝度値を特定し、特定した最小輝度値に基づいてオフセット値を算出し、算出したオフセット値、及び設定されているオフセット値の差分を算出し、算出した差分が閾値以上か否かを判定し、算出した差分が閾値以上と判定された場合、設定されているオフセット値を、算出したオフセット値へ変更することを特徴とする。
【0014】
本発明においては、複数の撮像素子からの輝度信号の最小輝度値に基づいて算出したオフセット値と、設定されているオフセット値との差分が閾値以上の場合に、算出したオフセット値に変更する。最小輝度値は、赤外線カメラが撮像した被撮像体の最低温度であり、例えば、赤外線カメラで道路上の歩行者を撮像する場合、赤外線カメラの撮像範囲内の路面の最低温度である。季節又は昼夜により、歩行者温度及び路面温度は変化するが、歩行者温度と路面最低温度との間には一定の関係式が成立することが実験により明らかになっている。そこで、路面の最低温度に基づいてオフセット値を設定することで、画像中での歩行者の黒つぶれ又は白つぶれを防止することができ、歩行者を特定することができるため、歩行者を精度よく検出することができる。
【0015】
本発明においては、演算式を予め設定しておき、最小輝度値を特定することで、オフセット値を算出することができる。演算式は、1次式又は2次式であってもよく、実験結果又は経験則から導出される。
【0016】
本発明においては、シャッタが閉じているときには、赤外線カメラはシャッタを撮像し、路面の最低温度を算出できないため、オフセット値の変更を無効にすることで、無駄な処理を実行させなくすることができる。
【0017】
本発明においては、シャッタが閉じているときには、シャッタを撮像する撮像素子からは略一様な輝度値が出力されるため、輝度値が略一様な場合にシャッタが閉じていると検知することで、シャッタ開閉を検知するための部品を新たに設ける必要がなくなる。
【0018】
本発明においては、設定したエリア内に物体が進入した場合には、路面の最低温度を正確に算出できないため、物体が進入したエリアにおける最小輝度値を特定せず、他のエリアの最小輝度値を特定することで、より精度の良いオフセット値を算出及び変更することができる。
【0019】
本発明においては、輝度値の差分が閾値以上となる場合に、物体の進入を検知することで、物体進入を検知するためのセンサ等の部品を新たに設ける必要がなくなる。
【0020】
本発明においては、物体が進入したエリアにおける最小輝度値を、他のエリアにおける最小輝度値の変化から推測する。物体進入を検知したエリアにおける最小輝度値を特定しない場合、他のエリアの中から最小輝度値の最小値を選択するが、物体進入が無い場合に予測される最小輝度値との乖離が発生する可能性がある。そこで、他のエリアの最小輝度値の変化から、特定しなかったエリアの最小輝度値を推定することで、より精度の良いオフセット値を算出及び変更することができ、その結果、歩行者を精度よく検出することができる。
【発明の効果】
【0021】
本発明によれば、最小輝度値、すなわち、路面の最低温度に基づいてオフセット値を算出し、設定されているオフセット値を算出したオフセット値に変更する。変更されたオフセット値により補正された輝度信号から得られる画像データにおいて、歩行者を特定することができるため、歩行者を精度よく検出することができる。
【図面の簡単な説明】
【0022】
【図1】実施の形態に係る撮像装置を設置した状態を示す模式図である。
【図2】実施の形態の撮像装置の構成の一例を示すブロック図である。
【図3】実施の形態の信号処理部の構成の一例を示すブロック図である。
【図4】実施の形態の画像処理ユニットの構成の一例を示すブロック図である。
【図5】画像データに対して設定された計測エリアを示す模式図である。
【図6】実施の形態に係る信号処理部の処理手順を示すフローチャートである。
【図7】実施の形態に係る画像処理ユニットの処理手順を示すフローチャートである。
【発明を実施するための形態】
【0023】
以下、本発明に係るオフセット値変更装置及びオフセット値変更方法の好適な一実施の形態について、図面を参照しつつ説明する。以下の実施の形態では、本発明に係るオフセット値変更装置を、道路上の歩行者を撮像する撮像装置として説明する。
【0024】
図1は本実施の形態に係る撮像装置を設置した状態を示す模式図である。撮像装置100は、赤外線カメラであり、例えば交差点の横断歩道201、及び横断歩道201を歩行する歩行者202が撮像対象となるよう、信号機が設置される交差点付近の電柱200に設置される。撮像装置100により撮像された画像は、撮像装置100が撮像した撮像対象の温度に応じた輝度で表示される。撮像装置100は、この画像中の温度差を利用して、歩行者202と、その周囲(横断歩道201を含む道路等)とのエッジを検出することで、歩行者202の有無を検出する。歩行者202を検出した場合には、無線機などを介して処理結果を車両へ送信する。車両では、検出した歩行者202の情報が、例えば画像表示又は音声により、運転者に注意が喚起される。
【0025】
なお、撮像装置100の設置場所、撮像対象等は適宜変更可能である。例えば、撮像装置100による撮像対象は、歩行者202に限らず、二輪車(自転車)に乗った人なども含んでもよいし、横断歩道201を含まない道路であってもよい。
【0026】
図2は本実施の形態の撮像装置100の構成の一例を示すブロック図である。撮像装置100は、集光レンズ1、シャッタ3、駆動アクチュエータ4、画像撮像部10、信号処理部20、及び画像処理ユニット30等を備えている。
【0027】
画像撮像部10は、基板上に2次元アレイ状に複数配置された撮像素子11、及び撮像素子11からの出力を信号処理部20へ出力する信号読み出し回路12などを備えている。
【0028】
集光レンズ1は、外部から入射する赤外光を集光して、撮像素子11の表面に入射光を照射させるためのものであり、図示しない円筒状の鏡筒内に保持されている。集光レンズ1には、例えば、Ge、ZnS、カルコゲナイトガラス等を用いることができる。
【0029】
シャッタ3は、集光レンズ1と撮像素子11との間に開閉可能に設けてある。なお、シャッタ3は、集光レンズ1の前面側(画像撮像部10の反対側)に設けてもよい。シャッタ3は、駆動アクチュエータ4により一定周期(例えば10秒周期)で開閉駆動される。シャッタ3が閉じられると、集光レンズ1から撮像素子11へ入射される遠赤外光は遮断される。これにより、撮像素子11は、一様な輝度のシャッタ3を撮像することになり、一様な温度分布が供給されることになり、撮像素子11それぞれの感度(温度特性)のばらつきの補正などを行うことができる。なお、シャッタ3の構成は、機械式に限定されるものではなく、他の構成であってもよい。また、シャッタ3は回転式のチョッパであってもよい。
【0030】
シャッタ3の表面には、表面温度を検出する温度センサ3aが設けられている。温度センサ3aは、例えばサーミスタ、半導体温度センサ、熱電対等であり、シャッタ3の集光レンズ1側の表面に取り付けてある。温度センサ3aは、検出した温度を温度信号として信号処理部20へ出力する。温度センサ3aが検出する温度は、信号処理部20において、撮像素子11が出力する輝度信号と絶対温度との対応関係を決定するために用いられる。
【0031】
撮像素子11は、例えば、ボロメータ型の遠赤外線センサであり、波長が5μm以上、より好ましくは7〜14μmの遠赤外光を輝度信号に熱電変換し、熱電変換した輝度信号を信号読み出し回路12へ出力する。なお、撮像素子11は、ボロメータの他にアモルファスSi、SOIダイオード等であってもよい。信号読み出し回路12は、撮像素子11からの出力(輝度信号)をフレーム単位(例えば、毎秒30フレームなど)で読み出し、信号処理部20へ出力する。
【0032】
駆動アクチュエータ4は、信号処理部20から出力されるシャッタ制御信号に基づいて、シャッタ3を開閉駆動する。具体的には、駆動アクチュエータ4は、信号処理部20からシャッタ制御信号を受信した場合に、シャッタ3を閉じ(集光レンズ1からの光を遮断する)、受信しなくなった場合にシャッタ3を開く(集光レンズ1からの光を撮像素子11へ入射する)ように駆動制御する。
【0033】
図3は本実施の形態の信号処理部20の構成の一例を示すブロック図である。信号処理部20は、例えば、一又は複数のLSI(Large-Scale Integration)等の演算手段により動作が制御され、データ処理部21、NUC(Non-Uniformity Correction)処理部22、シャッタ制御部23、メモリ24及びオフセット値制御部25等を備える。
【0034】
データ処理部21は、画像撮像部10から受信した輝度信号をデジタル信号に変換する。なお、撮像素子11には所定の割合で欠陥が生じている撮像素子が含まれる。したがって、データ処理部21は、欠陥が生じている撮像素子11の出力値を、周囲の撮像素子11の出力値を代表する値、例えば欠陥が生じている撮像素子11の出力値を除外した周囲の撮像素子11の出力値の平均値へ補正する。
【0035】
シャッタ制御部23は、撮像素子11ごとの温度特性のばらつき(非均一性)を補正するため、NUC処理部22がNUC処理を行うべく周期的にシャッタ制御信号を駆動アクチュエータ4へ出力する。シャッタ制御信号は、例えば、矩形状の電圧波形であり、正電圧が出力されている間は、シャッタ3を閉じるように制御する。シャッタ制御信号が出力されなくなった場合(正電圧がゼロ電圧に変化した場合)、閉じていたシャッタ3を開くように制御することができる。なお、制御信号をパルス波形とし、最初のパルス波形が出力された時点でシャッタ3を閉じるように制御し、次のパルス波形が出力された時点でシャッタ3を開くように制御してもよい。
【0036】
NUC処理部22は、シャッタ3が閉じられているときに、メモリ24に記憶してあるゲイン値及びオフセット値に基づいて、撮像素子11ごとに出力された輝度信号を補正する。ゲイン値は、撮像素子11ごとの所定の温度変化率に対する出力値の差異を補正する係数であり、撮像装置100で撮像して得られる画像データの単位輝度で表現可能な最小温度(単位は[℃/輝度])を表す。ゲイン値により、撮像装置100により撮像された画像データで表現できる温度幅が決定される。例えばゲイン値が0.125[℃/輝度]、撮像装置100が有する性能が8ビット(256階調)である場合、表現可能な温度幅は、32[℃](256×0.125)となる。オフセットは、撮像素子11ごとに所定の温度に対する出力値を補正する係数であり、画像データで表現される温度幅の中心温度を示す。例えば表現可能な温度幅が32[℃]、オフセット値が24[℃]の場合、画像データで表現される温度範囲は、8〜40[℃]となる。この場合、撮像装置100が撮像した被撮像体は、温度が8〜40[℃]であれば画像像データにおいて表現され、温度がこの温度範囲外となる被撮像体は、画像データにおいて黒つぶれ又は白つぶれとなる。
【0037】
また、NUC処理部22は、シャッタ3が閉じられた状態での表面温度を温度センサ3aから取得し、さらに撮像素子11から出力された輝度値を取得する。そして、NUC処理部22は、絶対温度と輝度値との対応関係式を算出し、メモリ24に記憶する。NUC処理部22は、算出した対応関係式により、撮像素子11からの輝度信号を絶対温度に対応した値へ補正することにより、撮像素子11からの輝度信号から被撮像体の絶対温度を推定することができる。
【0038】
メモリ24は、上述したゲイン値及びオフセット値等を記憶する。なお、メモリ24は、データ処理部21又はNUC処理部22における処理結果を一時記憶してもよい。なお、本実施の形態では、ゲイン値は、撮像装置100の電源投入時、又は出荷時等に、撮像装置100の最小温度分解能と同等となる値がメモリ24に設定される。温度分解能は、被撮像体の温度を何度の分解精度で計測できるかの性能であり、最小温度分解能とは、撮像素子11で測定できる最低温度を意味する。
【0039】
オフセット値制御部25は、画像処理ユニット30で算出された後述の目標オフセット値を受信し、メモリ24に記憶されているオフセット値を目標オフセット値に更新する。オフセット値制御部25がオフセット値を更新した場合、NUC処理部22は、更新後のオフセット値に基づいて、撮像素子11ごとに出力された輝度信号を補正する。以下では、画像処理ユニット30において目標オフセット値を算出し、信号処理部20においてオフセット値を更新する処理をオフセット値制御処理という。
【0040】
図4は本実施の形態の画像処理ユニット30の構成の一例を示すブロック図である。画像処理ユニット30は、一又は複数のLSI等の演算手段により動作が制御され、エリア設定部31、最低温度算出部32、目標オフセット値算出部33、目標オフセット値送信部34、エリア有効判定部35、歩行者検出部36及びメモリ37等を備えている。
【0041】
エリア設定部31は、画像データに対して計測エリアを設定する。図5は、画像データに対して設定された計測エリアを示す模式図である。エリア設定部31は、例えば、横断歩道201を含み、道路の車線ごとに計測エリアを設定する。図5では、撮像装置100は3車線に跨った横断歩道201を撮像対象としており、エリア設定部31が、3つの計測エリア301,302,303を設定した場合を示している。なお、エリア設定部31は、車線に関係なく一つ又は複数の計測エリアを設定してもよいし、所定サイズ及び形状のエリアを設定してもよい。また、計測エリアは、決められた撮像装置100の設置場所に従って、予め設定されていてもよいし、撮像装置100が撮像した画像データの画像処理を行った結果から設定されてもよい。
【0042】
最低温度算出部32は、エリア設定部31が設定した計測エリア301,302,303それぞれに含まれる路面の最低温度を算出する。最低温度を算出するために、最低温度算出部32は、計測エリア301,302,303それぞれで最小輝度の画素を選択(特定)する。次に、最低温度算出部32は、現在設定されているゲイン値及びオフセット値を取得し、画像データで表現される温度範囲の下限値を取得する。例えば、上述した、画像データで表現される温度範囲が8〜40[℃]の場合、下限値は8[℃]となる。最低温度算出部32は、「温度範囲下限値[℃]+ゲイン値[℃/輝度]×最低輝度値」の式に、取得した各値を代入して、路面最低温度を算出する。
【0043】
なお、ゲイン値及びオフセット値は、路面最低温度を算出する都度、信号処理部20から取得してもよいし、画像処理ユニット30のメモリ37に記憶していてもよい。また、温度範囲の下限値は、信号処理部20から取得してもよいし、画像処理ユニット30で算出されてもよい。
【0044】
最低温度算出部32は、シャッタ3の開閉状態を検知し、シャッタ3が閉じている場合には、路面最低温度の算出を停止する。シャッタ3が閉じている際には外部映像が遮断されるため、路面最低温度に基づくオフセット値制御処理を実行すべきではない。そこで、この場合には、オフセット値制御処理を無効化することで、無駄な処理を省くことができる。なお、最低温度算出部32は、駆動アクチュエータ4又は信号処理部20からのシャッタ制御信号を受信してシャッタ3の開閉状態を検知してもよいし、あるいはシャッタ3の閉時は画像全体の輝度が略一様になることを利用し、画像の輝度分散を計算して所定の閾値以下であればシャッタ3が閉状態であると判断してもよい。また、オフセット値制御処理の無効化とは、最低温度算出部32が最低温度の算出を停止することであってもよいし、後述する目標オフセット値の算出、又は算出した目標オフセット値の信号処理部20への送信を停止することであってもよい。
【0045】
目標オフセット値算出部33は、計測エリア301,302,303ごとに最低温度算出部32が算出した路面最低温度の中から最低温度を選択し、その路面最低温度を用いて、「α×路面最低温度+β」の式に従い、目標オフセット値を算出する。目標オフセット値は、路面最低温度を基準とした場合に、歩行者202の温度を検出できる最適なオフセット値である。α及びβの値はそれぞれ実験又は経験則等により適宜変更可能であるが、例えば、α=0.75、β=7.5となる。
【0046】
目標オフセット値送信部34は、目標オフセット値算出部33が算出した目標オフセット値と、設定されているオフセット値との差分が閾値(例えば、0.2程度)以上であるか否かを判定する。差分が閾値以上である場合、目標オフセット値送信部34は、目標オフセット値算出部33が算出した目標オフセット値を信号処理部20へ送信する。信号処理部20では、メモリ24に記憶されているオフセット値が、送信された目標オフセット値に更新される。
【0047】
エリア有効判定部35は、エリア設定部31が設定した計測エリア301,302,303内に物体(歩行者202又は車両等)が進入したか否かを判定する。例えば、エリア有効判定部35は、メモリ37内に直前フレームの計測エリア301,302,303の画素を記憶しておき、現在の計測エリア301,302,303の画素とメモリ37内の画素とを比較し、差分が大きい画素の割合が一定値以上になったエリアについては、物体進入と判定する。なお、物体進入が検出されなかった場合には、メモリ37に記憶してある画素は、現在フレームにおける計測エリア301,302,303の画素に更新される。計測エリア301,302,303内に物体が進入した場合、その計測エリアにおいては適切な路面最低温度の測定が不可となる。そこで、エリア有効判定部35は、物体進入が検出された計測エリア301(又は302,303)における路面最低温度の算出を停止する。
【0048】
なお、エリア有効判定部35は、物体が進入した計測エリアにおける路面最低温度の算出を停止した場合、その計測エリアの路面最低温度を推測するようにしてもよい。物体進入を検出した計測エリア301(又は302,303)を無効化した場合、他の計測エリア302,303(又は301)の中から路面最低温度を選択することとなるが、本来路面最低温度を有する計測エリアにおける路面最低温度算出が停止された場合、物体進入が無い場合に予測される路面最低温度と乖離が発生する可能性がある。そこで、前回の路面最低温度をメモリ37に記憶しておき、有効な計測エリア302,303(又は301)における路面最低温度との差分平均を計算する。エリア有効判定部35は、メモリ37に記憶した前回の計測エリア301(又は302,303)の路面最低温度に、その差分平均を加算することで、無効化された計測エリア301(又は302,303)の路面最低温度を推測する。
【0049】
歩行者検出部36は、信号処理部20から取得した画像データを用いて画像処理を行うことで歩行者202を検出する。歩行者検出部36は、移動体(歩行者202)の候補領域検出処理及び移動体種別判定処理等の画像処理を行う。以下、各画像処理の一例について説明する。
【0050】
候補領域検出処理は、撮像画像の中から移動体の候補となる領域を検出し、検出した領域の画像座標又はワールド座標などを格納した候補領域リストを作成する。候補領域リストは、例えば、移動体の外接四角形を候補領域とし、候補領域の識別符号と外接四角形の四隅の座標などを有する。候補領域検出処理は、具体的には、例えば、撮像画像から予め求められていた背景画像を差し引いて歩行者202などの移動体を抽出する背景差分法を用いることができる。また、候補領域検出処理は、現在のフレームと過去のフレームとの差分から歩行者などの移動体を抽出するフレーム差分法(フレーム間差分法)を用いることができる。
【0051】
移動体種別判定処理は、候補領域リストにおける各領域に対して移動体であるか否かの判定を行い、検出移動体リストを作成する。検出移動体リストは、例えば、移動体の外接四角形を検出領域とし、検出領域の識別符号と外接四角形の四隅の座標などを有する。なお、検出移動体リストは、候補領域リストにおける候補領域ごとに移動体であるか否かを示すフラグを付与するようにしてもよい。移動体種別判定処理は、具体的には、例えば、検出領域の大きさ情報に基づいて歩行者又は車両などの種別判定を行うことができる。また、移動体種別判定処理は、学習機能を組み込んだパターン認識手法の1つであるサポートベクターマシンなどの手法を用いることができる。
【0052】
図6は本実施の形態に係る信号処理部20の処理手順を示すフローチャートである。
【0053】
信号処理部20は、撮像素子11の最小温度分解能に基づいてゲイン値を設定する(S1)。次に、信号処理部20は、シャッタ3の温度センサ3aから温度を取得し(S2)、所定周期(例えば、10秒周期)となったか否かを判定する(S3)。所定周期となっていない場合(S3:NO)、信号処理部20は、S7の処理に移る。所定周期となった場合(S3:YES)、信号処理部20は、駆動アクチュエータ4にシャッタ制御信号を送信して、シャッタ3を閉じる(S4)。このとき、信号処理部20は、シャッタ3を閉じたことを画像処理ユニット30へ知らせるために、シャッタ制御信号を画像処理ユニット30に送信するようにしてもよい。
【0054】
シャッタ3を閉じた後、信号処理部20は、メモリ24に記憶されているゲイン値及びオフセット値に基づいて、撮像素子11それぞれの感度(温度特性)のばらつきを補正する(S5)。次に、信号処理部20は、S2で取得した温度センサ3aの温度(絶対温度)と、撮像素子11から出力された輝度値との対応関係式を算出する(S6)。算出された対応関係式は、メモリ24に記憶される。算出した対応関係式により、撮像素子11からの輝度信号を絶対温度に対応した値へ補正することができる。
【0055】
信号処理部20は、画像処理ユニット30から目標オフセット値を受信したか否かを判定する(S7)。目標オフセット値を受信した場合(S7:YES)、信号処理部20は、メモリ24に記憶されているオフセット値を、受信した目標オフセット値に更新する(S8)。なお、オフセットを更新した後、S5の撮像素子11それぞれの感度(温度特性)のばらつきの補正を行ってもよい。更新後、又は目標オフセット値を受信していない場合(S7:NO)、信号処理部20は、例えば撮像装置100の電源がオフされることで、処理を終了するか否かを判定する(S9)。終了しない場合(S9:NO)、信号処理部20は、S2の処理を実行する。終了する場合(S9:YES)、信号処理部20は、本処理を終了する。
【0056】
図7は本実施の形態に係る画像処理ユニット30の処理手順を示すフローチャートである。
【0057】
画像処理ユニット30は、計測エリア301,302,303の設定を行なう(S20)。この計測エリア301,302,303の設定は、一度のみ行なえばよく、本処理を行う以前に既に実行され、パラメータ等が記憶されている場合には、S20の設定処理を省略するようにしてもよい。次に、画像処理ユニット30は、シャッタ3の開閉状態を検知し、シャッタ3が閉じられているか否かを判定する(S21)。シャッタ3の開閉状態の検知方法は、上述したように適宜変更可能である。
【0058】
シャッタ3が閉じられている場合(S21:YES)、画像処理ユニット30は、S28処理へ移る。画像処理ユニット30は、シャッタ3が閉じている際には外部映像が遮断され、オフセット値制御処理を実行すべきではないため、オフセット値制御処理を無効化することで、無駄な処理を省くことができる。シャッタ3が閉じられていない場合(S21:NO)、画像処理ユニット30は、計測エリア301,302,303への物体の進入を検知したか否かを判定する(S22)。物体の進入を検知した場合(S22:YES)、画像処理ユニット30は、該当計測エリア301(又は302,303)を無効化する。すなわち、計測エリア301(又は302,303)においては適切な路面最低温度の測定が不可となるため、画像処理ユニット30は、計測エリア301(又は302,303)における路面最低温度の測定を停止する。
【0059】
物体進入を検知した計測エリア301(又は302,303)を無効にした後、又は、物体の進入を検知していない場合(S22:NO)、画像処理ユニット30は、各計測エリア301,302,303の路面最低温度を算出する(S24)。路面最低温度は、上述した「温度範囲下限値[℃]+ゲイン値[℃/輝度]×最低輝度値」の式により算出される。
【0060】
次に、画像処理ユニット30は、各計測エリア301,302,303の路面最低温度の中から最低温度を選択し、その最低温度に基づいて、目標オフセット値を算出する(S25)。目標オフセット値は、算出した路面最低温度を用いて、「α×路面最低温度+β」の式に従い算出される。画像処理ユニット30は、オフセット値の更新を行なうか否かを判定する(S26)。具体的には、S25で算出した目標オフセット値と、現在設定されているオフセット値との差分を算出し、差分が閾値以上であるか否かを判定する。更新する場合(S26:YES)、すなわち、差分が閾値以上である場合、画像処理ユニット30は、信号処理部20においてオフセット値を更新させるために、算出した目標オフセット値を信号処理部20へ送信する(S27)。送信後、又はオフセット値の更新を行なわない場合(S26:NO)、画像処理ユニット30は、例えば撮像装置100の電源がオフされることで、処理を終了するか否かを判定する(S28)。終了しない場合(S28:NO)、画像処理ユニット30は、S21の処理を実行する。終了する場合(S28:YES)、画像処理ユニット30は、本処理を終了する。
【0061】
以上説明したように、本実施の形態では、撮像素子11から出力される輝度信号を加算補正するためのオフセット値を、赤外線カメラの撮像範囲内の路面の最低温度に基づいて設定する。季節又は昼夜により、歩行者温度及び路面温度は変化するが、歩行者温度と路面最低温度との間には一定の関係式が成立することが実験により明らかになっている。そこで、路面の最低温度に基づいてオフセット値を設定することで、画像中での歩行者の黒つぶれ又は白つぶれを防止することができ、歩行者を精度よく検出することができる。
【0062】
なお、上述の実施の形態では、本発明に係るオフセット値変更装置を撮像装置100として説明したが、オフセット値変更装置を画像処理ユニット30とし、撮像装置100とは別個に設けるようにしてもよい。
【0063】
以上、本発明の好適な一実施の形態について、具体的に説明したが、開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0064】
1 集光レンズ
3 シャッタ
10 画像撮像部
20 信号処理部
30 画像処理ユニット
31 エリア設定部
32 最低温度算出部(特定手段、開閉状態検知手段)
33 目標オフセット値算出部(算出手段)
34 目標オフセット値送信部(変更手段)
35 エリア有効判定部(進入検知手段)
100 撮像装置(オフセット値変更装置)
202 歩行者

【特許請求の範囲】
【請求項1】
赤外線カメラが有する複数の撮像素子から出力された輝度信号を補正するオフセット値が設定されており、設定されているオフセット値を変更するオフセット値変更装置において、
複数の撮像素子から出力された輝度信号から最小輝度値を特定する特定手段と、
該特定手段が特定した最小輝度値に基づいてオフセット値を算出する算出手段と、
該算出手段が算出したオフセット値、及び設定されているオフセット値の差分を算出する手段と、
算出した差分が閾値以上か否かを判定する手段と、
算出した差分が閾値以上と判定された場合、設定されているオフセット値を、前記算出手段が算出したオフセット値へ変更する変更手段と
を備えることを特徴とするオフセット値変更装置。
【請求項2】
前記算出手段は、
前記特定手段が特定した最小輝度値に対応する温度を算出し、算出した温度、及び予め設定された演算式を用いて、オフセット値を算出するようにしてある
ことを特徴とする請求項1に記載のオフセット値変更装置。
【請求項3】
撮像素子と、該撮像素子へ入射させる光を集光するレンズとの間に開閉可能に設けられたシャッタの開閉状態を検知する開閉状態検知手段と、
該開閉状態検知手段がシャッタが閉じていると検知した場合、オフセット値の変更を無効にする手段と
をさらに備えることを特徴とする請求項1又は2に記載のオフセット値変更装置。
【請求項4】
前記開閉状態検知手段は、
複数の撮像素子から出力された輝度信号に係る輝度値が一様である場合に、シャッタが閉じていると検知するようにしてある
ことを特徴とする請求項3に記載のオフセット値変更装置。
【請求項5】
前記赤外線カメラの撮像範囲内に複数のエリアを設定する手段
をさらに備え、
前記特定手段は、
設定されたエリア毎に最小輝度値を特定し、
前記算出手段は、
エリア毎に特定された最小輝度値の中の最小値に基づいて、オフセット値を算出するようにしてあり、
設定されたエリア内への物体の進入を検知する進入検知手段と、
該進入検知手段が物体の進入を検知した場合、進入を検知したエリアにおける最小輝度値の特定を停止する手段と
をさらに備えることを特徴とする請求項1から4の何れか一つに記載のオフセット値変更装置。
【請求項6】
前記進入検知手段は、
設定されたエリア内に対応する撮像素子から異なるタイミングで出力された輝度信号に係る輝度値の差分を算出する手段、及び、
算出した差分が閾値以上か否かを判定する手段
を有し、
差分が閾値以上と判定した場合に、物体の進入を検知するようにしてある
ことを特徴とする請求項5に記載のオフセット値変更装置。
【請求項7】
前記特定手段は、
繰り返し最小輝度値を特定するようにしてあり、
前記特定手段が最小輝度値を特定する都度、特定した最小輝度値を記憶する手段と、
最小輝度値の特定が停止されたエリア以外のエリアの最小輝度値が前記特定手段により特定された場合、特定された前記エリアの最小輝度値、及び記憶された前記エリアの直近の最小輝度値の差分に基づいて、最小輝度値の特定が停止されたエリアの最小輝度値を推定する手段と
をさらに備えることを特徴とする請求項6に記載のオフセット値変更装置。
【請求項8】
赤外線カメラが有する複数の撮像素子から出力された輝度信号を補正するオフセット値が設定されており、設定されているオフセット値を変更するオフセット値変更方法において、
複数の撮像素子から出力された輝度信号から最小輝度値を特定し、
特定した最小輝度値に基づいてオフセット値を算出し、
算出したオフセット値、及び設定されているオフセット値の差分を算出し、
算出した差分が閾値以上か否かを判定し、
算出した差分が閾値以上と判定された場合、設定されているオフセット値を、算出したオフセット値へ変更する
ことを特徴とするオフセット値変更方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−14331(P2012−14331A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−148890(P2010−148890)
【出願日】平成22年6月30日(2010.6.30)
【出願人】(000002130)住友電気工業株式会社 (12,747)
【Fターム(参考)】