信号処理装置及び信号処理方法
【課題】環境に依存せずに、赤外線カメラから出力される輝度信号を最適にゲイン補正する信号処理装置及び信号処理方法を提供する。
【解決手段】複数の撮像素子１１を有する撮像装置１００の撮像素子１１から出力された輝度信号に係る輝度値をゲイン値に基づいて補正する撮像装置１００において、温度分解能取得部２１が撮像素子１１が測定できる最低温度を表す最小温度分解能を特定する。そして、ゲイン制御部２２が特定したその最小温度分解能に基づいてゲイン値を設定する。
【解決手段】複数の撮像素子１１を有する撮像装置１００の撮像素子１１から出力された輝度信号に係る輝度値をゲイン値に基づいて補正する撮像装置１００において、温度分解能取得部２１が撮像素子１１が測定できる最低温度を表す最小温度分解能を特定する。そして、ゲイン制御部２２が特定したその最小温度分解能に基づいてゲイン値を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理装置及び信号処理方法に関する。
【背景技術】
【０００２】
交差点等で発生する車両同士の事故、又は車両と歩行者との事故を防止すべく、交差点に設置したカメラで車両又は歩行者等の障害物を撮像した結果を、交差点に接近する車両へ提供するシステムが提案されている（例えば、特許文献１参照）。斯かるカメラには、暗所又は夜でも撮像可能なように、障害物等の被撮像体が発する赤外光を集光して映像を取得する赤外線カメラが用いられる。赤外線カメラにより得られた画像データは温度分布を表しており、特許文献１のように障害物を検出する場合、画像データ内の温度差から障害物とその周囲とのエッジを検出することで、障害物の有無を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１０９１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的に、赤外線カメラにおいては、撮像素子からの輝度信号を、所定階調（例えば、２５６階調）の画像データに変換し、障害物検出処理を行う。輝度信号から画像データに変換する際には、変換係数であるゲイン値を設定し、被撮像体の温度に応じてゲイン補正することで、画像データで表現する温度分布を決定する。しかしながら、季節又は昼夜によって温度が変化した際に、適切なゲイン値を設定する方法はこれまで提案されていない。赤外線カメラを用いて、特許文献１のように障害物を検出する場合、画像データにおける温度差を如何に精度よく検出するかにより、障害物の検出精度が左右されるため、適切にゲイン補正できないと、障害物とその周囲との温度差が検出できず、障害物の検出が行なえないといった問題がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、その目的とするところは、環境に依存せずに、赤外線カメラから出力される輝度信号を最適にゲイン補正する信号処理装置及び信号処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る信号処理装置は、複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理装置において、前記撮像素子の最小温度分解能を特定する特定手段と、該特定手段が特定した最小温度分解能に基づいてゲイン値を設定する設定手段とを備えることを特徴とする。
【０００７】
本発明に係る信号処理装置は、前記設定手段は、画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定するようにしてあることを特徴とする。
【０００８】
本発明に係る信号処理方法は、複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理方法において、前記撮像素子の最小温度分解能を特定するステップと、特定した最小温度分解能に基づいてゲイン値を設定するステップとを含むことを特徴とする。
【０００９】
本発明に係る信号処理方法は、前記設定するステップは、画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定することを特徴とする。
【００１０】
本発明においては、赤外線カメラの撮像素子から出力された輝度信号を補正するゲイン値を、撮像素子の最小温度分解能に基づいて設定する。温度分解能は、被撮像体の温度を何度の分解精度で計測できるかを示す性能であり、最小温度分解能とは、撮像素子で測定できる温度差の最小値を意味する。ゲイン値と温度分解能との関係は、ゲイン値を高く設定すると、温度分解能は向上し、ゲイン値を低く設定すると、温度分解能は低下する。また、画像データは一定の階調数で表現されるため、温度分解能を高くすると、画像データで微小な温度変化を表現することができるが、表現できる温度幅は狭くなる。一方、温度分解能を低くすると、画像データで微小な温度変化を表現できなくなるが、表現できる温度幅は広くなる。例えば、赤外線カメラで道路上を撮像し、道路上の歩行者を検出する場合、歩行者の体表温度は一定範囲（例えば、８〜３５度）に収まるため、環境に関係なく画像データにおける温度幅を広げる必要がない。一方、気温変化や日射による道路の蓄熱などにより、歩行者と道路との温度差が小さくなる場合があるため、温度分解能は高いほうが望ましい。そこで、画像データで表現できる温度幅を犠牲にして、微小な温度変化を表現できるようにゲイン値を設定する。すなわち、撮像素子の最小温度分解能に基づいて、ゲイン値を設定する。これにより、画像データにおける温度差を最大限検出できるようになり、その結果、歩行者を精度よく検出することが可能となる。
【００１１】
本発明においては、設定したゲイン値により、３０℃以上の温度幅を画像データで表示することができる。赤外線カメラの被撮像体が歩行者である場合、歩行者の体表温度は概ね３０度の温度範囲に収まる。そこで、温度幅を３０℃以上となるようにゲイン値を設定することにより、撮像素子が高性能のために最小温度分解能に基づいて設定したゲイン値が高くなり、画像データで表現できる温度幅が狭くなりすぎて、歩行者の体表温度範囲が画像データの温度範囲から外れてしまうおそれを回避できる。
【発明の効果】
【００１２】
本発明によれば、赤外線カメラの撮像により得られる画像データにおける温度差の検出精度が向上し、その結果、歩行者を精度よく検出することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る撮像装置を設置した状態を示す模式図である。
【図２】実施の形態の撮像装置の構成の一例を示すブロック図である。
【図３】実施の形態に係る信号処理部の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明に係る信号処理装置及び信号処理方法の好適な一実施の形態について、図面を参照しつつ説明する。以下の実施の形態では、本発明に係る信号処理装置を、道路上の歩行者を撮像する撮像装置として説明する。
【００１５】
図１は本実施の形態に係る撮像装置を設置した状態を示す模式図である。撮像装置（信号処理装置）１００は、赤外線カメラであり、例えば交差点の横断歩道２０１、及び横断歩道２０１を歩行する歩行者２０２が被撮像体となるよう、交差点付近の柱２００に設置される。撮像装置１００により撮像された画像データは、撮像装置１００が撮像した被撮像体の温度に応じた輝度で表示される。撮像装置１００は、歩行者２０２と、その周囲（横断歩道２０１を含む道路等）との温度差を利用して、横断歩道２０１上の歩行者２０２の有無を検出する。歩行者２０２を検出した場合には、無線機などを介して処理結果を車両へ送信する。車両では、検出した歩行者２０２の情報が、例えば画像表示又は音声により、運転者に注意が喚起される。
【００１６】
なお、撮像装置１００の設置場所、被撮像体等は適宜変更可能である。例えば、撮像装置１００による被撮像体は、歩行者に限らず、二輪車（自転車）に乗った人なども含んでもよいし、横断歩道２０１を含まない道路であってもよい。
【００１７】
図２は本実施の形態の撮像装置１００の構成の一例を示すブロック図である。撮像装置１００は、集光レンズ１、画像撮像部１０、信号処理部２０及び画像処理部３０等を備えている。なお、画像処理部３０は、撮像装置１００とは独立して設けるようにしてもよい。集光レンズ１は、例えば、Ｇｅ、ＺｎＳ、カルコゲナイトガラス等からなり、外部から入射する赤外光を集光し、図示しない円筒状の鏡筒内に保持されている。
【００１８】
画像撮像部１０は、基板上に２次元アレイ状に複数配置された撮像素子１１、撮像素子１１からの出力を信号処理部２０へ出力する信号読み出し回路１２等を備えている。撮像素子１１の表面には、集光レンズ１により集光された赤外光が入射される。撮像素子１１は、例えばボロメータ型の遠赤外線センサであり、波長が５μｍ以上、より好ましくは７〜１４μｍの遠赤外光を輝度信号に熱電変換し、熱電変換した輝度信号を信号読み出し回路１２へ出力する。なお、撮像素子１１は、ボロメータの他にアモルファスＳｉ、ＳＯＩダイオード等であってもよい。信号読み出し回路１２は、撮像素子１１からの出力（輝度信号）をフレーム単位（例えば、毎秒３０フレームなど）で読み出し、信号処理部２０へ出力する。
【００１９】
信号処理部２０は、例えば、一又は複数のＬＳＩ（Large-Scale Integration）等の演算手段により動作が制御され、温度分解能取得部２１、ゲイン制御部２２及びデータ処理部２３等を備える。
【００２０】
温度分解能取得部２１は、撮像装置１００の最小温度分解能を取得する。最小温度分解能は、被撮像体の温度を何度の分解精度で計測できるかの限界性能であり、ＮＥＴＤ値（雑音等価温度差、Noise Equivalent Temperature Difference）と呼ばれる指標が用いられ、値が低いほど温度分解能が良いことを示す。温度分解能取得部２１は、予め測定され、信号処理部２０のメモリ（図示せず）に記憶された最小温度分解能を取得してもよいし、設定者による最小温度分解能の入力を受け付けてもよい。
【００２１】
ゲイン制御部２２は、温度分解能取得部２１が取得した最小温度分解能に基づいて、撮像装置１００のゲイン値を設定する。ゲイン値は、撮像素子１１ごとの所定の温度変化率に対する出力値の差異を補正する係数であり、撮像装置１００で撮像して得られる画像データの単位輝度で表現可能な最小温度（単位は［℃／輝度］）を表す。輝度階調は一定のため、ゲイン制御部２２がゲイン値を高く設定すると、温度分解能は向上するが画像データで表現できる温度幅は狭まり、逆にゲイン値を低く設定すると、温度分解能は低下するが画像データで表現できる温度幅は広がることになる。本実施の形態では、歩行者２０２とその周囲との温度差を利用して、歩行者２０２の検出することができればよく、一般的には歩行者２０２の温度は略特定でき、周囲の温度変化などに応じて温度分布を大きくする必要がないため、ゲイン制御部２２は、温度分解能取得部２１が取得した最小温度分解能と同等のゲイン値を設定する。
【００２２】
例えば、温度分解能取得部２１が取得した最小温度分解能が０．１２５［℃］とした場合、ゲイン制御部２２は、ゲイン値を０．１２５［℃／輝度］に設定する。このゲイン値は、撮像素子１１の各画素に対応する被撮像体の温度の変化量及び各画素の階調値の変化量、つまり被撮像体の輝度が単位輝度（１階調）変化した場合の温度の変化量を示している。撮像装置１００が有する性能が８ビット(２５６階調)とした場合、画像データで表現できる輝度範囲、すなわち、撮像装置１００が測定できる温度幅は３２［℃］（０．１２５×２５６）となる。なお、画像データで表現できる最低温度は適宜変更可能であり、設定されたオフセット値によって決定される。オフセット値は、画像データで表現する温度の中心温度、例えばオフセット値が１６［℃］である場合、撮像装置１００により得られる画像データは、０〜３２［℃］の温度範囲での表現が可能となる。換言すれば、撮像装置１００が撮像した被撮像体の温度が０〜３２［℃］の場合、この範囲以外の温度の被撮像体は、画像データにおいて黒つぶれ又は白つぶれとなる。なお、歩行者の温度を略３６［℃］と想定した場合には、３６［℃］が画像データで表現できる温度範囲に含まれるようにオフセット値が設定されるようにしてもよい。このように、歩行者温度が画像データで表現できる温度範囲に含まれるよう温度範囲を設定することで、歩行者２０２が黒つぶれ又は白つぶれとなるおそれを回避できる。
【００２３】
また、ゲイン制御部２２は、最小温度分解能に基づいてゲイン値を設定する場合、画像データで表現できる温度幅が少なくとも３０［℃］以上となるように、ゲイン値を設定する。例えば、撮像装置１００の最小温度分解能が０．１［℃］であり、撮像装置１００が有する性能が８ビット(２５６階調)である場合、画像データで表現できる温度幅は２５．６［℃］となる。この場合、ゲイン制御部２２は、最小温度分解能の０．１［℃］に最も近似し、画像データで表現できる温度幅が３０［℃］となるよう、ゲイン値を０．１１８［℃／輝度］に再設定する。これにより、最小温度分解能に基づいて設定したゲイン値が高くなり、画像データで表現できる温度幅が狭くなりすぎて、歩行者の体表温度範囲が画像データの温度範囲から外れてしまうおそれを回避できる。
【００２４】
データ処理部２３は、画像撮像部１０から入力された輝度信号を、Ａ／Ｄ変換によりデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理で撮像素子ごとに出力された輝度信号を補正する。データ処理部２３は、ゲイン制御部２２が設定したゲイン値及びオフセット値を用いて、撮像素子ごとに出力される輝度信号を補正する。データ処理部２３は、処理後の信号（画像データ）を画像処理部３０へ出力する。なお、集光レンズ１と撮像素子１１との間、あるいは集光レンズの外側に開閉可能な不図示のシャッタが設けられ、ＮＵＣ処理などのキャリブレーションが実行される時には、シャッタが閉じられる。また、画像処理部３０が、撮像装置１００とは別に設けられる場合、処理後の信号を不図示の通信インタフェース部を介して外部へ出力することができる。また、処理後の信号を、不図示のＲＡＭ（Random Access Memory）などのメモリに一旦記憶してもよい。
【００２５】
画像処理部３０は、信号処理部２０から取得した画像データを用いて画像処理を行うことで歩行者２０２を検出する。画像処理部３０は、移動体（歩行者２０２）の候補領域検出処理及び移動体種別判定処理等の画像処理を行う。以下、各画像処理の一例について説明する。
【００２６】
候補領域検出処理は、撮像画像の中から移動体の候補となる領域を検出し、検出した領域の画像座標又はワールド座標などを格納した候補領域リストを作成する。候補領域リストは、例えば、移動体の外接四角形を候補領域とし、候補領域の識別符号と外接四角形の四隅の座標などを有する。候補領域検出処理は、具体的には、例えば、撮像画像から予め求められていた背景画像を差し引いて歩行者２０２などの移動体を抽出する背景差分法を用いることができる。また、候補領域検出処理は、現在のフレームと過去のフレームとの差分から歩行者などの移動体を抽出するフレーム差分法（フレーム間差分法）を用いることができる。
【００２７】
移動体種別判定処理は、候補領域リストにおける各候補領域に対して移動体であるか否かの判定を行い、検出移動体リストを作成する。検出移動体リストは、例えば、移動体の外接四角形を検出領域とし、検出領域の識別符号と外接四角形の四隅の座標などを有する。なお、検出移動体リストは、候補領域リストにおける候補領域毎に移動体であるか否かを示すフラグを付与するようにしてもよい。移動体種別判定処理は、具体的には、例えば、検出領域の大きさ情報又は輝度分布に基づいて、歩行者又は車両などの種別判定を行うことができる。また、移動体種別判定処理は、パターン認識手法の１つであるサポートベクターマシンなどの手法を用いることができる。
【００２８】
図３は本実施の形態に係る信号処理部２０の処理手順を示すフローチャートである。信号処理部２０は、最小温度分解能を取得し（Ｓ１）、それに基づいてゲイン値を設定する（Ｓ２）。例えば、最小温度分解能が０．１２５［℃］とした場合、０．１２５［℃／輝度］のゲイン値が設定される。信号処理部２０は、設定したゲイン値に基づいて、画像データで表現できる温度幅が３０［℃］以上であるか否かを判定する（Ｓ３）。例えば、撮像装置１００が有する性能が８ビット(２５６階調)である場合、画像データで表現できる輝度幅は３２［℃］（０．１２５×２５６）となる。
【００２９】
３０［℃］以上でない場合（Ｓ３：ＮＯ）、信号処理部２０は、Ｓ２に処理を戻し、再度ゲイン値を設定する。３０［℃］以上の場合（Ｓ３：ＹＥＳ）、信号処理部２０は、画像撮像部１０から、撮像素子１１ごとの輝度信号を受信したか否かを判定する（Ｓ４）。受信しない場合（Ｓ４：ＮＯ）、信号処理部２０は、受信するまで待機する。受信した場合（Ｓ４：ＹＥＳ）、信号処理部２０は、受信した輝度信号をデジタル信号へ変換する（Ｓ５）。その後、信号処理部２０は、ゲイン値及びオフセット値に従い、ＮＵＣ処理で撮像素子ごとに出力された輝度信号を補正し（Ｓ６）、処理結果を、画像処理部３０へ出力する（Ｓ７）。信号処理部２０は、例えば撮像装置１００の電源がオフされることで、処理を終了するか否かを判定する（Ｓ８）。終了しない場合（Ｓ８：ＮＯ）、信号処理部２０は、Ｓ４の処理を実行する。終了する場合（Ｓ８：ＹＥＳ）、信号処理部２０は、本処理を終了する。
【００３０】
以上説明したように、本実施の形態では、撮像素子１１から出力される輝度信号を補正するためのゲイン値を、撮像素子１１の最小温度分解能に基づいて設定する。これにより、撮像素子１１の撮像により得られる画像データの輝度差により、小さな温度差を特定できるため、画像中のエッジ検出の精度が向上する結果、道路上の歩行者２０２を精度よく検出することができる。
【００３１】
なお、上述の実施の形態では、本発明に係る信号処理装置を撮像装置１００として説明したが、信号処理装置を信号処理部２０としてもよい。
【００３２】
以上、本発明の好適な一実施の形態について、具体的に説明したが、開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００３３】
１ 集光レンズ
１０ 画像撮像部
２０ 信号処理部
２１ 温度分解能取得部（特定手段）
２２ ゲイン制御部（設定手段）
２３ データ処理部
３０ 画像処理部
１００ 撮像装置（信号処理装置）
２０２ 歩行者
【技術分野】
【０００１】
本発明は、複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理装置及び信号処理方法に関する。
【背景技術】
【０００２】
交差点等で発生する車両同士の事故、又は車両と歩行者との事故を防止すべく、交差点に設置したカメラで車両又は歩行者等の障害物を撮像した結果を、交差点に接近する車両へ提供するシステムが提案されている（例えば、特許文献１参照）。斯かるカメラには、暗所又は夜でも撮像可能なように、障害物等の被撮像体が発する赤外光を集光して映像を取得する赤外線カメラが用いられる。赤外線カメラにより得られた画像データは温度分布を表しており、特許文献１のように障害物を検出する場合、画像データ内の温度差から障害物とその周囲とのエッジを検出することで、障害物の有無を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１０９１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的に、赤外線カメラにおいては、撮像素子からの輝度信号を、所定階調（例えば、２５６階調）の画像データに変換し、障害物検出処理を行う。輝度信号から画像データに変換する際には、変換係数であるゲイン値を設定し、被撮像体の温度に応じてゲイン補正することで、画像データで表現する温度分布を決定する。しかしながら、季節又は昼夜によって温度が変化した際に、適切なゲイン値を設定する方法はこれまで提案されていない。赤外線カメラを用いて、特許文献１のように障害物を検出する場合、画像データにおける温度差を如何に精度よく検出するかにより、障害物の検出精度が左右されるため、適切にゲイン補正できないと、障害物とその周囲との温度差が検出できず、障害物の検出が行なえないといった問題がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、その目的とするところは、環境に依存せずに、赤外線カメラから出力される輝度信号を最適にゲイン補正する信号処理装置及び信号処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る信号処理装置は、複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理装置において、前記撮像素子の最小温度分解能を特定する特定手段と、該特定手段が特定した最小温度分解能に基づいてゲイン値を設定する設定手段とを備えることを特徴とする。
【０００７】
本発明に係る信号処理装置は、前記設定手段は、画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定するようにしてあることを特徴とする。
【０００８】
本発明に係る信号処理方法は、複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理方法において、前記撮像素子の最小温度分解能を特定するステップと、特定した最小温度分解能に基づいてゲイン値を設定するステップとを含むことを特徴とする。
【０００９】
本発明に係る信号処理方法は、前記設定するステップは、画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定することを特徴とする。
【００１０】
本発明においては、赤外線カメラの撮像素子から出力された輝度信号を補正するゲイン値を、撮像素子の最小温度分解能に基づいて設定する。温度分解能は、被撮像体の温度を何度の分解精度で計測できるかを示す性能であり、最小温度分解能とは、撮像素子で測定できる温度差の最小値を意味する。ゲイン値と温度分解能との関係は、ゲイン値を高く設定すると、温度分解能は向上し、ゲイン値を低く設定すると、温度分解能は低下する。また、画像データは一定の階調数で表現されるため、温度分解能を高くすると、画像データで微小な温度変化を表現することができるが、表現できる温度幅は狭くなる。一方、温度分解能を低くすると、画像データで微小な温度変化を表現できなくなるが、表現できる温度幅は広くなる。例えば、赤外線カメラで道路上を撮像し、道路上の歩行者を検出する場合、歩行者の体表温度は一定範囲（例えば、８〜３５度）に収まるため、環境に関係なく画像データにおける温度幅を広げる必要がない。一方、気温変化や日射による道路の蓄熱などにより、歩行者と道路との温度差が小さくなる場合があるため、温度分解能は高いほうが望ましい。そこで、画像データで表現できる温度幅を犠牲にして、微小な温度変化を表現できるようにゲイン値を設定する。すなわち、撮像素子の最小温度分解能に基づいて、ゲイン値を設定する。これにより、画像データにおける温度差を最大限検出できるようになり、その結果、歩行者を精度よく検出することが可能となる。
【００１１】
本発明においては、設定したゲイン値により、３０℃以上の温度幅を画像データで表示することができる。赤外線カメラの被撮像体が歩行者である場合、歩行者の体表温度は概ね３０度の温度範囲に収まる。そこで、温度幅を３０℃以上となるようにゲイン値を設定することにより、撮像素子が高性能のために最小温度分解能に基づいて設定したゲイン値が高くなり、画像データで表現できる温度幅が狭くなりすぎて、歩行者の体表温度範囲が画像データの温度範囲から外れてしまうおそれを回避できる。
【発明の効果】
【００１２】
本発明によれば、赤外線カメラの撮像により得られる画像データにおける温度差の検出精度が向上し、その結果、歩行者を精度よく検出することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る撮像装置を設置した状態を示す模式図である。
【図２】実施の形態の撮像装置の構成の一例を示すブロック図である。
【図３】実施の形態に係る信号処理部の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明に係る信号処理装置及び信号処理方法の好適な一実施の形態について、図面を参照しつつ説明する。以下の実施の形態では、本発明に係る信号処理装置を、道路上の歩行者を撮像する撮像装置として説明する。
【００１５】
図１は本実施の形態に係る撮像装置を設置した状態を示す模式図である。撮像装置（信号処理装置）１００は、赤外線カメラであり、例えば交差点の横断歩道２０１、及び横断歩道２０１を歩行する歩行者２０２が被撮像体となるよう、交差点付近の柱２００に設置される。撮像装置１００により撮像された画像データは、撮像装置１００が撮像した被撮像体の温度に応じた輝度で表示される。撮像装置１００は、歩行者２０２と、その周囲（横断歩道２０１を含む道路等）との温度差を利用して、横断歩道２０１上の歩行者２０２の有無を検出する。歩行者２０２を検出した場合には、無線機などを介して処理結果を車両へ送信する。車両では、検出した歩行者２０２の情報が、例えば画像表示又は音声により、運転者に注意が喚起される。
【００１６】
なお、撮像装置１００の設置場所、被撮像体等は適宜変更可能である。例えば、撮像装置１００による被撮像体は、歩行者に限らず、二輪車（自転車）に乗った人なども含んでもよいし、横断歩道２０１を含まない道路であってもよい。
【００１７】
図２は本実施の形態の撮像装置１００の構成の一例を示すブロック図である。撮像装置１００は、集光レンズ１、画像撮像部１０、信号処理部２０及び画像処理部３０等を備えている。なお、画像処理部３０は、撮像装置１００とは独立して設けるようにしてもよい。集光レンズ１は、例えば、Ｇｅ、ＺｎＳ、カルコゲナイトガラス等からなり、外部から入射する赤外光を集光し、図示しない円筒状の鏡筒内に保持されている。
【００１８】
画像撮像部１０は、基板上に２次元アレイ状に複数配置された撮像素子１１、撮像素子１１からの出力を信号処理部２０へ出力する信号読み出し回路１２等を備えている。撮像素子１１の表面には、集光レンズ１により集光された赤外光が入射される。撮像素子１１は、例えばボロメータ型の遠赤外線センサであり、波長が５μｍ以上、より好ましくは７〜１４μｍの遠赤外光を輝度信号に熱電変換し、熱電変換した輝度信号を信号読み出し回路１２へ出力する。なお、撮像素子１１は、ボロメータの他にアモルファスＳｉ、ＳＯＩダイオード等であってもよい。信号読み出し回路１２は、撮像素子１１からの出力（輝度信号）をフレーム単位（例えば、毎秒３０フレームなど）で読み出し、信号処理部２０へ出力する。
【００１９】
信号処理部２０は、例えば、一又は複数のＬＳＩ（Large-Scale Integration）等の演算手段により動作が制御され、温度分解能取得部２１、ゲイン制御部２２及びデータ処理部２３等を備える。
【００２０】
温度分解能取得部２１は、撮像装置１００の最小温度分解能を取得する。最小温度分解能は、被撮像体の温度を何度の分解精度で計測できるかの限界性能であり、ＮＥＴＤ値（雑音等価温度差、Noise Equivalent Temperature Difference）と呼ばれる指標が用いられ、値が低いほど温度分解能が良いことを示す。温度分解能取得部２１は、予め測定され、信号処理部２０のメモリ（図示せず）に記憶された最小温度分解能を取得してもよいし、設定者による最小温度分解能の入力を受け付けてもよい。
【００２１】
ゲイン制御部２２は、温度分解能取得部２１が取得した最小温度分解能に基づいて、撮像装置１００のゲイン値を設定する。ゲイン値は、撮像素子１１ごとの所定の温度変化率に対する出力値の差異を補正する係数であり、撮像装置１００で撮像して得られる画像データの単位輝度で表現可能な最小温度（単位は［℃／輝度］）を表す。輝度階調は一定のため、ゲイン制御部２２がゲイン値を高く設定すると、温度分解能は向上するが画像データで表現できる温度幅は狭まり、逆にゲイン値を低く設定すると、温度分解能は低下するが画像データで表現できる温度幅は広がることになる。本実施の形態では、歩行者２０２とその周囲との温度差を利用して、歩行者２０２の検出することができればよく、一般的には歩行者２０２の温度は略特定でき、周囲の温度変化などに応じて温度分布を大きくする必要がないため、ゲイン制御部２２は、温度分解能取得部２１が取得した最小温度分解能と同等のゲイン値を設定する。
【００２２】
例えば、温度分解能取得部２１が取得した最小温度分解能が０．１２５［℃］とした場合、ゲイン制御部２２は、ゲイン値を０．１２５［℃／輝度］に設定する。このゲイン値は、撮像素子１１の各画素に対応する被撮像体の温度の変化量及び各画素の階調値の変化量、つまり被撮像体の輝度が単位輝度（１階調）変化した場合の温度の変化量を示している。撮像装置１００が有する性能が８ビット(２５６階調)とした場合、画像データで表現できる輝度範囲、すなわち、撮像装置１００が測定できる温度幅は３２［℃］（０．１２５×２５６）となる。なお、画像データで表現できる最低温度は適宜変更可能であり、設定されたオフセット値によって決定される。オフセット値は、画像データで表現する温度の中心温度、例えばオフセット値が１６［℃］である場合、撮像装置１００により得られる画像データは、０〜３２［℃］の温度範囲での表現が可能となる。換言すれば、撮像装置１００が撮像した被撮像体の温度が０〜３２［℃］の場合、この範囲以外の温度の被撮像体は、画像データにおいて黒つぶれ又は白つぶれとなる。なお、歩行者の温度を略３６［℃］と想定した場合には、３６［℃］が画像データで表現できる温度範囲に含まれるようにオフセット値が設定されるようにしてもよい。このように、歩行者温度が画像データで表現できる温度範囲に含まれるよう温度範囲を設定することで、歩行者２０２が黒つぶれ又は白つぶれとなるおそれを回避できる。
【００２３】
また、ゲイン制御部２２は、最小温度分解能に基づいてゲイン値を設定する場合、画像データで表現できる温度幅が少なくとも３０［℃］以上となるように、ゲイン値を設定する。例えば、撮像装置１００の最小温度分解能が０．１［℃］であり、撮像装置１００が有する性能が８ビット(２５６階調)である場合、画像データで表現できる温度幅は２５．６［℃］となる。この場合、ゲイン制御部２２は、最小温度分解能の０．１［℃］に最も近似し、画像データで表現できる温度幅が３０［℃］となるよう、ゲイン値を０．１１８［℃／輝度］に再設定する。これにより、最小温度分解能に基づいて設定したゲイン値が高くなり、画像データで表現できる温度幅が狭くなりすぎて、歩行者の体表温度範囲が画像データの温度範囲から外れてしまうおそれを回避できる。
【００２４】
データ処理部２３は、画像撮像部１０から入力された輝度信号を、Ａ／Ｄ変換によりデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理で撮像素子ごとに出力された輝度信号を補正する。データ処理部２３は、ゲイン制御部２２が設定したゲイン値及びオフセット値を用いて、撮像素子ごとに出力される輝度信号を補正する。データ処理部２３は、処理後の信号（画像データ）を画像処理部３０へ出力する。なお、集光レンズ１と撮像素子１１との間、あるいは集光レンズの外側に開閉可能な不図示のシャッタが設けられ、ＮＵＣ処理などのキャリブレーションが実行される時には、シャッタが閉じられる。また、画像処理部３０が、撮像装置１００とは別に設けられる場合、処理後の信号を不図示の通信インタフェース部を介して外部へ出力することができる。また、処理後の信号を、不図示のＲＡＭ（Random Access Memory）などのメモリに一旦記憶してもよい。
【００２５】
画像処理部３０は、信号処理部２０から取得した画像データを用いて画像処理を行うことで歩行者２０２を検出する。画像処理部３０は、移動体（歩行者２０２）の候補領域検出処理及び移動体種別判定処理等の画像処理を行う。以下、各画像処理の一例について説明する。
【００２６】
候補領域検出処理は、撮像画像の中から移動体の候補となる領域を検出し、検出した領域の画像座標又はワールド座標などを格納した候補領域リストを作成する。候補領域リストは、例えば、移動体の外接四角形を候補領域とし、候補領域の識別符号と外接四角形の四隅の座標などを有する。候補領域検出処理は、具体的には、例えば、撮像画像から予め求められていた背景画像を差し引いて歩行者２０２などの移動体を抽出する背景差分法を用いることができる。また、候補領域検出処理は、現在のフレームと過去のフレームとの差分から歩行者などの移動体を抽出するフレーム差分法（フレーム間差分法）を用いることができる。
【００２７】
移動体種別判定処理は、候補領域リストにおける各候補領域に対して移動体であるか否かの判定を行い、検出移動体リストを作成する。検出移動体リストは、例えば、移動体の外接四角形を検出領域とし、検出領域の識別符号と外接四角形の四隅の座標などを有する。なお、検出移動体リストは、候補領域リストにおける候補領域毎に移動体であるか否かを示すフラグを付与するようにしてもよい。移動体種別判定処理は、具体的には、例えば、検出領域の大きさ情報又は輝度分布に基づいて、歩行者又は車両などの種別判定を行うことができる。また、移動体種別判定処理は、パターン認識手法の１つであるサポートベクターマシンなどの手法を用いることができる。
【００２８】
図３は本実施の形態に係る信号処理部２０の処理手順を示すフローチャートである。信号処理部２０は、最小温度分解能を取得し（Ｓ１）、それに基づいてゲイン値を設定する（Ｓ２）。例えば、最小温度分解能が０．１２５［℃］とした場合、０．１２５［℃／輝度］のゲイン値が設定される。信号処理部２０は、設定したゲイン値に基づいて、画像データで表現できる温度幅が３０［℃］以上であるか否かを判定する（Ｓ３）。例えば、撮像装置１００が有する性能が８ビット(２５６階調)である場合、画像データで表現できる輝度幅は３２［℃］（０．１２５×２５６）となる。
【００２９】
３０［℃］以上でない場合（Ｓ３：ＮＯ）、信号処理部２０は、Ｓ２に処理を戻し、再度ゲイン値を設定する。３０［℃］以上の場合（Ｓ３：ＹＥＳ）、信号処理部２０は、画像撮像部１０から、撮像素子１１ごとの輝度信号を受信したか否かを判定する（Ｓ４）。受信しない場合（Ｓ４：ＮＯ）、信号処理部２０は、受信するまで待機する。受信した場合（Ｓ４：ＹＥＳ）、信号処理部２０は、受信した輝度信号をデジタル信号へ変換する（Ｓ５）。その後、信号処理部２０は、ゲイン値及びオフセット値に従い、ＮＵＣ処理で撮像素子ごとに出力された輝度信号を補正し（Ｓ６）、処理結果を、画像処理部３０へ出力する（Ｓ７）。信号処理部２０は、例えば撮像装置１００の電源がオフされることで、処理を終了するか否かを判定する（Ｓ８）。終了しない場合（Ｓ８：ＮＯ）、信号処理部２０は、Ｓ４の処理を実行する。終了する場合（Ｓ８：ＹＥＳ）、信号処理部２０は、本処理を終了する。
【００３０】
以上説明したように、本実施の形態では、撮像素子１１から出力される輝度信号を補正するためのゲイン値を、撮像素子１１の最小温度分解能に基づいて設定する。これにより、撮像素子１１の撮像により得られる画像データの輝度差により、小さな温度差を特定できるため、画像中のエッジ検出の精度が向上する結果、道路上の歩行者２０２を精度よく検出することができる。
【００３１】
なお、上述の実施の形態では、本発明に係る信号処理装置を撮像装置１００として説明したが、信号処理装置を信号処理部２０としてもよい。
【００３２】
以上、本発明の好適な一実施の形態について、具体的に説明したが、開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００３３】
１ 集光レンズ
１０ 画像撮像部
２０ 信号処理部
２１ 温度分解能取得部（特定手段）
２２ ゲイン制御部（設定手段）
２３ データ処理部
３０ 画像処理部
１００ 撮像装置（信号処理装置）
２０２ 歩行者
【特許請求の範囲】
【請求項１】
複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理装置において、
前記撮像素子の最小温度分解能を特定する特定手段と、
該特定手段が特定した最小温度分解能に基づいてゲイン値を設定する設定手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記設定手段は、
画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定するようにしてある
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理方法において、
前記撮像素子の最小温度分解能を特定するステップと、
特定した最小温度分解能に基づいてゲイン値を設定するステップと
を含むことを特徴とする信号処理方法。
【請求項４】
前記設定するステップは、
画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定する
ことを特徴とする請求項３に記載の信号処理方法。
【請求項１】
複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理装置において、
前記撮像素子の最小温度分解能を特定する特定手段と、
該特定手段が特定した最小温度分解能に基づいてゲイン値を設定する設定手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記設定手段は、
画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定するようにしてある
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
複数の撮像素子を有する赤外線カメラの撮像素子から出力された輝度信号を、撮像素子毎の輝度値の差異を補正するゲイン値に基づいて補正する信号処理方法において、
前記撮像素子の最小温度分解能を特定するステップと、
特定した最小温度分解能に基づいてゲイン値を設定するステップと
を含むことを特徴とする信号処理方法。
【請求項４】
前記設定するステップは、
画像データで表現可能な温度幅が３０℃以上となるようにゲイン値を設定する
ことを特徴とする請求項３に記載の信号処理方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１５７０５（Ｐ２０１２−１５７０５Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４８８８９（Ｐ２０１０−１４８８８９）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]