画像処理装置及びその調整方法
【課題】画像処理装置の構成要素にばらつきがあったり、経年劣化が生じた場合でも、認識対象を精度よく認識できる画像処理装置及びその調整方法を提供すること。
【解決手段】画像を取得する画像取得手段３と、前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段５と、前記補正手段５による補正後の前記画像において物体を認識する物体認識手段５とを備えた画像処理装置１の調整方法であって、前記画像取得手段３により、所定の標準光源を撮像した標準光源画像を取得する工程と、前記標準光源画像を前記補正手段５により補正する工程と、補正後の前記標準光源画像の色特性Ａと、前記標準光源の色特性Ｂとを対比する対比工程と、前記対比工程の結果に応じて、前記色特性Ａと、前記色特性Ｂとの差が減少するように、前記補正係数を更新する更新工程と、を備えることを特徴とする画像処理装置１の調整方法。
【解決手段】画像を取得する画像取得手段３と、前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段５と、前記補正手段５による補正後の前記画像において物体を認識する物体認識手段５とを備えた画像処理装置１の調整方法であって、前記画像取得手段３により、所定の標準光源を撮像した標準光源画像を取得する工程と、前記標準光源画像を前記補正手段５により補正する工程と、補正後の前記標準光源画像の色特性Ａと、前記標準光源の色特性Ｂとを対比する対比工程と、前記対比工程の結果に応じて、前記色特性Ａと、前記色特性Ｂとの差が減少するように、前記補正係数を更新する更新工程と、を備えることを特徴とする画像処理装置１の調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその調整方法に関する。
【背景技術】
【０００２】
車載カメラにより車両前方を撮像して画像データを取得し、その画像データにおいて先行車又は対向車を画像認識すると、車両の灯具を制御する画像処理装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９６６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理装置で取得する画像データの色特性は、様々な要因（例えば、ウインドシールド、レンズ、変更フィルタ、ＯＬＰＦ、カラーフィルタ、イメージャー特性等）に左右され、画像処理装置ごとにばらついてしまうことがある。この場合、画像データにおいて、先行車又は対向車を正確に認識できなくなってしまうことがある。
【０００５】
また、カメラの撮像素子やレンズが経年劣化し、画像データの色特性が、本来の正しい色特性からずれてしまうことがある。この場合も、画像データにおいて、先行車又は対向車を正確に認識できなくなってしまうことがある。
【０００６】
本発明は以上の点に鑑みなされたものであり、画像処理装置の構成要素にばらつきがあったり、経年劣化が生じた場合でも、認識対象を精度よく認識できる画像処理装置及びその調整方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置の調整方法は、画像を取得する画像取得手段と、前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、を備えた画像処理装置をその対象とする。
【０００８】
本発明の画像処理装置の調整方法は、前記画像取得手段により、所定の標準光源を撮像した標準光源画像を取得する工程と、前記標準光源画像を前記補正手段により補正する工程と、補正後の前記標準光源画像の色特性Ａと、前記標準光源の色特性Ｂとを対比する対比工程と、前記対比工程の結果に応じて、前記色特性Ａと、前記色特性Ｂとの差が減少するように、前記補正係数を更新する更新工程とを備える。
【０００９】
本発明の調整方法では、標準光源画像を補正手段により補正した画像の色特性Ａと、標準光源の色特性Ｂとの差が小さくなるように、補正係数を更新する。
そのことにより、画像処理装置で取得する画像の色特性を左右する要因（例えば、ウインドシールド、レンズ、変更フィルタ、ＯＬＰＦ、カラーフィルタ、イメージャー特性等）において、画像処理装置ごとにばらつきがあったとしても、補正手段による補正処理でそのばらつきを相殺し、画像認識に用いる画像の色特性を、ばらつきの少ないものとすることができる。その結果、画像処理装置は、物体を精度良く認識できるようになる。
【００１０】
本発明の調整方法は、例えば、画像処理装置の出荷時に行うことができる。また、その他のタイミング（例えば出荷から所定の期間が経過したとき）に行ってもよい。
本発明の画像処理装置は、画像を取得する画像取得手段と、前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、前記物体認識手段により所定の認識対象物体を認識した場合、その認識対象物体の色特性を取得する色特性取得手段と、前記色特性取得手段で取得した色特性Ｃと、予め保持された、同一の前記認識対象物体の標準色特性Ｄとを対比する対比手段と、前記対比手段による対比結果に応じて、前記色特性Ｃと前記標準色特性Ｄとの差が減少するように、前記補正係数を更新する更新手段とを備える。
【００１１】
本発明の画像処理装置は、画像取得手段で取得し、補正手段で補正した画像中に存在する認識対象物体の色特性Ｃと、予め保持された、同一の前記認識対象物体の標準色特性Ｄとの差が小さくなるように、補正係数を更新する。
【００１２】
そのことにより、画像取得手段の構成要素（例えば撮像素子やレンズ）が経年劣化しても、画像データの色特性を、本来の正しい色特性に保つことができる。その結果、画像認識を精度良く行うことができる。
【００１３】
本発明の画像処理装置において、補正係数の更新に関する処理は、予め設定された更新条件が満たされた場合に実行してもよいし、ユーザの指示により随時実行してもよい。
【図面の簡単な説明】
【００１４】
【図１】画像処理装置１の構成を表すブロック図である。
【図２】画像処理装置１が実行する処理を表すフローチャートである。
【図３】画素値−輝度の変換直線を表す説明図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態を図面に基づき説明する。
１．画像処理装置１の構成
画像処理装置１の構成を図１に基づいて説明する。なお、図１は、画像処理装置１の構成を表すブロック図である。
【００１６】
画像処理装置１は車載装置である。画像処理装置１は、それが搭載されている車両の前方の風景を撮影し、その画像データを取得するカメラ（画像取得手段）３と、カメラ３で取得した画像データを用いて後述する画像処理を行うマイコン５とを備える。マイコン５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等の周知の構成を備え、画像処理の結果に応じて、車両の灯具７を制御する。
【００１７】
カメラ３、マイコン５、及び灯具７は、車両通信プロトコル（ＣＡＮ）で接続されている。また、マイコン５には、図示しないナビゲーション装置からのナビ情報、及び図示しないセンサ類からの車両情報（車両の速度、ヨーレート等）がＣＡＮを通して入力される。また、マイコン５は、灯具７以外の対象にも、画像処理の結果を表す信号等、各種信号を出力することができる。
【００１８】
なお、マイコン５は、請求項１又は２における補正手段、物体認識手段、色特性取得手段、対比手段、及び更新手段として機能する。
２．画像処理装置１が実行する処理
画像処理装置１（特にマイコン５）が実行する処理を図２のフローチャートに基づいて説明する。
【００１９】
ステップ１０では、カメラ３により車両前方の風景を撮影し、その画像データを取得する。画像データは、複数の画素から構成され、各画素は、０〜２５５のいずれかの画素値を保持している。この画像データには、主として赤の波長を透過するフィルタを透過した光の強さに対応する画素値を保持する画素（以下、Ｒ画素とする）と、主として緑の波長を透過するフィルタを透過した光の強さに対応する画素値を保持する画素（以下、Ｇ画素とする）と、主として青の波長を透過するフィルタを透過した光の強さに対応する画素値を保持する画素（以下、Ｂ画素とする）とが、ベイヤー配列により配列されている。この画像データにおいて、Ｒ画素は赤の画素値を保持し、Ｇ画素は緑の画素値を保持し、Ｂ画素は青の画素値を保持することになる。
【００２０】
ステップ２０では、ナビゲーション装置からのナビ情報、及びセンサ類からの車両情報（車両の速度、ヨーレート等）を、ＣＡＮを通して取得する。
ステップ３０では、前記ステップ１０で取得した画像データを補正する。この補正は、以下のように行う。
【００２１】
画像データを構成する各画素が保持する画素値にそれぞれ補正係数を乗じて、補正後の画素値を算出する。補正係数は、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれに対応するものが設定されている。Ｒ画素用の補正係数をＫRとし、Ｇ画素用の補正係数をＫGとし、Ｂ画素用の補正係数をＫBとする。Ｒ画素については、元の（補正前の）画素値に補正係数ＫRを乗じて補正後の画素値を算出し、Ｇ画素については、元の画素値に補正係数ＫGを乗じて補正後の画素値を算出し、Ｂ画素については、元の画素値に補正係数ＫBを乗じて補正後の画素値を算出する。
【００２２】
次に、図３に示す、画素値−輝度の変換直線（マイコン５のＲＯＭに予め記憶されているもの）を用いて、補正後の画素値を、輝度に変換する。画素値−輝度の変換直線には、Ｒ画素用、Ｇ画素用、Ｂ画素用の区別があり、Ｒ画素については、Ｒ画素用の画素値−輝度の変換直線を用い、画素値ｘRを輝度ｙRに変換する。また、Ｇ画素については、Ｇ画素用の画素値−輝度の変換直線を用い、画素値ｘGを輝度ｙGに変換する。Ｂ画素についてはＢ画素用の画素値−輝度の変換直線を用い、画素値ｘBを輝度ｙBに変換する。
【００２３】
ここまでの工程により、画像データの各画素は、その画素に対応する色の輝度を保持するようになる。すなわち、Ｒ画素はＲの光の輝度を保持し、Ｇ画素はＧの光の輝度を保持し、Ｂ画素はＢの光の輝度を保持する。
【００２４】
最後に、周知のデモザイク処理により、各画素について、Ｒ、Ｇ、Ｂそれぞれの輝度を算出する。以上の工程により、各画素は、Ｒ、Ｇ、Ｂそれぞれの輝度を保持するようになる。
【００２５】
ステップ４０では、前記ステップ３０で補正した画像データにおいて、画像認識の方法により、予め設定された認識対象Ｘが認識できたか否かを判断する。この認識対象Ｘは、対向車又は先行車である。認識対象Ｘの画像認識には、前記ステップ２０で入力したナビ情報（車両の位置情報）、車両の速度、ヨーレートも用い、周知の方法で行う。認識対象Ｘが認識できなかった場合はステップ５０に進み、認識できた場合はステップ９０へ進む。
【００２６】
ステップ５０では、所定の更新条件を満たしているか否かを判断する。この更新条件は、例えば、以下の（ａ）〜（ｃ）のうちのいずれかとすることができる。
（ａ）後述するステップ９０の処理を最後に実行してから、所定時間が経過している。
【００２７】
（ｂ）車両のイグニッションＯＮから所定時間が経過している。
（ｃ）ナビ情報に基づく車両の位置が予め設定された位置である。
更新条件を満たす場合はステップ６０に進み、満たさない場合は本処理を終了する。
【００２８】
ステップ６０では、前記ステップ３０で補正した画像データにおいて、周知の画像認識の方法により、予め設定された認識対象Ｙが認識できたか否かを判断する。この認識対象Ｙは、車両のテールライト、信号機の青色灯、及び標識の背景のうちのいずれかである。なお、この認識対象Ｙは、色、明るさが一定のものである。認識対象Ｙが認識できた場合はステップ７０に進み、認識できなかった場合は本処理を終了する。
【００２９】
ステップ７０では、前記ステップ３０で補正した画像データのうち、前記ステップ６０で認識した認識対象Ｙの部分の色特性Ｃを取得する。
ステップ８０では、前記ステップ７０で取得した色特性Ｃと、前記ステップ６０で認識した認識対象Ｙの色特性として予めマイコン５のＲＯＭに記憶しておいた標準色特性Ｄとを対比する。
【００３０】
色特性の対比は、Ｌ*ｕ*ｖ（ＪＩＳ Ｚ８７２９）またはＬ＊ａ*ｂ（ＪＩＳ Ｚ８７２９）の色空間において行う。これらの色空間は、知覚的にほぼ均等な歩度を持つ色空間である。
【００３１】
なお、色特性の対比は、前記ステップ６０で認識した認識対象Ｙと同一物の標準色特性Ｄを用いて行う。すなわち、前記ステップ６０で認識した認識対象Ｙが車両のテールライトである場合は、車両のテールライトの標準色特性Ｄを用い、前記ステップ６０で認識した認識対象Ｙが信号機の青色灯である場合は、信号機の青色灯の標準色特性Ｄを用い、前記ステップ６０で認識した認識対象Ｙが標識の背景である場合は、標識の背景の標準色特性Ｄを用いる。
【００３２】
ステップ９０では、前記ステップ７０で取得した色特性Ｃと標準色特性Ｄとの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
この更新の方法としては、例えば以下の方法(i)、(ii)のうちのいずれかにすることができる。
【００３３】
(i) 前記ステップ７０で取得した色特性Ｃが、標準色特性Ｄに比べて、色空間におけるどの方向にどの程度ずれているかを取得し、その結果に応じて、予め定められたパターンで、補正係数ＫR、ＫG、ＫBを更新する。
【００３４】
(ii)補正係数ＫR、ＫG、ＫBの値を少しずつ変化させるステップと、その変化させた補正係数ＫR、ＫG、ＫBを用いて認識対象Ｙの色特性Ｃを取得するステップと、その取得した認識対象Ｙの色特性Ｃと標準色特性Ｄとを前記ステップ８０のように対比し、それらの差を算出するステップとを繰り返し、色特性Ｃと標準色特性Ｄの差が最も小さくなったときの補正係数ＫR、ＫG、ＫBを、更新後の補正係数ＫR、ＫG、ＫBとする。
【００３５】
なお、前記ステップ７０で取得した色特性Ｃと標準色特性Ｄとの差が所定値未満である場合は、補正係数ＫR、ＫG、ＫBの更新を行わないようにすることができる。
一方、前記ステップ４０で認識対象Ｘを認識したと判断した場合はステップ９０に進み、灯具７を制御する。具体的には、灯具７の状態がハイビームであれば、ロービームに変更する。
【００３６】
３．画像処理装置１に対して行う調整方法
画像処理装置１に対して行う調整方法を説明する。まず、画像処理装置１を車両に搭載した状態で、カメラ３に対し、車両の前方から、ウインドシールドを通して、標準光を照射する。なお、標準光は、夜間に調整を行う場合は、「ＪＩＳ規格 標準光Ａ（２８４８Ｋ）」を用いる。また、昼間に調整を行う場合は、「標準の光Ｄ６５（約６５００Ｋ）」を用いる。
【００３７】
このとき、画像処理装置１は、前記ステップ１０の処理により、標準光を撮像した画像データを取得し、前記ステップ３０の処理により、その画像データを補正する。
補正後の画像データをマイコン５から取り出し、その色特性（以下、色特性Ａとする）と、標準光の標準色特性Ｂ（既知）とを対比する。色特性の対比は、Ｌ*ｕ*ｖ（ＪＩＳ Ｚ８７２９）またはＬ＊ａ*ｂ（ＪＩＳ Ｚ８７２９）の色空間において行う。これらの色空間は、知覚的にほぼ均等な歩度を持つ色空間である。
【００３８】
次に、色特性Ａと標準色特性Ｂとの対比結果に応じ、それらの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
この更新の方法としては、例えば以下の方法(i)、(ii)のうちのいずれかにすることができる。
【００３９】
(i)色特性Ａが、標準色特性Ｂに比べて、色空間におけるどの方向にどの程度ずれているかを取得し、その結果に応じて、予め定められたパターンで、補正係数ＫR、ＫG、ＫBを更新する。
【００４０】
(ii)補正係数ＫR、ＫG、ＫBの値を少しずつ変化させるステップと、その変化させた補正係数ＫR、ＫG、ＫBを用いて色特性Ａを取得するステップと、その色特性Ａと標準色特性Ｂとを前記ステップ８０のように対比し、それらの差を算出するステップとを繰り返し、色特性Ａ色特性Ｂの差が最も小さくなったときの補正係数ＫR、ＫG、ＫBを、更新後の補正係数ＫR、ＫG、ＫBとする。
【００４１】
なお、 色特性Ａと標準色特性Ｂとの差が所定値未満である場合は、補正係数ＫR、ＫG、ＫBの更新を行わないようにすることができる。
４．画像処理装置１が奏する効果
画像処理装置１は、画像データにおける認識対象Ｙの色特性Ｃと、標準色特性Ｄとの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
【００４２】
そのことにより、カメラ３の撮像素子やレンズが経年劣化しても、画像データの色特性を、本来の正しい色特性に保つことができる。その結果、前記ステップ４０において認識対象Ｘを精度良く認識することができる。
【００４３】
５．画像処理装置１に対して行う調整方法が奏する効果
上述した調整方法では、標準光を画像処理装置１のカメラ３で撮像し、前記ステップ３０の処理で補正した画像データの色特性Ａと、標準色特性Ｂとの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
【００４４】
そのことにより、画像処理装置１で取得する画像データの色特性を左右する要因（ウインドシールド、レンズ、変更フィルタ、ＯＬＰＦ、カラーフィルタ、イメージャー特性等）について、画像処理装置１ごとにばらつきがあったとしても、取得画像補正処理（前記ステップ３０の処理）によってそのばらつきを相殺し、画像認識に用いる画像データの色特性を、ばらつきのないものとすることができる。その結果、前記ステップ４０において認識対象Ｘを精度良く認識することができる。
【００４５】
また、カメラ３により取得した画像の色特性を、厳密に一定にしなくてもよいため、安価なカメラ３を用いることができる。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【００４６】
例えば、前記ステップ５０では、特に更新条件を設定せず、全てＹＥＳと判断するようにしてもよい。また、画像処理装置１は、ユーザからの指示に応じて、補正係数ＫR、ＫG、ＫBの更新に関する処理を実行してもよい。
【００４７】
また、前記ステップ５０、６０では、車両が予め設定された位置にあり、且つ予め設定された単一の認識対象Ｙ（又は前回の処理で認識したものと同一の認識対象Ｙ）を認識した場合にステップ７０〜９０の処理を実行するようにしてもよい。こうすることにより、補正の精度を一層向上させることができる。
【００４８】
また、補正係数ＫR、ＫG、ＫBを用いた補正方法は、線形でも非線形でもよい。すなわち、補正係数ＫR、ＫG、ＫBの値は、画素値の値によらず一定であってもよいし、画素値の値によって異なる値であってもよい。
【００４９】
また、画像処理装置１は、灯具７の制御以外の制御も、画像認識の結果を用いて実行してもよい。
【符号の説明】
【００５０】
１・・・画像処理装置、３・・・カメラ、５・・・マイコン、７・・・灯具
【技術分野】
【０００１】
本発明は、画像処理装置及びその調整方法に関する。
【背景技術】
【０００２】
車載カメラにより車両前方を撮像して画像データを取得し、その画像データにおいて先行車又は対向車を画像認識すると、車両の灯具を制御する画像処理装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９６６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理装置で取得する画像データの色特性は、様々な要因（例えば、ウインドシールド、レンズ、変更フィルタ、ＯＬＰＦ、カラーフィルタ、イメージャー特性等）に左右され、画像処理装置ごとにばらついてしまうことがある。この場合、画像データにおいて、先行車又は対向車を正確に認識できなくなってしまうことがある。
【０００５】
また、カメラの撮像素子やレンズが経年劣化し、画像データの色特性が、本来の正しい色特性からずれてしまうことがある。この場合も、画像データにおいて、先行車又は対向車を正確に認識できなくなってしまうことがある。
【０００６】
本発明は以上の点に鑑みなされたものであり、画像処理装置の構成要素にばらつきがあったり、経年劣化が生じた場合でも、認識対象を精度よく認識できる画像処理装置及びその調整方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置の調整方法は、画像を取得する画像取得手段と、前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、を備えた画像処理装置をその対象とする。
【０００８】
本発明の画像処理装置の調整方法は、前記画像取得手段により、所定の標準光源を撮像した標準光源画像を取得する工程と、前記標準光源画像を前記補正手段により補正する工程と、補正後の前記標準光源画像の色特性Ａと、前記標準光源の色特性Ｂとを対比する対比工程と、前記対比工程の結果に応じて、前記色特性Ａと、前記色特性Ｂとの差が減少するように、前記補正係数を更新する更新工程とを備える。
【０００９】
本発明の調整方法では、標準光源画像を補正手段により補正した画像の色特性Ａと、標準光源の色特性Ｂとの差が小さくなるように、補正係数を更新する。
そのことにより、画像処理装置で取得する画像の色特性を左右する要因（例えば、ウインドシールド、レンズ、変更フィルタ、ＯＬＰＦ、カラーフィルタ、イメージャー特性等）において、画像処理装置ごとにばらつきがあったとしても、補正手段による補正処理でそのばらつきを相殺し、画像認識に用いる画像の色特性を、ばらつきの少ないものとすることができる。その結果、画像処理装置は、物体を精度良く認識できるようになる。
【００１０】
本発明の調整方法は、例えば、画像処理装置の出荷時に行うことができる。また、その他のタイミング（例えば出荷から所定の期間が経過したとき）に行ってもよい。
本発明の画像処理装置は、画像を取得する画像取得手段と、前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、前記物体認識手段により所定の認識対象物体を認識した場合、その認識対象物体の色特性を取得する色特性取得手段と、前記色特性取得手段で取得した色特性Ｃと、予め保持された、同一の前記認識対象物体の標準色特性Ｄとを対比する対比手段と、前記対比手段による対比結果に応じて、前記色特性Ｃと前記標準色特性Ｄとの差が減少するように、前記補正係数を更新する更新手段とを備える。
【００１１】
本発明の画像処理装置は、画像取得手段で取得し、補正手段で補正した画像中に存在する認識対象物体の色特性Ｃと、予め保持された、同一の前記認識対象物体の標準色特性Ｄとの差が小さくなるように、補正係数を更新する。
【００１２】
そのことにより、画像取得手段の構成要素（例えば撮像素子やレンズ）が経年劣化しても、画像データの色特性を、本来の正しい色特性に保つことができる。その結果、画像認識を精度良く行うことができる。
【００１３】
本発明の画像処理装置において、補正係数の更新に関する処理は、予め設定された更新条件が満たされた場合に実行してもよいし、ユーザの指示により随時実行してもよい。
【図面の簡単な説明】
【００１４】
【図１】画像処理装置１の構成を表すブロック図である。
【図２】画像処理装置１が実行する処理を表すフローチャートである。
【図３】画素値−輝度の変換直線を表す説明図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態を図面に基づき説明する。
１．画像処理装置１の構成
画像処理装置１の構成を図１に基づいて説明する。なお、図１は、画像処理装置１の構成を表すブロック図である。
【００１６】
画像処理装置１は車載装置である。画像処理装置１は、それが搭載されている車両の前方の風景を撮影し、その画像データを取得するカメラ（画像取得手段）３と、カメラ３で取得した画像データを用いて後述する画像処理を行うマイコン５とを備える。マイコン５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等の周知の構成を備え、画像処理の結果に応じて、車両の灯具７を制御する。
【００１７】
カメラ３、マイコン５、及び灯具７は、車両通信プロトコル（ＣＡＮ）で接続されている。また、マイコン５には、図示しないナビゲーション装置からのナビ情報、及び図示しないセンサ類からの車両情報（車両の速度、ヨーレート等）がＣＡＮを通して入力される。また、マイコン５は、灯具７以外の対象にも、画像処理の結果を表す信号等、各種信号を出力することができる。
【００１８】
なお、マイコン５は、請求項１又は２における補正手段、物体認識手段、色特性取得手段、対比手段、及び更新手段として機能する。
２．画像処理装置１が実行する処理
画像処理装置１（特にマイコン５）が実行する処理を図２のフローチャートに基づいて説明する。
【００１９】
ステップ１０では、カメラ３により車両前方の風景を撮影し、その画像データを取得する。画像データは、複数の画素から構成され、各画素は、０〜２５５のいずれかの画素値を保持している。この画像データには、主として赤の波長を透過するフィルタを透過した光の強さに対応する画素値を保持する画素（以下、Ｒ画素とする）と、主として緑の波長を透過するフィルタを透過した光の強さに対応する画素値を保持する画素（以下、Ｇ画素とする）と、主として青の波長を透過するフィルタを透過した光の強さに対応する画素値を保持する画素（以下、Ｂ画素とする）とが、ベイヤー配列により配列されている。この画像データにおいて、Ｒ画素は赤の画素値を保持し、Ｇ画素は緑の画素値を保持し、Ｂ画素は青の画素値を保持することになる。
【００２０】
ステップ２０では、ナビゲーション装置からのナビ情報、及びセンサ類からの車両情報（車両の速度、ヨーレート等）を、ＣＡＮを通して取得する。
ステップ３０では、前記ステップ１０で取得した画像データを補正する。この補正は、以下のように行う。
【００２１】
画像データを構成する各画素が保持する画素値にそれぞれ補正係数を乗じて、補正後の画素値を算出する。補正係数は、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれに対応するものが設定されている。Ｒ画素用の補正係数をＫRとし、Ｇ画素用の補正係数をＫGとし、Ｂ画素用の補正係数をＫBとする。Ｒ画素については、元の（補正前の）画素値に補正係数ＫRを乗じて補正後の画素値を算出し、Ｇ画素については、元の画素値に補正係数ＫGを乗じて補正後の画素値を算出し、Ｂ画素については、元の画素値に補正係数ＫBを乗じて補正後の画素値を算出する。
【００２２】
次に、図３に示す、画素値−輝度の変換直線（マイコン５のＲＯＭに予め記憶されているもの）を用いて、補正後の画素値を、輝度に変換する。画素値−輝度の変換直線には、Ｒ画素用、Ｇ画素用、Ｂ画素用の区別があり、Ｒ画素については、Ｒ画素用の画素値−輝度の変換直線を用い、画素値ｘRを輝度ｙRに変換する。また、Ｇ画素については、Ｇ画素用の画素値−輝度の変換直線を用い、画素値ｘGを輝度ｙGに変換する。Ｂ画素についてはＢ画素用の画素値−輝度の変換直線を用い、画素値ｘBを輝度ｙBに変換する。
【００２３】
ここまでの工程により、画像データの各画素は、その画素に対応する色の輝度を保持するようになる。すなわち、Ｒ画素はＲの光の輝度を保持し、Ｇ画素はＧの光の輝度を保持し、Ｂ画素はＢの光の輝度を保持する。
【００２４】
最後に、周知のデモザイク処理により、各画素について、Ｒ、Ｇ、Ｂそれぞれの輝度を算出する。以上の工程により、各画素は、Ｒ、Ｇ、Ｂそれぞれの輝度を保持するようになる。
【００２５】
ステップ４０では、前記ステップ３０で補正した画像データにおいて、画像認識の方法により、予め設定された認識対象Ｘが認識できたか否かを判断する。この認識対象Ｘは、対向車又は先行車である。認識対象Ｘの画像認識には、前記ステップ２０で入力したナビ情報（車両の位置情報）、車両の速度、ヨーレートも用い、周知の方法で行う。認識対象Ｘが認識できなかった場合はステップ５０に進み、認識できた場合はステップ９０へ進む。
【００２６】
ステップ５０では、所定の更新条件を満たしているか否かを判断する。この更新条件は、例えば、以下の（ａ）〜（ｃ）のうちのいずれかとすることができる。
（ａ）後述するステップ９０の処理を最後に実行してから、所定時間が経過している。
【００２７】
（ｂ）車両のイグニッションＯＮから所定時間が経過している。
（ｃ）ナビ情報に基づく車両の位置が予め設定された位置である。
更新条件を満たす場合はステップ６０に進み、満たさない場合は本処理を終了する。
【００２８】
ステップ６０では、前記ステップ３０で補正した画像データにおいて、周知の画像認識の方法により、予め設定された認識対象Ｙが認識できたか否かを判断する。この認識対象Ｙは、車両のテールライト、信号機の青色灯、及び標識の背景のうちのいずれかである。なお、この認識対象Ｙは、色、明るさが一定のものである。認識対象Ｙが認識できた場合はステップ７０に進み、認識できなかった場合は本処理を終了する。
【００２９】
ステップ７０では、前記ステップ３０で補正した画像データのうち、前記ステップ６０で認識した認識対象Ｙの部分の色特性Ｃを取得する。
ステップ８０では、前記ステップ７０で取得した色特性Ｃと、前記ステップ６０で認識した認識対象Ｙの色特性として予めマイコン５のＲＯＭに記憶しておいた標準色特性Ｄとを対比する。
【００３０】
色特性の対比は、Ｌ*ｕ*ｖ（ＪＩＳ Ｚ８７２９）またはＬ＊ａ*ｂ（ＪＩＳ Ｚ８７２９）の色空間において行う。これらの色空間は、知覚的にほぼ均等な歩度を持つ色空間である。
【００３１】
なお、色特性の対比は、前記ステップ６０で認識した認識対象Ｙと同一物の標準色特性Ｄを用いて行う。すなわち、前記ステップ６０で認識した認識対象Ｙが車両のテールライトである場合は、車両のテールライトの標準色特性Ｄを用い、前記ステップ６０で認識した認識対象Ｙが信号機の青色灯である場合は、信号機の青色灯の標準色特性Ｄを用い、前記ステップ６０で認識した認識対象Ｙが標識の背景である場合は、標識の背景の標準色特性Ｄを用いる。
【００３２】
ステップ９０では、前記ステップ７０で取得した色特性Ｃと標準色特性Ｄとの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
この更新の方法としては、例えば以下の方法(i)、(ii)のうちのいずれかにすることができる。
【００３３】
(i) 前記ステップ７０で取得した色特性Ｃが、標準色特性Ｄに比べて、色空間におけるどの方向にどの程度ずれているかを取得し、その結果に応じて、予め定められたパターンで、補正係数ＫR、ＫG、ＫBを更新する。
【００３４】
(ii)補正係数ＫR、ＫG、ＫBの値を少しずつ変化させるステップと、その変化させた補正係数ＫR、ＫG、ＫBを用いて認識対象Ｙの色特性Ｃを取得するステップと、その取得した認識対象Ｙの色特性Ｃと標準色特性Ｄとを前記ステップ８０のように対比し、それらの差を算出するステップとを繰り返し、色特性Ｃと標準色特性Ｄの差が最も小さくなったときの補正係数ＫR、ＫG、ＫBを、更新後の補正係数ＫR、ＫG、ＫBとする。
【００３５】
なお、前記ステップ７０で取得した色特性Ｃと標準色特性Ｄとの差が所定値未満である場合は、補正係数ＫR、ＫG、ＫBの更新を行わないようにすることができる。
一方、前記ステップ４０で認識対象Ｘを認識したと判断した場合はステップ９０に進み、灯具７を制御する。具体的には、灯具７の状態がハイビームであれば、ロービームに変更する。
【００３６】
３．画像処理装置１に対して行う調整方法
画像処理装置１に対して行う調整方法を説明する。まず、画像処理装置１を車両に搭載した状態で、カメラ３に対し、車両の前方から、ウインドシールドを通して、標準光を照射する。なお、標準光は、夜間に調整を行う場合は、「ＪＩＳ規格 標準光Ａ（２８４８Ｋ）」を用いる。また、昼間に調整を行う場合は、「標準の光Ｄ６５（約６５００Ｋ）」を用いる。
【００３７】
このとき、画像処理装置１は、前記ステップ１０の処理により、標準光を撮像した画像データを取得し、前記ステップ３０の処理により、その画像データを補正する。
補正後の画像データをマイコン５から取り出し、その色特性（以下、色特性Ａとする）と、標準光の標準色特性Ｂ（既知）とを対比する。色特性の対比は、Ｌ*ｕ*ｖ（ＪＩＳ Ｚ８７２９）またはＬ＊ａ*ｂ（ＪＩＳ Ｚ８７２９）の色空間において行う。これらの色空間は、知覚的にほぼ均等な歩度を持つ色空間である。
【００３８】
次に、色特性Ａと標準色特性Ｂとの対比結果に応じ、それらの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
この更新の方法としては、例えば以下の方法(i)、(ii)のうちのいずれかにすることができる。
【００３９】
(i)色特性Ａが、標準色特性Ｂに比べて、色空間におけるどの方向にどの程度ずれているかを取得し、その結果に応じて、予め定められたパターンで、補正係数ＫR、ＫG、ＫBを更新する。
【００４０】
(ii)補正係数ＫR、ＫG、ＫBの値を少しずつ変化させるステップと、その変化させた補正係数ＫR、ＫG、ＫBを用いて色特性Ａを取得するステップと、その色特性Ａと標準色特性Ｂとを前記ステップ８０のように対比し、それらの差を算出するステップとを繰り返し、色特性Ａ色特性Ｂの差が最も小さくなったときの補正係数ＫR、ＫG、ＫBを、更新後の補正係数ＫR、ＫG、ＫBとする。
【００４１】
なお、 色特性Ａと標準色特性Ｂとの差が所定値未満である場合は、補正係数ＫR、ＫG、ＫBの更新を行わないようにすることができる。
４．画像処理装置１が奏する効果
画像処理装置１は、画像データにおける認識対象Ｙの色特性Ｃと、標準色特性Ｄとの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
【００４２】
そのことにより、カメラ３の撮像素子やレンズが経年劣化しても、画像データの色特性を、本来の正しい色特性に保つことができる。その結果、前記ステップ４０において認識対象Ｘを精度良く認識することができる。
【００４３】
５．画像処理装置１に対して行う調整方法が奏する効果
上述した調整方法では、標準光を画像処理装置１のカメラ３で撮像し、前記ステップ３０の処理で補正した画像データの色特性Ａと、標準色特性Ｂとの差が小さくなるように、補正係数ＫR、ＫG、ＫBを更新する。
【００４４】
そのことにより、画像処理装置１で取得する画像データの色特性を左右する要因（ウインドシールド、レンズ、変更フィルタ、ＯＬＰＦ、カラーフィルタ、イメージャー特性等）について、画像処理装置１ごとにばらつきがあったとしても、取得画像補正処理（前記ステップ３０の処理）によってそのばらつきを相殺し、画像認識に用いる画像データの色特性を、ばらつきのないものとすることができる。その結果、前記ステップ４０において認識対象Ｘを精度良く認識することができる。
【００４５】
また、カメラ３により取得した画像の色特性を、厳密に一定にしなくてもよいため、安価なカメラ３を用いることができる。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【００４６】
例えば、前記ステップ５０では、特に更新条件を設定せず、全てＹＥＳと判断するようにしてもよい。また、画像処理装置１は、ユーザからの指示に応じて、補正係数ＫR、ＫG、ＫBの更新に関する処理を実行してもよい。
【００４７】
また、前記ステップ５０、６０では、車両が予め設定された位置にあり、且つ予め設定された単一の認識対象Ｙ（又は前回の処理で認識したものと同一の認識対象Ｙ）を認識した場合にステップ７０〜９０の処理を実行するようにしてもよい。こうすることにより、補正の精度を一層向上させることができる。
【００４８】
また、補正係数ＫR、ＫG、ＫBを用いた補正方法は、線形でも非線形でもよい。すなわち、補正係数ＫR、ＫG、ＫBの値は、画素値の値によらず一定であってもよいし、画素値の値によって異なる値であってもよい。
【００４９】
また、画像処理装置１は、灯具７の制御以外の制御も、画像認識の結果を用いて実行してもよい。
【符号の説明】
【００５０】
１・・・画像処理装置、３・・・カメラ、５・・・マイコン、７・・・灯具
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、
前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、
を備えた画像処理装置の調整方法であって、
前記画像取得手段により、所定の標準光源を撮像した標準光源画像を取得する工程と、
前記標準光源画像を前記補正手段により補正する工程と、
補正後の前記標準光源画像の色特性Ａと、前記標準光源の色特性Ｂとを対比する対比工程と、
前記対比工程の結果に応じて、前記色特性Ａと、前記色特性Ｂとの差が減少するように、前記補正係数を更新する更新工程と、
を備えることを特徴とする画像処理装置の調整方法。
【請求項２】
画像を取得する画像取得手段と、
前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、
前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、
前記物体認識手段により所定の認識対象物体を認識した場合、その認識対象物体の色特性を取得する色特性取得手段と、
前記色特性取得手段で取得した色特性Ｃと、予め保持された、同一の前記認識対象物体の標準色特性Ｄとを対比する対比手段と、
前記対比手段による対比結果に応じて、前記色特性Ｃと前記標準色特性Ｄとの差が減少するように、前記補正係数を更新する更新手段と、
を備えることを特徴とする画像処理装置。
【請求項１】
画像を取得する画像取得手段と、
前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、
前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、
を備えた画像処理装置の調整方法であって、
前記画像取得手段により、所定の標準光源を撮像した標準光源画像を取得する工程と、
前記標準光源画像を前記補正手段により補正する工程と、
補正後の前記標準光源画像の色特性Ａと、前記標準光源の色特性Ｂとを対比する対比工程と、
前記対比工程の結果に応じて、前記色特性Ａと、前記色特性Ｂとの差が減少するように、前記補正係数を更新する更新工程と、
を備えることを特徴とする画像処理装置の調整方法。
【請求項２】
画像を取得する画像取得手段と、
前記画像を構成する画素の画素値を、補正係数を用いて補正する補正手段と、
前記補正手段による補正後の前記画像において物体を認識する物体認識手段と、
前記物体認識手段により所定の認識対象物体を認識した場合、その認識対象物体の色特性を取得する色特性取得手段と、
前記色特性取得手段で取得した色特性Ｃと、予め保持された、同一の前記認識対象物体の標準色特性Ｄとを対比する対比手段と、
前記対比手段による対比結果に応じて、前記色特性Ｃと前記標準色特性Ｄとの差が減少するように、前記補正係数を更新する更新手段と、
を備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１６９９１７（Ｐ２０１２−１６９９１７Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２９９４１（Ｐ２０１１−２９９４１）
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]