説明

映像処理装置

【課題】フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分への色付きを抑制する。
【解決手段】カメラ映像に画像認識処理を施してフレアを発生させる要因となる特定光源を検出し、特定光源との距離を計測し、特定光源の検出結果および特定光源との距離に基づいてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し(S108)、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質を調整した映像信号を出力する(S114、S122、S126)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両周辺を撮影したカメラ映像を取り込み、当該カメラ映像に映像処理を施した映像信号を出力する映像処理装置に関するものである。
【背景技術】
【0002】
従来、カラー撮像装置として、カラー撮像素子に入射する光束中に、特定波長の光量を低減する光学部材を挿入して、カラー映像の高い色再現性が得られるようにしたものがある(例えば、特許文献1参照)。
【0003】
また、映像表示手段の周囲の外部背景照明の明度を測定し、この外部背景照明の明度と予め設定された三刺激値とを、映像表示手段の反射率と比較し、この比較結果に基づいて、映像の明度及び彩度を補償するための制御信号を生成し、この制御信号に従って映像表示手段の明度および彩度を補償するようにして、背景照明の変化に従う人間の明順応感度を考慮した映像表示を行うものもある(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−102029号公報
【特許文献2】特開2007−97191号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、車両に搭載される車載カメラにおいては、撮影エリアが固定されており、先行車両の赤色のテールランプや橙色の街路灯等の色付き光源が大きく写ることがある。車両周辺が暗い状態で、車載カメラのカメラ映像に色付き光源が大きく写り、かつ、色つき光源の色がカメラの基本機能であるオートホワイトバランスの引き込み範囲外である場合に、光源の周囲に色付き領域が広がるフレア現象が生じる。このようなフレア部分の色付きが発生すると、カメラ映像全体が光源色となり、映像が劣化したように見えてしまう。
【0006】
そこで、上記特許文献1に記載された技術を応用し、カラー撮像素子に入射する光束中に、先行車両の赤色のテールランプや橙色の街路灯等の色付き光源の光の波長を低減する光学部材を挿入することで、フレア部分の色付きを抑制することが可能であるが、この場合、常時、色付き光源の光の波長が低減されることになるため、フレア現象が発生しないような状況で、色付き光源の光の波長が低減され、画質が劣化してしまうという問題がある。
【0007】
また、上記特許文献2に記載された装置は、映像表示手段の周囲の外部背景照明の明度を測定し、この外部背景照明の明度を用いて映像の明度及び彩度を補償するものであり、車載カメラのカメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制するものではない。
【0008】
本発明は上記問題に鑑みたもので、フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色つきを抑制することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、請求項1に記載の発明は、車両周辺を撮影したカメラ映像を取り込み、当該カメラ映像に映像処理を施した映像信号を出力する映像処理装置であって、カメラ映像に画像認識処理を施して特定光源を検出する特定光源検出手段と、特定光源検出手段により特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得する車両情報取得手段と、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定する状況判定手段と、状況判定手段によりカメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を低減するようにカメラ映像に対する画質を調整する画質調整手段と、画質調整手段により画質を調整された映像信号を出力する映像信号出力手段と、を備えたことを特徴としている。
【0010】
このような構成によれば、特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得し、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を低減するようにカメラ映像に対する画質を調整し、画質を調整した映像信号が出力されるので、フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制することができる。
【0011】
なお、請求項2に記載の発明のように、車両周辺の明るさが基準値未満か否かを判定する明るさ判定手段を備え、車両情報取得手段は、明るさ判定手段により車両周辺の明るさが基準値未満であると判定され、かつ、特定光源検出手段により特定光源が検出された場合、特定光源との距離を含む車両情報を取得するようにすることもできる。
【0012】
また、請求項3に記載の発明のように、画質調整手段は、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定し、映像信号出力手段は、画質調整量特定手段により特定された調整量でカメラ映像を画質調整した映像信号を出力するようにすることもできる。
【0013】
また、請求項4に記載の発明は、特定光源検出手段により特定光源が検出された場合、当該特定光源の種類を特定する特定光源種類特定手段を備え、画質調整量特定手段は、特定光源の種類に応じて画質調整の調整量を変化させることを特徴としている。
【0014】
このように、特定光源が検出された場合、当該特定光源の種類を特定し、特定光源の種類に応じて画質調整の調整量を変化させることにより、特定光源の種類に応じて画質調整の調整量を適切な値に設定することが可能である。
【0015】
また、請求項5に記載の発明は、特定光源との距離を計測する距離計測手段を備え、調整量特定手段は、特定光源との距離が短くなるほど画質調整の調整量を大きくすることを特徴としている。
【0016】
特定光源との距離が短くなると特定光源によるフレアの影響が大きくなるが、上記した構成では、特定光源との距離が短くなるほど画質調整の調整量が大きくなるので、フレアによる影響を適切に除去することが可能である。
【0017】
また、請求項6に記載の発明は、状況判定手段は、更に、車両情報に基づいてカメラ映像に特定光源によるフレアが発生するか否かを予測し、画質調整量特定手段は、状況判定手段によりカメラ映像に特定光源によるフレアが発生すると予測された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定することを特徴としている。
【0018】
このような構成によれば、状況判定手段は、更に、車両情報に基づいてカメラ映像に特定光源によるフレアが発生するか否かを予測し、画質調整量特定手段は、状況判定手段によりカメラ映像に特定光源によるフレアが発生すると予測された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定するので、特定光源によるフレアによる影響を事前に防ぐことが可能である。
【0019】
なお、画質調整の調整量は、請求項7に記載の発明のように、カメラ映像に対する彩度の低減量とすることができ、請求項8に記載の発明のように、カメラ映像における三原色信号の混合比の調整量とすることもできる。
【0020】
また、請求項9に記載の発明では、特定光源検出手段は、黄色から赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源を検出することを特徴としている。
【0021】
このような構成によれば、黄色から赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源が検出されるので、精度よく赤色系の光を発光する光源を特定光源として検出することができる。
【0022】
色フレアの原因となる光源は、カメラ映像に含まれる一定周波数以下である点に着目し、請求項10に記載の発明のように、特定光源検出手段は、カメラ映像に含まれる一定周波数以下の黄色から赤色成分の被写体で、かつ、当該被写体の色の濃さが予め定められた閾値以上であることを判定した場合、被写体を特定光源として検出することもできる。
【図面の簡単な説明】
【0023】
【図1】本発明の第1実施形態に係る映像処理装置の構成を示す図である。
【図2】フレアについて説明するための図である。
【図3】第1実施形態に係る映像処理装置のフローチャートである。
【図4】第2実施形態に係る映像処理装置のフローチャートである。
【発明を実施するための形態】
【0024】
(第1実施形態)
本発明の第1実施形態に係る映像処理装置の構成を図1に示す。本映像処理装置20は、車載カメラ10より車両周辺を撮影したカメラ映像を取り込み、このカメラ映像に映像処理を施した映像信号を車載映像表示装置30へ出力するものである。本映像処理装置20には、接続ケーブル1を介して車載カメラ10が接続されるとともに、接続ケーブル2を介して車載映像表示装置30が接続されている。
【0025】
車載カメラ10は、光学系部材11、イメージセンサ12および画像処理回路13を備えている。
【0026】
イメージセンサ12は、光学レンズ等の光学系部材11を介して対象物から入射される光を受光面に結像させ、この受光面に結像した光による明暗を電荷の量に光電変換し、この電荷の量を電気信号に変換する。なお、本実施形態では、イメージセンサ12としてCMOSイメージセンサが用いられている。
【0027】
画像処理回路13は、イメージセンサ12より出力される電気信号に対して各種画像処理を行い、予め定められたフォーマットに従った映像信号を出力する。
【0028】
映像処理装置20は、CPU、RAM、ROM、フラッシュメモリ、I/O等を備えており、CPUは、ROMに記憶されたプログラムに従って各種処理を行う。
【0029】
映像処理装置20は、車載カメラ10より車両周辺を撮影したカメラ映像を取り込み、このカメラ映像に映像処理を施した映像信号を車載映像表示装置30へ出力する。
【0030】
照度センサ20aは、車両周辺の照度を検出し、車両周辺の照度に応じた照度信号を出力する。
【0031】
レーザレーダ20bは、車両前方に位置する物体との距離を計測し、車両前方に位置する物体との距離を表す情報を映像処理装置20へ出力する。本実施形態におけるレーザレーダ20bは、レーザの照射方向を二次元的に走査させることで、車両前方の各方面の物体との距離を計測し、各方面の物体との距離と計測方向を表す情報(X−Y座標)を関連付けした測距情報を出力するようになっている。
【0032】
映像処理装置20は、レーザレーダ20bより出力される測距情報を用いて、車載カメラ10のカメラ映像に含まれる各部との距離を特定することが可能となっている。例えば、搭載車両と先行車両のテールランプとの距離、搭載車両と街路灯との距離を別々に特定することも可能となっている。
【0033】
車載映像表示装置30は、液晶等のディスプレイを有し、車載カメラ10より映像処理装置20を介して入力される映像信号に応じた映像をディスプレイに表示させる。
【0034】
ところで、カメラ映像に色付き光源が大きく写ると、光源の周囲に色付き領域が広がるフレア現象が生じる。図2に、カメラ映像に、上記特定光源として先行車両のテールランプ(ブレーキランプ)とナトリウム灯が含まれており、先行車両のテールランプによるフレアF1と、ナトリウム灯によるフレアF2が発生している様子を示す。実際には、先行車両のテールランプおよびフレアF1は赤色、ナトリウム灯およびフレアF2は橙色となっている。なお、この図に示すようなフレアは、車両周辺の照度が低い場合に発生し、太陽光などの別光源が支配的な環境では発生しない。
【0035】
本映像処理装置20は、カメラ映像に画像認識処理を施して色つきのフレアを発生させる要因となる特定光源を検出し、この特定光源によるフレアが発生する状況であると判定すると、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定し、この調整量でカメラ映像を画質調整した映像信号を出力する処理を行う。
【0036】
なお、赤色、橙色等の赤色系の光を発光する光源が、特に色つきのフレアを発生させる要因となり易いため、本実施形態では、赤色系の光を発光する光源を特定光源として検出する。具体的には、映像処理装置20は、先行車両のテールランプ、街路灯としてのナトリウム灯等、色つきのフレアを発生させる要因となる特定光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いてフレアを発生させる要因となる特定光源のパターン認識を行い、フレアを発生させる要因となる特定光源を検出する。なお、映像処理装置20は、形状だけでなく、輝度レベルおよび色を考慮したパターン認識を行う。
【0037】
また、カメラ映像における特定光源の周囲に広がる色付き領域(フレア)の影響を低減(除去)するように、カメラ映像に対する画質調整の調整量を特定し、特定した調整量でカメラ映像を画質調整した映像信号を車載映像表示装置30へ出力する。
【0038】
本実施形態では、カメラ映像における特定光源の周囲に広がる色付き領域(フレア)の影響を低減するように、カメラ映像に対する彩度を調整する処理を行う。
【0039】
ここで、彩度は、色の属性の1つで、色の鮮やかさの尺度を表すものである。輝度信号Yと2つの色信号CbCrを使って表されるYCbCr色空間における2つの色信号CbCrを抑圧することで、彩度を低下させることができる。彩度を下げると映像は無彩色に近づき、彩度を上げると映像は極彩色に近づくようになる。
【0040】
彩度を下げることでカメラ映像におけるフレアの色つきを低減、除去することが可能となるが、必要以上に彩度を低下させると車載映像表示装置30の画面全体がモノクロ映像となり、カラー映像と認識している乗員に違和感を与えてしまう。したがって、乗員に違和感を与えることのないように、カメラ映像におけるフレアの色つきが低減され、かつ、車載映像表示装置30に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるように彩度の低減量を特定するのが好ましい。
【0041】
図3に、映像処理装置20のフローチャートを示す。乗員の操作に応じて車両のイグニッションスイッチがオン状態になると、車載カメラ10、映像処理装置20、車載映像表示装置30、照度センサ20b、レーザレータ20bは、それぞれ動作状態となり、映像処理装置20は図3に示す処理を周期的に実施する。
【0042】
まず、車両周辺の照度が基準値未満か否かを判定する(S100)。車両周辺の照度は、照度センサ20より入力される照度信号に基づいて特定することができる。
【0043】
次に、カメラ映像に画像認識処理を施して色つきのフレアを発生させる要因となる特定光源が検出されたか否かを判定する(S102)。
【0044】
ここで、 フレアを発生させる要因となる特定光源が検出されない場合、S102の判定はNOとなり、S100へ戻る。また、色つきのフレアを発生させる要因となる特定光源が検出された場合、S102の判定はYESとなり、次に、特定光源の種類を特定する(S104)。具体的には、前述したデータベースを用いて色つきのフレアを発生させる要因となる特定光源のパターン認識を行い、色つきのフレアを発生させる要因となる特定光源を特定する。このようなパターン認識により、先行車両のテールランプ(ブレーキランプ)、街路灯等が特定光源として特定される。
【0045】
次に、搭載車両から車両情報を取得する(S106)。車両情報には、特定光源との距離Lを特定するための情報、先行車両の車速を表す情報、先行車両との車間距離を表す情報、先行車両との相対速度を表す情報が含まれる。本実施形態では、レーザレーダ20bより入力される車両と特定光源との距離Lを表す情報に基づいて車両と先行車両のテールランプとの距離Lを特定する。また、特定光源としてナトリウム灯が特定された場合には、ナトリウム灯との距離を特定する。
【0046】
次に、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況であるか否かを判定する(S108)。本実施形態では、車両と特定光源との距離Lが基準値未満で、かつ、カメラ映像に含まれる特定光源の大きさの比率が規定値(例えば、全画素の20%)以上の場合、カメラ映像に特定光源によるフレアが発生する状況であると判定する。
【0047】
ここで、車両と特定光源との距離Lが基準値以上の場合、あるいは、カメラ映像に含まれる特定光源の大きさの比率が規定値(例えば、全画素の20%)未満の場合、S108の判定はNOとなり、S100へ戻る。
【0048】
しかし、車両と特定光源との距離Lが基準値未満で、かつ、カメラ映像に含まれる特定光源の大きさの比率が規定値(例えば、全画素の20%)以上の場合、S108の判定はYESとなり、S110へ進む。
【0049】
次のS110とS118では、搭載車両と特定光源との距離Lの判定を行う。S110では、搭載車両と特定光源との距離Lが基準値L2よりも大きいか否かを判定する。また、S118では、搭載車両と特定光源との距離Lが、基準値L2以下で、かつ、基準値L2より短い基準値L1より長いか否かを判定する。
【0050】
ここで、先行車両との距離が長く、特定光源との距離Lが基準値L2よりも長い場合、S110の判定はYESとなり、次に、彩度低減量Y1を特定する(S112)。具体的には、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置30に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるような彩度低減量Y1を特定する。なお、先行車両との距離が長い場合、先行車両との距離が短い場合と比較して、特定光源によるフレアによる影響は小さいため、彩度低減量Y1は比較的小さな値となる。また、特定光源との距離Lだけでなく、特定光源の種類によっても彩度低減量を異ならせるようにしている。なお、彩度低減量は、実験等により得られた各種データに基づいて決定された最適値が用いられる。
【0051】
次に、S112にて特定された彩度低減量Y1を用いて画質調整を行う(S114)。すなわち、S112にて特定された彩度低減量Y1でカメラ影像の彩度を低下させた映像信号を車載映像表示装置へ出力する。
【0052】
これにより、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の彩度を維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。
【0053】
次に、特定光源が非検出となったか否かを判定する(S116)。特定光源が非検出となっていない場合、S116の判定はNOとなり、S106へ戻る。
【0054】
そして、先行車両との距離Lが基準値X2以下となり、搭載車両と特定光源との距離Lが、基準値L2以下で、かつ、基準値L2より短い基準値L1より長くなると、S118の判定はYESとなり、次に、彩度低減量Y2を特定する(S120)。この彩度低減量Y2は、彩度低減量Y1よりも低減量が大きくなっている。すなわち、先行車両との距離Lが短くなり、特定光源によるフレアの影響が比較的大きくなることから、彩度低減量Y1よりも低減量の大きな彩度低減量Y2を特定する。
【0055】
次に、S120にて特定された彩度低減量Y2を用いて画質調整を行う(S122)。すなわち、S120にて特定された彩度低減量Y2でカメラ影像の彩度を低下させた映像信号を車載映像表示装置へ出力する。
【0056】
これにより、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の彩度を維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。
【0057】
また、先行車両との距離Lが基準値X1以下となると、S118の判定はNOとなり、次に、彩度低減量Y3を特定する(S124)。この彩度低減量Y3は、彩度低減量Y2よりも更に低減量が大きくなっている。すなわち、先行車両との距離Lが短くなり、特定光源によるフレアの影響が比較的大きくなることから、彩度低減量Y2よりも低減量の大きな彩度低減量Y3を特定する。
【0058】
次に、S124にて特定された彩度低減量Y3を用いて画質調整を行う(S126)。すなわち、S124にて特定された彩度低減量Y3でカメラ影像の彩度を低下させた映像信号を車載映像表示装置へ出力する。
【0059】
これにより、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の明るさを維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。
【0060】
また、特定光源が検出されなくなると、S116の判定はYESとなり、S100へ戻る。
【0061】
先行車両との距離Lが短くなるにつれて、特定光源のフレアによる影響が大きくなるが、上記したように、先行車両との距離Lが短くなるにつれて彩度低減量(画質調整の調整量)が大きくなので、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の彩度を維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。
【0062】
また、例えば、S106において、特定光源の種類としてナトリウム灯が特定された場合には、S112、S120、S124にて、ナトリウム灯によるフレアの影響を低減(除去)しつつ、乗員に違和感を与えない程度の彩度低減量を特定する。
【0063】
このように、特定光源の種類に応じて彩度低減量を異ならせることにより、特定光源によるフレアの影響を低減(除去)しつつ、乗員に違和感を与えないようにすることが可能である。
【0064】
上記した構成によれば、特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得し、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を低減するようにカメラ映像に対する画質を調整し、画質を調整した映像信号が出力されるので、色つきのフレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制することができる。
【0065】
また、上記したように、車両周辺の明るさが基準値未満か否かを判定し、車両周辺の明るさが基準値未満であると判定され、かつ、特定光源が検出された場合、特定光源との距離を含む車両情報を取得し、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を除去するようにカメラ映像に対する画質を調整し、画質を調整した映像信号を出力するようにすることもできる。
【0066】
また、上記したように、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定し、映像信号出力手段は、画質調整量特定手段により特定された調整量でカメラ映像を画質調整した映像信号を出力するようにすることもできる。
【0067】
また、特定光源が検出された場合、当該特定光源の種類を特定し、特定光源の種類に応じて画質調整の調整量を変化させるので、特定光源の種類に応じて画質調整の調整量を適切な値に設定することが可能である。
【0068】
また、特定光源との距離が短くなると特定光源によるフレアの影響が大きくなるが、上記した構成では、特定光源との距離が短くなるほど画質調整の調整量が大きくなるので、フレアによる影響を適切に除去することが可能である。
【0069】
また、赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源が検出されるので、精度よく赤色系の光を発光する光源を特定光源として検出することができる。
【0070】
(第2実施形態)
上記第1実施形態では、図3に示したフローチャートのS112、S114、S120、S122、S124、S126にて、特定光源によるフレアによる影響を除去するように彩度低減量Y1〜Y3を特定し、特定した彩度低減量Y1〜Y3でカメラ影像の画質調整を行うようになっているが、本実施形態では、特定光源によるフレアによる影響を除去するようにカメラ映像におけるRGBカラーバランスの調整量(三原色信号の混合比の調整量)を特定し、このRGBカラーバランスでカメラ影像の画質調整を行う。
【0071】
ここで、RGBカラーバランスは、色の三原色である、赤(R)、緑(G)、青(B)の混合比である。色付き照明が赤色の場合は、赤色(R)を抑圧することで、色つきのフレアによる影響を低減することができ、色付き照明が橙色の場合は、赤色(R)と緑(G)を抑圧することで、色つきのフレアによる影響を低減することができる。具体的には、赤(R)、緑(G)、青(B)の特定成分に係数K(K≦1)を掛けることにより特定成分を抑圧することができる。
【0072】
RGBカラーバランスの調整を行う際にも、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置30に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようにRGBカラーバランスの調整量を特定するのが好ましい。
【0073】
図4に、本発明の第2実施形態に係る映像処理装置20のフローチャートを示す。このフローチャートは、図3に示したフローチャートと比較して、S212、S214、S220、S222、S224、S226が異なる。
【0074】
すなわち、S212では、乗員に違和感を与えることのないように、カメラ映像におけるフレアが除去され、かつ、車載映像表示装置30に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようなRGBカラーバランスの調整量(Y1’)を特定し、S214では、S212にて特定したRGBカラーバランスの調整量(Y1’)でカメラ影像のRGBカラーバランスの特定の特定成分を抑圧した映像信号を車載映像表示装置へ出力する。
【0075】
また、S220では、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置30に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようなRGBカラーバランスの調整量(Y2’)を特定し、S222では、S220にて特定したRGBカラーバランスの調整量(Y2’)でカメラ影像のRGBカラーバランスの特定の特定成分を抑圧した映像信号を車載映像表示装置へ出力する。なお、RGBカラーバランスの調整量(Y2’)は、RGBカラーバランスの調整量(Y1’)よりも大きくなる。
【0076】
また、S224では、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置30に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようなRGBカラーバランスの調整量(Y3’)を特定し、S226では、S224にて特定したRGBカラーバランスの調整量(Y3’)でカメラ影像のRGBカラーバランスの特定の特定成分を抑圧した映像信号を車載映像表示装置へ出力する。なお、RGBカラーバランスの調整量(Y3’)は、RGBカラーバランスの調整量(Y2’)よりも大きくなる。
【0077】
上記したように、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対するRGBカラーバランスの調整量を特定し、この特定した調整量でカメラ映像を画質調整した映像信号が出力されるので、フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制することができる。
【0078】
また、特定光源との距離が短くなると特定光源によるフレアの影響が大きくなるが、上記した構成では、特定光源との距離が短くなるほど画質調整の調整量が大きくなるので、フレアによる影響を適切に低減することが可能である。
【0079】
(その他の実施形態)
上記第1、第2実施形態では、映像処理装置20に車載カメラ10と車載映像表示装置30を接続する構成を示したが、車載カメラ10と映像処理装置20を一体としてもよく、また、映像処理装置20と車載映像表示装置30を一体として構成してもよい。
【0080】
また、上記第1、第2実施形態では、車載カメラ10内に画像処理回路13を備えたが、映像処理装置20内に画像処理回路13を備えるように構成してもよい。
【0081】
また、上記第1、第2実施形態では、レーザレーダ20bを用いて車両前方の物体との距離を測定したが、レーザレーダ20bに限定されるものではなく、例えば、ミリ波レーダーやソナー等を用いて車両前方の物体との距離を測定してもよい。
【0082】
また、上記第1、第2実施形態では、照度センサを用いて車両周辺の明るさを検出する構成を示したが、照度センサ以外のセンサを用いて車両周辺の明るさを検出するように構成してもよい。また、ヘッドライトスイッチあるいは車幅灯のオン/オフ状態や、カメラの基本機能である露出制御における露出量を判定するための数値等を用いて車両周辺の明るさを検出するようにしてもよい。
【0083】
また、上記第1、第2実施形態では、車両周辺の明るさが基準値未満であると判定され、かつ、特定光源が検出された場合、特定光源との距離を含む車両情報を取得するように構成したが、例えば、車両周辺の明るさが基準値未満であるか否かの判定を省略し、特定光源が検出された場合、特定光源との距離を含む車両情報を取得するように構成してもよい。
【0084】
また、上記実施形態では、S108にて、特定光源との距離車両と特定光源との距離Lが基準値未満で、かつ、カメラ映像に含まれる特定光源の大きさの比率が規定値(例えば、全画素の20%)以上の場合、カメラ映像に特定光源によるフレアが発生する状況であるか否かを判定したが、このような例に限定されるものではなく、例えば、車両情報に含まれる先行車両の車速を表す情報、先行車両との車間距離を表す情報、先行車両との相対速度を表す情報の少なくとも1つを用いてカメラ映像に特定光源によるフレアが発生する状況であるか否かを判定するように構成してもよい。
【0085】
また、上記実施形態では、S108にて、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、S112、S120、S124、S212、S220、S224にて、特定光源によるフレアによる影響を除去するようにカメラ映像に対する画質調整の調整量を特定する構成を示したが、S108にて、更に、車両情報を用いてカメラ映像に特定光源によるフレアが発生するか否かを予測し、カメラ映像に特定光源によるフレアが発生すると予測された場合、S112、S120、S124、S212、S220、S224にて、特定光源によるフレアによる影響を除去するようにカメラ映像に対する画質調整の調整量を特定するように構成してもよい。なお、カメラ映像に特定光源によるフレアが発生すると予測されるか否かの判定は、例えば、カメラ映像に特定光源によるフレアが発生する状況であるか否かの判定における車両周辺の明るさおよび特定光源との距離の判定閾値を長くすることで実現することができる。また、S108にて、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定することなく、車両情報を用いてカメラ映像に特定光源によるフレアが発生するか否かを予測するようにしてもよい。
【0086】
また、上記実施形態では、テールランプ(ブレーキランプ)が特定光源として検出された場合について説明したが、例えば、テールランプが点灯している状態と、運転者のブレーキ操作に応じて、より明度の高いブレーキランプが点灯した状態を区別して認識し、テールランプの点灯状態の画質調整の調整量と、ブレーキランプの点灯状態の画質調整の調整量を異ならせるようにしてもよい。この場合、明度の高いブレーキランプの点灯状態の画質調整の調整量を、テールランプの点灯状態の画質調整の調整量よりも大きくすればよい。
【0087】
また、上記実施形態では、テールランプ(ブレーキランプ)が特定光源として検出された場合について説明したが、例えば、特定光源としてウィンカーを認識し、ウィンカーのフレアによる影響を低減するように画質調整を行うようにしてもよい。なお、ウィンカーのように点滅が繰り返される場合には、ウィンカーが点灯している状態と消灯している状態とで、画質調整の調整量を異ならせると、ウィンカーの点滅周期で画質調整量(彩度またはRGBカラーバランス)が変化してしまい、かえって使用者に違和感を与えてしまうことになるため、ウィンカーが点灯した状態でフレアによる影響が低減されるような画質調整量で画質調整を行うのが好ましい。
【0088】
また、上記実施形態では、CMOSイメージセンサを用いてイメージセンサ12を構成したが、例えば、CCDイメージセンサ を用いてイメージセンサ12を構成してもよい。
【0089】
また、上記実施形態では、赤色系の光を発光する光源を特定光源として検出したが、例えば、黄色から赤色系の光を発光する光源を特定光源として検出するようにしてもよい。
【0090】
また、上記第1、第2実施形態では、赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源を検出したが、例えば、色フレアの原因となる光源は、カメラ映像に含まれる一定周波数以下である点に着目し、カメラ映像に含まれる一定周波数以下の黄色から赤色成分の被写体で、かつ、当該被写体の色の濃さが予め定められた閾値以上であることを判定した場合、この被写体を特定光源として検出するようにしてもよい。
【0091】
また、上記第1実施形態では、特定光源との距離Lおよび特定光源の種類によって彩度低減量を異ならせるようにしたが、第2実施形態においても、特定光源との距離Lおよび特定光源の種類によってRGBカラーバランスの調整量を異ならせるようにしてもよい。また、特定光源との距離Lおよび特定光源の種類だけでなく、車両周辺の明るさの度合い、特定光源の発光色等に応じて色つきのフレアによる影響を低減するための画質調整の調整量(彩度低減量、RGBカラーバランス調整量)を異ならせるようにしてもよい。
【0092】
また、自車両の車速に応じて色つきのフレアによる影響を低減するための画質調整(彩度、RGBカラーバランス)の調整量を変更するように構成してもよい。例えば、自車両の車速が基準値(例えば、時速10キロメートル)以下の場合には、自車両の車速が基準値よりも速い場合よりも画質調整(彩度、RGBカラーバランス)の調整量を小さくするようにしてもよい。
【0093】
また、先行車両から車速情報を取得するようにして、先行車両の車速に応じてフレアによる影響を除去するための画質調整(彩度、RGBカラーバランス)の調整量を変更するように構成してもよい。
【0094】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、S100が明るさ判定手段に相当し、S102が特定光源検出手段に相当し、S106が車両情報取得手段に相当し、S108が状況判定手段に相当し、S112、S120、S124、S212、S220、S224が画質調整手段に相当し、S114、S122、S126、S214、S222、S226が映像信号出力手段に相当し、S104が特定光源種類特定手段に相当する。
【符号の説明】
【0095】
10 車載カメラ
11 光学系部材
12 イメージセンサ
20 映像処理装置
20a 照度センサ
20b レーザレーダ
30 車載映像表示装置

【特許請求の範囲】
【請求項1】
車両周辺を撮影したカメラ映像を取り込み、当該カメラ映像に映像処理を施した映像信号を出力する映像処理装置であって、
前記カメラ映像に画像認識処理を施して特定光源を検出する特定光源検出手段と、
前記特定光源検出手段により特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得する車両情報取得手段と、
前記車両情報を用いて前記カメラ映像に前記特定光源によるフレアが発生する状況か否かを判定する状況判定手段と、
前記状況判定手段により前記カメラ映像に前記特定光源によるフレアが発生する状況であると判定された場合、前記特定光源によるフレアの影響を低減するように前記カメラ映像に対する画質を調整する画質調整手段と、
前記画質調整手段により画質を調整された映像信号を出力する映像信号出力手段と、を備えたことを特徴とする映像処理装置。
【請求項2】
前記車両周辺の明るさが基準値未満か否かを判定する明るさ判定手段を備え、
前記車両情報取得手段は、前記明るさ判定手段により前記車両周辺の明るさが基準値未満であると判定され、かつ、前記特定光源検出手段により特定光源が検出された場合、前記特定光源との距離を含む車両情報を取得することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記画質調整手段は、前記特定光源によるフレアによる影響を低減するように前記カメラ映像に対する画質調整の調整量を特定し、
前記映像信号出力手段は、前記画質調整量特定手段により特定された調整量で前記カメラ映像を画質調整した映像信号を出力することを特徴とする請求項1または2に記載の映像処理装置。
【請求項4】
前記特定光源検出手段により前記特定光源が検出された場合、当該特定光源の種類を特定する特定光源種類特定手段を備え、
前記画質調整量特定手段は、前記特定光源の種類に応じて前記画質調整の調整量を変化させることを特徴とする請求項1ないし3のいずれか1つに記載の映像処理装置。
【請求項5】
前記調整量特定手段は、前記特定光源との距離が短くなるほど前記画質調整の調整量を大きくすることを特徴とする請求項1ないし4のいずれか1つに記載の映像処理装置。
【請求項6】
前記状況判定手段は、更に、前記車両情報に基づいて前記カメラ映像に前記特定光源によるフレアが発生するか否かを予測し、
前記画質調整量特定手段は、前記状況判定手段により前記カメラ映像に前記特定光源によるフレアが発生すると予測された場合、前記特定光源によるフレアによる影響を低減するように前記カメラ映像に対する画質調整の調整量を特定することを特徴とする請求項1ないし5のいずれか1つに記載の映像処理装置。
【請求項7】
前記画質調整の調整量は、前記カメラ映像に対する彩度の低減量であることを特徴とする請求項1ないし6のいずれか1つに記載の映像処理装置。
【請求項8】
前記画質調整の調整量は、前記カメラ映像における三原色信号の混合比の調整量であることを特徴とする請求項1ないし6のいずれか1つに記載の映像処理装置。
【請求項9】
前記特定光源検出手段は、黄色から赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて前記特定光源のパターン認識を行い、前記特定光源を検出することを特徴とする請求項1ないし8のいずれか1つに記載の映像処理装置。
【請求項10】
前記特定光源検出手段は、前記カメラ映像に含まれる一定周波数以下の黄色から赤色成分の被写体で、かつ、当該被写体の色の濃さが予め定められた閾値以上であることを判定した場合、前記被写体を前記特定光源として検出することを特徴とする請求項1ないし8のいずれか1つに記載の映像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2013−74493(P2013−74493A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−212600(P2011−212600)
【出願日】平成23年9月28日(2011.9.28)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】