画像認識装置、車載用画像認識装置および車載用画像認識方法
【課題】車載用画像認識装置において、周辺環境が暗い画像のＦＰＮを正確に補正する。
【解決手段】車載用画像認識装置１０は、ノイズ学習処理部１１ｂが、車両１のイグニション・スイッチがオンにされると、イメージセンサ部１４の絞り機構部１４ｂを全閉にし、光学レンズ１４ｃを介して入射してくる光量を遮断し、ＣＭＯＳセンサ１４ａの全画素の画素値の平均を算出し、ＣＭＯＳセンサ１４ａの各画素の画素値と、該平均との差分をＦＰＮ補正量としてそれぞれ算出し、該画素ごとにノイズ補正量記憶エリア１２ｂに格納する。画像明暗判定部１１ｃが、画像取得処理部１１ａによって取得された画像の全画素の画素値の合計を算出する。ノイズ補正処理部１１ｄが、画像明暗判定部１１ｃによって、画像取得処理部１１ａによって取得された画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、ＦＰＮ補正量で該画像の各画素の画素値を補正する。
【解決手段】車載用画像認識装置１０は、ノイズ学習処理部１１ｂが、車両１のイグニション・スイッチがオンにされると、イメージセンサ部１４の絞り機構部１４ｂを全閉にし、光学レンズ１４ｃを介して入射してくる光量を遮断し、ＣＭＯＳセンサ１４ａの全画素の画素値の平均を算出し、ＣＭＯＳセンサ１４ａの各画素の画素値と、該平均との差分をＦＰＮ補正量としてそれぞれ算出し、該画素ごとにノイズ補正量記憶エリア１２ｂに格納する。画像明暗判定部１１ｃが、画像取得処理部１１ａによって取得された画像の全画素の画素値の合計を算出する。ノイズ補正処理部１１ｄが、画像明暗判定部１１ｃによって、画像取得処理部１１ａによって取得された画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、ＦＰＮ補正量で該画像の各画素の画素値を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置、車載用画像認識装置および車載用画像認識方法に関し、特に、周辺環境が暗い画像のＦＰＮを正確に補正することが可能な画像認識装置、車載用画像認識装置および車載用画像認識方法に関する。
【背景技術】
【０００２】
従来から、車両のルームミラー付近に設置されるカメラで車両の前方を撮影し、そのカメラ画像を画像処理することによって路面上の白線や前方車両を認識する車載用画像認識装置が知られている。このカメラは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を利用して撮像対象の画像を電気信号に変換することによって動画を撮影する。
【０００３】
このような撮像素子の画素は、個体間のバラツキや経年劣化によって、ＦＰＮ（Fixed Pattern Noise、固定パターンノイズ）の影響を受ける。例えば、図４に示すように、画像の画素の真の画素値と、その画素を撮像素子で撮影した場合に出力される出力画素値とは、直線５０１に描かれるように、本来一致しなければならない。なお、画素の画素値が大きいほど明るい画素である。
【０００４】
しかし、曲線５０２および曲線５０３に例示するように、撮像素子の画素は、個体間のバラツキがあって、撮像素子の画素ごとに真の画素値と、出力画素値との関係を表す特性曲線が異なることが現状である。例えば、曲線５０２は、直線５０１よりも下方に位置するため、実際の出力画素値は、本来出力されなければならない画素値よりも低い、すなわち画素が暗く表示されることとなる。
【０００５】
一方、曲線５０３は、直線５０１よりも上方に位置するため、実際の出力画素値は、本来出力されなければならない画素値よりも高い、すなわち画素が明るく表示されることとなる。撮像素子の画素の真の画素値と、出力画素値との関係を表す特性曲線は、経年劣化によって、曲線５０３のようになる傾向がある。
【０００６】
ここで、特に、真の画素値が所定値ａ以下の場合に曲線５０３の直線５０１からの乖離が大きいと、暗い画像である場合にＦＰＮにより大きな影響を受けた輝点画素が発生することとなる。例えば、夜間やトンネルなどの周辺環境が暗い場合に、対象物を認識するためにカメラの感度を上げなければならない。しかし、このような場合に、カメラが撮影した画像は、このＦＰＮの影響を受け、画像に輝点画素が混入しやすくなる。このため、認識すべき対象物が認識できなかったり、誤認識してしまったりという不都合があった。
【０００７】
かかる不都合を解消するため、例えば、特許文献１に開示されるように、均一光照射に応じた全画素の画素値の平均値を算出し、この平均値と、各画素の画素値との差分量をＦＰＮ成分としてメモリに記憶し、撮影された画像の各画素の画素値を差分量で補正することによって、撮影された画像のＦＰＮを除去する撮像装置が提案されている。
【０００８】
また、特許文献２に開示されるように、カメラに光が入射していない状態における撮像素子の各画素の信号レベルをノイズレベルとして記憶し、撮影された画像の各画素の信号レベルをノイズレベルで補正することによって、ＦＰＮを除去する撮像表示装置が提案されている。
【０００９】
さらに、特許文献３に開示されるように、白基準面読み取り時の各画素の画像信号レベルを複数回取得し、このうち最も白側の画像信号レベルを記憶し、この最も白側の画像信号レベルに基づいて撮像素子の画素ごとの出力バラツキを補正する画像読取装置が提案されている。
【００１０】
【特許文献１】特開２００５−７９７６６号公報
【特許文献２】特開２００２−３４４８１６号公報
【特許文献３】特開平９−６５１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１に代表される従来技術では、均一光照射に応じた各画素の画素値と、全画素の画素値の平均値との差分量をＦＰＮ成分とするため、均一光が照射されなかった場合に、正確なＦＰＮ補正をおこなうことが困難であった。
【００１２】
また、上記特許文献２に代表される従来技術では、カメラに光が入射していない状態でのノイズレベルを取得し、撮影された画像の各画素の信号レベルをこのノイズレベルで補正することによってＦＰＮを除去するものの、前述のノイズレベルをいかなる撮影状態の画像のノイズ補正にも無差別に使用するため、正確なＦＰＮ補正をおこない得ないおそれがあった。
【００１３】
また、上記特許文献３に代表される従来技術では、白基準面に対する撮像素子の画素ごとの出力バラツキを補正することを目的とするため、暗い画像における撮像素子の画素ごとの出力バラツキを補正することは不可能であった。
【００１４】
また、上記特許文献１〜３の従来技術を組み合わせたとしても、特に周辺環境が暗い画像のＦＰＮを正確に補正することができないおそれがあった。本発明は、上記問題点（課題）を解消するためになされたものであって、特に周辺環境が暗い画像のＦＰＮを正確に補正することを目的とする。
【課題を解決するための手段】
【００１５】
上述した問題を解決し、目的を達成するため、本発明は、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置であって、自装置への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段とを有することを特徴とする。
【００１６】
また、本発明は、車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置であって、前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段とを有することを特徴とする。
【００１７】
また、本発明は、上記発明において、前記補正値算出記憶手段は、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させることを特徴とする。
【００１８】
また、本発明は、上記発明において、前記画像明暗判定手段は、車載装置から取得される情報に基づいて前記画像の明暗を判定することを特徴とする。
【００１９】
また、本発明は、上記発明において、前記画素値補正手段は、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正することを特徴とする。
【００２０】
また、本発明は、車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置による車載用画像認識方法であって、前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断ステップと、前記入射光遮断ステップによって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させる補正値算出記憶ステップと、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定ステップと、前記画像明暗判定ステップによって前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶ステップによってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正する画素値補正ステップとを含んだことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、自装置への電源投入または車両への電源投入を契機として撮像素子への入射光を遮断して算出された該撮像素子の各画素の画素値の補正値に基づき、撮像素子へ入射光が入射されて撮影された画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定し、該画像の全画素の画素値の合計が所定閾値未満である場合に該画像が暗いと判定し、該撮像素子の各画素に対応する該画像の各画素の画素値を各画素の画素値の補正値で補正するので、周辺環境が暗い画像のＦＰＮを正確に補正することが可能になるという効果を奏する。また、周辺環境が暗いために全体的に暗い画像のみを対象としてＦＰＮを補正することが可能になるという効果を奏する。
【００２２】
また、本発明によれば、撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素の画素値の補正値とするので、周辺環境が暗い画像において突出して明るい輝点画素の画素値を補正することが可能になるという効果を奏する。
【００２３】
また、本発明によれば、車載装置から取得される情報に基づいて画像が暗いと判定するので、車両に既存の装置を利用して画像の明暗判定を行うことが可能になるという効果を奏する。
【００２４】
また、本発明によれば、撮像素子の各画素に対応する該画像の各画素の画素値から各画素の画素値の補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素の画素値を補正するので、減算のみという少ない計算量でＦＰＮを補正することが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照し、本発明の画像認識装置、車載用画像認識装置および車載用画像認識方法にかかる実施例を詳細に説明する。車載用画像認識装置は、自車両周辺の認識対象の測距をおこない、識別をおこなう装置である。なお、以下の実施例は、車載用の画像処理装置および画像処理方法について説明することとするが、これに限定されるものではなく、本発明は、一般的な画像処理装置および画像処理方法に広く適用可能である。
【実施例】
【００２６】
先ず、実施例にかかる車載用画像認識装置の構成について説明する。図１は、実施例にかかる車載用画像認識装置の構成を示す機能ブロック図である。同図に示すように、実施例にかかる車載用画像認識装置１０は、車両１において、ＣＡＮ（Controller Area Network）などの車載有線ネットワーク１００を介して、車載用画像認識装置１０へカーナビゲーション情報、日付情報、時刻情報などを受け渡すカーナビゲーション装置２０と、車両１の周囲の照度を検知した結果を車載用画像認識装置１０へ受け渡す照度検知装置４０と、車両１が備える車幅灯やヘッドライトの点灯状況を車載用画像認識装置１０へ通知する車幅灯・ヘッドライト装置５０とが接続されている。
【００２７】
また、車載用画像認識装置１０は、ディスプレイ装置などの表示手段である表示部１３が接続されている。さらに、車載用画像認識装置１０は、撮像装置であるイメージセンサ部１４が接続されている。このイメージセンサ部１４は、ＣＭＯＳセンサ１４ａと、絞り機構部１４ｂと、光学レンズ１４ｃとを含んで構成される。イメージセンサ部１４のＣＭＯＳセンサ１４ａは、光学レンズ１４ｃおよび絞り機構部１４ｂを介して、撮影対象物の像を取得して画像に変換し、車載用画像認識装置１０へと受け渡す。また、車載用画像認識装置１０は、記憶部１２を含む。記憶部１２は、画像バッファ１２ａと、ノイズ補正量記憶エリア１２ｂとを含む。
【００２８】
車載用画像認識装置１０は、制御部１１と、記憶部１２とを有する。制御部１１は、車載用画像認識装置１０の全体制御をつかさどるマイクロ・コンピュータなどの制御手段であり、特に、実施例に密接に関係する構成要素としては、画像取得処理部１１ａと、ノイズ学習処理部１１ｂと、画像明暗判定部１１ｃと、ノイズ補正処理部１１ｄと、画像表示制御部１１ｅとを有する。
【００２９】
画像取得処理部１１ａは、イメージセンサ部１４から入力されるカメラ出力に基づき画像を取得し、記憶部１２の画像バッファ１２ａに展開する。
【００３０】
ノイズ学習処理部１１ｂは、車両１の電源投入（ＩＧ ＯＮまたはＡＣＣ ＯＮ）にされたとき、または、車載用画像認識装置１０の電源がオンにされたときを契機として、先ず、イメージセンサ部１４の絞り機構部１４ｂを制御して全閉にし、光学レンズ１４ｃを介して入射してくる光量を遮断する。
【００３１】
そして、ＣＭＯＳセンサ１４ａの全画素の画素値の平均を算出し、ＣＭＯＳセンサ１４ａの各画素の画素値と、該平均との差分をそれぞれ算出する。画素ごとの差分が、該各画素のＦＰＮ補正量である。ノイズ学習処理部１１ｂは、各画素のＦＰＮ補正量を、該画素ごとにノイズ補正量記憶エリア１２ｂに格納する。
【００３２】
画像明暗判定部１１ｃは、イメージセンサ部１４の絞り機構部１４ｂを適切に制御することによって画像取得処理部１１ａによって取得され、画像バッファ１２ａに展開されている画像の全画素の画素値の合計を算出する。
【００３３】
そして、ノイズ補正処理部１１ｄは、画像明暗判定部１１ｃによって、画像バッファ１２ａに展開されている画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、ノイズ補正量記憶エリア１２ｂに格納される画素ごとのＦＰＮ補正量を読み出して、画像バッファ１２ａに展開されている画像の各画素の画素値を補正する。
【００３４】
具体的には、ノイズ補正処理部１１ｄは、画像バッファ１２ａに展開されている画像の各画素の画素値から画素ごとのＦＰＮ補正量を差し引くことによって、ＦＰＮを補正する。これによって、ＣＭＯＳセンサ１４ａの画素の個体間のバラツキや経年劣化によるＦＰＮによって輝点画素が発生することを抑制することが可能になる。ノイズ補正処理部１１ｄによってＦＰＮが補正された画像データは、画像表示制御部１１ｅへと受け渡される。
【００３５】
画像表示制御部１１ｅは、ノイズ補正処理部１１ｄによってＦＰＮが補正された画像を表示部１３に表示することとなる。なお、画像明暗判定部１１ｃによって、画像バッファ１２ａに展開されている画像の全画素の画素値の合計が所定閾値未満であると判定されなかった場合には、画像表示制御部１１ｅは、画像取得処理部１１ａによって、イメージセンサ部１４を介して取得され、記憶部１２の画像バッファ１２ａに展開されている画像を、ＦＰＮ補正なしに表示部１３に表示する。
【００３６】
次に、図１に示した車載用画像認識装置１０で実行されるＦＰＮ補正処理手順について説明する。図２は、図１に示した車載用画像認識装置１０で実行されるＦＰＮ補正処理手順を示すフローチャートである。同図に示すように、先ず、車載用画像認識装置１０の制御部１１は、車両１のイグニション・スイッチのオンを検知する（ステップＳ１０１）。
【００３７】
続いて、ノイズ学習処理部１１ｂは、絞り機構部１４ｂを制御して、レンズの絞りを全て閉じる（ステップＳ１０２）。続いて、ノイズ学習処理部１１ｂは、ＣＭＯＳセンサ１４ａの全画素の画素値を算出する（ステップＳ１０３）。
【００３８】
続いて、ノイズ学習処理部１１ｂは、ＣＭＯＳセンサ１４ａの各画素の画素値からＣＭＯＳセンサ１４ａの全画素の画素値の平均値を差し引くことによって、画素値のバラツキ量を算出し、この差を画素ごとのＦＰＮ補正量として決定する（ステップＳ１０４）。
【００３９】
続いて、ノイズ学習処理部１１ｂは、ステップＳ１０４で決定された画素ごとのＦＰＮ補正量を、ノイズ補正量記憶エリア１２ｂに格納することによって学習する（ステップＳ１０５）。続いて、ノイズ学習処理部１１ｂは、絞り機構部１４ｂを制御して、レンズの絞りを適切に開く（ステップＳ１０６）。
【００４０】
そして、画像取得処理部１１ａは、入力画像を取得する（ステップＳ１０７）。続いて、画像明暗判定部１１ｃは、車両１の周辺環境が、夜間もしくはトンネルなどの暗い環境であるか否かを判定する（ステップＳ１０８）。この判定は、上記したように、取得画像の全画素の画素値の合計が所定閾値未満であるか否かを判定することによっておこなう。
【００４１】
なお、カーナビゲーション装置２０から取得される時刻情報（周辺環境が暗い時刻であるか否か）または位置情報（トンネルなどの周辺環境が暗い位置であるか否か）、照度検知装置４０から取得される車両１の周辺の照度、車幅灯・ヘッドライト装置５０から取得される車幅灯・ヘッドライト装置の点灯状況などに応じて、周辺環境の明暗を判定することとしてもよい。
【００４２】
車両１の周辺環境が暗い環境であると判定された場合に（ステップＳ１０８肯定）、入力画像に学習したＦＰＮ補正量を適用して、ＦＰＮを補正する（ステップＳ１０９）。一方、車両１の周辺環境が暗い環境であると判定されなかった場合には（ステップＳ１０８否定）、ＦＰＮ補正処理は終了する。
【００４３】
次に、図３−１および図３−２を参照して、実施例の効果について説明する。図３−１は、実施例を適用しない場合の、周辺環境が暗い場合のＦＰＮ補正処理前の画像例を示す図である。同図に示すように、暗い環境では、ＦＰＮによる輝点画素が画像に混入するため、画像認識率の低下を招き、誤認識率が高い。また、取得される画像自体も、輝点画素によって不鮮明となる。
【００４４】
一方、図３−２は、実施例を適用した場合の、周辺環境が暗い場合のＦＰＮ補正処理後の画像例を示す図である。同図に示すように、暗い環境でも、ＦＰＮによる輝点画素が画像に混入せず、画像認識率が向上し、誤認識率の低下を図ることが可能になる。また、取得される画像自体も、輝点画素がなく鮮明となる。
【００４５】
また、実施例では、イグニション・スイッチのオンの直後の度にＦＰＮ補正量の学習をおこなうため、ＣＭＯＳセンサ１４ａの経年劣化にも追従して対応することが可能になる。
【００４６】
以上、本発明の実施例を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。
【００４７】
また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００４８】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００４９】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）（またはＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）などのマイクロ・コンピュータ）および当該ＣＰＵ（またはＭＰＵ、ＭＣＵなどのマイクロ・コンピュータ）にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。
【産業上の利用可能性】
【００５０】
本発明は、車載用画像認識装置において、周辺環境が暗い画像のＦＰＮを正確に補正したい場合に有用である。
【図面の簡単な説明】
【００５１】
【図１】実施例にかかる車載用画像認識装置の構成を示す機能ブロック図である。
【図２】実施例にかかる車載用画像認識装置で実行されるＦＰＮ補正処理手順を示すフローチャートである。
【図３−１】実施例を適用しない場合の、周辺環境が暗い場合のＦＰＮ補正処理前の画像例を示す図である。
【図３−２】実施例を適用した場合の、周辺環境が暗い場合のＦＰＮ補正処理後の画像例を示す図である。
【図４】撮像素子を構成する画素の出力特性の例を示す図である。
【符号の説明】
【００５２】
１ 車両
１０ 車載用画像認識装置
１１ 制御部
１１ａ 画像取得処理部
１１ｂ ノイズ学習処理部
１１ｃ 画像明暗判定部
１１ｄ ノイズ補正処理部
１１ｅ 画像表示制御部
１２ 記憶部
１２ａ 画像バッファ
１２ｂ ノイズ補正量記憶エリア
１３ 表示部
１４ イメージセンサ部
１４ａ ＣＭＯＳセンサ
１４ｂ 絞り機構部
１４ｃ 光学レンズ
２０ カーナビゲーション装置
４０ 照度検知装置
５０ 車幅灯・ヘッドライト装置
１００ 車載有線ネットワーク
【技術分野】
【０００１】
本発明は、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置、車載用画像認識装置および車載用画像認識方法に関し、特に、周辺環境が暗い画像のＦＰＮを正確に補正することが可能な画像認識装置、車載用画像認識装置および車載用画像認識方法に関する。
【背景技術】
【０００２】
従来から、車両のルームミラー付近に設置されるカメラで車両の前方を撮影し、そのカメラ画像を画像処理することによって路面上の白線や前方車両を認識する車載用画像認識装置が知られている。このカメラは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を利用して撮像対象の画像を電気信号に変換することによって動画を撮影する。
【０００３】
このような撮像素子の画素は、個体間のバラツキや経年劣化によって、ＦＰＮ（Fixed Pattern Noise、固定パターンノイズ）の影響を受ける。例えば、図４に示すように、画像の画素の真の画素値と、その画素を撮像素子で撮影した場合に出力される出力画素値とは、直線５０１に描かれるように、本来一致しなければならない。なお、画素の画素値が大きいほど明るい画素である。
【０００４】
しかし、曲線５０２および曲線５０３に例示するように、撮像素子の画素は、個体間のバラツキがあって、撮像素子の画素ごとに真の画素値と、出力画素値との関係を表す特性曲線が異なることが現状である。例えば、曲線５０２は、直線５０１よりも下方に位置するため、実際の出力画素値は、本来出力されなければならない画素値よりも低い、すなわち画素が暗く表示されることとなる。
【０００５】
一方、曲線５０３は、直線５０１よりも上方に位置するため、実際の出力画素値は、本来出力されなければならない画素値よりも高い、すなわち画素が明るく表示されることとなる。撮像素子の画素の真の画素値と、出力画素値との関係を表す特性曲線は、経年劣化によって、曲線５０３のようになる傾向がある。
【０００６】
ここで、特に、真の画素値が所定値ａ以下の場合に曲線５０３の直線５０１からの乖離が大きいと、暗い画像である場合にＦＰＮにより大きな影響を受けた輝点画素が発生することとなる。例えば、夜間やトンネルなどの周辺環境が暗い場合に、対象物を認識するためにカメラの感度を上げなければならない。しかし、このような場合に、カメラが撮影した画像は、このＦＰＮの影響を受け、画像に輝点画素が混入しやすくなる。このため、認識すべき対象物が認識できなかったり、誤認識してしまったりという不都合があった。
【０００７】
かかる不都合を解消するため、例えば、特許文献１に開示されるように、均一光照射に応じた全画素の画素値の平均値を算出し、この平均値と、各画素の画素値との差分量をＦＰＮ成分としてメモリに記憶し、撮影された画像の各画素の画素値を差分量で補正することによって、撮影された画像のＦＰＮを除去する撮像装置が提案されている。
【０００８】
また、特許文献２に開示されるように、カメラに光が入射していない状態における撮像素子の各画素の信号レベルをノイズレベルとして記憶し、撮影された画像の各画素の信号レベルをノイズレベルで補正することによって、ＦＰＮを除去する撮像表示装置が提案されている。
【０００９】
さらに、特許文献３に開示されるように、白基準面読み取り時の各画素の画像信号レベルを複数回取得し、このうち最も白側の画像信号レベルを記憶し、この最も白側の画像信号レベルに基づいて撮像素子の画素ごとの出力バラツキを補正する画像読取装置が提案されている。
【００１０】
【特許文献１】特開２００５−７９７６６号公報
【特許文献２】特開２００２−３４４８１６号公報
【特許文献３】特開平９−６５１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１に代表される従来技術では、均一光照射に応じた各画素の画素値と、全画素の画素値の平均値との差分量をＦＰＮ成分とするため、均一光が照射されなかった場合に、正確なＦＰＮ補正をおこなうことが困難であった。
【００１２】
また、上記特許文献２に代表される従来技術では、カメラに光が入射していない状態でのノイズレベルを取得し、撮影された画像の各画素の信号レベルをこのノイズレベルで補正することによってＦＰＮを除去するものの、前述のノイズレベルをいかなる撮影状態の画像のノイズ補正にも無差別に使用するため、正確なＦＰＮ補正をおこない得ないおそれがあった。
【００１３】
また、上記特許文献３に代表される従来技術では、白基準面に対する撮像素子の画素ごとの出力バラツキを補正することを目的とするため、暗い画像における撮像素子の画素ごとの出力バラツキを補正することは不可能であった。
【００１４】
また、上記特許文献１〜３の従来技術を組み合わせたとしても、特に周辺環境が暗い画像のＦＰＮを正確に補正することができないおそれがあった。本発明は、上記問題点（課題）を解消するためになされたものであって、特に周辺環境が暗い画像のＦＰＮを正確に補正することを目的とする。
【課題を解決するための手段】
【００１５】
上述した問題を解決し、目的を達成するため、本発明は、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置であって、自装置への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段とを有することを特徴とする。
【００１６】
また、本発明は、車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置であって、前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段とを有することを特徴とする。
【００１７】
また、本発明は、上記発明において、前記補正値算出記憶手段は、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させることを特徴とする。
【００１８】
また、本発明は、上記発明において、前記画像明暗判定手段は、車載装置から取得される情報に基づいて前記画像の明暗を判定することを特徴とする。
【００１９】
また、本発明は、上記発明において、前記画素値補正手段は、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正することを特徴とする。
【００２０】
また、本発明は、車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置による車載用画像認識方法であって、前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断ステップと、前記入射光遮断ステップによって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させる補正値算出記憶ステップと、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定ステップと、前記画像明暗判定ステップによって前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶ステップによってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正する画素値補正ステップとを含んだことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、自装置への電源投入または車両への電源投入を契機として撮像素子への入射光を遮断して算出された該撮像素子の各画素の画素値の補正値に基づき、撮像素子へ入射光が入射されて撮影された画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定し、該画像の全画素の画素値の合計が所定閾値未満である場合に該画像が暗いと判定し、該撮像素子の各画素に対応する該画像の各画素の画素値を各画素の画素値の補正値で補正するので、周辺環境が暗い画像のＦＰＮを正確に補正することが可能になるという効果を奏する。また、周辺環境が暗いために全体的に暗い画像のみを対象としてＦＰＮを補正することが可能になるという効果を奏する。
【００２２】
また、本発明によれば、撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素の画素値の補正値とするので、周辺環境が暗い画像において突出して明るい輝点画素の画素値を補正することが可能になるという効果を奏する。
【００２３】
また、本発明によれば、車載装置から取得される情報に基づいて画像が暗いと判定するので、車両に既存の装置を利用して画像の明暗判定を行うことが可能になるという効果を奏する。
【００２４】
また、本発明によれば、撮像素子の各画素に対応する該画像の各画素の画素値から各画素の画素値の補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素の画素値を補正するので、減算のみという少ない計算量でＦＰＮを補正することが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照し、本発明の画像認識装置、車載用画像認識装置および車載用画像認識方法にかかる実施例を詳細に説明する。車載用画像認識装置は、自車両周辺の認識対象の測距をおこない、識別をおこなう装置である。なお、以下の実施例は、車載用の画像処理装置および画像処理方法について説明することとするが、これに限定されるものではなく、本発明は、一般的な画像処理装置および画像処理方法に広く適用可能である。
【実施例】
【００２６】
先ず、実施例にかかる車載用画像認識装置の構成について説明する。図１は、実施例にかかる車載用画像認識装置の構成を示す機能ブロック図である。同図に示すように、実施例にかかる車載用画像認識装置１０は、車両１において、ＣＡＮ（Controller Area Network）などの車載有線ネットワーク１００を介して、車載用画像認識装置１０へカーナビゲーション情報、日付情報、時刻情報などを受け渡すカーナビゲーション装置２０と、車両１の周囲の照度を検知した結果を車載用画像認識装置１０へ受け渡す照度検知装置４０と、車両１が備える車幅灯やヘッドライトの点灯状況を車載用画像認識装置１０へ通知する車幅灯・ヘッドライト装置５０とが接続されている。
【００２７】
また、車載用画像認識装置１０は、ディスプレイ装置などの表示手段である表示部１３が接続されている。さらに、車載用画像認識装置１０は、撮像装置であるイメージセンサ部１４が接続されている。このイメージセンサ部１４は、ＣＭＯＳセンサ１４ａと、絞り機構部１４ｂと、光学レンズ１４ｃとを含んで構成される。イメージセンサ部１４のＣＭＯＳセンサ１４ａは、光学レンズ１４ｃおよび絞り機構部１４ｂを介して、撮影対象物の像を取得して画像に変換し、車載用画像認識装置１０へと受け渡す。また、車載用画像認識装置１０は、記憶部１２を含む。記憶部１２は、画像バッファ１２ａと、ノイズ補正量記憶エリア１２ｂとを含む。
【００２８】
車載用画像認識装置１０は、制御部１１と、記憶部１２とを有する。制御部１１は、車載用画像認識装置１０の全体制御をつかさどるマイクロ・コンピュータなどの制御手段であり、特に、実施例に密接に関係する構成要素としては、画像取得処理部１１ａと、ノイズ学習処理部１１ｂと、画像明暗判定部１１ｃと、ノイズ補正処理部１１ｄと、画像表示制御部１１ｅとを有する。
【００２９】
画像取得処理部１１ａは、イメージセンサ部１４から入力されるカメラ出力に基づき画像を取得し、記憶部１２の画像バッファ１２ａに展開する。
【００３０】
ノイズ学習処理部１１ｂは、車両１の電源投入（ＩＧ ＯＮまたはＡＣＣ ＯＮ）にされたとき、または、車載用画像認識装置１０の電源がオンにされたときを契機として、先ず、イメージセンサ部１４の絞り機構部１４ｂを制御して全閉にし、光学レンズ１４ｃを介して入射してくる光量を遮断する。
【００３１】
そして、ＣＭＯＳセンサ１４ａの全画素の画素値の平均を算出し、ＣＭＯＳセンサ１４ａの各画素の画素値と、該平均との差分をそれぞれ算出する。画素ごとの差分が、該各画素のＦＰＮ補正量である。ノイズ学習処理部１１ｂは、各画素のＦＰＮ補正量を、該画素ごとにノイズ補正量記憶エリア１２ｂに格納する。
【００３２】
画像明暗判定部１１ｃは、イメージセンサ部１４の絞り機構部１４ｂを適切に制御することによって画像取得処理部１１ａによって取得され、画像バッファ１２ａに展開されている画像の全画素の画素値の合計を算出する。
【００３３】
そして、ノイズ補正処理部１１ｄは、画像明暗判定部１１ｃによって、画像バッファ１２ａに展開されている画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、ノイズ補正量記憶エリア１２ｂに格納される画素ごとのＦＰＮ補正量を読み出して、画像バッファ１２ａに展開されている画像の各画素の画素値を補正する。
【００３４】
具体的には、ノイズ補正処理部１１ｄは、画像バッファ１２ａに展開されている画像の各画素の画素値から画素ごとのＦＰＮ補正量を差し引くことによって、ＦＰＮを補正する。これによって、ＣＭＯＳセンサ１４ａの画素の個体間のバラツキや経年劣化によるＦＰＮによって輝点画素が発生することを抑制することが可能になる。ノイズ補正処理部１１ｄによってＦＰＮが補正された画像データは、画像表示制御部１１ｅへと受け渡される。
【００３５】
画像表示制御部１１ｅは、ノイズ補正処理部１１ｄによってＦＰＮが補正された画像を表示部１３に表示することとなる。なお、画像明暗判定部１１ｃによって、画像バッファ１２ａに展開されている画像の全画素の画素値の合計が所定閾値未満であると判定されなかった場合には、画像表示制御部１１ｅは、画像取得処理部１１ａによって、イメージセンサ部１４を介して取得され、記憶部１２の画像バッファ１２ａに展開されている画像を、ＦＰＮ補正なしに表示部１３に表示する。
【００３６】
次に、図１に示した車載用画像認識装置１０で実行されるＦＰＮ補正処理手順について説明する。図２は、図１に示した車載用画像認識装置１０で実行されるＦＰＮ補正処理手順を示すフローチャートである。同図に示すように、先ず、車載用画像認識装置１０の制御部１１は、車両１のイグニション・スイッチのオンを検知する（ステップＳ１０１）。
【００３７】
続いて、ノイズ学習処理部１１ｂは、絞り機構部１４ｂを制御して、レンズの絞りを全て閉じる（ステップＳ１０２）。続いて、ノイズ学習処理部１１ｂは、ＣＭＯＳセンサ１４ａの全画素の画素値を算出する（ステップＳ１０３）。
【００３８】
続いて、ノイズ学習処理部１１ｂは、ＣＭＯＳセンサ１４ａの各画素の画素値からＣＭＯＳセンサ１４ａの全画素の画素値の平均値を差し引くことによって、画素値のバラツキ量を算出し、この差を画素ごとのＦＰＮ補正量として決定する（ステップＳ１０４）。
【００３９】
続いて、ノイズ学習処理部１１ｂは、ステップＳ１０４で決定された画素ごとのＦＰＮ補正量を、ノイズ補正量記憶エリア１２ｂに格納することによって学習する（ステップＳ１０５）。続いて、ノイズ学習処理部１１ｂは、絞り機構部１４ｂを制御して、レンズの絞りを適切に開く（ステップＳ１０６）。
【００４０】
そして、画像取得処理部１１ａは、入力画像を取得する（ステップＳ１０７）。続いて、画像明暗判定部１１ｃは、車両１の周辺環境が、夜間もしくはトンネルなどの暗い環境であるか否かを判定する（ステップＳ１０８）。この判定は、上記したように、取得画像の全画素の画素値の合計が所定閾値未満であるか否かを判定することによっておこなう。
【００４１】
なお、カーナビゲーション装置２０から取得される時刻情報（周辺環境が暗い時刻であるか否か）または位置情報（トンネルなどの周辺環境が暗い位置であるか否か）、照度検知装置４０から取得される車両１の周辺の照度、車幅灯・ヘッドライト装置５０から取得される車幅灯・ヘッドライト装置の点灯状況などに応じて、周辺環境の明暗を判定することとしてもよい。
【００４２】
車両１の周辺環境が暗い環境であると判定された場合に（ステップＳ１０８肯定）、入力画像に学習したＦＰＮ補正量を適用して、ＦＰＮを補正する（ステップＳ１０９）。一方、車両１の周辺環境が暗い環境であると判定されなかった場合には（ステップＳ１０８否定）、ＦＰＮ補正処理は終了する。
【００４３】
次に、図３−１および図３−２を参照して、実施例の効果について説明する。図３−１は、実施例を適用しない場合の、周辺環境が暗い場合のＦＰＮ補正処理前の画像例を示す図である。同図に示すように、暗い環境では、ＦＰＮによる輝点画素が画像に混入するため、画像認識率の低下を招き、誤認識率が高い。また、取得される画像自体も、輝点画素によって不鮮明となる。
【００４４】
一方、図３−２は、実施例を適用した場合の、周辺環境が暗い場合のＦＰＮ補正処理後の画像例を示す図である。同図に示すように、暗い環境でも、ＦＰＮによる輝点画素が画像に混入せず、画像認識率が向上し、誤認識率の低下を図ることが可能になる。また、取得される画像自体も、輝点画素がなく鮮明となる。
【００４５】
また、実施例では、イグニション・スイッチのオンの直後の度にＦＰＮ補正量の学習をおこなうため、ＣＭＯＳセンサ１４ａの経年劣化にも追従して対応することが可能になる。
【００４６】
以上、本発明の実施例を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。
【００４７】
また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００４８】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００４９】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）（またはＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）などのマイクロ・コンピュータ）および当該ＣＰＵ（またはＭＰＵ、ＭＣＵなどのマイクロ・コンピュータ）にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。
【産業上の利用可能性】
【００５０】
本発明は、車載用画像認識装置において、周辺環境が暗い画像のＦＰＮを正確に補正したい場合に有用である。
【図面の簡単な説明】
【００５１】
【図１】実施例にかかる車載用画像認識装置の構成を示す機能ブロック図である。
【図２】実施例にかかる車載用画像認識装置で実行されるＦＰＮ補正処理手順を示すフローチャートである。
【図３−１】実施例を適用しない場合の、周辺環境が暗い場合のＦＰＮ補正処理前の画像例を示す図である。
【図３−２】実施例を適用した場合の、周辺環境が暗い場合のＦＰＮ補正処理後の画像例を示す図である。
【図４】撮像素子を構成する画素の出力特性の例を示す図である。
【符号の説明】
【００５２】
１ 車両
１０ 車載用画像認識装置
１１ 制御部
１１ａ 画像取得処理部
１１ｂ ノイズ学習処理部
１１ｃ 画像明暗判定部
１１ｄ ノイズ補正処理部
１１ｅ 画像表示制御部
１２ 記憶部
１２ａ 画像バッファ
１２ｂ ノイズ補正量記憶エリア
１３ 表示部
１４ イメージセンサ部
１４ａ ＣＭＯＳセンサ
１４ｂ 絞り機構部
１４ｃ 光学レンズ
２０ カーナビゲーション装置
４０ 照度検知装置
５０ 車幅灯・ヘッドライト装置
１００ 車載有線ネットワーク
【特許請求の範囲】
【請求項１】
画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置であって、
自装置への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、
前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、
前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段と
を有することを特徴とする画像認識装置。
【請求項２】
車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置であって、
前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、
前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、
前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段と
を有することを特徴とする車載用画像認識装置。
【請求項３】
前記補正値算出記憶手段は、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させることを特徴とする請求項２に記載の車載用画像認識装置。
【請求項４】
前記画像明暗判定手段は、車載装置から取得される情報に基づいて前記画像の明暗を判定することを特徴とする請求項２または３に記載の車載用画像認識装置。
【請求項５】
前記画素値補正手段は、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正することを特徴とする請求項２、３または４に記載の車載用画像認識装置。
【請求項６】
車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置による車載用画像認識方法であって、
前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断ステップと、
前記入射光遮断ステップによって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させる補正値算出記憶ステップと、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定ステップと、
前記画像明暗判定ステップによって前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶ステップによってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正する画素値補正ステップと
を含んだことを特徴とする車載用画像認識方法。
【請求項１】
画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置であって、
自装置への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、
前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、
前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段と
を有することを特徴とする画像認識装置。
【請求項２】
車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置であって、
前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、
前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、
前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段と
を有することを特徴とする車載用画像認識装置。
【請求項３】
前記補正値算出記憶手段は、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させることを特徴とする請求項２に記載の車載用画像認識装置。
【請求項４】
前記画像明暗判定手段は、車載装置から取得される情報に基づいて前記画像の明暗を判定することを特徴とする請求項２または３に記載の車載用画像認識装置。
【請求項５】
前記画素値補正手段は、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正することを特徴とする請求項２、３または４に記載の車載用画像認識装置。
【請求項６】
車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置による車載用画像認識方法であって、
前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断ステップと、
前記入射光遮断ステップによって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させる補正値算出記憶ステップと、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定ステップと、
前記画像明暗判定ステップによって前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶ステップによってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正する画素値補正ステップと
を含んだことを特徴とする車載用画像認識方法。
【図１】
【図２】
【図３−１】
【図３−２】
【図４】
【図２】
【図３−１】
【図３−２】
【図４】
【公開番号】特開２００９−７７２７９（Ｐ２００９−７７２７９Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００７−２４５７６４（Ｐ２００７−２４５７６４）
【出願日】平成１９年９月２１日（２００７．９．２１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１９年９月２１日（２００７．９．２１）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]