二次元フィルター最適化方法、及び車両用画像認識装置
【課題】認識対象物体に応じた最適な二次元フィルターを迅速に生成することが可能な二次元フィルター最適化方法を提供すること。
【解決手段】画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、（１）ライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする。
【解決手段】画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、（１）ライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法、及び最適化された二次元フィルターを用いて認識対象物を認識可能な車両用画像認識装置に関する。
【背景技術】
【０００２】
従来、車両に搭載されたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラの撮像画像を解析して歩行者や先行車両、障害物等の存在を認識する装置について研究が進められている。係る装置において物体を認識する際に、その前段階としてフィルターを適用することがある。比較的一般的に知られているSOBELフィルターは、画像における所望の方向に関して輝度の変化が大きい部分を際だたせる効果を有している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、前述の如く車両側から認識しようとする物体は多岐に亘ることが多く、一般的に用いられているフィルターを適用するのが適切でない場合がある。
【０００４】
本発明はこのような課題を解決するためのものであり、認識対象物体に応じた最適な二次元フィルターを迅速に生成することが可能な二次元フィルター最適化方法、及び最適化された二次元フィルターを用いて認識対象物を適切に認識可能な車両用画像認識装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するための本発明の第１の態様は、
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）ライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法である。
【０００６】
この本発明の第１の態様によれば、認識対象物体に応じた最適な二次元フィルターを迅速に生成することができる。
【０００７】
本発明の第２の態様は、
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）時系列データとしてライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法である。
【０００８】
この本発明の第２の態様によれば、認識対象物体に応じた最適な二次元フィルターを迅速に生成することができる。
【０００９】
本発明の第１又は第２の態様において、
前記目標値は、前記スカラー値が取り得る最大値となることを特徴とするものとすると、好適である。
【００１０】
また、本発明の第１又は第２の態様において、
前記二次元画像データとして輝度又は色信号の反転画像を入力し、前記前記スカラー値が取り得る最小値となることを特徴とするものとしてもよい。
【００１１】
また、本発明の第１又は第２の態様において、
前記二次元画像データとして、認識対象物の画像と、認識対象外の物体の画像との差分画像を入力することを特徴とするものとしてもよい。
【００１２】
本発明の第３の態様は、
ライン入力される二次元画像データから認識対象物を認識する車両用画像認識装置であって、
前記入力ラインに対して所定の間引きルールに従って間引き処理を行ない、所定ライン数の入力ラインを抽出する入力ライン抽出手段と、
該入力ライン抽出手段により抽出された入力ラインに対して補間処理を行なって所定ライン数の入力ラインとする補間処理手段と、を備え、
該補間処理手段により補間処理が行なわれた所定ライン数の入力ラインに、該所定ライン数を入力ライン数とする二次元フィルターを適用して認識対象物を認識することを特徴とする、
車両用画像認識装置である。
【００１３】
本発明の第３の態様によれば、二次元フィルターを用いて認識対象物を適切に認識することができる。
【００１４】
本発明の第３の態様において、
前記所定の間引きルールを規定する間引きルール規定テーブルを備え、
前記入力ライン数変換手段は、該間引きルール規定テーブルを参照して前記入力ライン数の変換を行なう手段であるものとしてもよい。
【００１５】
また、本発明の第３の態様において、
前記入力ライン数変換手段により行なわれた間引き処理の程度によって認識対象物との距離を認識することを特徴とするものとしてもよい。
【００１６】
また、本発明の第３の態様において、
画像上の縦方向の位置に応じて変化するように認識対象領域を設定する認識対象領域設定手段を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とするものとしてもよい。
【００１７】
また、本発明の第３の態様において、
既に認識された認識対象物の画像における位置を記憶する記憶手段と、
該記憶手段に記憶された位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とするものとしてもよい。
【００１８】
また、本発明の第３の態様において、
障害物の位置を検出する障害物位置検出手段と、
該障害物位置検出手段により検出された障害物の位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とするものとしてもよい。
【００１９】
また、本発明の第３の態様において、
車両の状態情報を取得する状態情報取得手段を備え、
前記認識対象領域設定手段は、前記状態情報取得手段により取得された車両の状態情報に基づいて前記認識対象領域を補正することを特徴とするものとしてもよい。
【００２０】
なお、請求項９ないし１１のいずれか１項における認識対象領域設定手段は、同一の構成要素であってよい。
【発明の効果】
【００２１】
本発明によれば、認識対象物体に応じた最適な二次元フィルターを迅速に生成することが可能な二次元フィルター最適化方法、及び最適化された二次元フィルターを用いて認識対象物を適切に認識可能な車両用画像認識装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００２３】
＜第１実施例＞
以下、本発明の第１実施例に係る二次元フィルター最適化方法について説明する。図１は、本発明に係る二次元フィルター最適化方法を実行するための最適化装置１の構成を模式的に示す図である。最適化装置１は、ｍ本の入力ライン（主走査方向の複数の画素値を含む一次元データ）に対して以下に説明する処理を行なうことにより評価値を出力し、評価値を目標値に近づけるように係数を変化させることによって、二次元画像データの各画素値に乗算すべき係数を最適化することを可能としたものである。以下は、その構成例である。
【００２４】
［構成例］
最適化装置１は、各入力ラインIn_a-1、In_a-2、In_a-3、…、In_a-mに遅延処理（当回入力データだけでなく、前回、前々回入力データ等も反映させるための処理）を行なうための遅延素子Da-1、Db-1、Dc-1、…Da-m、Db-m、Dc-m、遅延素子によって遅延処理が行なわれた入力ラインに対して所定の係数ka-1、kb-1、kc-1、kd-1、…、ka-m、kb-m、kc-m、kd-mを乗じる第１乗算器群、第１乗算器群により所定の係数が乗算された入力ラインの各画素値を合算してスカラー値を生成する第１合算器群、第１合算器群により生成された各スカラー値に所定の係数を乗じる第２乗算器群、第２乗算器群により所定の係数が乗算された各スカラー値を合算する第２合算器を有する。なお、遅延処理を行なわないものとしても構わない。
【００２５】
図２（Ａ）は、本発明により最適化された二次元フィルターを用いて認識する予定の認識対象物（ここでは、他車両）を撮像した画像である。また、図２（Ｂ）は、認識対象物の画像をＡ／Ｄ変換した後の画像データ（例えば横方向の画素列が入力ラインとなる）を示すイメージ図である。図２（Ｃ）は、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データである。図２（Ｄ）は、当該画像データに対して生成されるスカラー値列を示すイメージ図である。このスカラー値列に計数乗算及び合算を行なった値が評価値となる。二次元フィルターの最適化は、係る認識対象物を撮像した画像を基準に行なってもよいが、以下に説明するように、認識対象物と認識対象外の物体との差分画像を基準にすると好適である。
【００２６】
図３（Ａ）は、本発明により最適化された二次元フィルターを用いて認識しない、認識対象外の物体（ここでは、道路区画線）を撮像した画像である。ここで、認識対象外の物体とは、撮像環境において当然に撮像範囲に入ってくる物体であって、画像認識の対象とならないものをいう。図３（Ｂ）は、認識対象外の物体の画像をＡ／Ｄ変換した後の画像データを示す。図３（Ｃ）は、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データである。そして、図３（Ｄ）は、当該画像データに対して生成されるスカラー値列を示す。このスカラー値列に計数乗算及び合算を行なった値が評価値となる。
【００２７】
図４（Ａ）は、認識対象物と、認識対象外の物体との差分画像である。図４（Ｂ）は、差分画像をＡ／Ｄ変換した後の画像データを示す。図４（Ｃ）は、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データである。そして、図４（Ｄ）は、当該画像データに対して生成されるスカラー値列を示す。このスカラー値列に計数乗算及び合算を行なった値が評価値となる。
【００２８】
図５は、差分画像を入力画像として評価値を目標値に近づける場合の、最適化実行に係るフローチャートである。
【００２９】
まず、最適化の対象となる画像を入力する（Ｓ１００）。
【００３０】
そして、上記各係数を所定の変動ルールに応じて変動させる（Ｓ１０２）。
【００３１】
各係数を変動させると、その結果として評価値が増大したか否かを判定する（Ｓ１０４）。
【００３２】
評価値が増大した場合は、評価値が目標値となったか否かを判定する（Ｓ１０６）。評価値が目標値となった場合は、最適化処理を終了する。一方、評価値が目標値とならなかった場合は、再度係数を変動させる（Ｓ１０２〜）。
【００３３】
また、評価値が減少した場合は、係数の変動方向を反転させ（Ｓ１０８）、再度Ｓ１０２以下の処理を実行する。
【００３４】
係る処理により、差分画像に対して感度の高い二次元フィルターが構築される。この事により、対象物に対して希望と非希望のデータが入力されたとき、二次元フィルター出力の値が大きく異なって出力できるようになる。従って、対象物の検出・認識がより精度良く実現できることになる。また、評価値を目標値に近づけるという処理目標を設定するため、認識対象物体に応じた最適な二次元フィルターを迅速に生成することができる。
【００３５】
なお、認識対象物を撮像した画像について同様の処理を行なってもよい。また、認識対象外の物体についての画像の反転画像（カラー画像の場合は、色信号の反転画像）について同様の処理を行なってもよい。
【００３６】
＜第２実施例＞
以下、本発明の第２実施例に係る車両用画像認識装置２について説明する。車両用画像認識装置２は、車両に搭載されたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラの撮像画像を、第１実施例の二次元フィルター最適化方法の如き手法により最適化された二次元フィルターに適用させるために、副走査方向に画像を圧縮することを特徴とするものである。なお、主操作方向の画像圧縮についても同様の原理を用いて行なうものとしてよい。
【００３７】
図６は、車両用画像認識装置２の構成例である。車両用画像認識装置２は、例えば、カメラデバイス１０と、Ａ／Ｄ変換機２０と、ラインメモリ３０と、任意ライン出力選択部４０と、二次元フィルター部５０と、を備える。
【００３８】
ラインメモリ３０には、Ａ／Ｄ変換機２０から、カメラデバイス１０の撮像画像データがライン入力の形式で入力される。ラインメモリ３０は、各ライン間の時間ずれを補正し、任意ライン出力選択部４０にデータを出力する。
【００３９】
任意ライン出力選択部４０は、ラインメモリ３０に入力された入力ラインに対して所定の間引きルールに従って間引き処理を行ない、所定ライン数の入力ラインを抽出する。ここで、所定の間引きルールは、例えば、フラッシュメモリ上に予め間引きルール規定テーブルとして規定されている。間引きルール規定テーブルは、入力ライン数をデータラベルとし、各入力ライン数に対して何番目のライン入力を残す（抽出する）のかを規定している。図７は、間引きルール規定テーブルの一例を示す図である。
【００４０】
そして、抽出された入力ラインに対して線形補間等の補間処理を行なって所定ライン数の入力ラインとする。
【００４１】
係る処理により、二次元フィルターに入力して画像解析を行なう入力ライン数を減少させることができるため、全ての入力ラインに対して画像解析を行なう場合に比して、装置の処理負荷を軽減することができる。なお、図８は、従来の処理方法によって入力ライン数を１／３倍に圧縮する様子と、本実施例の処理方法によって入力ライン数を１／３倍に圧縮する様子と、を対比した図である。
【００４２】
なお、間引き処理の程度によって認識対象物との距離を認識することができる。
【００４３】
［認識対象領域の設定］
また、カメラデバイス１０の撮像画像の全てを圧縮対象とするのは現実的でないため、画像においてまず認識対象領域を設定し、これについて圧縮処理、二次元フィルターの適用を行なうのが適切である。以下、これについて説明する。
【００４４】
（１．認識対象領域をずらしながら画像中の認識対象物体を探す場合）
まず、画像中における認識対象物の位置が全く不明である場合、例えば、（Ａ）左上端から順に（左→右、次に上→下と変化させて右下まで探索する）認識対象領域を設定し、（Ｂ）認識対象領域内の画像を圧縮して二次元フィルターに入力する。そして（Ｃ）二次元フィルターの出力を参照して認識対象物であるか否かを判定する。上記（Ｃ）において認識対象物でないと判定した場合、設定位置を変えて、再度（Ａ）〜（Ｃ）の処理を実行する。
【００４５】
この際に、（Ａ）の認識対象領域の設定は、縦方向の位置に応じて変化するように設定すると好適である。より具体的には、画像の上方向（撮像空間における奥行き方向）に行くに従って小さくなるように認識対象領域を設定する。図９は、係る原理を説明するための説明図である。図示する如く、画像上の車両に対するにおける適切な認識対象領域はV-1と表されている。当該車両は、自車両から遠ざかるに連れて画像における上方向の位置に移動し、画像における見かけ上の大きさが小さくなる。従って、当初の認識対象領域を小さく設定するのが適切である（図中、V-0の領域）。また、当該車両は、自車両に接近するに連れて画像における下方向の位置に移動し、画像における見かけ上の大きさが大きくなる。従って、当初の認識対象領域を大きく設定するのが適切である（図中、V-2の領域）。図中の歩行者についても同様のことがいえる（領域H-0，H-1，H-2）。
【００４６】
（２．一度認識対象物を捉えた後の処理）
認識対象物の画像における位置を認識した後は、所定の記憶装置に記憶しておき、記憶された位置を基準として認識対象領域を設定するものとしてもよい。こうすれば、上記の如く（Ａ）〜（Ｃ）の探索処理を省略することができ、処理負荷を軽減することができる。この場合、車速やヨーレート等の車両状態信号を入力可能な構成とし、車両の状態情報に基づいて認識対象領域を補正すると好適である。例えば、認識対象物が歩行者等、車両の移動速度に比して十分低い速度で移動する物体である場合は、自車両の車速と経過時間に応じて画像上の歩行者の位置変化を推定し、推定した位置変化に基づいて認識対象領域を異なる位置に設定する。また、ヨーレート、車速、及び経過時間に応じて、認識対象物の画像横方向の位置の変化を推定することができる。
【００４７】
（３．レーダー装置等、障害物検出用装置を有する場合）
自車両が、ミリ波レーダーやレーザーレーダー、ソナー、ステレオカメラ装置、通信装置（障害物が無線通信手段を有する場合）等、他の障害物検出用装置を搭載している場合は、障害物検出用装置により検出された位置に基づいて認識対象領域を設定することができる。この場合、障害物検出用装置が検出する２次元平面（上空から見た平面）上の位置と、画像上の位置の対応テーブルを備え、これを用いて認識対象領域を設定すると、好適である。
【００４８】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【産業上の利用可能性】
【００４９】
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明に係る二次元フィルター最適化方法を実行するための最適化装置１の構成を模式的に示す図である。
【図２】本発明により最適化された二次元フィルターを用いて認識する予定の認識対象物を撮像した画像、認識対象物の画像をＡ／Ｄ変換した後の画像データを示すイメージ図、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データ、及び当該画像データに対して生成されるスカラー値列を示す図である。
【図３】本発明により最適化された二次元フィルターを用いて認識しない、認識対象外の物体を撮像した画像、認識対象外の物体の画像をＡ／Ｄ変換した後の画像データ、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データ、及び当該画像データに対して生成されるスカラー値列を示す図である。
【図４】認識対象物と認識対象外の物体との差分画像、差分画像をＡ／Ｄ変換した後の画像データ、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データ、及び当該画像データに対して生成されるスカラー値列を示す図である。
【図５】差分画像を入力画像として評価値を目標値に近づける場合の、最適化実行に係るフローチャートである。
【図６】本発明の第２実施例に係る車両用画像認識装置２の構成例である。
【図７】間引きルール規定テーブルの一例を示す図である。
【図８】従来の処理方法によって入力ライン数を１／３倍に圧縮する様子と、本実施例の処理方法によって入力ライン数を１／３倍に圧縮する様子と、を対比した図である。
【図９】認識対象領域の設定原理を説明するための説明図である。
【符号の説明】
【００５１】
２ 車両用画像認識装置
１０ カメラデバイス
２０ Ａ／Ｄ変換機
３０ ラインメモリ
４０ 任意ライン出力選択部
５０ 二次元フィルター部
【技術分野】
【０００１】
本発明は、画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法、及び最適化された二次元フィルターを用いて認識対象物を認識可能な車両用画像認識装置に関する。
【背景技術】
【０００２】
従来、車両に搭載されたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラの撮像画像を解析して歩行者や先行車両、障害物等の存在を認識する装置について研究が進められている。係る装置において物体を認識する際に、その前段階としてフィルターを適用することがある。比較的一般的に知られているSOBELフィルターは、画像における所望の方向に関して輝度の変化が大きい部分を際だたせる効果を有している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、前述の如く車両側から認識しようとする物体は多岐に亘ることが多く、一般的に用いられているフィルターを適用するのが適切でない場合がある。
【０００４】
本発明はこのような課題を解決するためのものであり、認識対象物体に応じた最適な二次元フィルターを迅速に生成することが可能な二次元フィルター最適化方法、及び最適化された二次元フィルターを用いて認識対象物を適切に認識可能な車両用画像認識装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するための本発明の第１の態様は、
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）ライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法である。
【０００６】
この本発明の第１の態様によれば、認識対象物体に応じた最適な二次元フィルターを迅速に生成することができる。
【０００７】
本発明の第２の態様は、
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）時系列データとしてライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法である。
【０００８】
この本発明の第２の態様によれば、認識対象物体に応じた最適な二次元フィルターを迅速に生成することができる。
【０００９】
本発明の第１又は第２の態様において、
前記目標値は、前記スカラー値が取り得る最大値となることを特徴とするものとすると、好適である。
【００１０】
また、本発明の第１又は第２の態様において、
前記二次元画像データとして輝度又は色信号の反転画像を入力し、前記前記スカラー値が取り得る最小値となることを特徴とするものとしてもよい。
【００１１】
また、本発明の第１又は第２の態様において、
前記二次元画像データとして、認識対象物の画像と、認識対象外の物体の画像との差分画像を入力することを特徴とするものとしてもよい。
【００１２】
本発明の第３の態様は、
ライン入力される二次元画像データから認識対象物を認識する車両用画像認識装置であって、
前記入力ラインに対して所定の間引きルールに従って間引き処理を行ない、所定ライン数の入力ラインを抽出する入力ライン抽出手段と、
該入力ライン抽出手段により抽出された入力ラインに対して補間処理を行なって所定ライン数の入力ラインとする補間処理手段と、を備え、
該補間処理手段により補間処理が行なわれた所定ライン数の入力ラインに、該所定ライン数を入力ライン数とする二次元フィルターを適用して認識対象物を認識することを特徴とする、
車両用画像認識装置である。
【００１３】
本発明の第３の態様によれば、二次元フィルターを用いて認識対象物を適切に認識することができる。
【００１４】
本発明の第３の態様において、
前記所定の間引きルールを規定する間引きルール規定テーブルを備え、
前記入力ライン数変換手段は、該間引きルール規定テーブルを参照して前記入力ライン数の変換を行なう手段であるものとしてもよい。
【００１５】
また、本発明の第３の態様において、
前記入力ライン数変換手段により行なわれた間引き処理の程度によって認識対象物との距離を認識することを特徴とするものとしてもよい。
【００１６】
また、本発明の第３の態様において、
画像上の縦方向の位置に応じて変化するように認識対象領域を設定する認識対象領域設定手段を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とするものとしてもよい。
【００１７】
また、本発明の第３の態様において、
既に認識された認識対象物の画像における位置を記憶する記憶手段と、
該記憶手段に記憶された位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とするものとしてもよい。
【００１８】
また、本発明の第３の態様において、
障害物の位置を検出する障害物位置検出手段と、
該障害物位置検出手段により検出された障害物の位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とするものとしてもよい。
【００１９】
また、本発明の第３の態様において、
車両の状態情報を取得する状態情報取得手段を備え、
前記認識対象領域設定手段は、前記状態情報取得手段により取得された車両の状態情報に基づいて前記認識対象領域を補正することを特徴とするものとしてもよい。
【００２０】
なお、請求項９ないし１１のいずれか１項における認識対象領域設定手段は、同一の構成要素であってよい。
【発明の効果】
【００２１】
本発明によれば、認識対象物体に応じた最適な二次元フィルターを迅速に生成することが可能な二次元フィルター最適化方法、及び最適化された二次元フィルターを用いて認識対象物を適切に認識可能な車両用画像認識装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００２３】
＜第１実施例＞
以下、本発明の第１実施例に係る二次元フィルター最適化方法について説明する。図１は、本発明に係る二次元フィルター最適化方法を実行するための最適化装置１の構成を模式的に示す図である。最適化装置１は、ｍ本の入力ライン（主走査方向の複数の画素値を含む一次元データ）に対して以下に説明する処理を行なうことにより評価値を出力し、評価値を目標値に近づけるように係数を変化させることによって、二次元画像データの各画素値に乗算すべき係数を最適化することを可能としたものである。以下は、その構成例である。
【００２４】
［構成例］
最適化装置１は、各入力ラインIn_a-1、In_a-2、In_a-3、…、In_a-mに遅延処理（当回入力データだけでなく、前回、前々回入力データ等も反映させるための処理）を行なうための遅延素子Da-1、Db-1、Dc-1、…Da-m、Db-m、Dc-m、遅延素子によって遅延処理が行なわれた入力ラインに対して所定の係数ka-1、kb-1、kc-1、kd-1、…、ka-m、kb-m、kc-m、kd-mを乗じる第１乗算器群、第１乗算器群により所定の係数が乗算された入力ラインの各画素値を合算してスカラー値を生成する第１合算器群、第１合算器群により生成された各スカラー値に所定の係数を乗じる第２乗算器群、第２乗算器群により所定の係数が乗算された各スカラー値を合算する第２合算器を有する。なお、遅延処理を行なわないものとしても構わない。
【００２５】
図２（Ａ）は、本発明により最適化された二次元フィルターを用いて認識する予定の認識対象物（ここでは、他車両）を撮像した画像である。また、図２（Ｂ）は、認識対象物の画像をＡ／Ｄ変換した後の画像データ（例えば横方向の画素列が入力ラインとなる）を示すイメージ図である。図２（Ｃ）は、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データである。図２（Ｄ）は、当該画像データに対して生成されるスカラー値列を示すイメージ図である。このスカラー値列に計数乗算及び合算を行なった値が評価値となる。二次元フィルターの最適化は、係る認識対象物を撮像した画像を基準に行なってもよいが、以下に説明するように、認識対象物と認識対象外の物体との差分画像を基準にすると好適である。
【００２６】
図３（Ａ）は、本発明により最適化された二次元フィルターを用いて認識しない、認識対象外の物体（ここでは、道路区画線）を撮像した画像である。ここで、認識対象外の物体とは、撮像環境において当然に撮像範囲に入ってくる物体であって、画像認識の対象とならないものをいう。図３（Ｂ）は、認識対象外の物体の画像をＡ／Ｄ変換した後の画像データを示す。図３（Ｃ）は、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データである。そして、図３（Ｄ）は、当該画像データに対して生成されるスカラー値列を示す。このスカラー値列に計数乗算及び合算を行なった値が評価値となる。
【００２７】
図４（Ａ）は、認識対象物と、認識対象外の物体との差分画像である。図４（Ｂ）は、差分画像をＡ／Ｄ変換した後の画像データを示す。図４（Ｃ）は、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データである。そして、図４（Ｄ）は、当該画像データに対して生成されるスカラー値列を示す。このスカラー値列に計数乗算及び合算を行なった値が評価値となる。
【００２８】
図５は、差分画像を入力画像として評価値を目標値に近づける場合の、最適化実行に係るフローチャートである。
【００２９】
まず、最適化の対象となる画像を入力する（Ｓ１００）。
【００３０】
そして、上記各係数を所定の変動ルールに応じて変動させる（Ｓ１０２）。
【００３１】
各係数を変動させると、その結果として評価値が増大したか否かを判定する（Ｓ１０４）。
【００３２】
評価値が増大した場合は、評価値が目標値となったか否かを判定する（Ｓ１０６）。評価値が目標値となった場合は、最適化処理を終了する。一方、評価値が目標値とならなかった場合は、再度係数を変動させる（Ｓ１０２〜）。
【００３３】
また、評価値が減少した場合は、係数の変動方向を反転させ（Ｓ１０８）、再度Ｓ１０２以下の処理を実行する。
【００３４】
係る処理により、差分画像に対して感度の高い二次元フィルターが構築される。この事により、対象物に対して希望と非希望のデータが入力されたとき、二次元フィルター出力の値が大きく異なって出力できるようになる。従って、対象物の検出・認識がより精度良く実現できることになる。また、評価値を目標値に近づけるという処理目標を設定するため、認識対象物体に応じた最適な二次元フィルターを迅速に生成することができる。
【００３５】
なお、認識対象物を撮像した画像について同様の処理を行なってもよい。また、認識対象外の物体についての画像の反転画像（カラー画像の場合は、色信号の反転画像）について同様の処理を行なってもよい。
【００３６】
＜第２実施例＞
以下、本発明の第２実施例に係る車両用画像認識装置２について説明する。車両用画像認識装置２は、車両に搭載されたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラの撮像画像を、第１実施例の二次元フィルター最適化方法の如き手法により最適化された二次元フィルターに適用させるために、副走査方向に画像を圧縮することを特徴とするものである。なお、主操作方向の画像圧縮についても同様の原理を用いて行なうものとしてよい。
【００３７】
図６は、車両用画像認識装置２の構成例である。車両用画像認識装置２は、例えば、カメラデバイス１０と、Ａ／Ｄ変換機２０と、ラインメモリ３０と、任意ライン出力選択部４０と、二次元フィルター部５０と、を備える。
【００３８】
ラインメモリ３０には、Ａ／Ｄ変換機２０から、カメラデバイス１０の撮像画像データがライン入力の形式で入力される。ラインメモリ３０は、各ライン間の時間ずれを補正し、任意ライン出力選択部４０にデータを出力する。
【００３９】
任意ライン出力選択部４０は、ラインメモリ３０に入力された入力ラインに対して所定の間引きルールに従って間引き処理を行ない、所定ライン数の入力ラインを抽出する。ここで、所定の間引きルールは、例えば、フラッシュメモリ上に予め間引きルール規定テーブルとして規定されている。間引きルール規定テーブルは、入力ライン数をデータラベルとし、各入力ライン数に対して何番目のライン入力を残す（抽出する）のかを規定している。図７は、間引きルール規定テーブルの一例を示す図である。
【００４０】
そして、抽出された入力ラインに対して線形補間等の補間処理を行なって所定ライン数の入力ラインとする。
【００４１】
係る処理により、二次元フィルターに入力して画像解析を行なう入力ライン数を減少させることができるため、全ての入力ラインに対して画像解析を行なう場合に比して、装置の処理負荷を軽減することができる。なお、図８は、従来の処理方法によって入力ライン数を１／３倍に圧縮する様子と、本実施例の処理方法によって入力ライン数を１／３倍に圧縮する様子と、を対比した図である。
【００４２】
なお、間引き処理の程度によって認識対象物との距離を認識することができる。
【００４３】
［認識対象領域の設定］
また、カメラデバイス１０の撮像画像の全てを圧縮対象とするのは現実的でないため、画像においてまず認識対象領域を設定し、これについて圧縮処理、二次元フィルターの適用を行なうのが適切である。以下、これについて説明する。
【００４４】
（１．認識対象領域をずらしながら画像中の認識対象物体を探す場合）
まず、画像中における認識対象物の位置が全く不明である場合、例えば、（Ａ）左上端から順に（左→右、次に上→下と変化させて右下まで探索する）認識対象領域を設定し、（Ｂ）認識対象領域内の画像を圧縮して二次元フィルターに入力する。そして（Ｃ）二次元フィルターの出力を参照して認識対象物であるか否かを判定する。上記（Ｃ）において認識対象物でないと判定した場合、設定位置を変えて、再度（Ａ）〜（Ｃ）の処理を実行する。
【００４５】
この際に、（Ａ）の認識対象領域の設定は、縦方向の位置に応じて変化するように設定すると好適である。より具体的には、画像の上方向（撮像空間における奥行き方向）に行くに従って小さくなるように認識対象領域を設定する。図９は、係る原理を説明するための説明図である。図示する如く、画像上の車両に対するにおける適切な認識対象領域はV-1と表されている。当該車両は、自車両から遠ざかるに連れて画像における上方向の位置に移動し、画像における見かけ上の大きさが小さくなる。従って、当初の認識対象領域を小さく設定するのが適切である（図中、V-0の領域）。また、当該車両は、自車両に接近するに連れて画像における下方向の位置に移動し、画像における見かけ上の大きさが大きくなる。従って、当初の認識対象領域を大きく設定するのが適切である（図中、V-2の領域）。図中の歩行者についても同様のことがいえる（領域H-0，H-1，H-2）。
【００４６】
（２．一度認識対象物を捉えた後の処理）
認識対象物の画像における位置を認識した後は、所定の記憶装置に記憶しておき、記憶された位置を基準として認識対象領域を設定するものとしてもよい。こうすれば、上記の如く（Ａ）〜（Ｃ）の探索処理を省略することができ、処理負荷を軽減することができる。この場合、車速やヨーレート等の車両状態信号を入力可能な構成とし、車両の状態情報に基づいて認識対象領域を補正すると好適である。例えば、認識対象物が歩行者等、車両の移動速度に比して十分低い速度で移動する物体である場合は、自車両の車速と経過時間に応じて画像上の歩行者の位置変化を推定し、推定した位置変化に基づいて認識対象領域を異なる位置に設定する。また、ヨーレート、車速、及び経過時間に応じて、認識対象物の画像横方向の位置の変化を推定することができる。
【００４７】
（３．レーダー装置等、障害物検出用装置を有する場合）
自車両が、ミリ波レーダーやレーザーレーダー、ソナー、ステレオカメラ装置、通信装置（障害物が無線通信手段を有する場合）等、他の障害物検出用装置を搭載している場合は、障害物検出用装置により検出された位置に基づいて認識対象領域を設定することができる。この場合、障害物検出用装置が検出する２次元平面（上空から見た平面）上の位置と、画像上の位置の対応テーブルを備え、これを用いて認識対象領域を設定すると、好適である。
【００４８】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【産業上の利用可能性】
【００４９】
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明に係る二次元フィルター最適化方法を実行するための最適化装置１の構成を模式的に示す図である。
【図２】本発明により最適化された二次元フィルターを用いて認識する予定の認識対象物を撮像した画像、認識対象物の画像をＡ／Ｄ変換した後の画像データを示すイメージ図、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データ、及び当該画像データに対して生成されるスカラー値列を示す図である。
【図３】本発明により最適化された二次元フィルターを用いて認識しない、認識対象外の物体を撮像した画像、認識対象外の物体の画像をＡ／Ｄ変換した後の画像データ、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データ、及び当該画像データに対して生成されるスカラー値列を示す図である。
【図４】認識対象物と認識対象外の物体との差分画像、差分画像をＡ／Ｄ変換した後の画像データ、当該画像データに対して遅延処理及び計数乗算を行なった後の画像データ、及び当該画像データに対して生成されるスカラー値列を示す図である。
【図５】差分画像を入力画像として評価値を目標値に近づける場合の、最適化実行に係るフローチャートである。
【図６】本発明の第２実施例に係る車両用画像認識装置２の構成例である。
【図７】間引きルール規定テーブルの一例を示す図である。
【図８】従来の処理方法によって入力ライン数を１／３倍に圧縮する様子と、本実施例の処理方法によって入力ライン数を１／３倍に圧縮する様子と、を対比した図である。
【図９】認識対象領域の設定原理を説明するための説明図である。
【符号の説明】
【００５１】
２ 車両用画像認識装置
１０ カメラデバイス
２０ Ａ／Ｄ変換機
３０ ラインメモリ
４０ 任意ライン出力選択部
５０ 二次元フィルター部
【特許請求の範囲】
【請求項１】
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）ライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法。
【請求項２】
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）時系列データとしてライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法。
【請求項３】
前記目標値は、前記スカラー値が取り得る最大値となることを特徴とする、
請求項１又は２に記載の二次元フィルター最適化方法。
【請求項４】
前記二次元画像データとして輝度又は色信号の反転画像を入力し、前記前記スカラー値が取り得る最小値となることを特徴とする、
請求項１又は２に記載の二次元フィルター最適化方法。
【請求項５】
前記二次元画像データとして、認識対象物の画像と、認識対象外の物体の画像との差分画像を入力することを特徴とする、請求項１ないし４のいずれか１項に記載の二次元フィルター最適化方法。
【請求項６】
ライン入力される二次元画像データから認識対象物を認識する車両用画像認識装置であって、
前記入力ラインに対して所定の間引きルールに従って間引き処理を行ない、所定ライン数の入力ラインを抽出する入力ライン抽出手段と、
該入力ライン抽出手段により抽出された入力ラインに対して補間処理を行なって所定ライン数の入力ラインとする補間処理手段と、を備え、
該補間処理手段により補間処理が行なわれた所定ライン数の入力ラインに、該所定ライン数を入力ライン数とする二次元フィルターを適用して認識対象物を認識することを特徴とする、
車両用画像認識装置。
【請求項７】
前記所定の間引きルールを規定する間引きルール規定テーブルを備え、
前記入力ライン数変換手段は、該間引きルール規定テーブルを参照して前記入力ライン数の変換を行なう手段である、
請求項６に記載の車両用画像認識装置。
【請求項８】
前記入力ライン数変換手段により行なわれた間引き処理の程度によって認識対象物との距離を認識することを特徴とする、請求項６又は７に記載の車両用画像認識装置。
【請求項９】
画像上の縦方向の位置に応じて変化するように認識対象領域を設定する認識対象領域設定手段を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とする、
請求項６ないし８のいずれか１項に記載の車両用画像認識装置。
【請求項１０】
既に認識された認識対象物の画像における位置を記憶する記憶手段と、
該記憶手段に記憶された位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とする、
請求項６ないし９のいずれか１項に記載の車両用画像認識装置。
【請求項１１】
障害物の位置を検出する障害物位置検出手段と、
該障害物位置検出手段により検出された障害物の位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とする、
請求項６ないし１０のいずれか１項に記載の車両用画像認識装置。
【請求項１２】
車両の状態情報を取得する状態情報取得手段を備え、
前記認識対象領域設定手段は、前記状態情報取得手段により取得された車両の状態情報に基づいて前記認識対象領域を補正することを特徴とする、
請求項９ないし１１のいずれか１項に記載の車両用画像認識装置。
【請求項１】
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）ライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法。
【請求項２】
画像認識装置の二次元フィルターを最適化する二次元フィルター最適化方法であって、
（１）時系列データとしてライン入力された二次元画像データの各画素値にそれぞれ異なる所定の係数を乗算する第１のステップと、
（２）前記第１のステップにおいて所定の係数が乗算された各入力ラインに含まれる各画素値を合算して一次元画像データを生成する第２のステップと、
（３）前記生成された一次元画像データの各要素値に対してそれぞれ異なる所定の係数を乗じてスカラー値を求める第３のステップと、を有し、
前記スカラー値が目標値に近づくように所定の係数を変化させながら前記第１のステップから前記第３のステップまでを繰り返し実行することを特徴とする、
二次元フィルター最適化方法。
【請求項３】
前記目標値は、前記スカラー値が取り得る最大値となることを特徴とする、
請求項１又は２に記載の二次元フィルター最適化方法。
【請求項４】
前記二次元画像データとして輝度又は色信号の反転画像を入力し、前記前記スカラー値が取り得る最小値となることを特徴とする、
請求項１又は２に記載の二次元フィルター最適化方法。
【請求項５】
前記二次元画像データとして、認識対象物の画像と、認識対象外の物体の画像との差分画像を入力することを特徴とする、請求項１ないし４のいずれか１項に記載の二次元フィルター最適化方法。
【請求項６】
ライン入力される二次元画像データから認識対象物を認識する車両用画像認識装置であって、
前記入力ラインに対して所定の間引きルールに従って間引き処理を行ない、所定ライン数の入力ラインを抽出する入力ライン抽出手段と、
該入力ライン抽出手段により抽出された入力ラインに対して補間処理を行なって所定ライン数の入力ラインとする補間処理手段と、を備え、
該補間処理手段により補間処理が行なわれた所定ライン数の入力ラインに、該所定ライン数を入力ライン数とする二次元フィルターを適用して認識対象物を認識することを特徴とする、
車両用画像認識装置。
【請求項７】
前記所定の間引きルールを規定する間引きルール規定テーブルを備え、
前記入力ライン数変換手段は、該間引きルール規定テーブルを参照して前記入力ライン数の変換を行なう手段である、
請求項６に記載の車両用画像認識装置。
【請求項８】
前記入力ライン数変換手段により行なわれた間引き処理の程度によって認識対象物との距離を認識することを特徴とする、請求項６又は７に記載の車両用画像認識装置。
【請求項９】
画像上の縦方向の位置に応じて変化するように認識対象領域を設定する認識対象領域設定手段を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とする、
請求項６ないし８のいずれか１項に記載の車両用画像認識装置。
【請求項１０】
既に認識された認識対象物の画像における位置を記憶する記憶手段と、
該記憶手段に記憶された位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とする、
請求項６ないし９のいずれか１項に記載の車両用画像認識装置。
【請求項１１】
障害物の位置を検出する障害物位置検出手段と、
該障害物位置検出手段により検出された障害物の位置を基準として認識対象領域を設定する認識対象領域設定手段と、を備え、
該認識対象領域設定手段により設定された認識対象領域内の二次元画像データを入力データとすることを特徴とする、
請求項６ないし１０のいずれか１項に記載の車両用画像認識装置。
【請求項１２】
車両の状態情報を取得する状態情報取得手段を備え、
前記認識対象領域設定手段は、前記状態情報取得手段により取得された車両の状態情報に基づいて前記認識対象領域を補正することを特徴とする、
請求項９ないし１１のいずれか１項に記載の車両用画像認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−１５７７６９（Ｐ２００９−１５７７６９Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３６９８２（Ｐ２００７−３３６９８２）
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]