車両周辺監視装置
【課題】本発明は、画像認識における誤検出、あるいは、不検出の発生時、発生要因のデータを学習し、誤検出や不検出を繰り返さず、認識精度を向上することができる車両周辺監視装置を提供する。
【解決手段】撮影手段１で入力された画像に対して、対象物検出処理部３によって検出された対象物について、誤検出、あるいは、不検出の場合、ユーザ入力手段６により出力手段７上で該当領域を指定する。画像認識ＤＢ修正部４は、誤検出領域の辞書データを修正し、修正したデータを画像認識ＤＢ５の辞書データに格納する。
【解決手段】撮影手段１で入力された画像に対して、対象物検出処理部３によって検出された対象物について、誤検出、あるいは、不検出の場合、ユーザ入力手段６により出力手段７上で該当領域を指定する。画像認識ＤＢ修正部４は、誤検出領域の辞書データを修正し、修正したデータを画像認識ＤＢ５の辞書データに格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにより自車の周囲に存在する人やその他障害物を検出し、同じ対象物体に対して誤検出、あるいは、不検出の繰り返しを防ぐ車両周囲監視装置に関するものである。
【背景技術】
【０００２】
車両の走行中に人との衝突を回避するため、従来よりカメラを車両に設置し、画像認識により自車両周辺の人を認識する装置が開発されている。例えば、パターンマッチングを用いたものがある。この方法では、事前に人の様々な特徴をデータベースとして用意しておく。人の検出処理は、撮影画像から探索窓で切り出される入力画像の領域について、データベースに蓄積された画像と似たような領域であれば、その領域に人がいる、そうでなければ人はいない、という考え方で、人の有無を判断する方法が開示されている。（特許文献１参照）。
【０００３】
また、レーダーを用いて検出された物体と、その物体についてカメラによって得られる画像の情報を併せて人を検出し、人か人以外の物体を判別する方法が開示されている。（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０７０３４４号公報
【特許文献２】特開２００５−１５７７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、人の認識の精度を上げる方法はできるだけ多種類の人の画像データを集めることであるが、この方法の場合、データベースが膨大な大きさになり、コストが高くなる、処理量が多くなるなどの課題が発生することからデータベースへのデータ登録は有限となる。
【０００６】
このように登録可能なデータ量が有限であるデータベースに対して、あらゆる背景（構造物や路面のテクスチャ、フェンスや木々や標識など）と人物を区別することは、困難であり、実際には人で無い領域を人として誤検出する場合や、背景に溶け込んだ人物を検出できず不検出になる場合がある。
【０００７】
また、特許文献２は、カメラとレーダーのような複数のセンシングデバイスを用いて、より確実に人を検出する方法であるが、カメラで誤検出があるように、レーダーによる検出結果を併用しても誤検出をなくすことはできない。例えば、木の形が人に見えてしまう場合は、レーダーでも検知されるし、カメラでも人として検知する。さらに、センシングデバイスが複数になりコストが高くなるという課題がある。
【０００８】
また、このような誤検出は、センシング結果に対して、パターンの一致性を一定の閾値処理で行うので、一度誤検出したパターンを繰り返し誤検出するという課題があった。
【０００９】
本発明は、従来の問題を解決するためになされたもので、誤検出、もしくは不検出となった対象領域に対して、ユーザが画面上で対象領域を指定し、画像データベースを修正して登録し、誤検出や不検出を繰り返さないように検出精度を向上することができる車両周
辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、ユーザが出力手段を見て、誤検出、あるいは、不検出と判断した場合に、誤検出領域、あるいは、不検出領域を入力する入力手段と、この入力手段が入力した誤検出領域、あるいは、不検出領域の画像認識データベースの辞書データを修正する画像認識データベース修正部とを備え、前記画像認識データベース修正部が修正した辞書データを前記画像認識データベースに格納することを特徴とする。
【発明の効果】
【００１１】
本発明の車両周辺監視装置は、対象物検出処理部の出力結果が誤検出、あるいは、不検出の場合に、入力手段が誤検出領域、あるいは、不検出領域を入力し、画像認識データベース修正部は、入力手段が入力した誤検出領域、あるいは、不検出領域の画像認識データベースの辞書データを修正し、画像認識データベースへ格納することにより、同じ対象物体に対して誤検出、あるいは、不検出の繰り返しを防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態における車両周辺監視装置の構成を示すブロック図
【図２】同装置において、カメラの取付例を示す図
【図３】同装置において、カメラで撮像した画像を示す図
【図４】同装置において、人検出の検出結果を示す図
【図５】同装置において、人検出の誤検出結果を示す図
【図６】同装置において、動作説明のフロー図
【図７】同装置において、人検出の概要を示す図
【図８】同装置において、誤検出領域の指定方法を示す図
【図９】同装置において、辞書データを示す図
【図１０】同装置において、誤検出時の辞書データの修正例を示す図
【図１１】同装置において、不検出領域の指定方法を示す図
【図１２】同装置において、不検出時の辞書データの修正例を示す図
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態の車両周辺監視装置について、図面を用いて説明する。
【００１４】
図１は、本発明の一実施の形態における車両周辺監視装置の構成を示すブロック図である。
【００１５】
本実施の形態では、検出対象物を人と想定した例を以下に説明する。
【００１６】
撮像手段１は、車両の周囲の状況を撮像する。撮像手段１は、デバイスとしてＣＣＤカメラやＣＭＯＳカメラがあり、車両後部のナンバープレートやエンブレム付近、または最上部に設置され自車の後方を撮像するリアカメラや、サイドミラーに設置され自車の側方を撮像するサイドカメラ、あるいは、車両前方のエンブレム付近や、フロントウィンドウの内側のルームミラーの後方から車両前方を撮像するフロントカメラがある。
【００１７】
信号処理手段２は、対象物検出処理部３、画像認識ＤＢ（データベース）修正部４から構成される。
【００１８】
対象物検出処理部３は、画像認識ＤＢ（データベース）５に登録されている人をあらわす特徴量を参照し、撮像手段１で撮像された画像データの中で、人の特徴量に近い領域があればその部分を人の領域として検出する。
【００１９】
画像認識ＤＢ修正部４は、ユーザ入力手段６から指定された画像領域について、その画像の特徴量を抽出し、画像認識ＤＢ５の内容を更新する。
【００２０】
画像認識ＤＢ５は、多種類の人画像データからその特徴量を抽出し、データベース化した辞書データである。
【００２１】
ユーザ入力手段６は、対象物検出処理部３で検出され、出力手段７に出力された結果について、人以外の物体を人物として抽出された誤検出の場合や、あるいは人の特異な姿勢が背景と融合し、人物として検出できなかった不検出の場合に、画像認識ＤＢ５を更新するデータ取得のために、ユーザが画面上の誤検出／不検出領域を指定する。
【００２２】
出力手段７は、撮像手段１から入力された画像データに、対象物検出処理部３で検出された結果を重畳して表示するもので、デバイスとしては、例えばナビゲーションのモニタやインパネ内のモニタ、ルームミラー内に内蔵されたモニタなどである。
【００２３】
以上のように構成された車両周辺監視装置で、正しく人を検出する場合（図４）と、誤検出の場合（図５）を、以下に説明する。
【００２４】
まず最初に、車両へ撮像手段の設置位置を説明する。図２において、撮像手段は路面から高さｈ２０、俯角θ２１に取り付けている。このように取り付けられた撮像手段により撮像された画像を図３に示す。このような画像を映す撮像手段に、人物の検出機能を付加すると、出力手段には図４、図５に示すような画像が表示される。図４のRect1やRect2では、検出した人物obj1,obj2の存在領域が正しく表示されている。しかしながら、図５に示すように、検出すべき人物以外の物体が人物の特徴量と類似している場合に、誤って人と認識する場合がある。図５では、標識と木の枝等が重なった（obj3）領域を、人物として誤検出し、表示している。
【００２５】
次に、本実施の形態の車両周辺監視装置について、以下でその動作を説明する。
【００２６】
図６は、本実施の形態の車両周辺監視装置における信号処理のフロー図を示す。
【００２７】
本信号処理の開始時には、まず、ステップＳ６０で、信号処理手段２は画像認識ＤＢ５から辞書データ（本実施の形態では人の特徴量が記録されたデータ）を読み込み、対象物検出処理部３に保存する。辞書データは、例えば、書き換え可能なＦｌａｓｈＲＯＭ等に格納されており、そこから対象物検出処理部３でロードされるものとする。辞書データは、例えば頭部の形、肩の形、腕の形など人物の特徴量をあらわすデータの集まりで、入力された画像の特徴量と比較して、類似している領域が任意の閾値以上あれば、人物として検出することに用いられるデータである。
【００２８】
次にステップＳ６１で、信号処理手段２は、撮像手段１から新たな画像データを読み込み対象物検出処理部３に保存する。
【００２９】
ステップＳ６２では、信号処理手段２の対象物検出処理部３が、ステップＳ６１で読み込んだ画像データと、ステップＳ６０で読み込んだ辞書データを用いて人物の検出を行う。
人物の検出は、図７に示すように読み込まれた画像データに対して、人物領域か否かを判断するための探索窓Ｒ１を設定し、対象物検出処理部３は、画像データ内で探索窓Ｒ１を走査する。対象物検出処理部２３は、走査した探索窓Ｒ１領域の画像データについて、画像認識ＤＢ５の辞書データにある人物を現す特徴量と比較して、一定以上の相関性があれ
ばその領域（図７の例ではＰ１）を人物領域として検出する。（パターンマッチング方式）。
【００３０】
ステップＳ６３では、ステップＳ６２における対象物検出処理部３の人物の検出結果が、出力手段７へ出力される。
【００３１】
例えば図４に示すように、撮像手段１が撮影した画像データに、人物領域を現す矩形Rect1、Rect2を重畳したものが出力結果となる。
【００３２】
ステップＳ６４では、ステップＳ６３で出力された検出結果について、ユーザーが人物の誤検出もしくは不検出を発見した場合、検出結果を修正する（修正モード）か否かを判断する。修正モードは、画面上に設定された修正キーを押すことにより選択される。修正モードが選択された場合は、ステップＳ６５に進み、選択されなかった場合は、ステップＳ６１に戻る。
【００３３】
ステップＳ６５では、ステップＳ６４で修正モードが選択された場合、誤検出を修正するのか、不検出を修正するのかを選択する。
【００３４】
誤検出が選択された場合はステップＳ６６へ、不検出が選択された場合はステップＳ６８へ進む。
【００３５】
ステップＳ６６では、ステップＳ６５で誤検出の修正モードが選択された場合、ユーザ入力手段６によりその修正対象領域が指定される。領域の指定は、図８(ｂ)に示すように、出力結果に誤検出された領域しかない場合には、改めて領域を指定する必要はなく、画面内に設定された誤認識登録キーを押下することにより設定する。また図８（ｃ）に示すように抽出された領域ｄ１をタッチパネルで直接その位置を指定したり、あるいは図８（ｄ）に示すように領域を示すＩＤ（図中ｄ１〜ｄ３）をリモコン等のテンキーを使用して指定する方法、あるいは、画面内の認識領域がリモコン等のキーで順に選択領域を変更し、該当領域を選択するなどの方法がある。
【００３６】
ステップＳ６７では、ステップＳ６６で領域指定された誤検出領域について、特徴量を抽出し、画像認識ＤＢ５の辞書データに誤検出情報（本実施の形態では人物でない）が追加される。特徴量とは前述の通り、例えばエッジの輝度勾配情報の組合せや、輪郭（形状）情報の集合体であり、辞書データの追加としては、例えば、誤検出の元になった特徴量データに対して、指定された領域の特徴量の差分を非検出用追加情報として更新する。
【００３７】
図９に、画像認識ＤＢ５の辞書データの例を示す。本実施の形態では、例えば人物の抽出を例に挙げているが、人物といっても、様々な向き（正面、横向き、斜めなど）や姿勢（直立、歩行、かがみ、座りなど）、持ち物（傘、かばんなど）が多種多様となるので、これらの特徴量を数値化した複数のデータの集まりで構成されている。
【００３８】
図１０（ａ）〜（ｄ）に、誤検出領域の特徴量が画像認識ＤＢ５の辞書データに追加されるまでの概念を示す。図１０（ａ）は、人物以外の物を誤って人物であると判断した辞書データであるとする。一方、図１０（ｂ）は図１０（ａ）の辞書データから人物と誤って検出された領域の特徴量を示したものである。図１０（ｄ）は、図１０(a)の元の辞書データと誤検出した領域の特徴量との差分である非検出判断用の特徴量が登録されている。図１０（ｃ）は元の辞書データに対して、追加データのアドレス（１００番地）が追記されたものであり、図１０（ｄ）の追加特徴量データと併せて画像認識ＤＢ５の辞書データ上で図１０（ａ）の元の辞書データが更新されたものである。
【００３９】
このように辞書データの追加／修正により、画像認識ＤＢ５の辞書データを更新することにより、同じ誤検出領域に対して、図１０（ｃ）の辞書データが参照された時に、追加データ（アドレス１００）にある図１０（ｄ）の追加特徴量を参照し、図１０（ｄ）の非検出用の特徴量と比較し相関性が高ければ人物でない、あるいは相関性が低ければ人物であるというように、より詳細に人物であるか否かの判断ができる。
【００４０】
ステップＳ６８では、ステップＳ６５で不検出の修正モードが選択された場合、ユーザ入力手段６によりその修正対象領域が指定される。
【００４１】
領域の指定は例えば図１１に示すようにユーザが画面上に矩形領域（Ｐ１〜Ｐ２）をリモコンもしくはタッチパネルを通じて指定する方法が考えられる。
【００４２】
ステップＳ６９ではステップＳ６８で領域指定された不検出領域について、画像認識ＤＢ修正部４は特徴量を抽出し、画像認識ＤＢ５の辞書データに不検出情報（本実施の形態では人物である）が追加される。
【００４３】
画像認識ＤＢ５の辞書データの更新としては、例えば、画像認識ＤＢ５の中で一番相関の高い辞書データ（相関性が閾値を越えないため、人物として認識されず不検出となったデータ）について、指定された領域の特徴量との差分の特徴量を検出用追加情報として付加して更新する。
【００４４】
図１２（ａ）〜（ｄ）に不検出領域の特徴量が辞書データに追加されるまでの概念を示す。図１２（ａ）は、不検出となった対象領域の特徴量と一番相関性が高い辞書データであるとする。一方、図１２（ｂ）は不検出となった対象領域の特徴量を示したものである。図１２（ｄ）は図１２(a)の元の辞書データと不検出となった領域の特徴量との差分である検出判断用の特徴量が登録されている。図１２（ｃ）は元の辞書データに対して、追加データのアドレス（２００番地）が追記されたものであり、図１２（ｄ）の追加特徴量データと併せて画像認識ＤＢ５の辞書データ上で図１２（ａ）の元の辞書データが更新されたものである。
【００４５】
このように、辞書データの追加／修正により画像認識ＤＢ５を更新することにより、同じ不検出領域に対して、図１２（ｃ）の辞書データが参照された時に、追加データ（アドレス２００）にある図１２（ｄ）の追加特徴量を参照し、図１２（ｄ）の検出用の特徴量と比較し相関性が高ければ人物である、あるいは相関性が低ければ人物でないというように、より詳細に人物であるか否かの判断を行う。
【００４６】
このような本実施の形態の車両周辺監視装置によれば、ユーザ入力手段６により誤検出／不検出した領域を指定し、画像認識ＤＢ５の人物認識用の辞書データに要因となる特徴量を容易に追加できるので、次回以降の動作において、同様な対象物の誤検出／不検出の繰り返しをなくすことができる。
【００４７】
なお、本実施の形態では、人物を検出する例をあげたが、他の対象物（軽車両、車両、標識、信号機）についても、個別に画像認識ＤＢの辞書データを用意することにより同様の効果が得られる。
【００４８】
なお、本実施の形態では、辞書の特徴量として、輝度勾配や輪郭特徴を例としてあげたが色情報などを付加することにより、さらに誤検出／不検出の低減効果を得る構成にしてもよい。
【産業上の利用可能性】
【００４９】
以上のように、本発明は、対象物検出処理部の出力結果が誤検出、あるいは、不検出の場合に、入力手段が誤検出領域、あるいは、不検出領域を入力し、画像認識データベース修正部は、入力手段が入力した誤検出領域、あるいは、不検出領域の画像データベースの辞書データを修正し、画像認識データベースへ格納することにより、同じ対象物体に対して誤検出、あるいは、不検出の繰り返しを防ぐことができる車両周辺監視装置として有用である。
【符号の説明】
【００５０】
１ 撮像手段
３ 対象物検出処理部
４ 画像認識ＤＢ修正部
５ 画像認識ＤＢ
６ ユーザ入力手段
７ 出力手段
【技術分野】
【０００１】
本発明は、車載カメラにより自車の周囲に存在する人やその他障害物を検出し、同じ対象物体に対して誤検出、あるいは、不検出の繰り返しを防ぐ車両周囲監視装置に関するものである。
【背景技術】
【０００２】
車両の走行中に人との衝突を回避するため、従来よりカメラを車両に設置し、画像認識により自車両周辺の人を認識する装置が開発されている。例えば、パターンマッチングを用いたものがある。この方法では、事前に人の様々な特徴をデータベースとして用意しておく。人の検出処理は、撮影画像から探索窓で切り出される入力画像の領域について、データベースに蓄積された画像と似たような領域であれば、その領域に人がいる、そうでなければ人はいない、という考え方で、人の有無を判断する方法が開示されている。（特許文献１参照）。
【０００３】
また、レーダーを用いて検出された物体と、その物体についてカメラによって得られる画像の情報を併せて人を検出し、人か人以外の物体を判別する方法が開示されている。（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０７０３４４号公報
【特許文献２】特開２００５−１５７７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、人の認識の精度を上げる方法はできるだけ多種類の人の画像データを集めることであるが、この方法の場合、データベースが膨大な大きさになり、コストが高くなる、処理量が多くなるなどの課題が発生することからデータベースへのデータ登録は有限となる。
【０００６】
このように登録可能なデータ量が有限であるデータベースに対して、あらゆる背景（構造物や路面のテクスチャ、フェンスや木々や標識など）と人物を区別することは、困難であり、実際には人で無い領域を人として誤検出する場合や、背景に溶け込んだ人物を検出できず不検出になる場合がある。
【０００７】
また、特許文献２は、カメラとレーダーのような複数のセンシングデバイスを用いて、より確実に人を検出する方法であるが、カメラで誤検出があるように、レーダーによる検出結果を併用しても誤検出をなくすことはできない。例えば、木の形が人に見えてしまう場合は、レーダーでも検知されるし、カメラでも人として検知する。さらに、センシングデバイスが複数になりコストが高くなるという課題がある。
【０００８】
また、このような誤検出は、センシング結果に対して、パターンの一致性を一定の閾値処理で行うので、一度誤検出したパターンを繰り返し誤検出するという課題があった。
【０００９】
本発明は、従来の問題を解決するためになされたもので、誤検出、もしくは不検出となった対象領域に対して、ユーザが画面上で対象領域を指定し、画像データベースを修正して登録し、誤検出や不検出を繰り返さないように検出精度を向上することができる車両周
辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、ユーザが出力手段を見て、誤検出、あるいは、不検出と判断した場合に、誤検出領域、あるいは、不検出領域を入力する入力手段と、この入力手段が入力した誤検出領域、あるいは、不検出領域の画像認識データベースの辞書データを修正する画像認識データベース修正部とを備え、前記画像認識データベース修正部が修正した辞書データを前記画像認識データベースに格納することを特徴とする。
【発明の効果】
【００１１】
本発明の車両周辺監視装置は、対象物検出処理部の出力結果が誤検出、あるいは、不検出の場合に、入力手段が誤検出領域、あるいは、不検出領域を入力し、画像認識データベース修正部は、入力手段が入力した誤検出領域、あるいは、不検出領域の画像認識データベースの辞書データを修正し、画像認識データベースへ格納することにより、同じ対象物体に対して誤検出、あるいは、不検出の繰り返しを防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態における車両周辺監視装置の構成を示すブロック図
【図２】同装置において、カメラの取付例を示す図
【図３】同装置において、カメラで撮像した画像を示す図
【図４】同装置において、人検出の検出結果を示す図
【図５】同装置において、人検出の誤検出結果を示す図
【図６】同装置において、動作説明のフロー図
【図７】同装置において、人検出の概要を示す図
【図８】同装置において、誤検出領域の指定方法を示す図
【図９】同装置において、辞書データを示す図
【図１０】同装置において、誤検出時の辞書データの修正例を示す図
【図１１】同装置において、不検出領域の指定方法を示す図
【図１２】同装置において、不検出時の辞書データの修正例を示す図
【発明を実施するための形態】
【００１３】
以下、本発明の一実施の形態の車両周辺監視装置について、図面を用いて説明する。
【００１４】
図１は、本発明の一実施の形態における車両周辺監視装置の構成を示すブロック図である。
【００１５】
本実施の形態では、検出対象物を人と想定した例を以下に説明する。
【００１６】
撮像手段１は、車両の周囲の状況を撮像する。撮像手段１は、デバイスとしてＣＣＤカメラやＣＭＯＳカメラがあり、車両後部のナンバープレートやエンブレム付近、または最上部に設置され自車の後方を撮像するリアカメラや、サイドミラーに設置され自車の側方を撮像するサイドカメラ、あるいは、車両前方のエンブレム付近や、フロントウィンドウの内側のルームミラーの後方から車両前方を撮像するフロントカメラがある。
【００１７】
信号処理手段２は、対象物検出処理部３、画像認識ＤＢ（データベース）修正部４から構成される。
【００１８】
対象物検出処理部３は、画像認識ＤＢ（データベース）５に登録されている人をあらわす特徴量を参照し、撮像手段１で撮像された画像データの中で、人の特徴量に近い領域があればその部分を人の領域として検出する。
【００１９】
画像認識ＤＢ修正部４は、ユーザ入力手段６から指定された画像領域について、その画像の特徴量を抽出し、画像認識ＤＢ５の内容を更新する。
【００２０】
画像認識ＤＢ５は、多種類の人画像データからその特徴量を抽出し、データベース化した辞書データである。
【００２１】
ユーザ入力手段６は、対象物検出処理部３で検出され、出力手段７に出力された結果について、人以外の物体を人物として抽出された誤検出の場合や、あるいは人の特異な姿勢が背景と融合し、人物として検出できなかった不検出の場合に、画像認識ＤＢ５を更新するデータ取得のために、ユーザが画面上の誤検出／不検出領域を指定する。
【００２２】
出力手段７は、撮像手段１から入力された画像データに、対象物検出処理部３で検出された結果を重畳して表示するもので、デバイスとしては、例えばナビゲーションのモニタやインパネ内のモニタ、ルームミラー内に内蔵されたモニタなどである。
【００２３】
以上のように構成された車両周辺監視装置で、正しく人を検出する場合（図４）と、誤検出の場合（図５）を、以下に説明する。
【００２４】
まず最初に、車両へ撮像手段の設置位置を説明する。図２において、撮像手段は路面から高さｈ２０、俯角θ２１に取り付けている。このように取り付けられた撮像手段により撮像された画像を図３に示す。このような画像を映す撮像手段に、人物の検出機能を付加すると、出力手段には図４、図５に示すような画像が表示される。図４のRect1やRect2では、検出した人物obj1,obj2の存在領域が正しく表示されている。しかしながら、図５に示すように、検出すべき人物以外の物体が人物の特徴量と類似している場合に、誤って人と認識する場合がある。図５では、標識と木の枝等が重なった（obj3）領域を、人物として誤検出し、表示している。
【００２５】
次に、本実施の形態の車両周辺監視装置について、以下でその動作を説明する。
【００２６】
図６は、本実施の形態の車両周辺監視装置における信号処理のフロー図を示す。
【００２７】
本信号処理の開始時には、まず、ステップＳ６０で、信号処理手段２は画像認識ＤＢ５から辞書データ（本実施の形態では人の特徴量が記録されたデータ）を読み込み、対象物検出処理部３に保存する。辞書データは、例えば、書き換え可能なＦｌａｓｈＲＯＭ等に格納されており、そこから対象物検出処理部３でロードされるものとする。辞書データは、例えば頭部の形、肩の形、腕の形など人物の特徴量をあらわすデータの集まりで、入力された画像の特徴量と比較して、類似している領域が任意の閾値以上あれば、人物として検出することに用いられるデータである。
【００２８】
次にステップＳ６１で、信号処理手段２は、撮像手段１から新たな画像データを読み込み対象物検出処理部３に保存する。
【００２９】
ステップＳ６２では、信号処理手段２の対象物検出処理部３が、ステップＳ６１で読み込んだ画像データと、ステップＳ６０で読み込んだ辞書データを用いて人物の検出を行う。
人物の検出は、図７に示すように読み込まれた画像データに対して、人物領域か否かを判断するための探索窓Ｒ１を設定し、対象物検出処理部３は、画像データ内で探索窓Ｒ１を走査する。対象物検出処理部２３は、走査した探索窓Ｒ１領域の画像データについて、画像認識ＤＢ５の辞書データにある人物を現す特徴量と比較して、一定以上の相関性があれ
ばその領域（図７の例ではＰ１）を人物領域として検出する。（パターンマッチング方式）。
【００３０】
ステップＳ６３では、ステップＳ６２における対象物検出処理部３の人物の検出結果が、出力手段７へ出力される。
【００３１】
例えば図４に示すように、撮像手段１が撮影した画像データに、人物領域を現す矩形Rect1、Rect2を重畳したものが出力結果となる。
【００３２】
ステップＳ６４では、ステップＳ６３で出力された検出結果について、ユーザーが人物の誤検出もしくは不検出を発見した場合、検出結果を修正する（修正モード）か否かを判断する。修正モードは、画面上に設定された修正キーを押すことにより選択される。修正モードが選択された場合は、ステップＳ６５に進み、選択されなかった場合は、ステップＳ６１に戻る。
【００３３】
ステップＳ６５では、ステップＳ６４で修正モードが選択された場合、誤検出を修正するのか、不検出を修正するのかを選択する。
【００３４】
誤検出が選択された場合はステップＳ６６へ、不検出が選択された場合はステップＳ６８へ進む。
【００３５】
ステップＳ６６では、ステップＳ６５で誤検出の修正モードが選択された場合、ユーザ入力手段６によりその修正対象領域が指定される。領域の指定は、図８(ｂ)に示すように、出力結果に誤検出された領域しかない場合には、改めて領域を指定する必要はなく、画面内に設定された誤認識登録キーを押下することにより設定する。また図８（ｃ）に示すように抽出された領域ｄ１をタッチパネルで直接その位置を指定したり、あるいは図８（ｄ）に示すように領域を示すＩＤ（図中ｄ１〜ｄ３）をリモコン等のテンキーを使用して指定する方法、あるいは、画面内の認識領域がリモコン等のキーで順に選択領域を変更し、該当領域を選択するなどの方法がある。
【００３６】
ステップＳ６７では、ステップＳ６６で領域指定された誤検出領域について、特徴量を抽出し、画像認識ＤＢ５の辞書データに誤検出情報（本実施の形態では人物でない）が追加される。特徴量とは前述の通り、例えばエッジの輝度勾配情報の組合せや、輪郭（形状）情報の集合体であり、辞書データの追加としては、例えば、誤検出の元になった特徴量データに対して、指定された領域の特徴量の差分を非検出用追加情報として更新する。
【００３７】
図９に、画像認識ＤＢ５の辞書データの例を示す。本実施の形態では、例えば人物の抽出を例に挙げているが、人物といっても、様々な向き（正面、横向き、斜めなど）や姿勢（直立、歩行、かがみ、座りなど）、持ち物（傘、かばんなど）が多種多様となるので、これらの特徴量を数値化した複数のデータの集まりで構成されている。
【００３８】
図１０（ａ）〜（ｄ）に、誤検出領域の特徴量が画像認識ＤＢ５の辞書データに追加されるまでの概念を示す。図１０（ａ）は、人物以外の物を誤って人物であると判断した辞書データであるとする。一方、図１０（ｂ）は図１０（ａ）の辞書データから人物と誤って検出された領域の特徴量を示したものである。図１０（ｄ）は、図１０(a)の元の辞書データと誤検出した領域の特徴量との差分である非検出判断用の特徴量が登録されている。図１０（ｃ）は元の辞書データに対して、追加データのアドレス（１００番地）が追記されたものであり、図１０（ｄ）の追加特徴量データと併せて画像認識ＤＢ５の辞書データ上で図１０（ａ）の元の辞書データが更新されたものである。
【００３９】
このように辞書データの追加／修正により、画像認識ＤＢ５の辞書データを更新することにより、同じ誤検出領域に対して、図１０（ｃ）の辞書データが参照された時に、追加データ（アドレス１００）にある図１０（ｄ）の追加特徴量を参照し、図１０（ｄ）の非検出用の特徴量と比較し相関性が高ければ人物でない、あるいは相関性が低ければ人物であるというように、より詳細に人物であるか否かの判断ができる。
【００４０】
ステップＳ６８では、ステップＳ６５で不検出の修正モードが選択された場合、ユーザ入力手段６によりその修正対象領域が指定される。
【００４１】
領域の指定は例えば図１１に示すようにユーザが画面上に矩形領域（Ｐ１〜Ｐ２）をリモコンもしくはタッチパネルを通じて指定する方法が考えられる。
【００４２】
ステップＳ６９ではステップＳ６８で領域指定された不検出領域について、画像認識ＤＢ修正部４は特徴量を抽出し、画像認識ＤＢ５の辞書データに不検出情報（本実施の形態では人物である）が追加される。
【００４３】
画像認識ＤＢ５の辞書データの更新としては、例えば、画像認識ＤＢ５の中で一番相関の高い辞書データ（相関性が閾値を越えないため、人物として認識されず不検出となったデータ）について、指定された領域の特徴量との差分の特徴量を検出用追加情報として付加して更新する。
【００４４】
図１２（ａ）〜（ｄ）に不検出領域の特徴量が辞書データに追加されるまでの概念を示す。図１２（ａ）は、不検出となった対象領域の特徴量と一番相関性が高い辞書データであるとする。一方、図１２（ｂ）は不検出となった対象領域の特徴量を示したものである。図１２（ｄ）は図１２(a)の元の辞書データと不検出となった領域の特徴量との差分である検出判断用の特徴量が登録されている。図１２（ｃ）は元の辞書データに対して、追加データのアドレス（２００番地）が追記されたものであり、図１２（ｄ）の追加特徴量データと併せて画像認識ＤＢ５の辞書データ上で図１２（ａ）の元の辞書データが更新されたものである。
【００４５】
このように、辞書データの追加／修正により画像認識ＤＢ５を更新することにより、同じ不検出領域に対して、図１２（ｃ）の辞書データが参照された時に、追加データ（アドレス２００）にある図１２（ｄ）の追加特徴量を参照し、図１２（ｄ）の検出用の特徴量と比較し相関性が高ければ人物である、あるいは相関性が低ければ人物でないというように、より詳細に人物であるか否かの判断を行う。
【００４６】
このような本実施の形態の車両周辺監視装置によれば、ユーザ入力手段６により誤検出／不検出した領域を指定し、画像認識ＤＢ５の人物認識用の辞書データに要因となる特徴量を容易に追加できるので、次回以降の動作において、同様な対象物の誤検出／不検出の繰り返しをなくすことができる。
【００４７】
なお、本実施の形態では、人物を検出する例をあげたが、他の対象物（軽車両、車両、標識、信号機）についても、個別に画像認識ＤＢの辞書データを用意することにより同様の効果が得られる。
【００４８】
なお、本実施の形態では、辞書の特徴量として、輝度勾配や輪郭特徴を例としてあげたが色情報などを付加することにより、さらに誤検出／不検出の低減効果を得る構成にしてもよい。
【産業上の利用可能性】
【００４９】
以上のように、本発明は、対象物検出処理部の出力結果が誤検出、あるいは、不検出の場合に、入力手段が誤検出領域、あるいは、不検出領域を入力し、画像認識データベース修正部は、入力手段が入力した誤検出領域、あるいは、不検出領域の画像データベースの辞書データを修正し、画像認識データベースへ格納することにより、同じ対象物体に対して誤検出、あるいは、不検出の繰り返しを防ぐことができる車両周辺監視装置として有用である。
【符号の説明】
【００５０】
１ 撮像手段
３ 対象物検出処理部
４ 画像認識ＤＢ修正部
５ 画像認識ＤＢ
６ ユーザ入力手段
７ 出力手段
【特許請求の範囲】
【請求項１】
車両の周囲を撮像する撮像手段と、多種類の人画像データからその特徴量を抽出し、辞書データとして格納されている画像認識データベースと、前記撮像手段が撮像した撮像画像に対して前記画像認識データベースを参照し、対象物を認識する対象物検出処理部と、この対象物検出処理部の出力結果が表示される出力手段と、ユーザが前記出力手段を見て、誤検出、あるいは、不検出と判断した場合に、誤検出領域、あるいは、不検出領域を入力する入力手段と、この入力手段が入力した誤検出領域、あるいは、不検出領域の前記画像認識データベースの辞書データを修正する画像認識データベース修正部とを備え、前記画像認識データベース修正部が修正した辞書データを前記画像認識データベースへ格納することを特徴とする車両周辺監視装置。
【請求項１】
車両の周囲を撮像する撮像手段と、多種類の人画像データからその特徴量を抽出し、辞書データとして格納されている画像認識データベースと、前記撮像手段が撮像した撮像画像に対して前記画像認識データベースを参照し、対象物を認識する対象物検出処理部と、この対象物検出処理部の出力結果が表示される出力手段と、ユーザが前記出力手段を見て、誤検出、あるいは、不検出と判断した場合に、誤検出領域、あるいは、不検出領域を入力する入力手段と、この入力手段が入力した誤検出領域、あるいは、不検出領域の前記画像認識データベースの辞書データを修正する画像認識データベース修正部とを備え、前記画像認識データベース修正部が修正した辞書データを前記画像認識データベースへ格納することを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−９３６３９（Ｐ２０１３−９３６３９Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１０−４６１８４（Ｐ２０１０−４６１８４）
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]