画像認識システム
【課題】認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とする。
【解決手段】学習部４は、教師データの入力をトリガとして現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。認識器の更新は、個々の認識器の評価結果を入替選択部１１で参照し、最適な認識器の組み合わせを決定する。組み合わせるべき候補がない場合には、逐次学習部１２でＧＰを用いた学習により新たな認識器を作成する。そして、逐次学習で順次追加された認識器を含めた組み合わせが反復評価され、最終的に決定された最適な認識器の組み合わせで現在の認識処理部２の複数の認識器を入れ替える。これにより、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【解決手段】学習部４は、教師データの入力をトリガとして現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。認識器の更新は、個々の認識器の評価結果を入替選択部１１で参照し、最適な認識器の組み合わせを決定する。組み合わせるべき候補がない場合には、逐次学習部１２でＧＰを用いた学習により新たな認識器を作成する。そして、逐次学習で順次追加された認識器を含めた組み合わせが反復評価され、最終的に決定された最適な認識器の組み合わせで現在の認識処理部２の複数の認識器を入れ替える。これにより、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の認識器を用いて認識処理を行う画像認識システムに関する。
【背景技術】
【０００２】
従来、カメラ等からの画像データを処理し、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出する画像認識技術においては、各種の認識器が開発されている。
【０００３】
例えば、非特許文献１には、各種画像フィルタを木構造状に組み合わせた認識器を用いる技術が開示されており、木構造状画像フィルタを遺伝的プログラミングにより自動的に最適化することで、より複雑な画像認識が可能となる（木構造状画像変換の自動構築法；ＡＣＴＩＴ）。
【０００４】
また、特許文献１には、動画像中から特定の対象、特に時間的な変化や変位を伴う特定対象の抽出を可能とするため、ＡＣＴＩＴを拡張した技術が開示されている。特許文献１の技術では、教師情報を与えることで遺伝的プログラミングにより木構造画像フィルタの処理構造を自動的に獲得でき、車載カメラ等による動画像処理の自動構築などが可能となる。
【特許文献１】特開２００６−１７８８５７号公報
【非特許文献１】青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術のように一つの認識構造を用いる技術では、事前にある程度十分な学習をさせたとしても、多様な環境や対象に対応することは困難であり、特に、車載カメラによる車外環境認識等においては、天候等の環境変化、歩行者、車、路上の構造物等、多様な条件に対応する必要があり、それらの多様な環境・対象を一つの認識器で対応することは困難である。
【０００６】
さらに、車両等に装置を組み込んだオンラインでの学習を考慮した場合、処理時間やメモリ空間等の関係から認識器の大きさや数などに制限があり、多様な環境、対象に合わせて適応的に認識器自身が学習し、高精度且つロバストな認識構造を得ることは困難である。
【０００７】
本発明は上記事情に鑑みてなされたもので、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることのできる画像認識システムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明による画像認識システムは、画像データを複数の認識器を用いて認識処理する画像認識システムであって、上記複数の認識器の出力を統合し、統合結果を出力する統合部と、上記統合結果を教師データを用いて評価し、上記複数の認識器を適応的に学習更新する学習更新部とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明による画像認識システムは、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図１０は本発明の実施の一形態に係り、図１は画像認識システムの基本構成図、図２は人抽出問題への適用例を示す説明図、図３は木構造状画像フィルタを示す説明図、図４は認識器出力の統合を示す説明図、図５は学習部における処理の流れを示す説明図、図６は統合画像の評価を示す説明図、図７は入れ替え選択の説明図、図８は逐次学習の説明図、図９は全体の処理の流れを示す説明図、図１０は処理例を示す説明図である。
【００１１】
本発明の画像認識システムは、オンラインで入力される画像データを認識器で処理しながら、現在用いている認識器を環境に合わせて適応的に更新し、多様な環境、対象に対して、より高精度でロバストなシステムを構築するものである。すなわち、認識器は、処理時間やメモリ空間等の関係からその大きさや数に制限があり、また、天候・環境等によっても要求される認識器の性能が変わる。このような状況においても、多様な環境、対象に合わせて適応的に学習し、高精度かつロバストに認識するためには、過去に入力された画像データを元に自律的に学習し、認識器をオンラインで更新する必要がある。
【００１２】
尚、ここでの画像データとは、カメラ等のイメージセンサで撮像した視覚情報データのみならず、レーザ・レーダ等により物体の２次元的な分布を検出した疑似画像形態のデータも含むものとする。
【００１３】
図１に示すように、本形態の画像認識システム１は、入力される画像データを複数の認識器５，…で並列に処理する認識処理部２、各認識器５，…の出力を統合する統合部３、処理の目標となる教師データを用いて認識器を学習的に更新する学習部４を基本構成としている。学習部４は、過去に作成された認識器及び新たに作成する認識器を保存する認識器データベースＤＢ１と、過去に入力された教師データ及び新たに入力される教師データを保存する教師データベースＤＢ２とを備えている。
【００１４】
学習部４の構成について詳細に述べると、学習部４は、個々の認識器を評価する認識器評価部１０、全ての認識器（現在使用している認識器及びストックしている認識器）の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部１１、教師データを元に新たに認識器を作成する逐次学習部１２を備えて構成されている。
【００１５】
以下では、画像認識システム１を自動車等の車両に搭載して車載カメラからの動画像を処理し、歩行者を抽出する例について説明する。これは、図２に示すように、異なるシーンの動画像Ｑ１，Ｑ２，Ｑ３の中から破線で示す領域ＱＲ１，ＱＲ２，ＱＲ３に写っている人を抽出する人抽出問題への適用例である。
【００１６】
入力画像を撮像する車載カメラとしては、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラを用い、自動車の車室内のルームミラー付近のフロントガラス内側に車載カメラとして配設する。この車載カメラにより、所定の時間周期（例えば、１／３０ｓｅｃ）毎に車両前方が撮像され、ノイズ除去、ゲイン調整、γ補正等のビデオプロセス処理を経て所定の階調（例えば２５６階調のグレースケール）のデジタル画像に変換された入力画像が認識処理部２に入力される。
【００１７】
尚、認識処理部２には、現在の時刻ｔ及びそれ以前の時刻（ｔ−ｋ）の画像がＭフレーム毎にメモリから読み出されて入力される。ｋ及びＭの値は適宜設定可能であり、また、他の選択方法により相異なる複数種類の入力画像を選択して入力するように構成することも可能である。
【００１８】
認識処理部２は、複数の認識器５，…で入力画像を並列に処理し、対象を抽出した処理画像を出力する。本形態では、処理目的が車両前方の風景画像の中からの歩行者の抽出であることから、入力画像の中から歩行者のみを抽出した画像が出力される。
【００１９】
また、認識器５として、本形態においては、図３に示すように複数の画像フィルタＦ１，Ｆ２，…，Ｆｎ（図においては、ｎ＝８）を木構造状に組み合わせた木構造状画像フィルタを採用している。この木構造の各ノードとなる画像フィルタとしては、既存の各種画像フィルタ（例えば、平均値フィルタ、ソベルフィルタ、２値化フィルタ等）や目的に応じて機能が特化された画像フィルタが用いられ、これらの画像フィルタの最適な組合わせと総数が、遺伝的アルゴリズム（GA;Genetic Algorithm）の遺伝子型を構造的な表現（木構造やグラフ構造等）が扱えるように拡張した遺伝的プログラミング（GP;Genetic Programming）によって学習的に獲得される。
【００２０】
尚、認識器５としては、木構造状画像フィルタの他、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることも可能である。
【００２１】
本形態で採用する木構造状画像フィルタによる画像処理の詳細については、本出願人による特開２００６−１７８８５７号公報に詳述されている。ここでは、その概要について説明する。
【００２２】
本形態における木構造状画像フィルタでは、以下の適応度評価、選択、交叉、突然変異、適応度評価、終了判定の過程を経て木構造の最適化が行われ、ＧＰによって自動的に生成される処理プログラムにより、原画像から目標画像までの最適な変換プロセスが実現される。
【００２３】
［適応度評価］
木構造状画像フィルタを個体として、ランダムに生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の（１）式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値（例えば４０）を超えないように制限される。
Ｋ＝１．０−(１／Ｒ)・Σf（ΣpＷ・│Ｏ−Ｔ│／ΣpＷ・Ｖ）…（１）
但し、Σf：フレーム数ｆについての総和
Σp：１フレーム中のピクセルについての総和
Ｋ：適応度
Ｒ：学習セット数（入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数）
Ｏ：出力画像
Ｔ：目標画像（最適化された処理で出力すべき画像
Ｗ：重み画像（目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像）
Ｖ：最大階調度
【００２４】
［選 択］
個体の複製のために親集団を選択する過程であり、適応度Ｋに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Ｋが最大の個体のエリート保存を同時に行う。
【００２５】
［交叉、突然変異］
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。
【００２６】
［適応度評価、終了判定］
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か（目的とする個体が得られたか否か）等によって判定される。
【００２７】
世代数が終了世代数に到達していないときには、親選択に戻り、以上の処理過程を繰り返す。一方、世代数が終了世代数に到達したとき、或いは、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合には、その世代で最適化を打切り、最大の適応度を有する個体を解として出力する。
【００２８】
以上の木構造の最適化は、各種シーンに対応するため、予めオフラインの事前学習においても実行され、典型的なシーン、例えば、昼、夜、天候、環境（高速道路、幹線道路、市街地等）に特化した認識器として認識器データベースＤＢ１にストックされる。
【００２９】
尚、以下では、木構造状画像フィルタを、適宜、「木構造フィルタ列」、或いは単に「木」と記載する。
【００３０】
画像認識システム１における通常の入力画像の処理は、認識処理部２及び統合部３で実行され、オンラインで常に送られてくる入力画像の中から対象が抽出される。すなわち、入力画像が認識処理部２の複数の木構造フィルタ列で並列に処理されると、この並列出力が統合部３で平均化されて統合され、統合画像が認識結果として出力される。
【００３１】
例えば、図４に示すように、入力データとなる原画像を４本の木構造フィルタ列Ａ，Ｂ，Ｃ，Ｄで処理する場合、各木構造フィルタ列Ａ，Ｂ，Ｃ，Ｄで処理した複数枚の出力画像に対して、それぞれ、出力重みＷｉ（ｉ＝１，２，３，４）が設定され、この出力重みＷｉで統合された画像が出力される。
【００３２】
統合画像中のｎ番目のピクセル値Ｐｎは、以下の（２）式に示すように、各木構造フィルタ列ＦＡ，ＦＢ，ＦＣ，ＦＤからの出力画像の対応するピクセル値ＰＡｎ，ＰＢｎ，ＰＣｎ，ＰＤｎを、出力重みＷ１，Ｗ２，Ｗ３，Ｗ４で加重平均した値で与えられる。尚、出力重みＷｉについての詳細は、以下の学習部４における認識器の入れ替え選択処理の中で説明する。
Ｐｎ＝（ＰＡｎ×Ｗ１＋ＰＢｎ×Ｗ２＋ＰＣｎ×Ｗ３＋ＰＤｎ×Ｗ４）／４…（２）
【００３３】
一方、学習部４は、オンラインで常に送られている入力画像の中から対象を認識する認識処理部２及び統合部３の処理とは別に、図５に示すように、教師データの入力をトリガとして、現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。尚、図５において、太線で示す矢印線が学習処理の流れを示し、破線の矢印線、細線の矢印線は、それぞれ、学習用画像、認識器の流れを示している。
【００３４】
概略的には、入力データから教師データが作成されると、この教師データが教師データベースＤＢ２にストックされ、また、この教師データを用いて、認識器評価部１０で、現在用いている木構造フィルタ列、認識器データベースＤＢ１にストックされている木構造フィルタ列が個別に評価される。
【００３５】
個々の木構造フィルタ列の評価結果は、入替選択部１１で参照され、最適な木構造フィルタ列の組み合わせが決定される。最適な木構造フィルタ列の組み合わせは、認識処理部２を形成する現在の木構造フィルタ列すなわち現在使用している複数の木構造フィルタ列の統合結果よりも良好な評価を得られることが前提であり、絶対的な条件として、現在の木構造フィルタ列の組み合わせよりも評価が悪くならないことが必要である。
【００３６】
使うべき候補の木構造フィルタ列がない場合には、逐次学習部１２において、前述した進化的最適化手法であるＧＰを用いた学習により、新たな木構造フィルタ列が作成される（逐次学習）。そして、逐次学習で順次追加された木構造フィルタ列を含めた組み合わせが反復評価され、最終的に決定された最適な木構造フィルタ列の組み合わせにより、現在の認識処理部２の複数の木構造フィルタ列が部分的或いは全面的に入れ替えられる。
【００３７】
以下、学習部４の処理の詳細について説明する。先ず、認識器評価部１０は、教師データとなる画像の入力により、現在使用している木構造フルタ列、及び認識器データベースＤＢ１にストックされている木構造フィルタ列を個別に評価する。この木構造フィルタ列の評価に際しては、先ず、認識器データベースＤＢ１の整理を行い、木構造フィルタ列の数が発散しないように、評価の低い木構造フィルタ列を認識器データベースＤＢ１から削除する。
【００３８】
具体的には、教師データを用いて個々の木構造フィルタ列の画像評価値を求め、更に、以下の（ａ）〜(ｄ）の条件を加算的に或いは選択的に考慮して評価を行う。木構造フィルタ列の画像評価値としては、（１）式の適応度Ｋに準じた値を用いることができる。
【００３９】
（ａ）寿命
（現在の時間−作られた時間）を木の寿命とし、最近作られた若い木ほど、評価値を高くする。
（ｂ）使用回数
過去に使用された回数が多い木は、評価値を高くする。
（ｃ）サイズ
サイズの小さい木ほど、評価値を高くする。
（ｄ）使用状態
現在使用している木に対しては、過去に使用した木よりも評価を高くする。
【００４０】
例えば、画像評価値Ｇ、寿命Ｌ、使用回数Ｓ、使用状態Ｔを加算的に考慮して木を評価する場合、評価値Ｆは、以下の（３）式により求めることができる。
Ｆ＝Ｇ×α＋Ｌ×β＋Ｓ×γ＋Ｔ×δ …（３）
但し、α，β，γ，δ：定数
【００４１】
求めた評価値は過去に遡り、累積した値が現在の評価値となる。全ての木構造フィルタ列の評価が終わり次第、入替選択部１１の処理へ移る。
【００４２】
入替選択部１１は、現在用いている木とストックしている木とを含めて全ての木の中から、最も評価が高くなるＮ本の木の組み合わせを求める。組み合わせの数Ｎが一定数Ｍに満たない場合には、逐次学習により新しい木を作成して木を追加し、Ｎ＝Ｍとなった時点で、常に入力データを処理していた木群を新しい木群に入れ替える。一定数Ｍは、認識処理部２を形成する木構造フィルタ列の数であり、実際には、認識器データベースＤＢ１に２０本の木構造フィルタ列がストックされ、常時使用する木として最大１０本までの最適な組み合わせを求めている。
【００４３】
木群の入れ替えに際しては、現在使用している木の組み合わせによる統合画像の評価結果を基準とする。すなわち、図６に示すように、新しい教師データである原画像を現在の木群ＴＲで並列処理して統合し、その統合画像を目標画像と比較して評価し、この評価結果を基準として、新しい組み合わせの木群を入れ替えるか否かを判断する。
【００４４】
また、最適な木の組み合わせに際しては、組み合わせた木群の統合画像を用いて評価を行う。例えば、図７に示すように、認識器データベースＤＢ１に、Ａ，Ｂ，Ｃ，Ｄという木があり、木Ａ，Ｂ，Ｃ，Ｄの中から、木Ａ，Ｂの２本を選択した場合、木Ａ，Ｂを用いて作成した統合画像を目標画像と比較して評価値を算出する。算出した評価値が他の組み合わせの評価値よりも高ければ、木Ａ，Ｂを選択し、低ければ、他の木を選択して同様に評価を行う。このような処理を反復して全ての組み合わせを評価し、評価が最も高い組み合わせを求める。
【００４５】
評価については以下に定義する式を用いて、評価値を算出する。
［評価方法］
評価値は、新しい組み合わせの木群によって作られた統合画像の目標画像に対する類似度で定義され、以下の（１）’式を用いて算出される。
Ｋ＝１．０−Σf（ΣpＷ・│Ｏ−Ｔ│／ΣpＷ・Ｖ）…（１）’
但し、Σf：フレーム数ｆについての総和
Σp：１フレーム中のピクセルについての総和
Ｋ：評価値
Ｏ：統合画像
Ｔ：目標画像（最適化された処理で出力すべき画像）
Ｗ：重み画像（目標とする画像内での領域の重要度を表し、
統合画像と目標画像との距離に応じた重みが画素毎に定義された画像）
Ｖ：最大階調度
【００４６】
尚、どの木を使うかという組み合わせ中で最適なものを選ぶのと同時に、各木の出力の強弱を最適化するようにしても良い。この出力の強弱は、前述の（２）式で説明した出力重みＷｉを、個々の木の評価値を参照して決定することで最適化することができる。例えば、木Ａの出力画像（のピクセル値）ＰＡｎに対する出力重みが［０．３］、木Ｂの出力画像（のピクセル値）ＰＢｎに対する出力重みが［０．８］とすると、統合画像中のｎ番目のピクセル値Ｐｎにおいて、以下の（２）’式の値となり、上記と同様に出力重みが付いた統合画像から、評価値を求めることができる。
Ｐｎ＝（ＰＡｎ×０．３＋ＰＢｎ×０．８）／２ …（２）’
【００４７】
この場合、出力重みと木の組み合わせは、［重みの種類］を［木の本数］で累乗した数となり、例えば、出力重みの候補が［０］，［０．３］，［０．８］，［１．０］の４種類あり、２本の木があるとすると、出力重みと木の組み合わせは計１６種類となり、この１６種類について評価値を求め、評価値が最大となった組み合わせを求めることになる。尚、実際の出力重みは、０〜１まで０．１刻みの１０種類が設定されている。
【００４８】
入替選択部１１において、全ての木構造フィルタ列の組み合わせが評価され、最適な組み合わせとなる木群の数Ｎが一定数Ｍに満たない場合、逐次学習部１２での逐次学習が実行される。
【００４９】
逐次学習部１２は、入替選択部１１によって選択された最適な組み合わせのＮ本の木の出力結果を更に修正し、最適な組み合わせの木の本数Ｎが一定数Ｍになるまで、逐次的に学習して木を追加する。
【００５０】
学習の流れとしては、例えば、図８に示すように、入替選択部１１で選ばれた組み合わせが木Ａ，Ｂであったとすると、この木Ａ，Ｂの統合画像と目標画像との差から木Ａ，Ｂが間違った箇所について重み付けを行い、間違った個所を修正点として重み付けした画像（修正重み画像）を作成する。
【００５１】
例えば、目標画像の値のうち、人であると教師している領域を輝度値２５５（最重要）、統合画像と目標画像を比べて間違った部分を輝度値１２７（重要）、それ以外の領域を輝度値１（やや重要）として、修正重み画像を作成する。そして、作成した修正重み画像を用いて新たな木Ｃ’を一つ作成し、木構造のバッファへ追加する。
【００５２】
尚、新たな木とは、前述したＧＰ（遺伝的プログラミング）により、ストックされている木を初期個体として進化させたもののみならず、現在使用している木を初期個体として進化させたものも含むが、シーンに応じて学習対象を選択するようにしても良い。
【００５３】
次に、木Ａ，Ｂ，Ｃ’の統合画像を求め、この統合画像の目標画像に対する評価値に基づいて、新しい木Ｃ’を追加するか否かを判定する。評価値が閾値を超えていれば、図８に示すように、木Ｃ’を追加して新たな組み合わせの木群Ａ，Ｂ，Ｃ’とし、評価値が閾値以下の場合には、今回作成された木Ｃ’は追加せず、学習を逐次的にやり直す。すなわち、同様に、修正重み画像を作成し、更に新たな別の木Ｄを作成し、木Ａ，Ｂ，Ｄの組み合わせによる統合画像を評価するという具合に、木構造の数Ｎが一定数Ｍになるまで木を追加する。
【００５４】
実際には、一定数Ｍを１０本と定め、入れ替え選択によって選ばれた木が１０本になるまで、木の追加を行う。そして、木の数ＮがＭ本になった時点で逐次学習を終了し、常に入力データを処理していた木群を、作成した新しい木群に入れ替える。
【００５５】
全体の処理の流れを、図９を中心として図１０を併用して説明する。図９に示すように、原画像が新しい教師データとして入力されると、認識処理部２で現在の組み合わせのＭ本の認識器（木構造フィルタ列）によって並列に処理され、それぞれの出力結果が統合される。図１０のＱ１’が原画像の例であり、この原画像Ｑ１’を認識器で処理して統合した画像がＱ２’である。この統合画像Ｑ２’では、現在用いている認識器が新しい教師データに対して人を全く抽出していないことが分かる。
【００５６】
次に、認識器評価部１０で各認識器を評価した後、入替選択部１１で認識器データベースＤＢ１から認識器の新たな組み合わせを決定し、認識器をＮ本選択してその統合画像を評価する。図１０のＱ３’は、木構造フィルタ列３本の新たな組み合わせを選択した場合の統合画像を示しており、この統合画像Ｑ３’では、人を抽出しているが、背景に誤抽出があることが分かる。
【００５７】
この背景の誤抽出は、逐次学習部１２での逐次学習により、画像を修正するように学習され、図１０のＱ４’に示すような統合画像が得られる。図１０の統合画像Ｑ４’は、人を抽出しつつ、背景の誤抽出が減っているのが分かる。この逐次学習の繰り返しを経て、最終的に決定される認識器の組み合わせの数がＭ本に達したとき、現在の認識処理部２が新しい組み合わせの認識器で更新され、背景の誤抽出を排除することができる。
【００５８】
以上のように、本実施の形態の画像認識システムは、各認識器の統合画像により最適な認識器の組み合わせを求め、その統合結果を修正する新たな認識器を学習・追加することで、オンライン上で常時使用する認識器を適応的に変化させる。これにより、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【図面の簡単な説明】
【００５９】
【図１】画像認識システムの基本構成図
【図２】人抽出問題への適用例を示す説明図
【図３】木構造状画像フィルタを示す説明図
【図４】認識器出力の統合を示す説明図
【図５】学習部における処理の流れを示す説明図
【図６】統合画像の評価を示す説明図
【図７】入れ替え選択の説明図
【図８】逐次学習の説明図
【図９】全体の処理の流れを示す説明図
【図１０】処理例を示す説明図
【符号の説明】
【００６０】
１ 画像認識システム
２ 認識処理部
３ 統合部
４ 学習部
５ 認識器
１０ 認識器評価部
１１ 入替選択部
１２ 逐次学習部
ＤＢ１ 認識器データベース
Ｆｎ 画像フィルタ
【技術分野】
【０００１】
本発明は、複数の認識器を用いて認識処理を行う画像認識システムに関する。
【背景技術】
【０００２】
従来、カメラ等からの画像データを処理し、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出する画像認識技術においては、各種の認識器が開発されている。
【０００３】
例えば、非特許文献１には、各種画像フィルタを木構造状に組み合わせた認識器を用いる技術が開示されており、木構造状画像フィルタを遺伝的プログラミングにより自動的に最適化することで、より複雑な画像認識が可能となる（木構造状画像変換の自動構築法；ＡＣＴＩＴ）。
【０００４】
また、特許文献１には、動画像中から特定の対象、特に時間的な変化や変位を伴う特定対象の抽出を可能とするため、ＡＣＴＩＴを拡張した技術が開示されている。特許文献１の技術では、教師情報を与えることで遺伝的プログラミングにより木構造画像フィルタの処理構造を自動的に獲得でき、車載カメラ等による動画像処理の自動構築などが可能となる。
【特許文献１】特開２００６−１７８８５７号公報
【非特許文献１】青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術のように一つの認識構造を用いる技術では、事前にある程度十分な学習をさせたとしても、多様な環境や対象に対応することは困難であり、特に、車載カメラによる車外環境認識等においては、天候等の環境変化、歩行者、車、路上の構造物等、多様な条件に対応する必要があり、それらの多様な環境・対象を一つの認識器で対応することは困難である。
【０００６】
さらに、車両等に装置を組み込んだオンラインでの学習を考慮した場合、処理時間やメモリ空間等の関係から認識器の大きさや数などに制限があり、多様な環境、対象に合わせて適応的に認識器自身が学習し、高精度且つロバストな認識構造を得ることは困難である。
【０００７】
本発明は上記事情に鑑みてなされたもので、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることのできる画像認識システムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明による画像認識システムは、画像データを複数の認識器を用いて認識処理する画像認識システムであって、上記複数の認識器の出力を統合し、統合結果を出力する統合部と、上記統合結果を教師データを用いて評価し、上記複数の認識器を適応的に学習更新する学習更新部とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明による画像認識システムは、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図１０は本発明の実施の一形態に係り、図１は画像認識システムの基本構成図、図２は人抽出問題への適用例を示す説明図、図３は木構造状画像フィルタを示す説明図、図４は認識器出力の統合を示す説明図、図５は学習部における処理の流れを示す説明図、図６は統合画像の評価を示す説明図、図７は入れ替え選択の説明図、図８は逐次学習の説明図、図９は全体の処理の流れを示す説明図、図１０は処理例を示す説明図である。
【００１１】
本発明の画像認識システムは、オンラインで入力される画像データを認識器で処理しながら、現在用いている認識器を環境に合わせて適応的に更新し、多様な環境、対象に対して、より高精度でロバストなシステムを構築するものである。すなわち、認識器は、処理時間やメモリ空間等の関係からその大きさや数に制限があり、また、天候・環境等によっても要求される認識器の性能が変わる。このような状況においても、多様な環境、対象に合わせて適応的に学習し、高精度かつロバストに認識するためには、過去に入力された画像データを元に自律的に学習し、認識器をオンラインで更新する必要がある。
【００１２】
尚、ここでの画像データとは、カメラ等のイメージセンサで撮像した視覚情報データのみならず、レーザ・レーダ等により物体の２次元的な分布を検出した疑似画像形態のデータも含むものとする。
【００１３】
図１に示すように、本形態の画像認識システム１は、入力される画像データを複数の認識器５，…で並列に処理する認識処理部２、各認識器５，…の出力を統合する統合部３、処理の目標となる教師データを用いて認識器を学習的に更新する学習部４を基本構成としている。学習部４は、過去に作成された認識器及び新たに作成する認識器を保存する認識器データベースＤＢ１と、過去に入力された教師データ及び新たに入力される教師データを保存する教師データベースＤＢ２とを備えている。
【００１４】
学習部４の構成について詳細に述べると、学習部４は、個々の認識器を評価する認識器評価部１０、全ての認識器（現在使用している認識器及びストックしている認識器）の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部１１、教師データを元に新たに認識器を作成する逐次学習部１２を備えて構成されている。
【００１５】
以下では、画像認識システム１を自動車等の車両に搭載して車載カメラからの動画像を処理し、歩行者を抽出する例について説明する。これは、図２に示すように、異なるシーンの動画像Ｑ１，Ｑ２，Ｑ３の中から破線で示す領域ＱＲ１，ＱＲ２，ＱＲ３に写っている人を抽出する人抽出問題への適用例である。
【００１６】
入力画像を撮像する車載カメラとしては、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラを用い、自動車の車室内のルームミラー付近のフロントガラス内側に車載カメラとして配設する。この車載カメラにより、所定の時間周期（例えば、１／３０ｓｅｃ）毎に車両前方が撮像され、ノイズ除去、ゲイン調整、γ補正等のビデオプロセス処理を経て所定の階調（例えば２５６階調のグレースケール）のデジタル画像に変換された入力画像が認識処理部２に入力される。
【００１７】
尚、認識処理部２には、現在の時刻ｔ及びそれ以前の時刻（ｔ−ｋ）の画像がＭフレーム毎にメモリから読み出されて入力される。ｋ及びＭの値は適宜設定可能であり、また、他の選択方法により相異なる複数種類の入力画像を選択して入力するように構成することも可能である。
【００１８】
認識処理部２は、複数の認識器５，…で入力画像を並列に処理し、対象を抽出した処理画像を出力する。本形態では、処理目的が車両前方の風景画像の中からの歩行者の抽出であることから、入力画像の中から歩行者のみを抽出した画像が出力される。
【００１９】
また、認識器５として、本形態においては、図３に示すように複数の画像フィルタＦ１，Ｆ２，…，Ｆｎ（図においては、ｎ＝８）を木構造状に組み合わせた木構造状画像フィルタを採用している。この木構造の各ノードとなる画像フィルタとしては、既存の各種画像フィルタ（例えば、平均値フィルタ、ソベルフィルタ、２値化フィルタ等）や目的に応じて機能が特化された画像フィルタが用いられ、これらの画像フィルタの最適な組合わせと総数が、遺伝的アルゴリズム（GA;Genetic Algorithm）の遺伝子型を構造的な表現（木構造やグラフ構造等）が扱えるように拡張した遺伝的プログラミング（GP;Genetic Programming）によって学習的に獲得される。
【００２０】
尚、認識器５としては、木構造状画像フィルタの他、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることも可能である。
【００２１】
本形態で採用する木構造状画像フィルタによる画像処理の詳細については、本出願人による特開２００６−１７８８５７号公報に詳述されている。ここでは、その概要について説明する。
【００２２】
本形態における木構造状画像フィルタでは、以下の適応度評価、選択、交叉、突然変異、適応度評価、終了判定の過程を経て木構造の最適化が行われ、ＧＰによって自動的に生成される処理プログラムにより、原画像から目標画像までの最適な変換プロセスが実現される。
【００２３】
［適応度評価］
木構造状画像フィルタを個体として、ランダムに生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の（１）式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値（例えば４０）を超えないように制限される。
Ｋ＝１．０−(１／Ｒ)・Σf（ΣpＷ・│Ｏ−Ｔ│／ΣpＷ・Ｖ）…（１）
但し、Σf：フレーム数ｆについての総和
Σp：１フレーム中のピクセルについての総和
Ｋ：適応度
Ｒ：学習セット数（入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数）
Ｏ：出力画像
Ｔ：目標画像（最適化された処理で出力すべき画像
Ｗ：重み画像（目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像）
Ｖ：最大階調度
【００２４】
［選 択］
個体の複製のために親集団を選択する過程であり、適応度Ｋに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Ｋが最大の個体のエリート保存を同時に行う。
【００２５】
［交叉、突然変異］
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。
【００２６】
［適応度評価、終了判定］
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か（目的とする個体が得られたか否か）等によって判定される。
【００２７】
世代数が終了世代数に到達していないときには、親選択に戻り、以上の処理過程を繰り返す。一方、世代数が終了世代数に到達したとき、或いは、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合には、その世代で最適化を打切り、最大の適応度を有する個体を解として出力する。
【００２８】
以上の木構造の最適化は、各種シーンに対応するため、予めオフラインの事前学習においても実行され、典型的なシーン、例えば、昼、夜、天候、環境（高速道路、幹線道路、市街地等）に特化した認識器として認識器データベースＤＢ１にストックされる。
【００２９】
尚、以下では、木構造状画像フィルタを、適宜、「木構造フィルタ列」、或いは単に「木」と記載する。
【００３０】
画像認識システム１における通常の入力画像の処理は、認識処理部２及び統合部３で実行され、オンラインで常に送られてくる入力画像の中から対象が抽出される。すなわち、入力画像が認識処理部２の複数の木構造フィルタ列で並列に処理されると、この並列出力が統合部３で平均化されて統合され、統合画像が認識結果として出力される。
【００３１】
例えば、図４に示すように、入力データとなる原画像を４本の木構造フィルタ列Ａ，Ｂ，Ｃ，Ｄで処理する場合、各木構造フィルタ列Ａ，Ｂ，Ｃ，Ｄで処理した複数枚の出力画像に対して、それぞれ、出力重みＷｉ（ｉ＝１，２，３，４）が設定され、この出力重みＷｉで統合された画像が出力される。
【００３２】
統合画像中のｎ番目のピクセル値Ｐｎは、以下の（２）式に示すように、各木構造フィルタ列ＦＡ，ＦＢ，ＦＣ，ＦＤからの出力画像の対応するピクセル値ＰＡｎ，ＰＢｎ，ＰＣｎ，ＰＤｎを、出力重みＷ１，Ｗ２，Ｗ３，Ｗ４で加重平均した値で与えられる。尚、出力重みＷｉについての詳細は、以下の学習部４における認識器の入れ替え選択処理の中で説明する。
Ｐｎ＝（ＰＡｎ×Ｗ１＋ＰＢｎ×Ｗ２＋ＰＣｎ×Ｗ３＋ＰＤｎ×Ｗ４）／４…（２）
【００３３】
一方、学習部４は、オンラインで常に送られている入力画像の中から対象を認識する認識処理部２及び統合部３の処理とは別に、図５に示すように、教師データの入力をトリガとして、現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。尚、図５において、太線で示す矢印線が学習処理の流れを示し、破線の矢印線、細線の矢印線は、それぞれ、学習用画像、認識器の流れを示している。
【００３４】
概略的には、入力データから教師データが作成されると、この教師データが教師データベースＤＢ２にストックされ、また、この教師データを用いて、認識器評価部１０で、現在用いている木構造フィルタ列、認識器データベースＤＢ１にストックされている木構造フィルタ列が個別に評価される。
【００３５】
個々の木構造フィルタ列の評価結果は、入替選択部１１で参照され、最適な木構造フィルタ列の組み合わせが決定される。最適な木構造フィルタ列の組み合わせは、認識処理部２を形成する現在の木構造フィルタ列すなわち現在使用している複数の木構造フィルタ列の統合結果よりも良好な評価を得られることが前提であり、絶対的な条件として、現在の木構造フィルタ列の組み合わせよりも評価が悪くならないことが必要である。
【００３６】
使うべき候補の木構造フィルタ列がない場合には、逐次学習部１２において、前述した進化的最適化手法であるＧＰを用いた学習により、新たな木構造フィルタ列が作成される（逐次学習）。そして、逐次学習で順次追加された木構造フィルタ列を含めた組み合わせが反復評価され、最終的に決定された最適な木構造フィルタ列の組み合わせにより、現在の認識処理部２の複数の木構造フィルタ列が部分的或いは全面的に入れ替えられる。
【００３７】
以下、学習部４の処理の詳細について説明する。先ず、認識器評価部１０は、教師データとなる画像の入力により、現在使用している木構造フルタ列、及び認識器データベースＤＢ１にストックされている木構造フィルタ列を個別に評価する。この木構造フィルタ列の評価に際しては、先ず、認識器データベースＤＢ１の整理を行い、木構造フィルタ列の数が発散しないように、評価の低い木構造フィルタ列を認識器データベースＤＢ１から削除する。
【００３８】
具体的には、教師データを用いて個々の木構造フィルタ列の画像評価値を求め、更に、以下の（ａ）〜(ｄ）の条件を加算的に或いは選択的に考慮して評価を行う。木構造フィルタ列の画像評価値としては、（１）式の適応度Ｋに準じた値を用いることができる。
【００３９】
（ａ）寿命
（現在の時間−作られた時間）を木の寿命とし、最近作られた若い木ほど、評価値を高くする。
（ｂ）使用回数
過去に使用された回数が多い木は、評価値を高くする。
（ｃ）サイズ
サイズの小さい木ほど、評価値を高くする。
（ｄ）使用状態
現在使用している木に対しては、過去に使用した木よりも評価を高くする。
【００４０】
例えば、画像評価値Ｇ、寿命Ｌ、使用回数Ｓ、使用状態Ｔを加算的に考慮して木を評価する場合、評価値Ｆは、以下の（３）式により求めることができる。
Ｆ＝Ｇ×α＋Ｌ×β＋Ｓ×γ＋Ｔ×δ …（３）
但し、α，β，γ，δ：定数
【００４１】
求めた評価値は過去に遡り、累積した値が現在の評価値となる。全ての木構造フィルタ列の評価が終わり次第、入替選択部１１の処理へ移る。
【００４２】
入替選択部１１は、現在用いている木とストックしている木とを含めて全ての木の中から、最も評価が高くなるＮ本の木の組み合わせを求める。組み合わせの数Ｎが一定数Ｍに満たない場合には、逐次学習により新しい木を作成して木を追加し、Ｎ＝Ｍとなった時点で、常に入力データを処理していた木群を新しい木群に入れ替える。一定数Ｍは、認識処理部２を形成する木構造フィルタ列の数であり、実際には、認識器データベースＤＢ１に２０本の木構造フィルタ列がストックされ、常時使用する木として最大１０本までの最適な組み合わせを求めている。
【００４３】
木群の入れ替えに際しては、現在使用している木の組み合わせによる統合画像の評価結果を基準とする。すなわち、図６に示すように、新しい教師データである原画像を現在の木群ＴＲで並列処理して統合し、その統合画像を目標画像と比較して評価し、この評価結果を基準として、新しい組み合わせの木群を入れ替えるか否かを判断する。
【００４４】
また、最適な木の組み合わせに際しては、組み合わせた木群の統合画像を用いて評価を行う。例えば、図７に示すように、認識器データベースＤＢ１に、Ａ，Ｂ，Ｃ，Ｄという木があり、木Ａ，Ｂ，Ｃ，Ｄの中から、木Ａ，Ｂの２本を選択した場合、木Ａ，Ｂを用いて作成した統合画像を目標画像と比較して評価値を算出する。算出した評価値が他の組み合わせの評価値よりも高ければ、木Ａ，Ｂを選択し、低ければ、他の木を選択して同様に評価を行う。このような処理を反復して全ての組み合わせを評価し、評価が最も高い組み合わせを求める。
【００４５】
評価については以下に定義する式を用いて、評価値を算出する。
［評価方法］
評価値は、新しい組み合わせの木群によって作られた統合画像の目標画像に対する類似度で定義され、以下の（１）’式を用いて算出される。
Ｋ＝１．０−Σf（ΣpＷ・│Ｏ−Ｔ│／ΣpＷ・Ｖ）…（１）’
但し、Σf：フレーム数ｆについての総和
Σp：１フレーム中のピクセルについての総和
Ｋ：評価値
Ｏ：統合画像
Ｔ：目標画像（最適化された処理で出力すべき画像）
Ｗ：重み画像（目標とする画像内での領域の重要度を表し、
統合画像と目標画像との距離に応じた重みが画素毎に定義された画像）
Ｖ：最大階調度
【００４６】
尚、どの木を使うかという組み合わせ中で最適なものを選ぶのと同時に、各木の出力の強弱を最適化するようにしても良い。この出力の強弱は、前述の（２）式で説明した出力重みＷｉを、個々の木の評価値を参照して決定することで最適化することができる。例えば、木Ａの出力画像（のピクセル値）ＰＡｎに対する出力重みが［０．３］、木Ｂの出力画像（のピクセル値）ＰＢｎに対する出力重みが［０．８］とすると、統合画像中のｎ番目のピクセル値Ｐｎにおいて、以下の（２）’式の値となり、上記と同様に出力重みが付いた統合画像から、評価値を求めることができる。
Ｐｎ＝（ＰＡｎ×０．３＋ＰＢｎ×０．８）／２ …（２）’
【００４７】
この場合、出力重みと木の組み合わせは、［重みの種類］を［木の本数］で累乗した数となり、例えば、出力重みの候補が［０］，［０．３］，［０．８］，［１．０］の４種類あり、２本の木があるとすると、出力重みと木の組み合わせは計１６種類となり、この１６種類について評価値を求め、評価値が最大となった組み合わせを求めることになる。尚、実際の出力重みは、０〜１まで０．１刻みの１０種類が設定されている。
【００４８】
入替選択部１１において、全ての木構造フィルタ列の組み合わせが評価され、最適な組み合わせとなる木群の数Ｎが一定数Ｍに満たない場合、逐次学習部１２での逐次学習が実行される。
【００４９】
逐次学習部１２は、入替選択部１１によって選択された最適な組み合わせのＮ本の木の出力結果を更に修正し、最適な組み合わせの木の本数Ｎが一定数Ｍになるまで、逐次的に学習して木を追加する。
【００５０】
学習の流れとしては、例えば、図８に示すように、入替選択部１１で選ばれた組み合わせが木Ａ，Ｂであったとすると、この木Ａ，Ｂの統合画像と目標画像との差から木Ａ，Ｂが間違った箇所について重み付けを行い、間違った個所を修正点として重み付けした画像（修正重み画像）を作成する。
【００５１】
例えば、目標画像の値のうち、人であると教師している領域を輝度値２５５（最重要）、統合画像と目標画像を比べて間違った部分を輝度値１２７（重要）、それ以外の領域を輝度値１（やや重要）として、修正重み画像を作成する。そして、作成した修正重み画像を用いて新たな木Ｃ’を一つ作成し、木構造のバッファへ追加する。
【００５２】
尚、新たな木とは、前述したＧＰ（遺伝的プログラミング）により、ストックされている木を初期個体として進化させたもののみならず、現在使用している木を初期個体として進化させたものも含むが、シーンに応じて学習対象を選択するようにしても良い。
【００５３】
次に、木Ａ，Ｂ，Ｃ’の統合画像を求め、この統合画像の目標画像に対する評価値に基づいて、新しい木Ｃ’を追加するか否かを判定する。評価値が閾値を超えていれば、図８に示すように、木Ｃ’を追加して新たな組み合わせの木群Ａ，Ｂ，Ｃ’とし、評価値が閾値以下の場合には、今回作成された木Ｃ’は追加せず、学習を逐次的にやり直す。すなわち、同様に、修正重み画像を作成し、更に新たな別の木Ｄを作成し、木Ａ，Ｂ，Ｄの組み合わせによる統合画像を評価するという具合に、木構造の数Ｎが一定数Ｍになるまで木を追加する。
【００５４】
実際には、一定数Ｍを１０本と定め、入れ替え選択によって選ばれた木が１０本になるまで、木の追加を行う。そして、木の数ＮがＭ本になった時点で逐次学習を終了し、常に入力データを処理していた木群を、作成した新しい木群に入れ替える。
【００５５】
全体の処理の流れを、図９を中心として図１０を併用して説明する。図９に示すように、原画像が新しい教師データとして入力されると、認識処理部２で現在の組み合わせのＭ本の認識器（木構造フィルタ列）によって並列に処理され、それぞれの出力結果が統合される。図１０のＱ１’が原画像の例であり、この原画像Ｑ１’を認識器で処理して統合した画像がＱ２’である。この統合画像Ｑ２’では、現在用いている認識器が新しい教師データに対して人を全く抽出していないことが分かる。
【００５６】
次に、認識器評価部１０で各認識器を評価した後、入替選択部１１で認識器データベースＤＢ１から認識器の新たな組み合わせを決定し、認識器をＮ本選択してその統合画像を評価する。図１０のＱ３’は、木構造フィルタ列３本の新たな組み合わせを選択した場合の統合画像を示しており、この統合画像Ｑ３’では、人を抽出しているが、背景に誤抽出があることが分かる。
【００５７】
この背景の誤抽出は、逐次学習部１２での逐次学習により、画像を修正するように学習され、図１０のＱ４’に示すような統合画像が得られる。図１０の統合画像Ｑ４’は、人を抽出しつつ、背景の誤抽出が減っているのが分かる。この逐次学習の繰り返しを経て、最終的に決定される認識器の組み合わせの数がＭ本に達したとき、現在の認識処理部２が新しい組み合わせの認識器で更新され、背景の誤抽出を排除することができる。
【００５８】
以上のように、本実施の形態の画像認識システムは、各認識器の統合画像により最適な認識器の組み合わせを求め、その統合結果を修正する新たな認識器を学習・追加することで、オンライン上で常時使用する認識器を適応的に変化させる。これにより、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【図面の簡単な説明】
【００５９】
【図１】画像認識システムの基本構成図
【図２】人抽出問題への適用例を示す説明図
【図３】木構造状画像フィルタを示す説明図
【図４】認識器出力の統合を示す説明図
【図５】学習部における処理の流れを示す説明図
【図６】統合画像の評価を示す説明図
【図７】入れ替え選択の説明図
【図８】逐次学習の説明図
【図９】全体の処理の流れを示す説明図
【図１０】処理例を示す説明図
【符号の説明】
【００６０】
１ 画像認識システム
２ 認識処理部
３ 統合部
４ 学習部
５ 認識器
１０ 認識器評価部
１１ 入替選択部
１２ 逐次学習部
ＤＢ１ 認識器データベース
Ｆｎ 画像フィルタ
【特許請求の範囲】
【請求項１】
画像データを複数の認識器を用いて認識処理する画像認識システムであって、
上記複数の認識器の出力を統合し、統合結果を出力する統合部と、
上記統合結果を教師データを用いて評価し、上記複数の認識器を適応的に学習更新する学習更新部と
を備えることを特徴とする画像認識システム。
【請求項２】
上記学習更新部は、
上記複数の認識器の統合結果を逐次学習し、新たな認識器を作成する逐次学習部と、
上記逐次学習によって作成された認識器を含めて現在保有している全ての認識器の中から最適な組み合わせを求め、現在使用している複数の認識器と選択的に入れ替える入替選択部と
を備えることを特徴とする請求項１記載の画像認識システム。
【請求項３】
各認識器を個別に評価し、該評価結果に基づいて各認識器の出力を重みを付けして統合することを特徴とする請求項１又は２の何れか一に記載の画像認識システム。
【請求項４】
上記複数の認識器の統合結果を、上記教師データに基づいて重み付け修正し、該修正結果を用いて上記認識器の組み合わせを評価することを特徴とする請求項２記載の画像認識システム。
【請求項５】
上記認識器の評価に際して、作成時期が早い認識器、過去の使用回数が多い認識器、サイズの小さい認識器ほど、上記評価値を高くすることを特徴とする請求項３又は４記載の画像認識システム。
【請求項６】
上記認識器の評価に際して、過去の評価値を累積して評価を行うことを特徴とする請求項３又は４記載の画像認識システム。
【請求項７】
上記認識器の評価に際して、現在使用している認識器の評価値を過去に使用した認識器の評価値よりも高くすることを特徴とする請求項３又は４記載の画像認識システム。
【請求項８】
上記認識器を保存する認識器データベースを備え、該認識器データベースから評価値の低い認識器を削除することを特徴とする請求項３〜７の何れか一に記載の画像認識システム。
【請求項９】
上記認識器を木構造状画像フィルタにより構成し、該木構造状画像フィルタを遺伝的プログラミングの初期個体として適応的に学習更新することを特徴とする請求項１〜８の何れか一に記載の画像認識システム。
【請求項１】
画像データを複数の認識器を用いて認識処理する画像認識システムであって、
上記複数の認識器の出力を統合し、統合結果を出力する統合部と、
上記統合結果を教師データを用いて評価し、上記複数の認識器を適応的に学習更新する学習更新部と
を備えることを特徴とする画像認識システム。
【請求項２】
上記学習更新部は、
上記複数の認識器の統合結果を逐次学習し、新たな認識器を作成する逐次学習部と、
上記逐次学習によって作成された認識器を含めて現在保有している全ての認識器の中から最適な組み合わせを求め、現在使用している複数の認識器と選択的に入れ替える入替選択部と
を備えることを特徴とする請求項１記載の画像認識システム。
【請求項３】
各認識器を個別に評価し、該評価結果に基づいて各認識器の出力を重みを付けして統合することを特徴とする請求項１又は２の何れか一に記載の画像認識システム。
【請求項４】
上記複数の認識器の統合結果を、上記教師データに基づいて重み付け修正し、該修正結果を用いて上記認識器の組み合わせを評価することを特徴とする請求項２記載の画像認識システム。
【請求項５】
上記認識器の評価に際して、作成時期が早い認識器、過去の使用回数が多い認識器、サイズの小さい認識器ほど、上記評価値を高くすることを特徴とする請求項３又は４記載の画像認識システム。
【請求項６】
上記認識器の評価に際して、過去の評価値を累積して評価を行うことを特徴とする請求項３又は４記載の画像認識システム。
【請求項７】
上記認識器の評価に際して、現在使用している認識器の評価値を過去に使用した認識器の評価値よりも高くすることを特徴とする請求項３又は４記載の画像認識システム。
【請求項８】
上記認識器を保存する認識器データベースを備え、該認識器データベースから評価値の低い認識器を削除することを特徴とする請求項３〜７の何れか一に記載の画像認識システム。
【請求項９】
上記認識器を木構造状画像フィルタにより構成し、該木構造状画像フィルタを遺伝的プログラミングの初期個体として適応的に学習更新することを特徴とする請求項１〜８の何れか一に記載の画像認識システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２０４１０３（Ｐ２００８−２０４１０３Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−３８４４０（Ｐ２００７−３８４４０）
【出願日】平成１９年２月１９日（２００７．２．１９）
【出願人】（５０４１８２２５５）国立大学法人横浜国立大学 (429)
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月１９日（２００７．２．１９）
【出願人】（５０４１８２２５５）国立大学法人横浜国立大学 (429)
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]