認識支援装置、認識支援方法、およびプログラム
【課題】物体認識させる画像を適切に撮影することができるようにすることで、短時間で適切な物体認識を可能とする認識支援装置、認識支援方法およびプログラムを提供する。
【解決手段】物体認識装置による物体認識を支援する認識支援装置であって、画像取得部が、異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する。重要領域検出部は、前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、重要領域を検出する。重要領域は、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む。また、重要領域検出部は、重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知することにより、上記課題の解決を図る。
【解決手段】物体認識装置による物体認識を支援する認識支援装置であって、画像取得部が、異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する。重要領域検出部は、前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、重要領域を検出する。重要領域は、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む。また、重要領域検出部は、重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知することにより、上記課題の解決を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識支援装置、認識支援方法、およびプログラムに関する。
【背景技術】
【０００２】
画像に含まれている物体の名称を推定する物体認識技術は、様々な産業で利用されている。利用分野の一例としては、農業分野が挙げられる。農業においては、農作物の生産を阻害する害虫が、かつてから問題になっている。現在、害虫の種類および対策方法の判断は、長年の経験で培ったノウハウを持った農家によって行われている。しかし、近年、農業分野では圃場を大規模に管理し、企業的な経営で農作物を栽培する農業法人が増加している。そこでは農業の経験が浅い従業員が農作物を栽培しており、害虫に対してどのような対策をとるべきか判断することができないため、害虫を発見する度にノウハウを持った専門家に問い合わせる必要があり、業務が非効率であることが問題になっている。
【０００３】
そこで、画像処理による物体認識技術を利用して、ユーザが圃場で発見した害虫をカメラ付き携帯電話などの端末で撮影することで、撮影した害虫の種類を画像に基づいて自動的に認識し、該当する害虫の情報を検索する病害虫検索サービスの実現が期待されている。
【０００４】
物体認識技術としては、例えば、画像から図形らしさを示す特徴量を抽出し、図形の概形状を示す図形領域形状を取得し、それらから特徴量の密集度を算出することにより、図形領域を抽出する方法が知られている。また、取得した顔の画像と、所定の表情の顔の画像との特徴量の差分に基づいて、顔の表情を判断する技術もある。さらに、撮影する映像領域が一定の条件に近づいたり満たされたりするときに警告を発する技術も知られている。
【０００５】
なお、物体認識技術における特徴量については、例えば、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）や、Ｓｐｅｅｄｅｅ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）等に基づくｂａｇ−ｏｆ−ｗｏｒｄｓ表現を用いることができる。また、物体認識の結果として、認識の確信度を算出する方法が用いられることもある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２８９０７５号公報
【特許文献２】特開２００５−５６３８８号公報
【特許文献３】特開平３−２５６４５８号公報
【特許文献４】米国特許第６７１１２９３号明細書
【特許文献５】国際公開２００７−１２８４５２号
【非特許文献】
【０００７】
【非特許文献１】Csurka、 G.、 Bray、 C.、 Dance、 C. and Fan、 L.著 “Visual categorization with bags of keypoints、” in Proc. of ECCV Workshop on Statistical Learning in Computer Vision、 pp. 59.74(2004).
【非特許文献２】Taichi Joutou、 Keiji Yanai、著 "A food image recognition system with multiple kernel learning"、 Proceedings of the 16th IEEE international conference on Image processing、 November 07-10、 2009、 Cairo、 Egypt
【非特許文献３】C.-C. Chang and C.-J. Lin. 著 LIBSVM “A library for support vector machines.” ACM Transactions on Intelligent Systems and Technology、2:27:1--27:27、 2011. “Section 8: Probability Estimates(p. 30-33)”
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上記のように画像に基づいて物体認識を行なう場合、撮影の向きなどの撮影条件によっては、誤った物体名称を推定してしまうという問題がある。例えば、物体を特徴付ける部位が明瞭に写っていないような場合には、物体認識装置が誤認識してしまうことがある。また、撮影条件の自由度が大きい利用シーンにおいては、少ない情報によるガイドだけでは、ユーザが適切な撮影条件を見つけ出すのに手間がかかる。
【０００９】
そこで、本発明は、物体認識させる画像を適切に撮影することができるようにすることで、短時間で適切な物体認識を可能とする認識支援装置、認識支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
ひとつの態様である認識支援装置は、物体認識装置による物体認識を支援する認識支援装置であって、画像取得部および重要領域検出部を有する。画像取得部は、異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する。重要領域検出部は、前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、重要領域を検出する。重要領域は、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む。また、重要領域検出部は、重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する。
【００１１】
別の態様である端末装置は、上記認識支援装置と、前記画像を撮影する撮影部と、ネットワークを介して前記物体に関する情報を含む情報の送受信を行う通信部と、を有することを特徴としている。
【００１２】
さらに別の態様である認識支援方法は、物体認識装置による物体認識を支援する認識支援方法であって、物体認識を支援する認識支援装置が、異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する。認識支援装置は、前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、重要領域を検出する。重要領域は、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む。認識支援装置は、重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する。
【００１３】
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用効果を奏するので、前述した課題が解決される。
【発明の効果】
【００１４】
上述した態様の認識支援装置、認識支援方法およびプログラムによれば、物体認識させる画像を適切に撮影することができるようにすることで、短時間で適切な物体認識が可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態による物体認識システムの構成を示す概略図である。
【図２】第１の実施の形態による端末装置のハードウエア構成の一例を示すブロック図である。
【図３】第１の実施の形態による物体認識システムの構成の概略を示す機能ブロック図である。
【図４】第１の実施の形態による画像使用判定装置の構成を示す機能ブロック図である。
【図５】第１の実施の形態による認識支援装置の構成を示す機能ブロック図である。
【図６】第１の実施の形態による特徴抽出の説明図であり、（ａ）は、使用画像、（ｂ）は、特徴点の抽出、（ｃ）は、特徴クラスタの割り当てを示す。
【図７】第１の実施の形態による隣接フレーム間における特徴クラスタの変化を示す図であり、（ａ）は、時刻ｔ−１の画像を示し、（ｂ）は、時刻ｔの画像を示す。
【図８】第１の実施の形態による特徴クラスタの例を示す表であり、（ａ）はフレームｔ−１における例を示し、（ｂ）は、フレームｔにおける例を示す。
【図９】第１の実施の形態によるクラスタの変化を示す表であり、（ａ）は、増加したクラスタ数、（ｂ）は減少したクラスタ数を示す。
【図１０】第１の実施の形態による物体認識装置による処理を概念的に示す図であり、（ａ）はフレームｔ−１について示し、（ｂ）は、フレームｔについて示す。
【図１１】第１の実施の形態による特徴差分および確信度差分と特徴スコアとの関係を示す表である。
【図１２】第１の実施の形態による特徴評価格納テーブルの一例を示す図である。
【図１３】第１の実施の形態による重要領域検出の概念図であり、（ａ）は、重要特徴の選択の一例を示し、（ｂ）は、重要領域の一例を示す。
【図１４】第１の実施の形態による重要領域の表示例を示す図である。
【図１５】第１の実施の形態による物体認識システム全体の処理を示すフローチャートである。
【図１６】第１の実施の形態による特徴スコア算出および結果出力の処理を示すフローチャートである。
【図１７】第１の実施の形態による重要特徴検出の処理を示すフローチャートである。
【図１８】第２の実施の形態による物体認識システムの構成の概略を示す機能ブロック図である。
【図１９】第３の実施の形態による物体認識システムの構成の概略を示す機能ブロック図である。
【図２０】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１６】
（第１の実施の形態）
以下、図面を参照しながら第１の実施の形態による物体認識システム１について説明する。図１は、第１の実施の形態による物体認識システム１の構成を示す概略図である。図１に示すように、物体認識システム１は、サーバ３と、複数の端末装置７−１、７−２、・・・（まとめて、端末装置７ともいう）がネットワーク５を介して接続されている。サーバ３は、例えばパーソナルコンピュータなどの情報処理装置である。端末装置７は、例えば携帯端末装置である。
【００１７】
図２は、端末装置７のハードウエア構成の一例を示すブロック図である。図２に示すように、端末装置７は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）７１、メモリ７３、入力装置７５、出力装置７７、通信部７９、撮影部８１を有しており、互いにバス８３により接続され、情報をやり取りしている。
【００１８】
ＣＰＵ７１は、端末装置７全体の動作を制御する演算処理装置である。メモリ７３は、端末装置７の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ７３は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置７５は、端末装置７の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ７１に送付する装置であり、例えばテンキー等である。出力装置７７は、端末装置７による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ７１により送付される表示データに応じてテキストや画像を表示する。
【００１９】
通信部７９は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。撮影部８１は、画像を撮影するカメラ等である。ＣＰＵ７１は、メモリ７３に記録されている所定の制御プログラムを読み出して実行することによって、各種の制御処理を行うようにすることもできる。バス８３は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００２０】
図３は、第１の実施の形態による物体認識システム１の構成の概略を示す機能ブロック図、図４は、画像使用判定装置１００の構成を示す機能ブロック図、図５は、認識支援装置２００の構成を示す機能ブロック図である。図３に示すように、第１の実施の形態においては、端末装置７は、画像入力部１３、画像使用判定装置１００、認識支援装置２００、物体認識装置３００、情報出力部１５を有している。サーバ３は、害虫情報検索部３０、害虫情報データベース３２を有している。
【００２１】
画像入力部１３は、入力画像１１を取得する。ここで、入力画像１１は、端末装置７の撮影部８１により撮影された画像でもよい。このとき、画像入力部１３は撮影部８１を含んで構成される。また、画像入力部１３は、外部の装置で撮影された画像を取得するようにしてもよい。なお、入力画像１１は、同一の認識対象を含む少なくとも２つの異なる時刻に撮影された画像である。２つの画像は、同一の認識対象を、例えば、動画で撮影した画像の、異なる２つのフレームとしてもよい。
【００２２】
画像使用判定装置１００は、画像撮影装置が動画撮影のように短時間で連続して画像を撮影するような場合、計算負荷を低減するために、撮影した画像を使用するか否か判定する装置である。図４に示すように、画像使用判定装置１００は、特徴抽出部１０２、特徴書込部１０４、特徴格納部１０６、距離計算部１０８、使用判定部１１０を有している。
【００２３】
特徴抽出部１０２は、取得した入力画像１１において、特徴を抽出する。特徴の抽出は、物体認識技術における特徴量については、例えば、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）や、Ｓｐｅｅｄｅｅ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）等に基づくｂａｇ−ｏｆ−ｗｏｒｄｓ表現を用いる等、非特許文献１、２などに記載の方法や、その他の従来技術を用いることができる。例えば、まず、特徴抽出部１０２は、入力画像１１をＮ（Ｎは自然数）次元の特徴ベクトルｖに変換する。
【００２４】
特徴書込部１０４は、既に入力された入力画像において抽出された特徴を特徴格納部１０６に書き込む。特徴格納部１０６は、抽出された特徴を格納するための記憶部である。距離計算部１０８は、入力画像１１において抽出された特徴と、特徴格納部１０６に格納された特徴との差を計算する。このとき、各特徴が例えば特徴ベクトルで表されるとすると、入力画像１１と特徴格納部１０６に格納された特徴との差は、距離として計算される。例えば、距離計算部１０８は、入力画像１１から抽出した特徴ベクトルｖと特徴格納部１０６に格納されている前回使用画像の特徴ベクトルｖ’とを比較して、距離ｄを算出する。
【００２５】
使用判定部１１０は、距離計算部１０８で計算された距離ｄが例えば所定の閾値以下の場合には、入力画像１１と特徴格納部１０６に格納されている画像との差異が少なく、入力画像１１を認識支援のためのデータとして用いなくてもよいと判断する。距離計算部１０８で計算された距離が所定の閾値より大きい場合には、入力画像１１を認識支援のための使用画像１１２として用いると判断する。また、使用画像１１２の特徴ベクトルは、特徴格納部１０６に格納する。
【００２６】
特徴ベクトルの距離ｄは、例えば、以下の式１のように計算する。
【００２７】
【数１】
ここで、Ｎは特徴ベクトルの次元数であり、ｖｉは特徴ベクトルｖにおけるｉ次元目の値を表し、ｖｉ’は特徴ベクトルｖ’におけるｉ次元目の値を表す。
【００２８】
別な計算方法として、特徴ベクトルの距離ｄは、特徴ベクトルの次元毎に求めた距離のうち最大のものを求めて、以下の式２のように算出してもよい。
【００２９】
【数２】
ここで、ｎは、特徴ベクトルの次元を示し、１＜ｎ＜Ｎの整数である。ｖｎは特徴ベクトルｖにおけるｎ次元目の値を表し、ｖｎ’は特徴ベクトルｖ’におけるｎ次元目の値を表す。
【００３０】
式１、式２のいずれを用いた場合にも、使用判定部１１０は、所定の閾値を用いて条件判別することとし、条件が成立すれば、入力画像１１を使用画像１１２として出力する。なお、特徴抽出部１０２で用いる特徴量については、認識支援装置２００、物体認識装置３００において用いるものと同様のものにすることが好ましい。
【００３１】
閾値の適切な値は、用いる特徴量によって異なるが、例えばＳＩＦＴによる１０００次元のｂａｇ−ｏｆ−ｗｏｒｄｓ表現を特徴量として用いる場合、式１の閾値は、およそ１００〜１０００程度に設定し、式２の閾値は、およそ１０〜１００程度に設定するとよい。
【００３２】
図５に示すように、認識支援装置２００は、特徴抽出部２０２、特徴格納部２０４、特徴差分算出部２０６、特徴評価部２０８、重要領域検出部２１０、重要特徴選択部２１２、特徴評価格納部２１４、確信度差分算出部２１８、および撮影条件判定部２２０を有している。また、物体認識装置３００は、物体認識部３０２、確信度算出部３０４を有している。
【００３３】
認識支援装置２００において、特徴抽出部２０２は、例えば、撮影部８１で撮影され、画像使用判定装置１００で使用すると判定された使用画像１１２から、特徴を抽出する。特徴の抽出は、例えば、ＳＩＦＴや、ＳＵＲＦ等に基づく特徴にｂａｇ−ｏｆ−ｗｏｒｄｓ手法を応用して出現頻度で表現する方法等、非特許文献１、２などに記載の方法や、その他の従来技術を用いることができる。
【００３４】
特徴格納部２０４は、特徴抽出部２０２で抽出された特徴を格納する。特徴差分算出部２０６は、現在の使用画像１１２から抽出された特徴と、特徴格納部２０４にすでに格納されている過去の使用画像１１２より抽出された特徴との差分を算出する。
【００３５】
一方、物体認識装置３００は、１枚の静止画像を入力すると、画像中に含まれる物体の名称および認識結果の確からしさを表す確信度を出力する装置である。物体認識装置３００においては、非特許文献１、２に記載の技術等の物体認識技術が用いられる。物体認識装置３００は、物体認識部３０２、確信度算出部３０４を有している。物体認識部３０２は、例えば、取得した画像から特徴を抽出し、基準となる画像の特徴と比較することにより、認識された物体名称を出力する。確信度算出部３０４は、物体認識部３０２による物体認識の結果として、認識の確信度を算出して出力する。確信度とは、物体認識装置３００において用いる識別モデルに基づいて物体名称を識別する際に、どれくらいの確信を持って物体名称を決定付けているかを表す数値である。確信度は、予め構築した識別モデルにおける識別境界面と、使用画像の特徴ベクトルとの距離にもとづいて算出される。確信度の算出は、例えば非特許文献３に記載の方法など、既存の方法を用いることができる。
【００３６】
確信度格納部２１６は、物体認識部３０２から物体名称を取得し、確信度算出部３０４から確信度を取得して格納する。確信度差分算出部２１８は、使用画像１１２の確信度と、既に２１５に格納されている確信度の情報から、確信度差分を算出する。
【００３７】
特徴評価部２０８は、特徴差分算出部２０６で算出された特徴差分と、確信度差分算出部２１８で算出された確信度差分とから後述する特徴スコアを算出する。特徴評価格納部２１４は、特徴評価部２０８で算出された特徴スコアを格納する。重要特徴選択部２１２は、特徴評価部２０８で算出された特徴スコアから、重要特徴を選択する。重要領域検出部２１０は、重要特徴選択部２１２で選択された重要特徴から、重要特徴領域を検出するとともに、重要領域通知２２２として出力する。撮影条件判定部２２０は、確信度算出部３０４から確信度を取得し、撮影条件を判定するとともに、認識準備完了通知２２４を出力する。
【００３８】
サーバ３の害虫情報検索部３０は、物体認識装置３００が出力した物体名称に基づき、害虫に関する情報を検索する。害虫情報データベース３２は、害虫の名称と、害虫の生態、農作物への影響、駆除の方法などの情報とを関連付けて記憶する記憶装置である。
【００３９】
次に、図６から図１２を参照しながら、本実施の形態による特徴スコアの算出方法について説明する。図６は、第１の実施の形態による特徴抽出の説明図であり、（ａ）は、使用画像、（ｂ）は、特徴点の抽出、（ｃ）は、特徴クラスタの割り当てを示す。図７は、隣接フレーム間における特徴クラスタの変化を示す図である。図８は、特徴クラスタの例を示す表であり、（ａ）は、フレームｔ−１における例、（ｂ）は、フレームｔにおける例を示す。図９は、クラスタの変化を示す表であり、（ａ）は、増加したクラスタ数、（ｂ）は減少したクラスタ数を示す。
【００４０】
図６に示すように、画像使用判定装置１００により入力画像１１を使用画像１１２とすると判別されると、認識支援装置２００、物体認識装置３００は、使用画像１１２を取得する。認識支援装置２００は、使用画像１１２を解析して特徴差分を出力し、物体認識装置３００は、使用画像１１２を解析して、物体名称と確信度を出力する。
【００４１】
まず、図６から図９を参照しながら、特徴差分の算出について説明する。図６（ｂ）に示すように、認識支援装置２００は、特徴抽出部２０２により、使用画像１１２からＳＩＦＴやＳＵＲＦなどの局所特徴量アルゴリズムに基づき特徴点を抽出し、各特徴点の周辺画像を表現した特徴ベクトルを生成する。そして、図６（ｃ）に示すように、ｂａｇ−ｏｆ−ｗｏｒｄｓアルゴリズムにもとづき、各特徴点の特徴ベクトルをクラスタリング（分類）し、特徴点の種類を表す特徴クラスタ（特徴分類ともいい、図６の例では、Ｂ、Ｄ、Ｅ）を各特徴点に割り当てる。
【００４２】
次に、特徴差分算出部２０６は、図７のように、例えば、動画の中の隣接したフレーム画像間で各特徴クラスタの数について増減差分を求める。例えば、図７（ａ）がフレームｔ−１（時刻ｔ−１におけるフレーム）の画像であり、（ｂ）がフレームｔ（時刻ｔにおけるフレーム）の画像であるとすると、各フレーム画像における各特徴クラスタの数は、図８に示す表のようになる。
【００４３】
図８（ａ）に示すように、フレームｔ−１においては、特徴クラスタが「Ｂ」の特徴点が２個、特徴クラスタが「Ｄ」の特徴点が３個、特徴クラスタが「Ｅ」の特徴点が３個となっている。図８（ｂ）に示すように、フレームｔにおいては、特徴クラスタが「Ａ」の特徴点が２個、特徴クラスタが「Ｃ」の特徴点が１個、特徴クラスタが「Ｄ」の特徴点が３個、特徴クラスタが「Ｅ」の特徴点が３個となっている。したがって、フレーム間における差分特徴クラスタは、図９のような算出結果となる。
【００４４】
図９（ａ）に示すように、フレームｔ−１とフレームｔの間で増加した特徴クラスタ数は、特徴クラスタが「Ａ」の特徴点が２個、特徴クラスタが「Ｃ」の特徴点が１個である。図９（ｂ）に示すように、減少した特徴クラスタ数は、特徴クラスタが「Ｂ」の特徴点が２個である。この、各特徴クラスタ毎の、例えば最新の使用画像１１２と一つ前の使用画像１１２との特徴点の数の差を、特徴差分ｄＮｋｔ（ｋは、特徴クラスタの種類を区別するための変数、ｔは、画像を取得した時刻）ということにする。また、例えば、変数ｋに対応する特徴クラスタは、特徴クラスタｋなどということにする。
【００４５】
次に、特徴スコアの算出に用いる確信度差分の算出処理について説明する。図５に示した確信度算出部３０４は、使用画像１１２から物体認識部３０２が認識した物体名称の確信度を算出し、認識支援装置２００に出力する。認識支援装置２００では、入力された確信度を確信度格納部２１６に格納するとともに、確信度差分算出部２１８が、例えば、フレームｔ−１の確信度を確信度格納部２１６から読み出し、フレームｔの確信度との差分を算出する。
【００４６】
時刻ｔにおけるフレームｔにおける確信度を確信度Ｐ（ｔ）とすると、確信度差分ｄＰは、以下の式３で表される。
ｄＰ＝Ｐ（ｔ）−Ｐ（ｔ−１）・・・（式３）
【００４７】
図１０は、物体認識装置３００による処理を概念的に示す図であり、（ａ）はフレームｔ−１について示し、（ｂ）は、フレームｔについて示す。図１０（ａ）に示すように、物体認識装置３００は、使用画像１１２−１としてフレームｔ−１が入力された場合には、予め内部に備えられた物体認識エンジンにより、例えば、結果２３０に示すように、物体名称「ウリハムシ」、確信度Ｐ（ｔ−１）＝４０と出力する。図１０（ｂ）に示すように、物体認識装置３００は、使用画像１１２−２としてフレームｔが入力された場合には、予め内部に備えられた物体認識エンジンにより、例えば、結果２３２に示すように、物体名称「ウリハムシ」、確信度Ｐ（ｔ）＝５０と出力する。この場合、認識支援装置２００の確信度格納部２１６は、フレームｔ−１の確信度として、確信度Ｐ（ｔ−１）＝４０を格納し、フレームｔの確信度として、確信度Ｐ（ｔ）＝５０を格納する。確信度差分算出部２１８は、確信度差分ｄＰ＝１０と算出する。
【００４８】
次に、図１１、１２を参照しながら、上記のように、特徴クラスタ毎の特徴差分ｄＮｋｔと、確信度差分ｄＰが算出された際に、特徴評価部２０８で行われる特徴評価処理について述べる。図１１は、特徴差分ｄＮｋｔおよび確信度差分ｄＰと特徴スコアとの関係を示す表である。図１２は、特徴評価格納テーブルの一例を示す図である。
【００４９】
物体認識を行う上で適切な撮影条件を満たすことは、すなわち物体認識装置３００が高い確信度を出力する状態を得ることである。したがって本実施の形態では、確信度を増加させるために撮影すべき重要領域を検出し、ユーザに通知する。重要領域とは、確信度増加に寄与する特徴点が密集する領域である。
【００５０】
特徴評価部２０８は、確信度Ｐ（ｔ）に寄与する特徴点（重要特徴点という）を検出するため、各特徴クラスタに対して確信度に寄与する度合いを表す特徴スコアを算出する。フレーム間において、確信度が増加した際に増加した特徴点は重要な特徴点であり、確信度が減少した際に増加した特徴点は重要ではない特徴点である、という考えにもとづき、図１１のように特徴スコアを算出する。
【００５１】
図１１に示すように、特徴差分ｄＮｋｔと確信度Ｐ（ｔ）がともに増加している場合には、特徴スコアは増加するようにし、特徴差分ｄＮｋｔが増加しており、確信度Ｐ（ｔ）が減少している場合には特徴スコアは減少するようにする。また、特徴差分ｄＮｋｔが減少し、確信度Ｐ（ｔ）が増加している場合には、特徴スコアは減少するようにし、特徴差分ｄＮｋｔと確信度Ｐ（ｔ）がともに減少している場合には、特徴スコアを増加させるようにする。
【００５２】
特徴評価部２０８は、特徴スコアを、フレーム間の特徴差分ｄＮｋｔおよび確信度差分ｄＰに基づき算出する。特徴スコアは、式４および式５により逐次的に更新される。ここで、時刻ｔ、ｔ−１における特徴クラスタｋの特徴点に対する特徴スコアをそれぞれＥ（ｋｔ）、Ｅ（ｋｔ−１）とし、時刻ｔのフレームｔにおいて変化した特徴クラスタｋの特徴点の個数を特徴差分ｄＮｋｔとする。また、各特徴スコアの初期値Ｅ（ｋ０）＝０とする。
【００５３】
Ｅ（ｋｔ）＝Ｅ（ｋｔ−１）＋ｄＥｋｔ・・・（式４）
式４において、
ｄＥｋｔ=ｄＮｋｔ×（Ｐ（ｔ）−Ｐ（ｔ―１））・・・（式５）
【００５４】
特徴評価格納部２１４は、式４、式５により算出された特徴スコアＥ（ｋｔ）を保持する。図１２は、特徴評価格納部２１４に格納される特徴評価格納テーブルの一例を示す図である。図１２に示すように、特徴評価格納部２１４は、例えば、物体名称「ウリハムシ」、特徴クラスタ「Ａ」、特徴スコア「２０００」などと、それぞれ保持する。物体の種類によって重要となる特徴点が変わるため、特徴評価格納部２１４は、物体種類ごとに特徴スコアＥ（ｋｔ）を保持する。
【００５５】
次に、図１３、図１４を参照しながら、重要領域の検出について説明する。重要特徴選択部２１２では、上記のように算出した特徴スコアＥ（ｋｔ）を用いて、確信度Ｐ（ｔ）の増加に大きく寄与する重要特徴を選択する。図１３は、重要領域検出の概念図、図１４は、重要領域の表示例を示す図である。
【００５６】
図１３（ａ）に示すように、重要領域検出部２１０は、重要特徴が密集した重要領域を検出する。すなわち、重要領域検出部２１０は、特徴スコアＥ（ｋｔ）の上位所定数（例えばＭ件）の特徴クラスタｋを重要特徴と設定し、画像から抽出された全ての特徴点のうち、図１３（ａ）の例では重要特徴と設定した特徴クラスタに分類されている特徴点２３４〜２３８を重要特徴点とする。
【００５７】
重要領域検出部２１０は、重要特徴点を中心とした半径ｒの円領域を検出し、図１３（ｂ）のように、それぞれの領域を結合した領域２４２を生成する。重要領域検出部２１０は、結合領域の面積が所定以下の場合には、重要特徴として設定する特徴クラスタの数を増やし、同様の処理を繰り返すことにより、所定面積以上の重要領域を検出する。
【００５８】
図１４は、認識支援装置２００からの出力の一例を示す図である。図１４に示すように、重要領域が検出されたら、例えば、カメラのファインダー上に、重要領域を表すインジケータ２４６、２４８を重畳し、ユーザに通知する。
【００５９】
以下、本実施の形態による物体認識システム１の動作を、図１５から図１７を参照しながらさらに説明する。図１５は、物体認識システム１全体の処理を示すフローチャート、図１６は、特徴スコア算出および結果出力の処理を示すフローチャート、図１７は、重要特徴検出の処理を示すフローチャートである。
【００６０】
本実施の形態においては、物体認識システム１を用いて、農業分野における害虫情報検索サービスを実施する場合を例にして説明する。すなわち、ユーザが端末装置７の撮影部８１により撮影した害虫の画像を、物体認識装置３００および認識支援装置２００を用いて自動認識し、端末装置７の情報表示装置で害虫の名称や害虫対策情報を出力するサービスを想定する。
【００６１】
まず、端末装置７の撮影部８１により、時刻ｔにおいて画像を撮影し、端末装置７は、時刻ｔに撮影された入力画像１１を取得する（Ｓ４０１）。このとき、画像使用判定装置１００は、その後の処理において取得した入力画像１１を用いるか否かの判定を行う。すなわち、画像使用判定装置１００が入力画像１１を取得し、特徴抽出部１０２が入力画像１１の特徴を抽出する。距離計算部１０８は、入力画像１１と、特徴格納部１０６に格納されている時刻ｔ−１の画像から抽出された特徴とから距離ｄを算出する。使用判定部１１０は、算出された距離ｄが所定値よりも大きいか否かにより、入力画像１１を使用するか否か判定する（Ｓ４０２）。
【００６２】
使用判定部１１０が、画像を使用すると判定しない場合には（Ｓ４０３：ＮＯ）、時刻ｔを時刻ｔ＋１と置き換え（Ｓ４０４）、新たに撮影された画像について、Ｓ４０１からＳ４０３の処理を繰り返す。使用判定部１１０が、入力画像１１を使用すると判定すると（Ｓ４０３：ＹＥＳ）、物体認識装置３００において、物体認識を行う（Ｓ４０５）。物体認識装置３００は、上記に説明したように、例えば、図１０のような害虫を撮影した画像を取得すると、害虫の名称である「ウリハムシ」および確信度Ｐ（ｔ）を出力する。
【００６３】
認識支援装置２００は、物体認識装置３００が認識した物体名称、ここでは害虫の名称と、その確信度Ｐ（ｔ）を取得する（Ｓ４０５）。一方、撮影条件判定部２２０は、確信度Ｐ（ｔ）が所定値θ以上か否か判別し、所定値θ未満の場合には（Ｓ４０７：ＮＯ）、図１６の特徴抽出処理に処理を進める。
【００６４】
図１６に示すように、確信度差分算出部２１８は、現在取得されているフレームｔの確信度Ｐ（ｔ）と、確信度格納部２１６に記録されている前フレームｔ−１における確信度Ｐ（ｔ−１）とを比較することで、確信度の差分を算出する（Ｓ４２１）。また、取得したフレームｔの確信度Ｐ（ｔ）を確信度格納部２１６に格納する（Ｓ４２２）。
【００６５】
一方、特徴抽出部２０２は、取得したフレームｔから、特徴ベクトルや、特徴クラスタなどの特徴を定量化した特徴情報を抽出する（Ｓ４２３）。特徴差分算出部２０６は、特徴格納部２０４に記録されているフレームｔ−１における特徴ベクトル、特徴クラスタと、抽出したフレームｔの特徴ベクトル、特徴クラスタの差分である特徴差分を抽出する（Ｓ４２４）。また、特徴抽出部２０２は、抽出された特徴ベクトル、特徴クラスタなどの特徴を定量化した特徴情報を、特徴格納部２０４に記録する（Ｓ４２５）。
【００６６】
特徴評価部２０８は、確信度の差分および特徴差分に基づき、特徴スコアを算出する（Ｓ４２６）。特徴スコアは、上記式４により算出される。特徴抽出部２０２が、特徴ベクトル、特徴クラスタなどの特徴を定量化した特徴情報を特徴格納部２０４に記録すると同時に、特徴評価部２０８は、得られた確信度差分ｄＰおよび特徴差分ｄＮｋｔを特徴評価格納部２１４に記録する（Ｓ４２７）。ＣＰＵ７１は、後述の重要特徴クラスタ数Ｍ＝１と設定し、処理を図１７に示す重要特徴検出処理に進める（Ｓ４２９）。
【００６７】
図１７に示すように、重要特徴選択部２１２は、Ｓ４２６で算出した特徴クラスタ毎の特徴スコアＥ（ｋｔ）から、上位Ｍ件の特徴クラスタを重要特徴として選択する（Ｓ４４１）。例えば、図８（ｂ）において、Ｍ＝２である場合には、重要特徴として、個数が上位２件である特徴クラスタ「Ｄ」と「Ｅ」を選択する。また、重要特徴選択部２１２は、例えば図１３（ａ）において丸印で示したように、フレームｔから抽出された特徴点の中から、重要特徴として選択された特徴クラスタに分類された特徴点を、例えば図１３（ａ）の点２３４〜２３８のように重要特徴点として選択する（Ｓ４４２）。
【００６８】
重要領域検出部２１０は、例えば図１３（ｂ）に示すように、Ｓ４４２で選択された重要特徴点を中心とした半径ｒの領域を結合した結合領域２４２を抽出する（Ｓ４４３）。そして、重要領域検出部２１０は、結合領域２４２の面積が面積基準値Ｓ未満の場合には（Ｓ４４４：ＮＯ）、重要特徴クラスタ数ＭをＭ＋１に置き換えて、Ｓ４４１からＳ４４４の処理を繰り返す。すなわち、重要領域検出部２１０は、結合領域の面積が面積基準値Ｓ未満であれば、重要特徴として設定する重要特徴クラスタ数Ｍを１つ増やして（Ｓ４４５）、結合領域の面積が面積基準値Ｓ以上になるまで、同様の処理を繰り返す。
【００６９】
ここで、図１６に示したように、重要特徴クラスタ数Ｍの初期値は例えば「１」であり、重要領域の面積基準値Ｓは、例えば、画像全体の面積の５〜１０％程度の面積に設定することが好ましい。半径ｒについては、想定される使用画像１１２の面積をＸ、１枚の画像から抽出される特徴点の平均数をＮＰとすると、（Ｘ／ＮＰ）１／２程度に設定することが好ましい。結合領域の面積が面積基準値Ｓ以上であれば、重要領域検出部２１０は、結合領域を重要領域とみなし、重要領域検出処理を終える（Ｓ４４６）。
【００７０】
図１６の処理に戻って、重要領域検出部２１０は、例えば図１４のように、抽出された重要領域を表すインジケータ２４６、２４８を、端末装置７の表示装置など出力装置７７に出力する。続いて時刻ｔをｔ＋１として、図１５のＳ４０１に戻って処理を繰り返す。
【００７１】
認識支援装置２００は、Ｓ４０１〜Ｓ４０７の処理を繰り返し、撮影条件判定部２２０が、Ｓ４０７において確信度Ｐ（ｔ）が所定値θ以上であると判別した場合には（Ｓ４０７：ＹＥＳ）、認識準備完了通知２２４を出力する（Ｓ４０８）。すなわち、撮影条件判定部２２０は、認識に適した撮影条件に達したことを、出力装置７７に表示を行うなどにより通知する。
【００７２】
ここで、撮影条件判定部２２０は、物体認識装置３００が出力する確信度Ｐ（ｔ）が基準値θより大きくなったときに、適切な撮影条件を満たしたと判断し、認識準備が完了したことをユーザに通知する。なお、確信度Ｐ（ｔ）の範囲が０〜１００のとき、所定値θは８０〜９０程度に設定することが好ましい。
【００７３】
端末装置７は、サーバ３にアクセスし、害虫情報検索部３０により、害虫情報データベース３２から認識された物体に関する情報を検索し、検索した情報を取得して表示する（Ｓ４１０）。
【００７４】
以上説明したように、本実施の形態による物体認識システム１によれば、端末装置７は、認識対象の物体を含む画像を複数撮影する。画像使用判定装置１００は、端末装置７において撮影された静止画像を入力画像１１として取得し、使用するか否か判断する。使用すると判断された使用画像１１２について、物体認識装置３００は、予め備えられた物体認識エンジンにより、物体名称と確信度Ｐ（ｔ）を出力する。認識支援装置２００は、物体名称と確信度Ｐ（ｔ）を取得する。
【００７５】
また、認識支援装置２００は、使用画像１１２において、特徴点を特徴クラスタに分類し、撮影時刻が現在の使用画像１１２よりも前の画像との特徴差分ｄＮｋｔを算出する。認識支援装置２００は、使用画像１１２と、撮影時刻が現在の使用画像１１２よりも前の画像との確信度差分ｄＰと、特徴差分ｄＮｋｔとから、各特徴点について認識に影響を与える度合いを表す特徴スコアを算出する。
【００７６】
認識支援装置２００は、さらに、重要領域検出部２１０により、特徴スコアが高い特徴クラスタに基づき重要特徴領域を検出し、使用画像１１２に重要特徴領域の位置を表すインジゲータを重畳した画像を生成し出力する。以上の処理により、害虫情報検索サービスを実現している。
【００７７】
以上のように、本実施の形態による物体認識システム１によれば、農業分野における害虫情報検索サービスを構成することができる。このとき、入力画像１１を、その後の工程で処理対象として使用するかを判定することができる。
【００７８】
例えば、端末装置７の撮影部８１により、少なくとも２つの画像が撮影されるタイミングが時間的に間隔がある場合、物体認識装置３００は、全ての入力画像１１を使用してもよい。しかし、撮影部８１が、動画撮影のように短時間で連続して画像を撮影するような場合、全ての撮影画像を使用することは、ＣＰＵ７１の処理負荷を大きくしてしまう場合がある。そこで、画像使用判定装置１００における判定を行って、入力画像１１を間引きして使用画像１１２として用いることにより、処理負荷の増大を防止することができる。
【００７９】
一方で、入力画像１１の間引きを行うことは、物体認識装置３００に入力する情報を減少させるために、認識率が低下してしまう可能性がある。使用画像判定装置において判定する際には、情報が出来るだけ減少しないよう、似たような特徴を持つ冗長な画像だけを省いて、撮影画像から得られる特徴のバリエーションは維持することができる。
【００８０】
そして、認識支援装置２００において、物体認識を行う上で、画像が適切な条件で撮影されたか否かを判定することができる。画像が適切な条件で撮影されたと判断されたとき、物体認識装置３００が出力した物体名称に基づき、サーバ３の害虫情報検索部３０において、害虫情報を検索することができる。最終的には、端末装置７の出力装置７７に害虫情報を表示することができ、害虫情報検索サービスが実現される。
【００８１】
このように、認識支援装置２００によれば、物体認識を行うための画像の撮影条件を適切な撮影条件に近づけるため、物体認識を行う上で精度に影響を与える重要な領域を自動検出し、ユーザに対して提示することができる。
【００８２】
よって、ユーザに、具体的にどの領域が写るように撮影すればよいかを知らしめることができ、適切な撮影条件を見つけ出すまでの時間および手間を削減できるとともに、物体認識の精度を向上させることができる。例えば、ユーザは、撮影時にファインダー上などに表示されたインジケータを確認しながら、適切な撮影条件に近づくようカメラの向きなどの撮影条件を変化させることができ、高い精度の物体認識結果を得ることができる。
【００８３】
特に、農業分野における害虫情報検索サービスのような利用シーンにおいては、撮影する際のカメラの向きは様々であり、撮影条件の変化に対する自由度が更に大きい。このため、適切な撮影条件に近づいているか否かという少ない情報によるガイドでは、ユーザが適切な撮影条件を探し出すには試行錯誤を繰り返す必要があり、手間がかかる。しかし、本実施の形態による物体認識システム１によれば、このような手間を削減でき、農業分野におけるサ害虫情報検索などのサービスを可能にすることができる。
【００８４】
（第２の実施の形態）
次に、第２の実施の形態による物体認識システム４５０について説明する。第２の実施の形態による物体認識システム４５０は、第１の実施の形態による物体認識システム１の変形例であり、同様の構成および動作には同一符号を付し、重複説明を省略する。
【００８５】
図１８は、第２の実施の形態による物体認識システム４５０の構成の概略を示す機能ブロック図である。図１８に示すように、第２の実施の形態においては、端末装置４５７は、画像入力部１３、画像使用判定装置１００、認識支援装置２００、および情報出力部１５を有している。サーバ４５３は、物体認識装置３００、害虫情報検索部３０、害虫情報データベース３２を有している。物体認識システム４５０の各構成要素の機能、および処理動作は第１の実施の形態と同様である。
【００８６】
図１８に示すように、本実施の形態では、物体認識装置３００は、携帯端末４５７ではなく、サーバ４５３に備えられている。よって、例えば、図１５のＳ４０５の処理は、認識支援装置２００と物体認識装置３００との間でネットワークを介して通信を行う。他の構成および動作は、第１の実施の形態による物体認識システム１と同様である。
【００８７】
第２の実施の形態による物体認識システム４５０によれば、第１の実施の形態による物体認識システム１と同様、物体認識の手間を低減し、精度を向上させることができる。さらに、端末装置４５７に物体認識装置３００を搭載しなくてもよいため、端末装置４５７における認識支援装置２００の省スペース化を図ることができる。また、物体認識をサーバ３で行うことにより、端末装置４５７における処理負担を軽減することが可能となる。さらに、物体認識を端末装置４５７で行うのに比べて、サーバ３で行うことにより処理を高速化することが可能となる。
【００８８】
（第３の実施の形態）
次に、第３の実施の形態による物体認識システム４８０について説明する。第３の実施の形態による物体認識システム４８０は、第１および第２の実施の形態による物体認識システムの変形例であり、同様の構成および動作には同一符号を付し、重複説明を省略する。
【００８９】
図１９は、第３の実施の形態による物体認識システム４８０の構成の概略を示す機能ブロック図である。図１８に示すように、第３の実施の形態においては、物体認識システム４８０は、端末装置４８７により実現される。端末装置４８７は、画像入力部１３、画像使用判定装置１００、認識支援装置２００、物体認識装置３００、害虫情報検索部３０、害虫情報データベース３２、および情報出力部１５を有している。端末装置４８７の各構成要素の機能、および処理動作は第１の実施の形態と同様である。
【００９０】
図１９に示すように、本実施の形態では、物体認識システムを構成する機能の全てを端末装置４８７が備えている。他の構成および動作は、第１の実施の形態による物体認識システム１と同様である。
【００９１】
第３の実施の形態による物体認識システム４８０によれば、第１および第２の実施の形態による物体認識システム１、物体認識システム４５０と同様、物体認識の手間を低減し、精度を向上させることができる。さらに、物体認識システム４８０の全ての機能を端末装置４８７が有しているため、ネットワーク５の状態に依存せずに処理を行なうことができる。よって、ネットワーク５が混雑している場合や、通信状態が悪い場合にも、処理を迅速に行なうことができる。
【００９２】
上記第１から第３の実施の形態において、特徴抽出部２０２は、画像取得部、特徴点抽出部、特徴ベクトル算出部、特徴量算出部の一例であり、特徴差分抽出部２０６は、特徴分類生成部、特徴点分類部の一例である。特徴評価部２０８は、特徴スコア算出部の一例であり、確信度差分算出部２１８は、確信度取得部および確信度差分算出部の一例である。
【００９３】
ここで、上記第１から第３の実施の形態による物体認識システムの動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図２０は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図２０に示すように、コンピュータ５００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）５０２、メモリ５０４、入力装置５０６、出力装置５０８、外部記憶装置５１２、媒体駆動装置５１４、ネットワーク接続装置５１８等がバス５１０を介して接続されている。
【００９４】
ＣＰＵ５０２は、コンピュータ５００全体の動作を制御する演算処理装置である。メモリ５０４は、コンピュータ５００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ５０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置５０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ５０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置５０８は、コンピュータ５００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ５０２により送付される表示データに応じてテキストや画像を表示する。
【００９５】
外部記憶装置５１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ５０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置５１４は、可搬記録媒体５１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ５０２は、可搬型記録媒体５１６に記録されている所定の制御プログラムを、記録媒体駆動装置５１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体５１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置５１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス５１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００９６】
上記第１から第３の実施の形態による認識支援方法をコンピュータに実行させるプログラムは、例えば外部記憶装置５１２に記憶させる。ＣＰＵ５０２は、外部記憶装置５１２からプログラムを読み出し、コンピュータ５００に認識支援の動作を行なわせる。このとき、まず、認識支援の処理をＣＰＵ５０２に行わせるための制御プログラムを作成して外部記憶装置５１２に記憶させておく。そして、入力装置５０６から所定の指示をＣＰＵ５０２に与えて、この制御プログラムを外部記憶装置５１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体５１６に記憶するようにしてもよい。
【００９７】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。
【００９８】
例えば、インジケータの表示例は、図１４に限定されず、他の形態によるものでもよい。例えば、画面の一部に３つの異なる色を持つ丸印などによる信号のような図を表示させ、適切な撮影位置、適切な撮影位置に近づいている時、適切な撮影位置から遠ざかっている時の３つの状態に応じて信号に表示する色を切り替えるようにしてもよい。このような例によれば、色を変えることにより、ユーザが適切な撮影位置で撮影できるようガイドすることができる。
【００９９】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
物体認識装置による物体認識を支援する認識支援装置であって、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する画像取得部と、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する重要領域検出部と、
を有することを特徴とする認識支援装置。
（付記２）
前記２つの画像における前記物体認識装置による認識の確信度を取得する確信度取得部と、
前記２つの画像からそれぞれ取得された前記確信度の差分を算出する確信度差分算出部と、
前記２つの画像に含まれる特徴を有する特徴点を抽出する特徴点抽出部と、
前記特徴点における特徴を定量化した特徴量をそれぞれ算出する特徴量算出部と、
前記２つの画像からそれぞれ抽出された前記特徴量の差分を算出する特徴差分算出部と、
前記２つの画像それぞれの前記確信度の差分および前記特徴量の差分に基づいて前記確信度の向上に対する前記特徴量の寄与度を示す特徴スコアを算出する特徴スコア算出部と、
をさらに有し、
前記重要領域検出部は、前記特徴スコアに基づいて重要領域を検出する、
ことを特徴とする付記１に記載の認識支援装置。
（付記３）
前記特徴量算出部は、前記画像に含まれる特徴を類似性に基づき分類して特徴分類を生成する特徴分類生成部、
を有し、
前記特徴分類生成部は、前記特徴量および前記特徴スコアを前記特徴分類毎に算出することを特徴とする付記２に記載の認識支援装置。
（付記４）
前記特徴量算出部は、
前記特徴点に基づく特徴ベクトルを算出する特徴ベクトル算出部と、
前記特徴ベクトルに基づき前記特徴分類を生成する分類生成部と、
前記特徴点に前記特徴分類を関連付ける特徴点分類部と、
前記特徴分類毎に関連付けられた前記特徴点の数を抽出する特徴点数抽出部、
ことにより行われることを特徴とする付記２に記載の認識支援装置。
（付記５）
前記特徴差分算出部は、
前記特徴分類に分類された前記特徴に対応する前記特徴点の数の差分を、前記特徴分類ごとに算出することを特徴とする付記４に記載の認識支援装置。
（付記６）
前記特徴スコア算出部は、
前記特徴量の差分と、前記確信度の差分との積に基づいて前記特徴スコアを算出することを特徴とする付記５に記載の認識支援装置。
（付記７）
前記重要領域検出部は、
前記特徴分類毎の特徴スコアのうち、上位のものから所定数の特徴分類に分類された前記特徴を有する前記特徴点に基づき前記重要領域を検出することを特徴とする付記３に記載の認識支援装置。
（付記８）
さらに、
前記画像を使用するか否かを判定する画像使用判定部、
を有し、
前記画像を使用すると判別されると、前記特徴点を抽出し、前記特徴量を算出し、前記特徴量の差分を算出し、前記特徴スコアを算出し、前記重要領域を検出することを特徴とする付記１から付記７のいずれかに記載の認識支援装置。
（付記９）
付記１から付記８のいずれかに記載の認識支援装置と、
前記画像を撮影する撮影部と、
ネットワークを介して前記物体に関する情報を含む情報の送受信を行う通信部と、
を有することを特徴とする端末装置。
（付記１０）
物体認識装置による物体認識を支援する認識支援方法であって、
物体認識を支援する認識支援装置が、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
前記重要領域を表示部に通知する
ことを特徴とする認識支援方法。
（付記１１）
前記２つの画像における前記物体認識装置による認識の確信度を取得し、
前記２つの画像からそれぞれ取得された前記確信度の差分を算出し、
前記２つの画像に含まれる特徴を有する特徴点を抽出し、
前記特徴点における特徴を定量化した特徴量を算出し、
前記２つの画像からそれぞれ抽出された前記特徴量の差分を算出し、
前記２つの画像それぞれの前記確信度の差分および前記特徴量の差分に基づいて前記確信度の向上に対する前記特徴量の寄与度を示す特徴スコアを算出し、
前記特徴スコアに基づいて、前記重要領域を検出することを特徴とする付記１０に記載の認識支援方法。
（付記１２）
前記特徴量を算出する処理においては、前記画像に含まれる特徴を類似性に基づき分類して特徴分類を生成し、
前記特徴量および前記特徴スコアは前記特徴分類毎に算出することを特徴とする付記１１に記載の認識支援方法。
（付記１３）
前記特徴量を算出する処理は、
前記特徴点に基づく特徴ベクトルを算出し、
前記特徴ベクトルに基づき前記特徴分類を生成し、
前記特徴点に前記特徴分類を関連付け、
前記特徴分類毎に関連付けられた前記特徴点の数を抽出する、
ことにより行われることを特徴とする付記１１に記載の認識支援方法。
（付記１４）
前記特徴量の差分を算出する処理は、
前記特徴分類に分類された前記特徴に対応する前記特徴点の数の差分を、前記特徴分類ごとに算出することを特徴とする付記４に記載の認識支援方法。
（付記１５）
コンピュータが、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
検出した前記重要領域を、表示部に通知する
ことにより物体認識を支援する処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１００】
１ 物体認識システム
３ サーバ
５ ネットワーク
７ 端末装置
１１ 入力画像
１３ 画像入力部
１５ 情報出力部
２７ 端末装置
３０ 害虫情報検索部
３２ 害虫情報データベース
７１ ＣＰＵ
７３ メモリ
７５ 入力装置
７７ 出力装置
７９ 通信部
８１ 撮影部
１００ 画像使用判定装置
２００ 認識支援装置
３００ 物体認識装置
１０２ 特徴抽出部
１０４ 特徴書込部
１０６ 特徴格納部
１０８ 距離計算部
１１０ 使用判定部
１１２ 使用画像
２０２ 特徴抽出部
２０４ 特徴格納部
２０６ 特徴差分算出部
２０８ 特徴評価部
２１０ 重要領域検出部
２１２ 重要特徴選択部
２１４ 特徴評価格納部
２１６ 確信度格納部
２１８ 確信度差分算出部
２２０ 撮条件判定部
２２２ 重要領域通知
２２４ 認識準備完了通知
３０２ 物体認識部
３０４ 確信度算出部
【技術分野】
【０００１】
本発明は、認識支援装置、認識支援方法、およびプログラムに関する。
【背景技術】
【０００２】
画像に含まれている物体の名称を推定する物体認識技術は、様々な産業で利用されている。利用分野の一例としては、農業分野が挙げられる。農業においては、農作物の生産を阻害する害虫が、かつてから問題になっている。現在、害虫の種類および対策方法の判断は、長年の経験で培ったノウハウを持った農家によって行われている。しかし、近年、農業分野では圃場を大規模に管理し、企業的な経営で農作物を栽培する農業法人が増加している。そこでは農業の経験が浅い従業員が農作物を栽培しており、害虫に対してどのような対策をとるべきか判断することができないため、害虫を発見する度にノウハウを持った専門家に問い合わせる必要があり、業務が非効率であることが問題になっている。
【０００３】
そこで、画像処理による物体認識技術を利用して、ユーザが圃場で発見した害虫をカメラ付き携帯電話などの端末で撮影することで、撮影した害虫の種類を画像に基づいて自動的に認識し、該当する害虫の情報を検索する病害虫検索サービスの実現が期待されている。
【０００４】
物体認識技術としては、例えば、画像から図形らしさを示す特徴量を抽出し、図形の概形状を示す図形領域形状を取得し、それらから特徴量の密集度を算出することにより、図形領域を抽出する方法が知られている。また、取得した顔の画像と、所定の表情の顔の画像との特徴量の差分に基づいて、顔の表情を判断する技術もある。さらに、撮影する映像領域が一定の条件に近づいたり満たされたりするときに警告を発する技術も知られている。
【０００５】
なお、物体認識技術における特徴量については、例えば、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）や、Ｓｐｅｅｄｅｅ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）等に基づくｂａｇ−ｏｆ−ｗｏｒｄｓ表現を用いることができる。また、物体認識の結果として、認識の確信度を算出する方法が用いられることもある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２８９０７５号公報
【特許文献２】特開２００５−５６３８８号公報
【特許文献３】特開平３−２５６４５８号公報
【特許文献４】米国特許第６７１１２９３号明細書
【特許文献５】国際公開２００７−１２８４５２号
【非特許文献】
【０００７】
【非特許文献１】Csurka、 G.、 Bray、 C.、 Dance、 C. and Fan、 L.著 “Visual categorization with bags of keypoints、” in Proc. of ECCV Workshop on Statistical Learning in Computer Vision、 pp. 59.74(2004).
【非特許文献２】Taichi Joutou、 Keiji Yanai、著 "A food image recognition system with multiple kernel learning"、 Proceedings of the 16th IEEE international conference on Image processing、 November 07-10、 2009、 Cairo、 Egypt
【非特許文献３】C.-C. Chang and C.-J. Lin. 著 LIBSVM “A library for support vector machines.” ACM Transactions on Intelligent Systems and Technology、2:27:1--27:27、 2011. “Section 8: Probability Estimates(p. 30-33)”
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上記のように画像に基づいて物体認識を行なう場合、撮影の向きなどの撮影条件によっては、誤った物体名称を推定してしまうという問題がある。例えば、物体を特徴付ける部位が明瞭に写っていないような場合には、物体認識装置が誤認識してしまうことがある。また、撮影条件の自由度が大きい利用シーンにおいては、少ない情報によるガイドだけでは、ユーザが適切な撮影条件を見つけ出すのに手間がかかる。
【０００９】
そこで、本発明は、物体認識させる画像を適切に撮影することができるようにすることで、短時間で適切な物体認識を可能とする認識支援装置、認識支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
ひとつの態様である認識支援装置は、物体認識装置による物体認識を支援する認識支援装置であって、画像取得部および重要領域検出部を有する。画像取得部は、異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する。重要領域検出部は、前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、重要領域を検出する。重要領域は、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む。また、重要領域検出部は、重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する。
【００１１】
別の態様である端末装置は、上記認識支援装置と、前記画像を撮影する撮影部と、ネットワークを介して前記物体に関する情報を含む情報の送受信を行う通信部と、を有することを特徴としている。
【００１２】
さらに別の態様である認識支援方法は、物体認識装置による物体認識を支援する認識支援方法であって、物体認識を支援する認識支援装置が、異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する。認識支援装置は、前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、重要領域を検出する。重要領域は、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む。認識支援装置は、重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する。
【００１３】
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用効果を奏するので、前述した課題が解決される。
【発明の効果】
【００１４】
上述した態様の認識支援装置、認識支援方法およびプログラムによれば、物体認識させる画像を適切に撮影することができるようにすることで、短時間で適切な物体認識が可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態による物体認識システムの構成を示す概略図である。
【図２】第１の実施の形態による端末装置のハードウエア構成の一例を示すブロック図である。
【図３】第１の実施の形態による物体認識システムの構成の概略を示す機能ブロック図である。
【図４】第１の実施の形態による画像使用判定装置の構成を示す機能ブロック図である。
【図５】第１の実施の形態による認識支援装置の構成を示す機能ブロック図である。
【図６】第１の実施の形態による特徴抽出の説明図であり、（ａ）は、使用画像、（ｂ）は、特徴点の抽出、（ｃ）は、特徴クラスタの割り当てを示す。
【図７】第１の実施の形態による隣接フレーム間における特徴クラスタの変化を示す図であり、（ａ）は、時刻ｔ−１の画像を示し、（ｂ）は、時刻ｔの画像を示す。
【図８】第１の実施の形態による特徴クラスタの例を示す表であり、（ａ）はフレームｔ−１における例を示し、（ｂ）は、フレームｔにおける例を示す。
【図９】第１の実施の形態によるクラスタの変化を示す表であり、（ａ）は、増加したクラスタ数、（ｂ）は減少したクラスタ数を示す。
【図１０】第１の実施の形態による物体認識装置による処理を概念的に示す図であり、（ａ）はフレームｔ−１について示し、（ｂ）は、フレームｔについて示す。
【図１１】第１の実施の形態による特徴差分および確信度差分と特徴スコアとの関係を示す表である。
【図１２】第１の実施の形態による特徴評価格納テーブルの一例を示す図である。
【図１３】第１の実施の形態による重要領域検出の概念図であり、（ａ）は、重要特徴の選択の一例を示し、（ｂ）は、重要領域の一例を示す。
【図１４】第１の実施の形態による重要領域の表示例を示す図である。
【図１５】第１の実施の形態による物体認識システム全体の処理を示すフローチャートである。
【図１６】第１の実施の形態による特徴スコア算出および結果出力の処理を示すフローチャートである。
【図１７】第１の実施の形態による重要特徴検出の処理を示すフローチャートである。
【図１８】第２の実施の形態による物体認識システムの構成の概略を示す機能ブロック図である。
【図１９】第３の実施の形態による物体認識システムの構成の概略を示す機能ブロック図である。
【図２０】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１６】
（第１の実施の形態）
以下、図面を参照しながら第１の実施の形態による物体認識システム１について説明する。図１は、第１の実施の形態による物体認識システム１の構成を示す概略図である。図１に示すように、物体認識システム１は、サーバ３と、複数の端末装置７−１、７−２、・・・（まとめて、端末装置７ともいう）がネットワーク５を介して接続されている。サーバ３は、例えばパーソナルコンピュータなどの情報処理装置である。端末装置７は、例えば携帯端末装置である。
【００１７】
図２は、端末装置７のハードウエア構成の一例を示すブロック図である。図２に示すように、端末装置７は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）７１、メモリ７３、入力装置７５、出力装置７７、通信部７９、撮影部８１を有しており、互いにバス８３により接続され、情報をやり取りしている。
【００１８】
ＣＰＵ７１は、端末装置７全体の動作を制御する演算処理装置である。メモリ７３は、端末装置７の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ７３は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置７５は、端末装置７の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ７１に送付する装置であり、例えばテンキー等である。出力装置７７は、端末装置７による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ７１により送付される表示データに応じてテキストや画像を表示する。
【００１９】
通信部７９は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。撮影部８１は、画像を撮影するカメラ等である。ＣＰＵ７１は、メモリ７３に記録されている所定の制御プログラムを読み出して実行することによって、各種の制御処理を行うようにすることもできる。バス８３は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００２０】
図３は、第１の実施の形態による物体認識システム１の構成の概略を示す機能ブロック図、図４は、画像使用判定装置１００の構成を示す機能ブロック図、図５は、認識支援装置２００の構成を示す機能ブロック図である。図３に示すように、第１の実施の形態においては、端末装置７は、画像入力部１３、画像使用判定装置１００、認識支援装置２００、物体認識装置３００、情報出力部１５を有している。サーバ３は、害虫情報検索部３０、害虫情報データベース３２を有している。
【００２１】
画像入力部１３は、入力画像１１を取得する。ここで、入力画像１１は、端末装置７の撮影部８１により撮影された画像でもよい。このとき、画像入力部１３は撮影部８１を含んで構成される。また、画像入力部１３は、外部の装置で撮影された画像を取得するようにしてもよい。なお、入力画像１１は、同一の認識対象を含む少なくとも２つの異なる時刻に撮影された画像である。２つの画像は、同一の認識対象を、例えば、動画で撮影した画像の、異なる２つのフレームとしてもよい。
【００２２】
画像使用判定装置１００は、画像撮影装置が動画撮影のように短時間で連続して画像を撮影するような場合、計算負荷を低減するために、撮影した画像を使用するか否か判定する装置である。図４に示すように、画像使用判定装置１００は、特徴抽出部１０２、特徴書込部１０４、特徴格納部１０６、距離計算部１０８、使用判定部１１０を有している。
【００２３】
特徴抽出部１０２は、取得した入力画像１１において、特徴を抽出する。特徴の抽出は、物体認識技術における特徴量については、例えば、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）や、Ｓｐｅｅｄｅｅ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）等に基づくｂａｇ−ｏｆ−ｗｏｒｄｓ表現を用いる等、非特許文献１、２などに記載の方法や、その他の従来技術を用いることができる。例えば、まず、特徴抽出部１０２は、入力画像１１をＮ（Ｎは自然数）次元の特徴ベクトルｖに変換する。
【００２４】
特徴書込部１０４は、既に入力された入力画像において抽出された特徴を特徴格納部１０６に書き込む。特徴格納部１０６は、抽出された特徴を格納するための記憶部である。距離計算部１０８は、入力画像１１において抽出された特徴と、特徴格納部１０６に格納された特徴との差を計算する。このとき、各特徴が例えば特徴ベクトルで表されるとすると、入力画像１１と特徴格納部１０６に格納された特徴との差は、距離として計算される。例えば、距離計算部１０８は、入力画像１１から抽出した特徴ベクトルｖと特徴格納部１０６に格納されている前回使用画像の特徴ベクトルｖ’とを比較して、距離ｄを算出する。
【００２５】
使用判定部１１０は、距離計算部１０８で計算された距離ｄが例えば所定の閾値以下の場合には、入力画像１１と特徴格納部１０６に格納されている画像との差異が少なく、入力画像１１を認識支援のためのデータとして用いなくてもよいと判断する。距離計算部１０８で計算された距離が所定の閾値より大きい場合には、入力画像１１を認識支援のための使用画像１１２として用いると判断する。また、使用画像１１２の特徴ベクトルは、特徴格納部１０６に格納する。
【００２６】
特徴ベクトルの距離ｄは、例えば、以下の式１のように計算する。
【００２７】
【数１】
ここで、Ｎは特徴ベクトルの次元数であり、ｖｉは特徴ベクトルｖにおけるｉ次元目の値を表し、ｖｉ’は特徴ベクトルｖ’におけるｉ次元目の値を表す。
【００２８】
別な計算方法として、特徴ベクトルの距離ｄは、特徴ベクトルの次元毎に求めた距離のうち最大のものを求めて、以下の式２のように算出してもよい。
【００２９】
【数２】
ここで、ｎは、特徴ベクトルの次元を示し、１＜ｎ＜Ｎの整数である。ｖｎは特徴ベクトルｖにおけるｎ次元目の値を表し、ｖｎ’は特徴ベクトルｖ’におけるｎ次元目の値を表す。
【００３０】
式１、式２のいずれを用いた場合にも、使用判定部１１０は、所定の閾値を用いて条件判別することとし、条件が成立すれば、入力画像１１を使用画像１１２として出力する。なお、特徴抽出部１０２で用いる特徴量については、認識支援装置２００、物体認識装置３００において用いるものと同様のものにすることが好ましい。
【００３１】
閾値の適切な値は、用いる特徴量によって異なるが、例えばＳＩＦＴによる１０００次元のｂａｇ−ｏｆ−ｗｏｒｄｓ表現を特徴量として用いる場合、式１の閾値は、およそ１００〜１０００程度に設定し、式２の閾値は、およそ１０〜１００程度に設定するとよい。
【００３２】
図５に示すように、認識支援装置２００は、特徴抽出部２０２、特徴格納部２０４、特徴差分算出部２０６、特徴評価部２０８、重要領域検出部２１０、重要特徴選択部２１２、特徴評価格納部２１４、確信度差分算出部２１８、および撮影条件判定部２２０を有している。また、物体認識装置３００は、物体認識部３０２、確信度算出部３０４を有している。
【００３３】
認識支援装置２００において、特徴抽出部２０２は、例えば、撮影部８１で撮影され、画像使用判定装置１００で使用すると判定された使用画像１１２から、特徴を抽出する。特徴の抽出は、例えば、ＳＩＦＴや、ＳＵＲＦ等に基づく特徴にｂａｇ−ｏｆ−ｗｏｒｄｓ手法を応用して出現頻度で表現する方法等、非特許文献１、２などに記載の方法や、その他の従来技術を用いることができる。
【００３４】
特徴格納部２０４は、特徴抽出部２０２で抽出された特徴を格納する。特徴差分算出部２０６は、現在の使用画像１１２から抽出された特徴と、特徴格納部２０４にすでに格納されている過去の使用画像１１２より抽出された特徴との差分を算出する。
【００３５】
一方、物体認識装置３００は、１枚の静止画像を入力すると、画像中に含まれる物体の名称および認識結果の確からしさを表す確信度を出力する装置である。物体認識装置３００においては、非特許文献１、２に記載の技術等の物体認識技術が用いられる。物体認識装置３００は、物体認識部３０２、確信度算出部３０４を有している。物体認識部３０２は、例えば、取得した画像から特徴を抽出し、基準となる画像の特徴と比較することにより、認識された物体名称を出力する。確信度算出部３０４は、物体認識部３０２による物体認識の結果として、認識の確信度を算出して出力する。確信度とは、物体認識装置３００において用いる識別モデルに基づいて物体名称を識別する際に、どれくらいの確信を持って物体名称を決定付けているかを表す数値である。確信度は、予め構築した識別モデルにおける識別境界面と、使用画像の特徴ベクトルとの距離にもとづいて算出される。確信度の算出は、例えば非特許文献３に記載の方法など、既存の方法を用いることができる。
【００３６】
確信度格納部２１６は、物体認識部３０２から物体名称を取得し、確信度算出部３０４から確信度を取得して格納する。確信度差分算出部２１８は、使用画像１１２の確信度と、既に２１５に格納されている確信度の情報から、確信度差分を算出する。
【００３７】
特徴評価部２０８は、特徴差分算出部２０６で算出された特徴差分と、確信度差分算出部２１８で算出された確信度差分とから後述する特徴スコアを算出する。特徴評価格納部２１４は、特徴評価部２０８で算出された特徴スコアを格納する。重要特徴選択部２１２は、特徴評価部２０８で算出された特徴スコアから、重要特徴を選択する。重要領域検出部２１０は、重要特徴選択部２１２で選択された重要特徴から、重要特徴領域を検出するとともに、重要領域通知２２２として出力する。撮影条件判定部２２０は、確信度算出部３０４から確信度を取得し、撮影条件を判定するとともに、認識準備完了通知２２４を出力する。
【００３８】
サーバ３の害虫情報検索部３０は、物体認識装置３００が出力した物体名称に基づき、害虫に関する情報を検索する。害虫情報データベース３２は、害虫の名称と、害虫の生態、農作物への影響、駆除の方法などの情報とを関連付けて記憶する記憶装置である。
【００３９】
次に、図６から図１２を参照しながら、本実施の形態による特徴スコアの算出方法について説明する。図６は、第１の実施の形態による特徴抽出の説明図であり、（ａ）は、使用画像、（ｂ）は、特徴点の抽出、（ｃ）は、特徴クラスタの割り当てを示す。図７は、隣接フレーム間における特徴クラスタの変化を示す図である。図８は、特徴クラスタの例を示す表であり、（ａ）は、フレームｔ−１における例、（ｂ）は、フレームｔにおける例を示す。図９は、クラスタの変化を示す表であり、（ａ）は、増加したクラスタ数、（ｂ）は減少したクラスタ数を示す。
【００４０】
図６に示すように、画像使用判定装置１００により入力画像１１を使用画像１１２とすると判別されると、認識支援装置２００、物体認識装置３００は、使用画像１１２を取得する。認識支援装置２００は、使用画像１１２を解析して特徴差分を出力し、物体認識装置３００は、使用画像１１２を解析して、物体名称と確信度を出力する。
【００４１】
まず、図６から図９を参照しながら、特徴差分の算出について説明する。図６（ｂ）に示すように、認識支援装置２００は、特徴抽出部２０２により、使用画像１１２からＳＩＦＴやＳＵＲＦなどの局所特徴量アルゴリズムに基づき特徴点を抽出し、各特徴点の周辺画像を表現した特徴ベクトルを生成する。そして、図６（ｃ）に示すように、ｂａｇ−ｏｆ−ｗｏｒｄｓアルゴリズムにもとづき、各特徴点の特徴ベクトルをクラスタリング（分類）し、特徴点の種類を表す特徴クラスタ（特徴分類ともいい、図６の例では、Ｂ、Ｄ、Ｅ）を各特徴点に割り当てる。
【００４２】
次に、特徴差分算出部２０６は、図７のように、例えば、動画の中の隣接したフレーム画像間で各特徴クラスタの数について増減差分を求める。例えば、図７（ａ）がフレームｔ−１（時刻ｔ−１におけるフレーム）の画像であり、（ｂ）がフレームｔ（時刻ｔにおけるフレーム）の画像であるとすると、各フレーム画像における各特徴クラスタの数は、図８に示す表のようになる。
【００４３】
図８（ａ）に示すように、フレームｔ−１においては、特徴クラスタが「Ｂ」の特徴点が２個、特徴クラスタが「Ｄ」の特徴点が３個、特徴クラスタが「Ｅ」の特徴点が３個となっている。図８（ｂ）に示すように、フレームｔにおいては、特徴クラスタが「Ａ」の特徴点が２個、特徴クラスタが「Ｃ」の特徴点が１個、特徴クラスタが「Ｄ」の特徴点が３個、特徴クラスタが「Ｅ」の特徴点が３個となっている。したがって、フレーム間における差分特徴クラスタは、図９のような算出結果となる。
【００４４】
図９（ａ）に示すように、フレームｔ−１とフレームｔの間で増加した特徴クラスタ数は、特徴クラスタが「Ａ」の特徴点が２個、特徴クラスタが「Ｃ」の特徴点が１個である。図９（ｂ）に示すように、減少した特徴クラスタ数は、特徴クラスタが「Ｂ」の特徴点が２個である。この、各特徴クラスタ毎の、例えば最新の使用画像１１２と一つ前の使用画像１１２との特徴点の数の差を、特徴差分ｄＮｋｔ（ｋは、特徴クラスタの種類を区別するための変数、ｔは、画像を取得した時刻）ということにする。また、例えば、変数ｋに対応する特徴クラスタは、特徴クラスタｋなどということにする。
【００４５】
次に、特徴スコアの算出に用いる確信度差分の算出処理について説明する。図５に示した確信度算出部３０４は、使用画像１１２から物体認識部３０２が認識した物体名称の確信度を算出し、認識支援装置２００に出力する。認識支援装置２００では、入力された確信度を確信度格納部２１６に格納するとともに、確信度差分算出部２１８が、例えば、フレームｔ−１の確信度を確信度格納部２１６から読み出し、フレームｔの確信度との差分を算出する。
【００４６】
時刻ｔにおけるフレームｔにおける確信度を確信度Ｐ（ｔ）とすると、確信度差分ｄＰは、以下の式３で表される。
ｄＰ＝Ｐ（ｔ）−Ｐ（ｔ−１）・・・（式３）
【００４７】
図１０は、物体認識装置３００による処理を概念的に示す図であり、（ａ）はフレームｔ−１について示し、（ｂ）は、フレームｔについて示す。図１０（ａ）に示すように、物体認識装置３００は、使用画像１１２−１としてフレームｔ−１が入力された場合には、予め内部に備えられた物体認識エンジンにより、例えば、結果２３０に示すように、物体名称「ウリハムシ」、確信度Ｐ（ｔ−１）＝４０と出力する。図１０（ｂ）に示すように、物体認識装置３００は、使用画像１１２−２としてフレームｔが入力された場合には、予め内部に備えられた物体認識エンジンにより、例えば、結果２３２に示すように、物体名称「ウリハムシ」、確信度Ｐ（ｔ）＝５０と出力する。この場合、認識支援装置２００の確信度格納部２１６は、フレームｔ−１の確信度として、確信度Ｐ（ｔ−１）＝４０を格納し、フレームｔの確信度として、確信度Ｐ（ｔ）＝５０を格納する。確信度差分算出部２１８は、確信度差分ｄＰ＝１０と算出する。
【００４８】
次に、図１１、１２を参照しながら、上記のように、特徴クラスタ毎の特徴差分ｄＮｋｔと、確信度差分ｄＰが算出された際に、特徴評価部２０８で行われる特徴評価処理について述べる。図１１は、特徴差分ｄＮｋｔおよび確信度差分ｄＰと特徴スコアとの関係を示す表である。図１２は、特徴評価格納テーブルの一例を示す図である。
【００４９】
物体認識を行う上で適切な撮影条件を満たすことは、すなわち物体認識装置３００が高い確信度を出力する状態を得ることである。したがって本実施の形態では、確信度を増加させるために撮影すべき重要領域を検出し、ユーザに通知する。重要領域とは、確信度増加に寄与する特徴点が密集する領域である。
【００５０】
特徴評価部２０８は、確信度Ｐ（ｔ）に寄与する特徴点（重要特徴点という）を検出するため、各特徴クラスタに対して確信度に寄与する度合いを表す特徴スコアを算出する。フレーム間において、確信度が増加した際に増加した特徴点は重要な特徴点であり、確信度が減少した際に増加した特徴点は重要ではない特徴点である、という考えにもとづき、図１１のように特徴スコアを算出する。
【００５１】
図１１に示すように、特徴差分ｄＮｋｔと確信度Ｐ（ｔ）がともに増加している場合には、特徴スコアは増加するようにし、特徴差分ｄＮｋｔが増加しており、確信度Ｐ（ｔ）が減少している場合には特徴スコアは減少するようにする。また、特徴差分ｄＮｋｔが減少し、確信度Ｐ（ｔ）が増加している場合には、特徴スコアは減少するようにし、特徴差分ｄＮｋｔと確信度Ｐ（ｔ）がともに減少している場合には、特徴スコアを増加させるようにする。
【００５２】
特徴評価部２０８は、特徴スコアを、フレーム間の特徴差分ｄＮｋｔおよび確信度差分ｄＰに基づき算出する。特徴スコアは、式４および式５により逐次的に更新される。ここで、時刻ｔ、ｔ−１における特徴クラスタｋの特徴点に対する特徴スコアをそれぞれＥ（ｋｔ）、Ｅ（ｋｔ−１）とし、時刻ｔのフレームｔにおいて変化した特徴クラスタｋの特徴点の個数を特徴差分ｄＮｋｔとする。また、各特徴スコアの初期値Ｅ（ｋ０）＝０とする。
【００５３】
Ｅ（ｋｔ）＝Ｅ（ｋｔ−１）＋ｄＥｋｔ・・・（式４）
式４において、
ｄＥｋｔ=ｄＮｋｔ×（Ｐ（ｔ）−Ｐ（ｔ―１））・・・（式５）
【００５４】
特徴評価格納部２１４は、式４、式５により算出された特徴スコアＥ（ｋｔ）を保持する。図１２は、特徴評価格納部２１４に格納される特徴評価格納テーブルの一例を示す図である。図１２に示すように、特徴評価格納部２１４は、例えば、物体名称「ウリハムシ」、特徴クラスタ「Ａ」、特徴スコア「２０００」などと、それぞれ保持する。物体の種類によって重要となる特徴点が変わるため、特徴評価格納部２１４は、物体種類ごとに特徴スコアＥ（ｋｔ）を保持する。
【００５５】
次に、図１３、図１４を参照しながら、重要領域の検出について説明する。重要特徴選択部２１２では、上記のように算出した特徴スコアＥ（ｋｔ）を用いて、確信度Ｐ（ｔ）の増加に大きく寄与する重要特徴を選択する。図１３は、重要領域検出の概念図、図１４は、重要領域の表示例を示す図である。
【００５６】
図１３（ａ）に示すように、重要領域検出部２１０は、重要特徴が密集した重要領域を検出する。すなわち、重要領域検出部２１０は、特徴スコアＥ（ｋｔ）の上位所定数（例えばＭ件）の特徴クラスタｋを重要特徴と設定し、画像から抽出された全ての特徴点のうち、図１３（ａ）の例では重要特徴と設定した特徴クラスタに分類されている特徴点２３４〜２３８を重要特徴点とする。
【００５７】
重要領域検出部２１０は、重要特徴点を中心とした半径ｒの円領域を検出し、図１３（ｂ）のように、それぞれの領域を結合した領域２４２を生成する。重要領域検出部２１０は、結合領域の面積が所定以下の場合には、重要特徴として設定する特徴クラスタの数を増やし、同様の処理を繰り返すことにより、所定面積以上の重要領域を検出する。
【００５８】
図１４は、認識支援装置２００からの出力の一例を示す図である。図１４に示すように、重要領域が検出されたら、例えば、カメラのファインダー上に、重要領域を表すインジケータ２４６、２４８を重畳し、ユーザに通知する。
【００５９】
以下、本実施の形態による物体認識システム１の動作を、図１５から図１７を参照しながらさらに説明する。図１５は、物体認識システム１全体の処理を示すフローチャート、図１６は、特徴スコア算出および結果出力の処理を示すフローチャート、図１７は、重要特徴検出の処理を示すフローチャートである。
【００６０】
本実施の形態においては、物体認識システム１を用いて、農業分野における害虫情報検索サービスを実施する場合を例にして説明する。すなわち、ユーザが端末装置７の撮影部８１により撮影した害虫の画像を、物体認識装置３００および認識支援装置２００を用いて自動認識し、端末装置７の情報表示装置で害虫の名称や害虫対策情報を出力するサービスを想定する。
【００６１】
まず、端末装置７の撮影部８１により、時刻ｔにおいて画像を撮影し、端末装置７は、時刻ｔに撮影された入力画像１１を取得する（Ｓ４０１）。このとき、画像使用判定装置１００は、その後の処理において取得した入力画像１１を用いるか否かの判定を行う。すなわち、画像使用判定装置１００が入力画像１１を取得し、特徴抽出部１０２が入力画像１１の特徴を抽出する。距離計算部１０８は、入力画像１１と、特徴格納部１０６に格納されている時刻ｔ−１の画像から抽出された特徴とから距離ｄを算出する。使用判定部１１０は、算出された距離ｄが所定値よりも大きいか否かにより、入力画像１１を使用するか否か判定する（Ｓ４０２）。
【００６２】
使用判定部１１０が、画像を使用すると判定しない場合には（Ｓ４０３：ＮＯ）、時刻ｔを時刻ｔ＋１と置き換え（Ｓ４０４）、新たに撮影された画像について、Ｓ４０１からＳ４０３の処理を繰り返す。使用判定部１１０が、入力画像１１を使用すると判定すると（Ｓ４０３：ＹＥＳ）、物体認識装置３００において、物体認識を行う（Ｓ４０５）。物体認識装置３００は、上記に説明したように、例えば、図１０のような害虫を撮影した画像を取得すると、害虫の名称である「ウリハムシ」および確信度Ｐ（ｔ）を出力する。
【００６３】
認識支援装置２００は、物体認識装置３００が認識した物体名称、ここでは害虫の名称と、その確信度Ｐ（ｔ）を取得する（Ｓ４０５）。一方、撮影条件判定部２２０は、確信度Ｐ（ｔ）が所定値θ以上か否か判別し、所定値θ未満の場合には（Ｓ４０７：ＮＯ）、図１６の特徴抽出処理に処理を進める。
【００６４】
図１６に示すように、確信度差分算出部２１８は、現在取得されているフレームｔの確信度Ｐ（ｔ）と、確信度格納部２１６に記録されている前フレームｔ−１における確信度Ｐ（ｔ−１）とを比較することで、確信度の差分を算出する（Ｓ４２１）。また、取得したフレームｔの確信度Ｐ（ｔ）を確信度格納部２１６に格納する（Ｓ４２２）。
【００６５】
一方、特徴抽出部２０２は、取得したフレームｔから、特徴ベクトルや、特徴クラスタなどの特徴を定量化した特徴情報を抽出する（Ｓ４２３）。特徴差分算出部２０６は、特徴格納部２０４に記録されているフレームｔ−１における特徴ベクトル、特徴クラスタと、抽出したフレームｔの特徴ベクトル、特徴クラスタの差分である特徴差分を抽出する（Ｓ４２４）。また、特徴抽出部２０２は、抽出された特徴ベクトル、特徴クラスタなどの特徴を定量化した特徴情報を、特徴格納部２０４に記録する（Ｓ４２５）。
【００６６】
特徴評価部２０８は、確信度の差分および特徴差分に基づき、特徴スコアを算出する（Ｓ４２６）。特徴スコアは、上記式４により算出される。特徴抽出部２０２が、特徴ベクトル、特徴クラスタなどの特徴を定量化した特徴情報を特徴格納部２０４に記録すると同時に、特徴評価部２０８は、得られた確信度差分ｄＰおよび特徴差分ｄＮｋｔを特徴評価格納部２１４に記録する（Ｓ４２７）。ＣＰＵ７１は、後述の重要特徴クラスタ数Ｍ＝１と設定し、処理を図１７に示す重要特徴検出処理に進める（Ｓ４２９）。
【００６７】
図１７に示すように、重要特徴選択部２１２は、Ｓ４２６で算出した特徴クラスタ毎の特徴スコアＥ（ｋｔ）から、上位Ｍ件の特徴クラスタを重要特徴として選択する（Ｓ４４１）。例えば、図８（ｂ）において、Ｍ＝２である場合には、重要特徴として、個数が上位２件である特徴クラスタ「Ｄ」と「Ｅ」を選択する。また、重要特徴選択部２１２は、例えば図１３（ａ）において丸印で示したように、フレームｔから抽出された特徴点の中から、重要特徴として選択された特徴クラスタに分類された特徴点を、例えば図１３（ａ）の点２３４〜２３８のように重要特徴点として選択する（Ｓ４４２）。
【００６８】
重要領域検出部２１０は、例えば図１３（ｂ）に示すように、Ｓ４４２で選択された重要特徴点を中心とした半径ｒの領域を結合した結合領域２４２を抽出する（Ｓ４４３）。そして、重要領域検出部２１０は、結合領域２４２の面積が面積基準値Ｓ未満の場合には（Ｓ４４４：ＮＯ）、重要特徴クラスタ数ＭをＭ＋１に置き換えて、Ｓ４４１からＳ４４４の処理を繰り返す。すなわち、重要領域検出部２１０は、結合領域の面積が面積基準値Ｓ未満であれば、重要特徴として設定する重要特徴クラスタ数Ｍを１つ増やして（Ｓ４４５）、結合領域の面積が面積基準値Ｓ以上になるまで、同様の処理を繰り返す。
【００６９】
ここで、図１６に示したように、重要特徴クラスタ数Ｍの初期値は例えば「１」であり、重要領域の面積基準値Ｓは、例えば、画像全体の面積の５〜１０％程度の面積に設定することが好ましい。半径ｒについては、想定される使用画像１１２の面積をＸ、１枚の画像から抽出される特徴点の平均数をＮＰとすると、（Ｘ／ＮＰ）１／２程度に設定することが好ましい。結合領域の面積が面積基準値Ｓ以上であれば、重要領域検出部２１０は、結合領域を重要領域とみなし、重要領域検出処理を終える（Ｓ４４６）。
【００７０】
図１６の処理に戻って、重要領域検出部２１０は、例えば図１４のように、抽出された重要領域を表すインジケータ２４６、２４８を、端末装置７の表示装置など出力装置７７に出力する。続いて時刻ｔをｔ＋１として、図１５のＳ４０１に戻って処理を繰り返す。
【００７１】
認識支援装置２００は、Ｓ４０１〜Ｓ４０７の処理を繰り返し、撮影条件判定部２２０が、Ｓ４０７において確信度Ｐ（ｔ）が所定値θ以上であると判別した場合には（Ｓ４０７：ＹＥＳ）、認識準備完了通知２２４を出力する（Ｓ４０８）。すなわち、撮影条件判定部２２０は、認識に適した撮影条件に達したことを、出力装置７７に表示を行うなどにより通知する。
【００７２】
ここで、撮影条件判定部２２０は、物体認識装置３００が出力する確信度Ｐ（ｔ）が基準値θより大きくなったときに、適切な撮影条件を満たしたと判断し、認識準備が完了したことをユーザに通知する。なお、確信度Ｐ（ｔ）の範囲が０〜１００のとき、所定値θは８０〜９０程度に設定することが好ましい。
【００７３】
端末装置７は、サーバ３にアクセスし、害虫情報検索部３０により、害虫情報データベース３２から認識された物体に関する情報を検索し、検索した情報を取得して表示する（Ｓ４１０）。
【００７４】
以上説明したように、本実施の形態による物体認識システム１によれば、端末装置７は、認識対象の物体を含む画像を複数撮影する。画像使用判定装置１００は、端末装置７において撮影された静止画像を入力画像１１として取得し、使用するか否か判断する。使用すると判断された使用画像１１２について、物体認識装置３００は、予め備えられた物体認識エンジンにより、物体名称と確信度Ｐ（ｔ）を出力する。認識支援装置２００は、物体名称と確信度Ｐ（ｔ）を取得する。
【００７５】
また、認識支援装置２００は、使用画像１１２において、特徴点を特徴クラスタに分類し、撮影時刻が現在の使用画像１１２よりも前の画像との特徴差分ｄＮｋｔを算出する。認識支援装置２００は、使用画像１１２と、撮影時刻が現在の使用画像１１２よりも前の画像との確信度差分ｄＰと、特徴差分ｄＮｋｔとから、各特徴点について認識に影響を与える度合いを表す特徴スコアを算出する。
【００７６】
認識支援装置２００は、さらに、重要領域検出部２１０により、特徴スコアが高い特徴クラスタに基づき重要特徴領域を検出し、使用画像１１２に重要特徴領域の位置を表すインジゲータを重畳した画像を生成し出力する。以上の処理により、害虫情報検索サービスを実現している。
【００７７】
以上のように、本実施の形態による物体認識システム１によれば、農業分野における害虫情報検索サービスを構成することができる。このとき、入力画像１１を、その後の工程で処理対象として使用するかを判定することができる。
【００７８】
例えば、端末装置７の撮影部８１により、少なくとも２つの画像が撮影されるタイミングが時間的に間隔がある場合、物体認識装置３００は、全ての入力画像１１を使用してもよい。しかし、撮影部８１が、動画撮影のように短時間で連続して画像を撮影するような場合、全ての撮影画像を使用することは、ＣＰＵ７１の処理負荷を大きくしてしまう場合がある。そこで、画像使用判定装置１００における判定を行って、入力画像１１を間引きして使用画像１１２として用いることにより、処理負荷の増大を防止することができる。
【００７９】
一方で、入力画像１１の間引きを行うことは、物体認識装置３００に入力する情報を減少させるために、認識率が低下してしまう可能性がある。使用画像判定装置において判定する際には、情報が出来るだけ減少しないよう、似たような特徴を持つ冗長な画像だけを省いて、撮影画像から得られる特徴のバリエーションは維持することができる。
【００８０】
そして、認識支援装置２００において、物体認識を行う上で、画像が適切な条件で撮影されたか否かを判定することができる。画像が適切な条件で撮影されたと判断されたとき、物体認識装置３００が出力した物体名称に基づき、サーバ３の害虫情報検索部３０において、害虫情報を検索することができる。最終的には、端末装置７の出力装置７７に害虫情報を表示することができ、害虫情報検索サービスが実現される。
【００８１】
このように、認識支援装置２００によれば、物体認識を行うための画像の撮影条件を適切な撮影条件に近づけるため、物体認識を行う上で精度に影響を与える重要な領域を自動検出し、ユーザに対して提示することができる。
【００８２】
よって、ユーザに、具体的にどの領域が写るように撮影すればよいかを知らしめることができ、適切な撮影条件を見つけ出すまでの時間および手間を削減できるとともに、物体認識の精度を向上させることができる。例えば、ユーザは、撮影時にファインダー上などに表示されたインジケータを確認しながら、適切な撮影条件に近づくようカメラの向きなどの撮影条件を変化させることができ、高い精度の物体認識結果を得ることができる。
【００８３】
特に、農業分野における害虫情報検索サービスのような利用シーンにおいては、撮影する際のカメラの向きは様々であり、撮影条件の変化に対する自由度が更に大きい。このため、適切な撮影条件に近づいているか否かという少ない情報によるガイドでは、ユーザが適切な撮影条件を探し出すには試行錯誤を繰り返す必要があり、手間がかかる。しかし、本実施の形態による物体認識システム１によれば、このような手間を削減でき、農業分野におけるサ害虫情報検索などのサービスを可能にすることができる。
【００８４】
（第２の実施の形態）
次に、第２の実施の形態による物体認識システム４５０について説明する。第２の実施の形態による物体認識システム４５０は、第１の実施の形態による物体認識システム１の変形例であり、同様の構成および動作には同一符号を付し、重複説明を省略する。
【００８５】
図１８は、第２の実施の形態による物体認識システム４５０の構成の概略を示す機能ブロック図である。図１８に示すように、第２の実施の形態においては、端末装置４５７は、画像入力部１３、画像使用判定装置１００、認識支援装置２００、および情報出力部１５を有している。サーバ４５３は、物体認識装置３００、害虫情報検索部３０、害虫情報データベース３２を有している。物体認識システム４５０の各構成要素の機能、および処理動作は第１の実施の形態と同様である。
【００８６】
図１８に示すように、本実施の形態では、物体認識装置３００は、携帯端末４５７ではなく、サーバ４５３に備えられている。よって、例えば、図１５のＳ４０５の処理は、認識支援装置２００と物体認識装置３００との間でネットワークを介して通信を行う。他の構成および動作は、第１の実施の形態による物体認識システム１と同様である。
【００８７】
第２の実施の形態による物体認識システム４５０によれば、第１の実施の形態による物体認識システム１と同様、物体認識の手間を低減し、精度を向上させることができる。さらに、端末装置４５７に物体認識装置３００を搭載しなくてもよいため、端末装置４５７における認識支援装置２００の省スペース化を図ることができる。また、物体認識をサーバ３で行うことにより、端末装置４５７における処理負担を軽減することが可能となる。さらに、物体認識を端末装置４５７で行うのに比べて、サーバ３で行うことにより処理を高速化することが可能となる。
【００８８】
（第３の実施の形態）
次に、第３の実施の形態による物体認識システム４８０について説明する。第３の実施の形態による物体認識システム４８０は、第１および第２の実施の形態による物体認識システムの変形例であり、同様の構成および動作には同一符号を付し、重複説明を省略する。
【００８９】
図１９は、第３の実施の形態による物体認識システム４８０の構成の概略を示す機能ブロック図である。図１８に示すように、第３の実施の形態においては、物体認識システム４８０は、端末装置４８７により実現される。端末装置４８７は、画像入力部１３、画像使用判定装置１００、認識支援装置２００、物体認識装置３００、害虫情報検索部３０、害虫情報データベース３２、および情報出力部１５を有している。端末装置４８７の各構成要素の機能、および処理動作は第１の実施の形態と同様である。
【００９０】
図１９に示すように、本実施の形態では、物体認識システムを構成する機能の全てを端末装置４８７が備えている。他の構成および動作は、第１の実施の形態による物体認識システム１と同様である。
【００９１】
第３の実施の形態による物体認識システム４８０によれば、第１および第２の実施の形態による物体認識システム１、物体認識システム４５０と同様、物体認識の手間を低減し、精度を向上させることができる。さらに、物体認識システム４８０の全ての機能を端末装置４８７が有しているため、ネットワーク５の状態に依存せずに処理を行なうことができる。よって、ネットワーク５が混雑している場合や、通信状態が悪い場合にも、処理を迅速に行なうことができる。
【００９２】
上記第１から第３の実施の形態において、特徴抽出部２０２は、画像取得部、特徴点抽出部、特徴ベクトル算出部、特徴量算出部の一例であり、特徴差分抽出部２０６は、特徴分類生成部、特徴点分類部の一例である。特徴評価部２０８は、特徴スコア算出部の一例であり、確信度差分算出部２１８は、確信度取得部および確信度差分算出部の一例である。
【００９３】
ここで、上記第１から第３の実施の形態による物体認識システムの動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図２０は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図２０に示すように、コンピュータ５００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）５０２、メモリ５０４、入力装置５０６、出力装置５０８、外部記憶装置５１２、媒体駆動装置５１４、ネットワーク接続装置５１８等がバス５１０を介して接続されている。
【００９４】
ＣＰＵ５０２は、コンピュータ５００全体の動作を制御する演算処理装置である。メモリ５０４は、コンピュータ５００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ５０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置５０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ５０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置５０８は、コンピュータ５００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ５０２により送付される表示データに応じてテキストや画像を表示する。
【００９５】
外部記憶装置５１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ５０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置５１４は、可搬記録媒体５１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ５０２は、可搬型記録媒体５１６に記録されている所定の制御プログラムを、記録媒体駆動装置５１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体５１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置５１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス５１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００９６】
上記第１から第３の実施の形態による認識支援方法をコンピュータに実行させるプログラムは、例えば外部記憶装置５１２に記憶させる。ＣＰＵ５０２は、外部記憶装置５１２からプログラムを読み出し、コンピュータ５００に認識支援の動作を行なわせる。このとき、まず、認識支援の処理をＣＰＵ５０２に行わせるための制御プログラムを作成して外部記憶装置５１２に記憶させておく。そして、入力装置５０６から所定の指示をＣＰＵ５０２に与えて、この制御プログラムを外部記憶装置５１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体５１６に記憶するようにしてもよい。
【００９７】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。
【００９８】
例えば、インジケータの表示例は、図１４に限定されず、他の形態によるものでもよい。例えば、画面の一部に３つの異なる色を持つ丸印などによる信号のような図を表示させ、適切な撮影位置、適切な撮影位置に近づいている時、適切な撮影位置から遠ざかっている時の３つの状態に応じて信号に表示する色を切り替えるようにしてもよい。このような例によれば、色を変えることにより、ユーザが適切な撮影位置で撮影できるようガイドすることができる。
【００９９】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
物体認識装置による物体認識を支援する認識支援装置であって、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する画像取得部と、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する重要領域検出部と、
を有することを特徴とする認識支援装置。
（付記２）
前記２つの画像における前記物体認識装置による認識の確信度を取得する確信度取得部と、
前記２つの画像からそれぞれ取得された前記確信度の差分を算出する確信度差分算出部と、
前記２つの画像に含まれる特徴を有する特徴点を抽出する特徴点抽出部と、
前記特徴点における特徴を定量化した特徴量をそれぞれ算出する特徴量算出部と、
前記２つの画像からそれぞれ抽出された前記特徴量の差分を算出する特徴差分算出部と、
前記２つの画像それぞれの前記確信度の差分および前記特徴量の差分に基づいて前記確信度の向上に対する前記特徴量の寄与度を示す特徴スコアを算出する特徴スコア算出部と、
をさらに有し、
前記重要領域検出部は、前記特徴スコアに基づいて重要領域を検出する、
ことを特徴とする付記１に記載の認識支援装置。
（付記３）
前記特徴量算出部は、前記画像に含まれる特徴を類似性に基づき分類して特徴分類を生成する特徴分類生成部、
を有し、
前記特徴分類生成部は、前記特徴量および前記特徴スコアを前記特徴分類毎に算出することを特徴とする付記２に記載の認識支援装置。
（付記４）
前記特徴量算出部は、
前記特徴点に基づく特徴ベクトルを算出する特徴ベクトル算出部と、
前記特徴ベクトルに基づき前記特徴分類を生成する分類生成部と、
前記特徴点に前記特徴分類を関連付ける特徴点分類部と、
前記特徴分類毎に関連付けられた前記特徴点の数を抽出する特徴点数抽出部、
ことにより行われることを特徴とする付記２に記載の認識支援装置。
（付記５）
前記特徴差分算出部は、
前記特徴分類に分類された前記特徴に対応する前記特徴点の数の差分を、前記特徴分類ごとに算出することを特徴とする付記４に記載の認識支援装置。
（付記６）
前記特徴スコア算出部は、
前記特徴量の差分と、前記確信度の差分との積に基づいて前記特徴スコアを算出することを特徴とする付記５に記載の認識支援装置。
（付記７）
前記重要領域検出部は、
前記特徴分類毎の特徴スコアのうち、上位のものから所定数の特徴分類に分類された前記特徴を有する前記特徴点に基づき前記重要領域を検出することを特徴とする付記３に記載の認識支援装置。
（付記８）
さらに、
前記画像を使用するか否かを判定する画像使用判定部、
を有し、
前記画像を使用すると判別されると、前記特徴点を抽出し、前記特徴量を算出し、前記特徴量の差分を算出し、前記特徴スコアを算出し、前記重要領域を検出することを特徴とする付記１から付記７のいずれかに記載の認識支援装置。
（付記９）
付記１から付記８のいずれかに記載の認識支援装置と、
前記画像を撮影する撮影部と、
ネットワークを介して前記物体に関する情報を含む情報の送受信を行う通信部と、
を有することを特徴とする端末装置。
（付記１０）
物体認識装置による物体認識を支援する認識支援方法であって、
物体認識を支援する認識支援装置が、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
前記重要領域を表示部に通知する
ことを特徴とする認識支援方法。
（付記１１）
前記２つの画像における前記物体認識装置による認識の確信度を取得し、
前記２つの画像からそれぞれ取得された前記確信度の差分を算出し、
前記２つの画像に含まれる特徴を有する特徴点を抽出し、
前記特徴点における特徴を定量化した特徴量を算出し、
前記２つの画像からそれぞれ抽出された前記特徴量の差分を算出し、
前記２つの画像それぞれの前記確信度の差分および前記特徴量の差分に基づいて前記確信度の向上に対する前記特徴量の寄与度を示す特徴スコアを算出し、
前記特徴スコアに基づいて、前記重要領域を検出することを特徴とする付記１０に記載の認識支援方法。
（付記１２）
前記特徴量を算出する処理においては、前記画像に含まれる特徴を類似性に基づき分類して特徴分類を生成し、
前記特徴量および前記特徴スコアは前記特徴分類毎に算出することを特徴とする付記１１に記載の認識支援方法。
（付記１３）
前記特徴量を算出する処理は、
前記特徴点に基づく特徴ベクトルを算出し、
前記特徴ベクトルに基づき前記特徴分類を生成し、
前記特徴点に前記特徴分類を関連付け、
前記特徴分類毎に関連付けられた前記特徴点の数を抽出する、
ことにより行われることを特徴とする付記１１に記載の認識支援方法。
（付記１４）
前記特徴量の差分を算出する処理は、
前記特徴分類に分類された前記特徴に対応する前記特徴点の数の差分を、前記特徴分類ごとに算出することを特徴とする付記４に記載の認識支援方法。
（付記１５）
コンピュータが、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
検出した前記重要領域を、表示部に通知する
ことにより物体認識を支援する処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１００】
１ 物体認識システム
３ サーバ
５ ネットワーク
７ 端末装置
１１ 入力画像
１３ 画像入力部
１５ 情報出力部
２７ 端末装置
３０ 害虫情報検索部
３２ 害虫情報データベース
７１ ＣＰＵ
７３ メモリ
７５ 入力装置
７７ 出力装置
７９ 通信部
８１ 撮影部
１００ 画像使用判定装置
２００ 認識支援装置
３００ 物体認識装置
１０２ 特徴抽出部
１０４ 特徴書込部
１０６ 特徴格納部
１０８ 距離計算部
１１０ 使用判定部
１１２ 使用画像
２０２ 特徴抽出部
２０４ 特徴格納部
２０６ 特徴差分算出部
２０８ 特徴評価部
２１０ 重要領域検出部
２１２ 重要特徴選択部
２１４ 特徴評価格納部
２１６ 確信度格納部
２１８ 確信度差分算出部
２２０ 撮条件判定部
２２２ 重要領域通知
２２４ 認識準備完了通知
３０２ 物体認識部
３０４ 確信度算出部
【特許請求の範囲】
【請求項１】
物体認識装置による物体認識を支援する認識支援装置であって、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する画像取得部と、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する重要領域検出部と、
を有することを特徴とする認識支援装置。
【請求項２】
前記２つの画像における前記物体認識装置による認識の確信度を取得する確信度取得部と、
前記２つの画像からそれぞれ取得された前記確信度の差分を算出する確信度差分算出部と、
前記２つの画像に含まれる特徴を有する特徴点を抽出する特徴点抽出部と、
前記特徴点における特徴を定量化した特徴量をそれぞれ算出する特徴量算出部と、
前記２つの画像からそれぞれ抽出された前記特徴量の差分を算出する特徴差分算出部と、
前記２つの画像それぞれの前記確信度の差分および前記特徴量の差分に基づいて前記確信度の向上に対する前記特徴量の寄与度を示す特徴スコアを算出する特徴スコア算出部と、
をさらに有し、
前記重要領域検出部は、前記特徴スコアに基づいて重要領域を検出する、
ことを特徴とする請求項１に記載の認識支援装置。
【請求項３】
前記特徴量算出部は、前記画像に含まれる特徴を類似性に基づき分類して特徴分類を生成する特徴分類生成部、
を有し、
前記特徴分類生成部は、前記特徴量および前記特徴スコアを前記特徴分類毎に算出することを特徴とする請求項２に記載の認識支援装置。
【請求項４】
前記特徴量算出部は、
前記特徴点に基づく特徴ベクトルを算出する特徴ベクトル算出部と、
前記特徴ベクトルに基づき前記特徴分類を生成する分類生成部と、
前記特徴点に前記特徴分類を関連付ける特徴点分類部と、
前記特徴分類毎に関連付けられた前記特徴点の数を抽出する特徴点数抽出部、
ことにより行われることを特徴とする請求項２に記載の認識支援装置。
【請求項５】
前記特徴差分算出部は、
前記特徴分類に分類された前記特徴に対応する前記特徴点の数の差分を、前記特徴分類ごとに算出することを特徴とする請求項４に記載の認識支援装置。
【請求項６】
前記特徴スコア算出部は、
前記特徴量の差分と、前記確信度の差分との積に基づいて前記特徴スコアを算出することを特徴とする請求項５に記載の認識支援装置。
【請求項７】
前記重要領域検出部は、
前記特徴分類毎の特徴スコアのうち、上位のものから所定数の特徴分類に分類された前記特徴を有する前記特徴点に基づき前記重要領域を検出することを特徴とする請求項３に記載の認識支援装置。
【請求項８】
さらに、
前記画像を使用するか否かを判定する画像使用判定部、
を有し、
前記画像を使用すると判別されると、前記特徴点を抽出し、前記特徴量を算出し、前記特徴量の差分を算出し、前記特徴スコアを算出し、前記重要領域を検出することを特徴とする請求項１から請求項７のいずれかに記載の認識支援装置。
【請求項９】
請求項１から請求項８のいずれかに記載の認識支援装置と、
前記画像を撮影する撮影部と、
ネットワークを介して前記物体に関する情報を含む情報の送受信を行う通信部と、
を有することを特徴とする端末装置。
【請求項１０】
物体認識装置による物体認識を支援する認識支援方法であって、
物体認識を支援する認識支援装置が、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
前記重要領域を表示部に通知する
ことを特徴とする認識支援方法。
【請求項１１】
コンピュータが、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
検出した前記重要領域を、表示部に通知する
ことにより物体認識を支援する処理をコンピュータに実行させるためのプログラム。
【請求項１】
物体認識装置による物体認識を支援する認識支援装置であって、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得する画像取得部と、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、前記重要領域を表示部に通知する重要領域検出部と、
を有することを特徴とする認識支援装置。
【請求項２】
前記２つの画像における前記物体認識装置による認識の確信度を取得する確信度取得部と、
前記２つの画像からそれぞれ取得された前記確信度の差分を算出する確信度差分算出部と、
前記２つの画像に含まれる特徴を有する特徴点を抽出する特徴点抽出部と、
前記特徴点における特徴を定量化した特徴量をそれぞれ算出する特徴量算出部と、
前記２つの画像からそれぞれ抽出された前記特徴量の差分を算出する特徴差分算出部と、
前記２つの画像それぞれの前記確信度の差分および前記特徴量の差分に基づいて前記確信度の向上に対する前記特徴量の寄与度を示す特徴スコアを算出する特徴スコア算出部と、
をさらに有し、
前記重要領域検出部は、前記特徴スコアに基づいて重要領域を検出する、
ことを特徴とする請求項１に記載の認識支援装置。
【請求項３】
前記特徴量算出部は、前記画像に含まれる特徴を類似性に基づき分類して特徴分類を生成する特徴分類生成部、
を有し、
前記特徴分類生成部は、前記特徴量および前記特徴スコアを前記特徴分類毎に算出することを特徴とする請求項２に記載の認識支援装置。
【請求項４】
前記特徴量算出部は、
前記特徴点に基づく特徴ベクトルを算出する特徴ベクトル算出部と、
前記特徴ベクトルに基づき前記特徴分類を生成する分類生成部と、
前記特徴点に前記特徴分類を関連付ける特徴点分類部と、
前記特徴分類毎に関連付けられた前記特徴点の数を抽出する特徴点数抽出部、
ことにより行われることを特徴とする請求項２に記載の認識支援装置。
【請求項５】
前記特徴差分算出部は、
前記特徴分類に分類された前記特徴に対応する前記特徴点の数の差分を、前記特徴分類ごとに算出することを特徴とする請求項４に記載の認識支援装置。
【請求項６】
前記特徴スコア算出部は、
前記特徴量の差分と、前記確信度の差分との積に基づいて前記特徴スコアを算出することを特徴とする請求項５に記載の認識支援装置。
【請求項７】
前記重要領域検出部は、
前記特徴分類毎の特徴スコアのうち、上位のものから所定数の特徴分類に分類された前記特徴を有する前記特徴点に基づき前記重要領域を検出することを特徴とする請求項３に記載の認識支援装置。
【請求項８】
さらに、
前記画像を使用するか否かを判定する画像使用判定部、
を有し、
前記画像を使用すると判別されると、前記特徴点を抽出し、前記特徴量を算出し、前記特徴量の差分を算出し、前記特徴スコアを算出し、前記重要領域を検出することを特徴とする請求項１から請求項７のいずれかに記載の認識支援装置。
【請求項９】
請求項１から請求項８のいずれかに記載の認識支援装置と、
前記画像を撮影する撮影部と、
ネットワークを介して前記物体に関する情報を含む情報の送受信を行う通信部と、
を有することを特徴とする端末装置。
【請求項１０】
物体認識装置による物体認識を支援する認識支援方法であって、
物体認識を支援する認識支援装置が、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
前記重要領域を表示部に通知する
ことを特徴とする認識支援方法。
【請求項１１】
コンピュータが、
異なる時刻に撮影された識別対象の物体を含む２つの画像を取得し、
前記２つの画像における前記物体認識装置による認識の確信度の差分と、前記２つの画像に含まれる特徴点における特徴を定量化した特徴量の差分とに基づき、前記物体認識装置の認識精度を向上させる、前記認識対象の物体の一部を含む重要領域を前記２つの画像のいずれかから検出し、
検出した前記重要領域を、表示部に通知する
ことにより物体認識を支援する処理をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図６】
【図７】
【図１０】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図６】
【図７】
【図１０】
【図１３】
【図１４】
【公開番号】特開２０１３−９７６４５（Ｐ２０１３−９７６４５Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４０８７７（Ｐ２０１１−２４０８７７）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]