画像認識システムおよび画像認識方法
【課題】ネットワーク型画像認識システムのレスポンスを向上させる。
【解決手段】端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、端末装置は、入力画像から加工画像を生成する画像処理部と、画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有する。サーバは、端末装置から受信する加工画像に対して認識処理を行う認識部と、認識部による認識処理において不足している情報を判断する不足情報判断部と、端末装置に対して不足情報判断部による判断結果に対応する画像を要求する要求部と、を有する。画像処理部は、サーバからの要求に基づいて、入力画像から加工画像を生成する。
【解決手段】端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、端末装置は、入力画像から加工画像を生成する画像処理部と、画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有する。サーバは、端末装置から受信する加工画像に対して認識処理を行う認識部と、認識部による認識処理において不足している情報を判断する不足情報判断部と、端末装置に対して不足情報判断部による判断結果に対応する画像を要求する要求部と、を有する。画像処理部は、サーバからの要求に基づいて、入力画像から加工画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識システムおよび画像認識方法に係わる。
【背景技術】
【０００２】
画像認識の１つの応用例として、入力画像についてデータベースで照合を行い、その画像内に映っている物体を認識する画像認識システムが知られている。ところが、データベースが記憶するデータの量は膨大である。よって、ネットワーク型（クライアント／サーバ型）の画像認識システムのニーズが高まってきている。
【０００３】
ネットワーク型の画像認識システムにおいては、端末装置（クライアント）は、認識対象の画像をサーバへ送信する。そうすると、サーバは、端末装置から受信した画像について認識処理およびデータベース照合を行う。そして、サーバは、認識結果を端末装置へ返送する。
【０００４】
上述の画像認識システムにおいては、端末装置は、大容量のデータベースを有することなく、認識結果を得ることができる。また、サーバが有するデータベースが適切に更新されていれば、端末装置は、最新のデータベースによる認識結果を得ることができる。
【０００５】
関連する技術として、下記の静止画検索伝送方法が提案されている。送信側記憶手段に静止画の画像データの他、各静止画の概略表示のための縮小画像データと、当該静止画の説明用文字情報とを格納しておく。受信側へ、上記縮小画像データ及び説明文字情報の送信を行う。受信側でこれを表示して所要画面を選択し、その結果を画像送信要求として送信側へ送信する。（例えば、特許文献１）
【０００６】
また、他の関連技術として、下記の画像データの通信方法が提案されている。取り込まれたデータを蓄積し、蓄積されたデータからＩＮＤＥＸ画像を作成し、その画像を送信する。受信者は、そのＩＮＤＥＸ画像から自分が必要なデータのみ選択し、送信者側ファクシミリ装置にＩＮＤＥＸ画像と必要データを通知する。通知後、送信者側ファクシミリ装置は、受信者側ファクシミリ装置から指定されたＩＮＤＥＸ画像と通知されたデータを蓄積されたデータから検索し、その後通知されたデータの加工前のデータ及び関連データのみ受信者側ファクシミリ装置に送信する。（例えば、特許文献２）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−２１９９６７号公報
【特許文献２】特開２００４−１０４７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ネットワーク型の画像認識システムにおいては、上述のように、端末装置からサーバへ認識対象の画像が伝送される。しかし、画像はデータ量が大きい。このため、ネットワーク型の画像認識システムは、認識レスポンスが遅くなる傾向にある。
【０００９】
特に、無線ネットワークにおいては、上り回線（端末装置からサーバへデータを伝送する回線）の通信容量が下り回線（サーバから端末装置へデータを伝送する回線）と比較して大幅に小さいことが多い。したがって、この場合、認識レスポンスがさらに遅くなるおそれがある。
【００１０】
本発明の課題は、ネットワーク型画像認識システムのレスポンスを向上させることである。
【課題を解決するための手段】
【００１１】
本発明の１つの態様の画像認識システムは、端末装置が取得した画像をサーバにおいて認識する。前記端末装置は、入力画像から加工画像を生成する画像処理部と、前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有する。前記サーバは、前記端末装置から受信する加工画像に対して認識処理を行う認識部と、前記認識部による認識処理において不足している情報を判断する不足情報判断部と、前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有する。前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する。
【発明の効果】
【００１２】
上述の態様によれば、ネットワーク型画像認識システムのレスポンスが向上する。
【図面の簡単な説明】
【００１３】
【図１】実施形態の画像認識システムの構成および機能を示す図である。
【図２】画像認識処理の概略を示す図である。
【図３】画像認識処理の実施例を示す図である。
【図４】入力画像の一例を示す図である。
【図５】（ａ）は初期画像の一例、（ｂ）（ｃ）はサーバからの要求に応じて生成される画像の一例を示す図である。
【図６】要求情報の実施例を示す図である。
【図７】画像処理部の機能を説明する図である。
【図８】端末装置の動作を示すフローチャートである。
【図９】サーバの動作を示すフローチャートである。
【図１０】車両を認識する実施例においてサーバの動作を示すフローチャートである。
【図１１】車名を特定する手順を示す図（その１）である。
【図１２】車名を特定する手順を示す図（その２）である。
【図１３】車名を特定する手順を示す図（その３）である。
【図１４】車名を特定する手順を示す図（その４）である。
【図１５】車名を特定する手順を示す図（その５）である。
【図１６】車名を特定する手順を示す図（その６）である。
【図１７】車名を特定する手順を示す図（その７）である。
【図１８】端末装置およびサーバを実現するためのコンピュータシステムのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１４】
図１は、実施形態の画像認識システムの構成および機能を示す図である。実施形態の画像認識システムは、端末装置１およびサーバ２を有する。端末装置１およびサーバ２は、ネットワーク３を介して接続されている。ネットワーク３は、無線ネットワークであってもよいし、有線ネットワークであってもよい。また、ネットワーク３は、無線ネットワークおよび有線ネットワークを含む構成であってもよい。
【００１５】
なお、図１においては、サーバ２に対して１台の端末装置１が接続されているが、サーバ２は、複数の端末装置を収容してもよい。すなわち、サーバ２は、複数の端末装置と並列に通信を行うようにしてもよい。
【００１６】
端末装置１は、画像取得部１１、記憶装置１２、画像処理部１３、通信部１４、要求処理部１５を有する。そして、端末装置１は、カメラ３１によって撮影された画像を取得する。
【００１７】
カメラ３１は、静止画像を取得するデジタルカメラまたは動画像を取得するデジタルビデオカメラである。また、カメラ３１は、カラー画像データを生成してもよいし、白黒画像データを生成してもよい。
【００１８】
画像取得部１１は、カメラ３１により生成される画像を取得する。すなわち、画像取得部１１は、カメラ３１と端末装置１との間のインタフェースを提供する。そして、画像取得部１１は、カメラ３１から取得した画像を記憶装置１２に保存する。ここで、カメラ３１が静止画像を出力するときは、画像取得部１１は、カメラ３１から取得する画像を記憶装置１２に保存する。また、カメラ３１が動画像を出力するときは、画像取得部１１は、動画像中の指定されたタイミングの画像を記憶装置１２に保存してもよい。なお、以下の説明では、画像取得部１１がカメラ３１から取得する画像を「入力画像」と呼ぶことがある。
【００１９】
記憶装置１２は、画像取得部１１により取得された画像を保存する。記憶装置１２は、例えば、フラッシュメモリ等の半導体メモリにより実現される。また、記憶装置１２は、ハードディスク、光ディスク等の他の記録媒体で実現してもよい。なお、記憶装置１２の記録媒体は、端末装置１に対して着脱可能であってもよい。
【００２０】
画像処理部１３は、記憶装置１２に保存されている入力画像から加工画像を生成する。ここで、画像処理部１３は、予め指定されている規則に基づいて、入力画像から加工画像を生成することができる。また、端末装置１がサーバ２から要求情報を受信したときは、画像処理部１３は、その要求情報に基づいて、入力画像から加工画像を生成する。
【００２１】
通信部１４は、画像処理部１３によって生成される加工画像をサーバ２へ送信する。また、通信部１４は、サーバ２から送信される要求情報を要求処理部１５に導く。さらに、通信部１４は、サーバ２により得られる画像認識の結果を受信する。
【００２２】
要求処理部１５は、サーバ２から送信される要求情報に基づいて、画像処理部１３に対して指示を与える。これにより、画像処理部１３は、サーバ２から送信される要求情報に基づいて、入力画像から加工画像を生成できる。すなわち、画像処理部１３は、サーバ２から要求される画像を生成することができる。
【００２３】
サーバ２は、通信部２１、認識部２２、データベース２３、不足情報判断部２４、要求部２５を有する。なお、サーバ２は、データベース２３を含まなくてもよい。すなわち、データベース２３は、サーバ２の外部に設けてもよい。この場合、サーバ２は、所定のインタフェースでデータベース２３にアクセスするものとする。
【００２４】
通信部２１は、端末装置１から送信されてくる画像（すなわち、画像処理部１３によって生成される加工画像）を認識部２２に導く。また、通信部２１は、要求部２５により生成される要求情報を端末装置１へ送信する。さらに、通信部２１は、認識部２２による認識結果を端末装置１へ送信する。
【００２５】
認識部２２は、端末装置１から受信した画像に対して認識処理を行う。このとき、認識部２２は、必要に応じて、受信画像とデータベース２３に登録されている画像データとを照合する。データベース２３には、用途に応じて様々な画像データが登録されている。データベース２３に登録されている画像データは、必要に応じて更新される。そして、認識部２２は、認識結果を出力する。
【００２６】
不足情報判断部２４は、認識部２２による認識処理において不足している情報を判断する。すなわち、不足情報判断部２４は、認識部２２が認識処理を成功させるために必要な情報を特定する。
【００２７】
要求部２５は、不足情報判断部２４による判断結果に対応する画像を表す要求情報を生成する。この要求情報は、上述のように、通信部２１によって端末装置１へ送信される。すなわち、要求部２５は、不足情報判断部２４による判断結果に対応する画像を端末装置１に要求する。
【００２８】
上述のように、実施形態の画像認識システムでは、端末装置１からサーバ２へ画像が送信され、サーバ２が認識処理を行う。すなわち、サーバ２は、画像認識装置として動作することができる。ここで、仮に、端末装置１がカメラ３１からの入力画像をそのままサーバ２へ送信するものとすると、認識処理において必要な情報だけでなく、認識処理に無関係な情報も端末装置１からサーバ２へ伝送される可能性が高い。この場合、端末装置１からサーバ２へ伝送されるデータ量が多くなり、認識レスポンスが遅くなるおそれがある。このため、認識レスポンスを向上させるためには、認識処理に無関係な情報の伝送を抑制し、認識処理に必要な情報のみを伝送する方式が好ましい。しかし、端末装置１は、サーバ２による認識処理において、どのような情報が必要であり、どのような情報が不要であるのかを判断することは困難である。
【００２９】
そこで、実施形態の画像認識システムでは、下記の２つの処理を採用することにより、１回あたりの通信負荷を下げて認識完了までのレスポンスの向上を図る。ただし、画像認識システムは、下記（１）（２）の一方のみを行うようにしてもよい。
【００３０】
（１）対話的なやり取りによる必要情報のみの伝送
サーバ２は、目標とする物体を認識または特定するために不足している情報（または、画像）を判断し、端末装置１にその情報（または、画像）の抽出および伝送を要求する。端末装置１は、サーバ２からの要求に基づいて不足情報（特徴量）を生成または抽出し、生成または抽出した情報のみをサーバ２へ送信する。この対話的なやり取りにより、認識処理に不要な情報の伝送が抑制される。
【００３１】
（２）高次特徴量への変換
端末装置１は、入力画像を高次特徴量へ変換してサーバ２へ送信する。これにより、１回あたりのデータ伝送の情報量が削減される。この結果、サーバ２からのレスポンスの高速化が実現され、帯域の狭い上り回線の通信負荷が軽減される。
【００３２】
図２は、実施形態の画像認識システムにおける画像認識処理の概略を示す。実施形態の画像認識システムにおいては、端末装置１からサーバ２へ画像が送信され、サーバ２において画像認識が行われる。なお、図２では、端末装置１の記憶装置１２に入力画像が既に格納されているものとする。また、サーバ２は、端末装置１から受信する画像内に映っている物体を所定のレベルまで認識する画像認識処理を行うものとする。
【００３３】
最初（１回目）の認識処理において、端末装置１は、初期画像として、入力画像からその入力画像よりも情報量の少ない特徴画像を生成する。特徴画像は、例えば、入力画像のエッジ画像である。エッジ画像は、例えば、入力画像に対してSobelフィルタ演算を実行することにより生成される。また、特徴画像は、入力画像の縮小エッジ画像であってもよい。そして、端末装置１は、生成した特徴画像をサーバ２へ送信する。なお、端末装置１は、初期画像として、入力画像の縮小画像をサーバ２へ送信してもよい。
【００３４】
サーバ２は、端末装置１から受信する画像に対して認識処理を行う。ただし、１回目の認識処理で端末装置１から受信する画像は、データ量を抑制するために入力画像よりも情報量が削減された特徴画像である。このため、この特徴画像に対して認識処理を実行した場合、所望の認識結果が得られない可能性がある。図２に示す例では、サーバ２は、上述の特徴画像に対する認識処理では、画像内に映っている物体を所定のレベルまで認識できなかったものとする。
【００３５】
この場合、サーバ２は、認識処理において不足している情報（すなわち、画像内に映っている物体を所定のレベルまで認識するために必要な情報）を特定し、認識処理に必要な画像の送信を端末装置１に要求する。以降、画像認識システムは、２回目の認識処理に移行する。
【００３６】
なお、サーバ２が上述の特徴画像から画像内に映っている物体を所定のレベルまで認識できたときは、サーバ２は認識処理を終了する。この場合、サーバ２は、認識結果を端末装置１へ送信する。
【００３７】
２回目の認識処理において、端末装置１は、サーバ２からの要求に基づいて、サーバ２による認識処理において不足している情報を提供する。すなわち、端末装置１は、サーバ２から要求された画像を生成してサーバ２へ送信する。
【００３８】
サーバ２は、上述の要求に応じて端末装置１が新たに生成した画像を受信すると、その画像に対して認識処理を行う。この例では、サーバ２は、２回目の認識処理によっても、画像内に映っている物体を所定のレベルまで認識できなかったものとする。この場合、サーバ２は、１回目の認識処理と同様に、認識処理において不足している情報を特定する。ただし、２回目の認識処理で特定される不足情報は、１回目の認識処理で特定される不足情報とは異なる。そして、サーバ２は、２回目の認識処理で特定された、認識処理に必要な画像の送信を端末装置１に要求する。以降、画像認識システムは、３回目の認識処理に移行する。
【００３９】
３回目以降の認識処理は、２回目の認識処理と実質的に同じである。ただし、各認識処理においてサーバ２が端末装置１に要求する画像は、互いに異なっている。よって、各認識処理において端末装置１がサーバ２へ送信する画像は、互いに異なっている。
【００４０】
上述の認識処理は、画像内に映っている物体が所定のレベルまで認識されるまで、端末装置１およびサーバ２によって繰り返し実行される。すなわち、端末装置１およびサーバ２は、画像内に映っている物体が所定のレベルまで認識されるまで、サーバ２から端末装置１へ必要な画像を要求する手順、端末装置１がサーバ２からの要求に対応する画像を生成してサーバ２へ送信する手順、サーバ２が新たに受信した画像に対して認識処理を行う手順、を含む対話処理を繰り返し行う。
【００４１】
図２に示す例では、Ｎ回目の認識処理で、画像内に映っている物体が所定のレベルまで認識されている。そうすると、サーバ２は、認識結果を端末装置１へ送信する。これにより、端末装置１は、入力画像についての認識結果をサーバ２から受け取ることができる。
【００４２】
このように、実施形態の画像認識方法では、端末装置１は、最初の認識処理において、入力画像よりも情報量の少ない特徴画像をサーバ２へ送信する。また、２回目以降の認識処理では、端末装置１は、先の認識処理で不足していると判断された最小限の情報量の画像をサーバ２へ送信する。したがって、入力画像をそのままサーバ２へ送信する方法と比較して、実施形態の画像認識方法は、端末装置１からサーバ２へ伝送されるデータ量が抑制される。
【００４３】
ここで、特に無線ネットワークでは、下り回線（サーバ２から端末装置１へデータを伝送する回線）と比較して、上り回線（端末装置１からサーバ２へデータを伝送する回線）の容量が大幅に小さいことが多い。そして、このようなネットワークでは、上り回線のデータ量が増大すると、画像認識システムのレスポンスが劣化するおそれがある。
【００４４】
しかしながら、実施形態の画像認識方法によれば、上述のように、端末装置１からサーバ２へ伝送されるデータ量が抑制される。よって、実施形態の画像認識方法によれば、特に、下り回線と比較して上り回線の容量が小さいシステムにおいて、画像認識システムのレスポンスが改善される。
【００４５】
図３は、実施形態の画像認識システムにおける画像認識処理の実施例を示す。この実施例では、端末装置１は、自動車などの車両に搭載されている。また、図１に示すカメラ３１も同じ車両に搭載されている。カメラ３１は、その車両の周辺の画像を取得する。そして、端末装置１は、カメラ３１から入力される画像の中に映っている物体（主に、他の車両）を認識する処理をサーバ２に依頼する。
【００４６】
図４は、入力画像の一例を示す。この入力画像は、カメラ３１が駐車場を撮影することにより得られたものである。また、この入力画像の中には、１台の車両が映っている。そして、この入力画像は、図１に示す記憶装置１２に記憶されている。
【００４７】
端末装置１は、図４に示す入力画像から図５（ａ）に示す縮小エッジ画像を生成する。縮小エッジ画像は、画像処理部１３により生成される。このとき、画像処理部１３は、入力画像を縮小する処理を実行した後に、その縮小画像のエッジ画像を生成することができる。或いは、画像処理部１３は、入力画像のエッジ画像を生成する処理を実行した後に、そのエッジ画像を縮小してもよい。なお、縮小率は、予め指定されているものとする。また、エッジ画像は、例えば、Ｘ方向SobelフィルタおよびＹ方向Sobelフィルタを利用して生成される。各Sobelフィルタのサイズおよび係数も、予め指定されているものとする。このようにして生成される縮小エッジ画像のデータ量は、入力画像と比較して大幅に少ない。そして、端末装置１の送信部１４は、上述のようにして生成された縮小エッジ画像をサーバ２へ送信する。
【００４８】
サーバ２は、上述の縮小エッジ画像を端末装置１から受信する。そうすると、図１に示す認識部２２は、受信した縮小エッジ画像に対して認識処理を行う。そして、この実施例では、認識部２２は、図５（ａ）に示す縮小エッジ画像に対して認識処理を行うことにより、画像内に車両が存在している可能性が高いと判定する。なお、エッジ画像内に車両が存在するか否かを判定する方法は、特に限定されるものではなく、公知のアルゴリズムを利用してもよい。例えば、認識部２２は、略水平方向に伸びる複数のエッジおよび略垂直方向に伸びる複数のエッジの組合せに基づいて、車両の存在を推定してもよい。
【００４９】
ただし、この実施例では、認識部２２は、縮小エッジ画像から車両の車種および車名までは認識できないものとする。そうすると、図１に示す不足情報判断部２４は、画像内に映っている車両の車種および車名を認識するために必要な情報を特定する。この実施例では、認識部２２は、画像内に映っている車両の向き（正面、横、斜め、後ろ）を推定するために、車両の下端部の画像を使用するものとする。この場合、不足情報判断部２４は、「車両の下端部の画像が不足している」と判断する。
【００５０】
そうすると、要求部２５は、端末装置１に対して、画像内に映っている車両の下端部の画像を要求する。このとき、要求部２５は、例えば、要求情報を利用して、車両の下端部を含む矩形領域を指定する。この矩形領域は、情報量を少なくするためには、例えば、車両の下端部を含む最小の矩形である。図４に示す例では、要求部２５は、矩形Ｒ１を指定する。この場合、要求情報は、矩形領域の位置およびサイズを特定する座標情報を含む。そして、サーバ２は、この要求情報を端末装置１へ送信する。すなわち、サーバ２は、画像内に映っている車両の車種および車名を認識するために必要な画像を端末装置１に要求する。
【００５１】
端末装置１は、サーバ２から上述の要求情報を受信すると、図４に示す入力画像から、その要求情報で指定されている画像を抽出する。すなわち、画像処理部１３は、入力画像から矩形Ｒ１の内側の画像を抽出することにより、車両の下端部を含む図５（ｂ）に示す部分画像を生成する。そして、端末装置１は、車両の下端部を含む部分画像をサーバ２へ送信する。
【００５２】
サーバ２は、車両の下端部を含む部分画像を端末装置１から受信する。そうすると、認識部２２は、受信した部分画像に対して認識処理を行う。そして、この実施例では、認識部２２は、車両の下端部を含む部分画像に対して認識処理を行うことにより、画像内に映っている車両の向きを推定する。
【００５３】
車両の下端部を含む画像を利用する場合、車両の向きに対応するパーツ（エンブレム、フロントグリル、ナンバープレート、ライト、タイヤ、ドアなど）を検出することで、車両の向きを推定することができる。例えば、ナンバープレートおよび／またはタイヤを検出することで車両の向きが推定される。ナンバープレートは、車両の前方および後方にのみ存在するので、横方向に長辺を有する略矩形（すなわち、ナンバープレート）を検出することで、車両の大まかな向き（前向き、後向き、斜め）を推定できる。また、車両を側方から見たときに、タイヤは略円または略楕円に見えるので、そのような形状（すなわち、タイヤ）を検出することで車両の大まかな向き（横向き、斜め）を推定できる。すなわち、タイヤが検出されずにナンバープレートが検出されたときは、車両の向きは前向きまたは後向きと推定される。また、ナンバープレートが検出されずにタイヤが検出されたときは、車両の向きは横向きと推定される。さらに、ナンバープレートおよびタイヤが検出されたときは、車両の向きは斜向きと推定される。
【００５４】
このようにして、サーバ２は、車両の下端部を含む部分画像に基づいて、画像内に映っている車両の向きを推定する。しかし、この実施例では、認識部２２は、未だ車両の車種および車名までは認識できないものとする。そうすると、不足情報判断部２４は、画像内に映っている車両の車種および車名を認識するために必要な別の情報を特定する。この実施例では、認識部２２は、画像内に映っている車両の車種および車名を認識するために、車両の中央部の画像を使用するものとする。この場合、不足情報判断部２４は、「車両の中央部の画像が不足している」と判断する。
【００５５】
そうすると、要求部２５は、端末装置１に対して、画像内に映っている車両の中央部の画像を要求する。このとき、要求部２５は、例えば、要求情報を利用して、車両の中央部を含む矩形領域を指定する。この矩形領域は、情報量を少なくするためには、例えば、車両の中央部を含む最小の矩形である。図４に示す例では、要求部２５は、矩形Ｒ２を指定する。この場合も、要求情報は、矩形領域の位置およびサイズを特定する座標情報を含む。そして、サーバ２は、この要求情報を端末装置１へ送信する。すなわち、サーバ２は、画像内に映っている車両の車種および車名を認識するために必要な別の画像を端末装置１に要求する。
【００５６】
端末装置１は、サーバ２から上述の要求情報を受信すると、図４に示す入力画像から、その要求情報で指定されている画像を抽出する。すなわち、画像処理部１３は、入力画像から矩形Ｒ２の内側の画像を抽出することにより、車両の中央部を含む図５（ｃ）に示す部分画像を生成する。そして、端末装置１は、車両の下端部を含む部分画像をサーバ２へ送信する。
【００５７】
サーバ２は、車両の中央部を含む部分画像を端末装置１から受信する。そうすると、認識部２２は、受信した部分画像に対して認識処理を行う。そして、この実施例では、認識部２２は、車両の中央部を含む部分画像に対して認識処理を行うことにより、画像内に映っている車両の車種、製造メーカー、車名を特定できるものとする。
【００５８】
ここで、先の画像処理によって、画像内に映っている車両の車種および向きが特定されている場合について考える。例えば、車種が「セダン」であるものとする。この場合、車両の前面には、エンブレムが取り付けられていることが多い。よって、車両の向きが「前向き」であるときは、エンブレムに基づいて製造メーカーを特定できる可能性が高い。また、車両の後方部分には、車名（型名）が表示されていることが多い。よって、車両の向きが「後向き」であるときは、画像に対して文字認識を行うことで、車名（型名）を特定できる可能性が高い。
【００５９】
このようにして、サーバ２は、車両の中央部を含む部分画像に基づいて、画像内に映っている車両の車種、製造メーカー、車名を特定する。そうすると、サーバ２は、その認識結果を端末装置１へ送信する。
【００６０】
図６は、サーバ２が端末装置１に対して画像を要求するために使用する要求情報の実施例を示す。要求情報は、「認識完了フラグ」「画像タイプ」「処理範囲」「縮小率」を含む。また、要求情報は、不足情報判断部２４の判断結果に基づいて、要求部２５により作成される。
【００６１】
認識完了フラグは、認識部２２による認識処理が終了したか否かを表す。認識部２２において所定の認識結果が得られたときは「認識完了フラグ＝１」が生成され、所定の認識結果が得られていないときは「認識完了フラグ＝０」が生成される。図３〜図５に示す例では、画像内に映っている車両の車名が特定されたときに、認識処理が終了したと判定される。
【００６２】
画像タイプ情報は、サーバ２が認識処理において必要とする画像のタイプを表す。この実施例では、サーバ２が原画像（カラー画像）を要求するときは「画像タイプ＝０」が設定され、グレー画像を要求するときは「画像タイプ＝１」が設定され、エッジ画像を要求するときは「画像タイプ＝２」が設定される。
【００６３】
処理範囲情報は、サーバ２が認識処理において必要とする画像の範囲（すなわち、画像領域）を表す。この実施例では、処理範囲情報は、矩形領域のサイズおよび位置を指定できる。この場合、処理範囲情報は、例えば、要求する矩形画像領域の左上頂点および右下頂点の座標を指定する。或いは、処理範囲情報は、要求する矩形画像領域の４つの頂点の座標を指定してもよい。なお、サーバ２が端末装置１に要求できる画像領域の形状は、矩形に限定されるものではない。
【００６４】
縮小率情報は、サーバ２が認識処理において必要とする画像のサイズを表す。指定可能な縮小率は、例えば、原画像の1/2、1/4等である。ただし、縮小率情報は、０〜１００パーセントの範囲で任意の縮小率を指定できるようにしてもよい。
【００６５】
なお、要求情報は、他の情報を含んでもよい。例えば、要求情報は、エッジ画像を生成するためのフィルタの係数を指定する情報、エッジの種類（例えば、斜め方向のエッジが抽出されたエッジ画像）を指定する情報を含むようにしてもよい。
要求情報は、サーバ２から端末情報１へ送信される。そうすると、端末装置１の画像処理部１３は、その要求情報に応じて加工画像を生成する。
【００６６】
図７は、画像処理部１３の機能を説明する図である。画像処理部１３は、画像メモリ４１、グレー画像生成部４２、エッジ画像生成部４３、領域抽出部４４、画像縮小部４５を有する。そして、画像処理部１３は、記憶装置１２から入力画像を取得する。この入力画像（すなわち、原画像）は、いったん画像メモリ４１に格納される。
【００６７】
サーバ２からグレー画像が要求されたときは、グレー画像生成部４２は、画像メモリ４１に格納されているカラー画像からグレー画像を生成する。グレー画像生成部４２により生成されたグレー画像は、画像メモリ４１に格納される。
【００６８】
サーバ２からエッジ画像が要求されたときは、エッジ画像生成部４３は、画像メモリ４１に格納されている画像からエッジ画像を生成する。ここで、エッジ画像生成部４３は、Ｘ方向Sobelフィルタ４３ｘおよびＹ方向Sobelフィルタ４３ｙを有する。すなわち、エッジ画像生成部４３は、水平方向エッジ画像および垂直方向エッジ画像を生成することができる。そして、エッジ画像生成部４３により生成されたエッジ画像は、画像メモリ４１に格納される。
【００６９】
サーバ２から受信する要求情報において処理範囲情報が設定されているときは、領域抽出部４４は、画像メモリ４１に格納されている画像から、指定された処理範囲内の画像を抽出する。領域抽出部４４により抽出された画像（すなわち、部分画像）は、画像メモリ４１に格納される。
【００７０】
サーバ２から受信する要求情報において縮小率情報が設定されているときは、画像縮小部４５は、指定されている縮小率に応じて画像メモリ４１に格納されている画像を縮小する。画像縮小部４５により生成される縮小画像は、画像メモリ４１に格納される。
【００７１】
画像処理部１３は、グレー画像生成部４２、エッジ画像生成部４３、領域抽出部４４、または画像縮小部４５によって生成された加工画像を出力する。ただし、画像処理部１３は、グレー画像生成部４２、エッジ画像生成部４３、領域抽出部４４、画像縮小部４５のうちの２以上を利用して生成した加工画像を出力することもできる。例えば、サーバ２から縮小エッジ画像が要求されたときは、画像処理部１３は、エッジ画像生成部４３および画像縮小部４５を利用して要求された画像を生成する。このとき、例えば、エッジ画像生成部４３が入力画像からエッジ画像を生成し、その後、画像縮小部４５がそのエッジ画像から縮小エッジ画像を生成する。あるいは、画像縮小部４５が入力画像から縮小画像を生成し、その後、エッジ画像生成部４３がその縮小画像から縮小エッジ画像を生成してもよい。
【００７２】
このように、画像処理部１３は、サーバ２から受信する要求情報に従って、入力画像から加工画像を生成する。すなわち、画像処理部１３は、サーバ２から要求された画像を生成する。そして、端末装置１は、画像処理部１３により生成された加工画像（すなわち、サーバ２から要求された画像）をサーバ２へ送信する。
【００７３】
図８は、実施形態の画像認識システムにおいて端末装置１の動作を示すフローチャートである。このフローチャートの処理は、例えば、画像認識を開始する旨の指示が端末装置１に与えられときに実行される。画像認識を開始する旨の指示は、例えば、ユーザにより与えられる。
【００７４】
ステップＳ１において、画像処理部１３は、記憶装置１２から入力画像を取得する。なお、記憶装置１２には、この時点で、カメラ３１によって生成された画像が格納されているものとする。
【００７５】
ステップＳ２において、要求処理部１５は、端末装置１がサーバ２から要求情報を受信しているか否かを判定する。端末装置１がサーバ２から要求情報を受信していなければ、端末装置１の処理はステップＳ３へ移行する。一方、端末装置１がサーバ２から要求情報を受信していれば、端末装置１の処理はステップＳ４へ移行する。なお、このフローチャートの処理が開始された直後の初期動作状態においては、端末装置１はサーバ２から要求情報を受信していないので、ステップＳ３の処理が実行される。
【００７６】
ステップＳ３において、画像処理部１３は、予め指定されている規則に従って、入力画像から初期画像を生成する。この規則は、例えば、サーバ２から指定される。或いは、この規則は、端末装置１とサーバ２との間のネゴシエーションで決定してもよい。一例としては、「画像タイプ＝２（エッジ画像）」および「縮小率＝１／４」が指定されている。この場合、画像処理部１３は、入力画像から１／４に縮小されたエッジ画像を生成する。
【００７７】
端末装置１がサーバ２から要求情報を受信していれば、ステップＳ４の処理が実行される。ステップＳ４において、要求処理部１５は、受信した要求情報に従って、画像処理部１３に対して加工画像の生成方法の規則を与える。そして、画像処理部１３は、要求処理部１５から与えられる規則に従って、入力画像から加工画像を生成する。例えば、サーバ２からの要求情報において「処理範囲」が設定されていたときは、画像処理部１３は、入力画像から、要求情報に設定されている処理範囲の内側の画像を抽出することにより、サーバ２から要求された画像を生成する。
【００７８】
ステップＳ５において、通信部１４は、ステップＳ３またはＳ４で画像処理部１３によって生成された画像をサーバ２へ送信する。すなわち、最初の認識処理では、通信部１４は、ステップＳ３で生成される初期画像をサーバ２へ送信する。また、２回目以降の認識処理では、通信部１４は、サーバ２からの要求に応じてステップＳ４で生成された画像をサーバ２へ送信する。
【００７９】
サーバ２は、端末装置１から受信する画像に対して認識処理を実行する。そして、サーバ２は、認識処理の状況または結果に応じて要求情報を作成し、その要求情報を端末装置１へ送信する。
【００８０】
ステップＳ６〜Ｓ７において、端末装置１は、サーバ２から要求情報を受信する。要求情報は、要求処理部１５により解釈される。そして、認識完了フラグが「１：完了」であれば、端末装置１の処理は終了する。なお、図８においては省略されているが、認識完了フラグが「１：完了」であるときは、端末装置１は、サーバ２から認識結果も受信する。一方、認識完了フラグが「０：未完了」であれば、端末装置１の処理はステップＳ４に移行する。
【００８１】
このように、端末装置１は、ステップＳ３、Ｓ５で初期画像を送信する。その後は、端末装置１は、サーバ２での認識処理が完了するまで、ステップＳ４〜Ｓ７の処理を繰り返し実行する。すなわち、端末装置１は、サーバ２から画像を要求される毎に、要求された画像を生成してサーバ２へ送信する。
【００８２】
図９は、実施形態の画像認識システムにおいてサーバ２の動作を示すフローチャートである。このフローチャートの処理は、例えば、サーバ２が端末装置１から画像認識の依頼を受け取ったときに実行される。
【００８３】
ステップＳ１１において、通信部２１は、端末装置１から画像を受信する。このとき、サーバ２は、図８のステップＳ３またはＳ４で生成された画像を受信する。
ステップＳ１２〜Ｓ１３において、認識部２２は、端末装置１から受信する画像に対して認識処理を実行する。このとき、認識部２２は、必要に応じてデータベース２３との照合を行ってもよい。そして、認識処理が完了していなければ、サーバ２の処理はステップＳ１４へ移行する。一方、認識処理が完了したときは、サーバ２の処理はステップＳ１６へ移行する。例えば、図３に示す実施例では、画像認識処理は、画像内に映っている車両の車種および車名を特定することを目的としている。この場合、画像内に映っている車両の車種および車名が特定されたときに、認識処理が完了したと判定される。
【００８４】
ステップＳ１４において、不足情報判断部２４は、認識部２２による認識処理で不足している情報を判断する。すなわち、不足情報判断部２４は、認識処理を完了させるためにどのような画像が必要であるのかを判断する。例えば、図３に示す実施例では、「車両の下端部の画像が不足している」あるいは「車両の中央部の画像が不足している」と判断されている。
【００８５】
ステップＳ１５において、要求部２５は、不足情報判断部２４による判断結果に基づいて、不足している情報を端末装置１に要求する。すなわち、サーバ２は、認識処理を完了させるために必要な画像を端末装置１に要求する。この要求は、図６に示す要求情報を端末装置１へ送信することにより実現される。
【００８６】
端末装置１は、サーバ２から要求情報を受信すると、図８を参照しながら説明したように、要求された画像を生成してサーバ２へ送信する。そして、サーバ２は、その画像を受信する。すなわち、サーバ２の処理は、ステップＳ１５を実行した後、ステップＳ１１に戻ることになる。
【００８７】
認識部２２による認識処理が完了したときは（ステップＳ１３：ＹＥＳ）、ステップＳ１６の処理が実行される。ステップＳ１６において、サーバ２は、認識部２２による認識結果を端末装置１へ送信する。このとき、サーバ２は、認識結果に加えて、「完了フラグ＝１（完了）」が設定された要求情報を端末装置１へ送信する。
【００８８】
このように、サーバ２は、端末装置１から画像を受信する毎に、その画像に対して認識処理を行う。そして、認識処理が完了しなかったときは、サーバ２は、認識処理を完了させるために必要な画像を端末装置１に要求する。すなわち、サーバ２は、認識処理が完了するまで、ステップＳ１１〜Ｓ１５を繰り返し実行することにより、端末装置１に対して必要な画像を要求する。
【００８９】
このとき、サーバ２は、例えば、認識処理に必要な最小限の画像を要求する。そして、端末装置１は、実質的に、要求された画像のみをサーバ２へ送信する。したがって、端末装置１からサーバ２へ伝送されるデータ量は、入力画像をそのまま伝送する方式と比較して、大幅に削減される。この結果、画像認識システムのレスポンスが向上する。
【００９０】
＜実施例＞
以下の実施例では、画像認識システムは、カメラで撮影した車両の車名を特定してＣＧ画像に置き換えるアプリケーションにおいて使用される。具体的には、自車両の前後左右に広角カメラをそれぞれ取り付け、それら４台のカメラの画像を１枚の画像に合成して表示することで、３６０度の全周囲の状況を把握できる駐車支援システムを想定する。ここで、３６０度の全周囲の状況を提供するために、例えば、合成した画像は、自車両の真上から見た画像（俯瞰映像）に変換される。このとき、俯瞰映像は、４台のカメラの画像を２次元平面上に画像変換・合成することで作成されるため、自車両の周辺にある物体は引き伸ばされてしまう。このため、そのような画像をそのまま表示すると、他車両の存在が視覚的に分かりにくくなり、自車両に対する他車両の位置関係の把握が困難になる。そこで、この実施例の駐車支援システムにおいては、画像変換によって引き伸ばされた車両の画像が、ＣＧ画像に置き換えられる（または、重畳して表示される）。
【００９１】
原画像内に映っている車両の画像をＣＧ画像に置き換えるためには、その車両の車名を特定する必要がある。ここで、画像内に映っている車両の車名を特定する場合、２つの方式が考えられる。第１の方式は、自車両に搭載されている端末装置がすべての画像認識処理を行う。第２の方式は、自車両に搭載されている端末装置がサーバに画像認識処理を依頼する。
【００９２】
第１の方式によれば、通信処理が発生しないので、認識レスポンスは高速である。しかし、第１の方式においては、車種および車名を特定するために必要な膨大なデータを端末側に記憶する必要がある。また、車両のモデルチェンジ等に対応して端末側でデータを更新する必要があり、ユーザにとって煩雑である。
【００９３】
第２の方式においては、画像照合のための膨大なデータの記憶、および車両のモデルチェンジ等への対応は容易である。しかし、第２の方式では、車両に搭載されている端末装置とサーバとの間で無線通信が行われる。ここで、画像はデータ容量が大きく、また、一般的に無線通信では上り回線の通信容量が小さい。このため、端末装置とサーバとの間での無線通信に要する時間が長くなり、認識レスポンスが低下するおそれがある。そこで、本発明の実施形態の方法を上述の駐車支援システムに適用することで、第２の方式の課題を解決または緩和して、認識レスポンスを向上させる。
【００９４】
図１０は、車両を認識する実施例においてサーバ２の動作を示すフローチャートである。このフローチャートの処理は、例えば、サーバ２が端末装置１から画像認識の依頼を受け取ったときに実行される。
【００９５】
ステップＳ２１において、通信部２１は、端末装置１から画像を受信する。このとき、サーバ２は、端末装置１において生成された加工画像を受信する。なお、サーバ２が端末装置１から最初に受信する初期画像は、例えば、カメラ３１からの入力画像の縮小エッジ画像である。
【００９６】
ステップＳ２２〜Ｓ２３において、認識部２２は、端末装置１から受信した画像内に車両が存在するか否かを判定する。このとき、認識部２２は、例えば、図４を参照しながら説明したように、略水平方向に伸びる複数のエッジおよび略垂直方向に伸びる複数のエッジの組合せに基づいて、車両の存在を推定することができる。
【００９７】
画像内に車両が存在する可能性が高いと判定されたときは、サーバ２の処理はステップＳ２４へ進む。一方、画像内に車両が存在する可能性が低いと判定されたときは、実際に車両が存在しないケースだけでなく、画像の情報量が足りないために車両を検出できないケースも考えられる。よって、サーバ２は、ステップＳ２８において、端末装置１に対して不足情報を要求する。この場合、サーバ２は、検出可能性の度合いに応じて、縮小率および処理範囲などを変更した画像を要求してもよい。
【００９８】
ステップＳ２４〜Ｓ２５において、認識部２２は、端末装置１から受信した画像内に映っている車両の向きを推定する。そして、車両の向きが特定されたときは、サーバ２の処理はステップＳ２６へ進む。一方、車両の向きを特定できなかったときは、サーバ２は、ステップＳ２８において、端末装置１に対して不足情報を要求する。ここで、認識部２２は、例えば、図４を参照しながら説明したように、車両の向きに対応するパーツ（エンブレム、フロントグリル、ナンバープレート、ライト、タイヤ、ドアなど）を検出することで、車両の向きを推定できる。したがって、サーバ２は、先に受信している画像から車両の向きを特定できなかったときは、車両のエンブレム、フロントグリル、ナンバープレート、ライト、タイヤ、ドアなどを検出するために、端末装置１に対して車両の下端部の画像を要求する。
【００９９】
ステップＳ２６〜Ｓ２７において、認識部２２は、データベース２３を利用して、端末装置１から受信した画像内に映っている車両の車名を特定する処理を行う。そして、車名を特定できたときは、サーバ２は、ステップＳ２９において、認識結果として、特定した車名に対応するＣＧ画像を端末装置１へ送信する。このとき、サーバ２は、認識処理が完了したことを表すメッセージも端末装置１へ送信する。このメッセージは、図６に示す認識完了フラグにより実現される。
【０１００】
一方、車両の車名を特定できなかったときは、サーバ２は、ステップＳ２８において、端末装置１に対して不足情報を要求する。この場合、サーバ２は、例えば、縮小率が小さい画像（サイズが大きい画像）を端末装置１へ要求してもよい。
【０１０１】
なお、車両を正面から映した画像を取得したときは、認識部２２は、エンブレム、フロントグリル、ナンバープレート、ライトなどに基づいて、車種および車名を特定することができる。また、車両を後方から映した画像を取得したときは、認識部２２は、エンブレム、ナンバープレート、ライト、車両型番表示などに基づいて、車種および車名を特定することができる。さらに、車両を側方から映した画像を取得したときは、認識部２２は、ドアの数（２ドア／４ドア）、ドアの形状などに基づいて、車種および車名を特定することができる。このように、車両の向きと、その車両の車種および車名を特定するために使用されるパーツとの間には、対応関係がある。すなわち、車種および車名を特定するためのパーツを検出する前に、車両の向きが特定されていれば、車種および車名を特定するためのパーツの検出が容易になる。よって、この実施例では、車種および車名を特定する前に、車両の向きが特定される。そして、この手順を採用することにより、車種および車名を特定する処理のレスポンスが向上する。
【０１０２】
サーバ２は、画像内に映っている車両の車名を特定できるまで、ステップＳ２１〜Ｓ２８の処理を繰り返し実行する。ただし、車両の存在が確認された後は、ステップＳ２３〜Ｓ２４の処理はスキップされる。また、車両の向きが特定された後は、ステップＳ２３〜Ｓ２６の処理はスキップされる。
【０１０３】
なお、画像認識処理の開始から所定時間内に車名を特定できなかったときは、サーバ２は、認識処理を終了して、その時点で得られている認識結果を端末装置１へ送信する。例えば、画像内に映っている車両の車種（例えば、セダン）まで特定されているときは、サーバ２は、データベース２３から代表的なセダン型車両のＣＧ画像を抽出して端末装置１へ送信する。また、端末装置１からカラー画像を受信したときは、サーバ２は、その画像内に映っている車両と同じ色をＣＧ画像に付して、端末装置１へ送信してもよい。
【０１０４】
図１１〜図１７は、画像内に映っている車両の車名を特定する処理の一例を詳細に示す図である。この処理は、図１０に示すステップＳ２１〜Ｓ２８に対応し、サーバ２により実行される。なお、車名を特定する処理の手順を記述した情報がデータベースに格納されており、サーバ２がその手順に従って車名を特定する場合には、図１１〜図１７は、そのデータベースの構造を示す。
【０１０５】
図１１〜図１７に示す実施例では、サーバ２は、端末装置１から初期画像として縮小エッジ画像を受信し、その初期画像に基づいて、画像内に車両が存在する可能性が高いと判定しているものとする。しがたって、以下では、図１１に示すステップＳ３１から説明を始める。
【０１０６】
ステップＳ３１において、サーバ２は、ナンバープレートおよびタイヤを検出するために、車両の下端部を含む縮小エッジ画像を端末装置１に要求する。なお、ステップＳ３１では、サーバ２は、先に受信した初期画像よりも解像度の高い縮小エッジ画像を要求するものとする。
【０１０７】
ステップＳ３２において、サーバ２は、ステップＳ３１の要求に対応する縮小エッジ画像を利用して車両の向きを推定する。ここで、タイヤが検出されずにナンバープレートが検出されたときは、サーバ２は、車両が「前向きまたは後向き」であると判定する。ナンバープレートが検出されずにタイヤが検出されたときは、サーバ２は、車両が「横向き」であると判定する。ナンバープレートおよびタイヤが検出されたときは、サーバ２は、車両が「斜め向き」であると判定する。
【０１０８】
ステップＳ３２において車両の向きを特定できなかったときは、サーバ２は、ステップＳ３３において、新たな画像を端末装置１に要求する。このとき、サーバ２は、ステップＳ３１で要求した画像と同じ領域であり、且つ、縮小率の低い（すなわち、サイズの大きい）画像を端末装置１に対して要求する。そして、サーバ２は、ステップＳ３３の要求に対応するエッジ画像を利用して、車両の向きを推定する。
【０１０９】
ステップＳ３４においても車両の向きを特定できなかったときは、サーバ２は、ステップＳ３５において、端末装置１に対して、異なる時刻に撮影された画像の縮小エッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１１０】
ステップＳ３２またはＳ３４の処理で、車両が「前向きまたは後向き」であると判定されたときは、サーバ２の処理は、図１２に示すステップＳ４１へ進む。なお、車両が「横向き」または「斜め向き」と判定されたときの動作については、説明を省略する。
【０１１１】
ステップＳ４１において、サーバ２は、先に受信している初期画像に対して、画像内に映っている車両の車種および向きを識別する処理を実行する。ここで、車両の外観から車種を識別する方法としては、例えば、車両の外観画像とモデル画像との一致度によって判断する方法が考えられる。この場合、データベース２３には、例えば、モデル画像としてセダン、ワゴン、バン、トラック、バス、軽車両などの画像が登録されている。また、認識部２２は、車両の外観画像と各モデル画像との一致度を算出する。そして、車両の外観画像との一致度が最も高く、且つ、その一致度が所定の閾値（例えば、７５％）よりも高いモデル画像に対応する車種が、画像内に映っている車両の車種と判定される。
【０１１２】
サーバ２は、車種を識別する処理において、車両が「前向き」であるか「後向き」であるかを合わせて判定してもよい。この場合、モデル画像として、セダン、ワゴン、バン、トラック、バス、軽車両について、それぞれ前方から見たときの画像および後方から見たときの画像をデータベース２３に登録しておけばよい。
【０１１３】
ステップＳ４１において車種および車両の向きを識別できなかったときは、ステップＳ４２において、サーバ２は、端末装置１に対して、初期画像よりも縮小率の低いエッジ画像を要求する。そして、ステップＳ４３において、サーバ２は、ステップＳ４２の要求に対応するエッジ画像を利用して、車種および車両の向きを推定する。
【０１１４】
画像内に映っている車両がセダンであり、前向きであると判定されたときは、サーバ２の処理は図１３に示すステップ５１へ進む。画像内に映っている車両がセダンであり、後向きであると判定されたときは、サーバ２の処理は図１５に示すステップ７１へ進む。なお、画像内に映っている車両がセダンでなかったときの処理については、説明を省略する。また、ステップＳ４１またはＳ４３において車種および車両の向きを識別できなかったときは、サーバ２の処理は図１６に示すステップＳ８１へ進む。
【０１１５】
ステップＳ５１において、サーバ２は、エンブレムを検出するために、端末装置１に対して、車両の中央部分のエッジ画像を要求する。ステップＳ５２において、サーバ２は、ステップＳ５１の要求に対応する画像からエンブレムを検出し、そのエンブレムから車両の製造メーカーを特定する。ここで、データベース２３には、各製造メーカーのエンブレムのひな形画像が登録されているものとする。そして、認識部２２は、受信画像から抽出したエンブレム画像と各ひな形画像とを対比することにより、画像内に映っている車両の製造メーカーを特定する。
【０１１６】
ステップＳ５２において製造メーカーを特定できなかったときは、サーバ２は、ステップＳ５３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ５１で要求した画像と同じ範囲で、縮小率の低い画像を要求する。そして、ステップＳ５４において、サーバ２は、ステップＳ５３の要求に対応する画像を利用して、車両の製造メーカーを特定する。
【０１１７】
ステップＳ５４においても車両の製造メーカーを特定できなかったときは、ステップＳ５５において、サーバ２は、端末装置１に対して、異なる時刻に撮影された画像の縮小エッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１１８】
ステップＳ５２またはＳ５４で車種および製造メーカーを特定した後、サーバ２の処理は図１４のステップＳ６１へ進む。ステップＳ６１において、サーバ２は、フロントグリルを検出するために、端末装置１に対して、車両の中央部から下端部にかけての縮小エッジ画像を要求する。そして、ステップＳ６２において、認識部２２は、ステップＳ６１の要求に対応する画像から、フロントグリルに存在する文字列（アルファベット、数字など）を認識することにより車名を特定する。
【０１１９】
ステップＳ６２において車名を特定できなかったときは、サーバ２は、ステップＳ６３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ６１で要求した画像と同じ範囲で、縮小率の低い画像を要求する。そして、ステップＳ６４において、サーバ２は、ステップＳ６３の要求に対応する画像を利用して車名を特定する。
【０１２０】
ステップＳ６４においても車名を特定できなかったときは、サーバ２は、ステップＳ６５において、端末装置１に対して、異なる時刻に撮影された画像のエッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１２１】
画像内に映っている車両がセダンであり、後向きであると判定されたときは、サーバ２の処理は図１５のステップ７１へ進む。ステップＳ７１において、サーバ２は、車両の型名の表示を検出するために、端末装置１に対して、型名の表示が存在すると見込まれる部分の縮小エッジ画像を要求する。なお、型名の表示が存在すると見込まれる位置は、例えば、ステップＳ４１またはＳ４３で特定された車種に基づいて推定される。そして、ステップＳ７２において、認識部２２は、ステップＳ７１の要求に対応する画像に基づいて、車両の型名の表示を検出することにより車名を特定する。
【０１２２】
ステップＳ７２において車名を特定できなかったときは、サーバ２は、ステップＳ７３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ７１で要求した画像と同じ範囲で、縮小率の低い画像を要求する。そして、ステップＳ７４において、サーバ２は、ステップＳ７３の要求に対応する画像を利用して車名を特定する。
【０１２３】
ステップＳ７４においても車名を特定できなかったときは、サーバ２は、ステップＳ７５において、エンブレムを検出するために、端末装置１に対して、車両の中央部分のエッジ画像を要求する。以降の処理は、図１３および図１４を参照しながら説明した手順と実質的に同じなので、説明を省略する。
【０１２４】
ステップＳ４１、Ｓ４３で車種を特定できなかったときは、サーバ２の処理は図１６に示すステップＳ８１へ進む。ステップＳ８１において、サーバ２は、ナンバープレートを検出するために、ナンバープレートが存在すると見込まれる領域の縮小エッジ画像および色情報を端末装置１へ要求する。そして、ステップＳ８２において、認識部２２は、ステップＳ８１の要求に対応する画像からナンバープレートを検出し、さらに色情報を利用して車種を検出する。ここで、ナンバープレートに基づいて車種を識別する方法として、以下の３つが考えられる。なお、認識部２２は、以下の３つの方法のいずれか１つまたは２以上の組合せにより車種を認識する。
【０１２５】
（ａ）ナンバープレートの分類番号
ナンバープレートの表示において、地名の右側に表記されている分類番号は、車両の用途（貨物、乗用、特種、大型特殊）および車両の大きさ（普通、小型）を意味する。たとえば、１シリーズは普通貨物車、３シリーズは普通乗用車、５シリーズは小型乗用車、８シリーズは特殊用途自動車を表す。よって、認識部２２は、ナンバープレート上の数字を認識することで車種を特定できる。
【０１２６】
（ｂ）ナンバープレートの色
ナンバープレートの下地、文字は、車種に応じて色が決められている。例えば、軽車両のナンバープレートは黄地に黒字、もしくは黒地に黄字と決められている。また、自動車のナンバープレートは白地に緑字、もしくは緑地、白字と決められている。よって、認識部２２は、色情報（黄、黒、緑、白）に基づいて自動車と軽車両を識別できる。
【０１２７】
（ｃ）ナンバープレートの大きさ
ナンバープレートの大きさは、大型標板、中型標板、小型標板に区別される。例えば、大型標板を有する車両は、大型トラック、大型バス、特殊車両などである。よって、ナンバープレートを検出し、その大きさを算出することで車種を推定することができる。
【０１２８】
ステップＳ８２で車種を特定できなかったときは、サーバ２は、ステップＳ８３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ８１で要求した画像と範囲で、縮小率の低い画像を要求する。そして、サーバ２は、ステップＳ８４において、ステップＳ８３の要求に対応する画像を利用して車種を特定する。
【０１２９】
ステップＳ８４においても車種を特定できなかったときは、サーバ２は、ステップＳ８５において、端末装置１に対して、異なる時刻に撮影された画像の縮小エッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１３０】
ステップＳ８２またはＳ８４で車種を特定した後は、サーバ２は、ステップＳ９１において、エンブレムを検出するために、端末装置１に対して、車両の中央部分のエッジ画像を要求する。以降の処理は、図１３〜図１４を参照しながら説明した手順と実質的に同じであり説明を省略する。さらに、サーバ２は、図１５を参照しながら説明した手順を実行してもよい。
【０１３１】
このように、サーバ２は、図１１〜図１７に示す手順で、端末装置１から受信する画像に映っている車両の車名を特定する。このとき、サーバ２は、図１１〜図１７に示す手順を記述したプログラムを実行することにより、車名の特定を実現してもよい。あるいは、図１１〜図１７に示す手順を実現するための情報（すなわち、認識処理の状態および結果に応じた処理内容を指示する情報）をデータベース２３に登録しておいてもよい。この構成においては、サーバ２は、データベース２３を参照することで、車両のパーツの認識状態に応じた処理内容および端末側に要求する情報を知ることができるので、端末装置１とサーバ２との間で効率のよい対話的なやり取りが可能となる。この結果、サーバ２は、少ない情報量で車名を特定できるため、情報の伝送量の抑制および認識レスポンスの向上が可能となる。
【０１３２】
＜画像認識装置のハードウェア構成＞
図１８は、端末装置１およびサーバ２を実現するためのコンピュータシステムのハードウェア構成を示す図である。端末装置１を実現するためのコンピュータシステムおよびサーバ２を実現するためのコンピュータシステムのハードウェア構成は、互いにほぼ同じである。よって、以下では、端末装置１を実現するためのコンピュータシステムおよびサーバ２を実現するためのコンピュータシステムを、コンピュータシステム１００と呼ぶことにする。ただし、ＣＰＵの能力、メモリ／記憶装置の容量などは、端末装置１およびサーバ２において互いに異なっている。
【０１３３】
コンピュータシステム１００は、図１８に示すように、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、読み取り装置１０４、通信インタフェース１０６、および入出力装置１０７を備える。ＣＰＵ１０１、メモリ１０２、記憶装置１０３、読み取り装置１０４、通信インタフェース１０６、入出力装置１０７は、例えば、バス１０８を介して互いに接続されている。
【０１３４】
端末装置１においては、ＣＰＵ１０１は、メモリ１０２を利用して画像認識プログラムを実行することにより、画像処理部１３および要求処理部１５の一部または全部の機能を提供することができる。このとき、ＣＰＵ１０１は、図８に示すフローチャートの処理を記述したプログラムを実行することができる。
【０１３５】
また、サーバ２においては、ＣＰＵ１０１は、メモリ１０２を利用して画像認識プログラムを実行することにより、認識部２２、不足情報判断部２４、要求部２５の一部または全部の機能を提供することができる。このとき、ＣＰＵ１０１は、図９、図１０、図１１〜図１７に示すフローチャートの処理を記述したプログラムを実行することができる。
【０１３６】
メモリ１０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。記憶装置１０３は、例えばハードディスクであり、実施形態の画像認識に係わる画像認識プログラムを格納する。なお、記憶装置１０３は、フラッシュメモリ等の半導体メモリであってもよい。また、記憶装置１０３は、外部記録装置であってもよい。
【０１３７】
端末装置１においては、図１に示す記憶装置１２は、メモリ１０２または記憶装置１０３により実現される。また、サーバ２においては、データベース２３は、記憶装置１０３を利用して実現してもよい。
【０１３８】
読み取り装置１０４は、ＣＰＵ１０１の指示に従って着脱可能記録媒体１０５にアクセスする。着脱可能記録媒体１０５は、たとえば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。通信インタフェース１０６は、ＣＰＵ１０１の指示に従ってネットワークを介してデータを送受信する。入出力装置１０７は、例えば、ユーザからの指示を受け付けるデバイス、デジタルカメラ等から画像データを受信するインタフェース、認識結果を出力するインタフェース等に相当する。
【０１３９】
実施形態の画像認識プログラムは、例えば、下記の形態でコンピュータシステム１００に提供される。
（１）記憶装置１０３に予めインストールされている。
（２）着脱可能記録媒体１０５により提供される。
（３）プログラムサーバ１１０から提供される。
【０１４０】
以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、
前記端末装置は、
入力画像から加工画像を生成する画像処理部と、
前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有し、
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する
ことを特徴とする画像認識システム。
（付記２）
前記画像処理部は、前記端末装置が前記サーバからの要求を受け取る前に、前記入力画像から前記入力画像よりも情報量の少ない第１の加工画像を生成し、
前記認識部は、前記第１の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第１の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第１の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記３）
前記第１の加工画像は、前記入力画像のエッジ画像である
ことを特徴とする付記２に記載の画像認識システム。
（付記４）
前記第１の加工画像は、前記入力画像の縮小画像である
ことを特徴とする付記２に記載の画像認識システム。
（付記５）
前記要求部は、前記不足情報判断部による判断結果に対応する範囲の画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記６）
前記要求部は、前記不足情報判断部による判断結果に対応する画像タイプの画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記７）
前記要求部は、前記不足情報判断部による判断結果に対応する縮小率の画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記８）
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から第２の加工画像を生成し、
前記認識部は、前記第２の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第２の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第２の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする付記１〜付記７のいずれか１つに記載の画像認識システム。
（付記９）
前記端末装置および前記サーバは、前記認識部による認識処理が終了するまで、前記サーバから前記端末装置へ画像を要求する手順、前記端末装置が前記サーバからの要求に基づいて加工画像を生成して前記サーバへ送信する手順、前記サーバが前記端末装置から受信する加工画像に対して認識処理を行う手順を含む対話処理を行う
ことを特徴とする付記１〜付記８のいずれか１つに記載の画像認識システム。
（付記１０）
前記サーバは、前記認識部による認識結果を前記端末装置へ送信する
ことを特徴とする付記１〜９のいずれか１つに記載の画像認識システム。
（付記１１）
入力画像から加工画像を生成する端末装置から前記加工画像を受信して認識する画像認識装置であって、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、
を有することを特徴とする画像認識装置。
（付記１２）
端末装置が取得した画像をサーバにおいて認識する画像認識方法であって、
前記端末装置において入力画像から生成された、前記入力画像よりも情報量の少ない初期画像を前記端末装置から受信し、
前記初期画像に対して認識処理を行い、
前記初期画像に対する認識処理において不足している情報に対応する画像を前記端末装置へ要求し、
前記端末装置において前記サーバからの要求に応じて生成された画像を前記端末装置から受信し、
前記端末装置が前記サーバからの要求に応じて生成した画像に対して認識処理を行う
ことを特徴とする画像認識方法。
【符号の説明】
【０１４１】
１ 端末装置
２ サーバ
１３ 画像処理部
１４ 通信部
１５ 要求処理部
２２ 認識部
２５ 不足情報判断部
２６ 要求部
３１ カメラ
【技術分野】
【０００１】
本発明は、画像認識システムおよび画像認識方法に係わる。
【背景技術】
【０００２】
画像認識の１つの応用例として、入力画像についてデータベースで照合を行い、その画像内に映っている物体を認識する画像認識システムが知られている。ところが、データベースが記憶するデータの量は膨大である。よって、ネットワーク型（クライアント／サーバ型）の画像認識システムのニーズが高まってきている。
【０００３】
ネットワーク型の画像認識システムにおいては、端末装置（クライアント）は、認識対象の画像をサーバへ送信する。そうすると、サーバは、端末装置から受信した画像について認識処理およびデータベース照合を行う。そして、サーバは、認識結果を端末装置へ返送する。
【０００４】
上述の画像認識システムにおいては、端末装置は、大容量のデータベースを有することなく、認識結果を得ることができる。また、サーバが有するデータベースが適切に更新されていれば、端末装置は、最新のデータベースによる認識結果を得ることができる。
【０００５】
関連する技術として、下記の静止画検索伝送方法が提案されている。送信側記憶手段に静止画の画像データの他、各静止画の概略表示のための縮小画像データと、当該静止画の説明用文字情報とを格納しておく。受信側へ、上記縮小画像データ及び説明文字情報の送信を行う。受信側でこれを表示して所要画面を選択し、その結果を画像送信要求として送信側へ送信する。（例えば、特許文献１）
【０００６】
また、他の関連技術として、下記の画像データの通信方法が提案されている。取り込まれたデータを蓄積し、蓄積されたデータからＩＮＤＥＸ画像を作成し、その画像を送信する。受信者は、そのＩＮＤＥＸ画像から自分が必要なデータのみ選択し、送信者側ファクシミリ装置にＩＮＤＥＸ画像と必要データを通知する。通知後、送信者側ファクシミリ装置は、受信者側ファクシミリ装置から指定されたＩＮＤＥＸ画像と通知されたデータを蓄積されたデータから検索し、その後通知されたデータの加工前のデータ及び関連データのみ受信者側ファクシミリ装置に送信する。（例えば、特許文献２）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−２１９９６７号公報
【特許文献２】特開２００４−１０４７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ネットワーク型の画像認識システムにおいては、上述のように、端末装置からサーバへ認識対象の画像が伝送される。しかし、画像はデータ量が大きい。このため、ネットワーク型の画像認識システムは、認識レスポンスが遅くなる傾向にある。
【０００９】
特に、無線ネットワークにおいては、上り回線（端末装置からサーバへデータを伝送する回線）の通信容量が下り回線（サーバから端末装置へデータを伝送する回線）と比較して大幅に小さいことが多い。したがって、この場合、認識レスポンスがさらに遅くなるおそれがある。
【００１０】
本発明の課題は、ネットワーク型画像認識システムのレスポンスを向上させることである。
【課題を解決するための手段】
【００１１】
本発明の１つの態様の画像認識システムは、端末装置が取得した画像をサーバにおいて認識する。前記端末装置は、入力画像から加工画像を生成する画像処理部と、前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有する。前記サーバは、前記端末装置から受信する加工画像に対して認識処理を行う認識部と、前記認識部による認識処理において不足している情報を判断する不足情報判断部と、前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有する。前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する。
【発明の効果】
【００１２】
上述の態様によれば、ネットワーク型画像認識システムのレスポンスが向上する。
【図面の簡単な説明】
【００１３】
【図１】実施形態の画像認識システムの構成および機能を示す図である。
【図２】画像認識処理の概略を示す図である。
【図３】画像認識処理の実施例を示す図である。
【図４】入力画像の一例を示す図である。
【図５】（ａ）は初期画像の一例、（ｂ）（ｃ）はサーバからの要求に応じて生成される画像の一例を示す図である。
【図６】要求情報の実施例を示す図である。
【図７】画像処理部の機能を説明する図である。
【図８】端末装置の動作を示すフローチャートである。
【図９】サーバの動作を示すフローチャートである。
【図１０】車両を認識する実施例においてサーバの動作を示すフローチャートである。
【図１１】車名を特定する手順を示す図（その１）である。
【図１２】車名を特定する手順を示す図（その２）である。
【図１３】車名を特定する手順を示す図（その３）である。
【図１４】車名を特定する手順を示す図（その４）である。
【図１５】車名を特定する手順を示す図（その５）である。
【図１６】車名を特定する手順を示す図（その６）である。
【図１７】車名を特定する手順を示す図（その７）である。
【図１８】端末装置およびサーバを実現するためのコンピュータシステムのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１４】
図１は、実施形態の画像認識システムの構成および機能を示す図である。実施形態の画像認識システムは、端末装置１およびサーバ２を有する。端末装置１およびサーバ２は、ネットワーク３を介して接続されている。ネットワーク３は、無線ネットワークであってもよいし、有線ネットワークであってもよい。また、ネットワーク３は、無線ネットワークおよび有線ネットワークを含む構成であってもよい。
【００１５】
なお、図１においては、サーバ２に対して１台の端末装置１が接続されているが、サーバ２は、複数の端末装置を収容してもよい。すなわち、サーバ２は、複数の端末装置と並列に通信を行うようにしてもよい。
【００１６】
端末装置１は、画像取得部１１、記憶装置１２、画像処理部１３、通信部１４、要求処理部１５を有する。そして、端末装置１は、カメラ３１によって撮影された画像を取得する。
【００１７】
カメラ３１は、静止画像を取得するデジタルカメラまたは動画像を取得するデジタルビデオカメラである。また、カメラ３１は、カラー画像データを生成してもよいし、白黒画像データを生成してもよい。
【００１８】
画像取得部１１は、カメラ３１により生成される画像を取得する。すなわち、画像取得部１１は、カメラ３１と端末装置１との間のインタフェースを提供する。そして、画像取得部１１は、カメラ３１から取得した画像を記憶装置１２に保存する。ここで、カメラ３１が静止画像を出力するときは、画像取得部１１は、カメラ３１から取得する画像を記憶装置１２に保存する。また、カメラ３１が動画像を出力するときは、画像取得部１１は、動画像中の指定されたタイミングの画像を記憶装置１２に保存してもよい。なお、以下の説明では、画像取得部１１がカメラ３１から取得する画像を「入力画像」と呼ぶことがある。
【００１９】
記憶装置１２は、画像取得部１１により取得された画像を保存する。記憶装置１２は、例えば、フラッシュメモリ等の半導体メモリにより実現される。また、記憶装置１２は、ハードディスク、光ディスク等の他の記録媒体で実現してもよい。なお、記憶装置１２の記録媒体は、端末装置１に対して着脱可能であってもよい。
【００２０】
画像処理部１３は、記憶装置１２に保存されている入力画像から加工画像を生成する。ここで、画像処理部１３は、予め指定されている規則に基づいて、入力画像から加工画像を生成することができる。また、端末装置１がサーバ２から要求情報を受信したときは、画像処理部１３は、その要求情報に基づいて、入力画像から加工画像を生成する。
【００２１】
通信部１４は、画像処理部１３によって生成される加工画像をサーバ２へ送信する。また、通信部１４は、サーバ２から送信される要求情報を要求処理部１５に導く。さらに、通信部１４は、サーバ２により得られる画像認識の結果を受信する。
【００２２】
要求処理部１５は、サーバ２から送信される要求情報に基づいて、画像処理部１３に対して指示を与える。これにより、画像処理部１３は、サーバ２から送信される要求情報に基づいて、入力画像から加工画像を生成できる。すなわち、画像処理部１３は、サーバ２から要求される画像を生成することができる。
【００２３】
サーバ２は、通信部２１、認識部２２、データベース２３、不足情報判断部２４、要求部２５を有する。なお、サーバ２は、データベース２３を含まなくてもよい。すなわち、データベース２３は、サーバ２の外部に設けてもよい。この場合、サーバ２は、所定のインタフェースでデータベース２３にアクセスするものとする。
【００２４】
通信部２１は、端末装置１から送信されてくる画像（すなわち、画像処理部１３によって生成される加工画像）を認識部２２に導く。また、通信部２１は、要求部２５により生成される要求情報を端末装置１へ送信する。さらに、通信部２１は、認識部２２による認識結果を端末装置１へ送信する。
【００２５】
認識部２２は、端末装置１から受信した画像に対して認識処理を行う。このとき、認識部２２は、必要に応じて、受信画像とデータベース２３に登録されている画像データとを照合する。データベース２３には、用途に応じて様々な画像データが登録されている。データベース２３に登録されている画像データは、必要に応じて更新される。そして、認識部２２は、認識結果を出力する。
【００２６】
不足情報判断部２４は、認識部２２による認識処理において不足している情報を判断する。すなわち、不足情報判断部２４は、認識部２２が認識処理を成功させるために必要な情報を特定する。
【００２７】
要求部２５は、不足情報判断部２４による判断結果に対応する画像を表す要求情報を生成する。この要求情報は、上述のように、通信部２１によって端末装置１へ送信される。すなわち、要求部２５は、不足情報判断部２４による判断結果に対応する画像を端末装置１に要求する。
【００２８】
上述のように、実施形態の画像認識システムでは、端末装置１からサーバ２へ画像が送信され、サーバ２が認識処理を行う。すなわち、サーバ２は、画像認識装置として動作することができる。ここで、仮に、端末装置１がカメラ３１からの入力画像をそのままサーバ２へ送信するものとすると、認識処理において必要な情報だけでなく、認識処理に無関係な情報も端末装置１からサーバ２へ伝送される可能性が高い。この場合、端末装置１からサーバ２へ伝送されるデータ量が多くなり、認識レスポンスが遅くなるおそれがある。このため、認識レスポンスを向上させるためには、認識処理に無関係な情報の伝送を抑制し、認識処理に必要な情報のみを伝送する方式が好ましい。しかし、端末装置１は、サーバ２による認識処理において、どのような情報が必要であり、どのような情報が不要であるのかを判断することは困難である。
【００２９】
そこで、実施形態の画像認識システムでは、下記の２つの処理を採用することにより、１回あたりの通信負荷を下げて認識完了までのレスポンスの向上を図る。ただし、画像認識システムは、下記（１）（２）の一方のみを行うようにしてもよい。
【００３０】
（１）対話的なやり取りによる必要情報のみの伝送
サーバ２は、目標とする物体を認識または特定するために不足している情報（または、画像）を判断し、端末装置１にその情報（または、画像）の抽出および伝送を要求する。端末装置１は、サーバ２からの要求に基づいて不足情報（特徴量）を生成または抽出し、生成または抽出した情報のみをサーバ２へ送信する。この対話的なやり取りにより、認識処理に不要な情報の伝送が抑制される。
【００３１】
（２）高次特徴量への変換
端末装置１は、入力画像を高次特徴量へ変換してサーバ２へ送信する。これにより、１回あたりのデータ伝送の情報量が削減される。この結果、サーバ２からのレスポンスの高速化が実現され、帯域の狭い上り回線の通信負荷が軽減される。
【００３２】
図２は、実施形態の画像認識システムにおける画像認識処理の概略を示す。実施形態の画像認識システムにおいては、端末装置１からサーバ２へ画像が送信され、サーバ２において画像認識が行われる。なお、図２では、端末装置１の記憶装置１２に入力画像が既に格納されているものとする。また、サーバ２は、端末装置１から受信する画像内に映っている物体を所定のレベルまで認識する画像認識処理を行うものとする。
【００３３】
最初（１回目）の認識処理において、端末装置１は、初期画像として、入力画像からその入力画像よりも情報量の少ない特徴画像を生成する。特徴画像は、例えば、入力画像のエッジ画像である。エッジ画像は、例えば、入力画像に対してSobelフィルタ演算を実行することにより生成される。また、特徴画像は、入力画像の縮小エッジ画像であってもよい。そして、端末装置１は、生成した特徴画像をサーバ２へ送信する。なお、端末装置１は、初期画像として、入力画像の縮小画像をサーバ２へ送信してもよい。
【００３４】
サーバ２は、端末装置１から受信する画像に対して認識処理を行う。ただし、１回目の認識処理で端末装置１から受信する画像は、データ量を抑制するために入力画像よりも情報量が削減された特徴画像である。このため、この特徴画像に対して認識処理を実行した場合、所望の認識結果が得られない可能性がある。図２に示す例では、サーバ２は、上述の特徴画像に対する認識処理では、画像内に映っている物体を所定のレベルまで認識できなかったものとする。
【００３５】
この場合、サーバ２は、認識処理において不足している情報（すなわち、画像内に映っている物体を所定のレベルまで認識するために必要な情報）を特定し、認識処理に必要な画像の送信を端末装置１に要求する。以降、画像認識システムは、２回目の認識処理に移行する。
【００３６】
なお、サーバ２が上述の特徴画像から画像内に映っている物体を所定のレベルまで認識できたときは、サーバ２は認識処理を終了する。この場合、サーバ２は、認識結果を端末装置１へ送信する。
【００３７】
２回目の認識処理において、端末装置１は、サーバ２からの要求に基づいて、サーバ２による認識処理において不足している情報を提供する。すなわち、端末装置１は、サーバ２から要求された画像を生成してサーバ２へ送信する。
【００３８】
サーバ２は、上述の要求に応じて端末装置１が新たに生成した画像を受信すると、その画像に対して認識処理を行う。この例では、サーバ２は、２回目の認識処理によっても、画像内に映っている物体を所定のレベルまで認識できなかったものとする。この場合、サーバ２は、１回目の認識処理と同様に、認識処理において不足している情報を特定する。ただし、２回目の認識処理で特定される不足情報は、１回目の認識処理で特定される不足情報とは異なる。そして、サーバ２は、２回目の認識処理で特定された、認識処理に必要な画像の送信を端末装置１に要求する。以降、画像認識システムは、３回目の認識処理に移行する。
【００３９】
３回目以降の認識処理は、２回目の認識処理と実質的に同じである。ただし、各認識処理においてサーバ２が端末装置１に要求する画像は、互いに異なっている。よって、各認識処理において端末装置１がサーバ２へ送信する画像は、互いに異なっている。
【００４０】
上述の認識処理は、画像内に映っている物体が所定のレベルまで認識されるまで、端末装置１およびサーバ２によって繰り返し実行される。すなわち、端末装置１およびサーバ２は、画像内に映っている物体が所定のレベルまで認識されるまで、サーバ２から端末装置１へ必要な画像を要求する手順、端末装置１がサーバ２からの要求に対応する画像を生成してサーバ２へ送信する手順、サーバ２が新たに受信した画像に対して認識処理を行う手順、を含む対話処理を繰り返し行う。
【００４１】
図２に示す例では、Ｎ回目の認識処理で、画像内に映っている物体が所定のレベルまで認識されている。そうすると、サーバ２は、認識結果を端末装置１へ送信する。これにより、端末装置１は、入力画像についての認識結果をサーバ２から受け取ることができる。
【００４２】
このように、実施形態の画像認識方法では、端末装置１は、最初の認識処理において、入力画像よりも情報量の少ない特徴画像をサーバ２へ送信する。また、２回目以降の認識処理では、端末装置１は、先の認識処理で不足していると判断された最小限の情報量の画像をサーバ２へ送信する。したがって、入力画像をそのままサーバ２へ送信する方法と比較して、実施形態の画像認識方法は、端末装置１からサーバ２へ伝送されるデータ量が抑制される。
【００４３】
ここで、特に無線ネットワークでは、下り回線（サーバ２から端末装置１へデータを伝送する回線）と比較して、上り回線（端末装置１からサーバ２へデータを伝送する回線）の容量が大幅に小さいことが多い。そして、このようなネットワークでは、上り回線のデータ量が増大すると、画像認識システムのレスポンスが劣化するおそれがある。
【００４４】
しかしながら、実施形態の画像認識方法によれば、上述のように、端末装置１からサーバ２へ伝送されるデータ量が抑制される。よって、実施形態の画像認識方法によれば、特に、下り回線と比較して上り回線の容量が小さいシステムにおいて、画像認識システムのレスポンスが改善される。
【００４５】
図３は、実施形態の画像認識システムにおける画像認識処理の実施例を示す。この実施例では、端末装置１は、自動車などの車両に搭載されている。また、図１に示すカメラ３１も同じ車両に搭載されている。カメラ３１は、その車両の周辺の画像を取得する。そして、端末装置１は、カメラ３１から入力される画像の中に映っている物体（主に、他の車両）を認識する処理をサーバ２に依頼する。
【００４６】
図４は、入力画像の一例を示す。この入力画像は、カメラ３１が駐車場を撮影することにより得られたものである。また、この入力画像の中には、１台の車両が映っている。そして、この入力画像は、図１に示す記憶装置１２に記憶されている。
【００４７】
端末装置１は、図４に示す入力画像から図５（ａ）に示す縮小エッジ画像を生成する。縮小エッジ画像は、画像処理部１３により生成される。このとき、画像処理部１３は、入力画像を縮小する処理を実行した後に、その縮小画像のエッジ画像を生成することができる。或いは、画像処理部１３は、入力画像のエッジ画像を生成する処理を実行した後に、そのエッジ画像を縮小してもよい。なお、縮小率は、予め指定されているものとする。また、エッジ画像は、例えば、Ｘ方向SobelフィルタおよびＹ方向Sobelフィルタを利用して生成される。各Sobelフィルタのサイズおよび係数も、予め指定されているものとする。このようにして生成される縮小エッジ画像のデータ量は、入力画像と比較して大幅に少ない。そして、端末装置１の送信部１４は、上述のようにして生成された縮小エッジ画像をサーバ２へ送信する。
【００４８】
サーバ２は、上述の縮小エッジ画像を端末装置１から受信する。そうすると、図１に示す認識部２２は、受信した縮小エッジ画像に対して認識処理を行う。そして、この実施例では、認識部２２は、図５（ａ）に示す縮小エッジ画像に対して認識処理を行うことにより、画像内に車両が存在している可能性が高いと判定する。なお、エッジ画像内に車両が存在するか否かを判定する方法は、特に限定されるものではなく、公知のアルゴリズムを利用してもよい。例えば、認識部２２は、略水平方向に伸びる複数のエッジおよび略垂直方向に伸びる複数のエッジの組合せに基づいて、車両の存在を推定してもよい。
【００４９】
ただし、この実施例では、認識部２２は、縮小エッジ画像から車両の車種および車名までは認識できないものとする。そうすると、図１に示す不足情報判断部２４は、画像内に映っている車両の車種および車名を認識するために必要な情報を特定する。この実施例では、認識部２２は、画像内に映っている車両の向き（正面、横、斜め、後ろ）を推定するために、車両の下端部の画像を使用するものとする。この場合、不足情報判断部２４は、「車両の下端部の画像が不足している」と判断する。
【００５０】
そうすると、要求部２５は、端末装置１に対して、画像内に映っている車両の下端部の画像を要求する。このとき、要求部２５は、例えば、要求情報を利用して、車両の下端部を含む矩形領域を指定する。この矩形領域は、情報量を少なくするためには、例えば、車両の下端部を含む最小の矩形である。図４に示す例では、要求部２５は、矩形Ｒ１を指定する。この場合、要求情報は、矩形領域の位置およびサイズを特定する座標情報を含む。そして、サーバ２は、この要求情報を端末装置１へ送信する。すなわち、サーバ２は、画像内に映っている車両の車種および車名を認識するために必要な画像を端末装置１に要求する。
【００５１】
端末装置１は、サーバ２から上述の要求情報を受信すると、図４に示す入力画像から、その要求情報で指定されている画像を抽出する。すなわち、画像処理部１３は、入力画像から矩形Ｒ１の内側の画像を抽出することにより、車両の下端部を含む図５（ｂ）に示す部分画像を生成する。そして、端末装置１は、車両の下端部を含む部分画像をサーバ２へ送信する。
【００５２】
サーバ２は、車両の下端部を含む部分画像を端末装置１から受信する。そうすると、認識部２２は、受信した部分画像に対して認識処理を行う。そして、この実施例では、認識部２２は、車両の下端部を含む部分画像に対して認識処理を行うことにより、画像内に映っている車両の向きを推定する。
【００５３】
車両の下端部を含む画像を利用する場合、車両の向きに対応するパーツ（エンブレム、フロントグリル、ナンバープレート、ライト、タイヤ、ドアなど）を検出することで、車両の向きを推定することができる。例えば、ナンバープレートおよび／またはタイヤを検出することで車両の向きが推定される。ナンバープレートは、車両の前方および後方にのみ存在するので、横方向に長辺を有する略矩形（すなわち、ナンバープレート）を検出することで、車両の大まかな向き（前向き、後向き、斜め）を推定できる。また、車両を側方から見たときに、タイヤは略円または略楕円に見えるので、そのような形状（すなわち、タイヤ）を検出することで車両の大まかな向き（横向き、斜め）を推定できる。すなわち、タイヤが検出されずにナンバープレートが検出されたときは、車両の向きは前向きまたは後向きと推定される。また、ナンバープレートが検出されずにタイヤが検出されたときは、車両の向きは横向きと推定される。さらに、ナンバープレートおよびタイヤが検出されたときは、車両の向きは斜向きと推定される。
【００５４】
このようにして、サーバ２は、車両の下端部を含む部分画像に基づいて、画像内に映っている車両の向きを推定する。しかし、この実施例では、認識部２２は、未だ車両の車種および車名までは認識できないものとする。そうすると、不足情報判断部２４は、画像内に映っている車両の車種および車名を認識するために必要な別の情報を特定する。この実施例では、認識部２２は、画像内に映っている車両の車種および車名を認識するために、車両の中央部の画像を使用するものとする。この場合、不足情報判断部２４は、「車両の中央部の画像が不足している」と判断する。
【００５５】
そうすると、要求部２５は、端末装置１に対して、画像内に映っている車両の中央部の画像を要求する。このとき、要求部２５は、例えば、要求情報を利用して、車両の中央部を含む矩形領域を指定する。この矩形領域は、情報量を少なくするためには、例えば、車両の中央部を含む最小の矩形である。図４に示す例では、要求部２５は、矩形Ｒ２を指定する。この場合も、要求情報は、矩形領域の位置およびサイズを特定する座標情報を含む。そして、サーバ２は、この要求情報を端末装置１へ送信する。すなわち、サーバ２は、画像内に映っている車両の車種および車名を認識するために必要な別の画像を端末装置１に要求する。
【００５６】
端末装置１は、サーバ２から上述の要求情報を受信すると、図４に示す入力画像から、その要求情報で指定されている画像を抽出する。すなわち、画像処理部１３は、入力画像から矩形Ｒ２の内側の画像を抽出することにより、車両の中央部を含む図５（ｃ）に示す部分画像を生成する。そして、端末装置１は、車両の下端部を含む部分画像をサーバ２へ送信する。
【００５７】
サーバ２は、車両の中央部を含む部分画像を端末装置１から受信する。そうすると、認識部２２は、受信した部分画像に対して認識処理を行う。そして、この実施例では、認識部２２は、車両の中央部を含む部分画像に対して認識処理を行うことにより、画像内に映っている車両の車種、製造メーカー、車名を特定できるものとする。
【００５８】
ここで、先の画像処理によって、画像内に映っている車両の車種および向きが特定されている場合について考える。例えば、車種が「セダン」であるものとする。この場合、車両の前面には、エンブレムが取り付けられていることが多い。よって、車両の向きが「前向き」であるときは、エンブレムに基づいて製造メーカーを特定できる可能性が高い。また、車両の後方部分には、車名（型名）が表示されていることが多い。よって、車両の向きが「後向き」であるときは、画像に対して文字認識を行うことで、車名（型名）を特定できる可能性が高い。
【００５９】
このようにして、サーバ２は、車両の中央部を含む部分画像に基づいて、画像内に映っている車両の車種、製造メーカー、車名を特定する。そうすると、サーバ２は、その認識結果を端末装置１へ送信する。
【００６０】
図６は、サーバ２が端末装置１に対して画像を要求するために使用する要求情報の実施例を示す。要求情報は、「認識完了フラグ」「画像タイプ」「処理範囲」「縮小率」を含む。また、要求情報は、不足情報判断部２４の判断結果に基づいて、要求部２５により作成される。
【００６１】
認識完了フラグは、認識部２２による認識処理が終了したか否かを表す。認識部２２において所定の認識結果が得られたときは「認識完了フラグ＝１」が生成され、所定の認識結果が得られていないときは「認識完了フラグ＝０」が生成される。図３〜図５に示す例では、画像内に映っている車両の車名が特定されたときに、認識処理が終了したと判定される。
【００６２】
画像タイプ情報は、サーバ２が認識処理において必要とする画像のタイプを表す。この実施例では、サーバ２が原画像（カラー画像）を要求するときは「画像タイプ＝０」が設定され、グレー画像を要求するときは「画像タイプ＝１」が設定され、エッジ画像を要求するときは「画像タイプ＝２」が設定される。
【００６３】
処理範囲情報は、サーバ２が認識処理において必要とする画像の範囲（すなわち、画像領域）を表す。この実施例では、処理範囲情報は、矩形領域のサイズおよび位置を指定できる。この場合、処理範囲情報は、例えば、要求する矩形画像領域の左上頂点および右下頂点の座標を指定する。或いは、処理範囲情報は、要求する矩形画像領域の４つの頂点の座標を指定してもよい。なお、サーバ２が端末装置１に要求できる画像領域の形状は、矩形に限定されるものではない。
【００６４】
縮小率情報は、サーバ２が認識処理において必要とする画像のサイズを表す。指定可能な縮小率は、例えば、原画像の1/2、1/4等である。ただし、縮小率情報は、０〜１００パーセントの範囲で任意の縮小率を指定できるようにしてもよい。
【００６５】
なお、要求情報は、他の情報を含んでもよい。例えば、要求情報は、エッジ画像を生成するためのフィルタの係数を指定する情報、エッジの種類（例えば、斜め方向のエッジが抽出されたエッジ画像）を指定する情報を含むようにしてもよい。
要求情報は、サーバ２から端末情報１へ送信される。そうすると、端末装置１の画像処理部１３は、その要求情報に応じて加工画像を生成する。
【００６６】
図７は、画像処理部１３の機能を説明する図である。画像処理部１３は、画像メモリ４１、グレー画像生成部４２、エッジ画像生成部４３、領域抽出部４４、画像縮小部４５を有する。そして、画像処理部１３は、記憶装置１２から入力画像を取得する。この入力画像（すなわち、原画像）は、いったん画像メモリ４１に格納される。
【００６７】
サーバ２からグレー画像が要求されたときは、グレー画像生成部４２は、画像メモリ４１に格納されているカラー画像からグレー画像を生成する。グレー画像生成部４２により生成されたグレー画像は、画像メモリ４１に格納される。
【００６８】
サーバ２からエッジ画像が要求されたときは、エッジ画像生成部４３は、画像メモリ４１に格納されている画像からエッジ画像を生成する。ここで、エッジ画像生成部４３は、Ｘ方向Sobelフィルタ４３ｘおよびＹ方向Sobelフィルタ４３ｙを有する。すなわち、エッジ画像生成部４３は、水平方向エッジ画像および垂直方向エッジ画像を生成することができる。そして、エッジ画像生成部４３により生成されたエッジ画像は、画像メモリ４１に格納される。
【００６９】
サーバ２から受信する要求情報において処理範囲情報が設定されているときは、領域抽出部４４は、画像メモリ４１に格納されている画像から、指定された処理範囲内の画像を抽出する。領域抽出部４４により抽出された画像（すなわち、部分画像）は、画像メモリ４１に格納される。
【００７０】
サーバ２から受信する要求情報において縮小率情報が設定されているときは、画像縮小部４５は、指定されている縮小率に応じて画像メモリ４１に格納されている画像を縮小する。画像縮小部４５により生成される縮小画像は、画像メモリ４１に格納される。
【００７１】
画像処理部１３は、グレー画像生成部４２、エッジ画像生成部４３、領域抽出部４４、または画像縮小部４５によって生成された加工画像を出力する。ただし、画像処理部１３は、グレー画像生成部４２、エッジ画像生成部４３、領域抽出部４４、画像縮小部４５のうちの２以上を利用して生成した加工画像を出力することもできる。例えば、サーバ２から縮小エッジ画像が要求されたときは、画像処理部１３は、エッジ画像生成部４３および画像縮小部４５を利用して要求された画像を生成する。このとき、例えば、エッジ画像生成部４３が入力画像からエッジ画像を生成し、その後、画像縮小部４５がそのエッジ画像から縮小エッジ画像を生成する。あるいは、画像縮小部４５が入力画像から縮小画像を生成し、その後、エッジ画像生成部４３がその縮小画像から縮小エッジ画像を生成してもよい。
【００７２】
このように、画像処理部１３は、サーバ２から受信する要求情報に従って、入力画像から加工画像を生成する。すなわち、画像処理部１３は、サーバ２から要求された画像を生成する。そして、端末装置１は、画像処理部１３により生成された加工画像（すなわち、サーバ２から要求された画像）をサーバ２へ送信する。
【００７３】
図８は、実施形態の画像認識システムにおいて端末装置１の動作を示すフローチャートである。このフローチャートの処理は、例えば、画像認識を開始する旨の指示が端末装置１に与えられときに実行される。画像認識を開始する旨の指示は、例えば、ユーザにより与えられる。
【００７４】
ステップＳ１において、画像処理部１３は、記憶装置１２から入力画像を取得する。なお、記憶装置１２には、この時点で、カメラ３１によって生成された画像が格納されているものとする。
【００７５】
ステップＳ２において、要求処理部１５は、端末装置１がサーバ２から要求情報を受信しているか否かを判定する。端末装置１がサーバ２から要求情報を受信していなければ、端末装置１の処理はステップＳ３へ移行する。一方、端末装置１がサーバ２から要求情報を受信していれば、端末装置１の処理はステップＳ４へ移行する。なお、このフローチャートの処理が開始された直後の初期動作状態においては、端末装置１はサーバ２から要求情報を受信していないので、ステップＳ３の処理が実行される。
【００７６】
ステップＳ３において、画像処理部１３は、予め指定されている規則に従って、入力画像から初期画像を生成する。この規則は、例えば、サーバ２から指定される。或いは、この規則は、端末装置１とサーバ２との間のネゴシエーションで決定してもよい。一例としては、「画像タイプ＝２（エッジ画像）」および「縮小率＝１／４」が指定されている。この場合、画像処理部１３は、入力画像から１／４に縮小されたエッジ画像を生成する。
【００７７】
端末装置１がサーバ２から要求情報を受信していれば、ステップＳ４の処理が実行される。ステップＳ４において、要求処理部１５は、受信した要求情報に従って、画像処理部１３に対して加工画像の生成方法の規則を与える。そして、画像処理部１３は、要求処理部１５から与えられる規則に従って、入力画像から加工画像を生成する。例えば、サーバ２からの要求情報において「処理範囲」が設定されていたときは、画像処理部１３は、入力画像から、要求情報に設定されている処理範囲の内側の画像を抽出することにより、サーバ２から要求された画像を生成する。
【００７８】
ステップＳ５において、通信部１４は、ステップＳ３またはＳ４で画像処理部１３によって生成された画像をサーバ２へ送信する。すなわち、最初の認識処理では、通信部１４は、ステップＳ３で生成される初期画像をサーバ２へ送信する。また、２回目以降の認識処理では、通信部１４は、サーバ２からの要求に応じてステップＳ４で生成された画像をサーバ２へ送信する。
【００７９】
サーバ２は、端末装置１から受信する画像に対して認識処理を実行する。そして、サーバ２は、認識処理の状況または結果に応じて要求情報を作成し、その要求情報を端末装置１へ送信する。
【００８０】
ステップＳ６〜Ｓ７において、端末装置１は、サーバ２から要求情報を受信する。要求情報は、要求処理部１５により解釈される。そして、認識完了フラグが「１：完了」であれば、端末装置１の処理は終了する。なお、図８においては省略されているが、認識完了フラグが「１：完了」であるときは、端末装置１は、サーバ２から認識結果も受信する。一方、認識完了フラグが「０：未完了」であれば、端末装置１の処理はステップＳ４に移行する。
【００８１】
このように、端末装置１は、ステップＳ３、Ｓ５で初期画像を送信する。その後は、端末装置１は、サーバ２での認識処理が完了するまで、ステップＳ４〜Ｓ７の処理を繰り返し実行する。すなわち、端末装置１は、サーバ２から画像を要求される毎に、要求された画像を生成してサーバ２へ送信する。
【００８２】
図９は、実施形態の画像認識システムにおいてサーバ２の動作を示すフローチャートである。このフローチャートの処理は、例えば、サーバ２が端末装置１から画像認識の依頼を受け取ったときに実行される。
【００８３】
ステップＳ１１において、通信部２１は、端末装置１から画像を受信する。このとき、サーバ２は、図８のステップＳ３またはＳ４で生成された画像を受信する。
ステップＳ１２〜Ｓ１３において、認識部２２は、端末装置１から受信する画像に対して認識処理を実行する。このとき、認識部２２は、必要に応じてデータベース２３との照合を行ってもよい。そして、認識処理が完了していなければ、サーバ２の処理はステップＳ１４へ移行する。一方、認識処理が完了したときは、サーバ２の処理はステップＳ１６へ移行する。例えば、図３に示す実施例では、画像認識処理は、画像内に映っている車両の車種および車名を特定することを目的としている。この場合、画像内に映っている車両の車種および車名が特定されたときに、認識処理が完了したと判定される。
【００８４】
ステップＳ１４において、不足情報判断部２４は、認識部２２による認識処理で不足している情報を判断する。すなわち、不足情報判断部２４は、認識処理を完了させるためにどのような画像が必要であるのかを判断する。例えば、図３に示す実施例では、「車両の下端部の画像が不足している」あるいは「車両の中央部の画像が不足している」と判断されている。
【００８５】
ステップＳ１５において、要求部２５は、不足情報判断部２４による判断結果に基づいて、不足している情報を端末装置１に要求する。すなわち、サーバ２は、認識処理を完了させるために必要な画像を端末装置１に要求する。この要求は、図６に示す要求情報を端末装置１へ送信することにより実現される。
【００８６】
端末装置１は、サーバ２から要求情報を受信すると、図８を参照しながら説明したように、要求された画像を生成してサーバ２へ送信する。そして、サーバ２は、その画像を受信する。すなわち、サーバ２の処理は、ステップＳ１５を実行した後、ステップＳ１１に戻ることになる。
【００８７】
認識部２２による認識処理が完了したときは（ステップＳ１３：ＹＥＳ）、ステップＳ１６の処理が実行される。ステップＳ１６において、サーバ２は、認識部２２による認識結果を端末装置１へ送信する。このとき、サーバ２は、認識結果に加えて、「完了フラグ＝１（完了）」が設定された要求情報を端末装置１へ送信する。
【００８８】
このように、サーバ２は、端末装置１から画像を受信する毎に、その画像に対して認識処理を行う。そして、認識処理が完了しなかったときは、サーバ２は、認識処理を完了させるために必要な画像を端末装置１に要求する。すなわち、サーバ２は、認識処理が完了するまで、ステップＳ１１〜Ｓ１５を繰り返し実行することにより、端末装置１に対して必要な画像を要求する。
【００８９】
このとき、サーバ２は、例えば、認識処理に必要な最小限の画像を要求する。そして、端末装置１は、実質的に、要求された画像のみをサーバ２へ送信する。したがって、端末装置１からサーバ２へ伝送されるデータ量は、入力画像をそのまま伝送する方式と比較して、大幅に削減される。この結果、画像認識システムのレスポンスが向上する。
【００９０】
＜実施例＞
以下の実施例では、画像認識システムは、カメラで撮影した車両の車名を特定してＣＧ画像に置き換えるアプリケーションにおいて使用される。具体的には、自車両の前後左右に広角カメラをそれぞれ取り付け、それら４台のカメラの画像を１枚の画像に合成して表示することで、３６０度の全周囲の状況を把握できる駐車支援システムを想定する。ここで、３６０度の全周囲の状況を提供するために、例えば、合成した画像は、自車両の真上から見た画像（俯瞰映像）に変換される。このとき、俯瞰映像は、４台のカメラの画像を２次元平面上に画像変換・合成することで作成されるため、自車両の周辺にある物体は引き伸ばされてしまう。このため、そのような画像をそのまま表示すると、他車両の存在が視覚的に分かりにくくなり、自車両に対する他車両の位置関係の把握が困難になる。そこで、この実施例の駐車支援システムにおいては、画像変換によって引き伸ばされた車両の画像が、ＣＧ画像に置き換えられる（または、重畳して表示される）。
【００９１】
原画像内に映っている車両の画像をＣＧ画像に置き換えるためには、その車両の車名を特定する必要がある。ここで、画像内に映っている車両の車名を特定する場合、２つの方式が考えられる。第１の方式は、自車両に搭載されている端末装置がすべての画像認識処理を行う。第２の方式は、自車両に搭載されている端末装置がサーバに画像認識処理を依頼する。
【００９２】
第１の方式によれば、通信処理が発生しないので、認識レスポンスは高速である。しかし、第１の方式においては、車種および車名を特定するために必要な膨大なデータを端末側に記憶する必要がある。また、車両のモデルチェンジ等に対応して端末側でデータを更新する必要があり、ユーザにとって煩雑である。
【００９３】
第２の方式においては、画像照合のための膨大なデータの記憶、および車両のモデルチェンジ等への対応は容易である。しかし、第２の方式では、車両に搭載されている端末装置とサーバとの間で無線通信が行われる。ここで、画像はデータ容量が大きく、また、一般的に無線通信では上り回線の通信容量が小さい。このため、端末装置とサーバとの間での無線通信に要する時間が長くなり、認識レスポンスが低下するおそれがある。そこで、本発明の実施形態の方法を上述の駐車支援システムに適用することで、第２の方式の課題を解決または緩和して、認識レスポンスを向上させる。
【００９４】
図１０は、車両を認識する実施例においてサーバ２の動作を示すフローチャートである。このフローチャートの処理は、例えば、サーバ２が端末装置１から画像認識の依頼を受け取ったときに実行される。
【００９５】
ステップＳ２１において、通信部２１は、端末装置１から画像を受信する。このとき、サーバ２は、端末装置１において生成された加工画像を受信する。なお、サーバ２が端末装置１から最初に受信する初期画像は、例えば、カメラ３１からの入力画像の縮小エッジ画像である。
【００９６】
ステップＳ２２〜Ｓ２３において、認識部２２は、端末装置１から受信した画像内に車両が存在するか否かを判定する。このとき、認識部２２は、例えば、図４を参照しながら説明したように、略水平方向に伸びる複数のエッジおよび略垂直方向に伸びる複数のエッジの組合せに基づいて、車両の存在を推定することができる。
【００９７】
画像内に車両が存在する可能性が高いと判定されたときは、サーバ２の処理はステップＳ２４へ進む。一方、画像内に車両が存在する可能性が低いと判定されたときは、実際に車両が存在しないケースだけでなく、画像の情報量が足りないために車両を検出できないケースも考えられる。よって、サーバ２は、ステップＳ２８において、端末装置１に対して不足情報を要求する。この場合、サーバ２は、検出可能性の度合いに応じて、縮小率および処理範囲などを変更した画像を要求してもよい。
【００９８】
ステップＳ２４〜Ｓ２５において、認識部２２は、端末装置１から受信した画像内に映っている車両の向きを推定する。そして、車両の向きが特定されたときは、サーバ２の処理はステップＳ２６へ進む。一方、車両の向きを特定できなかったときは、サーバ２は、ステップＳ２８において、端末装置１に対して不足情報を要求する。ここで、認識部２２は、例えば、図４を参照しながら説明したように、車両の向きに対応するパーツ（エンブレム、フロントグリル、ナンバープレート、ライト、タイヤ、ドアなど）を検出することで、車両の向きを推定できる。したがって、サーバ２は、先に受信している画像から車両の向きを特定できなかったときは、車両のエンブレム、フロントグリル、ナンバープレート、ライト、タイヤ、ドアなどを検出するために、端末装置１に対して車両の下端部の画像を要求する。
【００９９】
ステップＳ２６〜Ｓ２７において、認識部２２は、データベース２３を利用して、端末装置１から受信した画像内に映っている車両の車名を特定する処理を行う。そして、車名を特定できたときは、サーバ２は、ステップＳ２９において、認識結果として、特定した車名に対応するＣＧ画像を端末装置１へ送信する。このとき、サーバ２は、認識処理が完了したことを表すメッセージも端末装置１へ送信する。このメッセージは、図６に示す認識完了フラグにより実現される。
【０１００】
一方、車両の車名を特定できなかったときは、サーバ２は、ステップＳ２８において、端末装置１に対して不足情報を要求する。この場合、サーバ２は、例えば、縮小率が小さい画像（サイズが大きい画像）を端末装置１へ要求してもよい。
【０１０１】
なお、車両を正面から映した画像を取得したときは、認識部２２は、エンブレム、フロントグリル、ナンバープレート、ライトなどに基づいて、車種および車名を特定することができる。また、車両を後方から映した画像を取得したときは、認識部２２は、エンブレム、ナンバープレート、ライト、車両型番表示などに基づいて、車種および車名を特定することができる。さらに、車両を側方から映した画像を取得したときは、認識部２２は、ドアの数（２ドア／４ドア）、ドアの形状などに基づいて、車種および車名を特定することができる。このように、車両の向きと、その車両の車種および車名を特定するために使用されるパーツとの間には、対応関係がある。すなわち、車種および車名を特定するためのパーツを検出する前に、車両の向きが特定されていれば、車種および車名を特定するためのパーツの検出が容易になる。よって、この実施例では、車種および車名を特定する前に、車両の向きが特定される。そして、この手順を採用することにより、車種および車名を特定する処理のレスポンスが向上する。
【０１０２】
サーバ２は、画像内に映っている車両の車名を特定できるまで、ステップＳ２１〜Ｓ２８の処理を繰り返し実行する。ただし、車両の存在が確認された後は、ステップＳ２３〜Ｓ２４の処理はスキップされる。また、車両の向きが特定された後は、ステップＳ２３〜Ｓ２６の処理はスキップされる。
【０１０３】
なお、画像認識処理の開始から所定時間内に車名を特定できなかったときは、サーバ２は、認識処理を終了して、その時点で得られている認識結果を端末装置１へ送信する。例えば、画像内に映っている車両の車種（例えば、セダン）まで特定されているときは、サーバ２は、データベース２３から代表的なセダン型車両のＣＧ画像を抽出して端末装置１へ送信する。また、端末装置１からカラー画像を受信したときは、サーバ２は、その画像内に映っている車両と同じ色をＣＧ画像に付して、端末装置１へ送信してもよい。
【０１０４】
図１１〜図１７は、画像内に映っている車両の車名を特定する処理の一例を詳細に示す図である。この処理は、図１０に示すステップＳ２１〜Ｓ２８に対応し、サーバ２により実行される。なお、車名を特定する処理の手順を記述した情報がデータベースに格納されており、サーバ２がその手順に従って車名を特定する場合には、図１１〜図１７は、そのデータベースの構造を示す。
【０１０５】
図１１〜図１７に示す実施例では、サーバ２は、端末装置１から初期画像として縮小エッジ画像を受信し、その初期画像に基づいて、画像内に車両が存在する可能性が高いと判定しているものとする。しがたって、以下では、図１１に示すステップＳ３１から説明を始める。
【０１０６】
ステップＳ３１において、サーバ２は、ナンバープレートおよびタイヤを検出するために、車両の下端部を含む縮小エッジ画像を端末装置１に要求する。なお、ステップＳ３１では、サーバ２は、先に受信した初期画像よりも解像度の高い縮小エッジ画像を要求するものとする。
【０１０７】
ステップＳ３２において、サーバ２は、ステップＳ３１の要求に対応する縮小エッジ画像を利用して車両の向きを推定する。ここで、タイヤが検出されずにナンバープレートが検出されたときは、サーバ２は、車両が「前向きまたは後向き」であると判定する。ナンバープレートが検出されずにタイヤが検出されたときは、サーバ２は、車両が「横向き」であると判定する。ナンバープレートおよびタイヤが検出されたときは、サーバ２は、車両が「斜め向き」であると判定する。
【０１０８】
ステップＳ３２において車両の向きを特定できなかったときは、サーバ２は、ステップＳ３３において、新たな画像を端末装置１に要求する。このとき、サーバ２は、ステップＳ３１で要求した画像と同じ領域であり、且つ、縮小率の低い（すなわち、サイズの大きい）画像を端末装置１に対して要求する。そして、サーバ２は、ステップＳ３３の要求に対応するエッジ画像を利用して、車両の向きを推定する。
【０１０９】
ステップＳ３４においても車両の向きを特定できなかったときは、サーバ２は、ステップＳ３５において、端末装置１に対して、異なる時刻に撮影された画像の縮小エッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１１０】
ステップＳ３２またはＳ３４の処理で、車両が「前向きまたは後向き」であると判定されたときは、サーバ２の処理は、図１２に示すステップＳ４１へ進む。なお、車両が「横向き」または「斜め向き」と判定されたときの動作については、説明を省略する。
【０１１１】
ステップＳ４１において、サーバ２は、先に受信している初期画像に対して、画像内に映っている車両の車種および向きを識別する処理を実行する。ここで、車両の外観から車種を識別する方法としては、例えば、車両の外観画像とモデル画像との一致度によって判断する方法が考えられる。この場合、データベース２３には、例えば、モデル画像としてセダン、ワゴン、バン、トラック、バス、軽車両などの画像が登録されている。また、認識部２２は、車両の外観画像と各モデル画像との一致度を算出する。そして、車両の外観画像との一致度が最も高く、且つ、その一致度が所定の閾値（例えば、７５％）よりも高いモデル画像に対応する車種が、画像内に映っている車両の車種と判定される。
【０１１２】
サーバ２は、車種を識別する処理において、車両が「前向き」であるか「後向き」であるかを合わせて判定してもよい。この場合、モデル画像として、セダン、ワゴン、バン、トラック、バス、軽車両について、それぞれ前方から見たときの画像および後方から見たときの画像をデータベース２３に登録しておけばよい。
【０１１３】
ステップＳ４１において車種および車両の向きを識別できなかったときは、ステップＳ４２において、サーバ２は、端末装置１に対して、初期画像よりも縮小率の低いエッジ画像を要求する。そして、ステップＳ４３において、サーバ２は、ステップＳ４２の要求に対応するエッジ画像を利用して、車種および車両の向きを推定する。
【０１１４】
画像内に映っている車両がセダンであり、前向きであると判定されたときは、サーバ２の処理は図１３に示すステップ５１へ進む。画像内に映っている車両がセダンであり、後向きであると判定されたときは、サーバ２の処理は図１５に示すステップ７１へ進む。なお、画像内に映っている車両がセダンでなかったときの処理については、説明を省略する。また、ステップＳ４１またはＳ４３において車種および車両の向きを識別できなかったときは、サーバ２の処理は図１６に示すステップＳ８１へ進む。
【０１１５】
ステップＳ５１において、サーバ２は、エンブレムを検出するために、端末装置１に対して、車両の中央部分のエッジ画像を要求する。ステップＳ５２において、サーバ２は、ステップＳ５１の要求に対応する画像からエンブレムを検出し、そのエンブレムから車両の製造メーカーを特定する。ここで、データベース２３には、各製造メーカーのエンブレムのひな形画像が登録されているものとする。そして、認識部２２は、受信画像から抽出したエンブレム画像と各ひな形画像とを対比することにより、画像内に映っている車両の製造メーカーを特定する。
【０１１６】
ステップＳ５２において製造メーカーを特定できなかったときは、サーバ２は、ステップＳ５３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ５１で要求した画像と同じ範囲で、縮小率の低い画像を要求する。そして、ステップＳ５４において、サーバ２は、ステップＳ５３の要求に対応する画像を利用して、車両の製造メーカーを特定する。
【０１１７】
ステップＳ５４においても車両の製造メーカーを特定できなかったときは、ステップＳ５５において、サーバ２は、端末装置１に対して、異なる時刻に撮影された画像の縮小エッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１１８】
ステップＳ５２またはＳ５４で車種および製造メーカーを特定した後、サーバ２の処理は図１４のステップＳ６１へ進む。ステップＳ６１において、サーバ２は、フロントグリルを検出するために、端末装置１に対して、車両の中央部から下端部にかけての縮小エッジ画像を要求する。そして、ステップＳ６２において、認識部２２は、ステップＳ６１の要求に対応する画像から、フロントグリルに存在する文字列（アルファベット、数字など）を認識することにより車名を特定する。
【０１１９】
ステップＳ６２において車名を特定できなかったときは、サーバ２は、ステップＳ６３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ６１で要求した画像と同じ範囲で、縮小率の低い画像を要求する。そして、ステップＳ６４において、サーバ２は、ステップＳ６３の要求に対応する画像を利用して車名を特定する。
【０１２０】
ステップＳ６４においても車名を特定できなかったときは、サーバ２は、ステップＳ６５において、端末装置１に対して、異なる時刻に撮影された画像のエッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１２１】
画像内に映っている車両がセダンであり、後向きであると判定されたときは、サーバ２の処理は図１５のステップ７１へ進む。ステップＳ７１において、サーバ２は、車両の型名の表示を検出するために、端末装置１に対して、型名の表示が存在すると見込まれる部分の縮小エッジ画像を要求する。なお、型名の表示が存在すると見込まれる位置は、例えば、ステップＳ４１またはＳ４３で特定された車種に基づいて推定される。そして、ステップＳ７２において、認識部２２は、ステップＳ７１の要求に対応する画像に基づいて、車両の型名の表示を検出することにより車名を特定する。
【０１２２】
ステップＳ７２において車名を特定できなかったときは、サーバ２は、ステップＳ７３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ７１で要求した画像と同じ範囲で、縮小率の低い画像を要求する。そして、ステップＳ７４において、サーバ２は、ステップＳ７３の要求に対応する画像を利用して車名を特定する。
【０１２３】
ステップＳ７４においても車名を特定できなかったときは、サーバ２は、ステップＳ７５において、エンブレムを検出するために、端末装置１に対して、車両の中央部分のエッジ画像を要求する。以降の処理は、図１３および図１４を参照しながら説明した手順と実質的に同じなので、説明を省略する。
【０１２４】
ステップＳ４１、Ｓ４３で車種を特定できなかったときは、サーバ２の処理は図１６に示すステップＳ８１へ進む。ステップＳ８１において、サーバ２は、ナンバープレートを検出するために、ナンバープレートが存在すると見込まれる領域の縮小エッジ画像および色情報を端末装置１へ要求する。そして、ステップＳ８２において、認識部２２は、ステップＳ８１の要求に対応する画像からナンバープレートを検出し、さらに色情報を利用して車種を検出する。ここで、ナンバープレートに基づいて車種を識別する方法として、以下の３つが考えられる。なお、認識部２２は、以下の３つの方法のいずれか１つまたは２以上の組合せにより車種を認識する。
【０１２５】
（ａ）ナンバープレートの分類番号
ナンバープレートの表示において、地名の右側に表記されている分類番号は、車両の用途（貨物、乗用、特種、大型特殊）および車両の大きさ（普通、小型）を意味する。たとえば、１シリーズは普通貨物車、３シリーズは普通乗用車、５シリーズは小型乗用車、８シリーズは特殊用途自動車を表す。よって、認識部２２は、ナンバープレート上の数字を認識することで車種を特定できる。
【０１２６】
（ｂ）ナンバープレートの色
ナンバープレートの下地、文字は、車種に応じて色が決められている。例えば、軽車両のナンバープレートは黄地に黒字、もしくは黒地に黄字と決められている。また、自動車のナンバープレートは白地に緑字、もしくは緑地、白字と決められている。よって、認識部２２は、色情報（黄、黒、緑、白）に基づいて自動車と軽車両を識別できる。
【０１２７】
（ｃ）ナンバープレートの大きさ
ナンバープレートの大きさは、大型標板、中型標板、小型標板に区別される。例えば、大型標板を有する車両は、大型トラック、大型バス、特殊車両などである。よって、ナンバープレートを検出し、その大きさを算出することで車種を推定することができる。
【０１２８】
ステップＳ８２で車種を特定できなかったときは、サーバ２は、ステップＳ８３において、端末装置１に対して新たな画像を要求する。この場合、サーバ２は、ステップＳ８１で要求した画像と範囲で、縮小率の低い画像を要求する。そして、サーバ２は、ステップＳ８４において、ステップＳ８３の要求に対応する画像を利用して車種を特定する。
【０１２９】
ステップＳ８４においても車種を特定できなかったときは、サーバ２は、ステップＳ８５において、端末装置１に対して、異なる時刻に撮影された画像の縮小エッジ画像を要求する。すなわち、サーバ２は、異なる時刻に撮影された画像に対して認識処理を行う。
【０１３０】
ステップＳ８２またはＳ８４で車種を特定した後は、サーバ２は、ステップＳ９１において、エンブレムを検出するために、端末装置１に対して、車両の中央部分のエッジ画像を要求する。以降の処理は、図１３〜図１４を参照しながら説明した手順と実質的に同じであり説明を省略する。さらに、サーバ２は、図１５を参照しながら説明した手順を実行してもよい。
【０１３１】
このように、サーバ２は、図１１〜図１７に示す手順で、端末装置１から受信する画像に映っている車両の車名を特定する。このとき、サーバ２は、図１１〜図１７に示す手順を記述したプログラムを実行することにより、車名の特定を実現してもよい。あるいは、図１１〜図１７に示す手順を実現するための情報（すなわち、認識処理の状態および結果に応じた処理内容を指示する情報）をデータベース２３に登録しておいてもよい。この構成においては、サーバ２は、データベース２３を参照することで、車両のパーツの認識状態に応じた処理内容および端末側に要求する情報を知ることができるので、端末装置１とサーバ２との間で効率のよい対話的なやり取りが可能となる。この結果、サーバ２は、少ない情報量で車名を特定できるため、情報の伝送量の抑制および認識レスポンスの向上が可能となる。
【０１３２】
＜画像認識装置のハードウェア構成＞
図１８は、端末装置１およびサーバ２を実現するためのコンピュータシステムのハードウェア構成を示す図である。端末装置１を実現するためのコンピュータシステムおよびサーバ２を実現するためのコンピュータシステムのハードウェア構成は、互いにほぼ同じである。よって、以下では、端末装置１を実現するためのコンピュータシステムおよびサーバ２を実現するためのコンピュータシステムを、コンピュータシステム１００と呼ぶことにする。ただし、ＣＰＵの能力、メモリ／記憶装置の容量などは、端末装置１およびサーバ２において互いに異なっている。
【０１３３】
コンピュータシステム１００は、図１８に示すように、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、読み取り装置１０４、通信インタフェース１０６、および入出力装置１０７を備える。ＣＰＵ１０１、メモリ１０２、記憶装置１０３、読み取り装置１０４、通信インタフェース１０６、入出力装置１０７は、例えば、バス１０８を介して互いに接続されている。
【０１３４】
端末装置１においては、ＣＰＵ１０１は、メモリ１０２を利用して画像認識プログラムを実行することにより、画像処理部１３および要求処理部１５の一部または全部の機能を提供することができる。このとき、ＣＰＵ１０１は、図８に示すフローチャートの処理を記述したプログラムを実行することができる。
【０１３５】
また、サーバ２においては、ＣＰＵ１０１は、メモリ１０２を利用して画像認識プログラムを実行することにより、認識部２２、不足情報判断部２４、要求部２５の一部または全部の機能を提供することができる。このとき、ＣＰＵ１０１は、図９、図１０、図１１〜図１７に示すフローチャートの処理を記述したプログラムを実行することができる。
【０１３６】
メモリ１０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。記憶装置１０３は、例えばハードディスクであり、実施形態の画像認識に係わる画像認識プログラムを格納する。なお、記憶装置１０３は、フラッシュメモリ等の半導体メモリであってもよい。また、記憶装置１０３は、外部記録装置であってもよい。
【０１３７】
端末装置１においては、図１に示す記憶装置１２は、メモリ１０２または記憶装置１０３により実現される。また、サーバ２においては、データベース２３は、記憶装置１０３を利用して実現してもよい。
【０１３８】
読み取り装置１０４は、ＣＰＵ１０１の指示に従って着脱可能記録媒体１０５にアクセスする。着脱可能記録媒体１０５は、たとえば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。通信インタフェース１０６は、ＣＰＵ１０１の指示に従ってネットワークを介してデータを送受信する。入出力装置１０７は、例えば、ユーザからの指示を受け付けるデバイス、デジタルカメラ等から画像データを受信するインタフェース、認識結果を出力するインタフェース等に相当する。
【０１３９】
実施形態の画像認識プログラムは、例えば、下記の形態でコンピュータシステム１００に提供される。
（１）記憶装置１０３に予めインストールされている。
（２）着脱可能記録媒体１０５により提供される。
（３）プログラムサーバ１１０から提供される。
【０１４０】
以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、
前記端末装置は、
入力画像から加工画像を生成する画像処理部と、
前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有し、
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する
ことを特徴とする画像認識システム。
（付記２）
前記画像処理部は、前記端末装置が前記サーバからの要求を受け取る前に、前記入力画像から前記入力画像よりも情報量の少ない第１の加工画像を生成し、
前記認識部は、前記第１の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第１の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第１の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記３）
前記第１の加工画像は、前記入力画像のエッジ画像である
ことを特徴とする付記２に記載の画像認識システム。
（付記４）
前記第１の加工画像は、前記入力画像の縮小画像である
ことを特徴とする付記２に記載の画像認識システム。
（付記５）
前記要求部は、前記不足情報判断部による判断結果に対応する範囲の画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記６）
前記要求部は、前記不足情報判断部による判断結果に対応する画像タイプの画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記７）
前記要求部は、前記不足情報判断部による判断結果に対応する縮小率の画像を前記端末装置に要求する
ことを特徴とする付記１に記載の画像認識システム。
（付記８）
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から第２の加工画像を生成し、
前記認識部は、前記第２の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第２の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第２の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする付記１〜付記７のいずれか１つに記載の画像認識システム。
（付記９）
前記端末装置および前記サーバは、前記認識部による認識処理が終了するまで、前記サーバから前記端末装置へ画像を要求する手順、前記端末装置が前記サーバからの要求に基づいて加工画像を生成して前記サーバへ送信する手順、前記サーバが前記端末装置から受信する加工画像に対して認識処理を行う手順を含む対話処理を行う
ことを特徴とする付記１〜付記８のいずれか１つに記載の画像認識システム。
（付記１０）
前記サーバは、前記認識部による認識結果を前記端末装置へ送信する
ことを特徴とする付記１〜９のいずれか１つに記載の画像認識システム。
（付記１１）
入力画像から加工画像を生成する端末装置から前記加工画像を受信して認識する画像認識装置であって、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、
を有することを特徴とする画像認識装置。
（付記１２）
端末装置が取得した画像をサーバにおいて認識する画像認識方法であって、
前記端末装置において入力画像から生成された、前記入力画像よりも情報量の少ない初期画像を前記端末装置から受信し、
前記初期画像に対して認識処理を行い、
前記初期画像に対する認識処理において不足している情報に対応する画像を前記端末装置へ要求し、
前記端末装置において前記サーバからの要求に応じて生成された画像を前記端末装置から受信し、
前記端末装置が前記サーバからの要求に応じて生成した画像に対して認識処理を行う
ことを特徴とする画像認識方法。
【符号の説明】
【０１４１】
１ 端末装置
２ サーバ
１３ 画像処理部
１４ 通信部
１５ 要求処理部
２２ 認識部
２５ 不足情報判断部
２６ 要求部
３１ カメラ
【特許請求の範囲】
【請求項１】
端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、
前記端末装置は、
入力画像から加工画像を生成する画像処理部と、
前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有し、
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する
ことを特徴とする画像認識システム。
【請求項２】
前記画像処理部は、前記端末装置が前記サーバからの要求を受け取る前に、前記入力画像から前記入力画像よりも情報量の少ない第１の加工画像を生成し、
前記認識部は、前記第１の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第１の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第１の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする請求項１に記載の画像認識システム。
【請求項３】
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から第２の加工画像を生成し、
前記認識部は、前記第２の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第２の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第２の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする請求項１または請求項２に記載の画像認識システム。
【請求項４】
前記端末装置および前記サーバは、前記認識部による認識処理が終了するまで、前記サーバから前記端末装置へ画像を要求する手順、前記端末装置が前記サーバからの要求に基づいて加工画像を生成して前記サーバへ送信する手順、前記サーバが前記端末装置から受信する加工画像に対して認識処理を行う手順を含む対話処理を行う
ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像認識システム。
【請求項５】
入力画像から加工画像を生成する端末装置から前記加工画像を受信して認識する画像認識装置であって、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、
を有することを特徴とする画像認識装置。
【請求項６】
端末装置が取得した画像をサーバにおいて認識する画像認識方法であって、
前記端末装置において入力画像から生成された、前記入力画像よりも情報量の少ない初期画像を前記端末装置から受信し、
前記初期画像に対して認識処理を行い、
前記初期画像に対する認識処理において不足している情報に対応する画像を前記端末装置へ要求し、
前記端末装置において前記サーバからの要求に応じて生成された画像を前記端末装置から受信し、
前記端末装置が前記サーバからの要求に応じて生成した画像に対して認識処理を行う
ことを特徴とする画像認識方法。
【請求項１】
端末装置が取得した画像をサーバにおいて認識する画像認識システムであって、
前記端末装置は、
入力画像から加工画像を生成する画像処理部と、
前記画像処理部によって生成される加工画像を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、を有し、
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から前記加工画像を生成する
ことを特徴とする画像認識システム。
【請求項２】
前記画像処理部は、前記端末装置が前記サーバからの要求を受け取る前に、前記入力画像から前記入力画像よりも情報量の少ない第１の加工画像を生成し、
前記認識部は、前記第１の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第１の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第１の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする請求項１に記載の画像認識システム。
【請求項３】
前記画像処理部は、前記サーバからの要求に基づいて、前記入力画像から第２の加工画像を生成し、
前記認識部は、前記第２の加工画像に対して認識処理を行い、
前記不足情報判断部は、前記認識部による前記第２の加工画像に対する認識処理において不足している情報を判断し、
前記要求部は、前記第２の加工画像に対する認識処理において不足している情報に対応する画像を前記端末装置に要求する
ことを特徴とする請求項１または請求項２に記載の画像認識システム。
【請求項４】
前記端末装置および前記サーバは、前記認識部による認識処理が終了するまで、前記サーバから前記端末装置へ画像を要求する手順、前記端末装置が前記サーバからの要求に基づいて加工画像を生成して前記サーバへ送信する手順、前記サーバが前記端末装置から受信する加工画像に対して認識処理を行う手順を含む対話処理を行う
ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像認識システム。
【請求項５】
入力画像から加工画像を生成する端末装置から前記加工画像を受信して認識する画像認識装置であって、
前記端末装置から受信する加工画像に対して認識処理を行う認識部と、
前記認識部による認識処理において不足している情報を判断する不足情報判断部と、
前記端末装置に対して、前記不足情報判断部による判断結果に対応する画像を要求する要求部と、
を有することを特徴とする画像認識装置。
【請求項６】
端末装置が取得した画像をサーバにおいて認識する画像認識方法であって、
前記端末装置において入力画像から生成された、前記入力画像よりも情報量の少ない初期画像を前記端末装置から受信し、
前記初期画像に対して認識処理を行い、
前記初期画像に対する認識処理において不足している情報に対応する画像を前記端末装置へ要求し、
前記端末装置において前記サーバからの要求に応じて生成された画像を前記端末装置から受信し、
前記端末装置が前記サーバからの要求に応じて生成した画像に対して認識処理を行う
ことを特徴とする画像認識方法。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図４】
【図５】
【公開番号】特開２０１３−８４１３０（Ｐ２０１３−８４１３０Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２３７４４（Ｐ２０１１−２２３７４４）
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]