撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
【課題】画像認識機能の性能を十分に発揮させることができる撮像画像認識装置を提供すること。
【解決手段】視野割合推定部３１は、撮像画像Ｓ１を用いて、カメラ部２０の視野割合を推定する。候補アプリケーション選択部３２は、推定された視野割合に基づいて、複数の画像認識アプリケーションの中から、現状の撮像画像に対して処理を実行可能な又は好適な、画像認識アプリケーションの候補を選択する。画像認識処理部４０は、候補アプリケーションの中から、ユーザによって選択された画像認識アプリケーションを実行する。これにより、現状の撮像画像に適した画像認識アプリケーションを実行させることができるので、画像認識機能の性能を十分に発揮させることができる。
【解決手段】視野割合推定部３１は、撮像画像Ｓ１を用いて、カメラ部２０の視野割合を推定する。候補アプリケーション選択部３２は、推定された視野割合に基づいて、複数の画像認識アプリケーションの中から、現状の撮像画像に対して処理を実行可能な又は好適な、画像認識アプリケーションの候補を選択する。画像認識処理部４０は、候補アプリケーションの中から、ユーザによって選択された画像認識アプリケーションを実行する。これにより、現状の撮像画像に適した画像認識アプリケーションを実行させることができるので、画像認識機能の性能を十分に発揮させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法に関し、例えば監視カメラシステムや車載カメラシステムで行われる画像認識技術に関する。
【背景技術】
【０００２】
近年、人間による視認をサポートする技術として、回路による画像認識技術が多方面で利用されている。例えば、監視カメラシステムでは、画像認識技術を用いることで、混雑度検出や、侵入者の検出、侵入者の顔認識等が行われる。また、車載カメラでは、車線検出や、標識検出、歩行者検出等が行われる。
【０００３】
また、近年のカメラシステムでは、用途の多様化に伴って、多数の機能が搭載されている。そして、多数の機能の中から、撮像画像の状態に応じた機能を選択するカメラシステムも提案されている。
【０００４】
例えば、特許文献１で開示されているマルチカメラシステムは、複数のカメラによって得られた撮像画像の状態に応じて、複数の機能の中から最適な機能を選択するようになっている。
【０００５】
具体的には、２台のカメラの視野が重なっている場合には、ステレオ距離計測機能、立体物形状計測機能、パノラマ画像生成機能、死角撮影機能、人物行動解析機能のうち、少なくとも一つの機能を実行する。一方、２台のカメラの視野が重なっていない場合には、２台のカメラの撮像画像それぞれを用いて検出対象の検出を行う。
【０００６】
このように、従来のカメラシステムには、搭載された複数の機能の中から、撮像画像の状態に応じた機能を選択し実行することにより、撮像画像に最も適した処理を実行できるようになされたものがある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−７７０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上述したように、複数の機能が搭載されたカメラシステムにおいては、複数の機能の中から撮像画像の状態に応じた機能を選択し実行することは、高精度の実行結果を得るために、非常に重要である。
【０００９】
しかしながら、監視カメラシステムや車載カメラシステムにおいて、画像認識を行う場合に、複数の画像認識機能の中からどの認識機能を用いれば、搭載された認識機能を十分に活用し高精度の認識結果を得ることができるかについては、十分な検討がなされていなかった。
【００１０】
特に、近年、画像認識の技術開発は目覚ましく、非常に多くの画像認識技術が開発されているので、その中から最適な画像認識機能を選択することは重要である。しかし、人手によって最適な画像認識機能を選択する場合には、専門的な知識が必要であり、一般のカメラ使用者が認識機能の性能を十分に発揮させることは困難である。また、専門的な知識があったとしても、どのような画像に対してどの認識機能を選択するかについての基準が十分に検討されている訳ではないので、必ずしも認識機能の性能を十分に発揮させることができるとは限らない。
【００１１】
本発明は、以上の点を考慮してなされたものであり、画像認識機能の性能を十分に発揮させることができる撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の撮像画像認識装置の一つの態様は、撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定部と、推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択部と、前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理部と、を具備する。
【００１３】
本発明の撮像画像認識システムの一つの態様は、複数の画像認識アプリケーションプログラムが格納されたデータベースを有するサーバ装置と、前記サーバ装置にネットワーク接続されるネットワークカメラと、を有し、前記サーバ装置は、前記ネットワークカメラにより撮像された撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合に基づいて、前記格納した複数の画像認識アプリケーションプログラムの中から、画像認識アプリケーションの候補を選択し、選択した画像認識アプリケーションの候補の情報を前記ネットワークカメラのユーザに提示し、前記ユーザによって選択された前記画像認識アプリケーションのプログラムを前記ネットワークカメラに送信する。
【００１４】
本発明の撮像画像認識方法の一つの態様は、撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定ステップと、推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択ステップと、前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理ステップと、を含む。
【発明の効果】
【００１５】
本発明によれば、画像認識機能の性能を十分に発揮させることができる撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法を提供できる。
【図面の簡単な説明】
【００１６】
【図１】カメラから撮影対象までの距離と、視野割合との関係を示す図
【図２】実施の形態の構成を、カメラの視野割合及び撮像画像に関連付けて示したものであり、図２Ａは撮像画像と視野割合との関係を示す図、図２Ｂは実施の形態の構成を示すブロック図
【図３】カメラの視野角と、カメラから撮像対象（ターゲット）までの距離と、視野割合との関係を示す図
【図４】撮像画像認識システムの動作の説明に供するフローチャート
【図５】機器リソース状況の表示例を示す図であり、図５Ａは１つの画像認識アプリケーションが選択されたときの機器リソース状況を示す図、図５Ｂは２つの画像認識アプリケーションが選択されたときの機器リソース状況を示す図
【図６】機器リソースの状況表示を行うための処理手順を示すフローチャート
【図７】実施の形態のネットワーク構成例を示すブロック図
【図８】実施の形態のネットワーク構成例を示すブロック図
【図９】監視カメラが監視領域に近い場所に設置された処理例（図９Ａ）と、監視カメラが監視領域に遠い場所に設置された処理例（図９Ｂ）と、を示す図
【発明を実施するための形態】
【００１７】
本発明の発明者らは、撮像画像によっては、その撮像画像に適する画像認識機能もあれば、適さない画像認識機能もあることに着目した。そして、どのような撮像画像にはどのような画像認識処理が適するかについて、詳細に検討した。加えて、撮像画像に対して適用すべき画像認識機能を選択するための指標について、詳細に検討した。
【００１８】
検討の結果、撮像画像の画角サイズに対する、撮像画像中のターゲットサイズの視野割合を、画像認識機能を選択するための指標として用いることにより、撮像画像に適した画像認識処理を行うことができることを見出した。
【００１９】
本発明の一つの特徴は、撮像画像の画角サイズに対する、撮像画像中のターゲットサイズの割合を推定し、推定した前記割合に基づいて、画像認識アプリケーションの候補を選択し、候補アプリケーションの中から、選択された画像認識アプリケーションを実行する、ことである。
【００２０】
なお、撮像画像の画角サイズに対する、撮像画像中のターゲットサイズの割合を検出する方法は、特に限定されるものではないが、以下の実施の形態では、前記割合としてカメラの視野割合を用いる方法を提示する。これは、図１に示すように、一般に、カメラの視野角が大きいほど、撮像画像の画角サイズに対する撮像画像中のターゲットサイズの割合は小さくなり、カメラから撮影対象までの距離が遠いほど撮像画像の画角サイズに対する撮像画像中のターゲットのサイズの割合は小さくなるといった現象に着目したものである。
【００２１】
また、以下の実施の形態では、認識対象のターゲットが人物である場合を例に説明するが、ターゲットは人物でなくてもよく、例えば車輌や他の物体であってもよい。
【００２２】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
［１］構成
図２は、本実施の形態の構成を、カメラの視野割合及び撮像画像Ｐ１−Ｐ５に関連付けて示したものである。図２Ａは、撮像画像Ｐ１−Ｐ５とカメラの視野割合との関係を示す図である。図２Ｂは、本実施の形態の構成を示すブロック図である。
【００２４】
図２Ａからも分かるように、視野割合が大きくなるほど、撮像画像の画像サイズに対する、撮像画像中のターゲットサイズ（図２の例の場合、写っている人物のサイズ）は大きくなる。
【００２５】
図３に、カメラの視野角と、カメラから撮像対象（ターゲット）までの距離と、視野割合との関係を示す。図から分かるように、同一の視野角であれば、カメラからの距離が近い方ほど、視野割合が大きくなる。
【００２６】
図２Ｂに示すように、本実施の形態の撮像画像認識システム１０は、カメラ部２０と、処理選択部３０と、画像認識処理部４０と、ユーザ端末５０と、ズーム制御部６０と、を有する。
【００２７】
画像認識処理部４０はサーバ装置に設けられる。なお、画像認識処理部４０はカメラ部２０に設けられてもよい。処理選択部３０はサーバ装置に設けられる。なお、処理選択部３０はカメラ部２０又はユーザ端末５０に設けられてもよい。
【００２８】
画像認識処理部４０は、複数の画像認識機能を実現するための複数のアプリケーションプログラム（以下これを単にアプリケーションと呼ぶこともある）を保持しており、複数の画像認識アプリケーションの中から、ユーザによって選択された画像認識アプリケーションを実行するようになっている。
【００２９】
本実施の形態の場合、画像認識処理部４０は、画像認識アプリケーションとして、混雑検出、人物検出、動作認識、顔認識、視線推定、動線検出、着衣探索、性別・年齢推定、表情推定を行うアプリケーションを格納しており、これらの各アプリケーションをそれぞれ、混雑検出部４１、人物検出部４２、動作認識部４３、顔認識部４４、視線推定部４５、動線検出部４６、着衣検索部４７、性別・年齢推定部４８、表情推定部４９にて実行する。
【００３０】
各アプリケーションは動作に適した視野割合が設定されている。設定されている視野割合は事前に実験やアプリケーションの特性などに応じて決められている。なお、カメラの解像度に応じて適切な視野割合は変動するので、カメラの解像度情報に応じて適正視野割合を適宜変更してもよい。例えば、図２ＡのＰ２のように視野割合が低い場合でも、解像度が高ければ人物の顔を電子的に拡大することができるため、顔認識部４４の適正範囲は視野割合が低い方向に伸ばしてもよい。
【００３１】
処理選択部３０は、画像認識処理部４０で実行可能な前記複数の画像認識アプリケーションのうち、現状の撮像画像に対して適正に実行できる画像認識アプリケーションの候補を選択し、この候補アプリケーションをユーザに提示する。
【００３２】
処理選択部３０は、カメラ部２０からの撮像画像Ｓ１を視野割合推定部３１に入力する。視野割合推定部３１は、撮像画像Ｓ１を用いて、カメラ部２０の視野割合を推定する。本実施の形態の場合、視野割合推定部３１は、人物検出処理及び顔検出処理を行い、検出した人物サイズ及び顔のサイズに基づいて、視野割合を推定する。例えば、撮像画像Ｓ１の画角サイズに対する、人物サイズ及び顔サイズに基づいて、視野割合を推定できる。具体的には、画角サイズに対する人物サイズや顔サイズの割合が小さいほど視野割合が小さいと推定すればよい。
【００３３】
なお、視野割合の推定の仕方はこれに限らない。例えば、人物検出処理及び顔検出処理を行い、各検出処理の成功又は失敗の程度に基づいて、視野割合を推定してもよい。例えば、人物検出の成功率が大きいほど視野割合αが小さいと推定し、顔検出の成功率が大きいほど視野割合αが大きいと推定すればよい。
【００３４】
また、複数の異なるサイズのテンプレートを用いた人物検出処理を行い、サイズ毎の検出処理の成功又は失敗の程度に基づいて、視野割合を推定してもよい。例えば、大・中・小の３つのサイズのテンプレートを用いた場合に、大サイズでの成功率が高いほど視野割合が大きいと推定し、小サイズでの成功率が高いほど視野割合が小さいと推定すればよい。
【００３５】
また、例えば、視野割合推定部３１がカメラ部２０からのパラメータに基づいて視野割合を推定してもよい。具体的には、図１に示した関係を利用して、カメラの視野角の情報と、カメラとターゲットとの位置関係（距離）の情報と、から視野割合を求めることができる。
【００３６】
推定された視野割合αは、候補アプリケーション選択部３２に送出される。候補アプリケーション選択部３２は、視野割合αに基づいて、画像認識アプリケーションの候補を選択する。画像認識アプリケーションの候補とは、画像認識処理部４０で実行可能な複数の画像認識アプリケーションのうち、現状の撮像画像に対して適正に実行できる画像認識アプリケーションである。
【００３７】
図２では、各画像認識アプリケーションがどの視野割合に適しているかが示されている。図の例の場合、視野割合α１に適している画像認識アプリケーション処理は、混雑検出、人物検出、動作認識及び動線検出であることが示されている。よって、候補アプリケーション選択部３２は、視野割合がα１の場合には、画像認識アプリケーションの候補として、混雑検出、人物検出、動作認識及び動線検出を選択する。
【００３８】
なお、これまではカメラのズーム倍率が固定の場合について説明してきたが、ズーム倍率が可変の場合には、カメラの視野角が変動するため視野割合も変動する。図２での視野割合を表すα１は直線で表現されているが、ズーム倍率が可変のカメラの場合にはα１はズーム範囲だけ左右に幅を持つ直線とすればよい。
【００３９】
処理選択部３０の候補アプリケーション選択部３２によって選択された候補アプリケーションの情報は、適正処理推薦情報Ｓ２として、ユーザ端末５０の表示部５１に送出される。これにより、表示部５１には、現状の撮像画像に対して、画像認識処理部４０で適正に実行できる画像認識アプリケーションの候補が表示され、ユーザはこの候補の中から実行させたい画像認識アプリケーションを選択できる。
【００４０】
なお、候補アプリケーション選択部３２は、候補アプリケーションを選択することに加えて、選択した候補アプリケーションをランキングして表示させてもよい。つまり、図２にも示したように、各画像認識アプリケーションには、そのアプリケーションを実行することが可能な視野割合領域である有効視野割合と、その有効視野割合の中でもより適正にそのアプリケーションを実行することができる視野割合領域である適正視野割合と、が存在する。適正視野割合は、有効視野割合の範囲内の一部の視野割合の範囲である。
【００４１】
候補アプリケーション選択部３２は、選択した候補アプリケーションが単に実行可能なアプリケーションなのか、適正に実行可能なアプリケーションなのかを判断して、表示部５１に表示させるとよい。例えば、単に実行可能なアプリケーションを「活用可能アプリケーションリスト」として表示し、より適正に実行可能なアプリケーションを「適正アプリケーションリスト」として表示すればよい。
【００４２】
実際上、ユーザは、表示部５１に表示された画像認識アプリケーションを見ながら、希望する画像認識アプリケーションを選択し、選択結果を入力部５２によって入力する。選択された画像認識アプリケーションの情報は画像認識処理部４０に送出され、画像認識処理部４０はユーザにより選択された画像認識アプリケーションを実行する。
【００４３】
また、ユーザにより選択された画像認識アプリケーションの情報は、ズーム制御部６０に送出される。ズーム制御部６０は、カメラ部２０の視野割合が、選択された画像認識アプリケーションにとって最適となるようにズーム（焦点距離）を制御する。例えば、図２に示すような視野割合α１の下で、ユーザによって画像認識アプリケーションとして混雑検出が選択された場合、混雑検出にとっては視野割合がα１よりも小さい方がより好ましいので、ズーム制御部６０によって、視野割合（視野角）が現状よりも小さくなるようにズーム制御される。
【００４４】
［２］撮像画像認識システムの動作
次に、図４を用いて、撮像画像認識システム１０の動作について説明する。
【００４５】
先ず、ステップＳＴ１１でカメラ部２０が初期設定される。ステップＳＴ１２では、カメラ部２０によって撮像が行われる。ステップＳＴ１３では、視野割合推定部３１によって視野割合αが推定され、ステップＳＴ１４では、推定された視野割合αが保存される。推定視野割合αは、例えば、視野割合推定部３１内にメモリを設け、それに保存すればよい。
【００４６】
一方、撮像画像認識システム１０は、ステップＳＴ２１において、画像認識選択処理を起動する。先ず、ステップＳＴ２２で、候補アプリケーション選択部３２が画像認識処理部４０から画像認識アプリケーションのリストを取得する。画像認識アプリケーションのリストとは、画像認識処理部４０で実行可能な画像認識アプリケーションのリストである。図２の例の場合、画像認識アプリケーションリストは、混雑検出、人物検出、動作認識、顔認識、視線推定、動線検出、着衣検索、性別・年齢推定、表情推定からなる。
【００４７】
ステップＳＴ２３では、候補アプリケーション選択部３２が、画像認識アプリケーションリストの中から、現状の視野割合αに応じた少なくとも１つ以上の画像認識アプリケーションを選択し、それを候補アプリケーションとして表示部５１に表示させる。例えば、図２の例では、撮像画像が視野割合α１で撮像された画像なので、混雑検出、人物検出、動作認識及び動線検出が実行可能であることが表示部５１に表示される。
【００４８】
ステップＳＴ２４では、入力部５２を用いてユーザによって画像認識アプリケーションが選択される。
【００４９】
ステップＳＴ２５では、画像認識処理部４０が、ユーザによって選択された画像認識アプリケーションを実行するために、画像認識アプリケーションプログラムをネットワークを介して外部から取得し、又は、プログラムを予め保持している場合にはモジュールを選択された画像認識アプリケーションプログラムに切り替える。
【００５０】
ステップＳＴ２６では、ズーム制御部６０が、ユーザによって選択された画像認識アプリケーションにとって最適な視野割合となるようにカメラ部２０のズームを制御する。
【００５１】
ステップＳＴ２７では、カメラ部２０によって撮像が行われる。
【００５２】
ステップＳＴ２８では、画像認識処理部４０が、ユーザによって選択された画像認識アプリケーションにて画像認識処理を行う。
【００５３】
［３］機器リソースの状況表示
ここで、表示部５１に、候補アプリケーションに加えて、機器リソース状況を表示すると、ユーザが画像認識アプリケーションを選択する際の指標にできるので好ましい。
【００５４】
図５は、機器リソース状況の表示例を示す。図５Ａは１つの画像認識アプリケーションが選択されたとき（例えば人物検出が選択されたとき）の機器リソース状況を示し、図５Ｂは２つの画像認識アプリケーションが選択されたとき（例えば人物検出と動線検出が選択されたとき）の機器リソース状況を示す。ユーザは、機器リソース状況を見れば、機器リソースの残量が分かるので、画像認識アプリケーションを選択する際の指標とすることができる。
【００５５】
図６に、機器リソースの状況表示を行うための処理手順を示す。なお、図６では、図４と同一の処理には図４と同一の符号を付してある。図６の処理手順は、図４の処理手順に、ステップＳＴ３０、ＳＴ３１、ＳＴ３２が加わったものである。
【００５６】
ステップＳＴ３０では、図５に示したような、機器リソースの状況が表示される。ステップＳＴ３１では、ステップＳＴ２４で選択された画像認識アプリケーションを実行するために必要なリソースの判定が行われる。この判定は、例えば、候補アプリケーション選択部３２が画像認識処理部４０（例えばサーバ）に問合せることで行えばよい。ステップＳＴ３２では、アプリケーションの選択が完了したかを判断し、完了していない場合には（ステップＳＴ３２；Ｎｏ）、ステップＳＴ３０に戻る。ステップＳＴ３０では、前回のステップＳＴ３０で行ったリソースに加えて、ステップＳＴ３１で判定された必要リソースを加えた機器リース状況表示を行う。つまり、前回のステップＳＴ３１で行われた表示が図５Ａのようなものであるとすると、今回のステップＳＴ３１で行われる表示は図５Ｂに示すようなものになる。
【００５７】
［４］ネットワーク構成
次に、撮像画像認識システム１０の好ましいネットワーク構成を、図７及び図８を用いて説明する。ここで、図７及び図８では、図２との対応部分は同一符号を付して示されている。
【００５８】
図７のネットワーク構成は、ネットワークカメラが画像認識アプリケーションプログラムをネットワークを介してダウンロードして使用する構成例である。
【００５９】
図７のネットワーク構成は、サーバ１００と、サーバ１００にネットワーク接続されたネットワークカメラ（ＮＷカメラ）２００と、ユーザ端末５０とを有する。ユーザ端末５０は、ネットワークカメラ２００に設けられてもよく、サーバ１００に設けられてもよく、ネットワークカメラ２００及びサーバ１００とは独立に設けられてもよい。但し、独立に設ける場合には、ネットワークカメラ２００と紐付けする必要がある。
【００６０】
サーバ１００は、候補アプリケーション選択部３２と、画像認識アプリケーションプログラムを格納するアプリケーションデータベース（アプリＤＢ）１０１と、適正処理推薦問合せ部１０２と、受信部１０３と、送信部１０４と、を有する。
【００６１】
ネットワークカメラ２００は、カメラ部２０と、視野割合推定部３１と、画像認識処理部４０と、送信部２０１と、受信部２０２と、ダウンロードアプリケーション蓄積部（ＤＬアプリ蓄積部）２０３と、を有する。
【００６２】
カメラ部２０によって撮像画像Ｓ１が得られると、視野割合推定部３１によって視野割合αが推定され、この視野割合αが送信部２０１を介してサーバ１００に送信される。
【００６３】
サーバ１００は、受信部１０３を介して視野割合αを受信する。候補アプリケーション選択部３２は、視野割合αに基づいて、画像認識アプリケーションの候補を選択し、選択した画像認識アプリケーションの候補を適正処理推薦問合せ部１０２に送出する。適正処理推薦問合せ部１０２は、選択された画像認識アプリケーションの候補を、ユーザ端末５０の表示部５１に表示させる。また、適正処理推薦問合せ部１０２は、ユーザ端末５０の入力部５２からユーザによって選択された画像認識アプリケーションの情報を入力し、ユーザによって選択された画像認識アプリケーションプログラムを送信部１０４を介してネットワークカメラ２００に送信する。
【００６４】
ネットワークカメラ２００は、受信部２０２によって画像認識アプリケーションプログラムを受信し、これをダウンロードアプリケーション蓄積部２０３に蓄積する。画像認識処理部４０は、ダウンロードアプリケーション蓄積部２０３にダウンロードされた画像認識アプリケーションプログラムを用いて画像認識処理を実行する。
【００６５】
図８のネットワーク構成は、ネットワークカメラは撮像を行い、残りの処理はほとんどサーバによって行う構成例である。
【００６６】
図８の構成において、ネットワークカメラ４００は、カメラ部２０で得た撮像画像Ｓ１を送信部４０１を介してサーバ３００に送信する。
【００６７】
サーバ３００は、受信部３０３で撮像画像Ｓ１を受信し、これを視野割合推定部３１及び画像認識処理部４０に入力する。視野割合推定部３１によって視野割合αが推定され、候補アプリケーション選択部３２によって視野割合αに応じた画像認識アプリケーションの候補が選択される。適正処理推薦問合せ部３０２は、選択された画像認識アプリケーションの候補を、ユーザ端末５０の表示部５１に表示させる。また、適正処理推薦問合せ部３０２は、ユーザ端末５０の入力部５２からユーザによって選択された画像認識アプリケーションの情報を入力し、この情報を画像認識処理部４０に送出する。画像認識処理部４０は、ユーザによって選択された画像認識アプリケーションプログラムをアプリケーションデータベース（アプリＤＢ）３０１から読み出し、この画像認識アプリケーションプログラムを用いて撮像画像Ｓ１に対して画像認識処理を施す。
【００６８】
［５］応用例
ここで、本発明の構成を応用して実現できる応用例（ビジネスモデル）について説明する。
【００６９】
複数の画像認識アプリケーションプログラムがパッケージングソフトとして販売された場合、従来であれば、ユーザは、パッケージングソフトの中から、カメラの設置状況等に応じて、適していると思われる画像認識アプリケーションプログラムを自分で選んで、画像認識の性能評価を行わなければならない。このとき、ユーザが誤った画像認識アプリケーションプログラムを選択すると、設置されたカメラと用意された画像認識アプリケーションプログラムとの最適な組み合わせでの画像認識の性能評価ができない。
【００７０】
これに対して、本実施の形態の構成を用いれば、カメラのユーザは、複数の画像認識アプリケーションプログラムがパックされたパッケージングソフトを購入するだけで、カメラにとって好適な画像認識アプリケーションプログラムを選択しなくても、視野割合推定部３１及び候補アプリケーション選択部３２によって、カメラにとって好適な画像認識アプリケーションプログラムが選択される。この結果、現状のカメラ状態にとって適した画像認識アプリケーションプログラムを用いた性能評価を行うことができる。この結果、例えば、カメラや画像認識アプリケーションプログラムの購入を予定しているユーザは、このカメラ状態に適した性能評価を、購入の指標とすることができる。
【００７１】
図９は、混雑度検出、動線検出、性別・年齢推定の画像認識アプリケーションが入ったパッケージングソフトに、本実施の形態の処理を適用した例を示すものである。
【００７２】
図９Ａは、監視カメラが監視領域（撮像領域）から近い位置に設置された場合を示す。このとき、視野割合に基づいて、動線検出と性別・年齢推定の画像認識アプリケーションが選択されて、これらの画像認識アプリケーションが実行される。
【００７３】
図９Ｂは、監視カメラが監視領域（撮像領域）から遠い位置に設置された場合を示す。このとき、視野割合に基づいて、混雑度検出と動線検出の画像認識アプリケーションが選択されて、これらの画像認識アプリケーションが実行される。
【００７４】
［６］効果
以上説明したように、本実施の形態によれば、視野割合推定部３１と、推定された視野割合に基づいて画像認識アプリケーションの候補を選択する候補アプリケーション選択部３２と、候補アプリケーションの中から、ユーザによって選択された画像認識アプリケーションを実行する画像認識処理部４０と、を設けたことにより、現状の撮像画像に適した画像認識アプリケーションをユーザに提示して、的確な画像認識アプリケーションを実行させることができ、画像認識機能の性能を十分に発揮させることができる。
【００７５】
なお、上述の実施の形態の処理選択部３０は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、処理選択部３０を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００７６】
本発明は、例えば監視カメラや車載カメラ等のカメラにより得られた撮像画像に対して、画像認識処理を施す場合に好適である。
【符号の説明】
【００７７】
１０ 撮像画像認識システム
２０ カメラ部
３０ 処理選択部
３１ 視野割合推定部
３２ 候補アプリケーション選択部
４０ 画像認識処理部
４１ 混雑検出部
４２ 人物検出部
４３ 動作認識部
４４ 顔認識部
４５ 視線推定部
４６ 動線検出部
４７ 着衣検索部
４８ 性別・年齢推定部
４９ 表情推定部
５０ ユーザ端末
５１ 表示部
５２ 入力部
６０ ズーム制御部
１００、３００ サーバ
２００、４００ ネットワークカメラ
Ｓ１ 撮像画像
Ｓ２ 適正処理推薦情報
α，α１ 視野割合
【技術分野】
【０００１】
本発明は、撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法に関し、例えば監視カメラシステムや車載カメラシステムで行われる画像認識技術に関する。
【背景技術】
【０００２】
近年、人間による視認をサポートする技術として、回路による画像認識技術が多方面で利用されている。例えば、監視カメラシステムでは、画像認識技術を用いることで、混雑度検出や、侵入者の検出、侵入者の顔認識等が行われる。また、車載カメラでは、車線検出や、標識検出、歩行者検出等が行われる。
【０００３】
また、近年のカメラシステムでは、用途の多様化に伴って、多数の機能が搭載されている。そして、多数の機能の中から、撮像画像の状態に応じた機能を選択するカメラシステムも提案されている。
【０００４】
例えば、特許文献１で開示されているマルチカメラシステムは、複数のカメラによって得られた撮像画像の状態に応じて、複数の機能の中から最適な機能を選択するようになっている。
【０００５】
具体的には、２台のカメラの視野が重なっている場合には、ステレオ距離計測機能、立体物形状計測機能、パノラマ画像生成機能、死角撮影機能、人物行動解析機能のうち、少なくとも一つの機能を実行する。一方、２台のカメラの視野が重なっていない場合には、２台のカメラの撮像画像それぞれを用いて検出対象の検出を行う。
【０００６】
このように、従来のカメラシステムには、搭載された複数の機能の中から、撮像画像の状態に応じた機能を選択し実行することにより、撮像画像に最も適した処理を実行できるようになされたものがある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−７７０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上述したように、複数の機能が搭載されたカメラシステムにおいては、複数の機能の中から撮像画像の状態に応じた機能を選択し実行することは、高精度の実行結果を得るために、非常に重要である。
【０００９】
しかしながら、監視カメラシステムや車載カメラシステムにおいて、画像認識を行う場合に、複数の画像認識機能の中からどの認識機能を用いれば、搭載された認識機能を十分に活用し高精度の認識結果を得ることができるかについては、十分な検討がなされていなかった。
【００１０】
特に、近年、画像認識の技術開発は目覚ましく、非常に多くの画像認識技術が開発されているので、その中から最適な画像認識機能を選択することは重要である。しかし、人手によって最適な画像認識機能を選択する場合には、専門的な知識が必要であり、一般のカメラ使用者が認識機能の性能を十分に発揮させることは困難である。また、専門的な知識があったとしても、どのような画像に対してどの認識機能を選択するかについての基準が十分に検討されている訳ではないので、必ずしも認識機能の性能を十分に発揮させることができるとは限らない。
【００１１】
本発明は、以上の点を考慮してなされたものであり、画像認識機能の性能を十分に発揮させることができる撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の撮像画像認識装置の一つの態様は、撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定部と、推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択部と、前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理部と、を具備する。
【００１３】
本発明の撮像画像認識システムの一つの態様は、複数の画像認識アプリケーションプログラムが格納されたデータベースを有するサーバ装置と、前記サーバ装置にネットワーク接続されるネットワークカメラと、を有し、前記サーバ装置は、前記ネットワークカメラにより撮像された撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合に基づいて、前記格納した複数の画像認識アプリケーションプログラムの中から、画像認識アプリケーションの候補を選択し、選択した画像認識アプリケーションの候補の情報を前記ネットワークカメラのユーザに提示し、前記ユーザによって選択された前記画像認識アプリケーションのプログラムを前記ネットワークカメラに送信する。
【００１４】
本発明の撮像画像認識方法の一つの態様は、撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定ステップと、推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択ステップと、前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理ステップと、を含む。
【発明の効果】
【００１５】
本発明によれば、画像認識機能の性能を十分に発揮させることができる撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法を提供できる。
【図面の簡単な説明】
【００１６】
【図１】カメラから撮影対象までの距離と、視野割合との関係を示す図
【図２】実施の形態の構成を、カメラの視野割合及び撮像画像に関連付けて示したものであり、図２Ａは撮像画像と視野割合との関係を示す図、図２Ｂは実施の形態の構成を示すブロック図
【図３】カメラの視野角と、カメラから撮像対象（ターゲット）までの距離と、視野割合との関係を示す図
【図４】撮像画像認識システムの動作の説明に供するフローチャート
【図５】機器リソース状況の表示例を示す図であり、図５Ａは１つの画像認識アプリケーションが選択されたときの機器リソース状況を示す図、図５Ｂは２つの画像認識アプリケーションが選択されたときの機器リソース状況を示す図
【図６】機器リソースの状況表示を行うための処理手順を示すフローチャート
【図７】実施の形態のネットワーク構成例を示すブロック図
【図８】実施の形態のネットワーク構成例を示すブロック図
【図９】監視カメラが監視領域に近い場所に設置された処理例（図９Ａ）と、監視カメラが監視領域に遠い場所に設置された処理例（図９Ｂ）と、を示す図
【発明を実施するための形態】
【００１７】
本発明の発明者らは、撮像画像によっては、その撮像画像に適する画像認識機能もあれば、適さない画像認識機能もあることに着目した。そして、どのような撮像画像にはどのような画像認識処理が適するかについて、詳細に検討した。加えて、撮像画像に対して適用すべき画像認識機能を選択するための指標について、詳細に検討した。
【００１８】
検討の結果、撮像画像の画角サイズに対する、撮像画像中のターゲットサイズの視野割合を、画像認識機能を選択するための指標として用いることにより、撮像画像に適した画像認識処理を行うことができることを見出した。
【００１９】
本発明の一つの特徴は、撮像画像の画角サイズに対する、撮像画像中のターゲットサイズの割合を推定し、推定した前記割合に基づいて、画像認識アプリケーションの候補を選択し、候補アプリケーションの中から、選択された画像認識アプリケーションを実行する、ことである。
【００２０】
なお、撮像画像の画角サイズに対する、撮像画像中のターゲットサイズの割合を検出する方法は、特に限定されるものではないが、以下の実施の形態では、前記割合としてカメラの視野割合を用いる方法を提示する。これは、図１に示すように、一般に、カメラの視野角が大きいほど、撮像画像の画角サイズに対する撮像画像中のターゲットサイズの割合は小さくなり、カメラから撮影対象までの距離が遠いほど撮像画像の画角サイズに対する撮像画像中のターゲットのサイズの割合は小さくなるといった現象に着目したものである。
【００２１】
また、以下の実施の形態では、認識対象のターゲットが人物である場合を例に説明するが、ターゲットは人物でなくてもよく、例えば車輌や他の物体であってもよい。
【００２２】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
［１］構成
図２は、本実施の形態の構成を、カメラの視野割合及び撮像画像Ｐ１−Ｐ５に関連付けて示したものである。図２Ａは、撮像画像Ｐ１−Ｐ５とカメラの視野割合との関係を示す図である。図２Ｂは、本実施の形態の構成を示すブロック図である。
【００２４】
図２Ａからも分かるように、視野割合が大きくなるほど、撮像画像の画像サイズに対する、撮像画像中のターゲットサイズ（図２の例の場合、写っている人物のサイズ）は大きくなる。
【００２５】
図３に、カメラの視野角と、カメラから撮像対象（ターゲット）までの距離と、視野割合との関係を示す。図から分かるように、同一の視野角であれば、カメラからの距離が近い方ほど、視野割合が大きくなる。
【００２６】
図２Ｂに示すように、本実施の形態の撮像画像認識システム１０は、カメラ部２０と、処理選択部３０と、画像認識処理部４０と、ユーザ端末５０と、ズーム制御部６０と、を有する。
【００２７】
画像認識処理部４０はサーバ装置に設けられる。なお、画像認識処理部４０はカメラ部２０に設けられてもよい。処理選択部３０はサーバ装置に設けられる。なお、処理選択部３０はカメラ部２０又はユーザ端末５０に設けられてもよい。
【００２８】
画像認識処理部４０は、複数の画像認識機能を実現するための複数のアプリケーションプログラム（以下これを単にアプリケーションと呼ぶこともある）を保持しており、複数の画像認識アプリケーションの中から、ユーザによって選択された画像認識アプリケーションを実行するようになっている。
【００２９】
本実施の形態の場合、画像認識処理部４０は、画像認識アプリケーションとして、混雑検出、人物検出、動作認識、顔認識、視線推定、動線検出、着衣探索、性別・年齢推定、表情推定を行うアプリケーションを格納しており、これらの各アプリケーションをそれぞれ、混雑検出部４１、人物検出部４２、動作認識部４３、顔認識部４４、視線推定部４５、動線検出部４６、着衣検索部４７、性別・年齢推定部４８、表情推定部４９にて実行する。
【００３０】
各アプリケーションは動作に適した視野割合が設定されている。設定されている視野割合は事前に実験やアプリケーションの特性などに応じて決められている。なお、カメラの解像度に応じて適切な視野割合は変動するので、カメラの解像度情報に応じて適正視野割合を適宜変更してもよい。例えば、図２ＡのＰ２のように視野割合が低い場合でも、解像度が高ければ人物の顔を電子的に拡大することができるため、顔認識部４４の適正範囲は視野割合が低い方向に伸ばしてもよい。
【００３１】
処理選択部３０は、画像認識処理部４０で実行可能な前記複数の画像認識アプリケーションのうち、現状の撮像画像に対して適正に実行できる画像認識アプリケーションの候補を選択し、この候補アプリケーションをユーザに提示する。
【００３２】
処理選択部３０は、カメラ部２０からの撮像画像Ｓ１を視野割合推定部３１に入力する。視野割合推定部３１は、撮像画像Ｓ１を用いて、カメラ部２０の視野割合を推定する。本実施の形態の場合、視野割合推定部３１は、人物検出処理及び顔検出処理を行い、検出した人物サイズ及び顔のサイズに基づいて、視野割合を推定する。例えば、撮像画像Ｓ１の画角サイズに対する、人物サイズ及び顔サイズに基づいて、視野割合を推定できる。具体的には、画角サイズに対する人物サイズや顔サイズの割合が小さいほど視野割合が小さいと推定すればよい。
【００３３】
なお、視野割合の推定の仕方はこれに限らない。例えば、人物検出処理及び顔検出処理を行い、各検出処理の成功又は失敗の程度に基づいて、視野割合を推定してもよい。例えば、人物検出の成功率が大きいほど視野割合αが小さいと推定し、顔検出の成功率が大きいほど視野割合αが大きいと推定すればよい。
【００３４】
また、複数の異なるサイズのテンプレートを用いた人物検出処理を行い、サイズ毎の検出処理の成功又は失敗の程度に基づいて、視野割合を推定してもよい。例えば、大・中・小の３つのサイズのテンプレートを用いた場合に、大サイズでの成功率が高いほど視野割合が大きいと推定し、小サイズでの成功率が高いほど視野割合が小さいと推定すればよい。
【００３５】
また、例えば、視野割合推定部３１がカメラ部２０からのパラメータに基づいて視野割合を推定してもよい。具体的には、図１に示した関係を利用して、カメラの視野角の情報と、カメラとターゲットとの位置関係（距離）の情報と、から視野割合を求めることができる。
【００３６】
推定された視野割合αは、候補アプリケーション選択部３２に送出される。候補アプリケーション選択部３２は、視野割合αに基づいて、画像認識アプリケーションの候補を選択する。画像認識アプリケーションの候補とは、画像認識処理部４０で実行可能な複数の画像認識アプリケーションのうち、現状の撮像画像に対して適正に実行できる画像認識アプリケーションである。
【００３７】
図２では、各画像認識アプリケーションがどの視野割合に適しているかが示されている。図の例の場合、視野割合α１に適している画像認識アプリケーション処理は、混雑検出、人物検出、動作認識及び動線検出であることが示されている。よって、候補アプリケーション選択部３２は、視野割合がα１の場合には、画像認識アプリケーションの候補として、混雑検出、人物検出、動作認識及び動線検出を選択する。
【００３８】
なお、これまではカメラのズーム倍率が固定の場合について説明してきたが、ズーム倍率が可変の場合には、カメラの視野角が変動するため視野割合も変動する。図２での視野割合を表すα１は直線で表現されているが、ズーム倍率が可変のカメラの場合にはα１はズーム範囲だけ左右に幅を持つ直線とすればよい。
【００３９】
処理選択部３０の候補アプリケーション選択部３２によって選択された候補アプリケーションの情報は、適正処理推薦情報Ｓ２として、ユーザ端末５０の表示部５１に送出される。これにより、表示部５１には、現状の撮像画像に対して、画像認識処理部４０で適正に実行できる画像認識アプリケーションの候補が表示され、ユーザはこの候補の中から実行させたい画像認識アプリケーションを選択できる。
【００４０】
なお、候補アプリケーション選択部３２は、候補アプリケーションを選択することに加えて、選択した候補アプリケーションをランキングして表示させてもよい。つまり、図２にも示したように、各画像認識アプリケーションには、そのアプリケーションを実行することが可能な視野割合領域である有効視野割合と、その有効視野割合の中でもより適正にそのアプリケーションを実行することができる視野割合領域である適正視野割合と、が存在する。適正視野割合は、有効視野割合の範囲内の一部の視野割合の範囲である。
【００４１】
候補アプリケーション選択部３２は、選択した候補アプリケーションが単に実行可能なアプリケーションなのか、適正に実行可能なアプリケーションなのかを判断して、表示部５１に表示させるとよい。例えば、単に実行可能なアプリケーションを「活用可能アプリケーションリスト」として表示し、より適正に実行可能なアプリケーションを「適正アプリケーションリスト」として表示すればよい。
【００４２】
実際上、ユーザは、表示部５１に表示された画像認識アプリケーションを見ながら、希望する画像認識アプリケーションを選択し、選択結果を入力部５２によって入力する。選択された画像認識アプリケーションの情報は画像認識処理部４０に送出され、画像認識処理部４０はユーザにより選択された画像認識アプリケーションを実行する。
【００４３】
また、ユーザにより選択された画像認識アプリケーションの情報は、ズーム制御部６０に送出される。ズーム制御部６０は、カメラ部２０の視野割合が、選択された画像認識アプリケーションにとって最適となるようにズーム（焦点距離）を制御する。例えば、図２に示すような視野割合α１の下で、ユーザによって画像認識アプリケーションとして混雑検出が選択された場合、混雑検出にとっては視野割合がα１よりも小さい方がより好ましいので、ズーム制御部６０によって、視野割合（視野角）が現状よりも小さくなるようにズーム制御される。
【００４４】
［２］撮像画像認識システムの動作
次に、図４を用いて、撮像画像認識システム１０の動作について説明する。
【００４５】
先ず、ステップＳＴ１１でカメラ部２０が初期設定される。ステップＳＴ１２では、カメラ部２０によって撮像が行われる。ステップＳＴ１３では、視野割合推定部３１によって視野割合αが推定され、ステップＳＴ１４では、推定された視野割合αが保存される。推定視野割合αは、例えば、視野割合推定部３１内にメモリを設け、それに保存すればよい。
【００４６】
一方、撮像画像認識システム１０は、ステップＳＴ２１において、画像認識選択処理を起動する。先ず、ステップＳＴ２２で、候補アプリケーション選択部３２が画像認識処理部４０から画像認識アプリケーションのリストを取得する。画像認識アプリケーションのリストとは、画像認識処理部４０で実行可能な画像認識アプリケーションのリストである。図２の例の場合、画像認識アプリケーションリストは、混雑検出、人物検出、動作認識、顔認識、視線推定、動線検出、着衣検索、性別・年齢推定、表情推定からなる。
【００４７】
ステップＳＴ２３では、候補アプリケーション選択部３２が、画像認識アプリケーションリストの中から、現状の視野割合αに応じた少なくとも１つ以上の画像認識アプリケーションを選択し、それを候補アプリケーションとして表示部５１に表示させる。例えば、図２の例では、撮像画像が視野割合α１で撮像された画像なので、混雑検出、人物検出、動作認識及び動線検出が実行可能であることが表示部５１に表示される。
【００４８】
ステップＳＴ２４では、入力部５２を用いてユーザによって画像認識アプリケーションが選択される。
【００４９】
ステップＳＴ２５では、画像認識処理部４０が、ユーザによって選択された画像認識アプリケーションを実行するために、画像認識アプリケーションプログラムをネットワークを介して外部から取得し、又は、プログラムを予め保持している場合にはモジュールを選択された画像認識アプリケーションプログラムに切り替える。
【００５０】
ステップＳＴ２６では、ズーム制御部６０が、ユーザによって選択された画像認識アプリケーションにとって最適な視野割合となるようにカメラ部２０のズームを制御する。
【００５１】
ステップＳＴ２７では、カメラ部２０によって撮像が行われる。
【００５２】
ステップＳＴ２８では、画像認識処理部４０が、ユーザによって選択された画像認識アプリケーションにて画像認識処理を行う。
【００５３】
［３］機器リソースの状況表示
ここで、表示部５１に、候補アプリケーションに加えて、機器リソース状況を表示すると、ユーザが画像認識アプリケーションを選択する際の指標にできるので好ましい。
【００５４】
図５は、機器リソース状況の表示例を示す。図５Ａは１つの画像認識アプリケーションが選択されたとき（例えば人物検出が選択されたとき）の機器リソース状況を示し、図５Ｂは２つの画像認識アプリケーションが選択されたとき（例えば人物検出と動線検出が選択されたとき）の機器リソース状況を示す。ユーザは、機器リソース状況を見れば、機器リソースの残量が分かるので、画像認識アプリケーションを選択する際の指標とすることができる。
【００５５】
図６に、機器リソースの状況表示を行うための処理手順を示す。なお、図６では、図４と同一の処理には図４と同一の符号を付してある。図６の処理手順は、図４の処理手順に、ステップＳＴ３０、ＳＴ３１、ＳＴ３２が加わったものである。
【００５６】
ステップＳＴ３０では、図５に示したような、機器リソースの状況が表示される。ステップＳＴ３１では、ステップＳＴ２４で選択された画像認識アプリケーションを実行するために必要なリソースの判定が行われる。この判定は、例えば、候補アプリケーション選択部３２が画像認識処理部４０（例えばサーバ）に問合せることで行えばよい。ステップＳＴ３２では、アプリケーションの選択が完了したかを判断し、完了していない場合には（ステップＳＴ３２；Ｎｏ）、ステップＳＴ３０に戻る。ステップＳＴ３０では、前回のステップＳＴ３０で行ったリソースに加えて、ステップＳＴ３１で判定された必要リソースを加えた機器リース状況表示を行う。つまり、前回のステップＳＴ３１で行われた表示が図５Ａのようなものであるとすると、今回のステップＳＴ３１で行われる表示は図５Ｂに示すようなものになる。
【００５７】
［４］ネットワーク構成
次に、撮像画像認識システム１０の好ましいネットワーク構成を、図７及び図８を用いて説明する。ここで、図７及び図８では、図２との対応部分は同一符号を付して示されている。
【００５８】
図７のネットワーク構成は、ネットワークカメラが画像認識アプリケーションプログラムをネットワークを介してダウンロードして使用する構成例である。
【００５９】
図７のネットワーク構成は、サーバ１００と、サーバ１００にネットワーク接続されたネットワークカメラ（ＮＷカメラ）２００と、ユーザ端末５０とを有する。ユーザ端末５０は、ネットワークカメラ２００に設けられてもよく、サーバ１００に設けられてもよく、ネットワークカメラ２００及びサーバ１００とは独立に設けられてもよい。但し、独立に設ける場合には、ネットワークカメラ２００と紐付けする必要がある。
【００６０】
サーバ１００は、候補アプリケーション選択部３２と、画像認識アプリケーションプログラムを格納するアプリケーションデータベース（アプリＤＢ）１０１と、適正処理推薦問合せ部１０２と、受信部１０３と、送信部１０４と、を有する。
【００６１】
ネットワークカメラ２００は、カメラ部２０と、視野割合推定部３１と、画像認識処理部４０と、送信部２０１と、受信部２０２と、ダウンロードアプリケーション蓄積部（ＤＬアプリ蓄積部）２０３と、を有する。
【００６２】
カメラ部２０によって撮像画像Ｓ１が得られると、視野割合推定部３１によって視野割合αが推定され、この視野割合αが送信部２０１を介してサーバ１００に送信される。
【００６３】
サーバ１００は、受信部１０３を介して視野割合αを受信する。候補アプリケーション選択部３２は、視野割合αに基づいて、画像認識アプリケーションの候補を選択し、選択した画像認識アプリケーションの候補を適正処理推薦問合せ部１０２に送出する。適正処理推薦問合せ部１０２は、選択された画像認識アプリケーションの候補を、ユーザ端末５０の表示部５１に表示させる。また、適正処理推薦問合せ部１０２は、ユーザ端末５０の入力部５２からユーザによって選択された画像認識アプリケーションの情報を入力し、ユーザによって選択された画像認識アプリケーションプログラムを送信部１０４を介してネットワークカメラ２００に送信する。
【００６４】
ネットワークカメラ２００は、受信部２０２によって画像認識アプリケーションプログラムを受信し、これをダウンロードアプリケーション蓄積部２０３に蓄積する。画像認識処理部４０は、ダウンロードアプリケーション蓄積部２０３にダウンロードされた画像認識アプリケーションプログラムを用いて画像認識処理を実行する。
【００６５】
図８のネットワーク構成は、ネットワークカメラは撮像を行い、残りの処理はほとんどサーバによって行う構成例である。
【００６６】
図８の構成において、ネットワークカメラ４００は、カメラ部２０で得た撮像画像Ｓ１を送信部４０１を介してサーバ３００に送信する。
【００６７】
サーバ３００は、受信部３０３で撮像画像Ｓ１を受信し、これを視野割合推定部３１及び画像認識処理部４０に入力する。視野割合推定部３１によって視野割合αが推定され、候補アプリケーション選択部３２によって視野割合αに応じた画像認識アプリケーションの候補が選択される。適正処理推薦問合せ部３０２は、選択された画像認識アプリケーションの候補を、ユーザ端末５０の表示部５１に表示させる。また、適正処理推薦問合せ部３０２は、ユーザ端末５０の入力部５２からユーザによって選択された画像認識アプリケーションの情報を入力し、この情報を画像認識処理部４０に送出する。画像認識処理部４０は、ユーザによって選択された画像認識アプリケーションプログラムをアプリケーションデータベース（アプリＤＢ）３０１から読み出し、この画像認識アプリケーションプログラムを用いて撮像画像Ｓ１に対して画像認識処理を施す。
【００６８】
［５］応用例
ここで、本発明の構成を応用して実現できる応用例（ビジネスモデル）について説明する。
【００６９】
複数の画像認識アプリケーションプログラムがパッケージングソフトとして販売された場合、従来であれば、ユーザは、パッケージングソフトの中から、カメラの設置状況等に応じて、適していると思われる画像認識アプリケーションプログラムを自分で選んで、画像認識の性能評価を行わなければならない。このとき、ユーザが誤った画像認識アプリケーションプログラムを選択すると、設置されたカメラと用意された画像認識アプリケーションプログラムとの最適な組み合わせでの画像認識の性能評価ができない。
【００７０】
これに対して、本実施の形態の構成を用いれば、カメラのユーザは、複数の画像認識アプリケーションプログラムがパックされたパッケージングソフトを購入するだけで、カメラにとって好適な画像認識アプリケーションプログラムを選択しなくても、視野割合推定部３１及び候補アプリケーション選択部３２によって、カメラにとって好適な画像認識アプリケーションプログラムが選択される。この結果、現状のカメラ状態にとって適した画像認識アプリケーションプログラムを用いた性能評価を行うことができる。この結果、例えば、カメラや画像認識アプリケーションプログラムの購入を予定しているユーザは、このカメラ状態に適した性能評価を、購入の指標とすることができる。
【００７１】
図９は、混雑度検出、動線検出、性別・年齢推定の画像認識アプリケーションが入ったパッケージングソフトに、本実施の形態の処理を適用した例を示すものである。
【００７２】
図９Ａは、監視カメラが監視領域（撮像領域）から近い位置に設置された場合を示す。このとき、視野割合に基づいて、動線検出と性別・年齢推定の画像認識アプリケーションが選択されて、これらの画像認識アプリケーションが実行される。
【００７３】
図９Ｂは、監視カメラが監視領域（撮像領域）から遠い位置に設置された場合を示す。このとき、視野割合に基づいて、混雑度検出と動線検出の画像認識アプリケーションが選択されて、これらの画像認識アプリケーションが実行される。
【００７４】
［６］効果
以上説明したように、本実施の形態によれば、視野割合推定部３１と、推定された視野割合に基づいて画像認識アプリケーションの候補を選択する候補アプリケーション選択部３２と、候補アプリケーションの中から、ユーザによって選択された画像認識アプリケーションを実行する画像認識処理部４０と、を設けたことにより、現状の撮像画像に適した画像認識アプリケーションをユーザに提示して、的確な画像認識アプリケーションを実行させることができ、画像認識機能の性能を十分に発揮させることができる。
【００７５】
なお、上述の実施の形態の処理選択部３０は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、処理選択部３０を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００７６】
本発明は、例えば監視カメラや車載カメラ等のカメラにより得られた撮像画像に対して、画像認識処理を施す場合に好適である。
【符号の説明】
【００７７】
１０ 撮像画像認識システム
２０ カメラ部
３０ 処理選択部
３１ 視野割合推定部
３２ 候補アプリケーション選択部
４０ 画像認識処理部
４１ 混雑検出部
４２ 人物検出部
４３ 動作認識部
４４ 顔認識部
４５ 視線推定部
４６ 動線検出部
４７ 着衣検索部
４８ 性別・年齢推定部
４９ 表情推定部
５０ ユーザ端末
５１ 表示部
５２ 入力部
６０ ズーム制御部
１００、３００ サーバ
２００、４００ ネットワークカメラ
Ｓ１ 撮像画像
Ｓ２ 適正処理推薦情報
α，α１ 視野割合
【特許請求の範囲】
【請求項１】
撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定部と、
推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択部と、
前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理部と、
を具備する撮像画像認識装置。
【請求項２】
前記撮像状態推定部は、前記撮像画像内のターゲットを抽出し、カメラの視野角と、前記ターゲット及び前記カメラの位置関係と、に基づいて前記視野割合を推定する、
請求項１に記載の撮像画像認識装置。
【請求項３】
前記撮像状態推定部は、前記撮像画像から、人物を検出する人物検出部及び顔を検出する顔検出部を有し、人物検出結果及び顔検出結果に基づいて、前記視野割合を推定する、
請求項１又は請求項２に記載の撮像画像認識装置。
【請求項４】
前記画像認識アプリケーションには、各々適正視野割合が設定されており、
前記候補アプリケーション選択部は、画像認識アプリケーションごとの適正視野割合と、前記撮像状態推定部によって推定された視野割合と、に基づいて前記画像認識アプリケーションを選択する、
請求項１から請求項３のいずれか一項に記載の撮像画像認識装置。
【請求項５】
前記アプリケーション候補選択部は、前記撮像画像を撮像する撮像装置のズーム範囲を考慮してアプリケーションを選択する、
請求項１から請求項４のいずれか一項に記載の撮像画像認識装置。
【請求項６】
前記候補アプリケーション選択部は、
混雑検出アプリケーション、人物検出アプリケーション、動作認識アプリケーション、顔認識アプリケーション、視線推定アプリケーション、動線検出アプリケーション、着衣検索アプリケーション、性別推定アプリケーション、年齢推定アプリケーション、及び、表情推定アプリケーション、の中の少なくとも１つを、前記画像認識アプリケーションの候補として選択する、
請求項１から請求項５のいずれか一項に記載の撮像画像認識装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の撮像画像認識装置を具備するサーバ装置。
【請求項８】
複数の画像認識アプリケーションプログラムが格納されたデータベースを有するサーバ装置と、
前記サーバ装置にネットワーク接続されるネットワークカメラと、
を有し、
前記サーバ装置は、
前記ネットワークカメラにより撮像された撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合に基づいて、前記格納した複数の画像認識アプリケーションプログラムの中から、画像認識アプリケーションの候補を選択し、
選択した画像認識アプリケーションの候補の情報を前記ネットワークカメラのユーザに提示し、
前記ユーザによって選択された前記画像認識アプリケーションのプログラムを前記ネットワークカメラに送信する、
撮像画像認識システム。
【請求項９】
撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定ステップと、
推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択ステップと、
前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理ステップと、
を含む撮像画像認識方法。
【請求項１０】
コンピュータに、
撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定するステップと、
推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択するステップと、
前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行するステップと、
を実行させるプログラム。
【請求項１】
撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定部と、
推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択部と、
前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理部と、
を具備する撮像画像認識装置。
【請求項２】
前記撮像状態推定部は、前記撮像画像内のターゲットを抽出し、カメラの視野角と、前記ターゲット及び前記カメラの位置関係と、に基づいて前記視野割合を推定する、
請求項１に記載の撮像画像認識装置。
【請求項３】
前記撮像状態推定部は、前記撮像画像から、人物を検出する人物検出部及び顔を検出する顔検出部を有し、人物検出結果及び顔検出結果に基づいて、前記視野割合を推定する、
請求項１又は請求項２に記載の撮像画像認識装置。
【請求項４】
前記画像認識アプリケーションには、各々適正視野割合が設定されており、
前記候補アプリケーション選択部は、画像認識アプリケーションごとの適正視野割合と、前記撮像状態推定部によって推定された視野割合と、に基づいて前記画像認識アプリケーションを選択する、
請求項１から請求項３のいずれか一項に記載の撮像画像認識装置。
【請求項５】
前記アプリケーション候補選択部は、前記撮像画像を撮像する撮像装置のズーム範囲を考慮してアプリケーションを選択する、
請求項１から請求項４のいずれか一項に記載の撮像画像認識装置。
【請求項６】
前記候補アプリケーション選択部は、
混雑検出アプリケーション、人物検出アプリケーション、動作認識アプリケーション、顔認識アプリケーション、視線推定アプリケーション、動線検出アプリケーション、着衣検索アプリケーション、性別推定アプリケーション、年齢推定アプリケーション、及び、表情推定アプリケーション、の中の少なくとも１つを、前記画像認識アプリケーションの候補として選択する、
請求項１から請求項５のいずれか一項に記載の撮像画像認識装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の撮像画像認識装置を具備するサーバ装置。
【請求項８】
複数の画像認識アプリケーションプログラムが格納されたデータベースを有するサーバ装置と、
前記サーバ装置にネットワーク接続されるネットワークカメラと、
を有し、
前記サーバ装置は、
前記ネットワークカメラにより撮像された撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合に基づいて、前記格納した複数の画像認識アプリケーションプログラムの中から、画像認識アプリケーションの候補を選択し、
選択した画像認識アプリケーションの候補の情報を前記ネットワークカメラのユーザに提示し、
前記ユーザによって選択された前記画像認識アプリケーションのプログラムを前記ネットワークカメラに送信する、
撮像画像認識システム。
【請求項９】
撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定する撮像状態推定ステップと、
推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択する候補アプリケーション選択ステップと、
前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行する画像認識処理ステップと、
を含む撮像画像認識方法。
【請求項１０】
コンピュータに、
撮像画像の画角サイズに対する、前記撮像画像中のターゲットサイズの視野割合を推定するステップと、
推定された前記視野割合に基づいて、画像認識アプリケーションの候補を選択するステップと、
前記候補アプリケーションの中から、選択された画像認識アプリケーションを実行するステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１５１５４７（Ｐ２０１２−１５１５４７Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−６８３２（Ｐ２０１１−６８３２）
【出願日】平成２３年１月１７日（２０１１．１．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１７日（２０１１．１．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]