画像解析装置及び画像解析システム
【課題】画像データとその解析データとを提供するにあたり、余分な負担を発生させず、データ整合性を確保し、解析データを用いた多様性のあるアプリケーションを外部機器に実現させることである。
【解決手段】画像解析装置２０が、記憶手段と、画像データを画像解析して解析データを生成し、当該解析データを前記画像データに合成して合成データを生成し、当該生成した合成データを前記記憶手段に記憶する制御手段と、を備える。
【解決手段】画像解析装置２０が、記憶手段と、画像データを画像解析して解析データを生成し、当該解析データを前記画像データに合成して合成データを生成し、当該生成した合成データを前記記憶手段に記憶する制御手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置及び画像解析システムに関する。
【背景技術】
【０００２】
従来、カメラで撮影された画像データに関する情報を生成する構成が知られている。例えば、画像データを管理するための分類情報や、画像データの画像を診断するための診断情報を生成する構成が考えられている（例えば、特許文献１，２参照）。
【０００３】
また、監視用カメラで撮影された画像データに関する情報を生成する構成も知られている。例えば、監視目的で撮影された画像データを画像解析して侵入物体の有無、撮影画像内の人数等の情報を生成する構成が考えられている（例えば、特許文献３，４参照）。
【０００４】
ここで、図６を参照して、監視目的で撮影された画像データを解析して解析データを生成する従来の画像監視システムを説明する。図６に、従来の画像監視システム２の構成を示す。
【０００５】
図６に示すように、画像監視システム２は、カメラ１０と、画像解析装置２０Ａと、表示端末３０と、を備えて構成され、画像解析装置２０Ａと表示端末３０とが通信ネットワークＮを介して通信接続される。
【０００６】
画像解析装置２０Ａは、制御部２１Ａと、入力部２２と、ＲＡＭ（Random Access Memory）２３と、通信部２４と、記憶部２５と、を備えて構成される。ＲＡＭ２３は、揮発性のメモリである。記憶部２５は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の不揮発性のメモリである。
【０００７】
画像解析装置２０Ａにおいて、カメラ１０で撮影された画像信号が入力部２２を介して（周期的に）取得され、制御部２１Ａにより、その画像信号が画像データ４１に変換されてＲＡＭ２３に格納される。そして、制御部２１Ａにより、ＲＡＭ２３内の画像データ４１を入力データとして目的の画像解析が実行され、その解析結果である解析データ４２が生成されてＲＡＭ２３に格納される。
【０００８】
そして、制御部２１Ａにより、ＲＡＭ２３内の画像データ４１が記憶部２５の画像データ群４４Ａに含められて記憶される。画像データ群４４Ａは、撮影時間が異なる複数の画像データ４１を含む。画像データ群４４Ａは、個々の画像データ４１を識別可能なよう、画像番号等の情報を付与し管理される。
【０００９】
また、制御部２１Ａにより、ＲＡＭ２３内の解析データ４２が記憶部２５のテキストファイルあるいはデータベース等の解析データ群４５に含められて記憶される。解析データ群４５は、複数の画像データ４１にそれぞれ対応する複数の解析データ４２を含む。解析データ群４５の記憶の際、解析に用いた画像データ４１と解析データ４２との紐付けが可能なよう、前記画像番号等の情報を付与し、後に、画像データと関連する解析データとの検索が可能なよう準備される。
【００１０】
また、表示端末３０から通信ネットワークＮを介して送信される、ライブ（リアルタイム）の画像データ、解析データ、あるいは過去の履歴画像データ、履歴解析データ等の情報の要求に応じて、制御部２１Ａにより、ＲＡＭ２３に格納されたライブの画像データ４１、解析データ４２、あるいは記憶部２５に記憶された画像データ群４４Ａ中の画像データ、解析データ群４５中の解析データが表示端末３０に送信されて提供される。そして、表示端末３０において、受信した各データに基づき、ライブの画像、解析結果、履歴画像、履歴解析結果等が表示される。
【特許文献１】特開２００５−３７９９２号公報
【特許文献２】特開２００３−３２５４５８号公報
【特許文献３】特開２００２−３２７５９号公報
【特許文献４】特開２００７−２４３３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、従来の画像監視システム２では、解析の状況をリアルタイムに見る必要があるアプリケーションを実行する場合に、表示端末３０が、画像データ４１と解析データ４２との２つの情報を取得する必要がある。これらの２つの情報を別々に取得する場合、その整合（画像データ４１とその解析データ４２との対応関係が一致）を確保する必要があり、その実装が煩雑であった。これを回避する手段として、画像解析装置２０Ａ上において、予め画像データ４１上に解析データの結果を、目に見える形で編集して要求元の表示端末３０に提供することが考えられる。この場合、画像解析装置２０Ａの編集処理に要する負荷が増大すること、解析データ４２を用いた自由な編集が困難であること、またオリジナルの画像データ４１を表示端末３０側で利用できない問題があった。
【００１２】
同様に、表示端末３０にて、過去の解析結果を表示するアプリケーションを実行する場合に、所望の画像データ４１に該当する解析データ４２を、解析データ群４５からその都度検索する作業が必要であり、この作業が画像解析装置２０Ａにとって負担となっていた。また、データ管理の観点から、古くなった画像データ群４４Ａと解析データ群４５との整合をとって削除することは、処理が煩雑であった。
【００１３】
上記のように、画像データ４１と解析データ４２とを別のものとして管理することは、
１）当該データ検索にかかる負担が発生する。
２）データ整合性確保が難しい。
というおそれがあった。
【００１４】
本発明の課題は、画像データとその解析データとを提供するにあたり、余分な負担を発生させず、データ整合性を確保し、解析データを用いた多様性のあるアプリケーションを外部機器に実現させる画像解析装置及び画像解析システムを提供することである。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、請求項１に記載の発明の画像解析装置は、
記憶手段と、
画像データを画像解析して解析データを生成し、当該解析データを前記画像データに合成して合成データを生成し、当該生成した合成データを前記記憶手段に記憶する制御手段と、を備える。
【００１６】
請求項２に記載の発明は、請求項１に記載の画像解析装置において、
外部機器と通信する通信手段を備え、
前記制御手段は、前記生成された少なくとも一つの合成データを含む合成データ群を前記記憶手段に記憶し、当該記憶手段に記憶された合成データ群のうち指定された合成データを前記通信手段を介して前記外部機器に送信する。
【００１７】
請求項３に記載の発明は、請求項２に記載の画像解析装置において、
前記制御手段は、前記生成された合成データを前記通信手段を介して前記外部機器に送信する。
【００１８】
請求項４に記載の発明の画像解析システムは、
請求項２又は３に記載の画像解析装置と、
前記外部機器と、を備え、
前記制御手段は、前記外部機器から送信される合成データの要求に応じて前記通信手段を介して合成データを要求元の外部機器に送信する。
【発明の効果】
【００１９】
請求項１に記載の発明によれば、画像データとその解析データとを含む合成データを管理でき、余分な負担を低減でき、画像データと解析データとのデータ整合性を確保でき、解析データを用いた多様性のあるアプリケーションを外部機器に実現できる。
【００２０】
請求項２に記載の発明によれば、記憶手段に記憶された合成データ群から合成データを外部機器に提供でき、解析データの検索手続きを不要にでき、画像解析装置の負担を軽減できる。
【００２１】
請求項３に記載の発明によれば、ライブの合成データを外部機器に提供できる。
【００２２】
請求項４に記載の発明によれば、外部機器の要求に応じた合成データを外部機器に提供できる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して、本発明に係る実施の形態について説明する。但し、発明の範囲は図示例に限定されない。
【００２４】
先ず、図１及び図２を参照して、本実施の形態の装置構成を説明する。図１に、本実施の形態の画像解析システムとしての画像監視システム１を示す。
【００２５】
本実施の形態の画像監視システム１は、被写体を撮影して画像解析を行い、その被写体の画像と解析結果とを表示するシステムである。画像監視システム１は、例えば、駅のプラットホームを撮影し、その撮影画像内の人数や倒れている人の有無等を解析し、その解析結果を画像とともに表示してユーザに監視させるシステムとする。
【００２６】
図１に示すように、画像監視システム１は、カメラ１０と、画像解析装置２０と、外部機器としての表示端末３０とを備えて構成され、画像解析装置２０と表示端末３０とが通信ネットワークＮを介して通信接続されている。
【００２７】
カメラ１０は、画像解析装置２０に接続され、被写体を撮影してその被写体の画像信号を生成して出力するカメラである。カメラ１０は、画像を周期的に撮影して画像信号を出力する。
【００２８】
画像解析装置２０は、カメラ１０から入力された画像信号を画像データに変換し画像解析して解析データを生成し、画像データと解析データとを合成する。また、画像解析装置２０は、合成データを合成データ群として記憶し、ライブ又は過去の履歴の合成データを出力する。
【００２９】
表示端末３０は、表示部、通信部及び制御部（図示略）を備える。表示端末３０の制御部は、通信部を介してライブ又は過去の履歴の合成データを画像解析装置２０に要求し、受信した合成データの画像データの画像を解析データの画像とともに表示部に表示する。
【００３０】
通信ネットワークＮは、例えばＬＡＮ（Local Area Network）とするが、これに限定されるものではなく、ＷＡＮ（Wide Area Network）等としてもよい。
【００３１】
次いで、図２を参照して、画像解析装置２０の内部構成を説明する。図２に、画像解析装置２０の内部構成を示す。
【００３２】
図２に示すように、画像解析装置２０は、制御手段としてのＣＰＵ（Central Processing Unit）２１と、入力部２２と、ＲＡＭ２３と、通信手段としての通信部２４と、記憶手段としての記憶部２５と、を備えて構成され、各部がバス２６を介して接続されている。
【００３３】
ＣＰＵ２１は、画像解析装置２０の各部を中央制御する。ＣＰＵ２１は、記憶部２５に記憶されたシステムプログラム及びアプリケーションプログラムの中から指定されたプログラムを読み出し、そのプログラムをＲＡＭ２３に展開し、展開されたプログラムとの協働で各種処理を実行する。
【００３４】
ＣＰＵ２１は、記憶部２５に記憶された合成データ生成プログラムとの協働で、後述する図４に示すように、カメラ１０で撮影された画像データ４１の画像を解析して解析データ４２を生成し、画像データ４１及び解析データ４２を合成して合成データ４３を生成してＲＡＭ２３に格納し、合成データ４３を合成データ群４４に含めて記憶部２５に記憶する。
【００３５】
また、ＣＰＵ２１は、記憶部２５に記憶された合成データ提供プログラムとの協働で、表示端末３０から合成データの要求があると、ライブの合成データの要求がある場合に、ＲＡＭ２３に格納された合成データ４３を要求元の表示端末３０に送信し、履歴の合成データの要求がある場合に、記憶部２５に記憶された合成データ群４４のうち指定された合成データ４３を要求元の表示端末３０に送信する。
【００３６】
入力部２２は、カメラ１０と通信接続されて画像信号が入力されるインタフェースである。入力部２２は、例えば、カメラ１０と通信ケーブルを介する有線式の入力部とするが、これに限定されるものではなく、無線式の入力部としてもよい。
【００３７】
ＲＡＭ２３は、揮発性のメモリであり、各種データ及び各種プログラムを格納するワークエリアを有する。特に、ＲＡＭ２３には、後述する画像データ４１及び解析データ４２が格納される。
【００３８】
通信部２４は、通信ネットワークＮに接続され、ＮＩＣ（Network Interface Card）、モデム等により構成される。通信部２４は、通信ネットワークＮ上の表示端末３０等の外部機器と情報を送受信する。
【００３９】
記憶部２５は、不揮発性のメモリであり、フラッシュメモリ、ＨＤＤなどにより構成され、情報を読み書き可能に記憶する。記憶部２５は、後述する合成データ群４４、合成データ送信プログラム及び合成データ提供プログラムを記憶する。
【００４０】
次に、図３及び図４を参照して、画像監視システム１の動作を説明する。図３に、合成データ生成処理及び合成データ提供処理の流れを示す。図４に、合成データ群４４生成の手順を示す。
【００４１】
画像解析装置２０において、合成データ生成処理、合成データ提供処理が実行される。合成データ生成処理は、カメラ１０で撮影された画像データを画像解析しその解析結果としての解析データを含む合成データを生成及び管理する処理である。合成データ提供処理は、画像解析装置２０の外部機器（ここでは、表示端末３０）からの要求に対応し、合成データを提供する処理である。
【００４２】
画像解析装置２０において、例えば、電源オン操作や、図示しない操作部を介して合成データ生成処理実行の操作入力が受け付けられたこと等をトリガとして、記憶部２５から読み出されてＲＡＭ２３に適宜展開された合成データ生成プログラムと、ＣＰＵ２１との協働で合成データ生成処理が実行される。
【００４３】
図３に示すように、先ず、カメラ１０で撮影された１画像の画像信号が入力部２２を介して入力され、その画像信号が画像データ４１に変換されてＲＡＭ２３に格納されて取り込まれる（ステップＳ１１）。そして、ＲＡＭ２３に格納された画像データが画像解析されて解析データ４２が生成され、解析データ４２がＲＡＭ２３に格納される（ステップＳ１２）。ステップＳ１２は、例えば、画像データ４１の画像内の人数や倒れている人の有無等を解析し、その解析結果を解析データ４２として生成する。
【００４４】
そして、ＲＡＭ２３に格納された画像データ４１及び解析データ４２が合成されて合成データ４３が生成されてＲＡＭ２３に格納される（ステップＳ１３）。ステップＳ１３において、図４に示すように、画像データ４１及び解析データ４２が一つの合成データ４３に合成される。合成データ４３は、例えば、ＪＰＥＧ（Joint PhotographicExperts Group）方式の画像データであり、実画像データ部４３Ａとヘッダ部４３Ｂとを含むものとする。
【００４５】
ヘッダ部４３Ｂは、画像データの各種属性データを含み、またＣＯＭセグメント４３Ｂ１を含む。ＣＯＭセグメント４３Ｂ１は、アプリケーションが自由に使用できるよう開放されているデータ領域である。例えば、画像データ４１がＪＰＥＧ方式であり、又はＪＰＥＧ方式に変換され、ＪＰＥＧ方式の画像データのＣＯＭセグメント４３Ｂ１に解析データ４２が格納されて合成データ４３が生成される。また、ステップＳ１３において、任意の画像データ４１及び解析データ４２から成る合成データ４３を後述する合成データ群４４から検索可能なよう、画像番号等の識別情報が合成データ４３に付与されてＲＡＭ２３に格納される。
【００４６】
そして、ＲＡＭ２３に格納された１つの合成データ４３が、少なくとも一つの合成データからなる合成データ群４４に含められて記憶部２５に記憶され（ステップＳ１４）、ステップＳ１１に移行される。また、ステップＳ１４において、合成データ４３が画像番号とともに合成データ群４４に含められる。
【００４７】
また、ステップＳ１１〜Ｓ１４の処理は、所定周期ごとに繰り返し実行される。この周期に応じて、合成データ４３のフレームレートが決まる。例えば、合成データ４３がおよそ５〜１０［fps］で生成されるとすると、連続した合成データ４３の再生により、不連続なモーションの画像再生が可能である。合成データ４３がおよそ３０［fps］で取得されるとすると、連続した合成データ４３の再生により、動画再生が可能である。
【００４８】
次いで、合成データ提供処理を説明する。画像解析装置２０において、例えば、電源オン操作や、図示しない操作部を介して合成データ提供処理実行の操作入力が受け付けられたこと等をトリガとして、記憶部２５から読み出されてＲＡＭ２３に適宜展開された合成データ提供プログラムと、ＣＰＵ２１との協働で合成データ提供処理が実行される。
【００４９】
先ず、通信部２４を介して表示端末３０から、合成データ４３の要求が受信されたか否かが判別される（ステップＳ２１）。合成データ４３の要求が受信されていない場合（ステップＳ２１；ＮＯ）、ステップＳ２１に移行される。合成データ４３の要求が受信された場合（ステップＳ２１；ＹＥＳ）、受信した要求内容が、ライブ（リアルタイム）の合成データの要求であるか、履歴の合成データの要求であるかが判別される（ステップＳ２２）。
【００５０】
受信した要求内容が、ライブの合成データの要求である場合（ステップＳ２２；ライブ）、ＲＡＭ２３に格納された１つの合成データ４３が読み出され、通信部２４によりその合成データが要求元の表示端末３０に送信され（ステップＳ２３）、ステップＳ２１に移行される。ステップＳ２３に対応して、表示端末３０において、ライブの合成データ４３が画像解析装置２０から受信され、合成データ４３の画像データと解析データ４２とが分離されて、ライブの画像データ４１の画像が解析データ４２の画像とともに表示部（図示略）に表示される。
【００５１】
受信した要求内容が、履歴の合成データの要求である場合（ステップＳ２２；履歴）、記憶部２５に記憶された合成データ群４４のうちの指定された画像番号に対応する合成データ４３が読み出され、履歴の合成データとして通信部２４により通信ネットワークＮを介して要求元の表示端末３０に送信され（ステップＳ２４）、ステップＳ２１に移行される。表示端末３０から送信される履歴の合成データの要求には、要求対象の画像番号を指定する指定情報が含まれるものとする。ステップＳ２４に対応して、表示端末３０において、履歴の合成データ４３が画像解析装置２０から受信され、合成データ４３の画像データと解析データ４２とが分離されて、履歴の画像データ４１の画像が解析データ４２の画像とともに表示部（図示略）に表示される。
【００５２】
なお、合成データ４３をＲＡＭ２３に格納して、ライブの合成データとして用いる構成としたが、これに限定されるものではない。例えば、合成データ生成処理のステップＳ１３において合成データ４３をＲＡＭ２３に格納する処理を割愛し、合成データ提供処理のステップＳ２３において合成データ群４４のうち最新の合成データ４３をライブの合成データ４３として表示端末３０に送信する構成としてもよい。
【００５３】
以上、本実施の形態によれば、画像データ４１とその画像データ４１を解析した解析データ４２とを含む合成データ４３を生成し、合成データ４３を合成データ群４４として記憶部２５に記憶する。このため、合成データ生成後のデータの扱いが簡素化され、従来の利用時に発生していた、画像データに紐付く解析データの検索に要する処理負担が軽減できる。また、物理的に管理が分かれた２つの情報間の整合を維持するためには、複雑な仕組みの準備と、処理的負担が発生するが、画像データと解析データとを合成することで、これらの整合を確保するための労力を不要にできる。さらに、画像データに解析データが合成されていることで、表示端末３０のアプリケーションがそのデータ構造を理解していれば、解析データを利用した多様な表現が可能となる。
【００５４】
また、本実施の形態では、合成データ４３をＲＡＭ２３に格納してライブの合成データとして表示端末３０に送信する。このため、ＲＡＭ２３に格納されたライブの合成データ４３を表示端末３０に提供でき、データ取得の手続きを簡単にでき、通信ネットワークＮを介した通信手順を軽減できる。より具体的に述べると、表示端末３０からライブの画像データ４１とその画像データ４１に関する解析データ４２とを、画像解析装置から取得するケースにおいて、従来の方法では、表示端末３０が次の２ステップを要する。
１）表示端末３０がライブの画像データを入手する。
２）表示端末３０が解析データを入手する。
一方、本実施の形態では、次の１ステップで完了する。
１）表示端末３０がライブの合成データ（画像データ及び解析データが含まれる）を入手する。
【００５５】
また、合成データ４３を合成データ群４４に含めて記憶部２５に記憶し、記憶部２５に保存された合成データ群４４から指定された合成データ４３を表示端末３０に送信する。このため、記憶部２５に記憶された合成データ群４４から履歴の合成データ４３を表示端末３０に提供でき、解析データの検索手続きを不要にでき、画像解析装置の負担を軽減できる。具体的に述べると、表示端末３０から過去の履歴の画像データと解析データとを取得するケースにおいて、従来の方法では、画像解析装置が次の２ステップを要する。
１）指定された画像データを提供する。
２）指定された解析データを検索し、提供する。
一方、本実施の形態では、次の１ステップで完了する。
１）指定された合成データ（画像データ及び対応する解析データが含まれる）を提供する。
【００５６】
また、合成データ４３を合成データ群４４に含めて記憶部２５に記憶する。このため、データ管理を簡略化でき、画像解析装置２０の負担を軽減できる。より具体的に述べると、画像解析装置２０上のリソース（記憶部２５：メモリ、ハードディスク等）の記憶領域は有限である。従って連続動作を要求される環境に於いては、あるタイミングで古い情報（画像データやそれに関する解析データ）を削除する必要がある。従来の方法では、画像解析装置が次の２ステップを要する。
１）最古の画像データを、記憶領域より削除する。
２）対応する解析データを検索し、これを記憶領域より削除する。
一方、本実施の形態では、次の１ステップで完了する。
１）最古の合成データ（画像データ及び解析データが含まれる）を、記憶部２５の合成データ群４４より削除する。
【００５７】
また、画像データ４１とその画像データ４１を解析した解析データ４２とを含む合成データ４３を表示端末３０に送信する。このため、利用者側のデータ管理を簡略化できる。より具体的に述べると、表示端末３０のように、画像解析装置から取得した画像データ（画像データ及び解析データから成る合成データ）を利用する側で、これらを保存管理するケースを考える。従来の方法であれば、次の仕組みを必要とした。
１）画像データの管理。
２）対応する解析データの管理。
３）１）と２）の関連を管理し、検索を可能とする仕組み。
一方、本実施の形態では、次の仕組みで管理が実現する。
１）画像データ（画像及び解析データから成る合成データ）の管理。
２）利用時に、画像データと解析データを分離する仕組み。
【００５８】
（変形例）
図５を参照して、上記実施の形態の変形例を説明する。本変形例は、上記実施の形態と画像データの画像解析方法が異なる例である。図５（ａ）に、人物行動解析・侵入解析の一例を示す。図５（ｂ）に、混雑・人流解析の一例を示す。図５（ｃ）に、車番解析・ラベル解析の一例を示す。図５（ｄ）に、人物識別・マーケティングツールの一例を示す。図５（ｅ）に、工場の検査工程の一例を示す。図５（ｆ）に、赤外線カメラを用いた温度解析の一例を示す。図５（ｇ）に、医療関連画像解析の一例を示す。図５（ｈ）に、画像解析基本データの一例を示す。
【００５９】
上記実施の形態では、カメラ１０を駅のプラットホームの撮影用に設置し、画像データ４１の撮影画像内の人物の人数と倒れている人の有無とを解析する構成であったが、これに限定されるものではない。また、撮影場所は、駅のプラットホームに限定されるものではない。
【００６０】
また、例えば、図５（ａ）に示すように、撮影画像内の人物行動や侵入を解析する人物行動解析・侵入解析の構成としてもよい。この場合、解析データとしては、人間の位置、サイズ、姿勢、移動方向、衣服の色、人数等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「人物行動解析・侵入解析」の解析データを用いれば、例えば、連続する画像データ群の中に記録されている検出された人間の座標を用いて、その軌跡を可視化することができる。また、画像データ群のなかで特徴的な姿勢として記録されているもの、例えば転倒、屈み込みを含む画像データ（合成データ）だけ抽出することができる。同様に、移動方向に着目して逆行等の状態を含む画像データ（合成データ）だけ抽出することができる。
【００６１】
また、図５（ｂ）に示すように、撮影画像内の人物の混雑状態や人物の流れを解析する「混雑・人流解析」を行う構成としてもよい。この場合、解析データとしては、人物の算出人数、立ち止まっている人数、人物の移動方向、直近の１時間の平均人数、状況を表現するキーワード（混み始め、大混雑など）等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「混雑・人流解析」の解析データを用いれば、例えば、撮影画像から得られる情報のみならず、直近の１時間の平均人数というような過去の情報を同時に利用することができる。
【００６２】
また、図５（ｃ）に示すように、撮影画像内の自動車等の車両の解析や撮影画像内のラベルを解析する「車番解析・ラベル解析」を行う構成としてもよい。この場合、解析データとしては、読み出した文字列（車番、ラベルの文字等）、車両の車種、カラー等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「車番解析・ラベル解析」の解析データを用いれば、例えば、解析データと証拠写真との整合が即座に可能である。
【００６３】
また、図５（ｄ）に示すように、撮影画像内の人物の識別や人物の傾向等を解析する「人物識別・マーケティングツール」の解析を行う構成としてもよい。この場合、解析データとしては、人物の特徴（めがね有無、年齢、性別等）、個人識別のための特徴量データ等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「人物識別・マーケティングツール」の解析データを用いれば、例えば、解析データを用いて画像データを自動分類することが可能である。
【００６４】
また、図５（ｅ）に示すように、工場の撮影画像内のＦＡ（Factory Automation）品質や検査に関する解析をする「ＦＡ品質検査」の解析を行う構成としてもよい。この場合、解析データとしては、検査結果（ＯＫ／ＮＧ等）、不良点数、不良理由（ごみ等）、不良の座標、サイズ等のうち少なくとも１つを含むものとしてよい。「ＦＡ品質検査」の解析データを用いれば、例えば、解析データの座標、サイズ等を用いて、不良箇所として記録された部分を自動的に拡大表示して見せることが可能である。
【００６５】
また、図５（ｆ）に示すように、撮影画像内の対象物の温度解析をする「赤外線カメラを用いた温度解析」を行う構成としてもよい。この場合、解析データとしては、対象物である人物座標、サイズ、温度等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「赤外線カメラを用いた温度解析」の解析データを用いれば、例えば、温度分布に実測値を重ねて表示することで具体的な値を即座に視認することが可能である。
【００６６】
また、図５（ｇ）に示すように、医療用の撮影画像内の解析をする「医療関連画像解析」を行う構成としてもよい。この場合、解析データとしては、部位（肺、胃、頭部等）、解析結果（問題有無等）、注意箇所（注意箇所の座標、大きさ）等のうち少なくとも１つを含み、さらに個人情報（氏名、年齢等）、時刻等を含むものとしてもよい。「医療関連画像解析」の解析データを用いれば、例えば、解析によって得られたデータ（解析結果等）と、システムの別系統から入力された付加情報（個人情報等）とを合わせて画像データに格納することで、画像データと個人情報との整合性が確保できる。また、例えば、注意箇所を自動的に拡大表示して見せることが可能である。
【００６７】
また、図５（ｈ）に示すように、「人物行動解析・侵入解析」、「混雑・人流解析」等の他の画像解析方法で更にあればいいデータ（基本データ）を解析する「画像解析基本データ」の解析を行う構成としてもよい。この場合、解析データとしては、撮影画像の平均輝度値、ＲＧＢの平均値等の少なくとも一つを含むものとしてよい。「画像解析基本データ」の解析データを用いれば、例えば、前述の様々な画像解析を行う際に算出される、基本データを解析データとして保存することで、これらの解析データを上位層で再利用できる。
【００６８】
なお、上記実施の形態及び変形例における記述は、本発明に係る画像解析装置及び画像解析システムの一例であり、これに限定されるものではない。
【００６９】
その他、上記実施の形態及び変形例における画像解析装置及び画像解析システムの細部構成及び詳細動作に関しても、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明に係る実施の形態の画像監視システムを示す図である。
【図２】画像解析装置の内部構成を示すブロック図である。
【図３】合成データ生成処理及び合成データ送信処理を示すフローチャートである。
【図４】合成データ群生成の手順を示す図である。
【図５】（ａ）は、人物行動解析・侵入解析の一例を示す図である。（ｂ）は、混雑・人流解析の一例を示す図である。（ｃ）は、車番解析・ラベル解析の一例を示す図である。（ｄ）は、人物識別・マーケティングツールの一例を示す図である。（ｅ）は、工場の検査工程の一例を示す図である。（ｆ）は、赤外線カメラを用いた温度解析の一例を示す図である。（ｇ）は、医療関連画像解析の一例を示す図である。（ｈ）は、画像解析基本データの一例を示す図である。
【図６】従来の画像監視システムの構成を示す図である。
【符号の説明】
【００７１】
１，２ 画像監視システム
１０ カメラ
２０，２０Ａ 画像解析装置
２１ ＣＰＵ
２１Ａ 制御部
２２ 入力部
２３ ＲＡＭ
２４ 通信部
２５ 記憶部
２６ バス
３０ 表示端末
Ｎ 通信ネットワーク
【技術分野】
【０００１】
本発明は、画像解析装置及び画像解析システムに関する。
【背景技術】
【０００２】
従来、カメラで撮影された画像データに関する情報を生成する構成が知られている。例えば、画像データを管理するための分類情報や、画像データの画像を診断するための診断情報を生成する構成が考えられている（例えば、特許文献１，２参照）。
【０００３】
また、監視用カメラで撮影された画像データに関する情報を生成する構成も知られている。例えば、監視目的で撮影された画像データを画像解析して侵入物体の有無、撮影画像内の人数等の情報を生成する構成が考えられている（例えば、特許文献３，４参照）。
【０００４】
ここで、図６を参照して、監視目的で撮影された画像データを解析して解析データを生成する従来の画像監視システムを説明する。図６に、従来の画像監視システム２の構成を示す。
【０００５】
図６に示すように、画像監視システム２は、カメラ１０と、画像解析装置２０Ａと、表示端末３０と、を備えて構成され、画像解析装置２０Ａと表示端末３０とが通信ネットワークＮを介して通信接続される。
【０００６】
画像解析装置２０Ａは、制御部２１Ａと、入力部２２と、ＲＡＭ（Random Access Memory）２３と、通信部２４と、記憶部２５と、を備えて構成される。ＲＡＭ２３は、揮発性のメモリである。記憶部２５は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の不揮発性のメモリである。
【０００７】
画像解析装置２０Ａにおいて、カメラ１０で撮影された画像信号が入力部２２を介して（周期的に）取得され、制御部２１Ａにより、その画像信号が画像データ４１に変換されてＲＡＭ２３に格納される。そして、制御部２１Ａにより、ＲＡＭ２３内の画像データ４１を入力データとして目的の画像解析が実行され、その解析結果である解析データ４２が生成されてＲＡＭ２３に格納される。
【０００８】
そして、制御部２１Ａにより、ＲＡＭ２３内の画像データ４１が記憶部２５の画像データ群４４Ａに含められて記憶される。画像データ群４４Ａは、撮影時間が異なる複数の画像データ４１を含む。画像データ群４４Ａは、個々の画像データ４１を識別可能なよう、画像番号等の情報を付与し管理される。
【０００９】
また、制御部２１Ａにより、ＲＡＭ２３内の解析データ４２が記憶部２５のテキストファイルあるいはデータベース等の解析データ群４５に含められて記憶される。解析データ群４５は、複数の画像データ４１にそれぞれ対応する複数の解析データ４２を含む。解析データ群４５の記憶の際、解析に用いた画像データ４１と解析データ４２との紐付けが可能なよう、前記画像番号等の情報を付与し、後に、画像データと関連する解析データとの検索が可能なよう準備される。
【００１０】
また、表示端末３０から通信ネットワークＮを介して送信される、ライブ（リアルタイム）の画像データ、解析データ、あるいは過去の履歴画像データ、履歴解析データ等の情報の要求に応じて、制御部２１Ａにより、ＲＡＭ２３に格納されたライブの画像データ４１、解析データ４２、あるいは記憶部２５に記憶された画像データ群４４Ａ中の画像データ、解析データ群４５中の解析データが表示端末３０に送信されて提供される。そして、表示端末３０において、受信した各データに基づき、ライブの画像、解析結果、履歴画像、履歴解析結果等が表示される。
【特許文献１】特開２００５−３７９９２号公報
【特許文献２】特開２００３−３２５４５８号公報
【特許文献３】特開２００２−３２７５９号公報
【特許文献４】特開２００７−２４３３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、従来の画像監視システム２では、解析の状況をリアルタイムに見る必要があるアプリケーションを実行する場合に、表示端末３０が、画像データ４１と解析データ４２との２つの情報を取得する必要がある。これらの２つの情報を別々に取得する場合、その整合（画像データ４１とその解析データ４２との対応関係が一致）を確保する必要があり、その実装が煩雑であった。これを回避する手段として、画像解析装置２０Ａ上において、予め画像データ４１上に解析データの結果を、目に見える形で編集して要求元の表示端末３０に提供することが考えられる。この場合、画像解析装置２０Ａの編集処理に要する負荷が増大すること、解析データ４２を用いた自由な編集が困難であること、またオリジナルの画像データ４１を表示端末３０側で利用できない問題があった。
【００１２】
同様に、表示端末３０にて、過去の解析結果を表示するアプリケーションを実行する場合に、所望の画像データ４１に該当する解析データ４２を、解析データ群４５からその都度検索する作業が必要であり、この作業が画像解析装置２０Ａにとって負担となっていた。また、データ管理の観点から、古くなった画像データ群４４Ａと解析データ群４５との整合をとって削除することは、処理が煩雑であった。
【００１３】
上記のように、画像データ４１と解析データ４２とを別のものとして管理することは、
１）当該データ検索にかかる負担が発生する。
２）データ整合性確保が難しい。
というおそれがあった。
【００１４】
本発明の課題は、画像データとその解析データとを提供するにあたり、余分な負担を発生させず、データ整合性を確保し、解析データを用いた多様性のあるアプリケーションを外部機器に実現させる画像解析装置及び画像解析システムを提供することである。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、請求項１に記載の発明の画像解析装置は、
記憶手段と、
画像データを画像解析して解析データを生成し、当該解析データを前記画像データに合成して合成データを生成し、当該生成した合成データを前記記憶手段に記憶する制御手段と、を備える。
【００１６】
請求項２に記載の発明は、請求項１に記載の画像解析装置において、
外部機器と通信する通信手段を備え、
前記制御手段は、前記生成された少なくとも一つの合成データを含む合成データ群を前記記憶手段に記憶し、当該記憶手段に記憶された合成データ群のうち指定された合成データを前記通信手段を介して前記外部機器に送信する。
【００１７】
請求項３に記載の発明は、請求項２に記載の画像解析装置において、
前記制御手段は、前記生成された合成データを前記通信手段を介して前記外部機器に送信する。
【００１８】
請求項４に記載の発明の画像解析システムは、
請求項２又は３に記載の画像解析装置と、
前記外部機器と、を備え、
前記制御手段は、前記外部機器から送信される合成データの要求に応じて前記通信手段を介して合成データを要求元の外部機器に送信する。
【発明の効果】
【００１９】
請求項１に記載の発明によれば、画像データとその解析データとを含む合成データを管理でき、余分な負担を低減でき、画像データと解析データとのデータ整合性を確保でき、解析データを用いた多様性のあるアプリケーションを外部機器に実現できる。
【００２０】
請求項２に記載の発明によれば、記憶手段に記憶された合成データ群から合成データを外部機器に提供でき、解析データの検索手続きを不要にでき、画像解析装置の負担を軽減できる。
【００２１】
請求項３に記載の発明によれば、ライブの合成データを外部機器に提供できる。
【００２２】
請求項４に記載の発明によれば、外部機器の要求に応じた合成データを外部機器に提供できる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して、本発明に係る実施の形態について説明する。但し、発明の範囲は図示例に限定されない。
【００２４】
先ず、図１及び図２を参照して、本実施の形態の装置構成を説明する。図１に、本実施の形態の画像解析システムとしての画像監視システム１を示す。
【００２５】
本実施の形態の画像監視システム１は、被写体を撮影して画像解析を行い、その被写体の画像と解析結果とを表示するシステムである。画像監視システム１は、例えば、駅のプラットホームを撮影し、その撮影画像内の人数や倒れている人の有無等を解析し、その解析結果を画像とともに表示してユーザに監視させるシステムとする。
【００２６】
図１に示すように、画像監視システム１は、カメラ１０と、画像解析装置２０と、外部機器としての表示端末３０とを備えて構成され、画像解析装置２０と表示端末３０とが通信ネットワークＮを介して通信接続されている。
【００２７】
カメラ１０は、画像解析装置２０に接続され、被写体を撮影してその被写体の画像信号を生成して出力するカメラである。カメラ１０は、画像を周期的に撮影して画像信号を出力する。
【００２８】
画像解析装置２０は、カメラ１０から入力された画像信号を画像データに変換し画像解析して解析データを生成し、画像データと解析データとを合成する。また、画像解析装置２０は、合成データを合成データ群として記憶し、ライブ又は過去の履歴の合成データを出力する。
【００２９】
表示端末３０は、表示部、通信部及び制御部（図示略）を備える。表示端末３０の制御部は、通信部を介してライブ又は過去の履歴の合成データを画像解析装置２０に要求し、受信した合成データの画像データの画像を解析データの画像とともに表示部に表示する。
【００３０】
通信ネットワークＮは、例えばＬＡＮ（Local Area Network）とするが、これに限定されるものではなく、ＷＡＮ（Wide Area Network）等としてもよい。
【００３１】
次いで、図２を参照して、画像解析装置２０の内部構成を説明する。図２に、画像解析装置２０の内部構成を示す。
【００３２】
図２に示すように、画像解析装置２０は、制御手段としてのＣＰＵ（Central Processing Unit）２１と、入力部２２と、ＲＡＭ２３と、通信手段としての通信部２４と、記憶手段としての記憶部２５と、を備えて構成され、各部がバス２６を介して接続されている。
【００３３】
ＣＰＵ２１は、画像解析装置２０の各部を中央制御する。ＣＰＵ２１は、記憶部２５に記憶されたシステムプログラム及びアプリケーションプログラムの中から指定されたプログラムを読み出し、そのプログラムをＲＡＭ２３に展開し、展開されたプログラムとの協働で各種処理を実行する。
【００３４】
ＣＰＵ２１は、記憶部２５に記憶された合成データ生成プログラムとの協働で、後述する図４に示すように、カメラ１０で撮影された画像データ４１の画像を解析して解析データ４２を生成し、画像データ４１及び解析データ４２を合成して合成データ４３を生成してＲＡＭ２３に格納し、合成データ４３を合成データ群４４に含めて記憶部２５に記憶する。
【００３５】
また、ＣＰＵ２１は、記憶部２５に記憶された合成データ提供プログラムとの協働で、表示端末３０から合成データの要求があると、ライブの合成データの要求がある場合に、ＲＡＭ２３に格納された合成データ４３を要求元の表示端末３０に送信し、履歴の合成データの要求がある場合に、記憶部２５に記憶された合成データ群４４のうち指定された合成データ４３を要求元の表示端末３０に送信する。
【００３６】
入力部２２は、カメラ１０と通信接続されて画像信号が入力されるインタフェースである。入力部２２は、例えば、カメラ１０と通信ケーブルを介する有線式の入力部とするが、これに限定されるものではなく、無線式の入力部としてもよい。
【００３７】
ＲＡＭ２３は、揮発性のメモリであり、各種データ及び各種プログラムを格納するワークエリアを有する。特に、ＲＡＭ２３には、後述する画像データ４１及び解析データ４２が格納される。
【００３８】
通信部２４は、通信ネットワークＮに接続され、ＮＩＣ（Network Interface Card）、モデム等により構成される。通信部２４は、通信ネットワークＮ上の表示端末３０等の外部機器と情報を送受信する。
【００３９】
記憶部２５は、不揮発性のメモリであり、フラッシュメモリ、ＨＤＤなどにより構成され、情報を読み書き可能に記憶する。記憶部２５は、後述する合成データ群４４、合成データ送信プログラム及び合成データ提供プログラムを記憶する。
【００４０】
次に、図３及び図４を参照して、画像監視システム１の動作を説明する。図３に、合成データ生成処理及び合成データ提供処理の流れを示す。図４に、合成データ群４４生成の手順を示す。
【００４１】
画像解析装置２０において、合成データ生成処理、合成データ提供処理が実行される。合成データ生成処理は、カメラ１０で撮影された画像データを画像解析しその解析結果としての解析データを含む合成データを生成及び管理する処理である。合成データ提供処理は、画像解析装置２０の外部機器（ここでは、表示端末３０）からの要求に対応し、合成データを提供する処理である。
【００４２】
画像解析装置２０において、例えば、電源オン操作や、図示しない操作部を介して合成データ生成処理実行の操作入力が受け付けられたこと等をトリガとして、記憶部２５から読み出されてＲＡＭ２３に適宜展開された合成データ生成プログラムと、ＣＰＵ２１との協働で合成データ生成処理が実行される。
【００４３】
図３に示すように、先ず、カメラ１０で撮影された１画像の画像信号が入力部２２を介して入力され、その画像信号が画像データ４１に変換されてＲＡＭ２３に格納されて取り込まれる（ステップＳ１１）。そして、ＲＡＭ２３に格納された画像データが画像解析されて解析データ４２が生成され、解析データ４２がＲＡＭ２３に格納される（ステップＳ１２）。ステップＳ１２は、例えば、画像データ４１の画像内の人数や倒れている人の有無等を解析し、その解析結果を解析データ４２として生成する。
【００４４】
そして、ＲＡＭ２３に格納された画像データ４１及び解析データ４２が合成されて合成データ４３が生成されてＲＡＭ２３に格納される（ステップＳ１３）。ステップＳ１３において、図４に示すように、画像データ４１及び解析データ４２が一つの合成データ４３に合成される。合成データ４３は、例えば、ＪＰＥＧ（Joint PhotographicExperts Group）方式の画像データであり、実画像データ部４３Ａとヘッダ部４３Ｂとを含むものとする。
【００４５】
ヘッダ部４３Ｂは、画像データの各種属性データを含み、またＣＯＭセグメント４３Ｂ１を含む。ＣＯＭセグメント４３Ｂ１は、アプリケーションが自由に使用できるよう開放されているデータ領域である。例えば、画像データ４１がＪＰＥＧ方式であり、又はＪＰＥＧ方式に変換され、ＪＰＥＧ方式の画像データのＣＯＭセグメント４３Ｂ１に解析データ４２が格納されて合成データ４３が生成される。また、ステップＳ１３において、任意の画像データ４１及び解析データ４２から成る合成データ４３を後述する合成データ群４４から検索可能なよう、画像番号等の識別情報が合成データ４３に付与されてＲＡＭ２３に格納される。
【００４６】
そして、ＲＡＭ２３に格納された１つの合成データ４３が、少なくとも一つの合成データからなる合成データ群４４に含められて記憶部２５に記憶され（ステップＳ１４）、ステップＳ１１に移行される。また、ステップＳ１４において、合成データ４３が画像番号とともに合成データ群４４に含められる。
【００４７】
また、ステップＳ１１〜Ｓ１４の処理は、所定周期ごとに繰り返し実行される。この周期に応じて、合成データ４３のフレームレートが決まる。例えば、合成データ４３がおよそ５〜１０［fps］で生成されるとすると、連続した合成データ４３の再生により、不連続なモーションの画像再生が可能である。合成データ４３がおよそ３０［fps］で取得されるとすると、連続した合成データ４３の再生により、動画再生が可能である。
【００４８】
次いで、合成データ提供処理を説明する。画像解析装置２０において、例えば、電源オン操作や、図示しない操作部を介して合成データ提供処理実行の操作入力が受け付けられたこと等をトリガとして、記憶部２５から読み出されてＲＡＭ２３に適宜展開された合成データ提供プログラムと、ＣＰＵ２１との協働で合成データ提供処理が実行される。
【００４９】
先ず、通信部２４を介して表示端末３０から、合成データ４３の要求が受信されたか否かが判別される（ステップＳ２１）。合成データ４３の要求が受信されていない場合（ステップＳ２１；ＮＯ）、ステップＳ２１に移行される。合成データ４３の要求が受信された場合（ステップＳ２１；ＹＥＳ）、受信した要求内容が、ライブ（リアルタイム）の合成データの要求であるか、履歴の合成データの要求であるかが判別される（ステップＳ２２）。
【００５０】
受信した要求内容が、ライブの合成データの要求である場合（ステップＳ２２；ライブ）、ＲＡＭ２３に格納された１つの合成データ４３が読み出され、通信部２４によりその合成データが要求元の表示端末３０に送信され（ステップＳ２３）、ステップＳ２１に移行される。ステップＳ２３に対応して、表示端末３０において、ライブの合成データ４３が画像解析装置２０から受信され、合成データ４３の画像データと解析データ４２とが分離されて、ライブの画像データ４１の画像が解析データ４２の画像とともに表示部（図示略）に表示される。
【００５１】
受信した要求内容が、履歴の合成データの要求である場合（ステップＳ２２；履歴）、記憶部２５に記憶された合成データ群４４のうちの指定された画像番号に対応する合成データ４３が読み出され、履歴の合成データとして通信部２４により通信ネットワークＮを介して要求元の表示端末３０に送信され（ステップＳ２４）、ステップＳ２１に移行される。表示端末３０から送信される履歴の合成データの要求には、要求対象の画像番号を指定する指定情報が含まれるものとする。ステップＳ２４に対応して、表示端末３０において、履歴の合成データ４３が画像解析装置２０から受信され、合成データ４３の画像データと解析データ４２とが分離されて、履歴の画像データ４１の画像が解析データ４２の画像とともに表示部（図示略）に表示される。
【００５２】
なお、合成データ４３をＲＡＭ２３に格納して、ライブの合成データとして用いる構成としたが、これに限定されるものではない。例えば、合成データ生成処理のステップＳ１３において合成データ４３をＲＡＭ２３に格納する処理を割愛し、合成データ提供処理のステップＳ２３において合成データ群４４のうち最新の合成データ４３をライブの合成データ４３として表示端末３０に送信する構成としてもよい。
【００５３】
以上、本実施の形態によれば、画像データ４１とその画像データ４１を解析した解析データ４２とを含む合成データ４３を生成し、合成データ４３を合成データ群４４として記憶部２５に記憶する。このため、合成データ生成後のデータの扱いが簡素化され、従来の利用時に発生していた、画像データに紐付く解析データの検索に要する処理負担が軽減できる。また、物理的に管理が分かれた２つの情報間の整合を維持するためには、複雑な仕組みの準備と、処理的負担が発生するが、画像データと解析データとを合成することで、これらの整合を確保するための労力を不要にできる。さらに、画像データに解析データが合成されていることで、表示端末３０のアプリケーションがそのデータ構造を理解していれば、解析データを利用した多様な表現が可能となる。
【００５４】
また、本実施の形態では、合成データ４３をＲＡＭ２３に格納してライブの合成データとして表示端末３０に送信する。このため、ＲＡＭ２３に格納されたライブの合成データ４３を表示端末３０に提供でき、データ取得の手続きを簡単にでき、通信ネットワークＮを介した通信手順を軽減できる。より具体的に述べると、表示端末３０からライブの画像データ４１とその画像データ４１に関する解析データ４２とを、画像解析装置から取得するケースにおいて、従来の方法では、表示端末３０が次の２ステップを要する。
１）表示端末３０がライブの画像データを入手する。
２）表示端末３０が解析データを入手する。
一方、本実施の形態では、次の１ステップで完了する。
１）表示端末３０がライブの合成データ（画像データ及び解析データが含まれる）を入手する。
【００５５】
また、合成データ４３を合成データ群４４に含めて記憶部２５に記憶し、記憶部２５に保存された合成データ群４４から指定された合成データ４３を表示端末３０に送信する。このため、記憶部２５に記憶された合成データ群４４から履歴の合成データ４３を表示端末３０に提供でき、解析データの検索手続きを不要にでき、画像解析装置の負担を軽減できる。具体的に述べると、表示端末３０から過去の履歴の画像データと解析データとを取得するケースにおいて、従来の方法では、画像解析装置が次の２ステップを要する。
１）指定された画像データを提供する。
２）指定された解析データを検索し、提供する。
一方、本実施の形態では、次の１ステップで完了する。
１）指定された合成データ（画像データ及び対応する解析データが含まれる）を提供する。
【００５６】
また、合成データ４３を合成データ群４４に含めて記憶部２５に記憶する。このため、データ管理を簡略化でき、画像解析装置２０の負担を軽減できる。より具体的に述べると、画像解析装置２０上のリソース（記憶部２５：メモリ、ハードディスク等）の記憶領域は有限である。従って連続動作を要求される環境に於いては、あるタイミングで古い情報（画像データやそれに関する解析データ）を削除する必要がある。従来の方法では、画像解析装置が次の２ステップを要する。
１）最古の画像データを、記憶領域より削除する。
２）対応する解析データを検索し、これを記憶領域より削除する。
一方、本実施の形態では、次の１ステップで完了する。
１）最古の合成データ（画像データ及び解析データが含まれる）を、記憶部２５の合成データ群４４より削除する。
【００５７】
また、画像データ４１とその画像データ４１を解析した解析データ４２とを含む合成データ４３を表示端末３０に送信する。このため、利用者側のデータ管理を簡略化できる。より具体的に述べると、表示端末３０のように、画像解析装置から取得した画像データ（画像データ及び解析データから成る合成データ）を利用する側で、これらを保存管理するケースを考える。従来の方法であれば、次の仕組みを必要とした。
１）画像データの管理。
２）対応する解析データの管理。
３）１）と２）の関連を管理し、検索を可能とする仕組み。
一方、本実施の形態では、次の仕組みで管理が実現する。
１）画像データ（画像及び解析データから成る合成データ）の管理。
２）利用時に、画像データと解析データを分離する仕組み。
【００５８】
（変形例）
図５を参照して、上記実施の形態の変形例を説明する。本変形例は、上記実施の形態と画像データの画像解析方法が異なる例である。図５（ａ）に、人物行動解析・侵入解析の一例を示す。図５（ｂ）に、混雑・人流解析の一例を示す。図５（ｃ）に、車番解析・ラベル解析の一例を示す。図５（ｄ）に、人物識別・マーケティングツールの一例を示す。図５（ｅ）に、工場の検査工程の一例を示す。図５（ｆ）に、赤外線カメラを用いた温度解析の一例を示す。図５（ｇ）に、医療関連画像解析の一例を示す。図５（ｈ）に、画像解析基本データの一例を示す。
【００５９】
上記実施の形態では、カメラ１０を駅のプラットホームの撮影用に設置し、画像データ４１の撮影画像内の人物の人数と倒れている人の有無とを解析する構成であったが、これに限定されるものではない。また、撮影場所は、駅のプラットホームに限定されるものではない。
【００６０】
また、例えば、図５（ａ）に示すように、撮影画像内の人物行動や侵入を解析する人物行動解析・侵入解析の構成としてもよい。この場合、解析データとしては、人間の位置、サイズ、姿勢、移動方向、衣服の色、人数等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「人物行動解析・侵入解析」の解析データを用いれば、例えば、連続する画像データ群の中に記録されている検出された人間の座標を用いて、その軌跡を可視化することができる。また、画像データ群のなかで特徴的な姿勢として記録されているもの、例えば転倒、屈み込みを含む画像データ（合成データ）だけ抽出することができる。同様に、移動方向に着目して逆行等の状態を含む画像データ（合成データ）だけ抽出することができる。
【００６１】
また、図５（ｂ）に示すように、撮影画像内の人物の混雑状態や人物の流れを解析する「混雑・人流解析」を行う構成としてもよい。この場合、解析データとしては、人物の算出人数、立ち止まっている人数、人物の移動方向、直近の１時間の平均人数、状況を表現するキーワード（混み始め、大混雑など）等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「混雑・人流解析」の解析データを用いれば、例えば、撮影画像から得られる情報のみならず、直近の１時間の平均人数というような過去の情報を同時に利用することができる。
【００６２】
また、図５（ｃ）に示すように、撮影画像内の自動車等の車両の解析や撮影画像内のラベルを解析する「車番解析・ラベル解析」を行う構成としてもよい。この場合、解析データとしては、読み出した文字列（車番、ラベルの文字等）、車両の車種、カラー等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「車番解析・ラベル解析」の解析データを用いれば、例えば、解析データと証拠写真との整合が即座に可能である。
【００６３】
また、図５（ｄ）に示すように、撮影画像内の人物の識別や人物の傾向等を解析する「人物識別・マーケティングツール」の解析を行う構成としてもよい。この場合、解析データとしては、人物の特徴（めがね有無、年齢、性別等）、個人識別のための特徴量データ等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「人物識別・マーケティングツール」の解析データを用いれば、例えば、解析データを用いて画像データを自動分類することが可能である。
【００６４】
また、図５（ｅ）に示すように、工場の撮影画像内のＦＡ（Factory Automation）品質や検査に関する解析をする「ＦＡ品質検査」の解析を行う構成としてもよい。この場合、解析データとしては、検査結果（ＯＫ／ＮＧ等）、不良点数、不良理由（ごみ等）、不良の座標、サイズ等のうち少なくとも１つを含むものとしてよい。「ＦＡ品質検査」の解析データを用いれば、例えば、解析データの座標、サイズ等を用いて、不良箇所として記録された部分を自動的に拡大表示して見せることが可能である。
【００６５】
また、図５（ｆ）に示すように、撮影画像内の対象物の温度解析をする「赤外線カメラを用いた温度解析」を行う構成としてもよい。この場合、解析データとしては、対象物である人物座標、サイズ、温度等のうち少なくとも１つを含み、さらに時刻等を含むものとしてもよい。「赤外線カメラを用いた温度解析」の解析データを用いれば、例えば、温度分布に実測値を重ねて表示することで具体的な値を即座に視認することが可能である。
【００６６】
また、図５（ｇ）に示すように、医療用の撮影画像内の解析をする「医療関連画像解析」を行う構成としてもよい。この場合、解析データとしては、部位（肺、胃、頭部等）、解析結果（問題有無等）、注意箇所（注意箇所の座標、大きさ）等のうち少なくとも１つを含み、さらに個人情報（氏名、年齢等）、時刻等を含むものとしてもよい。「医療関連画像解析」の解析データを用いれば、例えば、解析によって得られたデータ（解析結果等）と、システムの別系統から入力された付加情報（個人情報等）とを合わせて画像データに格納することで、画像データと個人情報との整合性が確保できる。また、例えば、注意箇所を自動的に拡大表示して見せることが可能である。
【００６７】
また、図５（ｈ）に示すように、「人物行動解析・侵入解析」、「混雑・人流解析」等の他の画像解析方法で更にあればいいデータ（基本データ）を解析する「画像解析基本データ」の解析を行う構成としてもよい。この場合、解析データとしては、撮影画像の平均輝度値、ＲＧＢの平均値等の少なくとも一つを含むものとしてよい。「画像解析基本データ」の解析データを用いれば、例えば、前述の様々な画像解析を行う際に算出される、基本データを解析データとして保存することで、これらの解析データを上位層で再利用できる。
【００６８】
なお、上記実施の形態及び変形例における記述は、本発明に係る画像解析装置及び画像解析システムの一例であり、これに限定されるものではない。
【００６９】
その他、上記実施の形態及び変形例における画像解析装置及び画像解析システムの細部構成及び詳細動作に関しても、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明に係る実施の形態の画像監視システムを示す図である。
【図２】画像解析装置の内部構成を示すブロック図である。
【図３】合成データ生成処理及び合成データ送信処理を示すフローチャートである。
【図４】合成データ群生成の手順を示す図である。
【図５】（ａ）は、人物行動解析・侵入解析の一例を示す図である。（ｂ）は、混雑・人流解析の一例を示す図である。（ｃ）は、車番解析・ラベル解析の一例を示す図である。（ｄ）は、人物識別・マーケティングツールの一例を示す図である。（ｅ）は、工場の検査工程の一例を示す図である。（ｆ）は、赤外線カメラを用いた温度解析の一例を示す図である。（ｇ）は、医療関連画像解析の一例を示す図である。（ｈ）は、画像解析基本データの一例を示す図である。
【図６】従来の画像監視システムの構成を示す図である。
【符号の説明】
【００７１】
１，２ 画像監視システム
１０ カメラ
２０，２０Ａ 画像解析装置
２１ ＣＰＵ
２１Ａ 制御部
２２ 入力部
２３ ＲＡＭ
２４ 通信部
２５ 記憶部
２６ バス
３０ 表示端末
Ｎ 通信ネットワーク
【特許請求の範囲】
【請求項１】
記憶手段と、
画像データを画像解析して解析データを生成し、当該解析データを前記画像データに合成して合成データを生成し、当該生成した合成データを前記記憶手段に記憶する制御手段と、を備える画像解析装置。
【請求項２】
外部機器と通信する通信手段を備え、
前記制御手段は、前記生成された少なくとも一つの合成データを含む合成データ群を前記記憶手段に記憶し、当該記憶手段に記憶された合成データ群のうち指定された合成データを前記通信手段を介して前記外部機器に送信する請求項１に記載の画像解析装置。
【請求項３】
前記制御手段は、前記生成された合成データを前記通信手段を介して前記外部機器に送信する請求項２に記載の画像解析装置。
【請求項４】
請求項２又は３に記載の画像解析装置と、
前記外部機器と、を備え、
前記制御手段は、前記外部機器から送信される合成データの要求に応じて前記通信手段を介して合成データを要求元の外部機器に送信する画像解析システム。
【請求項１】
記憶手段と、
画像データを画像解析して解析データを生成し、当該解析データを前記画像データに合成して合成データを生成し、当該生成した合成データを前記記憶手段に記憶する制御手段と、を備える画像解析装置。
【請求項２】
外部機器と通信する通信手段を備え、
前記制御手段は、前記生成された少なくとも一つの合成データを含む合成データ群を前記記憶手段に記憶し、当該記憶手段に記憶された合成データ群のうち指定された合成データを前記通信手段を介して前記外部機器に送信する請求項１に記載の画像解析装置。
【請求項３】
前記制御手段は、前記生成された合成データを前記通信手段を介して前記外部機器に送信する請求項２に記載の画像解析装置。
【請求項４】
請求項２又は３に記載の画像解析装置と、
前記外部機器と、を備え、
前記制御手段は、前記外部機器から送信される合成データの要求に応じて前記通信手段を介して合成データを要求元の外部機器に送信する画像解析システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−１２９００６（Ｐ２００９−１２９００６Ａ）
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願番号】特願２００７−３００６２８（Ｐ２００７−３００６２８）
【出願日】平成１９年１１月２０日（２００７．１１．２０）
【出願人】（０００００６５０７）横河電機株式会社 (4,443)
【Ｆターム（参考）】
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願日】平成１９年１１月２０日（２００７．１１．２０）
【出願人】（０００００６５０７）横河電機株式会社 (4,443)
【Ｆターム（参考）】
[ Back to top ]