画像処理システム、画像処理プログラム及び画像処理方法
【課題】人影等の遮蔽物を希釈化することにより、陳列棚の様子を簡易迅速に観察可能で、個人情報の保護にも資する画像処理技術の実現。
【解決手段】所定の時間間隔で撮影された商品陳列棚18の元画像を複数格納しておく元画像記憶部21から、１の元画像ｎを処理対象として抽出する処理と、この元画像ｎと時間的に連続する過去の元画像ｎ−１，ｎ−２を元画像記憶部21から抽出する処理と、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像ｎを処理結果記憶部23に格納する処理を、元画像記憶部20に格納された各元画像に対し順次実行することを特徴とする画像処理システム10。
【解決手段】所定の時間間隔で撮影された商品陳列棚18の元画像を複数格納しておく元画像記憶部21から、１の元画像ｎを処理対象として抽出する処理と、この元画像ｎと時間的に連続する過去の元画像ｎ−１，ｎ−２を元画像記憶部21から抽出する処理と、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像ｎを処理結果記憶部23に格納する処理を、元画像記憶部20に格納された各元画像に対し順次実行することを特徴とする画像処理システム10。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理技術に係り、特に、デジタルカメラによって監視対象物を所定の時間間隔で撮影した多数の画像に対して、監視対象を覆い隠す人影等の遮蔽物を希釈化あるいは除去する修正処理を施す技術に関する。
【背景技術】
【０００２】
コンビニエンスストア（以下「コンビニ」）やスーパーマーケット等の売り場においては、商品陳列棚のフェイスアップ作業が売り上げを向上させるために極めて重要である。
ここでフェイスアップ作業とは、陳列棚の商品を密集させてボリューム感を演出し、見栄えを良くすることを意味する。すなわち、商品が陳列棚に疎らに配置されていると如何にも売れ残りのような印象を顧客に与えるため、商品が売れて穴の空いた部分に対して同種商品を補充したり、後方の商品を前に引き出して陳列棚の外観を回復する作業が必要となる。また、同種商品の補充が間に合わない場合には、残った商品を陳列棚の中心部分に固め、商品の虫食い状態を改善することもフェイスアップ作業に含まれる。
コンビニ等のスタッフが常に商品陳列棚のフェイスアップに気を配り、こまめに手を加えることによって売り場における美観が向上し、顧客の購買意欲を刺激することが一般に知られている（非特許文献１の「フェイスアップ」の項参照）。
【０００３】
このため、コンビニチェーンの加盟店に対する本部スタッフや外部コンサルタントによる指導においても、このフェイスアップの善し悪しが重要なチェック項目として挙げられている。
例えば、店舗内に設置したデジタルカメラからネットワーク経由で定期的に送信される売り場の画像をリアルタイムに監視し、フェイスアップ作業が滞っている場合には現場スタッフに警告を発することが行われている。
あるいは、リアルタイムに監視する代わりに、ある程度蓄積された画像を後でまとめてチェックし、問題点を発見した場合には事後的に改善を勧告することも行われている。
上記画像を観察することにより、フェイスアップ作業の適否判定の他に、売れ筋商品の分析にも利用できる。
【０００４】
【非特許文献１】前陳棒／ゼンチンボー（登録商標）［平成１６年１１月５日検索］ インターネットURL:http://home.att.ne.jp/sun/pikul/zenchin01.htm
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、デジタルカメラから送信される画像の多くには買い物客や店舗スタッフ等の遮蔽物が写り込んでおり、商品陳列棚の状況を正確に観察できないため、監視する側は送信された画像を逐一チェックし、遮蔽物が移動する合間を縫ってフェイスアップの推移を把握する必要があった。
このため、リアルタイムであれ事後的であれ、多数の加盟店舗に配置されたデジタルカメラからの画像をチェックするのに膨大なマンパワーが必要となり、全加盟店舗のフェイスアップ具合を常時監視することは事実上不可能であった。
また、このように不特定多数の人影が写り込んだ生の画像を監視すること自体、個人情報保護の観点から問題視される可能性もある。
【０００６】
この発明は、従来の監視方法が抱えている上記の問題点を解決するためになされたものであり、撮影された画像列に写り込んだ人影等の遮蔽物の影響を低減あるいは除去することにより、陳列棚の様子を容易に観察可能とし、個人情報保護の要請にも合致する技術を実現することを目的としている。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、請求項１に記載した画像処理システムは、所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理と、この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理と、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行する画像処理システムであって、第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴としている。
【０００８】
請求項２に記載した画像処理システムは、請求項１のシステムを前提とし、さらに、新たな濃度平均化画像を第２の記憶手段に格納した後に、次の濃度平均化処理に不要となった元画像を第１の記憶手段から消去する処理を実行することを特徴としている。
【０００９】
請求項３に記載した画像処理システムは、請求項１または２のシステムを前提とし、さらに、第１の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像を抽出する処理と、この元画像と処理対象の元画像との間の差分画像を生成する処理と、当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴としている。
【００１０】
請求項４に記載した画像処理システムは、請求項１または２のシステムを前提とし、さらに、第２の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像に係る濃度平均化画像を抽出する処理と、この濃度平均化画像と処理対象の元画像との間の差分画像を生成する処理と、当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴としている。
【００１１】
請求項５に記載した画像処理システムは、請求項１〜３のシステムを前提とし、さらに、第１の記憶手段から１の元画像を処理対象として抽出する処理と、第２の記憶手段から当該元画像の１つ前の元画像に係る濃度平均化画像を抽出する処理と、両画像間の対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在しない場合には、当該元画像を遮蔽物不在画像として第３の記憶手段に格納する処理と、両画素の値に予め設定された誤差幅以上の差異が存在する場合には、元画像側の画素を変更部として認定する処理と、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する処理と、上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する処理と、残された変更領域に係る画素群を元画像から切除し、上記濃度平均化画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた画像を生成する処理と、この遮蔽物除去画像を第３の記憶手段に格納する処理を実行する画像処理システムであって、第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴としている。
【００１２】
請求項６に記載した画像処理システムは、請求項５のシステムを前提とし、さらに、第３の記憶手段内の遮蔽物不在画像または遮蔽物除去画像を抽出するための時間間隔を、第４の記憶手段に登録する処理と、第３の記憶手段から上記時間間隔に該当する画像を抽出する処理と、抽出した各画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理と、この画像帳票を第５の記憶手段に格納する処理を実行することを特徴としている。
【００１３】
請求項７に記載した画像処理プログラムは、コンピュータに、所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理、この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行させるものであり、さらに上記コンピュータに、第１の記憶手段に格納された各元画像に対して上記の各処理を順次繰り返させることを特徴としている。
【００１４】
請求項８に記載した画像処理方法は、所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出するステップと、この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出するステップと、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納するステップを備え、第１の記憶手段に格納された各元画像に対して上記の各ステップを順次繰り返すことを特徴としている。
【発明の効果】
【００１５】
請求項１に記載の画像処理システム、請求項７に記載の画像処理プログラム及び請求項８に記載の画像処理方法によれば、処理対象となる元画像及びこれと時間的に連続する過去の必要枚数の元画像に基づき、対応画素間の濃度値を平均化させた画素群を備えた画像が生成され、第２の記憶手段にこの濃度平均化画像が順次格納されることとなる。
このため、処理対象の元画像に例え人影等の遮蔽物が写り込んでいたとしても、他の元画像との濃度平均化処理によって遮蔽物が希釈化され、その背後に存在している監視対象物を透視することが可能となる。
したがって、この画像処理技術を店舗内の商品陳列棚の監視に応用することにより、監視者は遮蔽物に邪魔されることなくフェイスアップの状態を素早く確認することが可能となる。
また、人影の希釈化によりその表情を把握することができなくなるため、個人情報の保護の観点からも好ましい結果が得られる。
【００１６】
請求項２に記載の画像処理システムによれば、濃度平均化処理の進展に伴い人影が写り込んだ元画像が第１の記憶手段から順次消去されるため、個人情報保護に万全を期すことが可能となる。
【００１７】
請求項３に記載の画像処理システムによれば、元画像間の差分領域の面積が大きい場合には処理対象の元画像に人影等の遮蔽物が写り込んでいるものとみなし、その分多くの元画像との間で濃度平均化処理を実行することによって人影等を十分希釈化することが可能となる。
また、元画像間の差分領域の面積が小さい場合には処理対象の元画像に人影等の遮蔽物が写り込んでいないものとみなし、必要枚数を処理対象の元画像を含めて「１」、すなわち実質的に他の元画像間で濃度平均化処理が実行されることを回避し、当該元画像をそのまま第２の記憶手段に格納することもできる。
濃度平均化処理の基礎とする元画像の枚数は、差分領域の面積に比例させることもできるが、一定の閾値を超えた時点で所定枚数を適用し、閾値内では１とすることもできる。
【００１８】
請求項４に記載の画像処理システムによれば、処理対象の元画像が人影の写り込みによって１つ前の濃度平均化画像に比べて大きく変化している場合には、その分多くの元画像との間で濃度平均化処理を実行することにより、人影を十分希釈化することが可能となる。
反対に、１つ前の元画像に写っていた人影が処理対象の元画像から消えていた場合でも、比較対象である濃度平均化画像では当該人影が希釈化されているため両者間で大きな変化が生じることがない。このような場合には、平均化の基礎とする元画像の必要枚数を１、すなわち処理対象の元画像のみとなるように設定しておくことで、人影が写り込んだ１つ前の元画像との間で徒に平均化処理が実行されることを防止可能となる。
【００１９】
請求項５に記載の画像処理システムによれば、一定の時間間隔をおいて商品陳列棚を撮影した元画像が、それぞれ遮蔽物の希釈化がなされた１つ前の濃度平均化画像と画素単位で比較され、元画像側に変更ありと認定された場合には当該変更領域が濃度平均化画像における対応領域の画素群に置き換えられるため、元画像に写り込んだ人影等の遮蔽物が有効に除去され、商品陳列棚の様子を明確に表現する画像列が得られる。
しかも、１つ前の濃度平均化画像に対する変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、この面積設定を適切に行うことにより、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に再現可能となる。
この結果、監視者は時系列に沿って配置された各遮蔽物除去画像を概観することにより、特定店舗におけるフェイスアップの状況を短時間に把握することが可能となる。
【００２０】
請求項６に記載の画像処理システムによれば、商品陳列棚を覆い隠す遮蔽物が除去された多数の画像の中から予め設定した時間間隔に合致するものをサンプル的に抽出した画像帳票が得られるため、これをチェックすることによってフェイスアップの状況をより簡便に把握することが可能となる。
【発明を実施するための最良の形態】
【００２１】
図１は、この発明に係る第１の画像処理システム10の全体構成を示すブロック図であり、店舗の天井付近に設置されたネットワークカメラ12と、インターネット14やLAN等の通信網を介してネットワークカメラ12と接続されたPC等のコンピュータよりなる画像処理装置16とを備えている。
【００２２】
ネットワークカメラ12は、CCDやCMOS等の撮像素子と、ネットワーク接続用のインターフェイスを備えており、商品陳列棚18を斜め上方から一定の時間間隔で撮影した静止画像を、画像処理装置16に転送する機能を備えている。
【００２３】
画像処理装置16は、元画像登録部20と、元画像記憶部21と、画像処理部22と、処理結果記憶部23を備えている。
これらの中、元画像登録部20及び画像処理部22は、画像処理装置16のCPUがOS及び専用のアプリケーションプログラム等に従い、必要な処理を実行することによって実現される。
また、上記のアプリケーションプログラムにより、画像処理装置16のメモリやハードディスク上に元画像記憶部21及び処理結果記憶部23が設定される。
【００２４】
以下、図２のフローチャートに従い、この第１の画像処理システム10における処理手順についてついて説明する。
まず、ネットワークカメラ12は所定のタイミング、例えば１分毎に１枚の割合で監視対象物である商品陳列棚18を撮影し、この画像ファイルを画像処理装置16に送信する（Ｓ10）。
これを受信した元画像登録部20は、各画像ファイルを日時情報に関連付けて元画像記憶部21に順次格納する（Ｓ11）。
【００２５】
これに対し画像処理部22は、元画像記憶部21に格納された各画像ファイル（以下「元画像」）に対し濃度平均化処理を施した画像を生成し、これを処理結果記憶部23に格納する。以下、この濃度平均化処理について詳述する。
まず画像処理部22は、図３に示すように、処理対象である元画像ｎと、これと時間的に連続した過去２枚の元画像ｎ−１及びｎ−２を元画像記憶部21より抽出する（Ｓ12）。
つぎに画像処理部22は、計３枚の元画像に含まれる対応画素間で濃度の平均値を算出し、平均化された濃度値を備えた画素群からなる濃度平均化画像ｎを生成する（Ｓ13）。
この際、各元画像がグレースケールの場合には、画素の濃度は一次元の数値となるため、以下の式で対応画素間の濃度の平均値が求められる。
【数１】
また、各元画像がカラーの場合には、画素の濃度は三次元の数値となるため、濃度をＩ(A,B,C)とすると、以下の式で対応画素間の濃度の平均値が求められる。
【数２】
なお、上記の三次元数値としては一般にＲ（赤）、Ｇ（緑）、Ｂ（青）が用いられるが、他の例として、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）等の三次元数値を適用することも可能である。
【００２６】
図４は、上記の濃度平均化処理の具体例を示すものであり、元画像ｎには棚の前に立ちはだかる人影が写っているが、元画像ｎ−１及びｎ−２には人影が映っていないため、各元画像の対応画素間で濃度値を平均化させた濃度平均化画像ｎにおいては、人影が希釈化されて透き通り、棚の表面が浮き出ている。
これに対し、人影以外の棚自体及び陳列商品については各元画像間で移動がほとんどないため、濃度平均化画像においても希釈化されることなく、明瞭に描写されている。
【００２７】
上記の濃度平均化画像は、画像処理部22によって処理結果記憶部23に保存される（Ｓ14）。
上記の濃度平均化処理を元画像記憶部21に格納された各元画像に対して順次実行することにより、処理結果記憶部23には人影等の遮蔽物が希釈化された濃度平均化画像が次々と格納されていく。
【００２８】
この濃度平均化画像を観察することにより、人影等に遮られることなく、商品陳列棚18の変化を素早く把握することが可能となる。
また、濃度平均化画像に表示された人影は、その表情を認識することができない程度まで十分に希釈化されているため、個人情報保護の観点から問題が生じる危険性がない。
さらに、元画像に対する濃度平均化処理が進展し、他の元画像に対する濃度平均化処理のために保存しておく必要のなくなった元画像については、画像処理部22によって元画像記憶部21から順次削除されるため（Ｓ15）、個人情報の保護に関し万全を期すことが可能となる。
【００２９】
なお、濃度平均化処理の基礎となる元画像の枚数には特に限定はなく、上記のように処理対象となる元画像を含めて３枚というのはあくまでも一例に過ぎない。
人影等の希釈率を高めるためには、より多くの元画像間で画素の濃度平均化処理を実行することが望ましいが、その分演算処理の負荷が増大するため、予め適当な枚数をプログラム上で設定しておく。
【００３０】
上記においては、濃度平均化処理の基になる元画像の枚数が予め固定されている例を説明したが、処理対象となる元画像毎に濃度平均化処理の対象となる元画像の枚数を算出し、この結果に基づいて濃度平均化処理を実行するようにシステム10を運用することもできる。
図５はその場合の処理手順を示すフローチャートであり、図６はそのイメージを示す概念図である。
まず上記と同様、ネットワークカメラ12は所定のタイミングで監視対象物である商品陳列棚18を撮影し、この元画像のファイルを画像処理装置16に送信する（Ｓ20）。
これを受信した元画像登録部20は、各画像ファイルを日時情報に関連付けて元画像記憶部21に順次格納する（Ｓ21）。
【００３１】
これに対し画像処理部22は、適当な時点で処理対象である元画像ｎ及びこれより１つ前の元画像ｎ−１を元画像記憶部21より抽出する（Ｓ22）。
つぎに画像処理部22は、元画像ｎを構成する各画素の濃度値から元画像ｎ−１を構成する対応画素の濃度値を引き算し、その差の値を備えた差分画像を生成する（Ｓ23）。
この結果、図７に示すように、元画像ｎの構成画素の中で一つ前の元画像ｎ−１に対して差の大きい部分ほど明るく表現され、共通の部分は黒く表現された差分画像が得られる。
【００３２】
つぎに画像処理部22は、この差分画像において所定の閾値以上の濃度（明度）を備えた領域の画素数（面積）を算出する（Ｓ24）。
そして、この画素数が多いほど両画像間の変化が大きく、遮蔽物の介入があったことになるため、画像処理部22はこの画素数の多寡（面積の広狭）に応じて濃度平均化処理の基準とする元画像の枚数を算出する（Ｓ25）。
元画像の具体的な枚数Ｄは、例えば以下の計算式に値を代入することで算出される。
Ｄ＝差分領域の総画素数÷画像の総画素数×１０＋１
あるいは、以下のような対応表をプログラム内に用意しておき、これに差分領域の総画素数を当てはめることによって具体的な枚数を決定することもできる。
差分領域の総画素数： 0〜10,000→基準元画像数：１枚
差分領域の総画素数：10,001〜20,000→基準元画像数：２枚
差分領域の総画素数：20,001〜40,000→基準元画像数：３枚
差分領域の総画素数：40,001〜80,000→基準元画像数：４枚
差分領域の総画素数：80,001〜 →基準元画像数：５枚
【００３３】
つぎに画像処理部22は、上記において算出した基準元画像数に従い、元画像記憶部21から必要枚数の元画像を抽出する（Ｓ26）。
つぎに画像処理部22は、各元画像に含まれる対応画素間で濃度値の平均を算出し、算出結果の濃度値を有する画素群からなる濃度平均化画像ｎを生成し（Ｓ27）、処理結果記憶部23に保存する（Ｓ28）。
なお、基準元画像数Ｄ＝１の場合には、当該元画像自身との間で平均化処理を施すこととなり、実質的には当該元画像がそのまま濃度平均化画像として処理結果記憶部23に保存されることとなる。
元画像に対する濃度平均化処理が進展し、他の元画像に対する濃度平均化処理のために保存しておく必要のなくなった元画像については、上記と同様、画像処理部22によって元画像記憶部21から順次削除される（Ｓ29）。
【００３４】
上記のように、ある元画像についての濃度平均化画像を生成するに際し、まず当該元画像と一つ前の元画像との間の差分画像を生成し、その差分領域の広狭に応じて濃度平均化処理の対象となる元画像数を可変とする方式を採用することにより、以下のメリットが生じる。
すなわち、図４の元画像ｎのように、人影が写り込んでいる元画像に関しては、人影の部分が大きな変更領域として検出され、多くの元画像（例えば５枚）との間で濃度平均化処理が実行される結果、人影の影響を十分希釈化することが可能となる。
これに対し、人影が写り込んでいない画像が連続している場合には、変更領域が小さいため少ない基準元画像数（例えば１枚）が認定され、実質的に他の元画像との間での濃度平均化処理が回避される結果、鮮明な画像が処理結果記憶部23に残されることとなる。
人影等の遮蔽物が写り込んでいない場合には、他の元画像との間で徒に濃度平均化処理を行うよりも、そのまま処理結果記憶部23に採用した方が商品の移動部分がぼけたりしないため好ましいといえる。
【００３５】
上記のように、１つ前の元画像との間で差分画像を生成し、その差分領域の画素数（面積）に基づいて濃度平均化処理の基準元画像数を算出する代わりに、１つ前の元画像に係る濃度平均化画像との間で差分画像を生成し、その差分領域の画素数に基づいて基準元画像数を算出することもできる。
図８はその処理手順を示すフローチャートであるが、処理対象の元画像と１つ前の濃度平均化画像との差分画像を生成する点（Ｓ32及びＳ33）以外は図５のフローチャートに示した処理手順と異ならないため、詳細な説明は省略する。
図９は、その画像処理のイメージを示す概念図である。
【００３６】
このように、１つ前の濃度平均化画像との間で差分画像を生成することにより、以下のメリットが生じる。
すなわち、図４の元画像ｎ＋１のように、現在の元画像には人影が写っていなくとも、前の元画像ｎに人影が写っていた場合、元画像同士を比較する方式では両者間に大きな変化があったものと認定されるため、自動的に多くの元画像との間で濃度平均化処理が実行されてしまう。
これに対し、１つ前の濃度平均化画像ｎでは人影が希釈化されているため、これと元画像ｎ＋１との間で差分画像を生成すると、その差分領域は極めて小さいものとなる。
この結果、他の元画像との間で濃度平均化処理が実行されることを回避でき、当該元画像ｎ＋１をそのまま処理結果記憶部23に保存することが可能となる。
なお、濃度平均化画像ｎには希釈化された人影が微かに写り込んでいるが、差分領域の画素数算出に際しての濃度（明度）の閾値設定を最適化することにより、希釈化された人影の影響を排除することができるため、実際上の不都合は生じない。
【００３７】
上記のように、処理対象となる元画像と１つ前の元画像あるいは濃度平均化画像との間の差分領域の広狭に応じて基準元画像数を可変とする代わりに、設定値以上の画素数の差分領域が検出された場合には人影等の遮蔽物が写り込んでいるものとみなし、予め設定された枚数（例えば５枚）の元画像間で一律に濃度平均化処理を実行するように、画像処理部22を制御してもよい。
【００３８】
上記のように、それぞれ独立したネットワークカメラ12と画像処理装置16をインターネット14等の通信網を介して接続する代わりに、両者を一体化させることによって第１の画像処理システム10を構成することもできる。
例えば、ネットワークカメラ12内にCPUとメモリやハードディスクを内蔵させ、必要なプログラムをセットアップすることにより、元画像登録部20、元画像記憶部21、画像処理部22、処理結果記憶部23をネットワークカメラ12内に設けることが該当する。
この場合、処理結果記憶部23内に格納された濃度平均化画像のみを通信網を介して外部の管理サーバ等に送信し、元画像記憶部21内の元画像については順次削除するように制御することで、個人の影像が外部に流出する危険性を完全に排除できる利点が生じる。
【００３９】
図１０は、この発明に係る第２の画像処理システム30の全体構成を示す概念図であり、画像処理サーバ32と、各コンビニ店舗34の天井付近に設置されたネットワークカメラ12と、コンビニ本部等のユーザが管理するPC等の通信端末36と、画像処理サーバ32にLAN接続されたPC等の操作端末38とを備えている。
ネットワークカメラ12は、CCDやCMOS等の撮像素子と、ネットワーク接続用のインターフェイスを備えており、コンビニ店舗34内のブロードバンド回線に接続することにより、インターネット14経由で商品陳列棚18を斜め上方から撮影した画像を画像処理サーバ32に転送する機能を備えている。
また、画像処理サーバ32と通信端末36との間も、インターネット14を介してネットワーク接続されている。
【００４０】
図１１は、画像処理サーバ32の機能構成を示すブロック図であり、元画像登録部40と、元画像記憶部41と、設定処理部42と、設定情報記憶部43と、画像処理部44と、処理結果記憶部45と、報告データ生成部46と、報告データ記憶部47と、報告データ送信部48とを備えている。
上記元画像登録部40、設定処理部42、画像処理部44、報告データ生成部46、及び報告データ送信部48は、画像処理サーバ32のCPUがOSや専用のアプリケーションプログラム等に従い、必要な処理を実行することによって実現される。
また、上記元画像記憶部41、設定情報記憶部43、処理結果記憶部45、及び報告データ記憶部47は、画像処理サーバ32のハードディスク内に設けられている。
【００４１】
このシステム30を利用するに際しては、ネットワークカメラ12毎に基本設定を行うことが求められる。
以下、図１２のフローチャートに従い、この基本設定の手順について説明する。
まず、操作端末38のオペレータは、マウスやキーボード等の入力装置49を操作し、設定処理部42に対して基本設定のリクエストを送信する。
これを受けた設定処理部42からはネットワークカメラ選択用の画面が送信され（Ｓ40）、操作端末38のディスプレイ50に表示される（図示省略）。
この画面においてオペレータが特定の店舗内に設置されたネットワークカメラ12を選択すると、設定処理部42は当該ネットワークカメラ用の設定フォームを生成し、ディスプレイ50に表示させる（Ｓ41）。
【００４２】
図１３は、この設定フォーム52を示すものであり、「探索領域設定」及び「画像帳票の粒度設定」のタブを備えている。
ここでオペレータが探索領域設定タブをクリックすると、探索領域設定画面53が表示される（Ｓ42）。
この探索領域設定画面53には、設定処理部42が元画像記憶部41から抽出した、当該ネットワークカメラ12が監視対象としている商品陳列棚18の画像が表示されている。
【００４３】
この画像に対しオペレータは、４つのポイントを指定することにより、後述の画像処理を実施する領域の画定を行う。具体的には、開始ボタン54をクリックした後、マウスポインタを陳列棚18の四隅に合わせて順次クリックすることにより、設定処理部42によって４点を結んだ長方形状の探索領域設定枠55が画像上に表示される（Ｓ43）。
これに対しオペレータが決定ボタン56をクリックすると、枠内に含まれる画素が後述の画像処理の対象領域として認定され、設定処理部42はその画素範囲をネットワークカメラ12のIDに関連付けて設定情報記憶部43に登録する（Ｓ44）。
このように、画像の一部分を画像処理の対象となる探索領域として予め設定しておくことにより、後続の画像処理において領域外の画素を除外することが可能となり、その分演算量を低減することが可能となる。
図１３においては、清涼飲料水のペットボトルが陳列された棚の他に、カップデザートの陳列された棚も探索領域として設定した例が示されているが、より狭い範囲を探索領域として設定することも可能である。
【００４４】
探索領域の設定を終えたオペレータが画像帳票の粒度設定タブをクリックすると、図１４に示すように、画像抽出の間隔を設定するための粒度設定画面57がディスプレイ50に表示される（Ｓ45）。
これに対しオペレータは、より粒度の高い画像帳票が必要な場合には「１時間おき」のラジオボタンにチェックを入れ、比較的ラフな画像帳票で十分な場合には「５時間おき」のラジオボタンにチェックを入れる。
オペレータが特定の粒度（時間間隔）を選択すると、設定処理部42により、生成される画像帳票のイメージが画像帳票のサンプル欄に表示される。ここでは、「２時間おき」に粒度が設定されているため、00：00から２時間おきに12枚／日の画像が抽出される様子が表示されている。
この画像帳票のサンプルを見て納得したオペレータは、決定ボタン58をクリックする。
これを受けた設定処理部42は、当該粒度の設定情報をネットワークカメラ12のIDに関連付けて設定情報記憶部43に登録する（Ｓ46）。
【００４５】
以上のようにしてネットワークカメラ12の基本設定が完了すると、当該ネットワークカメラ12から所定のタイミング、例えば１分毎に１枚の割合で商品陳列棚18の画像ファイルが画像処理サーバ32に送信される。
これを受け付けた元画像登録部40は、各画像ファイルをネットワークカメラ12のID及び日時情報に関連付けて元画像記憶部41に順次格納する。
そして、一定の期間（例えば24時間）が経過した後、画像処理部44は上記した第１の画像処理システム10と同様の手順に従い、各元画像に対し濃度平均化処理を施し、それぞれの濃度平均化画像を処理結果記憶部45に蓄積する（詳細は省略）。
つぎに画像処理部44は、この濃度平均化画像に基づき、元画像から遮蔽物を除去する処理を実行する。
以下、図１５のフローチャートに従い、この処理手順について説明する。
【００４６】
まず画像処理部44は、設定情報記憶部43を参照し、当該ネットワークカメラ12に関連付けられた設定情報（探索領域情報）を取得する（Ｓ50）。
つぎに画像処理部44は、図１６の(a)及び(b)に示すように、ネットワークカメラ12から送信された特定の元画像60（例えば、１日の始まりである00：00の画像）の探索領域と、基準画像αの探索領域とを画素単位で比較する（Ｓ51）。
ここで「基準画像」とは、図１７に示すように、処理対象である元画像ｎの１フレーム前の元画像ｎ−１に係る濃度平均化画像ｎ−１を意味する。この基準画像αは濃度平均化処理が施されているため、人影等の遮蔽物は希釈化されている。
【００４７】
そして、両画像の探索領域に属する対応画素間の濃度値が所定の程度（例えば10％以上）相違している場合、画像処理部44は「相関が低いため元画像60側の画素について変更あり」と認定し、当該変更の生じた画素の座標を変更部としてメモリに記述する（Ｓ52）。
図１６(b)の元画像60の場合、ペットボトル１本が棚段から取り去られた点と、一人の男性客の上半身が写り込んでいる点に相違があり、そこに含まれる画素が変更部としてメモリ上に記録される。
これに対し、両画素間の濃度値の差異が所定の程度内（例えば10％未満）である場合、画像処理部44は「相関が高いため元画像60側の画素について変更なし」と認定する。
このように、両画素間の異同を判定するに際し所定の誤差幅を設定しておくことにより、濃度平均化画像に写っている希釈化された人影等の影響を排除することが可能となる。
【００４８】
つぎに画像処理部44は、同図(c)に示すように、上記の変更部の画素を白、それ以外の非変更部の画素を黒で表現した二値画像62を生成する（Ｓ53）。
つぎに画像処理部44は、上記の二値画像62に対して膨張・収縮処理を複数回実施し、余計なノイズを除去する（Ｓ54）。
つぎに画像処理部44は、上記の二値画像62における各変更部の画素数（面積）を計数し、予め設定された画素数以下の変更領域を商品が取り去られたことによる変更領域と認定して(c)の二値画像62から除外する（Ｓ55）。
この結果、同図(d)に示すように、遮蔽物（この場合、男性客の上半身）の介在による変更領域のみを白表示する二値画像64が生成される。
【００４９】
つぎに画像処理部44は、同図(e)に示すように、上記の遮蔽物の介在による変更領域に係る画素群を元画像60から切除する（Ｓ56）と共に、基準画像αにおける対応領域の画素群65を切除部分66にコピーする（Ｓ57）。
この結果、同図(f)に示すように、遮蔽物（男性客の上半身）を除去した遮蔽物除去画像68が生成される。この遮蔽物除去画像68においては、ペットボトル１本が棚段から取り去られたことによる変更部Ｘはそのまま再現されている。
画像処理部44は、この遮蔽物除去画像68をネットワークカメラ12のID及び日時情報と関連付けて処理結果記憶部45に格納する（Ｓ58）。
【００５０】
つぎに画像処理部44は、つぎのフレームの元画像と上記元画像に係る遮蔽物除去画像とを比較し（Ｓ59、Ｓ51）、Ｓ52〜Ｓ58の処理を実行することにより、遮蔽物を取り除いた新たな修正画像を生成し、処理結果記憶部45に登録する。
以後、画像処理部44は最後の画像フレームに到達するまで上記の処理を繰り返し（Ｓ59）、送信された元画像にする遮蔽物除去の修正処理を実行する。
【００５１】
このシステム30の場合、上記のように１分おきに商品陳列棚18の画像ファイルがネットワークカメラ12から画像処理サーバ32に送信され、各元画像は一つ前の濃度平均化画像（遮蔽物の希釈化済み）と比較して変更領域の検出及びその置き換えが順次実行される方式であるため、商品陳列棚18とネットワークカメラ12との間に頻繁に遮蔽物が介在するような環境下であっても、遮蔽物を除去した修正画像を生成することができる。
しかも、前フレームの濃度平均化画像との変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に表現可能となる。
なお、元画像と一つ前の濃度平均化画像とを比較した結果、元画像に遮蔽物が写り込んでいないと判定された場合には、遮蔽物不在画像として当該元画像がそのまま処理結果記憶部45に格納される。
【００５２】
上記のようにして、設定期間分の遮蔽物除去画像または遮蔽物不在画像が処理結果記憶部45に蓄積されると、報告データ生成部46によって画像帳票が生成される。
まず報告データ生成部46は、予め設定された粒度に従い、処理結果記憶部45から必要時刻の遮蔽物除去画像または遮蔽物不在画像を抽出する。
つぎに報告データ生成部46は、これらを時刻順に配列させると共に、PDF等の汎用のファイル形式に変換することによって画像帳票を生成し、報告データ記憶部47に登録する。
【００５３】
この画像帳票は、例えば以下の要領でユーザの通信端末36に送信される。
(1)１日１回、ユーザが通信端末36のWebブラウザから所定のURLにアクセスし、画像帳票の配信を求める。
(2)これを受けた報告データ送信部48が、当該ユーザ宛の画像帳票一覧ページを生成し、通信端末36に送信する。
(3)ユーザが同ページ中で最新日付の画像帳票をクリックしてダウンロードを求めると、報告データ送信部48から該当の画像帳票が送信され、通信端末36のハードディスクに格納される。
【００５４】
図１８は、粒度が「２時間おき」に設定された画像帳票70を示すものであり、00：00〜22：00までの合計12枚の遮蔽物除去画像が撮影時刻情報と共に配列されている。
この画像帳票70を閲覧することにより、ユーザは以下の点を素早く認識することができる。
(1)午前６時、正午、午後８時の各時点で商品がかなり疎らになっているが、２時間後には残った商品が商品陳列棚の中央部に寄せられ、フェイスアップ作業が実行されている。
(2)午前０時、午前10時、午後４時の各時点では商品の補充がなされ、隙間のない初期状態をほぼ回復している。
【００５５】
上記のように、この画像帳票70を眺めることにより、ユーザは特定店舗における前日のフェイスアップ状況を概観でき、問題のない店舗についてはそれ以上の手間暇をかけることを省略できる。
これに対し、フェイスアップ作業が滞り勝ちな店舗についてはより細かい分析を行い、問題点を個別に指摘することとなる。
この際、ユーザは画像処理サーバ32に対して当該店舗のネットワークカメラ12に関連付けられた全ての遮蔽物除去画像の配信を要求し、報告データ生成部46及び報告データ送信部48を介して送信された遮蔽物除去画像に関し、逐一検討を加えることもできる。
【００５６】
ユーザがより正確な画像帳票の生成を希望する場合には、１分よりも短い間隔、例えば10秒毎にネットワークカメラ12から画像の配信を受け、これらに対し遮蔽物を除去する修正処理を施すようにすることもできる。
あるいは、ネットワークカメラ12から動画の配信を受け、元画像登録部40においてこの動画の中から適当な間隔で静止画を抽出し、元画像記憶部41に登録するようにシステム30を構成することもできる。
【００５７】
上記においては、画像処理部44によって事前に各元画像の濃度平均化画像が生成され、その後これらと元画像を比較することで遮蔽物除去画像が生成される方式を記載したが、この発明はこれに限定されるものではない。
すなわち、ある元画像の濃度平均化画像を生成した直後に、これと次の元画像とを比較し、その遮蔽物除去画像を生成するように画像処理部44を制御することもできる。
【００５８】
この発明はコンビニ店舗等における商品陳列棚のフェイスアップ状況を効率的に監視することが出発点であったため、上記においてもこれを中心に説明したが、この発明はこの目的に限定されるものではない。
すなわち、固定された監視対象物とデジタルカメラとの間に人間や自動車などの移動性遮蔽物が絶えず行き交う環境下において、邪魔な遮蔽物を希釈化あるいは除去した修正画像を所定の時間間隔で連続的に生成し、かつ監視対象物上における特定の変化については可能な限り忠実に再現したいという目的に対し広く応用可能である。
【図面の簡単な説明】
【００５９】
【図１】第１の画像処理システムの全体構成を示すブロック図である。
【図２】第１の画像処理システムにおける濃度平均化処理の手順を示すフローチャートである。
【図３】濃度平均化処理のイメージを示す概念図である。
【図４】濃度平均化処理の具体例を示す説明図である。
【図５】第１の画像処理システムにおける濃度平均化処理の他の手順を示すフローチャートである。
【図６】濃度平均化処理の他のイメージを示す概念図である。
【図７】差分画像生成処理の具体例を示す説明図である。
【図８】第１の画像処理システムにおける濃度平均化処理の他の手順を示すフローチャートである。
【図９】濃度平均化処理の他のイメージを示す概念図である。
【図１０】第２の画像処理システムの全体構成を示す概念図である。
【図１１】画像処理サーバの機能構成を示すブロック図である。
【図１２】基本設定の処理手順を示すフローチャートである。
【図１３】設定フォームにおける探索領域設定画面を示すレイアウト図である。
【図１４】設定フォームにおける画像帳票の粒度設定画面を示すレイアウト図である。
【図１５】遮蔽物除去画像の生成手順を示すフローチャートである。
【図１６】遮蔽物除去画像の生成過程を示すイメージ図である。
【図１７】遮蔽物の除去処理のイメージを示す概念図である。
【図１８】画像帳票の一例を示すレイアウト図である。
【符号の説明】
【００６０】
10 第１の画像処理システム
12 ネットワークカメラ
14 インターネット
16 画像処理装置
18 商品陳列棚
20 元画像登録部
21 元画像記憶部
22 画像処理部
23 処理結果記憶部
30 第２の画像処理システム
32 画像処理サーバ
34 コンビニ店舗
36 通信端末
38 操作端末
40 元画像登録部
41 元画像記憶部
42 設定処理部
43 設定情報記憶部
44 画像処理部
45 処理結果記憶部
46 報告データ生成部
47 報告データ記憶部
48 報告データ送信部
49 入力装置
50 ディスプレイ
52 設定フォーム
53 探索領域設定画面
54 開始ボタン
55 探索領域設定枠
56 決定ボタン
57 粒度設定画面
58 決定ボタン
60 元画像
62 二値画像
64 二値画像
65 画素群
66 切除部分
68 遮蔽物除去画像
70 画像帳票
α 基準画像
【技術分野】
【０００１】
この発明は画像処理技術に係り、特に、デジタルカメラによって監視対象物を所定の時間間隔で撮影した多数の画像に対して、監視対象を覆い隠す人影等の遮蔽物を希釈化あるいは除去する修正処理を施す技術に関する。
【背景技術】
【０００２】
コンビニエンスストア（以下「コンビニ」）やスーパーマーケット等の売り場においては、商品陳列棚のフェイスアップ作業が売り上げを向上させるために極めて重要である。
ここでフェイスアップ作業とは、陳列棚の商品を密集させてボリューム感を演出し、見栄えを良くすることを意味する。すなわち、商品が陳列棚に疎らに配置されていると如何にも売れ残りのような印象を顧客に与えるため、商品が売れて穴の空いた部分に対して同種商品を補充したり、後方の商品を前に引き出して陳列棚の外観を回復する作業が必要となる。また、同種商品の補充が間に合わない場合には、残った商品を陳列棚の中心部分に固め、商品の虫食い状態を改善することもフェイスアップ作業に含まれる。
コンビニ等のスタッフが常に商品陳列棚のフェイスアップに気を配り、こまめに手を加えることによって売り場における美観が向上し、顧客の購買意欲を刺激することが一般に知られている（非特許文献１の「フェイスアップ」の項参照）。
【０００３】
このため、コンビニチェーンの加盟店に対する本部スタッフや外部コンサルタントによる指導においても、このフェイスアップの善し悪しが重要なチェック項目として挙げられている。
例えば、店舗内に設置したデジタルカメラからネットワーク経由で定期的に送信される売り場の画像をリアルタイムに監視し、フェイスアップ作業が滞っている場合には現場スタッフに警告を発することが行われている。
あるいは、リアルタイムに監視する代わりに、ある程度蓄積された画像を後でまとめてチェックし、問題点を発見した場合には事後的に改善を勧告することも行われている。
上記画像を観察することにより、フェイスアップ作業の適否判定の他に、売れ筋商品の分析にも利用できる。
【０００４】
【非特許文献１】前陳棒／ゼンチンボー（登録商標）［平成１６年１１月５日検索］ インターネットURL:http://home.att.ne.jp/sun/pikul/zenchin01.htm
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、デジタルカメラから送信される画像の多くには買い物客や店舗スタッフ等の遮蔽物が写り込んでおり、商品陳列棚の状況を正確に観察できないため、監視する側は送信された画像を逐一チェックし、遮蔽物が移動する合間を縫ってフェイスアップの推移を把握する必要があった。
このため、リアルタイムであれ事後的であれ、多数の加盟店舗に配置されたデジタルカメラからの画像をチェックするのに膨大なマンパワーが必要となり、全加盟店舗のフェイスアップ具合を常時監視することは事実上不可能であった。
また、このように不特定多数の人影が写り込んだ生の画像を監視すること自体、個人情報保護の観点から問題視される可能性もある。
【０００６】
この発明は、従来の監視方法が抱えている上記の問題点を解決するためになされたものであり、撮影された画像列に写り込んだ人影等の遮蔽物の影響を低減あるいは除去することにより、陳列棚の様子を容易に観察可能とし、個人情報保護の要請にも合致する技術を実現することを目的としている。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、請求項１に記載した画像処理システムは、所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理と、この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理と、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行する画像処理システムであって、第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴としている。
【０００８】
請求項２に記載した画像処理システムは、請求項１のシステムを前提とし、さらに、新たな濃度平均化画像を第２の記憶手段に格納した後に、次の濃度平均化処理に不要となった元画像を第１の記憶手段から消去する処理を実行することを特徴としている。
【０００９】
請求項３に記載した画像処理システムは、請求項１または２のシステムを前提とし、さらに、第１の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像を抽出する処理と、この元画像と処理対象の元画像との間の差分画像を生成する処理と、当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴としている。
【００１０】
請求項４に記載した画像処理システムは、請求項１または２のシステムを前提とし、さらに、第２の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像に係る濃度平均化画像を抽出する処理と、この濃度平均化画像と処理対象の元画像との間の差分画像を生成する処理と、当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴としている。
【００１１】
請求項５に記載した画像処理システムは、請求項１〜３のシステムを前提とし、さらに、第１の記憶手段から１の元画像を処理対象として抽出する処理と、第２の記憶手段から当該元画像の１つ前の元画像に係る濃度平均化画像を抽出する処理と、両画像間の対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在しない場合には、当該元画像を遮蔽物不在画像として第３の記憶手段に格納する処理と、両画素の値に予め設定された誤差幅以上の差異が存在する場合には、元画像側の画素を変更部として認定する処理と、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する処理と、上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する処理と、残された変更領域に係る画素群を元画像から切除し、上記濃度平均化画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた画像を生成する処理と、この遮蔽物除去画像を第３の記憶手段に格納する処理を実行する画像処理システムであって、第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴としている。
【００１２】
請求項６に記載した画像処理システムは、請求項５のシステムを前提とし、さらに、第３の記憶手段内の遮蔽物不在画像または遮蔽物除去画像を抽出するための時間間隔を、第４の記憶手段に登録する処理と、第３の記憶手段から上記時間間隔に該当する画像を抽出する処理と、抽出した各画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理と、この画像帳票を第５の記憶手段に格納する処理を実行することを特徴としている。
【００１３】
請求項７に記載した画像処理プログラムは、コンピュータに、所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理、この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行させるものであり、さらに上記コンピュータに、第１の記憶手段に格納された各元画像に対して上記の各処理を順次繰り返させることを特徴としている。
【００１４】
請求項８に記載した画像処理方法は、所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出するステップと、この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出するステップと、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納するステップを備え、第１の記憶手段に格納された各元画像に対して上記の各ステップを順次繰り返すことを特徴としている。
【発明の効果】
【００１５】
請求項１に記載の画像処理システム、請求項７に記載の画像処理プログラム及び請求項８に記載の画像処理方法によれば、処理対象となる元画像及びこれと時間的に連続する過去の必要枚数の元画像に基づき、対応画素間の濃度値を平均化させた画素群を備えた画像が生成され、第２の記憶手段にこの濃度平均化画像が順次格納されることとなる。
このため、処理対象の元画像に例え人影等の遮蔽物が写り込んでいたとしても、他の元画像との濃度平均化処理によって遮蔽物が希釈化され、その背後に存在している監視対象物を透視することが可能となる。
したがって、この画像処理技術を店舗内の商品陳列棚の監視に応用することにより、監視者は遮蔽物に邪魔されることなくフェイスアップの状態を素早く確認することが可能となる。
また、人影の希釈化によりその表情を把握することができなくなるため、個人情報の保護の観点からも好ましい結果が得られる。
【００１６】
請求項２に記載の画像処理システムによれば、濃度平均化処理の進展に伴い人影が写り込んだ元画像が第１の記憶手段から順次消去されるため、個人情報保護に万全を期すことが可能となる。
【００１７】
請求項３に記載の画像処理システムによれば、元画像間の差分領域の面積が大きい場合には処理対象の元画像に人影等の遮蔽物が写り込んでいるものとみなし、その分多くの元画像との間で濃度平均化処理を実行することによって人影等を十分希釈化することが可能となる。
また、元画像間の差分領域の面積が小さい場合には処理対象の元画像に人影等の遮蔽物が写り込んでいないものとみなし、必要枚数を処理対象の元画像を含めて「１」、すなわち実質的に他の元画像間で濃度平均化処理が実行されることを回避し、当該元画像をそのまま第２の記憶手段に格納することもできる。
濃度平均化処理の基礎とする元画像の枚数は、差分領域の面積に比例させることもできるが、一定の閾値を超えた時点で所定枚数を適用し、閾値内では１とすることもできる。
【００１８】
請求項４に記載の画像処理システムによれば、処理対象の元画像が人影の写り込みによって１つ前の濃度平均化画像に比べて大きく変化している場合には、その分多くの元画像との間で濃度平均化処理を実行することにより、人影を十分希釈化することが可能となる。
反対に、１つ前の元画像に写っていた人影が処理対象の元画像から消えていた場合でも、比較対象である濃度平均化画像では当該人影が希釈化されているため両者間で大きな変化が生じることがない。このような場合には、平均化の基礎とする元画像の必要枚数を１、すなわち処理対象の元画像のみとなるように設定しておくことで、人影が写り込んだ１つ前の元画像との間で徒に平均化処理が実行されることを防止可能となる。
【００１９】
請求項５に記載の画像処理システムによれば、一定の時間間隔をおいて商品陳列棚を撮影した元画像が、それぞれ遮蔽物の希釈化がなされた１つ前の濃度平均化画像と画素単位で比較され、元画像側に変更ありと認定された場合には当該変更領域が濃度平均化画像における対応領域の画素群に置き換えられるため、元画像に写り込んだ人影等の遮蔽物が有効に除去され、商品陳列棚の様子を明確に表現する画像列が得られる。
しかも、１つ前の濃度平均化画像に対する変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、この面積設定を適切に行うことにより、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に再現可能となる。
この結果、監視者は時系列に沿って配置された各遮蔽物除去画像を概観することにより、特定店舗におけるフェイスアップの状況を短時間に把握することが可能となる。
【００２０】
請求項６に記載の画像処理システムによれば、商品陳列棚を覆い隠す遮蔽物が除去された多数の画像の中から予め設定した時間間隔に合致するものをサンプル的に抽出した画像帳票が得られるため、これをチェックすることによってフェイスアップの状況をより簡便に把握することが可能となる。
【発明を実施するための最良の形態】
【００２１】
図１は、この発明に係る第１の画像処理システム10の全体構成を示すブロック図であり、店舗の天井付近に設置されたネットワークカメラ12と、インターネット14やLAN等の通信網を介してネットワークカメラ12と接続されたPC等のコンピュータよりなる画像処理装置16とを備えている。
【００２２】
ネットワークカメラ12は、CCDやCMOS等の撮像素子と、ネットワーク接続用のインターフェイスを備えており、商品陳列棚18を斜め上方から一定の時間間隔で撮影した静止画像を、画像処理装置16に転送する機能を備えている。
【００２３】
画像処理装置16は、元画像登録部20と、元画像記憶部21と、画像処理部22と、処理結果記憶部23を備えている。
これらの中、元画像登録部20及び画像処理部22は、画像処理装置16のCPUがOS及び専用のアプリケーションプログラム等に従い、必要な処理を実行することによって実現される。
また、上記のアプリケーションプログラムにより、画像処理装置16のメモリやハードディスク上に元画像記憶部21及び処理結果記憶部23が設定される。
【００２４】
以下、図２のフローチャートに従い、この第１の画像処理システム10における処理手順についてついて説明する。
まず、ネットワークカメラ12は所定のタイミング、例えば１分毎に１枚の割合で監視対象物である商品陳列棚18を撮影し、この画像ファイルを画像処理装置16に送信する（Ｓ10）。
これを受信した元画像登録部20は、各画像ファイルを日時情報に関連付けて元画像記憶部21に順次格納する（Ｓ11）。
【００２５】
これに対し画像処理部22は、元画像記憶部21に格納された各画像ファイル（以下「元画像」）に対し濃度平均化処理を施した画像を生成し、これを処理結果記憶部23に格納する。以下、この濃度平均化処理について詳述する。
まず画像処理部22は、図３に示すように、処理対象である元画像ｎと、これと時間的に連続した過去２枚の元画像ｎ−１及びｎ−２を元画像記憶部21より抽出する（Ｓ12）。
つぎに画像処理部22は、計３枚の元画像に含まれる対応画素間で濃度の平均値を算出し、平均化された濃度値を備えた画素群からなる濃度平均化画像ｎを生成する（Ｓ13）。
この際、各元画像がグレースケールの場合には、画素の濃度は一次元の数値となるため、以下の式で対応画素間の濃度の平均値が求められる。
【数１】
また、各元画像がカラーの場合には、画素の濃度は三次元の数値となるため、濃度をＩ(A,B,C)とすると、以下の式で対応画素間の濃度の平均値が求められる。
【数２】
なお、上記の三次元数値としては一般にＲ（赤）、Ｇ（緑）、Ｂ（青）が用いられるが、他の例として、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）等の三次元数値を適用することも可能である。
【００２６】
図４は、上記の濃度平均化処理の具体例を示すものであり、元画像ｎには棚の前に立ちはだかる人影が写っているが、元画像ｎ−１及びｎ−２には人影が映っていないため、各元画像の対応画素間で濃度値を平均化させた濃度平均化画像ｎにおいては、人影が希釈化されて透き通り、棚の表面が浮き出ている。
これに対し、人影以外の棚自体及び陳列商品については各元画像間で移動がほとんどないため、濃度平均化画像においても希釈化されることなく、明瞭に描写されている。
【００２７】
上記の濃度平均化画像は、画像処理部22によって処理結果記憶部23に保存される（Ｓ14）。
上記の濃度平均化処理を元画像記憶部21に格納された各元画像に対して順次実行することにより、処理結果記憶部23には人影等の遮蔽物が希釈化された濃度平均化画像が次々と格納されていく。
【００２８】
この濃度平均化画像を観察することにより、人影等に遮られることなく、商品陳列棚18の変化を素早く把握することが可能となる。
また、濃度平均化画像に表示された人影は、その表情を認識することができない程度まで十分に希釈化されているため、個人情報保護の観点から問題が生じる危険性がない。
さらに、元画像に対する濃度平均化処理が進展し、他の元画像に対する濃度平均化処理のために保存しておく必要のなくなった元画像については、画像処理部22によって元画像記憶部21から順次削除されるため（Ｓ15）、個人情報の保護に関し万全を期すことが可能となる。
【００２９】
なお、濃度平均化処理の基礎となる元画像の枚数には特に限定はなく、上記のように処理対象となる元画像を含めて３枚というのはあくまでも一例に過ぎない。
人影等の希釈率を高めるためには、より多くの元画像間で画素の濃度平均化処理を実行することが望ましいが、その分演算処理の負荷が増大するため、予め適当な枚数をプログラム上で設定しておく。
【００３０】
上記においては、濃度平均化処理の基になる元画像の枚数が予め固定されている例を説明したが、処理対象となる元画像毎に濃度平均化処理の対象となる元画像の枚数を算出し、この結果に基づいて濃度平均化処理を実行するようにシステム10を運用することもできる。
図５はその場合の処理手順を示すフローチャートであり、図６はそのイメージを示す概念図である。
まず上記と同様、ネットワークカメラ12は所定のタイミングで監視対象物である商品陳列棚18を撮影し、この元画像のファイルを画像処理装置16に送信する（Ｓ20）。
これを受信した元画像登録部20は、各画像ファイルを日時情報に関連付けて元画像記憶部21に順次格納する（Ｓ21）。
【００３１】
これに対し画像処理部22は、適当な時点で処理対象である元画像ｎ及びこれより１つ前の元画像ｎ−１を元画像記憶部21より抽出する（Ｓ22）。
つぎに画像処理部22は、元画像ｎを構成する各画素の濃度値から元画像ｎ−１を構成する対応画素の濃度値を引き算し、その差の値を備えた差分画像を生成する（Ｓ23）。
この結果、図７に示すように、元画像ｎの構成画素の中で一つ前の元画像ｎ−１に対して差の大きい部分ほど明るく表現され、共通の部分は黒く表現された差分画像が得られる。
【００３２】
つぎに画像処理部22は、この差分画像において所定の閾値以上の濃度（明度）を備えた領域の画素数（面積）を算出する（Ｓ24）。
そして、この画素数が多いほど両画像間の変化が大きく、遮蔽物の介入があったことになるため、画像処理部22はこの画素数の多寡（面積の広狭）に応じて濃度平均化処理の基準とする元画像の枚数を算出する（Ｓ25）。
元画像の具体的な枚数Ｄは、例えば以下の計算式に値を代入することで算出される。
Ｄ＝差分領域の総画素数÷画像の総画素数×１０＋１
あるいは、以下のような対応表をプログラム内に用意しておき、これに差分領域の総画素数を当てはめることによって具体的な枚数を決定することもできる。
差分領域の総画素数： 0〜10,000→基準元画像数：１枚
差分領域の総画素数：10,001〜20,000→基準元画像数：２枚
差分領域の総画素数：20,001〜40,000→基準元画像数：３枚
差分領域の総画素数：40,001〜80,000→基準元画像数：４枚
差分領域の総画素数：80,001〜 →基準元画像数：５枚
【００３３】
つぎに画像処理部22は、上記において算出した基準元画像数に従い、元画像記憶部21から必要枚数の元画像を抽出する（Ｓ26）。
つぎに画像処理部22は、各元画像に含まれる対応画素間で濃度値の平均を算出し、算出結果の濃度値を有する画素群からなる濃度平均化画像ｎを生成し（Ｓ27）、処理結果記憶部23に保存する（Ｓ28）。
なお、基準元画像数Ｄ＝１の場合には、当該元画像自身との間で平均化処理を施すこととなり、実質的には当該元画像がそのまま濃度平均化画像として処理結果記憶部23に保存されることとなる。
元画像に対する濃度平均化処理が進展し、他の元画像に対する濃度平均化処理のために保存しておく必要のなくなった元画像については、上記と同様、画像処理部22によって元画像記憶部21から順次削除される（Ｓ29）。
【００３４】
上記のように、ある元画像についての濃度平均化画像を生成するに際し、まず当該元画像と一つ前の元画像との間の差分画像を生成し、その差分領域の広狭に応じて濃度平均化処理の対象となる元画像数を可変とする方式を採用することにより、以下のメリットが生じる。
すなわち、図４の元画像ｎのように、人影が写り込んでいる元画像に関しては、人影の部分が大きな変更領域として検出され、多くの元画像（例えば５枚）との間で濃度平均化処理が実行される結果、人影の影響を十分希釈化することが可能となる。
これに対し、人影が写り込んでいない画像が連続している場合には、変更領域が小さいため少ない基準元画像数（例えば１枚）が認定され、実質的に他の元画像との間での濃度平均化処理が回避される結果、鮮明な画像が処理結果記憶部23に残されることとなる。
人影等の遮蔽物が写り込んでいない場合には、他の元画像との間で徒に濃度平均化処理を行うよりも、そのまま処理結果記憶部23に採用した方が商品の移動部分がぼけたりしないため好ましいといえる。
【００３５】
上記のように、１つ前の元画像との間で差分画像を生成し、その差分領域の画素数（面積）に基づいて濃度平均化処理の基準元画像数を算出する代わりに、１つ前の元画像に係る濃度平均化画像との間で差分画像を生成し、その差分領域の画素数に基づいて基準元画像数を算出することもできる。
図８はその処理手順を示すフローチャートであるが、処理対象の元画像と１つ前の濃度平均化画像との差分画像を生成する点（Ｓ32及びＳ33）以外は図５のフローチャートに示した処理手順と異ならないため、詳細な説明は省略する。
図９は、その画像処理のイメージを示す概念図である。
【００３６】
このように、１つ前の濃度平均化画像との間で差分画像を生成することにより、以下のメリットが生じる。
すなわち、図４の元画像ｎ＋１のように、現在の元画像には人影が写っていなくとも、前の元画像ｎに人影が写っていた場合、元画像同士を比較する方式では両者間に大きな変化があったものと認定されるため、自動的に多くの元画像との間で濃度平均化処理が実行されてしまう。
これに対し、１つ前の濃度平均化画像ｎでは人影が希釈化されているため、これと元画像ｎ＋１との間で差分画像を生成すると、その差分領域は極めて小さいものとなる。
この結果、他の元画像との間で濃度平均化処理が実行されることを回避でき、当該元画像ｎ＋１をそのまま処理結果記憶部23に保存することが可能となる。
なお、濃度平均化画像ｎには希釈化された人影が微かに写り込んでいるが、差分領域の画素数算出に際しての濃度（明度）の閾値設定を最適化することにより、希釈化された人影の影響を排除することができるため、実際上の不都合は生じない。
【００３７】
上記のように、処理対象となる元画像と１つ前の元画像あるいは濃度平均化画像との間の差分領域の広狭に応じて基準元画像数を可変とする代わりに、設定値以上の画素数の差分領域が検出された場合には人影等の遮蔽物が写り込んでいるものとみなし、予め設定された枚数（例えば５枚）の元画像間で一律に濃度平均化処理を実行するように、画像処理部22を制御してもよい。
【００３８】
上記のように、それぞれ独立したネットワークカメラ12と画像処理装置16をインターネット14等の通信網を介して接続する代わりに、両者を一体化させることによって第１の画像処理システム10を構成することもできる。
例えば、ネットワークカメラ12内にCPUとメモリやハードディスクを内蔵させ、必要なプログラムをセットアップすることにより、元画像登録部20、元画像記憶部21、画像処理部22、処理結果記憶部23をネットワークカメラ12内に設けることが該当する。
この場合、処理結果記憶部23内に格納された濃度平均化画像のみを通信網を介して外部の管理サーバ等に送信し、元画像記憶部21内の元画像については順次削除するように制御することで、個人の影像が外部に流出する危険性を完全に排除できる利点が生じる。
【００３９】
図１０は、この発明に係る第２の画像処理システム30の全体構成を示す概念図であり、画像処理サーバ32と、各コンビニ店舗34の天井付近に設置されたネットワークカメラ12と、コンビニ本部等のユーザが管理するPC等の通信端末36と、画像処理サーバ32にLAN接続されたPC等の操作端末38とを備えている。
ネットワークカメラ12は、CCDやCMOS等の撮像素子と、ネットワーク接続用のインターフェイスを備えており、コンビニ店舗34内のブロードバンド回線に接続することにより、インターネット14経由で商品陳列棚18を斜め上方から撮影した画像を画像処理サーバ32に転送する機能を備えている。
また、画像処理サーバ32と通信端末36との間も、インターネット14を介してネットワーク接続されている。
【００４０】
図１１は、画像処理サーバ32の機能構成を示すブロック図であり、元画像登録部40と、元画像記憶部41と、設定処理部42と、設定情報記憶部43と、画像処理部44と、処理結果記憶部45と、報告データ生成部46と、報告データ記憶部47と、報告データ送信部48とを備えている。
上記元画像登録部40、設定処理部42、画像処理部44、報告データ生成部46、及び報告データ送信部48は、画像処理サーバ32のCPUがOSや専用のアプリケーションプログラム等に従い、必要な処理を実行することによって実現される。
また、上記元画像記憶部41、設定情報記憶部43、処理結果記憶部45、及び報告データ記憶部47は、画像処理サーバ32のハードディスク内に設けられている。
【００４１】
このシステム30を利用するに際しては、ネットワークカメラ12毎に基本設定を行うことが求められる。
以下、図１２のフローチャートに従い、この基本設定の手順について説明する。
まず、操作端末38のオペレータは、マウスやキーボード等の入力装置49を操作し、設定処理部42に対して基本設定のリクエストを送信する。
これを受けた設定処理部42からはネットワークカメラ選択用の画面が送信され（Ｓ40）、操作端末38のディスプレイ50に表示される（図示省略）。
この画面においてオペレータが特定の店舗内に設置されたネットワークカメラ12を選択すると、設定処理部42は当該ネットワークカメラ用の設定フォームを生成し、ディスプレイ50に表示させる（Ｓ41）。
【００４２】
図１３は、この設定フォーム52を示すものであり、「探索領域設定」及び「画像帳票の粒度設定」のタブを備えている。
ここでオペレータが探索領域設定タブをクリックすると、探索領域設定画面53が表示される（Ｓ42）。
この探索領域設定画面53には、設定処理部42が元画像記憶部41から抽出した、当該ネットワークカメラ12が監視対象としている商品陳列棚18の画像が表示されている。
【００４３】
この画像に対しオペレータは、４つのポイントを指定することにより、後述の画像処理を実施する領域の画定を行う。具体的には、開始ボタン54をクリックした後、マウスポインタを陳列棚18の四隅に合わせて順次クリックすることにより、設定処理部42によって４点を結んだ長方形状の探索領域設定枠55が画像上に表示される（Ｓ43）。
これに対しオペレータが決定ボタン56をクリックすると、枠内に含まれる画素が後述の画像処理の対象領域として認定され、設定処理部42はその画素範囲をネットワークカメラ12のIDに関連付けて設定情報記憶部43に登録する（Ｓ44）。
このように、画像の一部分を画像処理の対象となる探索領域として予め設定しておくことにより、後続の画像処理において領域外の画素を除外することが可能となり、その分演算量を低減することが可能となる。
図１３においては、清涼飲料水のペットボトルが陳列された棚の他に、カップデザートの陳列された棚も探索領域として設定した例が示されているが、より狭い範囲を探索領域として設定することも可能である。
【００４４】
探索領域の設定を終えたオペレータが画像帳票の粒度設定タブをクリックすると、図１４に示すように、画像抽出の間隔を設定するための粒度設定画面57がディスプレイ50に表示される（Ｓ45）。
これに対しオペレータは、より粒度の高い画像帳票が必要な場合には「１時間おき」のラジオボタンにチェックを入れ、比較的ラフな画像帳票で十分な場合には「５時間おき」のラジオボタンにチェックを入れる。
オペレータが特定の粒度（時間間隔）を選択すると、設定処理部42により、生成される画像帳票のイメージが画像帳票のサンプル欄に表示される。ここでは、「２時間おき」に粒度が設定されているため、00：00から２時間おきに12枚／日の画像が抽出される様子が表示されている。
この画像帳票のサンプルを見て納得したオペレータは、決定ボタン58をクリックする。
これを受けた設定処理部42は、当該粒度の設定情報をネットワークカメラ12のIDに関連付けて設定情報記憶部43に登録する（Ｓ46）。
【００４５】
以上のようにしてネットワークカメラ12の基本設定が完了すると、当該ネットワークカメラ12から所定のタイミング、例えば１分毎に１枚の割合で商品陳列棚18の画像ファイルが画像処理サーバ32に送信される。
これを受け付けた元画像登録部40は、各画像ファイルをネットワークカメラ12のID及び日時情報に関連付けて元画像記憶部41に順次格納する。
そして、一定の期間（例えば24時間）が経過した後、画像処理部44は上記した第１の画像処理システム10と同様の手順に従い、各元画像に対し濃度平均化処理を施し、それぞれの濃度平均化画像を処理結果記憶部45に蓄積する（詳細は省略）。
つぎに画像処理部44は、この濃度平均化画像に基づき、元画像から遮蔽物を除去する処理を実行する。
以下、図１５のフローチャートに従い、この処理手順について説明する。
【００４６】
まず画像処理部44は、設定情報記憶部43を参照し、当該ネットワークカメラ12に関連付けられた設定情報（探索領域情報）を取得する（Ｓ50）。
つぎに画像処理部44は、図１６の(a)及び(b)に示すように、ネットワークカメラ12から送信された特定の元画像60（例えば、１日の始まりである00：00の画像）の探索領域と、基準画像αの探索領域とを画素単位で比較する（Ｓ51）。
ここで「基準画像」とは、図１７に示すように、処理対象である元画像ｎの１フレーム前の元画像ｎ−１に係る濃度平均化画像ｎ−１を意味する。この基準画像αは濃度平均化処理が施されているため、人影等の遮蔽物は希釈化されている。
【００４７】
そして、両画像の探索領域に属する対応画素間の濃度値が所定の程度（例えば10％以上）相違している場合、画像処理部44は「相関が低いため元画像60側の画素について変更あり」と認定し、当該変更の生じた画素の座標を変更部としてメモリに記述する（Ｓ52）。
図１６(b)の元画像60の場合、ペットボトル１本が棚段から取り去られた点と、一人の男性客の上半身が写り込んでいる点に相違があり、そこに含まれる画素が変更部としてメモリ上に記録される。
これに対し、両画素間の濃度値の差異が所定の程度内（例えば10％未満）である場合、画像処理部44は「相関が高いため元画像60側の画素について変更なし」と認定する。
このように、両画素間の異同を判定するに際し所定の誤差幅を設定しておくことにより、濃度平均化画像に写っている希釈化された人影等の影響を排除することが可能となる。
【００４８】
つぎに画像処理部44は、同図(c)に示すように、上記の変更部の画素を白、それ以外の非変更部の画素を黒で表現した二値画像62を生成する（Ｓ53）。
つぎに画像処理部44は、上記の二値画像62に対して膨張・収縮処理を複数回実施し、余計なノイズを除去する（Ｓ54）。
つぎに画像処理部44は、上記の二値画像62における各変更部の画素数（面積）を計数し、予め設定された画素数以下の変更領域を商品が取り去られたことによる変更領域と認定して(c)の二値画像62から除外する（Ｓ55）。
この結果、同図(d)に示すように、遮蔽物（この場合、男性客の上半身）の介在による変更領域のみを白表示する二値画像64が生成される。
【００４９】
つぎに画像処理部44は、同図(e)に示すように、上記の遮蔽物の介在による変更領域に係る画素群を元画像60から切除する（Ｓ56）と共に、基準画像αにおける対応領域の画素群65を切除部分66にコピーする（Ｓ57）。
この結果、同図(f)に示すように、遮蔽物（男性客の上半身）を除去した遮蔽物除去画像68が生成される。この遮蔽物除去画像68においては、ペットボトル１本が棚段から取り去られたことによる変更部Ｘはそのまま再現されている。
画像処理部44は、この遮蔽物除去画像68をネットワークカメラ12のID及び日時情報と関連付けて処理結果記憶部45に格納する（Ｓ58）。
【００５０】
つぎに画像処理部44は、つぎのフレームの元画像と上記元画像に係る遮蔽物除去画像とを比較し（Ｓ59、Ｓ51）、Ｓ52〜Ｓ58の処理を実行することにより、遮蔽物を取り除いた新たな修正画像を生成し、処理結果記憶部45に登録する。
以後、画像処理部44は最後の画像フレームに到達するまで上記の処理を繰り返し（Ｓ59）、送信された元画像にする遮蔽物除去の修正処理を実行する。
【００５１】
このシステム30の場合、上記のように１分おきに商品陳列棚18の画像ファイルがネットワークカメラ12から画像処理サーバ32に送信され、各元画像は一つ前の濃度平均化画像（遮蔽物の希釈化済み）と比較して変更領域の検出及びその置き換えが順次実行される方式であるため、商品陳列棚18とネットワークカメラ12との間に頻繁に遮蔽物が介在するような環境下であっても、遮蔽物を除去した修正画像を生成することができる。
しかも、前フレームの濃度平均化画像との変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に表現可能となる。
なお、元画像と一つ前の濃度平均化画像とを比較した結果、元画像に遮蔽物が写り込んでいないと判定された場合には、遮蔽物不在画像として当該元画像がそのまま処理結果記憶部45に格納される。
【００５２】
上記のようにして、設定期間分の遮蔽物除去画像または遮蔽物不在画像が処理結果記憶部45に蓄積されると、報告データ生成部46によって画像帳票が生成される。
まず報告データ生成部46は、予め設定された粒度に従い、処理結果記憶部45から必要時刻の遮蔽物除去画像または遮蔽物不在画像を抽出する。
つぎに報告データ生成部46は、これらを時刻順に配列させると共に、PDF等の汎用のファイル形式に変換することによって画像帳票を生成し、報告データ記憶部47に登録する。
【００５３】
この画像帳票は、例えば以下の要領でユーザの通信端末36に送信される。
(1)１日１回、ユーザが通信端末36のWebブラウザから所定のURLにアクセスし、画像帳票の配信を求める。
(2)これを受けた報告データ送信部48が、当該ユーザ宛の画像帳票一覧ページを生成し、通信端末36に送信する。
(3)ユーザが同ページ中で最新日付の画像帳票をクリックしてダウンロードを求めると、報告データ送信部48から該当の画像帳票が送信され、通信端末36のハードディスクに格納される。
【００５４】
図１８は、粒度が「２時間おき」に設定された画像帳票70を示すものであり、00：00〜22：00までの合計12枚の遮蔽物除去画像が撮影時刻情報と共に配列されている。
この画像帳票70を閲覧することにより、ユーザは以下の点を素早く認識することができる。
(1)午前６時、正午、午後８時の各時点で商品がかなり疎らになっているが、２時間後には残った商品が商品陳列棚の中央部に寄せられ、フェイスアップ作業が実行されている。
(2)午前０時、午前10時、午後４時の各時点では商品の補充がなされ、隙間のない初期状態をほぼ回復している。
【００５５】
上記のように、この画像帳票70を眺めることにより、ユーザは特定店舗における前日のフェイスアップ状況を概観でき、問題のない店舗についてはそれ以上の手間暇をかけることを省略できる。
これに対し、フェイスアップ作業が滞り勝ちな店舗についてはより細かい分析を行い、問題点を個別に指摘することとなる。
この際、ユーザは画像処理サーバ32に対して当該店舗のネットワークカメラ12に関連付けられた全ての遮蔽物除去画像の配信を要求し、報告データ生成部46及び報告データ送信部48を介して送信された遮蔽物除去画像に関し、逐一検討を加えることもできる。
【００５６】
ユーザがより正確な画像帳票の生成を希望する場合には、１分よりも短い間隔、例えば10秒毎にネットワークカメラ12から画像の配信を受け、これらに対し遮蔽物を除去する修正処理を施すようにすることもできる。
あるいは、ネットワークカメラ12から動画の配信を受け、元画像登録部40においてこの動画の中から適当な間隔で静止画を抽出し、元画像記憶部41に登録するようにシステム30を構成することもできる。
【００５７】
上記においては、画像処理部44によって事前に各元画像の濃度平均化画像が生成され、その後これらと元画像を比較することで遮蔽物除去画像が生成される方式を記載したが、この発明はこれに限定されるものではない。
すなわち、ある元画像の濃度平均化画像を生成した直後に、これと次の元画像とを比較し、その遮蔽物除去画像を生成するように画像処理部44を制御することもできる。
【００５８】
この発明はコンビニ店舗等における商品陳列棚のフェイスアップ状況を効率的に監視することが出発点であったため、上記においてもこれを中心に説明したが、この発明はこの目的に限定されるものではない。
すなわち、固定された監視対象物とデジタルカメラとの間に人間や自動車などの移動性遮蔽物が絶えず行き交う環境下において、邪魔な遮蔽物を希釈化あるいは除去した修正画像を所定の時間間隔で連続的に生成し、かつ監視対象物上における特定の変化については可能な限り忠実に再現したいという目的に対し広く応用可能である。
【図面の簡単な説明】
【００５９】
【図１】第１の画像処理システムの全体構成を示すブロック図である。
【図２】第１の画像処理システムにおける濃度平均化処理の手順を示すフローチャートである。
【図３】濃度平均化処理のイメージを示す概念図である。
【図４】濃度平均化処理の具体例を示す説明図である。
【図５】第１の画像処理システムにおける濃度平均化処理の他の手順を示すフローチャートである。
【図６】濃度平均化処理の他のイメージを示す概念図である。
【図７】差分画像生成処理の具体例を示す説明図である。
【図８】第１の画像処理システムにおける濃度平均化処理の他の手順を示すフローチャートである。
【図９】濃度平均化処理の他のイメージを示す概念図である。
【図１０】第２の画像処理システムの全体構成を示す概念図である。
【図１１】画像処理サーバの機能構成を示すブロック図である。
【図１２】基本設定の処理手順を示すフローチャートである。
【図１３】設定フォームにおける探索領域設定画面を示すレイアウト図である。
【図１４】設定フォームにおける画像帳票の粒度設定画面を示すレイアウト図である。
【図１５】遮蔽物除去画像の生成手順を示すフローチャートである。
【図１６】遮蔽物除去画像の生成過程を示すイメージ図である。
【図１７】遮蔽物の除去処理のイメージを示す概念図である。
【図１８】画像帳票の一例を示すレイアウト図である。
【符号の説明】
【００６０】
10 第１の画像処理システム
12 ネットワークカメラ
14 インターネット
16 画像処理装置
18 商品陳列棚
20 元画像登録部
21 元画像記憶部
22 画像処理部
23 処理結果記憶部
30 第２の画像処理システム
32 画像処理サーバ
34 コンビニ店舗
36 通信端末
38 操作端末
40 元画像登録部
41 元画像記憶部
42 設定処理部
43 設定情報記憶部
44 画像処理部
45 処理結果記憶部
46 報告データ生成部
47 報告データ記憶部
48 報告データ送信部
49 入力装置
50 ディスプレイ
52 設定フォーム
53 探索領域設定画面
54 開始ボタン
55 探索領域設定枠
56 決定ボタン
57 粒度設定画面
58 決定ボタン
60 元画像
62 二値画像
64 二値画像
65 画素群
66 切除部分
68 遮蔽物除去画像
70 画像帳票
α 基準画像
【特許請求の範囲】
【請求項１】
所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理と、
この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理と、
各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行する画像処理システムであって、
第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴とする画像処理システム。
【請求項２】
新たな濃度平均化画像を第２の記憶手段に格納した後に、次の濃度平均化処理に不要となった元画像を第１の記憶手段から消去する処理を実行することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
第１の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像を抽出する処理と、
この元画像と処理対象の元画像との間の差分画像を生成する処理と、
当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
第２の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像に係る濃度平均化画像を抽出する処理と、
この濃度平均化画像と処理対象の元画像との間の差分画像を生成する処理と、
当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴とする請求項１または２に記載の画像処理システム。
【請求項５】
第１の記憶手段から１の元画像を処理対象として抽出する処理と、
第２の記憶手段から当該元画像の１つ前の元画像に係る濃度平均化画像を抽出する処理と、
両画像間の対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在しない場合には、当該元画像を遮蔽物不在画像として第３の記憶手段に格納する処理と、
両画素の値に予め設定された誤差幅以上の差異が存在する場合には、元画像側の画素を変更部として認定する処理と、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する処理と、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する処理と、
残された変更領域に係る画素群を元画像から切除し、上記濃度平均化画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた画像を生成する処理と、
この遮蔽物除去画像を第３の記憶手段に格納する処理を実行する画像処理システムであって、
第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴とする請求項１〜４の何れかに記載の画像処理システム。
【請求項６】
第３の記憶手段内の遮蔽物不在画像または遮蔽物除去画像を抽出するための時間間隔を、第４の記憶手段に登録する処理と、
第３の記憶手段から上記時間間隔に該当する画像を抽出する処理と、
抽出した各画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理と、
この画像帳票を第５の記憶手段に格納する処理を実行することを特徴とする請求項５に記載の画像処理システム。
【請求項７】
コンピュータに、
所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理、
この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理、
各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行させる画像処理プログラムであって、
さらに上記コンピュータに、第１の記憶手段に格納された各元画像に対して上記の各処理を順次繰り返させることを特徴とする画像処理プログラム。
【請求項８】
所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出するステップと、
この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出するステップと、
各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納するステップを備え、
第１の記憶手段に格納された各元画像に対して上記の各ステップを順次繰り返すことを特徴とする画像処理方法。
【請求項１】
所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理と、
この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理と、
各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行する画像処理システムであって、
第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴とする画像処理システム。
【請求項２】
新たな濃度平均化画像を第２の記憶手段に格納した後に、次の濃度平均化処理に不要となった元画像を第１の記憶手段から消去する処理を実行することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
第１の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像を抽出する処理と、
この元画像と処理対象の元画像との間の差分画像を生成する処理と、
当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
第２の記憶手段から処理対象の元画像よりも時間的に１つ前の元画像に係る濃度平均化画像を抽出する処理と、
この濃度平均化画像と処理対象の元画像との間の差分画像を生成する処理と、
当該差分画像における差分領域の面積を算出し、この面積に応じて平均化の基となる元画像の必要枚数を決定する処理を、濃度平均化処理に際して実行することを特徴とする請求項１または２に記載の画像処理システム。
【請求項５】
第１の記憶手段から１の元画像を処理対象として抽出する処理と、
第２の記憶手段から当該元画像の１つ前の元画像に係る濃度平均化画像を抽出する処理と、
両画像間の対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在しない場合には、当該元画像を遮蔽物不在画像として第３の記憶手段に格納する処理と、
両画素の値に予め設定された誤差幅以上の差異が存在する場合には、元画像側の画素を変更部として認定する処理と、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する処理と、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する処理と、
残された変更領域に係る画素群を元画像から切除し、上記濃度平均化画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた画像を生成する処理と、
この遮蔽物除去画像を第３の記憶手段に格納する処理を実行する画像処理システムであって、
第１の記憶手段に格納された各元画像に対し、上記の各処理を順次繰り返すことを特徴とする請求項１〜４の何れかに記載の画像処理システム。
【請求項６】
第３の記憶手段内の遮蔽物不在画像または遮蔽物除去画像を抽出するための時間間隔を、第４の記憶手段に登録する処理と、
第３の記憶手段から上記時間間隔に該当する画像を抽出する処理と、
抽出した各画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理と、
この画像帳票を第５の記憶手段に格納する処理を実行することを特徴とする請求項５に記載の画像処理システム。
【請求項７】
コンピュータに、
所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出する処理、
この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出する処理、
各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納する処理を実行させる画像処理プログラムであって、
さらに上記コンピュータに、第１の記憶手段に格納された各元画像に対して上記の各処理を順次繰り返させることを特徴とする画像処理プログラム。
【請求項８】
所定の時間間隔で撮影された特定の監視対象物の元画像を複数格納しておく第１の記憶手段から、１の元画像を処理対象として抽出するステップと、
この処理対象の元画像と時間的に連続する過去の必要枚数の元画像を、第１の記憶手段から抽出するステップと、
各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成し、この濃度平均化画像を第２の記憶手段に格納するステップを備え、
第１の記憶手段に格納された各元画像に対して上記の各ステップを順次繰り返すことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−１４０７５７（Ｐ２００６−１４０７５７Ａ）
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願番号】特願２００４−３２８４５５（Ｐ２００４−３２８４５５）
【出願日】平成１６年１１月１２日（２００４．１１．１２）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願日】平成１６年１１月１２日（２００４．１１．１２）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
[ Back to top ]