画像処理装置および混雑検知処理プログラム
【課題】カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置において、信頼性の高い混雑度の検知機能を実現する。
【解決手段】画像処理部１３は、カメラ１１で撮影した画像を順次入力し、入力映像の状態によって輝度の変動状況を調査し、安定状態、流動状態、混雑状態の３状態を判定することで、混雑検知を行う。
【解決手段】画像処理部１３は、カメラ１１で撮影した画像を順次入力し、入力映像の状態によって輝度の変動状況を調査し、安定状態、流動状態、混雑状態の３状態を判定することで、混雑検知を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を順次入力し、入力した時系列の複数の画像をもとに移動体の流動状態を監視して混雑状態を検知する混雑検知処理機能を実現した画像処理装置および混雑検知処理プログラムに関する。
【背景技術】
【０００２】
動物体の混雑度を画像処理により検知する画像処理技術として、従来では、エスカレータの昇降付近での混雑を個々の人物の切り出しによる画像処理により検知する混雑度検知技術（特許文献１）や、監視画像内の個々の人物を抽出し、当該人物の個体数を計数することにより混雑度を検出する混雑度判定技術（特許文献２）や、カメラで撮影した画像から人物を抽出し、人物の人数、行動パターンから混雑度を検知する混雑度検知技術（特許文献３）などが存在した。
【０００３】
この種、動物体の混雑度を検知する画像処理技術においては、検知性能の優劣が重大事故を回避する大きな要因となることから、混雑度を高い精度で検知することのできる混雑検知技術が要求される。現状ではこの要求に十分に応えることのできる性能をもつ技術が確立されていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０５５７２７号公報
【特許文献２】特開２００７−２６４７０６号公報
【特許文献３】特開２００８−２１７１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、動物体の混雑度を検知する画像処理技術においては、検知性能の優劣が重大事故を回避する大きな要因となることから、混雑度を高い精度で検知することのできる混雑検知技術が要求され、この要求に十分応えることのできる信頼性の高い技術が確立されていないという問題があった。
【０００６】
本発明は上記実情に鑑みなされたもので、信頼性の高い混雑度の検知性能を期待できる画像処理装置および混雑検知処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、前記混雑検知処理手段は、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部とを具備したことを特徴とする。
【０００８】
また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、前記混雑検知処理手段は、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、前記画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出部と、前記混雑ブロック算出部で算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部とを具備したことを特徴とする。
【０００９】
また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について前記処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能とを前記コンピュータに実現させることを特徴とする。
【００１０】
また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について、前記処理対象画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出機能と、前記混雑ブロック算出機能が算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能とを前記コンピュータに実現させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、カメラで撮影した画像を順次入力し、入力映像の状態によって輝度の変動状況を調査し、安定状態、流動状態、混雑状態の３状態を判定することで、信頼性の高い混雑度の検知機能を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】上記実施形態に係る画像処理装置の画像処理部の構成を示すブロック図。
【図３】上記実施形態に係る画像処理装置の混雑検知判定処理における画素の変動状態判定条件を説明するための図。
【図４】上記実施形態に係る画像処理装置の混雑検知判定処理における安定画素、変動画素、過変動画素の閾値変動を示す図。
【図５】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の判定処理動作を説明するための図。
【図６】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の安定画素、変動画素、過変動画素の占有率算出動作を説明するための図。
【図７】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図８】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図９】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図１０】上記実施形態に係る画像処理装置の混雑検知判定処理における流動、混雑状態の確定、解除と、ログ（流動／混雑）および画像の保存処理動作を説明するためのタイムチャート。
【図１１】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１２】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１３】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１４】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１５】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１６】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１７】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１８】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、本願発明者は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を、変化画素を抽出するための対応する画素の閾値（輝度変動に伴い変動する画素単位の自動閾値）に設定することにより、動物体の追跡性能を改善した画像処理技術を実現した（特開２００８−２５０８９２参照）。この自動閾値の算出処理機能を備えた画像処理技術を応用して、現在画像と過去画像から停止物を検知し、停止物と動物体を区別して画面上に表示することを可能にした停止物検知処理機能を実現した（特願２００９−０４６８８５）。さらに、この停止物検知処理機能の延長技術として上記自動閾値算出処理機能を備えた画像処理技術を応用して、動物体の混雑度（例えば公共利用施設等における人物の混雑度）を検知し、混雑状態にあることを外部装置に対し通知することが可能な混雑検知判定機能の開発を試みた。上記停止物検知処理機能では、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。
【００１４】
本発明の実施形態に係る画像処理装置は、上記輝度変動に伴い変動する画素単位の自動閾値を参照値として、入力映像の輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知する混雑検知判定機能を有する。上記流動状態は、変動画素（一過性の動きを伴う画素）の閾値変動（閾値平均の変動が大きい状態）を監視することにより検出可能である。上記混雑状態（雑踏状態）は過変動画素（継続的に変動している画素＝揺らぎを伴う画素）の閾値変動（閾値平均が高く安定している状態）を監視することにより検出可能である。上記安定状態（定常状態）は安定画素（不変動画素）の閾値変動（閾値平均が低く安定している状態）を監視することにより検出可能である。
【００１５】
以下図面を参照して本発明の実施形態を説明する。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００１６】
本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理部１３と、表示部１４とを具備して構成される。
【００１７】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１８】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、後述する画像バッファに保持する処理機能をもつ。
【００１９】
画像処理部１３は、変動画素抽出処理機能部１３Ａと、混雑検知処理機能部１３Ｂと、判定処理機能部１３Ｃとを具備して構成される。変動画素抽出処理機能部１３Ａは、入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出し、算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する処理機能を実現している。
【００２０】
本自動閾値の算出に当っては、最低閾値上下限値をパラメータで与える。最低閾値とは、自動閾値算出の過程で、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求めるもので、各画素にて設定する閾値の下限値として与える値である。最低閾値上下限値とは、求めた最低閾値の上下限値とするパラメータであり、最低閾値下限値はノイズの過剰検知を抑制するために設定し、最低閾値上限値は、確実に輝度の差として捉えるべき偏差を規定するために設定する。このパラメータとして与える最低閾値上限値を安定画素、流動画素、混雑画素の判定値閾値として利用する。
【００２１】
混雑検知処理機能部１３Ｂは、変動画素抽出処理機能部１３Ａが算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出して、この平均輝度分散および輝度分散の標準偏差と、上記変動画素抽出処理機能部１３Ａの算出で利用する閾値（最低閾値上限値）をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する処理機能を実現している。
【００２２】
判定処理機能部１３Ｃは、混雑検知処理機能部１３Ｂが判定した安定画素、変動画素、過変動画素について上記処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する処理機能を実現している。
【００２３】
表示部１４は、判定処理機能部１３Ｃが判定した混雑状態を表示する。例えば混雑状態を提示した描画情報を、対応する混雑ログとともに採取して保存した撮影画像とともに表示する。また、画素毎の混雑判定結果（安定／流動／混雑）、ブロック単位の混雑判定結果（安定／流動／混雑）、流動検知状態、混雑検知状態、流動ブロック占有率、混雑ブロック占有率、画素毎の閾値、閾値平均、閾値標準偏差、ブロック単位の流動／混雑画素数、処理対象画素数、画面全体の処理対象画素数、流動／混雑画素数、各画素の安定／変動／過変動状態画像、各ブロックの安定／流動／混雑状態画像等の詳細情報をユーザに提示可能にしている。
【００２４】
上記した画像処理部１３における各機能部の構成を図２に示している。なお、この図２に示す実施形態では、上記処理対象画像における画素単位の混雑判定処理機能に加えて上記処理対象画像を複数のブロックに分割した分割領域単位の混雑判定処理機能を備えた機能構成を例示している。
【００２５】
画像処理部１３は、変動画素抽出処理機能部１３Ａを構成する画像バッファメモリ１３０ａおよび自動閾値算出処理部１３１と、混雑検知処理機能部１３Ｂを構成する変動情報算出部１３２および混雑画素抽出部１３３と、判定処理機能部１３Ｃを構成する混雑ブロック算出部１３４および混雑判定処理部１３５と、混雑検知処理機能部１３Ｂおよび判定処理機能部１３Ｃに共通の構成要素である混雑判定データメモリ１３０ｂとを具備して構成される。
【００２６】
画像バッファメモリ１３０ａは、キャプチャ部１２が一定のタイミングで取り込んだフレーム単位の画像を入力画像として時系列に複数フレーム分貯える。この画像バッファメモリ１３０ａ上に貯えられた入力画像に対して混雑検知処理を必要としないマスク領域が設定され、マスク領域の画像を除いた処理対象画像領域の各画素が混雑検知の処理対象画素となる。また、この画像バッファメモリ１３０ａには、外部入力パラメータの入力画像選択指定により、原画像（空間微分画像）またはエッジ画像（輪郭画像）が入力画像として貯えられ、自動閾値算出処理部１３１にて原画像用の自動閾値またはエッジ画像用の自動閾値が算出される。
【００２７】
自動閾値算出処理部１３１は、画像バッファメモリ１３０ａ貯えられた一定期間内の複数の画像（原画像またはエッジ画像）を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値（低輝度の安定画素を抽出するための最低閾値算出を含む）を算出する自動閾値算出部と、上記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出し、算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動画素算出部を具備して構成される。
【００２８】
この自動閾値算出処理部１３１における自動閾値算出部は、本願の発明者により提案された特開２００８−２５０８９２号に記載の自動閾値設定技術により実現されたもので、この自動閾値設定技術では、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を、変化画素を抽出するための対応する画素の閾値に設定している。この自動閾値の算出の過程において、画像上のノイズの影響を排除するために、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求めるもので、各画素にて設定する閾値の下限値として与えることを特徴とする。最低閾値上下限値とは、この求めた最低閾値の上下限値とするパラメータであり、最低閾値下限値はノイズの過剰検知を抑制するために設定し、最低閾値上限値は、確実に輝度の差として捉えるべき偏差を規定するために設定する。
【００２９】
この特開２００８−２５０８９２に記載の自動閾値設定技術により設定された自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。
【００３０】
この発明の実施形態においては、上記特開２００８−２５０８９２に記載した最低閾値上限値を混雑検知に参照情報として利用する閾値（ＦＴｈ）としている。
【００３１】
なお、この自動閾値算出処理部１３１には、図示しないが、自動閾値算出処理用バッファが設けられ、この自動閾値算出処理用バッファには、自動閾値の算出処理に供される演算途中の各種データ、内部パラメータ等を貯える領域、外部入力パラメータを貯える領域等が設けられる。外部入力パラメータとして一例を挙げると、差分処理の画像タイプ（例えば、１；原画像、２；エッジ画像）、自動閾値を計算するための参照フレーム数（例えば、参照フレーム数（ｎ）＝１２）、自動閾値の変動範囲を設定するための原画像用の最低閾値上下限値、エッジ画像用の最低閾値上下限値等の各種パラメータ値が設定される。
【００３２】
自動閾値算出処理部１３１における変動画素算出部は、画像バッファメモリ１３０ａをリード（Ｒ）アクセスし、画像バッファメモリ１３０ａに貯えられた上記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報（輝度分散値ＢＴｉ）を算出し、自動閾値算出処理部１３１の内部に設けたデータバッファに貯える。
【００３３】
変動情報算出部１３２は、変動画素抽出部１３１の内部データバッファに貯えられた輝度分散情報（輝度分散値ＢＴｉ）を、外部入力パラメータにより設定されたフレーム間隔とフレーム数に従う一定のサンプリング周期でリード（Ｒ）し（抽出し）、抽出した設定時間単位の複数の輝度分散情報（輝度分散値ＢＴｉ）について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する。この平均輝度分散の値を画素単位の平均閾値（μＢＴｉ）とし、輝度分散の標準偏差の値を標準偏差（σＢＴｉ）として、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１にライト（Ｗ）し記憶する処理機能を有する。
【００３４】
混雑画素抽出部１３３は、変動画素抽出部１３１から入力した閾値（ＦＴｈ）について、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１から、各画素の平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）をリード（Ｒ）し、閾値（ＦＴｈ）を参照値として、平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）を判定閾値とし、上記画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定結果のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２にライト（Ｗ）し格納する処理機能を有する。
【００３５】
混雑ブロック算出部１３４は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２に貯えられた混雑判定データをリード（Ｒ）し、混雑画素抽出部１３３で判定した安定画素、変動画素、過変動画素について、画像を複数の画素単位でブロック分割した画像領域毎に、安定画素の占有率、変動画素の占有率、過変動画素の占有率を算出し、算出したブロック単位の各占有率のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３にライト（Ｗ）し格納する処理機能を有する。
【００３６】
混雑判定処理部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）アクセスし、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する処理機能を有する。
【００３７】
なお、混雑判定データメモリ１３０ｂには、上記したデータ領域ｂ１〜ｂ３の他に、混雑検知判定画像データ、マスク画像データ等を貯える画像データ格納領域や、混雑検知処理の実行フラグ（例えば、流動検知処理実行フラグ、混雑検知処理実行フラグ等）を貯えるフラグ格納領域や、演算パラメータ（例えば、原画像／エッジ画像設定パラメータ、混雑判定フレーム間隔設定パラメータ、流動判定パラメータ、混雑判定パラメータ等）を貯えるパラメータ格納領域や、演算処理カウンタ（例えば、混雑検知処理カウンタ、処理フレーム間隔判定用カウンタ等）として用いられるカウンタ領域や、その他、混雑検知判定処理に供される演算処理用のバッファ、ポインタ等を貯える、混雑検知判定処理用の作業領域などが設けられる。
【００３８】
上記した図１および図２に示す画像処理装置の動作を図３乃至図１０に示す説明図および図１１乃至図１８に示すフローチャートを参照して説明する。
【００３９】
本発明の実施形態に係る画像処理装置は、入力映像の状態によって輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知することによって混雑検知を行う混雑検知判定機能を実現している。
【００４０】
この混雑検知判定機能を実現する混雑検知判定ロジックの動作の概要を図３乃至図１０を参照して説明する。
【００４１】
（１）．画素単位の混雑判定処理動作
画像処理部１３に設けられた変動画素抽出処理機能部１３Ａの構成要素である変動画素抽出部１３１は、画像バッファメモリ１３０ａに貯えられた一定期間内の複数の画像（原画像またはエッジ画像）を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の輝度分散情報（輝度分散値ＢＴｉ）を算出し内部データバッファに貯える。
【００４２】
混雑検知処理機能部１３Ｂの構成要素である変動情報算出部１３２は、変動画素抽出部１３１の内部データバッファに貯えられた輝度分散情報（輝度分散値ＢＴｉ）を、外部入力パラメータにより設定されたフレーム間隔とフレーム数に従う一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報（輝度分散値ＢＴｉ）について画素あたりの平均輝度分散と輝度分散の標準偏差を算出し、算出した平均輝度分散の値を画素単位の平均閾値（μＢＴｉ）とし、輝度分散の標準偏差の値を標準偏差（σＢＴｉ）として、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１にライト（Ｗ）する。
【００４３】
混雑検知処理機能部１３Ｂの構成要素である混雑画素抽出部１３３は、変動画素抽出部１３１から閾値（ＦＴｈ）を入力し、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１から、対応する画素の平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）をリード（Ｒ）し、閾値（ＦＴｈ）を参照値として、平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）を判定閾値とし、上記画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定結果のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２にライト（Ｗ）する。
【００４４】
この安定／変動／過変動の画素状態の判定で想定している閾値変動を図１および図２に示す。ここでは、平均閾値（μＢＴｉ）の判定閾値を閾値（ＦＴｈ）＝最低閾値上限値とし、標準偏差（σＢＴｉ）の判定閾値を最低閾値上限値×１／２としている。
【００４５】
図３（ａ）（ｂ）に示すように、μＢＴｉとσＢＴｉがともに判定閾値未満であるとき「安定画素」と判定し、σＢＴｉが判定閾値以上であるとき「変動画素」と判定し、μＢＴｉが判定閾値以上で、かつσＢＴｉが判定閾値未満であるとき継続して変動する「過変動画素」と判定する。
【００４６】
この安定画素、変動画素、過変動画素の閾値変動状態を図４（ａ）（ｂ）（ｃ）に例示している。安定画素の閾値は図３（ｂ）および図４（ａ）に示すように、平均閾値が低く、標準偏差も小さい閾値変動特性をもつ。変動画素の閾値は図３（ｂ）および図４（ｂ）に示すように、閾値が大きく変動し標準偏差が大きい閾値変動特性をもつ。動きを伴う画素が継続して変動している過変動画素の閾値は図３（ｂ）および図４（ｃ）に示すように、平均閾値が高い閾値変動特性をもつ。
【００４７】
判定処理機能部１３Ｃの構成要素である混雑判定処理部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）し、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する。
【００４８】
このように、入力画像（原画像／エッジ画像）の閾値算出処理タイミングに同期して、各画素で求めた閾値の時間サンプリング（取得周期は、閾値算出フレーム数×閾値算出ブロックサイズの自動周期で、評価するサンプル数は外部パラメータとする）に対する平均閾値（μＢＴｉ）、標準偏差（σＢＴｉ）を求め、この情報と閾値（ＦＴｈ）を利用して画素単位の安定／変動／過変動画素の状態を判定し、処理対象画像における過変動画素の割合（占有率）から混雑度を判定することにより、信頼性の高い混雑判定率を検出することができる。なお、原画像（輝度）による閾値を利用すると、明るさの変動程度の靄や霧、煙の検知まで可能となり、エッジ画像（輪郭）による閾値を利用すると、人物や車両等のテクスチャをもつオブジェクトの変動を捉えることが可能となる。
【００４９】
（２）．ブロック単位の混雑判定処理動作
判定処理機能部１３Ｃの構成要素である混雑ブロック算出部１３４は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２に貯えられた混雑判定データをリード（Ｒ）し、混雑画素抽出部１３３で判定した安定画素、変動画素、過変動画素について、画像を複数の画素単位でブロック分割した画像領域毎に、安定画素の占有率、変動画素の占有率、過変動画素の占有率を算出し、算出したブロック単位の各占有率のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３にライト（Ｗ）する。
【００５０】
このブロック単位の処理では、混雑検知判定のために、処理対象画像を複数のブロックに分割する。ここでは、一例として、図５に示すように、ＱＶＧＡの１フレーム（３２０×２４０画素）を、８画素×８画素を１ブロックとして、３０×４０ブロック（１２００ブロック）に分割し、分割したブロック内（マスク画素を除く）の安定／変動／過変動画素、処理対象画素の数を管理する。このデータにより、ブロック単位での各種判定を可能とする。すなわち、指定したブロックの面積を分母とし、そのブロックの中で発生している変動画素、過変動画素の数を使用して占有率および混雑度を判定する。このブロック判定処理における占有率の算出手段を図６に示している。ここでは、安定画素占有率を［Σ安定画素／Σ（処理画素数（マスク領域除く））］、変動画素占有率を［Σ変動画素／Σ（処理画素数（マスク領域除く））］、過変動画素占有率を［Σ過変動画素／Σ（処理画素数（マスク領域除く））］で求め、安定画素占有率、変動画素占有率、過変動画素占有率の一番高い状態をそのブロックの状態とする。
【００５１】
判定処理機能部１３Ｃの構成要素である混雑判定処理部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）し、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する。
【００５２】
ここでは、上記したブロック単位の結果をもとに、画面表示と最終判定を行う。「流動判定率」、「混雑判定率」は、処理対象ブロックに対する流動ブロック、混雑ブロックの占める割合を示すもので、混雑検知用の外部入力パラメータ（１〜１０の設定で、１０％〜１００％を意味する）とする。「流動」の判定式を図７に示し、「混雑」の判定式を図８に示している。このパラメータにより、２段階の変化（流動＜混雑の優先順位とする）を判定可能とする。この「流動」判定パラメータ、「混雑」判定パラメータの指定可能範囲を図９に例示している。
【００５３】
また、フレーム単位の状態によって、時間的な連続性を考慮（確定時間、解除時間）し、流動／混雑の確定／解除判定を実施している。この流動／混雑状態の確定／解除とログおよび画像保存の処理タイミングを図１０に示している。
【００５４】
ここでは、流動／混雑と確定した時点の画像とログを保存する。流動／混雑の感度設定は、入力映像と処理結果に依存するため、調整が難航になることが予想されるため、デフォルト設定（設定５：５０％）に対して、流動／混雑確定時のログとそのときの画像、及びその画像に流動判定率／混雑判定率を描画し保存するものとする。ここでは１フレーム分の画像保存とするが、複数フレームの画像保存であってもよい。なお、流動／混雑ログは、定周期保存を可能とし、前回保存と新規保存の間に発生した最大流動判定率／混雑判定率とその時の画像をログとして保存するものとする。また、流動、混雑のそれぞれのログの保存可否設定を可能とする。
【００５５】
ここで、上記した画像処理装置の動作を図１１乃至図１８に示すフローチャートを参照して説明する。
【００５６】
メインの処理フローを図１１乃至図１５に示し、当該メインの処理フローにおける図１１のステップＳ１９における処理手順を図１６に示し、図１６のステップＳ７６における処理手順を図１７および図１８に示している。図１１ステップＳ１１〜図１３ステップＳ４０は、上記した画素単位の混雑判定処理（１）であり、図１４ステップＳ４１〜図１４ステップＳ５５は、上記したブロック単位の混雑判定処理（２）であり、図１５ステップＳ６１〜Ｓ６９は、混雑判定処理部１３５による最終判定処理である。
【００５７】
混雑検知のメイン処理では、まず、処理ステータスを処理未実施で初期化する。すなわち、処理ステータスを未処理状態にする（図１１ステップＳ１１）。
【００５８】
混雑検知処理を可能にするためのセットアップの成功可否、パラメータのセット等をチェックし（図１１ステップＳ１２）、混雑検知処理が可能な状態にセットアップが成功し、パラメータがセットされている場合（図１１ステップＳ１２ Ｙｅｓ）、流動または混雑検知機能（流動／混雑／流動と混雑）の設定がオン（ＯＮ）／オフ（ＯＦＦ）のいずれであるか（流動または混雑の検知タイプが設定されているか否か）をチェックする（図１１ステップＳ１３）。
【００５９】
ここで、流動または混雑検知機能の設定がオフ（ＯＦＦ）である場合（図１１ステップＳ１３ Ｎｏ）、処理ステータスをキャンセルにする（図１１ステップＳ１５）。また、セットアップが成功しない若しくはパラメータがセットされない、混雑検知処理が可能な状態にない場合（図１１ステップＳ１２ Ｎｏ）、処理を終了し初期状態に戻る。
【００６０】
流動または混雑検知機能の設定がオフ（ＯＦＦ）でない場合（図１１ステップＳ１３ Ｙｅｓ）、処理ステータスを処理成功にし（図１１ステップＳ１４）、時間サンプリング用の処理カウンタをインクリメントし（図１１ステップＳ１６）、原画像閾値若しくはエッジ画像閾値の閾値クラスポインタをセットする（図１１ステップＳ１７）。
【００６１】
時間サンプリングの実行タイミングであるか否かをチェックし（図１１ステップＳ１８）、実行タイミングである場合（図１１ステップＳ１８ Ｙｅｓ）は、混雑判定データの更新処理を実行し、混雑検知判定データを更新する（図１１ステップＳ１９）。また、実行タイミングでない場合（図１１ステップＳ１８ Ｎｏ）は、後述する図１５ステップＳ６８以降の処理に入る。
【００６２】
混雑判定データの更新処理（図１１ステップＳ１９）では、閾値データポインタ、マスク画像ポインタ、マスクフラグをセットし（図１６ステップＳ７１）、画像サイズ分ループし、図１６ステップＳ７４〜Ｓ７６の処理を実行する。ここでは、現在注目画素番号を算出し（図１６ステップＳ７４）、マスクフラグＯＦＦまたは注目画素がマスク対象でない場合（図１６ステップＳ７５ Ｙｅｓ）、混雑検知データの更新処理を実行し、混雑検知データを更新する（図１６ステップＳ７６）。
【００６３】
この混雑検知データの更新処理では、更新フラグを未更新で初期化して（図１７ステップＳ８１）、注目画素位置が画面内か否かをチェックし（図１７ステップＳ８２）、画面内でない場合（図１７ステップＳ８２ Ｎｏ）は、未更新を返す。また、画面内である場合（図１７ステップＳ８２ Ｙｅｓ）は、現在格納バッファ番号、入力閾値を取得しセットして（図１７ステップＳ８３）、閾値の二乗を計算し格納する（図１７ステップＳ８４）。
【００６４】
検知準備が完了しているか（処理回数が利用するデータ数に達しているか）否かをチェックし（図１７ステップＳ８５）、検知準備が完了していない場合（図１７ステップＳ８５ Ｎｏ）、入力閾値を使って二乗総和、総和を求め格納する（図１７ステップＳ９１）。
【００６５】
検知準備が完了している場合（図１７ステップＳ８５ Ｙｅｓ）、求めた総和を利用して、二乗平均、平均値を算出して（図１７ステップＳ８６）、算出した平均値をバッファに格納し（図１７ステップＳ８７）、標準偏差を算出して算出した標準偏差をバッファに格納する（図１７ステップＳ８８）。この際、算出した標準偏差が最大値を超過した場合は、最大値とする。
【００６６】
さらに、入力閾値を利用して、閾値総和、二乗総和を算出し、算出した閾値総和、二乗総和によりバッファ内の閾値、閾値二乗更新して（図１７ステップＳ８９）、更新フラグを更新（ＴＲＵＥ）にし（図１７ステップＳ９０）、入力閾値、二乗閾値をそれぞれバッファに格納して（図１８ステップＳ９２，Ｓ９３）、更新フラグを返す。
【００６７】
上記した混雑判定データ更新処理（図１１ステップＳ１９）の後、混雑検知の準備が完了しているか否かをチェックし（図１２ステップＳ２１）、準備完了している場合（図１２ステップＳ２１ Ｙｅｓ）、混雑検知判定結果データを初期化し（図１２ステップＳ２２）、閾値平均値ポインタ、閾値標準偏差ポインタ、マスク画像ポインタをセットし、最低閾値上限値を取得し格納して、混雑判定結果格納先ポインタをセットする（図１２ステップＳ２３）。
【００６８】
画像サイズ分ループし、図１２ステップＳ２５〜図１３ステップＳ３８の処理を実行する。ここでは、注目画素のブロック位置を算出する（図１２ステップＳ２５，Ｓ２７）。
【００６９】
判定結果を安定画素で初期化し（図１２ステップＳ２８）、注目画素がマスクされているか否かをチェックし（図１３ステップＳ３１）、マスクでない場合（図１３ステップＳ３１ Ｙｅｓ）、画面全体の処理対象画素、ブロック単位の処理対象画素数をインクリメントし（図１３ステップＳ３２）、閾値標準偏差と閾値平均値から、混雑画素、流動画素の判定を行う（図１３ステップＳ３３，Ｓ３４）。この判定結果に従い、流動または混雑の画素数をインクリメントし（図１３ステップＳ３５，Ｓ３６）、判定結果を混雑判定画像データに格納して、次の注目画素へシフトする（図１３ステップＳ３７，Ｓ３８）。
【００７０】
ブロック画面分ループし、図１４ステップＳ４３〜Ｓ４９，Ｓ５１〜Ｓ５３の処理を実行する。ここでは、ブロックの状態を安定ブロックで初期化して（図１４ステップＳ４３）、処理対象画素数をチェックする（図１４ステップＳ４４）。
【００７１】
ここで、ブロックのすべての画素がマスクでない場合（図１４ステップＳ４４ Ｙｅｓ）、流動検知と混雑検知の占有率を求めブロックの状態を更新し、混雑検知判定結果（ブロック単位）に格納して、流動検知、混雑検知占有率（画素単位、ブロック単位）を算出し、注目ブロックの判定結果を格納する（図１４ステップＳ４５〜Ｓ４９，Ｓ５１〜Ｓ５３）。
【００７２】
ブロックにマスク画素があるときは（図１４ステップＳ４４ Ｎｏ）、当該注目ブロックの流動、混雑の占有率を０にして当該注目ブロックの判定結果を格納する（図１４ステップＳ５０，Ｓ５３）。
【００７３】
最終判定処理では、算出タイプに従って混雑検知確定処理を実行し、混雑検知処理結果データを格納する（図１５ステップＳ６１〜Ｓ６７）。
【００７４】
処理カウンタの最大値チェックを実施し、最大値に達していたら０クリアして戻り値を返す（図１５ステップＳ６８，Ｓ６９）。
【００７５】
上記したように本発明の実施形態に係る画像処理装置によれば、入力映像の状態によって輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知することによって検知性能に優れた混雑検知判定機能を実現することができる。
【符号の説明】
【００７６】
１１…カメラ、１２…キャプチャ部、１３…画像処理部、１４…表示部、１３Ａ…変動画素抽出処理機能部、１３Ｂ…混雑検知処理機能部、１３Ｃ…判定処理機能部、１３０ａ…画像バッファメモリ、１３０ｂ…混雑判定データメモリ、ｂ１…画像変動情報データ領域、ｂ２…混雑判定データ領域、ｂ３…混雑判定データ領域、１３１…変動画素抽出部、１３２…変動情報算出部、１３３…混雑画素抽出部、１３４…混雑ブロック算出部、１３５…混雑判定処理部、ＦＴｈ…閾値（最低閾値上限値）、μＢＴｉ…平均閾値（平均輝度分散）、σＢＴｉ…標準偏差（輝度分散の標準偏差）。
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を順次入力し、入力した時系列の複数の画像をもとに移動体の流動状態を監視して混雑状態を検知する混雑検知処理機能を実現した画像処理装置および混雑検知処理プログラムに関する。
【背景技術】
【０００２】
動物体の混雑度を画像処理により検知する画像処理技術として、従来では、エスカレータの昇降付近での混雑を個々の人物の切り出しによる画像処理により検知する混雑度検知技術（特許文献１）や、監視画像内の個々の人物を抽出し、当該人物の個体数を計数することにより混雑度を検出する混雑度判定技術（特許文献２）や、カメラで撮影した画像から人物を抽出し、人物の人数、行動パターンから混雑度を検知する混雑度検知技術（特許文献３）などが存在した。
【０００３】
この種、動物体の混雑度を検知する画像処理技術においては、検知性能の優劣が重大事故を回避する大きな要因となることから、混雑度を高い精度で検知することのできる混雑検知技術が要求される。現状ではこの要求に十分に応えることのできる性能をもつ技術が確立されていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０５５７２７号公報
【特許文献２】特開２００７−２６４７０６号公報
【特許文献３】特開２００８−２１７１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、動物体の混雑度を検知する画像処理技術においては、検知性能の優劣が重大事故を回避する大きな要因となることから、混雑度を高い精度で検知することのできる混雑検知技術が要求され、この要求に十分応えることのできる信頼性の高い技術が確立されていないという問題があった。
【０００６】
本発明は上記実情に鑑みなされたもので、信頼性の高い混雑度の検知性能を期待できる画像処理装置および混雑検知処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、前記混雑検知処理手段は、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部とを具備したことを特徴とする。
【０００８】
また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、前記混雑検知処理手段は、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、前記画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出部と、前記混雑ブロック算出部で算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部とを具備したことを特徴とする。
【０００９】
また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について前記処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能とを前記コンピュータに実現させることを特徴とする。
【００１０】
また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について、前記処理対象画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出機能と、前記混雑ブロック算出機能が算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能とを前記コンピュータに実現させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、カメラで撮影した画像を順次入力し、入力映像の状態によって輝度の変動状況を調査し、安定状態、流動状態、混雑状態の３状態を判定することで、信頼性の高い混雑度の検知機能を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】上記実施形態に係る画像処理装置の画像処理部の構成を示すブロック図。
【図３】上記実施形態に係る画像処理装置の混雑検知判定処理における画素の変動状態判定条件を説明するための図。
【図４】上記実施形態に係る画像処理装置の混雑検知判定処理における安定画素、変動画素、過変動画素の閾値変動を示す図。
【図５】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の判定処理動作を説明するための図。
【図６】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の安定画素、変動画素、過変動画素の占有率算出動作を説明するための図。
【図７】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図８】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図９】上記実施形態に係る画像処理装置の混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図１０】上記実施形態に係る画像処理装置の混雑検知判定処理における流動、混雑状態の確定、解除と、ログ（流動／混雑）および画像の保存処理動作を説明するためのタイムチャート。
【図１１】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１２】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１３】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１４】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１５】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１６】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１７】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【図１８】上記実施形態に係る画像処理装置の混雑検知判定処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、本願発明者は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を、変化画素を抽出するための対応する画素の閾値（輝度変動に伴い変動する画素単位の自動閾値）に設定することにより、動物体の追跡性能を改善した画像処理技術を実現した（特開２００８−２５０８９２参照）。この自動閾値の算出処理機能を備えた画像処理技術を応用して、現在画像と過去画像から停止物を検知し、停止物と動物体を区別して画面上に表示することを可能にした停止物検知処理機能を実現した（特願２００９−０４６８８５）。さらに、この停止物検知処理機能の延長技術として上記自動閾値算出処理機能を備えた画像処理技術を応用して、動物体の混雑度（例えば公共利用施設等における人物の混雑度）を検知し、混雑状態にあることを外部装置に対し通知することが可能な混雑検知判定機能の開発を試みた。上記停止物検知処理機能では、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。
【００１４】
本発明の実施形態に係る画像処理装置は、上記輝度変動に伴い変動する画素単位の自動閾値を参照値として、入力映像の輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知する混雑検知判定機能を有する。上記流動状態は、変動画素（一過性の動きを伴う画素）の閾値変動（閾値平均の変動が大きい状態）を監視することにより検出可能である。上記混雑状態（雑踏状態）は過変動画素（継続的に変動している画素＝揺らぎを伴う画素）の閾値変動（閾値平均が高く安定している状態）を監視することにより検出可能である。上記安定状態（定常状態）は安定画素（不変動画素）の閾値変動（閾値平均が低く安定している状態）を監視することにより検出可能である。
【００１５】
以下図面を参照して本発明の実施形態を説明する。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００１６】
本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理部１３と、表示部１４とを具備して構成される。
【００１７】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１８】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、後述する画像バッファに保持する処理機能をもつ。
【００１９】
画像処理部１３は、変動画素抽出処理機能部１３Ａと、混雑検知処理機能部１３Ｂと、判定処理機能部１３Ｃとを具備して構成される。変動画素抽出処理機能部１３Ａは、入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出し、算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する処理機能を実現している。
【００２０】
本自動閾値の算出に当っては、最低閾値上下限値をパラメータで与える。最低閾値とは、自動閾値算出の過程で、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求めるもので、各画素にて設定する閾値の下限値として与える値である。最低閾値上下限値とは、求めた最低閾値の上下限値とするパラメータであり、最低閾値下限値はノイズの過剰検知を抑制するために設定し、最低閾値上限値は、確実に輝度の差として捉えるべき偏差を規定するために設定する。このパラメータとして与える最低閾値上限値を安定画素、流動画素、混雑画素の判定値閾値として利用する。
【００２１】
混雑検知処理機能部１３Ｂは、変動画素抽出処理機能部１３Ａが算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出して、この平均輝度分散および輝度分散の標準偏差と、上記変動画素抽出処理機能部１３Ａの算出で利用する閾値（最低閾値上限値）をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する処理機能を実現している。
【００２２】
判定処理機能部１３Ｃは、混雑検知処理機能部１３Ｂが判定した安定画素、変動画素、過変動画素について上記処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する処理機能を実現している。
【００２３】
表示部１４は、判定処理機能部１３Ｃが判定した混雑状態を表示する。例えば混雑状態を提示した描画情報を、対応する混雑ログとともに採取して保存した撮影画像とともに表示する。また、画素毎の混雑判定結果（安定／流動／混雑）、ブロック単位の混雑判定結果（安定／流動／混雑）、流動検知状態、混雑検知状態、流動ブロック占有率、混雑ブロック占有率、画素毎の閾値、閾値平均、閾値標準偏差、ブロック単位の流動／混雑画素数、処理対象画素数、画面全体の処理対象画素数、流動／混雑画素数、各画素の安定／変動／過変動状態画像、各ブロックの安定／流動／混雑状態画像等の詳細情報をユーザに提示可能にしている。
【００２４】
上記した画像処理部１３における各機能部の構成を図２に示している。なお、この図２に示す実施形態では、上記処理対象画像における画素単位の混雑判定処理機能に加えて上記処理対象画像を複数のブロックに分割した分割領域単位の混雑判定処理機能を備えた機能構成を例示している。
【００２５】
画像処理部１３は、変動画素抽出処理機能部１３Ａを構成する画像バッファメモリ１３０ａおよび自動閾値算出処理部１３１と、混雑検知処理機能部１３Ｂを構成する変動情報算出部１３２および混雑画素抽出部１３３と、判定処理機能部１３Ｃを構成する混雑ブロック算出部１３４および混雑判定処理部１３５と、混雑検知処理機能部１３Ｂおよび判定処理機能部１３Ｃに共通の構成要素である混雑判定データメモリ１３０ｂとを具備して構成される。
【００２６】
画像バッファメモリ１３０ａは、キャプチャ部１２が一定のタイミングで取り込んだフレーム単位の画像を入力画像として時系列に複数フレーム分貯える。この画像バッファメモリ１３０ａ上に貯えられた入力画像に対して混雑検知処理を必要としないマスク領域が設定され、マスク領域の画像を除いた処理対象画像領域の各画素が混雑検知の処理対象画素となる。また、この画像バッファメモリ１３０ａには、外部入力パラメータの入力画像選択指定により、原画像（空間微分画像）またはエッジ画像（輪郭画像）が入力画像として貯えられ、自動閾値算出処理部１３１にて原画像用の自動閾値またはエッジ画像用の自動閾値が算出される。
【００２７】
自動閾値算出処理部１３１は、画像バッファメモリ１３０ａ貯えられた一定期間内の複数の画像（原画像またはエッジ画像）を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値（低輝度の安定画素を抽出するための最低閾値算出を含む）を算出する自動閾値算出部と、上記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出し、算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動画素算出部を具備して構成される。
【００２８】
この自動閾値算出処理部１３１における自動閾値算出部は、本願の発明者により提案された特開２００８−２５０８９２号に記載の自動閾値設定技術により実現されたもので、この自動閾値設定技術では、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を、変化画素を抽出するための対応する画素の閾値に設定している。この自動閾値の算出の過程において、画像上のノイズの影響を排除するために、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求めるもので、各画素にて設定する閾値の下限値として与えることを特徴とする。最低閾値上下限値とは、この求めた最低閾値の上下限値とするパラメータであり、最低閾値下限値はノイズの過剰検知を抑制するために設定し、最低閾値上限値は、確実に輝度の差として捉えるべき偏差を規定するために設定する。
【００２９】
この特開２００８−２５０８９２に記載の自動閾値設定技術により設定された自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。
【００３０】
この発明の実施形態においては、上記特開２００８−２５０８９２に記載した最低閾値上限値を混雑検知に参照情報として利用する閾値（ＦＴｈ）としている。
【００３１】
なお、この自動閾値算出処理部１３１には、図示しないが、自動閾値算出処理用バッファが設けられ、この自動閾値算出処理用バッファには、自動閾値の算出処理に供される演算途中の各種データ、内部パラメータ等を貯える領域、外部入力パラメータを貯える領域等が設けられる。外部入力パラメータとして一例を挙げると、差分処理の画像タイプ（例えば、１；原画像、２；エッジ画像）、自動閾値を計算するための参照フレーム数（例えば、参照フレーム数（ｎ）＝１２）、自動閾値の変動範囲を設定するための原画像用の最低閾値上下限値、エッジ画像用の最低閾値上下限値等の各種パラメータ値が設定される。
【００３２】
自動閾値算出処理部１３１における変動画素算出部は、画像バッファメモリ１３０ａをリード（Ｒ）アクセスし、画像バッファメモリ１３０ａに貯えられた上記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報（輝度分散値ＢＴｉ）を算出し、自動閾値算出処理部１３１の内部に設けたデータバッファに貯える。
【００３３】
変動情報算出部１３２は、変動画素抽出部１３１の内部データバッファに貯えられた輝度分散情報（輝度分散値ＢＴｉ）を、外部入力パラメータにより設定されたフレーム間隔とフレーム数に従う一定のサンプリング周期でリード（Ｒ）し（抽出し）、抽出した設定時間単位の複数の輝度分散情報（輝度分散値ＢＴｉ）について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する。この平均輝度分散の値を画素単位の平均閾値（μＢＴｉ）とし、輝度分散の標準偏差の値を標準偏差（σＢＴｉ）として、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１にライト（Ｗ）し記憶する処理機能を有する。
【００３４】
混雑画素抽出部１３３は、変動画素抽出部１３１から入力した閾値（ＦＴｈ）について、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１から、各画素の平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）をリード（Ｒ）し、閾値（ＦＴｈ）を参照値として、平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）を判定閾値とし、上記画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定結果のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２にライト（Ｗ）し格納する処理機能を有する。
【００３５】
混雑ブロック算出部１３４は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２に貯えられた混雑判定データをリード（Ｒ）し、混雑画素抽出部１３３で判定した安定画素、変動画素、過変動画素について、画像を複数の画素単位でブロック分割した画像領域毎に、安定画素の占有率、変動画素の占有率、過変動画素の占有率を算出し、算出したブロック単位の各占有率のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３にライト（Ｗ）し格納する処理機能を有する。
【００３６】
混雑判定処理部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）アクセスし、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する処理機能を有する。
【００３７】
なお、混雑判定データメモリ１３０ｂには、上記したデータ領域ｂ１〜ｂ３の他に、混雑検知判定画像データ、マスク画像データ等を貯える画像データ格納領域や、混雑検知処理の実行フラグ（例えば、流動検知処理実行フラグ、混雑検知処理実行フラグ等）を貯えるフラグ格納領域や、演算パラメータ（例えば、原画像／エッジ画像設定パラメータ、混雑判定フレーム間隔設定パラメータ、流動判定パラメータ、混雑判定パラメータ等）を貯えるパラメータ格納領域や、演算処理カウンタ（例えば、混雑検知処理カウンタ、処理フレーム間隔判定用カウンタ等）として用いられるカウンタ領域や、その他、混雑検知判定処理に供される演算処理用のバッファ、ポインタ等を貯える、混雑検知判定処理用の作業領域などが設けられる。
【００３８】
上記した図１および図２に示す画像処理装置の動作を図３乃至図１０に示す説明図および図１１乃至図１８に示すフローチャートを参照して説明する。
【００３９】
本発明の実施形態に係る画像処理装置は、入力映像の状態によって輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知することによって混雑検知を行う混雑検知判定機能を実現している。
【００４０】
この混雑検知判定機能を実現する混雑検知判定ロジックの動作の概要を図３乃至図１０を参照して説明する。
【００４１】
（１）．画素単位の混雑判定処理動作
画像処理部１３に設けられた変動画素抽出処理機能部１３Ａの構成要素である変動画素抽出部１３１は、画像バッファメモリ１３０ａに貯えられた一定期間内の複数の画像（原画像またはエッジ画像）を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の輝度分散情報（輝度分散値ＢＴｉ）を算出し内部データバッファに貯える。
【００４２】
混雑検知処理機能部１３Ｂの構成要素である変動情報算出部１３２は、変動画素抽出部１３１の内部データバッファに貯えられた輝度分散情報（輝度分散値ＢＴｉ）を、外部入力パラメータにより設定されたフレーム間隔とフレーム数に従う一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報（輝度分散値ＢＴｉ）について画素あたりの平均輝度分散と輝度分散の標準偏差を算出し、算出した平均輝度分散の値を画素単位の平均閾値（μＢＴｉ）とし、輝度分散の標準偏差の値を標準偏差（σＢＴｉ）として、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１にライト（Ｗ）する。
【００４３】
混雑検知処理機能部１３Ｂの構成要素である混雑画素抽出部１３３は、変動画素抽出部１３１から閾値（ＦＴｈ）を入力し、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１から、対応する画素の平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）をリード（Ｒ）し、閾値（ＦＴｈ）を参照値として、平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）を判定閾値とし、上記画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定結果のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２にライト（Ｗ）する。
【００４４】
この安定／変動／過変動の画素状態の判定で想定している閾値変動を図１および図２に示す。ここでは、平均閾値（μＢＴｉ）の判定閾値を閾値（ＦＴｈ）＝最低閾値上限値とし、標準偏差（σＢＴｉ）の判定閾値を最低閾値上限値×１／２としている。
【００４５】
図３（ａ）（ｂ）に示すように、μＢＴｉとσＢＴｉがともに判定閾値未満であるとき「安定画素」と判定し、σＢＴｉが判定閾値以上であるとき「変動画素」と判定し、μＢＴｉが判定閾値以上で、かつσＢＴｉが判定閾値未満であるとき継続して変動する「過変動画素」と判定する。
【００４６】
この安定画素、変動画素、過変動画素の閾値変動状態を図４（ａ）（ｂ）（ｃ）に例示している。安定画素の閾値は図３（ｂ）および図４（ａ）に示すように、平均閾値が低く、標準偏差も小さい閾値変動特性をもつ。変動画素の閾値は図３（ｂ）および図４（ｂ）に示すように、閾値が大きく変動し標準偏差が大きい閾値変動特性をもつ。動きを伴う画素が継続して変動している過変動画素の閾値は図３（ｂ）および図４（ｃ）に示すように、平均閾値が高い閾値変動特性をもつ。
【００４７】
判定処理機能部１３Ｃの構成要素である混雑判定処理部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）し、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する。
【００４８】
このように、入力画像（原画像／エッジ画像）の閾値算出処理タイミングに同期して、各画素で求めた閾値の時間サンプリング（取得周期は、閾値算出フレーム数×閾値算出ブロックサイズの自動周期で、評価するサンプル数は外部パラメータとする）に対する平均閾値（μＢＴｉ）、標準偏差（σＢＴｉ）を求め、この情報と閾値（ＦＴｈ）を利用して画素単位の安定／変動／過変動画素の状態を判定し、処理対象画像における過変動画素の割合（占有率）から混雑度を判定することにより、信頼性の高い混雑判定率を検出することができる。なお、原画像（輝度）による閾値を利用すると、明るさの変動程度の靄や霧、煙の検知まで可能となり、エッジ画像（輪郭）による閾値を利用すると、人物や車両等のテクスチャをもつオブジェクトの変動を捉えることが可能となる。
【００４９】
（２）．ブロック単位の混雑判定処理動作
判定処理機能部１３Ｃの構成要素である混雑ブロック算出部１３４は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２に貯えられた混雑判定データをリード（Ｒ）し、混雑画素抽出部１３３で判定した安定画素、変動画素、過変動画素について、画像を複数の画素単位でブロック分割した画像領域毎に、安定画素の占有率、変動画素の占有率、過変動画素の占有率を算出し、算出したブロック単位の各占有率のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３にライト（Ｗ）する。
【００５０】
このブロック単位の処理では、混雑検知判定のために、処理対象画像を複数のブロックに分割する。ここでは、一例として、図５に示すように、ＱＶＧＡの１フレーム（３２０×２４０画素）を、８画素×８画素を１ブロックとして、３０×４０ブロック（１２００ブロック）に分割し、分割したブロック内（マスク画素を除く）の安定／変動／過変動画素、処理対象画素の数を管理する。このデータにより、ブロック単位での各種判定を可能とする。すなわち、指定したブロックの面積を分母とし、そのブロックの中で発生している変動画素、過変動画素の数を使用して占有率および混雑度を判定する。このブロック判定処理における占有率の算出手段を図６に示している。ここでは、安定画素占有率を［Σ安定画素／Σ（処理画素数（マスク領域除く））］、変動画素占有率を［Σ変動画素／Σ（処理画素数（マスク領域除く））］、過変動画素占有率を［Σ過変動画素／Σ（処理画素数（マスク領域除く））］で求め、安定画素占有率、変動画素占有率、過変動画素占有率の一番高い状態をそのブロックの状態とする。
【００５１】
判定処理機能部１３Ｃの構成要素である混雑判定処理部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）し、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する。
【００５２】
ここでは、上記したブロック単位の結果をもとに、画面表示と最終判定を行う。「流動判定率」、「混雑判定率」は、処理対象ブロックに対する流動ブロック、混雑ブロックの占める割合を示すもので、混雑検知用の外部入力パラメータ（１〜１０の設定で、１０％〜１００％を意味する）とする。「流動」の判定式を図７に示し、「混雑」の判定式を図８に示している。このパラメータにより、２段階の変化（流動＜混雑の優先順位とする）を判定可能とする。この「流動」判定パラメータ、「混雑」判定パラメータの指定可能範囲を図９に例示している。
【００５３】
また、フレーム単位の状態によって、時間的な連続性を考慮（確定時間、解除時間）し、流動／混雑の確定／解除判定を実施している。この流動／混雑状態の確定／解除とログおよび画像保存の処理タイミングを図１０に示している。
【００５４】
ここでは、流動／混雑と確定した時点の画像とログを保存する。流動／混雑の感度設定は、入力映像と処理結果に依存するため、調整が難航になることが予想されるため、デフォルト設定（設定５：５０％）に対して、流動／混雑確定時のログとそのときの画像、及びその画像に流動判定率／混雑判定率を描画し保存するものとする。ここでは１フレーム分の画像保存とするが、複数フレームの画像保存であってもよい。なお、流動／混雑ログは、定周期保存を可能とし、前回保存と新規保存の間に発生した最大流動判定率／混雑判定率とその時の画像をログとして保存するものとする。また、流動、混雑のそれぞれのログの保存可否設定を可能とする。
【００５５】
ここで、上記した画像処理装置の動作を図１１乃至図１８に示すフローチャートを参照して説明する。
【００５６】
メインの処理フローを図１１乃至図１５に示し、当該メインの処理フローにおける図１１のステップＳ１９における処理手順を図１６に示し、図１６のステップＳ７６における処理手順を図１７および図１８に示している。図１１ステップＳ１１〜図１３ステップＳ４０は、上記した画素単位の混雑判定処理（１）であり、図１４ステップＳ４１〜図１４ステップＳ５５は、上記したブロック単位の混雑判定処理（２）であり、図１５ステップＳ６１〜Ｓ６９は、混雑判定処理部１３５による最終判定処理である。
【００５７】
混雑検知のメイン処理では、まず、処理ステータスを処理未実施で初期化する。すなわち、処理ステータスを未処理状態にする（図１１ステップＳ１１）。
【００５８】
混雑検知処理を可能にするためのセットアップの成功可否、パラメータのセット等をチェックし（図１１ステップＳ１２）、混雑検知処理が可能な状態にセットアップが成功し、パラメータがセットされている場合（図１１ステップＳ１２ Ｙｅｓ）、流動または混雑検知機能（流動／混雑／流動と混雑）の設定がオン（ＯＮ）／オフ（ＯＦＦ）のいずれであるか（流動または混雑の検知タイプが設定されているか否か）をチェックする（図１１ステップＳ１３）。
【００５９】
ここで、流動または混雑検知機能の設定がオフ（ＯＦＦ）である場合（図１１ステップＳ１３ Ｎｏ）、処理ステータスをキャンセルにする（図１１ステップＳ１５）。また、セットアップが成功しない若しくはパラメータがセットされない、混雑検知処理が可能な状態にない場合（図１１ステップＳ１２ Ｎｏ）、処理を終了し初期状態に戻る。
【００６０】
流動または混雑検知機能の設定がオフ（ＯＦＦ）でない場合（図１１ステップＳ１３ Ｙｅｓ）、処理ステータスを処理成功にし（図１１ステップＳ１４）、時間サンプリング用の処理カウンタをインクリメントし（図１１ステップＳ１６）、原画像閾値若しくはエッジ画像閾値の閾値クラスポインタをセットする（図１１ステップＳ１７）。
【００６１】
時間サンプリングの実行タイミングであるか否かをチェックし（図１１ステップＳ１８）、実行タイミングである場合（図１１ステップＳ１８ Ｙｅｓ）は、混雑判定データの更新処理を実行し、混雑検知判定データを更新する（図１１ステップＳ１９）。また、実行タイミングでない場合（図１１ステップＳ１８ Ｎｏ）は、後述する図１５ステップＳ６８以降の処理に入る。
【００６２】
混雑判定データの更新処理（図１１ステップＳ１９）では、閾値データポインタ、マスク画像ポインタ、マスクフラグをセットし（図１６ステップＳ７１）、画像サイズ分ループし、図１６ステップＳ７４〜Ｓ７６の処理を実行する。ここでは、現在注目画素番号を算出し（図１６ステップＳ７４）、マスクフラグＯＦＦまたは注目画素がマスク対象でない場合（図１６ステップＳ７５ Ｙｅｓ）、混雑検知データの更新処理を実行し、混雑検知データを更新する（図１６ステップＳ７６）。
【００６３】
この混雑検知データの更新処理では、更新フラグを未更新で初期化して（図１７ステップＳ８１）、注目画素位置が画面内か否かをチェックし（図１７ステップＳ８２）、画面内でない場合（図１７ステップＳ８２ Ｎｏ）は、未更新を返す。また、画面内である場合（図１７ステップＳ８２ Ｙｅｓ）は、現在格納バッファ番号、入力閾値を取得しセットして（図１７ステップＳ８３）、閾値の二乗を計算し格納する（図１７ステップＳ８４）。
【００６４】
検知準備が完了しているか（処理回数が利用するデータ数に達しているか）否かをチェックし（図１７ステップＳ８５）、検知準備が完了していない場合（図１７ステップＳ８５ Ｎｏ）、入力閾値を使って二乗総和、総和を求め格納する（図１７ステップＳ９１）。
【００６５】
検知準備が完了している場合（図１７ステップＳ８５ Ｙｅｓ）、求めた総和を利用して、二乗平均、平均値を算出して（図１７ステップＳ８６）、算出した平均値をバッファに格納し（図１７ステップＳ８７）、標準偏差を算出して算出した標準偏差をバッファに格納する（図１７ステップＳ８８）。この際、算出した標準偏差が最大値を超過した場合は、最大値とする。
【００６６】
さらに、入力閾値を利用して、閾値総和、二乗総和を算出し、算出した閾値総和、二乗総和によりバッファ内の閾値、閾値二乗更新して（図１７ステップＳ８９）、更新フラグを更新（ＴＲＵＥ）にし（図１７ステップＳ９０）、入力閾値、二乗閾値をそれぞれバッファに格納して（図１８ステップＳ９２，Ｓ９３）、更新フラグを返す。
【００６７】
上記した混雑判定データ更新処理（図１１ステップＳ１９）の後、混雑検知の準備が完了しているか否かをチェックし（図１２ステップＳ２１）、準備完了している場合（図１２ステップＳ２１ Ｙｅｓ）、混雑検知判定結果データを初期化し（図１２ステップＳ２２）、閾値平均値ポインタ、閾値標準偏差ポインタ、マスク画像ポインタをセットし、最低閾値上限値を取得し格納して、混雑判定結果格納先ポインタをセットする（図１２ステップＳ２３）。
【００６８】
画像サイズ分ループし、図１２ステップＳ２５〜図１３ステップＳ３８の処理を実行する。ここでは、注目画素のブロック位置を算出する（図１２ステップＳ２５，Ｓ２７）。
【００６９】
判定結果を安定画素で初期化し（図１２ステップＳ２８）、注目画素がマスクされているか否かをチェックし（図１３ステップＳ３１）、マスクでない場合（図１３ステップＳ３１ Ｙｅｓ）、画面全体の処理対象画素、ブロック単位の処理対象画素数をインクリメントし（図１３ステップＳ３２）、閾値標準偏差と閾値平均値から、混雑画素、流動画素の判定を行う（図１３ステップＳ３３，Ｓ３４）。この判定結果に従い、流動または混雑の画素数をインクリメントし（図１３ステップＳ３５，Ｓ３６）、判定結果を混雑判定画像データに格納して、次の注目画素へシフトする（図１３ステップＳ３７，Ｓ３８）。
【００７０】
ブロック画面分ループし、図１４ステップＳ４３〜Ｓ４９，Ｓ５１〜Ｓ５３の処理を実行する。ここでは、ブロックの状態を安定ブロックで初期化して（図１４ステップＳ４３）、処理対象画素数をチェックする（図１４ステップＳ４４）。
【００７１】
ここで、ブロックのすべての画素がマスクでない場合（図１４ステップＳ４４ Ｙｅｓ）、流動検知と混雑検知の占有率を求めブロックの状態を更新し、混雑検知判定結果（ブロック単位）に格納して、流動検知、混雑検知占有率（画素単位、ブロック単位）を算出し、注目ブロックの判定結果を格納する（図１４ステップＳ４５〜Ｓ４９，Ｓ５１〜Ｓ５３）。
【００７２】
ブロックにマスク画素があるときは（図１４ステップＳ４４ Ｎｏ）、当該注目ブロックの流動、混雑の占有率を０にして当該注目ブロックの判定結果を格納する（図１４ステップＳ５０，Ｓ５３）。
【００７３】
最終判定処理では、算出タイプに従って混雑検知確定処理を実行し、混雑検知処理結果データを格納する（図１５ステップＳ６１〜Ｓ６７）。
【００７４】
処理カウンタの最大値チェックを実施し、最大値に達していたら０クリアして戻り値を返す（図１５ステップＳ６８，Ｓ６９）。
【００７５】
上記したように本発明の実施形態に係る画像処理装置によれば、入力映像の状態によって輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知することによって検知性能に優れた混雑検知判定機能を実現することができる。
【符号の説明】
【００７６】
１１…カメラ、１２…キャプチャ部、１３…画像処理部、１４…表示部、１３Ａ…変動画素抽出処理機能部、１３Ｂ…混雑検知処理機能部、１３Ｃ…判定処理機能部、１３０ａ…画像バッファメモリ、１３０ｂ…混雑判定データメモリ、ｂ１…画像変動情報データ領域、ｂ２…混雑判定データ領域、ｂ３…混雑判定データ領域、１３１…変動画素抽出部、１３２…変動情報算出部、１３３…混雑画素抽出部、１３４…混雑ブロック算出部、１３５…混雑判定処理部、ＦＴｈ…閾値（最低閾値上限値）、μＢＴｉ…平均閾値（平均輝度分散）、σＢＴｉ…標準偏差（輝度分散の標準偏差）。
【特許請求の範囲】
【請求項１】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、
前記混雑検知処理手段は、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、
前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、
前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、
前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部と
を具備したことを特徴とする画像処理装置。
【請求項２】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、
前記混雑検知処理手段は、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、
前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、
前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、
前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、前記処理対象画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出部と、
前記混雑ブロック算出部で算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部と
を具備したことを特徴とする画像処理装置。
【請求項３】
前記混雑画素抽出部は、前記自動閾値算出処理部にて利用する最低閾値上限値を前記閾値として入力し、前記平均輝度分散を平均閾値μＢＴｉ、前記輝度分散の標準偏差を標準偏差σＢＴｉとし、μＢＴｉの判定閾値を前記最低閾値上限値、σＢＴｉの判定閾値を前記最低閾値上限値×１／２として、μＢＴｉとσＢＴｉがともに判定閾値未満であるとき、安定画素と判定し、σＢＴｉが判定閾値以上であるとき変動画素と判定し、μＢＴｉ以上で、かつσＢＴｉ未満であるとき変動が継続している過変動画素と判定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記自動閾値算出処理部は、
前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する第１の輝度変動算出手段と、
前記第１の輝度変動算出手段が算出した画素毎の標準偏差を、前記変化画素を抽出するための対応する画素の閾値に設定する閾値設定手段と、
前記第１の輝度変動算出手段が算出した前記輝度平均値と標準偏差を用いて、前記画像全体の標準偏差平均値と標準偏差を算出する第２の輝度変動算出手段と、
前記第２の輝度変動算出手段が算出した前記標準偏差平均値と標準偏差を用いて、前記閾値設定手段が設定した画素の閾値に代わる最低閾値を算出する最低閾値算出手段と、
前記閾値設定手段が設定した前記画素の閾値を前記最低閾値算出手段が算出した前記最低閾値に置換するか否かを判定し、判定結果に従う閾値を自動閾値とする判定手段と
を具備したことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記最低閾値上限値は、原画像を用いて算出した原画像用の最低閾値、若しくはエッジ画像を用いて算出したエッジ画像用の自動閾値の算出の過程において、画像上のノイズの影響を排除するために、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求め閾値の下限値として設定する最低閾値の上限値であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、
前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、
前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、
前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について前記処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能と
を前記コンピュータに実現させるための混雑検知処理プログラム。
【請求項７】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、
前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、
前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、
前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について、前記処理対象画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出機能と、
前記混雑ブロック算出機能が算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能と
を前記コンピュータに実現させるための混雑検知処理プログラム。
【請求項１】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、
前記混雑検知処理手段は、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、
前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、
前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、
前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部と
を具備したことを特徴とする画像処理装置。
【請求項２】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置であって、
前記混雑検知処理手段は、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、
前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、
前記自動閾値算出処理部の算出で利用する閾値（最低閾値上限値）と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出部と、
前記混雑画素抽出部で判定した前記安定画素、変動画素、過変動画素について、前記処理対象画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出部と、
前記混雑ブロック算出部で算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理部と
を具備したことを特徴とする画像処理装置。
【請求項３】
前記混雑画素抽出部は、前記自動閾値算出処理部にて利用する最低閾値上限値を前記閾値として入力し、前記平均輝度分散を平均閾値μＢＴｉ、前記輝度分散の標準偏差を標準偏差σＢＴｉとし、μＢＴｉの判定閾値を前記最低閾値上限値、σＢＴｉの判定閾値を前記最低閾値上限値×１／２として、μＢＴｉとσＢＴｉがともに判定閾値未満であるとき、安定画素と判定し、σＢＴｉが判定閾値以上であるとき変動画素と判定し、μＢＴｉ以上で、かつσＢＴｉ未満であるとき変動が継続している過変動画素と判定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記自動閾値算出処理部は、
前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する第１の輝度変動算出手段と、
前記第１の輝度変動算出手段が算出した画素毎の標準偏差を、前記変化画素を抽出するための対応する画素の閾値に設定する閾値設定手段と、
前記第１の輝度変動算出手段が算出した前記輝度平均値と標準偏差を用いて、前記画像全体の標準偏差平均値と標準偏差を算出する第２の輝度変動算出手段と、
前記第２の輝度変動算出手段が算出した前記標準偏差平均値と標準偏差を用いて、前記閾値設定手段が設定した画素の閾値に代わる最低閾値を算出する最低閾値算出手段と、
前記閾値設定手段が設定した前記画素の閾値を前記最低閾値算出手段が算出した前記最低閾値に置換するか否かを判定し、判定結果に従う閾値を自動閾値とする判定手段と
を具備したことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記最低閾値上限値は、原画像を用いて算出した原画像用の最低閾値、若しくはエッジ画像を用いて算出したエッジ画像用の自動閾値の算出の過程において、画像上のノイズの影響を排除するために、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求め閾値の下限値として設定する最低閾値の上限値であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、
前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、
前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、
前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について前記処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能と
を前記コンピュータに実現させるための混雑検知処理プログラム。
【請求項７】
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から混雑度を検知する混雑検知処理手段を備えた画像処理装置としてコンピュータを機能させるための混雑検知処理プログラムであって、
前記入力した一定期間内の複数の画像を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、
前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出機能と、
前記自動閾値算出処理機能の算出で利用する閾値（最低閾値上限値）と前記変動情報算出機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する混雑画素抽出機能と、
前記混雑画素抽出機能が判定した前記安定画素、変動画素、過変動画素について、前記処理対象画像を複数の画素単位でブロック分割した画像領域毎に、前記安定画素の占有率、前記変動画素の占有率、前記過変動画素の占有率を算出する混雑ブロック算出機能と、
前記混雑ブロック算出機能が算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する混雑判定処理機能と
を前記コンピュータに実現させるための混雑検知処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１１３５４３（Ｐ２０１１−１１３５４３Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２７２５０３（Ｐ２００９−２７２５０３）
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]