画像処理システム、画像処理方法、画像処理プログラム
【課題】状況に合致して適切に監視対象物の存在領域を特定する。
【解決手段】カメラにより得られる監視対象画像データを取り込む画像取得手段10により得た画像データについてフレーム間差分を行って物体領域検出を行う第1の検出手段11と、前記画像データについて背景差分を行って物体領域検出を行う第2の検出手段12と、前記第1の検出手段11と前記第2の検出手段12により得られた結果に基づいて監視対象の混雑状態を評価し、前記画像データの品質を映像信号に基づき評価する評価手段13の評価結果に基づいて前記第1の検出手段11のみによる出領域または前記第1及び前記第2の検出手段11、12による検出領域を用いるかの選択を行う選択手段14とを具備する。
【解決手段】カメラにより得られる監視対象画像データを取り込む画像取得手段10により得た画像データについてフレーム間差分を行って物体領域検出を行う第1の検出手段11と、前記画像データについて背景差分を行って物体領域検出を行う第2の検出手段12と、前記第1の検出手段11と前記第2の検出手段12により得られた結果に基づいて監視対象の混雑状態を評価し、前記画像データの品質を映像信号に基づき評価する評価手段13の評価結果に基づいて前記第1の検出手段11のみによる出領域または前記第1及び前記第2の検出手段11、12による検出領域を用いるかの選択を行う選択手段14とを具備する。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
この発明は、道路監視システムや侵入監視システムなどに用いると好適な画像処理システム、画像処理方法、画像処理プログラムに関するものである。
【0002】
【従来の技術】
従来、道路監視や侵入監視の分野においては、カメラにより監視対象を撮像して得られた画像を画像処理して渋滞や事故の検出、或いは侵入者の検出が行われている。
【0003】
従来、画像処理を行って物体(本明細書においては、人も含んで用いる)を検出する手法としては、背景差分処理とフレーム間差分処理という手法が知られている。
【0004】
上記の背景差分処理は、背景画像を正常に作成できる場合には、監視対象物の輪郭を正確に検出することができるという利点がある。しかし、例えば道路が混雑し(渋滞を含む)路面が車両に覆い隠されている場合には、背景画像を正常に作成できず、車両の検出が上手くできないという問題がある。
【0005】
上記に対してフレーム間差分では、輝度の変化やノイズに強くある程度動きの大きい物体ならば環境の変化に影響を受けずに、適切に物体検出を行える。しかし、停止した物体を検出できないという問題点を有している。
【0006】
そこで、上記2つの手法を組み合わせて用いる画像処理システムが検討され、このようなシステムとしては、特開2000−175174号公報、特開平7−334683号公報、特開平6−325157号公報及び特開平6−266841号などに記載のものがある。
【0007】
ところで、明るさが時間と共に変化する外界の環境では時間に応じて周囲環境が変化するため、この時間的な明るさの変化に対応した画像処理の手法が求められる。また、照明がまばらで空間的に明るさの分布があるトンネル内のような環境においては、空間的な明るさの分布に対応した画像処理の手法が求められるものである。
【0008】
【発明が解決しようとする課題】
上記に示した公知のシステムにおいては、このような環境を考慮したものではなく、十分なものとは言えない。本発明は係る現状に鑑みてなされたもので、その目的は、上記2つの画像処理の手法の長所と短所を見極めた上で、様々な状況に応じて画像処理の手法を適切に選択する処理を行い、切り換えを行うことにより状況に合致して適切に監視対象物の存在領域を特定することのできる画像処理システム、画像処理法及び画像処理プログラムを提供することである。
【0009】
【課題を解決するための手段】
本発明に係る画像処理システムは、カメラにより得られる監視対象画像データを取り込む画像取得手段と、前記画像取得手段により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出手段と、前記画像取得手段により取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出手段と、前記第1の検出手段と前記第2の検出手段により得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価手段と、前記評価手段による評価結果に基づいて前記第1の検出手段のみにより得られる検出領域を用いるかまたは前記第1の検出手段及び前記第2の検出手段により得られる検出領域を用いるかの選択を行う選択手段とを具備することを特徴とする。
【0010】
本発明に係る画像処理システムでは、更に前記選択手段により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化手段を具備することを特徴とする。
【0011】
本発明に係る画像処理システムは、前記第1の検出手段においては、差を求めるフレームの間隔を変えて、前記第2の検出手段においては背景画像を変えて、複数の検出領域を求める一方、前記適正化手段においては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴としている。
【0012】
本発明に係る画像処理方法は、カメラにより得られる監視対象画像データを取り込む画像取得ステップと、前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップとを具備することを特徴とする。
【0013】
本発明に係る画像処理方法では、更に前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを具備することを特徴とする。
【0014】
本発明に係る画像処理方法では、前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする。
【0015】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより得られる監視対象画像データを取り込む画像取得ステップと、前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップとを実行させることを特徴とする。
【0016】
本発明に係る画像処理プログラムでは、更に前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを実行させることを特徴とする。
【0017】
本発明に係る画像処理プログラムでは、前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする。
【0018】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理システム、画像処理方法、画像処理プログラムの実施の形態を説明する。図1には、画像処理装置の構成が示されている。この画像処理装置は、図2に示される監視システムの画像処理部計算機2により実現される。
【0019】
図2に示されるように監視システムは、ネットワーク1を介して画像処理部計算機2、統合処理部計算機3、事象判定部計算機4及び表示等を行う報知盤5−1〜5−nが接続されている。画像処理部計算機2には、カメラ6−1〜6−m(mは整数)が接続されている。
【0020】
上記システムにおいては、次のように動作がなされる。カメラ6−1〜6−mが監視対象物の撮像を行って、画像データを画像処理部計算機2へ送る。画像処理部計算機2は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機3へ送る。統合処理部計算機3は画像処理部計算機2から送られた情報に基づき、例えばカメラ6−1〜6−mのいずれにより得られた画像データについて画像処理部計算機2が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機3から事象判定部計算機4へ送られる。事象判定部計算機4は送られた画像データ及び統合処理部計算機3が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【0021】
事象判定部計算機4は判定した結果に基づき、報知盤5−1〜5−nのいずれにどのような内容の情報を送るか等を判定してネットワーク1を介して必要な情報を必要な報知盤へ送出する。斯して報知盤5−1〜5−nによって、所要の情報の報知がなされる。
【0022】
上記の画像処理部計算機2においては、図1に示される各手段により画像処理装置が構成される。この画像処理装置は、画像取得手段10、第1の検出手段11、第2の検出手段12、評価手段13、選択手段14及び適正化手段15を具備している。画像取得手段10は、カメラ6−1〜6−mから監視対象画像データを取り込むものであり、第1の検出手段11と第2の検出手段12へ出力するためにコンピュータ処理可能な画像データに変換している。第1の検出手段11は、画像取得手段10により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行うものである。第2の検出手段12は、画像取得手段10により取り込まれた画像データについて背景差分を行って物体領域検出を行うものである。
【0023】
また、評価手段13は、第1の検出手段11と第2の検出手段12により得られた結果に基づいて監視対象の混雑状態(道路監視であれば渋滞、侵入監視の場合には多数の人の存在)を評価すると共に、カメラ6−1〜6−mから得られた画像データの品質を映像信号に基づき評価するものである。選択手段14は、評価手段13による評価結果に基づいて第1の検出手段11のみにより得られる検出領域を用いるかまたは第1の検出手段11及び第2の検出手段12により得られる検出領域を用いるかの選択を行うものである。更に、適正化手段15は、選択手段14により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行うものである。
【0024】
上記の画像処理装置を構成する画像処理部計算機2は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図3に示すような構成要素からなっている。すなわち、図3の計算機は、装置を統括制御するCPU51を有し、このCPU51に上記CPU51が用いるプログラム及びデータ等の情報が記憶される主記憶装置52が接続されている。更に、CPU51には、システムバス53を介してキーボード制御部54、表示制御部55、プリンタ制御部56、通信インタフェース57、マウス制御部58、磁気ディスク制御部59が接続されている。キーボード制御部54には各種情報をキー入力可能なキーボード入力装置60が接続され、表示制御部55には情報を表示するためのCRT表示装置61が接続され、プリンタ制御部56には情報を印字出力するためのプリンタ装置62が接続され、通信インタフェース57には回線を介して通信を行うための通信処理部63が接続され、マウス制御部58にはポインティングディバイスであるマウス64が接続され、磁気ディスク制御部59には補助記憶装置である磁気ディスク装置65が接続されている。なお、画像処理部計算機2には、CPU51、主記憶装置52、磁気ディスク制御部59、磁気ディスク装置65、通信インタフェース57、通信処理部63が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはICカードリーダ、MO(光磁気ディスク)ドライブ等が設けられる。
【0025】
そして、図1に示した各手段は、CPU51が図4に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置65に格納されており、主メモリを構成する主記憶装置52へ読み出されて実行される。まず、動作が開始され、カメラ6−1〜6−mから画像データの取り込みを行う(S1:画像取得手段10)。
【0026】
次に、1フレームずつの画像データを順次に得て、フレーム間差分により物体の存在領域の検出を実行する(S2)と共に、並行して、背景画像データと順次に得られるフレーム画像データとの差分を得て物体の存在領域の検出を実行する(S3)。
【0027】
ステップS2においてフレーム差分が行われ、ステップS3において背景差分が行われている間に、監視対象の混雑状態の評価と共に、カメラ6−1〜6−mから得られた映像信号に基づく画像データの品質評価を行うことにより、2種類の差分について評価を与える(S4)。つまり、この状況下においては、フレーム間差分のみによる結果を用いるのが良いのか、フレーム間差分と背景差分による結果を用いるのが良いのかを評価する。
【0028】
上記のステップS4における評価に基づいて、フレーム間差分のみによる結果か、フレーム間差分と背景差分による結果かの選択を行い(S5)、選択した差分による結果に係る物体の検出領域について最適化する処理を行い(S6)、最適化により得られた物体の検出領域を車両情報として出力する(S7)。
【0029】
上記におけるステップS2〜S7までの処理の詳細を示すと図5乃至図9のフローチャートのようになる。以下に、詳細を説明する。フレーム間差分処理(S2)と背景差分処理(S3)は、図5のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)を行うと共に、異なる結果が得られるような複数の背景差分処理(S3−1〜S3−n)を行っている。具体的には、複数のフレーム間差分処理(S2−1〜S2−n)においては、各処理において差を求めるフレームの間隔が異なるか又は2値化の際の閾値が異なるようにして、異なる結果得る。また、複数の背景差分処理(S3−1〜S3−n)においては、各処理において背景画像が異なるか又は2値化の際の閾値が異なるようにして、異なる結果得る。
【0030】
各フレーム間差分処理(S2−1〜S2−n)は、処理手順は同じであるので、フレーム間差分処理(S2−1)を代表として説明する。まず、定められているフレーム間隔の画像データについて差分処理を行う(S21)。このステップS21における差分の結果は多値(例えば、256階調)であるから、所定の閾値により2値化を行い2値化画像を得る(S22)。2値化画像により得られる物体の輪郭に相当する領域を物体存在領域として検出し(S23)次の処理へ渡す。
【0031】
また、背景差分処理(S3−1〜S3−n)は、処理手順は同じであるので、背景差分処理(S3−1)を代表として説明する。まず、背景画像データの作成を行う(S31)。次に、現在到来の1フレームの画像データについて上記で作成した背景画像データとの差分処理を行う(S32)。このステップS32における差分の結果は多値(例えば、256階調)であるから、所定の閾値により2値化を行い2値化画像を得る(S33)。2値化画像により得られる物体の輪郭に相当する領域を物体存在領域として検出し(S34)次の処理へ渡す。
【0032】
以上説明したようなステップS2、S3における処理に続いて、図4に示されたステップS4における評価にあっては、図6に示される詳細処理がなされる。まず、混雑しているかを上記ステップS2、S3において求めた検出領域を用いて判定する(S11)。このステップS11における判定は道路監視においては渋滞が発生しているか否かであり、侵入監視においては多数の人が監視エリアに存在しているか否かである。具体的には、画像内に複数の検出領域の存在が認められるときや検出領域が重なっている場合などに、混雑していると判定することができる。
【0033】
上記ステップS11において混雑していると判定すると、図7に示す処理へと移行するが、混雑していないと判定すると、映像の状態を映像信号を入力してS/N比の検出(所定以上のS/N比)やコントラスト(上下輝度の差が所定以上)により映像状態が明瞭であるか不明瞭であるかを検出する(S12)。このステップS12において不明瞭であることが検出されると、車両情報の検出が不能であることを出力して(S13)処理を終了する。また、映像の状態が明瞭であることが検出されると、図8に示し処理へと移行する。
【0034】
図7に示す処理は、フレーム間差分のみによる結果を用いた処理であり、図8に示す処理は、フレーム間差分と背景差分の両方による結果を用いた処理である。上記図6のステップS11において混雑の有無を検出して、混雑している場合には監視領域が物体により覆われ、背景差分によって得られる結果が意味を持たなくなることに鑑み、図7に示すフレーム間差分のみによる結果を用いた処理へ進むようにして、適切な処理を保証している。また、上記図6のステップS12において映像状態を検出して、映像が不明瞭であることにより如何なる処理も意味を持たない場合に処理を行わずに不要な負荷発生を回避している。
【0035】
次に、図7に示すフレーム間差分のみによる結果を用いた処理を説明する。まず、フレーム間差分によって得られた検出領域の取得を行う(S41)。図5のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)が行われているので、複数の検出領域が得られている。そこで、これらの検出領域について比較選択、組み合わせを行って最適な領域を選択する(S42)。この一例として、本願発明者が既に提示した特願2002−106681号に開示の技術を用いることができる。
【0036】
現在の1フレームにおいて実際に例えば車両が存在する領域が、図9(a)、図10(a)、図11(a)において、太枠にて囲った領域であるとする。フレーム間差分処理(S2−1〜S2−n)のいずれかの結果が例えば図9(a)に示すように、「1」が集合した領域として特定される。そこで、図9(b)に示すような領域が監視対象物の検出領域とされる。また、フレーム間差分処理(S2−1〜S2−n)の別の結果が例えば図10(a)に示すように、「1」が集合した領域として特定される。そこで、図10(b)に示すような領域が監視対象物の検出領域とされる。さらに、フレーム間差分処理(S2−1〜S2−n)の更に別の結果が例えば図11(a)に示すように、「1」が集合した領域として特定される。そこで、図11(b)に示すような領域が監視対象物の検出領域とされる。
【0037】
このようにフレーム間差分処理(S2−1〜S2−n)が3通りとされている場合には、ここにおける監視対象物の複数(ここでは3通り)の領域を合成する。ここの合成処理においては、まずは、単純にOR(論理和)演算による合成を行う。図9(b)と図10(b)と図11(b)に示される領域が抽出されているときには、上記OR(論理和)演算により図12に示されるように例えば車両である監視対象物の領域が特定される。
【0038】
上記のようにして図7におけるステップS42にて最適な検出領域が得られると、この結果をフレーム間差分の検出領域情報として出力する(S43)。この特定領域の情報は、画像処理部計算機2が用いて本例における車両の位置を特定し必要な処理に用いる他、統合処理部計算機3と事象判定部計算機4へ送り、事象判定に用いられることになる。
【0039】
次に、図8に示すフレーム間差分と背景差分の両方による結果を用いた処理を説明する。まず、背景差分によって得られた検出領域の取得を行う(S51)。図5のフローチャートに示すように、異なる結果が得られるような複数の背景差分処理(S3−1〜S3−n)が行われているので、複数の検出領域が得られている。次に、フレーム間差分によって得られた検出領域の取得を行う(S52)。図5のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)が行われているので、複数の検出領域が得られている。
【0040】
そこで、これら2方式による複数の検出領域を合成する(S53)。この合成の手法も様々考え得るが、例えば、単なる論理積を求める。フレーム間差分によりn領域が求まり、背景差分によりn領域が求められているのであれば、例えばn×nの合成結果を得ておくようにする。
【0041】
次に、図13に示すステップ54へ進む。このステップS54においては、図8における処理において作成したフレーム間差分のみにより求めた検出領域と、背景差分処理のみより求めた検出領域と、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域のいずれが最適であるかを、例えば、各検出領域と予め保持されている車種毎の領域サンプルとのマッチングが最も得られるものを検出するなどして求める。
【0042】
上記ステップS54において、フレーム間差分のみにより求めた検出領域が最適であることが検出された場合には、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)が行われているので、複数の検出領域が得られているので、これらの検出領域に関して図9〜図12により説明した手法を用いて最適領域を求める(S55)。また、ステップS54において背景差分処理のみより求めた検出領域が最適であることが検出された場合には、異なる結果が得られるような複数の背景差分処理(S3−1〜S3−n)が行われているので、これらの検出領域に関して図9〜図12により説明した手法を用いて最適領域を求める(S56)。更に、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域が最適であることが検出された場合には、図8のステップS53の説明において述べた通り、複数の検出領域が得られているので、これらに関しても、図9〜図12により説明した手法を用いて最適領域を求める(S57)。
【0043】
斯してこのステップS54以降における処理によって、フレーム間差分のみにより求めた検出領域と、背景差分処理のみより求めた検出領域と、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域のいずれが最適であるかに応じて所定の手法による領域が選択される上に、それぞの手法が選択された場合に更にその中において領域の比較選択、組み合わせ及び最適領域の選択がなされ、最も好適な領域が選択されるようになる。
【0044】
なお、以上の実施の形態においては、図4における最適化処理(S6)において図9〜図12により説明した如き処理を行うようにしたが、係る処理は行わずに、ステップS2,S3及びステップS53により得られる複数の領域から1つを選択するようにしても良い。
【0045】
【発明の効果】
以上説明したように本発明によれば、フレーム間差分と背景差分により得られた結果に基づいて監視対象の混雑状態を評価すると共に、カメラから得られた画像データの品質を映像信号に基づき評価し、評価結果に基づいてフレーム間差分のみにより得られる検出領域を用いるかまたはフレーム間差分及び背景差分により得られる検出領域を用いるかの選択を行って、検出領域を得るようにしているので、明るさが時間と共に変化する外界の環境や照明がまばらで空間的に明るさの分布があるトンネル内のような環境に応じて、適切に監視対象物の存在領域を特定し、物体の種別や状況を画像認識する場合に高精度な結果を保証することができる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の機能構成を示すブロック図。
【図2】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図3】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図4】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図5】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図6】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図7】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図8】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図9】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図10】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図11】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図12】本発明に係る画像処理装置による複数の領域特定処理結果を合成して最終的な監視対象物の領域を得る処理を示す図。
【図13】図4に示すフローチャートの要部を詳細に示したフローチャート。
【符号の説明】
1 ネットワーク
2 画像処理部計算機
3 統合処理部計算機
4 事象判定部計算機
5−1〜5−n 報知盤
6−1〜6−m カメラ
10 画像取得手段
11 第1の検出手段
12 第2の検出手段
13 評価手段
14 選択手段
15 適正化手段
【0001】
【発明の属する技術分野】
この発明は、道路監視システムや侵入監視システムなどに用いると好適な画像処理システム、画像処理方法、画像処理プログラムに関するものである。
【0002】
【従来の技術】
従来、道路監視や侵入監視の分野においては、カメラにより監視対象を撮像して得られた画像を画像処理して渋滞や事故の検出、或いは侵入者の検出が行われている。
【0003】
従来、画像処理を行って物体(本明細書においては、人も含んで用いる)を検出する手法としては、背景差分処理とフレーム間差分処理という手法が知られている。
【0004】
上記の背景差分処理は、背景画像を正常に作成できる場合には、監視対象物の輪郭を正確に検出することができるという利点がある。しかし、例えば道路が混雑し(渋滞を含む)路面が車両に覆い隠されている場合には、背景画像を正常に作成できず、車両の検出が上手くできないという問題がある。
【0005】
上記に対してフレーム間差分では、輝度の変化やノイズに強くある程度動きの大きい物体ならば環境の変化に影響を受けずに、適切に物体検出を行える。しかし、停止した物体を検出できないという問題点を有している。
【0006】
そこで、上記2つの手法を組み合わせて用いる画像処理システムが検討され、このようなシステムとしては、特開2000−175174号公報、特開平7−334683号公報、特開平6−325157号公報及び特開平6−266841号などに記載のものがある。
【0007】
ところで、明るさが時間と共に変化する外界の環境では時間に応じて周囲環境が変化するため、この時間的な明るさの変化に対応した画像処理の手法が求められる。また、照明がまばらで空間的に明るさの分布があるトンネル内のような環境においては、空間的な明るさの分布に対応した画像処理の手法が求められるものである。
【0008】
【発明が解決しようとする課題】
上記に示した公知のシステムにおいては、このような環境を考慮したものではなく、十分なものとは言えない。本発明は係る現状に鑑みてなされたもので、その目的は、上記2つの画像処理の手法の長所と短所を見極めた上で、様々な状況に応じて画像処理の手法を適切に選択する処理を行い、切り換えを行うことにより状況に合致して適切に監視対象物の存在領域を特定することのできる画像処理システム、画像処理法及び画像処理プログラムを提供することである。
【0009】
【課題を解決するための手段】
本発明に係る画像処理システムは、カメラにより得られる監視対象画像データを取り込む画像取得手段と、前記画像取得手段により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出手段と、前記画像取得手段により取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出手段と、前記第1の検出手段と前記第2の検出手段により得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価手段と、前記評価手段による評価結果に基づいて前記第1の検出手段のみにより得られる検出領域を用いるかまたは前記第1の検出手段及び前記第2の検出手段により得られる検出領域を用いるかの選択を行う選択手段とを具備することを特徴とする。
【0010】
本発明に係る画像処理システムでは、更に前記選択手段により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化手段を具備することを特徴とする。
【0011】
本発明に係る画像処理システムは、前記第1の検出手段においては、差を求めるフレームの間隔を変えて、前記第2の検出手段においては背景画像を変えて、複数の検出領域を求める一方、前記適正化手段においては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴としている。
【0012】
本発明に係る画像処理方法は、カメラにより得られる監視対象画像データを取り込む画像取得ステップと、前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップとを具備することを特徴とする。
【0013】
本発明に係る画像処理方法では、更に前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを具備することを特徴とする。
【0014】
本発明に係る画像処理方法では、前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする。
【0015】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより得られる監視対象画像データを取り込む画像取得ステップと、前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップとを実行させることを特徴とする。
【0016】
本発明に係る画像処理プログラムでは、更に前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを実行させることを特徴とする。
【0017】
本発明に係る画像処理プログラムでは、前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする。
【0018】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理システム、画像処理方法、画像処理プログラムの実施の形態を説明する。図1には、画像処理装置の構成が示されている。この画像処理装置は、図2に示される監視システムの画像処理部計算機2により実現される。
【0019】
図2に示されるように監視システムは、ネットワーク1を介して画像処理部計算機2、統合処理部計算機3、事象判定部計算機4及び表示等を行う報知盤5−1〜5−nが接続されている。画像処理部計算機2には、カメラ6−1〜6−m(mは整数)が接続されている。
【0020】
上記システムにおいては、次のように動作がなされる。カメラ6−1〜6−mが監視対象物の撮像を行って、画像データを画像処理部計算機2へ送る。画像処理部計算機2は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機3へ送る。統合処理部計算機3は画像処理部計算機2から送られた情報に基づき、例えばカメラ6−1〜6−mのいずれにより得られた画像データについて画像処理部計算機2が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機3から事象判定部計算機4へ送られる。事象判定部計算機4は送られた画像データ及び統合処理部計算機3が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【0021】
事象判定部計算機4は判定した結果に基づき、報知盤5−1〜5−nのいずれにどのような内容の情報を送るか等を判定してネットワーク1を介して必要な情報を必要な報知盤へ送出する。斯して報知盤5−1〜5−nによって、所要の情報の報知がなされる。
【0022】
上記の画像処理部計算機2においては、図1に示される各手段により画像処理装置が構成される。この画像処理装置は、画像取得手段10、第1の検出手段11、第2の検出手段12、評価手段13、選択手段14及び適正化手段15を具備している。画像取得手段10は、カメラ6−1〜6−mから監視対象画像データを取り込むものであり、第1の検出手段11と第2の検出手段12へ出力するためにコンピュータ処理可能な画像データに変換している。第1の検出手段11は、画像取得手段10により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行うものである。第2の検出手段12は、画像取得手段10により取り込まれた画像データについて背景差分を行って物体領域検出を行うものである。
【0023】
また、評価手段13は、第1の検出手段11と第2の検出手段12により得られた結果に基づいて監視対象の混雑状態(道路監視であれば渋滞、侵入監視の場合には多数の人の存在)を評価すると共に、カメラ6−1〜6−mから得られた画像データの品質を映像信号に基づき評価するものである。選択手段14は、評価手段13による評価結果に基づいて第1の検出手段11のみにより得られる検出領域を用いるかまたは第1の検出手段11及び第2の検出手段12により得られる検出領域を用いるかの選択を行うものである。更に、適正化手段15は、選択手段14により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行うものである。
【0024】
上記の画像処理装置を構成する画像処理部計算機2は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図3に示すような構成要素からなっている。すなわち、図3の計算機は、装置を統括制御するCPU51を有し、このCPU51に上記CPU51が用いるプログラム及びデータ等の情報が記憶される主記憶装置52が接続されている。更に、CPU51には、システムバス53を介してキーボード制御部54、表示制御部55、プリンタ制御部56、通信インタフェース57、マウス制御部58、磁気ディスク制御部59が接続されている。キーボード制御部54には各種情報をキー入力可能なキーボード入力装置60が接続され、表示制御部55には情報を表示するためのCRT表示装置61が接続され、プリンタ制御部56には情報を印字出力するためのプリンタ装置62が接続され、通信インタフェース57には回線を介して通信を行うための通信処理部63が接続され、マウス制御部58にはポインティングディバイスであるマウス64が接続され、磁気ディスク制御部59には補助記憶装置である磁気ディスク装置65が接続されている。なお、画像処理部計算機2には、CPU51、主記憶装置52、磁気ディスク制御部59、磁気ディスク装置65、通信インタフェース57、通信処理部63が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはICカードリーダ、MO(光磁気ディスク)ドライブ等が設けられる。
【0025】
そして、図1に示した各手段は、CPU51が図4に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置65に格納されており、主メモリを構成する主記憶装置52へ読み出されて実行される。まず、動作が開始され、カメラ6−1〜6−mから画像データの取り込みを行う(S1:画像取得手段10)。
【0026】
次に、1フレームずつの画像データを順次に得て、フレーム間差分により物体の存在領域の検出を実行する(S2)と共に、並行して、背景画像データと順次に得られるフレーム画像データとの差分を得て物体の存在領域の検出を実行する(S3)。
【0027】
ステップS2においてフレーム差分が行われ、ステップS3において背景差分が行われている間に、監視対象の混雑状態の評価と共に、カメラ6−1〜6−mから得られた映像信号に基づく画像データの品質評価を行うことにより、2種類の差分について評価を与える(S4)。つまり、この状況下においては、フレーム間差分のみによる結果を用いるのが良いのか、フレーム間差分と背景差分による結果を用いるのが良いのかを評価する。
【0028】
上記のステップS4における評価に基づいて、フレーム間差分のみによる結果か、フレーム間差分と背景差分による結果かの選択を行い(S5)、選択した差分による結果に係る物体の検出領域について最適化する処理を行い(S6)、最適化により得られた物体の検出領域を車両情報として出力する(S7)。
【0029】
上記におけるステップS2〜S7までの処理の詳細を示すと図5乃至図9のフローチャートのようになる。以下に、詳細を説明する。フレーム間差分処理(S2)と背景差分処理(S3)は、図5のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)を行うと共に、異なる結果が得られるような複数の背景差分処理(S3−1〜S3−n)を行っている。具体的には、複数のフレーム間差分処理(S2−1〜S2−n)においては、各処理において差を求めるフレームの間隔が異なるか又は2値化の際の閾値が異なるようにして、異なる結果得る。また、複数の背景差分処理(S3−1〜S3−n)においては、各処理において背景画像が異なるか又は2値化の際の閾値が異なるようにして、異なる結果得る。
【0030】
各フレーム間差分処理(S2−1〜S2−n)は、処理手順は同じであるので、フレーム間差分処理(S2−1)を代表として説明する。まず、定められているフレーム間隔の画像データについて差分処理を行う(S21)。このステップS21における差分の結果は多値(例えば、256階調)であるから、所定の閾値により2値化を行い2値化画像を得る(S22)。2値化画像により得られる物体の輪郭に相当する領域を物体存在領域として検出し(S23)次の処理へ渡す。
【0031】
また、背景差分処理(S3−1〜S3−n)は、処理手順は同じであるので、背景差分処理(S3−1)を代表として説明する。まず、背景画像データの作成を行う(S31)。次に、現在到来の1フレームの画像データについて上記で作成した背景画像データとの差分処理を行う(S32)。このステップS32における差分の結果は多値(例えば、256階調)であるから、所定の閾値により2値化を行い2値化画像を得る(S33)。2値化画像により得られる物体の輪郭に相当する領域を物体存在領域として検出し(S34)次の処理へ渡す。
【0032】
以上説明したようなステップS2、S3における処理に続いて、図4に示されたステップS4における評価にあっては、図6に示される詳細処理がなされる。まず、混雑しているかを上記ステップS2、S3において求めた検出領域を用いて判定する(S11)。このステップS11における判定は道路監視においては渋滞が発生しているか否かであり、侵入監視においては多数の人が監視エリアに存在しているか否かである。具体的には、画像内に複数の検出領域の存在が認められるときや検出領域が重なっている場合などに、混雑していると判定することができる。
【0033】
上記ステップS11において混雑していると判定すると、図7に示す処理へと移行するが、混雑していないと判定すると、映像の状態を映像信号を入力してS/N比の検出(所定以上のS/N比)やコントラスト(上下輝度の差が所定以上)により映像状態が明瞭であるか不明瞭であるかを検出する(S12)。このステップS12において不明瞭であることが検出されると、車両情報の検出が不能であることを出力して(S13)処理を終了する。また、映像の状態が明瞭であることが検出されると、図8に示し処理へと移行する。
【0034】
図7に示す処理は、フレーム間差分のみによる結果を用いた処理であり、図8に示す処理は、フレーム間差分と背景差分の両方による結果を用いた処理である。上記図6のステップS11において混雑の有無を検出して、混雑している場合には監視領域が物体により覆われ、背景差分によって得られる結果が意味を持たなくなることに鑑み、図7に示すフレーム間差分のみによる結果を用いた処理へ進むようにして、適切な処理を保証している。また、上記図6のステップS12において映像状態を検出して、映像が不明瞭であることにより如何なる処理も意味を持たない場合に処理を行わずに不要な負荷発生を回避している。
【0035】
次に、図7に示すフレーム間差分のみによる結果を用いた処理を説明する。まず、フレーム間差分によって得られた検出領域の取得を行う(S41)。図5のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)が行われているので、複数の検出領域が得られている。そこで、これらの検出領域について比較選択、組み合わせを行って最適な領域を選択する(S42)。この一例として、本願発明者が既に提示した特願2002−106681号に開示の技術を用いることができる。
【0036】
現在の1フレームにおいて実際に例えば車両が存在する領域が、図9(a)、図10(a)、図11(a)において、太枠にて囲った領域であるとする。フレーム間差分処理(S2−1〜S2−n)のいずれかの結果が例えば図9(a)に示すように、「1」が集合した領域として特定される。そこで、図9(b)に示すような領域が監視対象物の検出領域とされる。また、フレーム間差分処理(S2−1〜S2−n)の別の結果が例えば図10(a)に示すように、「1」が集合した領域として特定される。そこで、図10(b)に示すような領域が監視対象物の検出領域とされる。さらに、フレーム間差分処理(S2−1〜S2−n)の更に別の結果が例えば図11(a)に示すように、「1」が集合した領域として特定される。そこで、図11(b)に示すような領域が監視対象物の検出領域とされる。
【0037】
このようにフレーム間差分処理(S2−1〜S2−n)が3通りとされている場合には、ここにおける監視対象物の複数(ここでは3通り)の領域を合成する。ここの合成処理においては、まずは、単純にOR(論理和)演算による合成を行う。図9(b)と図10(b)と図11(b)に示される領域が抽出されているときには、上記OR(論理和)演算により図12に示されるように例えば車両である監視対象物の領域が特定される。
【0038】
上記のようにして図7におけるステップS42にて最適な検出領域が得られると、この結果をフレーム間差分の検出領域情報として出力する(S43)。この特定領域の情報は、画像処理部計算機2が用いて本例における車両の位置を特定し必要な処理に用いる他、統合処理部計算機3と事象判定部計算機4へ送り、事象判定に用いられることになる。
【0039】
次に、図8に示すフレーム間差分と背景差分の両方による結果を用いた処理を説明する。まず、背景差分によって得られた検出領域の取得を行う(S51)。図5のフローチャートに示すように、異なる結果が得られるような複数の背景差分処理(S3−1〜S3−n)が行われているので、複数の検出領域が得られている。次に、フレーム間差分によって得られた検出領域の取得を行う(S52)。図5のフローチャートに示すように、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)が行われているので、複数の検出領域が得られている。
【0040】
そこで、これら2方式による複数の検出領域を合成する(S53)。この合成の手法も様々考え得るが、例えば、単なる論理積を求める。フレーム間差分によりn領域が求まり、背景差分によりn領域が求められているのであれば、例えばn×nの合成結果を得ておくようにする。
【0041】
次に、図13に示すステップ54へ進む。このステップS54においては、図8における処理において作成したフレーム間差分のみにより求めた検出領域と、背景差分処理のみより求めた検出領域と、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域のいずれが最適であるかを、例えば、各検出領域と予め保持されている車種毎の領域サンプルとのマッチングが最も得られるものを検出するなどして求める。
【0042】
上記ステップS54において、フレーム間差分のみにより求めた検出領域が最適であることが検出された場合には、異なる結果が得られるような複数のフレーム間差分処理(S2−1〜S2−n)が行われているので、複数の検出領域が得られているので、これらの検出領域に関して図9〜図12により説明した手法を用いて最適領域を求める(S55)。また、ステップS54において背景差分処理のみより求めた検出領域が最適であることが検出された場合には、異なる結果が得られるような複数の背景差分処理(S3−1〜S3−n)が行われているので、これらの検出領域に関して図9〜図12により説明した手法を用いて最適領域を求める(S56)。更に、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域が最適であることが検出された場合には、図8のステップS53の説明において述べた通り、複数の検出領域が得られているので、これらに関しても、図9〜図12により説明した手法を用いて最適領域を求める(S57)。
【0043】
斯してこのステップS54以降における処理によって、フレーム間差分のみにより求めた検出領域と、背景差分処理のみより求めた検出領域と、フレーム間差分と背景差分処理とによる検出領域を合成した検出領域のいずれが最適であるかに応じて所定の手法による領域が選択される上に、それぞの手法が選択された場合に更にその中において領域の比較選択、組み合わせ及び最適領域の選択がなされ、最も好適な領域が選択されるようになる。
【0044】
なお、以上の実施の形態においては、図4における最適化処理(S6)において図9〜図12により説明した如き処理を行うようにしたが、係る処理は行わずに、ステップS2,S3及びステップS53により得られる複数の領域から1つを選択するようにしても良い。
【0045】
【発明の効果】
以上説明したように本発明によれば、フレーム間差分と背景差分により得られた結果に基づいて監視対象の混雑状態を評価すると共に、カメラから得られた画像データの品質を映像信号に基づき評価し、評価結果に基づいてフレーム間差分のみにより得られる検出領域を用いるかまたはフレーム間差分及び背景差分により得られる検出領域を用いるかの選択を行って、検出領域を得るようにしているので、明るさが時間と共に変化する外界の環境や照明がまばらで空間的に明るさの分布があるトンネル内のような環境に応じて、適切に監視対象物の存在領域を特定し、物体の種別や状況を画像認識する場合に高精度な結果を保証することができる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の機能構成を示すブロック図。
【図2】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図3】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図4】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図5】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図6】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図7】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図8】図4に示すフローチャートの要部を詳細に示したフローチャート。
【図9】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図10】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図11】本発明に係る画像処理装置による画像処理を説明するための領域特定処理結果の要部を示す図。
【図12】本発明に係る画像処理装置による複数の領域特定処理結果を合成して最終的な監視対象物の領域を得る処理を示す図。
【図13】図4に示すフローチャートの要部を詳細に示したフローチャート。
【符号の説明】
1 ネットワーク
2 画像処理部計算機
3 統合処理部計算機
4 事象判定部計算機
5−1〜5−n 報知盤
6−1〜6−m カメラ
10 画像取得手段
11 第1の検出手段
12 第2の検出手段
13 評価手段
14 選択手段
15 適正化手段
【特許請求の範囲】
【請求項1】
カメラにより得られる監視対象画像データを取り込む画像取得手段と、
前記画像取得手段により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出手段と、
前記画像取得手段により取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出手段と、
前記第1の検出手段と前記第2の検出手段により得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価手段と、
前記評価手段による評価結果に基づいて前記第1の検出手段のみにより得られる検出領域を用いるかまたは前記第1の検出手段及び前記第2の検出手段により得られる検出領域を用いるかの選択を行う選択手段と
を具備することを特徴とする画像処理システム。
【請求項2】
前記選択手段により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化手段を
具備することを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記第1の検出手段においては、差を求めるフレームの間隔を変えて、前記第2の検出手段においては背景画像を変えて、複数の検出領域を求める一方、
前記適正化手段においては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項2に記載の画像処理システム。
【請求項4】
カメラにより得られる監視対象画像データを取り込む画像取得ステップと、
前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、
前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、
前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、
前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップと
を具備することを特徴とする画像処理方法。
【請求項5】
前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを
具備することを特徴とする請求項4に記載の画像処理方法。
【請求項6】
前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、
前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項5に記載の画像処理方法。
【請求項7】
主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、
前記中央処理装置に対し、
カメラにより得られる監視対象画像データを取り込む画像取得ステップと、
前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、
前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、
前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、
前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップと
を実行させることを特徴とする画像処理プログラム。
【請求項8】
前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップ
を実行させることを特徴とする請求項7に記載の画像処理プログラム。
【請求項9】
前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、
前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項8に記載の画像処理方法。
【請求項1】
カメラにより得られる監視対象画像データを取り込む画像取得手段と、
前記画像取得手段により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出手段と、
前記画像取得手段により取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出手段と、
前記第1の検出手段と前記第2の検出手段により得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価手段と、
前記評価手段による評価結果に基づいて前記第1の検出手段のみにより得られる検出領域を用いるかまたは前記第1の検出手段及び前記第2の検出手段により得られる検出領域を用いるかの選択を行う選択手段と
を具備することを特徴とする画像処理システム。
【請求項2】
前記選択手段により選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化手段を
具備することを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記第1の検出手段においては、差を求めるフレームの間隔を変えて、前記第2の検出手段においては背景画像を変えて、複数の検出領域を求める一方、
前記適正化手段においては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項2に記載の画像処理システム。
【請求項4】
カメラにより得られる監視対象画像データを取り込む画像取得ステップと、
前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、
前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、
前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、
前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップと
を具備することを特徴とする画像処理方法。
【請求項5】
前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップを
具備することを特徴とする請求項4に記載の画像処理方法。
【請求項6】
前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、
前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項5に記載の画像処理方法。
【請求項7】
主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、
前記中央処理装置に対し、
カメラにより得られる監視対象画像データを取り込む画像取得ステップと、
前記画像取得ステップにより取り込まれた画像データについてフレーム間差分を行って物体領域検出を行う第1の検出ステップと、
前記画像取得ステップにより取り込まれた画像データについて背景差分を行って物体領域検出を行う第2の検出ステップと、
前記第1の検出ステップと前記第2の検出ステップにより得られた結果に基づいて監視対象の混雑状態を評価すると共に、前記カメラから得られた画像データの品質を映像信号に基づき評価する評価ステップと、
前記評価ステップによる評価結果に基づいて前記第1の検出ステップのみにより得られる検出領域を用いるかまたは前記第1の検出ステップ及び前記第2の検出ステップにより得られる検出領域を用いるかの選択を行う選択ステップと
を実行させることを特徴とする画像処理プログラム。
【請求項8】
前記選択ステップにより選択された検出領域について選択・組み合わせを行って領域形状の適正化を行う適正化ステップ
を実行させることを特徴とする請求項7に記載の画像処理プログラム。
【請求項9】
前記第1の検出ステップにおいては、差を求めるフレームの間隔を変えて、前記第2の検出ステップにおいては背景画像を変えて、複数の検出領域を求める一方、
前記適正化ステップにおいては、この複数の検出領域について選択・組み合わせを行って領域形状の適正化を行うことを特徴とする請求項8に記載の画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2004−7174(P2004−7174A)
【公開日】平成16年1月8日(2004.1.8)
【国際特許分類】
【出願番号】特願2002−159358(P2002−159358)
【出願日】平成14年5月31日(2002.5.31)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成16年1月8日(2004.1.8)
【国際特許分類】
【出願日】平成14年5月31日(2002.5.31)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]