画像処理装置、画像処理方法及び車両監視システム
【課題】 車両の追跡が容易な画像処理装置、画像処理方法および車両監視システムを提供すること。
【解決手段】 画像処理装置５は、道路１０の車両進行方向に沿って複数設置される監視カメラ２からの映像信号をＡ／Ｄ変換して変換画像を得る。その後、画像処理装置５は、変形画像について分割領域を設定し、所定のサンプリング点に基づいて分割画像を得る。画像処理装置５は、この分割画像を道路１０が連続するように合成して合成画像を得て、合成画像に基づいて車両検出を行う。その後、車両の追跡処理が行われ、車両画像や背景画像の補正を経て画像処理装置５から出力された画像データは、モニタ６１に表示される。
【解決手段】 画像処理装置５は、道路１０の車両進行方向に沿って複数設置される監視カメラ２からの映像信号をＡ／Ｄ変換して変換画像を得る。その後、画像処理装置５は、変形画像について分割領域を設定し、所定のサンプリング点に基づいて分割画像を得る。画像処理装置５は、この分割画像を道路１０が連続するように合成して合成画像を得て、合成画像に基づいて車両検出を行う。その後、車両の追跡処理が行われ、車両画像や背景画像の補正を経て画像処理装置５から出力された画像データは、モニタ６１に表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交通監視などに用いられる画像処理装置、画像処理方法及び車両監視システムに関するものである。
【背景技術】
【０００２】
従来、例えば、高速道路や一般道などの監視対象区間を複数の撮影領域に分け、複数の撮影領域毎にカメラを設置し、撮影された映像信号に基づいて画像処理して自動的に車両を検出する画像処理装置が知られている。この画像処理装置では、複数の撮影領域毎に車両検出を行っており、特定の車両を複数の撮影領域に渡って追跡するために、ＩＤや車両画像の転送等を行っている。
【特許文献１】特開２００１−１８４５８６号公報
【特許文献２】特開２００２−５１３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来の画像処理装置では、依然として複数の撮影領域に渡って特定の車両を追跡することが困難である。図１０を参照して説明する。先ず、時刻ｔ1においてＰ1の位置に存在する特定の車両１００が進行し時刻ｔ2においてＰ2の位置まで移動するとする。従来の画像処理装置では、例えば、時刻ｔ1において特定の車両１００の車両画像を記憶し、その後、時刻がｔ2に達すると車両の検出を行う。そして、検出された車両の画像と記憶された車両画像とをテンプレートマッチング等することにより特定の車両１００がＰ2の位置に移動したと判断する。このようにして、従来の画像処理装置では車両の追跡を行っている。
【０００４】
次に特定の車両１００がＰ3の位置に移動したとする。このとき、画像処理装置は、特定の車両１００がＰ2の位置に移動したときと同様にテンプレートマッチング等を行う。しかし、Ｐ3の位置では特定の車両１００は第１及び第２の撮影領域３００ａ，３００ｂに跨がっており、テンプレートマッチング等を行ったとしても特定の車両１００である否かを判断することが難くなっている。このため、画像処理装置は、ＩＤ等を第２の撮影領域３００ｂ側に転送したとしても車両１００にＩＤ等を付与することが難しく、車両を追跡することが困難となっている。
【０００５】
本発明は、上記問題点を解消する為になされたものであり、車両の追跡が容易な画像処理装置、画像処理方法および車両監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明に係る画像処理装置は、道路の車両走行方向に沿って複数設置される撮影手段によって道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換手段によりＡ／Ｄ変換して得られる変換画像について道路を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出手段と、抽出手段により抽出される分割画像を道路が車両走行方向に連続するように合成する合成手段と、合成手段により合成された合成画像に基づいて車両を検出する車両検出手段と、その車両検出手段により検出された車両の位置データに基づいて車両位置の移動を検出する追跡手段とを備えて構成されている。
【０００７】
また、本発明に係る画像処理方法は、道路の車両走行方向に沿って複数設置される撮影手段によって道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、Ａ／Ｄ変換工程によりＡ／Ｄ変換して得られる変換画像について道路を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出工程と、抽出工程により抽出される分割画像を道路が車両走行方向に連続するように合成する合成工程と、合成工程により合成された合成画像に基づいて車両を検出する車両検出工程と、その車両検出工程にて検出された車両の位置データに基づいて車両位置の移動を検出する追跡工程とを備えて構成されている。
【０００８】
また、本発明に係る車両監視システムは、道路の車両走行方向に沿って複数設置される撮影手段と、上記の画像処理装置とを備えて構成されている。
【０００９】
また、本発明に係る車両監視システムでは、画像処理装置からの画像データを画像として表示する表示手段を更に備えることを特徴とする。
【００１０】
これらの発明によれば、道路が車両走行方向に連続するように合成された合成画像に基づいて車両の検出が行われるので、１つの広い画像に対し車両検出を行うこととなる。このため、撮影領域のつなぎ目に車両が存在していたとしても、合成画像自体につなぎ目は存在せず、車両検出後に行われる追跡処理において画像自体のつなぎ目によって車両の追跡が困難となることがない。従って、車両の追跡を容易にすることができる。
【００１１】
また、本発明に係る画像処理装置では、合成手段は、合成画像において道路が縦方向または横方向に向くように、合成を行うことを特徴とする。
【００１２】
これらの場合には、合成画像は道路を真上から眺めたようなものとなるため、監視者等にとって見やすい画像を提供することが可能となる。
【００１３】
また、本発明に係る車両監視システムでは、撮影手段は、道路の各領域を撮影するために領域毎に少なくとも２以上設けられていることを特徴とする。
【００１４】
この場合には、道路の各領域を２以上の撮影手段により異なる角度から撮影することとなるため、例えば、大型車等の影に隠れてしまう普通車を検出することが可能となる。従って、車両の検出精度を向上させることができる。
【発明の効果】
【００１５】
本発明によれば、車両の追跡が容易な画像処理装置、画像処理方法および車両監視システムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面に基づき、本発明の実施形態について説明する。尚、各図において同一要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１７】
実施形態に係る画像処理装置、画像処理方法及び車両監視システムについて説明する。
【００１８】
図１に本実施形態に係る車両監視システムの構成図を示す。図１に示すように、車両監視システムは、道路の交通状態を監視するシステムであり、例えば、トンネル１における交通異常などを検出するシステムに用いられる。車両監視システムは、複数の監視カメラ２を備えている。
【００１９】
監視カメラ２は、道路１０の車両走行方向に沿って複数設置される撮影手段であり、トンネル１内の道路１０を走行する車両１１を撮影するものである。これら監視カメラ２は、トンネル１内に一定の間隔で設置され、道路１０を連続的に撮影するようになっている。監視カメラ２の設置間隔は、例えば、約１５０〜２００ｍとされている。
【００２０】
例えば、監視カメラ２は、トンネル１内の上方に設置され、道路１０を走行する車両１１を前方又は後方の斜め上方から撮影する。なお、監視カメラ２はすべてが上方に設置されていなくともよく、監視対象区域の入口に存在する監視カメラ２が上方に設置され、他の監視カメラ２が側方に設置されていても良い。
【００２１】
各監視カメラ２は、分配器３に接続されている。分配器３は、トンネル１付近に建造される施設４内に設置されており、各監視カメラ２の撮影映像を入力して画像処理装置５に出力する。
【００２２】
画像処理装置５は、監視カメラ２の映像を入力して画像処理するものであり、その画像処理した画像を管制センタ６へ伝送する。画像処理装置５は、例えば、Ａ／Ｄ（analogue-to-digital）変換器、ビデオフレームメモリ、画像処理プロセッサ及び信号出力インターフェースを備えて構成される。
【００２３】
Ａ／Ｄ変換器は、監視カメラ２の映像信号を入力し、それら映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段であり、例えば、ビデオＡ−Ｄコンバータなどが用いられる。ビデオフレームメモリは、変換された複数領域の画像データを記憶するものである。画像データは、ｘ軸、ｙ軸の座標点ごとに濃淡値や色信号を持つ画素の集合であり、その画素の濃淡は例えば８ビットの２５６階調とされる。
【００２４】
画像処理プロセッサは、ビデオフレームメモリに記憶された画像データを画像処理するものである。また、信号出力インターフェースは、画像処理した画像データを外部へ出力するためのものである。
【００２５】
管制センタ６では、画像処理装置５から伝送される画像データがモニタ６１に入力され、そのモニタ６１を通じてトンネル１内の撮影画像が表示される。この画像を通じて、トンネル１内の車両の走行状態を監視員が目視にて監視することができる。モニタ６１は、画像処理装置５からの画像データを画像として表示する表示手段であり、望ましくは横長又は縦長な表示領域を有するものが用いられ、例えばプロジェクタが用いられる。
【００２６】
トンネル１内には、車高センサ７が設けられている場合がある。車高センサ７は、車両１１の車高を検出する車高検出手段であり、道路１０の上方に設置される。車高センサ７としては、例えば、超音波感知器が用いられる。超音波感知器は、車両１１に対し上方から超音波を発し車両１１で反射した反射波を検出して車両１１の上端位置を検出するものである。
【００２７】
車高センサ７は、車両監視システムにおける監視対象区間の入口に設置され、例えば、監視対象区間に合流路などがない場合には、監視対象区間の入口にのみ設置される。
【００２８】
なお、車高センサ７としては、２つの撮影カメラを用いステレオ化画像処理を行うもの、レーザ式測距計又は電波式測距計などを用いてもよく、道路１０を走行する車両１１の車高を検出できるものであれば、超音波感知器以外のものであってもよい。
【００２９】
次に、車両監視システム及び画像処理装置５の動作について説明する。
【００３０】
図１において、監視カメラ２により道路１０を走行する車両１１が撮影され、各監視カメラ２から映像信号が分配器３に入力される。分配器３では監視カメラ２の映像信号を適宜画像処理装置５に入力する。
【００３１】
一方、車高センサ７が設けられている場合には、車高センサ７により道路１０を走行する車両１１の車高が検出され、その検出信号が画像処理装置５に入力される。そして、画像処理装置５により映像信号の画像処理が行われる。
【００３２】
図２に画像処理装置５における画像処理のフローチャートを示す。
【００３３】
図２のＳ１に示すように、画像処理装置５に入力された各映像信号がＡ／Ｄ変換される。Ａ／Ｄ変換は映像信号のアナログ画像をデジタル画像に変換する処理であり、変換後の変換画像データはビデオフレームメモリに記憶される。変換画像は、例えば、図３に示すように、監視カメラ２の位置から道路１０を眺めたときの画像そのものである。この変換画像２０には、道路１０上を走行する各車両１１ａ〜１１ｃが斜め後方から撮影されている。
【００３４】
Ａ／Ｄ変換後、処理は図２のＳ２に移行し、抽出処理が行われる。抽出処理は、Ａ／Ｄ変換された各変換画像について道路１０を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する処理である。図４のように、分割領域３０は、道路１０を車両走行方向に沿って所定の長さで分割して設定されている。また、分割領域３０は、各監視カメラ２の変換画像毎に１つずつ設定される。そして、各分割領域３０は、図５に示すように、それぞれが重なり合うことなく設定されている。なお、各分割領域３０は、必ずしも重なり合うことなく設定されている必要は無く、重なり合っていたとしても後の処理において重なり部分をカットすればよい。以下の説明については、各分割領域３０が重なり合うことなく設定されているものとして説明する。
【００３５】
分割画像は、分割領域３０内に予め設定されたサンプリング点の画素データを抽出して形成される。図６は、分割領域３０に設定されるサンプリング点の概要説明図である。図６に示すように、サンプリング点３１は、道路１０の車両進行方向および道路横断方向のそれぞれの方向に沿って格子状に配列して設定される。このようにサンプリング点３１を設定することにより、サンプリング点３１における画素データを、車両走行方向と道路横断方向とを直交させた座標系の画素データとして配置するだけで、道路１０を平面視した画像を容易に作成できる。
【００３６】
分割画像抽出後、処理は図２のＳ３に移行し、合成処理が行われる。合成処理は、抽出処理により抽出された分割画像を道路１０が車両走行方向に連続するように合成する処理である。また、ここでは、合成画像において道路１０が縦方向または横方向に向くように、合成が行われる。
【００３７】
道路１０を横方向に向けて合成した合成画像の例を図７に示す。合成画像４０は、各分割領域３０の分割画像を車両走行方向に連結して１つの画像としたものである。例えば、合成画像４０は、各々異なる映像信号に基づいて作成された各分割画像の画素データを同一座標系の画素データとして設定し表したものである。合成画像データは、各分割画像データを１つのメモリに格納して構成することが望ましい。なお、各分割領域３０はそれぞれが重なり合うことなく設定されているので、ここでの合成処理では、重複部分を考慮することなく容易に合成が行える。
【００３８】
また、図７に示すように、合成画像４０は、道路１０を真上から眺めたようになっている。このような合成画像４０を得るためには、図４に示す分割領域３０を合成するだけでなく、演算により各分割領域３０を真上から眺めたように変形する必要がある。しかしながら、本実施形態では、サンプリング点３１を図６に示すように設定しているので、抽出と共に変形も行われていることとなり、変形処理が不要となっている。
【００３９】
合成後、図２のＳ４に移行し、合成処理により合成された合成画像に基づいて車両１１を検出する車両検出処理が行われる。車両検出処理は、例えば、予め画像処理装置５が備えている背景画像と合成画像４０と比較する背景差分方式により行われる。
【００４０】
そして、Ｓ５に移行し、車両検出処理により検出された車両１１が合成画像から新たに検出されたものであるか否かが判断される。検出された車両１１が合成画像から新たに検出されたものでないと判断された場合、処理はＳ８に移行する。一方、車両１１が合成画像から新たに検出されたものであると判断された場合、処理はＳ６に移行する。なお、監視対象区間に合流がない限り、車両１１は、合成画像のうち監視対象区間の入口付近で新たに検出される。このため、入口に設けられた監視カメラ２からのデータのみに基づいて新たに監視対象区間に進入した車両１１を検出するようにしてもよい。また、監視対象区間に合流がある場合、入口及び合流ポイントに設置された監視カメラ２からのデータのみに基づいて新たな車両１１を検出するようにしてもよい。
【００４１】
Ｓ６では、新たに検出された車両１１の車両画像を車高に応じて補正する車両補正処理が行われる。ここでの補正を行わない場合、車両１１は図８に示すようになってしまう。図８に示すように、撮影位置から遠い場所を走行する車両１１ｂ、１１ｃは、撮影位置から近い場所を走行する車両１１ａと比較すると、歪みが大きくなる傾向がある。特に、車高の高いトラックなどの車両１１ｃの歪みは大きい。
【００４２】
このため、図２のＳ６の処理において補正が行われている。車両補正処理は、例えば、車高センサ７が検出した車高データに基づいて行われ、車両１１の車高が高いほど車両１１の車高を低くするように行われる。このように車両補正処理を行うことにより、図８に示す各車両１１ａ〜１１ｃが図９に示すように補正される。
【００４３】
補正後、処理はＳ７に移行する。Ｓ７では、補正された車両画像が記憶される。すなわち、図９に示すように、歪が除去された各車両１１ａ〜１１ｃの車両画像が記憶される。
【００４４】
そして、処理は図２のＳ８に移行し、追跡処理が行われる。追跡処理は、例えば、現在監視対象区間を走行している車両１１の画像と以前に記憶した車両画像とをマッチングさせることにより、車両画像として記憶された車両１１がどの位置に存在するかを判断する処理である。なお、Ｓ７において車両画像として記憶された車両１１ａ〜１１ｃに関しては、それらが移動し次回の位置データが得られたときに追跡処理が行われる。
【００４５】
その後、Ｓ９において、車両１１の位置に記憶されていた車両画像が貼り付けられる。これにより、車両１１の位置に記憶されていた車両画像が表示されることとなる。なお、Ｓ７において車両画像として記憶された車両１１ａ〜１１ｃに関しては、それらが後に他の位置に移動した場合に、その移動位置に車両画像が貼り付けられる。
【００４６】
そして、Ｓ１０に移行し、背景補正処理が行われる。背景補正処理は、車両画像の補正に応じて背景画像を補正する処理である。例えば、図９に示す車両１１ｃの場合、補正前の車両１１ｃが占めていた領域５０内における背景部分が補正される。これは、車両画像のみを補正し背景画像を補正しないと、画像を表示した際に背景画像に違和感が生じてしまうからである。
【００４７】
その後、これらの一連の処理を経て得られた画像データが管制センタ６に伝送され、管制センタ６のモニタ６１に画像として表示される。また、図２における一連の処理は所定時間間隔で繰り返し行われる。
【００４８】
以上のように、本実施形態によれば、道路１０が車両走行方向に連続するように合成された合成画像４０に基づいて車両１１の検出が行われるので、１つの広い画像に対し車両検出を行うこととなる。このため、撮影領域のつなぎ目に車両１１が存在していたとしても、合成画像４０自体につなぎ目は存在せず、車両検出後に行われる追跡処理において画像自体のつなぎ目によって車両の追跡が困難となることがない。従って、車両１１の追跡を容易にすることができる。
【００４９】
また、合成画像４０は道路１０を真上から眺めたようなものとなるため、監視者等にとって見やすい画像を提供することが可能となる。
【００５０】
また、記憶された車両画像が車両移動位置に表示させるので、車両１１が検出されるごとに車両画像の補正を行う必要がない。このため、処理が迅速に行えるようになる。
【００５１】
また、車両画像の補正の際に生じた背景画像との不整合等が解消されることとなる。従って、表示の際に、車両画像の補正による違和感を除去することができる。
【００５２】
また、分割領域３０内のサンプリング点３１は、道路１０の車両進行方向および道路横断方向のそれぞれの方向に沿って格子状に配列して設定されるので、抽出と共に変形も行われていることとなり、変形処理が不要となっている。
【００５３】
また、本実施形態によれば、各分割領域３０はそれぞれが重なり合うことなく設定されているので、重複部分を考慮することなく容易に合成することができる。
【００５４】
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は上記実施形態に限定されるものではない。例えば、車両検出処理において車両の検出が正確に行われなかった場合、その車両を背景画像の１つとして処理して、補正されていない車両画像を表示させるようにしてもよいし、その車両の過去の動きベクトル及び前後の車両の動きを元に検出されなかった車両の位置を予測し、その位置に補正され記憶された車両画像を表示させてもよい。さらには、監視カメラ２は、道路１０の各領域を撮影するために領域毎に少なくとも２以上設けられていてもよい。この場合、道路１０の各領域を２以上の監視カメラ２により異なる角度から撮影することとなるため、例えば、大型車等の影に隠れてしまう普通車を検出することが可能となる。従って、車両１１の検出精度を向上させることができる。
【図面の簡単な説明】
【００５５】
【図１】本実施形態に係る車両監視システムの構成図である。
【図２】図１に示す画像処理装置の処理を示すフローチャートである。
【図３】変形画像の一例を示す図である。
【図４】分割領域の一例を示す図である。
【図５】分割領域に設定されるサンプリング点の概要説明図である。
【図６】図４に示す分割領域に設定されるサンプリング点の様子を示す図である。
【図７】道路を横方向に向けて合成した合成画像の例を示す図である。
【図８】車両補正処理を行わずに車両を表示した場合の例を示す図である。
【図９】車両補正処理を行って車両を表示した場合の例を示す図である。
【図１０】従来の車両追跡処理の一例を説明する図である。
【符号の説明】
【００５６】
２…監視カメラ、５…画像処理装置、７…車高センサ、１０…道路、１１…車両、２０…変換画像、３０…分割領域、３１…サンプリング点、３２…分割画像、４０…合成画像、６１…モニタ。
【技術分野】
【０００１】
本発明は、交通監視などに用いられる画像処理装置、画像処理方法及び車両監視システムに関するものである。
【背景技術】
【０００２】
従来、例えば、高速道路や一般道などの監視対象区間を複数の撮影領域に分け、複数の撮影領域毎にカメラを設置し、撮影された映像信号に基づいて画像処理して自動的に車両を検出する画像処理装置が知られている。この画像処理装置では、複数の撮影領域毎に車両検出を行っており、特定の車両を複数の撮影領域に渡って追跡するために、ＩＤや車両画像の転送等を行っている。
【特許文献１】特開２００１−１８４５８６号公報
【特許文献２】特開２００２−５１３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来の画像処理装置では、依然として複数の撮影領域に渡って特定の車両を追跡することが困難である。図１０を参照して説明する。先ず、時刻ｔ1においてＰ1の位置に存在する特定の車両１００が進行し時刻ｔ2においてＰ2の位置まで移動するとする。従来の画像処理装置では、例えば、時刻ｔ1において特定の車両１００の車両画像を記憶し、その後、時刻がｔ2に達すると車両の検出を行う。そして、検出された車両の画像と記憶された車両画像とをテンプレートマッチング等することにより特定の車両１００がＰ2の位置に移動したと判断する。このようにして、従来の画像処理装置では車両の追跡を行っている。
【０００４】
次に特定の車両１００がＰ3の位置に移動したとする。このとき、画像処理装置は、特定の車両１００がＰ2の位置に移動したときと同様にテンプレートマッチング等を行う。しかし、Ｐ3の位置では特定の車両１００は第１及び第２の撮影領域３００ａ，３００ｂに跨がっており、テンプレートマッチング等を行ったとしても特定の車両１００である否かを判断することが難くなっている。このため、画像処理装置は、ＩＤ等を第２の撮影領域３００ｂ側に転送したとしても車両１００にＩＤ等を付与することが難しく、車両を追跡することが困難となっている。
【０００５】
本発明は、上記問題点を解消する為になされたものであり、車両の追跡が容易な画像処理装置、画像処理方法および車両監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明に係る画像処理装置は、道路の車両走行方向に沿って複数設置される撮影手段によって道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換手段によりＡ／Ｄ変換して得られる変換画像について道路を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出手段と、抽出手段により抽出される分割画像を道路が車両走行方向に連続するように合成する合成手段と、合成手段により合成された合成画像に基づいて車両を検出する車両検出手段と、その車両検出手段により検出された車両の位置データに基づいて車両位置の移動を検出する追跡手段とを備えて構成されている。
【０００７】
また、本発明に係る画像処理方法は、道路の車両走行方向に沿って複数設置される撮影手段によって道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、Ａ／Ｄ変換工程によりＡ／Ｄ変換して得られる変換画像について道路を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出工程と、抽出工程により抽出される分割画像を道路が車両走行方向に連続するように合成する合成工程と、合成工程により合成された合成画像に基づいて車両を検出する車両検出工程と、その車両検出工程にて検出された車両の位置データに基づいて車両位置の移動を検出する追跡工程とを備えて構成されている。
【０００８】
また、本発明に係る車両監視システムは、道路の車両走行方向に沿って複数設置される撮影手段と、上記の画像処理装置とを備えて構成されている。
【０００９】
また、本発明に係る車両監視システムでは、画像処理装置からの画像データを画像として表示する表示手段を更に備えることを特徴とする。
【００１０】
これらの発明によれば、道路が車両走行方向に連続するように合成された合成画像に基づいて車両の検出が行われるので、１つの広い画像に対し車両検出を行うこととなる。このため、撮影領域のつなぎ目に車両が存在していたとしても、合成画像自体につなぎ目は存在せず、車両検出後に行われる追跡処理において画像自体のつなぎ目によって車両の追跡が困難となることがない。従って、車両の追跡を容易にすることができる。
【００１１】
また、本発明に係る画像処理装置では、合成手段は、合成画像において道路が縦方向または横方向に向くように、合成を行うことを特徴とする。
【００１２】
これらの場合には、合成画像は道路を真上から眺めたようなものとなるため、監視者等にとって見やすい画像を提供することが可能となる。
【００１３】
また、本発明に係る車両監視システムでは、撮影手段は、道路の各領域を撮影するために領域毎に少なくとも２以上設けられていることを特徴とする。
【００１４】
この場合には、道路の各領域を２以上の撮影手段により異なる角度から撮影することとなるため、例えば、大型車等の影に隠れてしまう普通車を検出することが可能となる。従って、車両の検出精度を向上させることができる。
【発明の効果】
【００１５】
本発明によれば、車両の追跡が容易な画像処理装置、画像処理方法および車両監視システムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面に基づき、本発明の実施形態について説明する。尚、各図において同一要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１７】
実施形態に係る画像処理装置、画像処理方法及び車両監視システムについて説明する。
【００１８】
図１に本実施形態に係る車両監視システムの構成図を示す。図１に示すように、車両監視システムは、道路の交通状態を監視するシステムであり、例えば、トンネル１における交通異常などを検出するシステムに用いられる。車両監視システムは、複数の監視カメラ２を備えている。
【００１９】
監視カメラ２は、道路１０の車両走行方向に沿って複数設置される撮影手段であり、トンネル１内の道路１０を走行する車両１１を撮影するものである。これら監視カメラ２は、トンネル１内に一定の間隔で設置され、道路１０を連続的に撮影するようになっている。監視カメラ２の設置間隔は、例えば、約１５０〜２００ｍとされている。
【００２０】
例えば、監視カメラ２は、トンネル１内の上方に設置され、道路１０を走行する車両１１を前方又は後方の斜め上方から撮影する。なお、監視カメラ２はすべてが上方に設置されていなくともよく、監視対象区域の入口に存在する監視カメラ２が上方に設置され、他の監視カメラ２が側方に設置されていても良い。
【００２１】
各監視カメラ２は、分配器３に接続されている。分配器３は、トンネル１付近に建造される施設４内に設置されており、各監視カメラ２の撮影映像を入力して画像処理装置５に出力する。
【００２２】
画像処理装置５は、監視カメラ２の映像を入力して画像処理するものであり、その画像処理した画像を管制センタ６へ伝送する。画像処理装置５は、例えば、Ａ／Ｄ（analogue-to-digital）変換器、ビデオフレームメモリ、画像処理プロセッサ及び信号出力インターフェースを備えて構成される。
【００２３】
Ａ／Ｄ変換器は、監視カメラ２の映像信号を入力し、それら映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段であり、例えば、ビデオＡ−Ｄコンバータなどが用いられる。ビデオフレームメモリは、変換された複数領域の画像データを記憶するものである。画像データは、ｘ軸、ｙ軸の座標点ごとに濃淡値や色信号を持つ画素の集合であり、その画素の濃淡は例えば８ビットの２５６階調とされる。
【００２４】
画像処理プロセッサは、ビデオフレームメモリに記憶された画像データを画像処理するものである。また、信号出力インターフェースは、画像処理した画像データを外部へ出力するためのものである。
【００２５】
管制センタ６では、画像処理装置５から伝送される画像データがモニタ６１に入力され、そのモニタ６１を通じてトンネル１内の撮影画像が表示される。この画像を通じて、トンネル１内の車両の走行状態を監視員が目視にて監視することができる。モニタ６１は、画像処理装置５からの画像データを画像として表示する表示手段であり、望ましくは横長又は縦長な表示領域を有するものが用いられ、例えばプロジェクタが用いられる。
【００２６】
トンネル１内には、車高センサ７が設けられている場合がある。車高センサ７は、車両１１の車高を検出する車高検出手段であり、道路１０の上方に設置される。車高センサ７としては、例えば、超音波感知器が用いられる。超音波感知器は、車両１１に対し上方から超音波を発し車両１１で反射した反射波を検出して車両１１の上端位置を検出するものである。
【００２７】
車高センサ７は、車両監視システムにおける監視対象区間の入口に設置され、例えば、監視対象区間に合流路などがない場合には、監視対象区間の入口にのみ設置される。
【００２８】
なお、車高センサ７としては、２つの撮影カメラを用いステレオ化画像処理を行うもの、レーザ式測距計又は電波式測距計などを用いてもよく、道路１０を走行する車両１１の車高を検出できるものであれば、超音波感知器以外のものであってもよい。
【００２９】
次に、車両監視システム及び画像処理装置５の動作について説明する。
【００３０】
図１において、監視カメラ２により道路１０を走行する車両１１が撮影され、各監視カメラ２から映像信号が分配器３に入力される。分配器３では監視カメラ２の映像信号を適宜画像処理装置５に入力する。
【００３１】
一方、車高センサ７が設けられている場合には、車高センサ７により道路１０を走行する車両１１の車高が検出され、その検出信号が画像処理装置５に入力される。そして、画像処理装置５により映像信号の画像処理が行われる。
【００３２】
図２に画像処理装置５における画像処理のフローチャートを示す。
【００３３】
図２のＳ１に示すように、画像処理装置５に入力された各映像信号がＡ／Ｄ変換される。Ａ／Ｄ変換は映像信号のアナログ画像をデジタル画像に変換する処理であり、変換後の変換画像データはビデオフレームメモリに記憶される。変換画像は、例えば、図３に示すように、監視カメラ２の位置から道路１０を眺めたときの画像そのものである。この変換画像２０には、道路１０上を走行する各車両１１ａ〜１１ｃが斜め後方から撮影されている。
【００３４】
Ａ／Ｄ変換後、処理は図２のＳ２に移行し、抽出処理が行われる。抽出処理は、Ａ／Ｄ変換された各変換画像について道路１０を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する処理である。図４のように、分割領域３０は、道路１０を車両走行方向に沿って所定の長さで分割して設定されている。また、分割領域３０は、各監視カメラ２の変換画像毎に１つずつ設定される。そして、各分割領域３０は、図５に示すように、それぞれが重なり合うことなく設定されている。なお、各分割領域３０は、必ずしも重なり合うことなく設定されている必要は無く、重なり合っていたとしても後の処理において重なり部分をカットすればよい。以下の説明については、各分割領域３０が重なり合うことなく設定されているものとして説明する。
【００３５】
分割画像は、分割領域３０内に予め設定されたサンプリング点の画素データを抽出して形成される。図６は、分割領域３０に設定されるサンプリング点の概要説明図である。図６に示すように、サンプリング点３１は、道路１０の車両進行方向および道路横断方向のそれぞれの方向に沿って格子状に配列して設定される。このようにサンプリング点３１を設定することにより、サンプリング点３１における画素データを、車両走行方向と道路横断方向とを直交させた座標系の画素データとして配置するだけで、道路１０を平面視した画像を容易に作成できる。
【００３６】
分割画像抽出後、処理は図２のＳ３に移行し、合成処理が行われる。合成処理は、抽出処理により抽出された分割画像を道路１０が車両走行方向に連続するように合成する処理である。また、ここでは、合成画像において道路１０が縦方向または横方向に向くように、合成が行われる。
【００３７】
道路１０を横方向に向けて合成した合成画像の例を図７に示す。合成画像４０は、各分割領域３０の分割画像を車両走行方向に連結して１つの画像としたものである。例えば、合成画像４０は、各々異なる映像信号に基づいて作成された各分割画像の画素データを同一座標系の画素データとして設定し表したものである。合成画像データは、各分割画像データを１つのメモリに格納して構成することが望ましい。なお、各分割領域３０はそれぞれが重なり合うことなく設定されているので、ここでの合成処理では、重複部分を考慮することなく容易に合成が行える。
【００３８】
また、図７に示すように、合成画像４０は、道路１０を真上から眺めたようになっている。このような合成画像４０を得るためには、図４に示す分割領域３０を合成するだけでなく、演算により各分割領域３０を真上から眺めたように変形する必要がある。しかしながら、本実施形態では、サンプリング点３１を図６に示すように設定しているので、抽出と共に変形も行われていることとなり、変形処理が不要となっている。
【００３９】
合成後、図２のＳ４に移行し、合成処理により合成された合成画像に基づいて車両１１を検出する車両検出処理が行われる。車両検出処理は、例えば、予め画像処理装置５が備えている背景画像と合成画像４０と比較する背景差分方式により行われる。
【００４０】
そして、Ｓ５に移行し、車両検出処理により検出された車両１１が合成画像から新たに検出されたものであるか否かが判断される。検出された車両１１が合成画像から新たに検出されたものでないと判断された場合、処理はＳ８に移行する。一方、車両１１が合成画像から新たに検出されたものであると判断された場合、処理はＳ６に移行する。なお、監視対象区間に合流がない限り、車両１１は、合成画像のうち監視対象区間の入口付近で新たに検出される。このため、入口に設けられた監視カメラ２からのデータのみに基づいて新たに監視対象区間に進入した車両１１を検出するようにしてもよい。また、監視対象区間に合流がある場合、入口及び合流ポイントに設置された監視カメラ２からのデータのみに基づいて新たな車両１１を検出するようにしてもよい。
【００４１】
Ｓ６では、新たに検出された車両１１の車両画像を車高に応じて補正する車両補正処理が行われる。ここでの補正を行わない場合、車両１１は図８に示すようになってしまう。図８に示すように、撮影位置から遠い場所を走行する車両１１ｂ、１１ｃは、撮影位置から近い場所を走行する車両１１ａと比較すると、歪みが大きくなる傾向がある。特に、車高の高いトラックなどの車両１１ｃの歪みは大きい。
【００４２】
このため、図２のＳ６の処理において補正が行われている。車両補正処理は、例えば、車高センサ７が検出した車高データに基づいて行われ、車両１１の車高が高いほど車両１１の車高を低くするように行われる。このように車両補正処理を行うことにより、図８に示す各車両１１ａ〜１１ｃが図９に示すように補正される。
【００４３】
補正後、処理はＳ７に移行する。Ｓ７では、補正された車両画像が記憶される。すなわち、図９に示すように、歪が除去された各車両１１ａ〜１１ｃの車両画像が記憶される。
【００４４】
そして、処理は図２のＳ８に移行し、追跡処理が行われる。追跡処理は、例えば、現在監視対象区間を走行している車両１１の画像と以前に記憶した車両画像とをマッチングさせることにより、車両画像として記憶された車両１１がどの位置に存在するかを判断する処理である。なお、Ｓ７において車両画像として記憶された車両１１ａ〜１１ｃに関しては、それらが移動し次回の位置データが得られたときに追跡処理が行われる。
【００４５】
その後、Ｓ９において、車両１１の位置に記憶されていた車両画像が貼り付けられる。これにより、車両１１の位置に記憶されていた車両画像が表示されることとなる。なお、Ｓ７において車両画像として記憶された車両１１ａ〜１１ｃに関しては、それらが後に他の位置に移動した場合に、その移動位置に車両画像が貼り付けられる。
【００４６】
そして、Ｓ１０に移行し、背景補正処理が行われる。背景補正処理は、車両画像の補正に応じて背景画像を補正する処理である。例えば、図９に示す車両１１ｃの場合、補正前の車両１１ｃが占めていた領域５０内における背景部分が補正される。これは、車両画像のみを補正し背景画像を補正しないと、画像を表示した際に背景画像に違和感が生じてしまうからである。
【００４７】
その後、これらの一連の処理を経て得られた画像データが管制センタ６に伝送され、管制センタ６のモニタ６１に画像として表示される。また、図２における一連の処理は所定時間間隔で繰り返し行われる。
【００４８】
以上のように、本実施形態によれば、道路１０が車両走行方向に連続するように合成された合成画像４０に基づいて車両１１の検出が行われるので、１つの広い画像に対し車両検出を行うこととなる。このため、撮影領域のつなぎ目に車両１１が存在していたとしても、合成画像４０自体につなぎ目は存在せず、車両検出後に行われる追跡処理において画像自体のつなぎ目によって車両の追跡が困難となることがない。従って、車両１１の追跡を容易にすることができる。
【００４９】
また、合成画像４０は道路１０を真上から眺めたようなものとなるため、監視者等にとって見やすい画像を提供することが可能となる。
【００５０】
また、記憶された車両画像が車両移動位置に表示させるので、車両１１が検出されるごとに車両画像の補正を行う必要がない。このため、処理が迅速に行えるようになる。
【００５１】
また、車両画像の補正の際に生じた背景画像との不整合等が解消されることとなる。従って、表示の際に、車両画像の補正による違和感を除去することができる。
【００５２】
また、分割領域３０内のサンプリング点３１は、道路１０の車両進行方向および道路横断方向のそれぞれの方向に沿って格子状に配列して設定されるので、抽出と共に変形も行われていることとなり、変形処理が不要となっている。
【００５３】
また、本実施形態によれば、各分割領域３０はそれぞれが重なり合うことなく設定されているので、重複部分を考慮することなく容易に合成することができる。
【００５４】
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は上記実施形態に限定されるものではない。例えば、車両検出処理において車両の検出が正確に行われなかった場合、その車両を背景画像の１つとして処理して、補正されていない車両画像を表示させるようにしてもよいし、その車両の過去の動きベクトル及び前後の車両の動きを元に検出されなかった車両の位置を予測し、その位置に補正され記憶された車両画像を表示させてもよい。さらには、監視カメラ２は、道路１０の各領域を撮影するために領域毎に少なくとも２以上設けられていてもよい。この場合、道路１０の各領域を２以上の監視カメラ２により異なる角度から撮影することとなるため、例えば、大型車等の影に隠れてしまう普通車を検出することが可能となる。従って、車両１１の検出精度を向上させることができる。
【図面の簡単な説明】
【００５５】
【図１】本実施形態に係る車両監視システムの構成図である。
【図２】図１に示す画像処理装置の処理を示すフローチャートである。
【図３】変形画像の一例を示す図である。
【図４】分割領域の一例を示す図である。
【図５】分割領域に設定されるサンプリング点の概要説明図である。
【図６】図４に示す分割領域に設定されるサンプリング点の様子を示す図である。
【図７】道路を横方向に向けて合成した合成画像の例を示す図である。
【図８】車両補正処理を行わずに車両を表示した場合の例を示す図である。
【図９】車両補正処理を行って車両を表示した場合の例を示す図である。
【図１０】従来の車両追跡処理の一例を説明する図である。
【符号の説明】
【００５６】
２…監視カメラ、５…画像処理装置、７…車高センサ、１０…道路、１１…車両、２０…変換画像、３０…分割領域、３１…サンプリング点、３２…分割画像、４０…合成画像、６１…モニタ。
【特許請求の範囲】
【請求項１】
道路の車両走行方向に沿って複数設置される撮影手段によって前記道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段によりＡ／Ｄ変換して得られる変換画像について前記道路を前記車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出手段と、
前記抽出手段により抽出された前記分割画像を前記道路が前記車両走行方向に連続するように合成する合成手段と、
前記合成手段により合成された合成画像に基づいて前記車両を検出する車両検出手段と、
前記車両検出手段により検出された車両の位置データに基づいて車両位置の移動を検出する追跡手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記合成画像において前記道路が縦方向または横方向に向くように、合成を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
道路の車両走行方向に沿って複数設置される撮影手段によって前記道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程によりＡ／Ｄ変換して得られる変換画像について前記道路を前記車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出工程と、
前記抽出工程により抽出された前記分割画像を前記道路が前記車両走行方向に連続するように合成する合成工程と、
前記合成工程により合成された合成画像に基づいて前記車両を検出する車両検出工程と、
前記車両検出工程にて検出された車両の位置データに基づいて車両位置の移動を検出する追跡工程と、
を備えることを特徴とする画像処理方法。
【請求項４】
道路の車両走行方向に沿って複数設置される撮影手段と、
請求項１に記載の画像処理装置と、
を備えることを特徴とする車両監視システム。
【請求項５】
前記撮影手段は、前記道路の各領域を撮影するために領域毎に少なくとも２以上設けられていることを特徴とする請求項４に記載の車両監視システム。
【請求項６】
前記画像処理装置からの画像データを画像として表示する表示手段を更に備えることを特徴とする請求項４又は５に記載の車両監視システム。
【請求項１】
道路の車両走行方向に沿って複数設置される撮影手段によって前記道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段によりＡ／Ｄ変換して得られる変換画像について前記道路を前記車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出手段と、
前記抽出手段により抽出された前記分割画像を前記道路が前記車両走行方向に連続するように合成する合成手段と、
前記合成手段により合成された合成画像に基づいて前記車両を検出する車両検出手段と、
前記車両検出手段により検出された車両の位置データに基づいて車両位置の移動を検出する追跡手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記合成画像において前記道路が縦方向または横方向に向くように、合成を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
道路の車両走行方向に沿って複数設置される撮影手段によって前記道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程によりＡ／Ｄ変換して得られる変換画像について前記道路を前記車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出工程と、
前記抽出工程により抽出された前記分割画像を前記道路が前記車両走行方向に連続するように合成する合成工程と、
前記合成工程により合成された合成画像に基づいて前記車両を検出する車両検出工程と、
前記車両検出工程にて検出された車両の位置データに基づいて車両位置の移動を検出する追跡工程と、
を備えることを特徴とする画像処理方法。
【請求項４】
道路の車両走行方向に沿って複数設置される撮影手段と、
請求項１に記載の画像処理装置と、
を備えることを特徴とする車両監視システム。
【請求項５】
前記撮影手段は、前記道路の各領域を撮影するために領域毎に少なくとも２以上設けられていることを特徴とする請求項４に記載の車両監視システム。
【請求項６】
前記画像処理装置からの画像データを画像として表示する表示手段を更に備えることを特徴とする請求項４又は５に記載の車両監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１９７６１４（Ｐ２００６−１９７６１４Ａ）
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願番号】特願２００６−１２９７８（Ｐ２００６−１２９７８）
【出願日】平成１８年１月２０日（２００６．１．２０）
【分割の表示】特願２００２−２１１２４４（Ｐ２００２−２１１２４４）の分割
【原出願日】平成１４年７月１９日（２００２．７．１９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願日】平成１８年１月２０日（２００６．１．２０）
【分割の表示】特願２００２−２１１２４４（Ｐ２００２−２１１２４４）の分割
【原出願日】平成１４年７月１９日（２００２．７．１９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]