説明

車両交通監視装置およびプログラム

【課題】PTZカメラのようなパノラマ撮影が可能な撮像装置からの映像に基づいて、交通流監視を行うとともに、トラフィックイベントを抽出する。
【解決手段】車両交通の監視範囲を決定されたときに、撮影環境情報を取得して、走行車線を検出し、撮像装置の撮影画像と検出された走行車線と取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出して、その検出された車両情報からトラフィックイベントを検出する処理を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主に、一般道路や高速道路を通行する車両交通の状況について映像を利用して監視する車両交通監視装置およびプログラムに関する。
【背景技術】
【0002】
一般に、一般道路や高速道路における監視システムは、目的により以下に分類される。一つは、道路構造物そのものの破損等の状況を確認するためのものであり、もう一つは、通行する車両の数や速度などの交通流に関する情報を検出するためのものである。そして、事故や渋滞、落下物の存在や逆走車の存在などの道路管理運営上問題となるトラフィックイベントを検出するためのものがある。そのため、それらの目的に応じて様々なデバイスによる検出が行われているが、現在、上記のいずれの目的のシステムにもビデオカメラを用いた映像による確認を行う手法も利用されている。
【0003】
道路構造物確認のための映像監視システムでは、一般的に手動で操作が可能なPTZ(パン・チルト・ズーム)カメラを用い、確認したい部分にカメラを向け、適切なズーム操作により確認が行われる。一方、交通流計測に関する映像監視システムは、一般的には、道路に対して通行車両の数や速度の計測に適切となるようカメラを固定的に設置し、そこから得られた映像に対して画像処理を施すことにより、走行車線、通行車両数、通行車両長、車両速度等の検出を行う。
【0004】
また、高速道路上での停止車両、低速車両、路肩走行車両、渋滞、落下物、逆走車両等のトラフィックイベントの抽出を目的とした映像監視システムについては、カメラを固定的に設置し、その映像が通常状態と同じであるか異なるかを確認するシステムと、道路構造物確認のための映像監視システムのように、人手による目視を前提とし、トラフィックイベントが起きた際に手動でカメラ操作を行い現場の確認を行うものがある。従って、高速道路においては、同一地点においても異なる目的のため異なる複数のカメラシステムを導入することが必要となる。
【0005】
ここで、図9を用いて、上記のトラフィックイベントの抽出を目的とした映像監視システムの構成とその処理動作を説明する。トラフィックイベントの抽出を目的とした映像監視システムは、固定カメラ100と、撮影環境検出部200と、車両検出部300と、トラフィックイベント検出部400とから構成されている。
【0006】
この映像監視システムでは、車両検出部300が撮影環境検出部200により検出された撮影環境情報と外部から与えられた走行車線情報とにより車両を検出することにより、この情報を利用して、交通流計測情報を得るとともに、さらに、車両検出情報に基づいて、トラフィックイベント検出部400がトラフィックイベント情報を生成する。
【0007】
また、他の従来例として、画面内の道路上に仮想的にラインセンサを設置し、そのラインセンサ上の画素値の変化を検出することで車両の通行を検出し、この情報を利用して、トラフィックイベント情報を生成する技術も開示されている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2008−299458号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、従来の画像による自動交通監視システムでは、監視カメラの撮影方向ならびに画角が固定されていることが必要であった。一方で、目視による監視を目的としたカメラについては、その監視範囲を拡大させるため、撮影方向や拡大率を自由に変更できるパンチルトズームカメラ(PTZカメラ)が採用されている。そのため、高速道路においては、同一地点においても異なる目的のため異なる複数のカメラシステムを導入することが必要となっていたが、コスト面を考慮すれば、これを1台のカメラで実現することが期待されていた。
【0010】
ところが、従来の画像による交通監視システムでは、このような車両交通の監視範囲や拡大率を自由に変更できるPTZカメラのように、撮影方向及び画角を任意に変更可能な撮像装置からの映像に基づいて、十分なトラフィックイベントを抽出することができないという問題があった。
【0011】
そこで、本発明は、上述の課題に鑑みてなされたものであり、撮影映像の監視範囲を任意に変更可能な撮像装置からの映像に基づいて、交通流監視を自動的に行うとともに、トラフィックイベントを抽出する車両交通監視装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【0013】
(1)本発明は、撮影映像の監視範囲を任意に変更可能な撮像装置を備えた車両交通監視装置であって、該撮像装置により車両交通の監視範囲が決定されると、車両交通監視処理を開始することを特徴とする車両交通監視装置を提案している。
【0014】
この発明によれば、車両交通の監視範囲が決定されると、車両交通監視処理を開始する。したがって、従来のような固定式監視カメラ以外の魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラのように、目視による確認を目的としたカメラを用いて、人手を介さずに、自動的に、交通流計測やトラフィックイベントの検出(交通流監視)を行うことができる。
【0015】
(2)本発明は、(1)の車両交通監視装置について、車両交通の監視範囲を決定する監視範囲検出手段(例えば、図1のカメラアングル検出部500に相当)と、撮影環境情報を取得する撮影環境情報取得手段(例えば、図1の撮影環境検出部201に相当)と、走行車線を検出する走行車線検出手段(例えば、図1の走行車線検出部600に相当)と、道路の背景画像情報を格納する格納手段と、前記撮像装置の撮影画像と前記検出された走行車線と前記取得された撮影環境情報と前記格納された道路の背景画像情報とに基づいて、車両情報を検出する車両検出手段(例えば、図1の車両検出部300に相当)と、該検出された車両情報からトラフィックイベントを検出するトラフィックイベント検出手段(例えば、図1のトラフィックイベント検出部400に相当)と、を備え、前記監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、前記走行車線検出手段、撮影環境情報取得手段、車両検出手段、トラフィックイベント検出手段を作動させて車両交通監視処理を行うことを特徴とする車両交通監視装置を提案している。
【0016】
この発明によれば、監視範囲検出手段は、車両交通の監視範囲を決定し、撮影環境情報取得手段は、撮影環境情報を取得し、走行車線検出手段は、走行車線の検出をし、格納手段は、道路の背景画像情報を格納し、車両検出手段は、撮像装置の撮影画像と検出された走行車線と取得された撮影環境情報と格納された道路の背景画像情報とに基づいて、車両情報を検出し、トラフィックイベント検出手段は、その検出された車両情報からトラフィックイベントを検出する。そして、監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、走行車線検出手段、撮影環境情報取得手段、車両検出手段、トラフィックイベント検出手段を作動させて車両交通監視処理を行う。したがって、従来のような固定式監視カメラ以外の魚眼レンズを用いたカメラやカメラ筐体を固定したまま特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラのように、目視による確認を目的としたカメラを用いて、人手を介さずに、監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、走行車線検出、撮影環境情報取得、車両検出、トラフィックイベント検出を行うことにより車両交通監視処理を実行して、交通流計測やトラフィックイベントの検出(交通流監視)を行うことができる。
【0017】
(3)本発明は、(2)の車両交通監視装置について、前記監視範囲検出手段で検出する監視範囲が変更されるたびごとに、新たに前記車両交通監視処理を実行することを特徴とする車両交通監視装置を提案している。
【0018】
この発明によれば、監視範囲検出手段で検出する監視範囲が変更されるたびごとに、新たに車両交通監視処理を実行する。すなわち、可動式のカメラの場合には、カメラの監視範囲が固定されるとすぐに車両交通監視処理を実行することができる。これは、魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラにおいて、監視範囲が変更した場合も同様である。
【0019】
(4)本発明は、(2)の車両交通監視装置について、過去に検出した車両交通の監視範囲と該監視範囲における走行車線の検出結果とを対応付けて記憶するデータベースを備え、前記監視範囲検出手段が検出した監視範囲と同一の監視範囲における情報が前記データベース内にある場合には、新たに、前記走行車線検出手段による走行車線の検出処理を行わずに、前記データベース内の走行車線の検出結果を用いることを特徴とする車両交通監視装置を提案している。
【0020】
この発明によれば、データベースは、過去に検出した車両交通の監視範囲とその監視範囲における走行車線の検出結果とを対応付けて記憶する。そして、監視範囲検出手段が検出した監視範囲と同一の監視範囲における情報がデータベース内にある場合には、新たに、走行車線検出手段による走行車線の検出処理を行わずに、データベース内の走行車線の検出結果を用いる。したがって、走行車線の検出処理を省くことができるため、画角が固定されてから交通流計測やトラフィックイベント検出を開始するまでの時間を短縮することが出来ると共に、照明設備が設置されていない道路や降雪状態の道路等でラインマーカー(白線部)が検出しにくい状態でも正確に走行車線の判定を行うことができる。
【0021】
(5)本発明は、(1)の車両交通監視装置について、前記走行車線検出手段が、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出することを特徴とする車両交通監視装置を提案している。
【0022】
この発明によれば、走行車線検出手段が、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出する。つまり、従来の方法として、撮像した画像情報から、白線部を検出することにより、走行車線の検出を行う方法があるが、この方法では、照明設備の無い道路で白線部が抽出しにくい場合や、豪雨時や降雪時の雪の影響で白線が隠されて検出できないという問題がある。しかしながら、本発明による検出方法では、そのような問題を解消して、どんな状況下であっても、正確に走行車線の検出を行うことができる。
【0023】
(6)本発明は、(2)の車両交通監視装置について、前記監視範囲において表示される破線状の走行車線の1の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出する距離情報算出手段を備えたことを特徴とする車両交通監視装置を提案している。
【0024】
この発明によれば、距離情報算出手段は、監視範囲において表示される破線状の走行車線の1の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出する。つまり、破線状の走行車線の白線部の長さおよび破線状の走行車線の白線部間の長さが決まっているため、これを画面上で計測して比例計算を行えば、実際の道路の距離情報を得ることができる。また、この演算結果を利用して車両の速度、車幅や車長等を算出することもできる。
【0025】
(7)本発明は、(1)から(6)の車両交通監視装置について、前記撮像装置が、パン・チルト・ズーム(PTZ)カメラであることを特徴とする車両交通監視装置を提案している。
【0026】
この発明によれば、撮像装置が、パン・チルト・ズーム(PTZ)カメラである。つまり、目視監視用のパン・チルト・ズーム(PTZ)カメラを用いて、撮像範囲を任意に固定することより、交通流計測やトラフィックイベントの検出を自動的に開始することができる。
【0027】
(8)本発明は、(7)の車両交通監視装置について、前記パン・チルト・ズーム(PTZ)カメラのカメラアングルに変更があった場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別する判別手段と、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、警報を発出して運用者等に知らせる報知手段(例えば、図1の報知部700に相当)と、を備えたことを特徴とする車両交通監視装置を提案している。
【0028】
この発明によれば、判別手段は、パン・チルト・ズーム(PTZ)カメラで落下物の存在や渋滞状況を見るためにズームやカメラアングルを変更した場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別する。報知手段は、変更後のカメラアングルが定点観測時のカメラアングルと異なる場合に、その旨を運用者等に通知する。したがって、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、その旨を通知して、カメラアングルの変更を運用者に促すことにより、カメラアングルの戻し忘れを防止し、予め運用者が定めた撮影画角での交通流計測やイベント検出を再開することができる。
【0029】
(9)本発明は、撮影映像の監視範囲を任意に変更可能な撮像装置を備えた車両交通監視装置における車両交通監視方法をコンピュータに実行させるためのプログラムであって、車両交通の監視範囲を決定する第1のステップ(例えば、図8のステップS502に相当)と、撮影環境情報を取得する第2のステップと、走行車線を検出する第3のステップ(例えば、図8のステップS503、S504に相当)と、前記撮像装置の撮影画像と前記検出された走行車線と前記取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出する第4のステップ(例えば、図8のステップS504に相当)と、該検出された車両情報からトラフィックイベントを検出する第5のステップ(例えば、図8のステップS505に相当)と、を備え、前記第1のステップにおいて、車両交通の監視範囲が決定されたときに、前記第2のステップから第5のステップの処理を実行することを特徴とするプログラムを提案している。
【0030】
この発明によれば、車両交通の監視範囲を決定されたときに、撮影環境情報を取得して、走行車線を自動的に検出し、撮像装置の撮影画像と検出された走行車線と取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出して、その検出された車両情報からトラフィックイベントを検出する処理を実行する。したがって、従来のような固定式監視カメラ以外の魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラのように、目視による確認を目的としたカメラを用いて、人手を介さずに、監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、走行車線検出、撮影環境情報取得、車両検出、トラフィックイベント検出を行うことにより車両交通監視処理を実行して、交通流計測やトラフィックイベントの検出(交通流監視)を行うことができる。
【0031】
(10)本発明は、(9)のプログラムについて、前記第1のステップにおいて検出する監視範囲が変更されるたびごとに、新たに前記第2のステップから第5のステップの処理を実行することを特徴とするプログラムを提案している。
【0032】
この発明によれば、監視範囲が変更されるたびごとに、撮影環境情報を取得して、走行車線を検出し、撮像装置の撮影画像と検出された走行車線と取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出して、その検出された車両情報からトラフィックイベントを検出する処理を実行する。すなわち、可動式のカメラの場合には、カメラが固定されるとすぐに車両交通監視処理を実行することができる。これは、魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラにおいて、監視範囲が変更した場合も同様である。
【0033】
(11)本発明は、(9)のプログラムについて、過去に検出した車両交通の監視範囲と該監視範囲における走行車線の検出結果とを対応付けて記憶するデータベースを備え、前記第1のステップで検出した監視範囲と同一の監視範囲における情報が前記データベース内にある場合には、新たに、前記第2のステップについての検出処理を行わずに、前記データベース内の走行車線の検出結果を用いることを特徴とするプログラムを提案している。
【0034】
この発明によれば、データベースは、過去に検出した車両交通の監視範囲とその監視範囲における走行車線の検出結果とを対応付けて記憶する。そして、検出した監視範囲と同一の監視範囲における情報がデータベース内にある場合には、新たに、走行車線の検出処理を行わずに、データベース内の走行車線の検出結果を用いる。したがって、走行車線の検出処理を省くことができるため、画角が固定されてから交通流計測やトラフィックイベント検出を開始するまでの時間を短縮することが出来ると共に、照明設備が設置されていない道路や降雪状態の道路等でラインマーカー(白線部)が検出しにくい状態でも正確に走行車線の判定を行うことができる。
【0035】
(12)本発明は、(9)のプログラムについて、前記第2のステップにおいて、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出することを特徴とするプログラムを提案している。
【0036】
この発明によれば、走行車線検出処理において、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出する。つまり、従来の方法として、撮像した画像情報から、白線部を検出することにより、走行車線の検出を行う方法があるが、この方法では、照明設備の無い道路で白線部が抽出しにくい場合や、豪雨時や降雪時に、雪の影響で白線が隠されて検出できないという問題がある。しかしながら、本発明による検出方法では、そのような問題を解消して、どんな状況下であっても、正確に走行車線の検出を行うことができる。
【0037】
(13)本発明は、(9)のプログラムについて、前記監視範囲において表示される破線状の走行車線の1の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出するステップをさらに備えたことを特徴とするプログラムを提案している。
【0038】
この発明によれば、距離情報算出処理は、監視範囲において表示される破線状の走行車線の1の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出する。つまり、破線状の走行車線の白線部の長さおよび破線状の走行車線の白線部間の長さが決まっているため、これを画面上で計測して比例計算を行えば、実際の道路の距離情報を得ることができる。また、この演算結果を利用して車両の速度、車幅や車長等を算出することもできる。
【0039】
(14)本発明は、(9)のプログラムについて、前記撮像装置が、パン・チルト・ズーム(PTZ)カメラであり、カメラアングルに変更があった場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別するステップと、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、その旨を通知するステップと、をさらに備えたことを特徴とするプログラムを提案している。
【0040】
この発明によれば、判別処理は、パン・チルト・ズーム(PTZ)カメラ落下物の存在や渋滞状況を見るためにズームやカメラアングルを変更した場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別する。報知手段は、変更後のカメラアングルが定点観測時のカメラアングルと異なる場合に、その旨を運用者等に通知する。したがって、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、その旨を通知して、カメラアングルの変更を運用者に促すことにより、カメラアングルの戻し忘れを防止し、予め運用者が定めた撮影画角での交通流計測やイベント検出を再開することができる。
【発明の効果】
【0041】
本発明によれば、撮影映像の監視範囲を任意に変更可能な撮像装置からの映像に基づいて、自動的に、交通流計測を行うとともに、トラフィックイベントを抽出(交通監視)することができるという効果がある。
従って、従来は、カメラアングルを完全に固定して交通量(車両台数)や車両の速度を計測する交通計測用カメラと、落下物や渋滞状況等のトラヒックイベントを監視するカメラの2台を最低設置していたが、本発明では、従来設置されていた固定式カメラ(交通流計測用)が不要となることからコストダウンに寄与できるという効果がある。
【図面の簡単な説明】
【0042】
【図1】本実施形態に係る車両交通監視装置の構成を示す図である。
【図2】本実施形態に係るカメラアングル検出部の処理フローである。
【図3】本実施形態に係る撮影環境検出部の処理フローである。
【図4】本実施形態に係る撮影環境検出部の処理フローである。
【図5】本実施形態に係る走行車線検出部の処理フローである。
【図6】本実施形態に係る走行車線検出部の監視領域の写像変換を例示した図である。
【図7】本実施形態に係る走行車線検出部の路肩走行の検出のための領域拡張を例示した図である。
【図8】本実施形態に係る車両交通監視装置の処理フローである。
【図9】従来の固定カメラを用いた車両交通監視装置の構成を示す図である。
【発明を実施するための形態】
【0043】
以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0044】
<車両交通監視装置の構成>
図1を用いて、本発明の実施形態に係る車両交通監視装置の構成について説明する。
本実施形態に係る車両交通監視装置は、図1に示すように、PTZカメラ101と、撮影環境検出部201と、車両検出部300と、トラフィックイベント検出部400と、カメラアングル検出部500と、走行車線検出部600と、報知部700とから構成されている。
【0045】
PTZカメラ101は、道路における車両の通行状況を撮影し、その映像信号をカメラアングル検出部500、撮影環境検出部201、走行車線検出部600、車両検出部300に対して出力する。なお、映像信号としては、カラー信号は、もちろん輝度信号のみであってもよい。また、カメラとしては一般的なビデオカメラに限らず、夜間での撮影に適した赤外線ビデオカメラを用いることも可能である。なお、本実施形態では、説明を容易にするために、監視カメラとして、従来からよく用いられているPTZカメラを例示したが、例えば、これに限らず、魚眼レンズを用いたカメラや特殊なレンズを用いた全方位カメラ等のパノラマ撮影ができるカメラであってもよい。
【0046】
カメラアングル検出部500は、PTZカメラ101より得られた映像を解析し、PTZカメラ101の撮影方向や撮影領域のズームなどのカメラアングル(撮影画角)に関する変更がされている状態なのか否かを検出し、カメラアングルの変更状態である場合にはその旨を、そうでない場合には固定状態であるという情報を出力する。また、本実施形態の車両交通監視装置は、カメラアングル検出部500が固定状態であることを検出したときに、以下に、記載する各部の動作を実行させる。さらに、検出する監視範囲が変更され、カメラアングル検出部500が固定状態であることを検出するたびごとに、以下に、記載する各部の動作を実行させる。なお、カメラアングル検出部500における処理の詳細については、後述する。
【0047】
撮影環境検出部201は、PTZカメラ101から得られた映像から、画面の輝度情報や、撮影環境の天候状況など、適切な画像解析処理を行うために必要な情報の取得を行い、その結果判定された情報を出力する。また、図示しない情報格納部を備え、撮影環境における車両が存在していない状態の画像を背景道路画像として保持し、車両検出部300に情報を出力する。なお、画面内の走行車線情報の抽出や、車両の検出処理においては、昼夜を問わず、また、天候等や撮影環境の違いにも関わらず、検出精度を維持することが求められる。そのためには、撮影環境に伴い検出手法を適切に変更する必要がある。これらの検出における適切な手法を選択するために、撮影環境検出部において撮影状況の検出を行う。また、撮影状況の検出として必要となる情報としては、対象となる道路が太陽や照明などにより明るく保たれている状況なのか否か、さらに、撮影対象領域が屋外の場合には、どのような天候環境下で撮影されているものなのか等が挙げられる。なお、撮影環境検出部201における処理の詳細については、後述する。
【0048】
走行車線検出部600は、カメラアングル検出部500からカメラアングルが固定されたことを検出する信号を受けた後に、PTZカメラ101から得られる映像を解析し、画面内で交通監視画像に用いる画面領域を特定して、その領域について走行車線の存在、走行車線の画面内位置、車両の通行方向、走行車線に関する距離情報等の抽出を行う。なお、走行車線検出部600における処理の詳細については、後述する。
【0049】
車両検出部300は、撮影環境検出部201から得られる車両の存在しない背景画像を用いて、取得された映像からこの背景道路画像を差引くことにより車両領域を特定する。なお、この背景道路画像の取得には、車両等の移動物体の含まれない道路だけが撮影された画像である撮影道路画像を取得する必要があるが、この取得方法としては、実際に車両が通行していない状況における道路を撮影しておく方法、移動平均法等を用いた背景画像合成手法を利用し、移動物体が映らない道路画像を生成する方法などが挙げられる。さらに、走行車線検出部600から得られる画面内の走行車線情報と、撮影環境検出部201から得られる撮影環境情報および背景道路画像情報を用い、PTZカメラ101から得られる映像に対して車両検出処理を行い、車両の存在の有無、車両の通行方向、車両の通行速度、車両の通行車線、通行車両の長さ情報、通行車両の幅情報などの取得を行い、その結果をトラフィックイベント検出部400に出力する。
【0050】
トラフィックイベント検出部400は、車両検出部300で得られた映像内の車両情報および通行情報から、トラフィックイベントの抽出を行う。抽出するトラフィックイベントとしては、例えば、低速走行車両の検出、高速走行車両の検出、路肩走行車両の検出、停止車両の検出、逆走車両の検出、道路上の落下物の検出、渋滞の検出、車線変更の検出等が挙げられる。
【0051】
報知部700は、PTZカメラ101のカメラアングルに変化があり、しかも、停止状態において、予め運用者が定めた撮影画角と異なるアングルである場合に、警報を発出して運用者に知らせる。これにより、PTZカメラ101のカメラアングルの変更を促すことにより、運用者のカメラの戻し忘れを防止し、予め運用者が定めた撮影画角で交通流計測や交通監視を可能とすることができる。
【0052】
<カメラアングル検出部の処理動作>
図2を用いて、本発明の実施形態に係るカメラアングル検出部の処理動作について、詳細に説明する。
【0053】
カメラアングルの変化は、ビデオカメラから得られる最新の画像と、それよりも以前に撮影された画像との間での変化量を測定することにより検出する。この変化量の測定には、同一位置画素同士の絶対差分和による評価や、動き補償予測やグローバルモーション、またはオプティカルフローの利用が可能である。前者の場合には、例えば絶対差分和が一定値を超えた場合にカメラアングルの変更があったと判断することができる。また、後者の場合には、動き補償予測やグローバルモーション検出によって得られたカメラの動き量が一定範囲を超えた場合にカメラアングルに動きがあったと判定することができる。
【0054】
また、高い車両検出精度を実現するための意図的なカメラアングルの変更については、微細であっても検出できることが求められるが、一方で、カメラ設置条件等に伴う意図しないカメラアングルの揺らぎの影響は排除した画像処理を行うことが求められる。従来は、一定時間の動き量が閾値よりも小さい場合には揺らぎであると判定し、カメラアングル固定状態であると判定するが、本実施形態においては、カメラアングルがズームアップ状態であるか否か、および夜間や天候状況等の撮影条件によりこの閾値について変更させる。
【0055】
図2に示すように、まず、道路監視映像を入力し(ステップS101)、撮影領域拡大率推定処理を行う(ステップS102)。ここで、カメラアングルがズームアップ状態であるか否かについては、撮影画角の横幅に対する観測される車線の1車線分の幅が占める割合を算出し、この占有率が高いほどズームアップ率が高いと推定し、閾値を高める方向に変更する(ステップS105)。また、それ以外にも、実際にカメラからズーム率に関する情報を得ることや、統計的な処理によりズーム率を推定することも可能である。
【0056】
さらに、動き判定精度について推定を行う(ステップS103)。これは、夜間や悪天候時の撮影画像においては、動き予測等の処理を施すと、実際には発生していない動きを動きとして誤判定することが発生し、動き解析結果についての信頼度が下がることから、上記閾値を高める方向に変更するものである。この動き判定精度の推定には、画面内を小ブロック単位に分割した状態で、各ブロックについてフレーム間動き予測を行い(ステップS105)、動き量のばらつきが大きいほど動き判定制度が低いと判断し、閾値を高い値に変更する。
【0057】
次に、画面内の動き量測定を行う(ステップS104)。なお、画面内の動き量測定については、車両の通行による影響を避けるため、後述する車線領域の検出結果に応じ、その車線領域と判定されなかった領域の画像情報を用いて行う。動き量の検出については、上述のように、画面内を小ブロック単位に分割した状態で、各ブロックについてのフレーム間動き予測を行い、そのベクトル量を動きと判定する。
【0058】
以上より、画面の動き量を測定し、この測定された動き量と、上記にて決定された閾値の大小関係により(ステップS106)、カメラアングルが固定状態(ステップS108)か、変更状態(ステップS107)かを判定する。また、カメラアングルが変更状態である場合には、さらに、そのアングルが予め運用者が定めた撮影画角と一致するか否かを判定し(ステップS109)、一致していない場合(ステップS109の「No」)には、報知処理を行う(ステップS110)。
【0059】
なお、上記の処理を実現するために、この閾値についてグローバルモーション等の画像処理から得られた動き量による検出を用いた場合に、単位時間あたりのグローバルーションベクトルの絶対値が一定以下となっている場合には、カメラアングルの変更とみなさず、意図しない揺らぎであると判断する。また、カメラアングルの変化量が一定の範囲に収まっていると判断された場合には、ブレ補正技術により画像処理精度を向上させることが可能である。さらに、カメラアングルの変更のうち、撮影領域に関してズームアップがなされている場合には、撮影画面に領域に対する意図しないカメラアングルの揺らぎの影響が大きくなり、揺らぎ自体をカメラアングルの変更と誤検出する可能性が増す。そこで、この誤検出を回避するために、画面内における撮影領域とその画面幅に対する1車線の占有幅の割合を算出し、その割合が高いほどズームアップ率が高いと判定し、カメラアングルの変化の検出感度を下げる。
【0060】
<撮影環境検出部の処理動作>
図3および図4を用いて、本発明の実施形態に係る撮影環境検出部の処理動作について、詳細に説明する。
【0061】
撮影環境検出部201は、撮影環境が明環境下か暗環境下か、また、雨天等によりレンズに水滴が付着したり、路面に水がたまることにより光の反射を起こすなどの画像処理上の精度維持が困難となる悪環境下での撮影となっているか否かを判別する。
【0062】
まず、道路監視映像を入力して(ステップS201)、撮影環境の明度を推定する(ステップS202)。そして、明度推定値が予め定めた閾値よりも大きいか否かを判定し(ステップS203)、明度推定値が予め定めた閾値よりも大きい場合(ステップS203の「Yes」)には、明環境下の撮影状態と判定する(ステップS204)。一方で、明度推定値が予め定めた閾値よりも小さい場合(ステップS203の「No」)には、暗環境下の撮影状態と判定する(ステップS205)。
【0063】
撮影状況が明るい環境下なのか、暗い環境下なのかを判断する手法としては、画面の平均輝度を用いる方法がある。
カメラ自体に輝度調整を行う機能を具備する機器が用いられることが多い為、暗い領域を撮影した場合には撮影された各画素における信号対雑音比が増大する。そのため、本実施例では、主にこの信号対雑音比が高い場合には、暗部の撮影状態であり、低い場合には明部の撮影状態であると判定する。
【0064】
次に、図4を用いて、撮影環境が良環境下か悪い環境下かを判定する処理について説明する。
まず、道路監視映像を入力して(ステップS301)、カメラアングル検出処理で用いた動き判定精度処理を用いて、動き判定精度の推定を行う(ステップS302)。そして、動き判定精度が所定値よりも低いか否かを判定し(ステップS303)、低いと判定された場合(ステップS303の「Yes」)には、悪環境下の撮影状態と判定する(ステップS304)。一方で、高いと判定された場合(ステップS303の「No」)には、良環境下の撮影状態と判定する(ステップS305)。
【0065】
<走行車線検出部の処理動作>
図5から図7を用いて、本発明の実施形態に係る走行車線検出部の処理動作について、詳細に説明する。
【0066】
走行車線検出部のフローを図5に示す。図5に示すように、走行車線検出部の処理は、1)車両通行領域特定処理(ステップS401)、2)主監視対象方向決定処理(ステップS402)、3)監視領域設定処理(ステップS403)、4)道路情報抽出処理(ステップS404)の順に実行される。以下に、それぞれの処理についての詳細を説明する。
【0067】
1)車両通行領域特定処理(ステップS401)
車両通行領域特定処理では、入力された監視画像に対して、画素単位での動き検出を行い、動き方向および大きさの情報を得る。この処理については1画像だけでなく、一定の時間継続的に行い、その集積または平均化を行う。この際に画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定する。一定以上の大きさとするのは、誤差の影響を排除するため、および動きの小さい部分では検出精度を維持できないため、予め検出対象領域としないようにするためである。
【0068】
2)主監視対象方向決定処理(ステップS402)
交通監視映像においては、例えば、上り車線と下り車線の双方を同時に撮影することも可能だが、基本的な交通監視では、解析処理において精度を高く保つことのできる1方向の交通に関して測定することを目的する。上記集積結果について、動き成分の画面内垂直方向の成分を確認し、垂直成分が上方となる領域と、垂直成分が下方となる領域の面積とを比較し、大きい方の領域に属する交通流を主監視対象方向と決定する。または、画面内の底辺部分の動きについて観測し、上方成分を含む領域が下方成分を含む領域よりも多い場合には交通流として上方成分を持つ交通流を主監視対象方向と特定し、その逆の場合には、下方成分をもつ交通流を主監視対象方向と特定する。
【0069】
3)監視領域決定処理(ステップS403)
処理を簡素化させるため、監視領域の道路は画面内の四角形領域とする。監視領域は以下により特定する。
A)監視領域の左辺については、車両通行領域として特定された領域のうち、主監視対象方向に属する領域の左端に設定する。
B)監視領域の右辺についても上記左辺の決定と同様の処理により決定する。
C)監視領域の底辺については、画面内の上記A)で決定された左辺およびB)で決定された右辺を結ぶ画面内水平線のうち、最も下方となる位置と設定する。
D)監視領域の上辺については、画面内の上記A)で決定された左辺およびB)で決定された右辺を結ぶ画面内水平線のうち、最も上方となる位置と設定する。
【0070】
4)道路情報抽出処理(ステップS404)
ここでは以下の情報を取得する。
イ)主交通流方向
主監視対象方向として決定された方向とする。
ロ)車線数
監視領域の底辺上の全ての画素について、検出された動きの平均値を出力し、その極大値の数により車線数を特定する。ただし、検出誤差を考慮するため、底辺上の全ての画素の動きの平均値については近接画素間の重み付き平均を用いる。または、車両通行領域として特定された領域内で、白線認識を行う。白線認識については移動物体領域として検出されていない画素、または背景分離手法による背景画像を対象として、その画素の中で輝度の高い領域を白線として認識する。
【0071】
つまり、図6に示すように、道路に記される走行車線境界には破線のものと実線のものがあるが、検出された走行車線境界が実線の場合にはそのままその実線の位置を走行車線境界線情報として用いる。一方、検出された車線境界が破線またはその一部と判断された場合には、その破線の延長または検出された複数の破線の補間処理により生成される線を走行車線境界情報として用いる。走行車線の中央は、検出された隣り合う走行車線境界の中央と判定することができる。これにより、撮影画面内の走行車線の位置および撮影画面内に存在する走行車線数を把握することができる。
【0072】
5)監視領域長検出処理(ステップS405)
画面内の撮影領域に関する実際の距離情報の抽出について説明する。撮影道路の実際の距離等の情報の抽出には、撮影された画面のみで利用可能な情報を利用した設定方法と、利用しない設定方法とがある。
【0073】
撮影された画面のみで利用可能な情報を用いずに距離情報を取得する手法のひとつとして、予め道路の走行車線幅情報や車線境界の破線の長さや破線間の距離に関する情報を外部より指定・保持しておき、画像の検出された道路部分に対してこれらの既知の距離情報を用いて特定する手法がある。具体的には以下により監視領域長の推定を行う。
a)監視領域の写像変換
b)変換画像内の破線位置特定
c)破線および破線間の長さ情報に基づく監視領域長推定
【0074】
a)の監視領域の写像変換は、図6に示すとおり、4つの頂点を矩形のそれぞれの頂点に合せるよう写像変換させる。b)の変換画像内の破線位置特定は、a)に伴い監視領域内の白線(破線)も写像変換されるため、その領域を特定する。c)の破線および破線間の長さ情報に基づく監視領域長推定は、道路に塗布される破線の長さ情報、および破線間隔の長さ情報、そして車線幅の情報は外部から予め与えられていることを想定し、その情報から、監視領域内の横幅の距離情報ならびに監視領域の縦方向(走行方向)の長さを特定する。なお、図6において、両端の実線部分は、走行車線境界を示し、その内側の2本は、破線で示された走行車線境界とその補助線を示している。
【0075】
路肩走行の検出のための領域拡張
高速道路監視においては、路肩を走行する車両を検出することが求められる。本実施形態において、車両の実際の通行をもとに走行車線を特定する場合には、路肩部分については通常は走行がないために検出領域から外れてしまうことになる。これに対応するために、図6の写像された道路情報を基礎とし、高速道路において路肩はその走行方向に対して左側に存在していることは既知であるため、図7に示すように、写像後の画像上で路肩領域部分の拡張を行っておき、その画像領域を逆写像することで、もとの画像上の路肩領域を含めた検出を行うことが可能となる。
【0076】
なお、走行車線検出機能については、車両の通行情報を元にして検出を行った場合には、検出を開始してから実際に監視領域を特定し、走行車線情報を確定させるまでには時間を要することになる。この時間を短縮するために、以下の手法をとる。
【0077】
つまり、車両通行領域特定を行った際に、画面内の各画素における平均的な動き情報と、その車両通行領域の場合に算出された交通監視のための写像変換パラメータや車線情報、車線に関する距離情報を保持しておく。そして、カメラアングルに何らかの変更があった場合には、カメラアングルが固定された直後に、まず画面内の各画素で観測される動き情報を取得する。そして、その画面内の動き情報と、上記により予め保持されている各画素における平均的な動き情報との比較を行い、その比較結果が類似していると判断された場合には、その予め保持されている交通監視用パラメータを流用する。
【0078】
また、類似していないと判定された場合には、そのまま道路情報抽出までを行い、その際に得られた画面内の各画素の平均的な動き情報と、その際の道路情報を新たな監視アングルとして保持しておく。
【0079】
このように、カメラアングルが変更された場合には、画面内の動き情報と、これまでに取得したカメラアングルで得られる画面内の動き情報とのマッチングを行うことにより、既存のカメラアングルと判断された場合には、既知の道路情報を呼び出して利用し、未知のカメラアングルと判断された場合には、その時に得られる画面内の各画素の動き情報とともに解析結果となる道路情報を追加で保持しておく。
【0080】
<車両交通監視装置の処理>
図8を用いて、本実施形態に係る車両交通監視装置の処理について説明する。
【0081】
まず、新規画像の入力があったか否かを検出し(ステップS501)、入力がない場合(ステップS501の「No」)には、処理を中止する。一方、新規画像の入力があった場合(ステップS501の「Yes」)には、カメラアングルが変更されている状態か否かの判定を行う(ステップS502)。
【0082】
そして、カメラアングルが変更されたと判定した場合(ステップS502の「Yes」)には、画像内の走行車線の状況を把握するため、車線解析が行われる(ステップS503)。
【0083】
一方で、カメラアングルが変更されていない場合(ステップS502の「No」)においても、まだ車線解析が完了していない場合には、引続き車線解析を完了させるまでは車両の検出やトラフィックイベントの抽出処理は行われない(ステップS504)。
【0084】
カメラアングルに変更がある場合には、車両解析処理が完了したか否かを判定し(ステップS503)、車両解析処理が完了した場合(ステップS503の「Yes」)およびカメラアングルに変更がない状態となり、車線解析処理が完了した場合には、車両検出処理を行い、個々の通行車両の交通状況を抽出する。一方、カメラアングルに変更があり、車両解析処理が完了していない場合(ステップS503の「No」)には、車両解析処理が完了するまで処理を続行し(ステップS504)、車両解析処理が完了した後に、車両検出処理を行い、個々の通行車両の交通状況を抽出する。
【0085】
そして、車両検出処理が終了すると、個々の通行車両の交通状況の解析結果をもとに、トラフィックイベント情報の抽出を行う(ステップS506)。
【0086】
以上、説明したように、本実施形態によれば、撮影映像の監視範囲を任意に変更可能な撮像装置からの映像に基づいて、自動的に、交通流計測を行うとともに、トラフィックイベントを抽出することができる。
【0087】
なお、車両交通監視装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを車両交通監視装置に読み込ませ、実行することによって本発明の車両交通監視装置を実現することができる。ここでいうコンピュータシステムとは、OSや周辺装置等のハードウェアを含む。
【0088】
また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
【0089】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0090】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0091】
101;PTZカメラ
201;撮影環境検出部
300;車両検出部
400;トラフィックイベント検出部
500;カメラアングル検出部
600;走行車線検出部
700;報知部

【特許請求の範囲】
【請求項1】
撮影映像の監視範囲を任意に変更可能な撮像装置を備えた車両交通監視装置であって、
該撮像装置により車両交通の監視範囲が決定されると、車両交通監視処理を開始することを特徴とする車両交通監視装置。
【請求項2】
車両交通の監視範囲を決定する監視範囲検出手段と、
撮影環境情報を取得する撮影環境情報取得手段と、
走行車線を検出する走行車線検出手段と、
道路の背景画像情報を格納する格納手段と、
前記撮像装置の撮影画像と前記検出された走行車線と前記取得された撮影環境情報と前記格納された道路の背景画像情報とに基づいて、車両情報を検出する車両検出手段と、
該検出された車両情報からトラフィックイベントを検出するトラフィックイベント検出手段と、
を備え、
前記監視範囲検出手段によって、車両交通の監視範囲が決定されたときに、前記走行車線検出手段、撮影環境情報取得手段、車両検出手段、トラフィックイベント検出手段を作動させて車両交通監視処理を行うことを特徴とする請求項1に記載の車両交通監視装置。
【請求項3】
前記監視範囲検出手段が検出する監視範囲が変更されるたびごとに、新たに前記車両交通監視処理を実行することを特徴とする請求項2に記載の車両交通監視装置。
【請求項4】
過去に検出した車両交通の監視範囲と該監視範囲における走行車線の検出結果とを対応付けて記憶するデータベースを備え、
前記監視範囲検出手段が検出した監視範囲と同一の監視範囲における情報が前記データベース内にある場合には、新たに、前記走行車線検出手段による走行車線の検出処理を行わずに、前記データベース内の走行車線の検出結果を用いることを特徴とする請求項2に記載の車両交通監視装置。
【請求項5】
前記走行車線検出手段が、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出することを特徴とする請求項1に記載の車両交通監視装置。
【請求項6】
前記監視範囲において表示される破線状の走行車線の1の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出する距離情報算出手段を備えたことを特徴とする請求項2に記載の車両交通監視装置。
【請求項7】
前記撮像装置が、パン・チルト・ズーム(PTZ)カメラであることを特徴とする請求項1から請求項6に記載の車両交通監視装置。
【請求項8】
前記パン・チルト・ズーム(PTZ)カメラのカメラアングルに変更があった場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別する判別手段と、
変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、警報を発出して運用者等に知らせる報知手段と、
を備えたことを特徴とする請求項7に記載の車両交通監視装置。
【請求項9】
撮影映像の監視範囲を任意に変更可能な撮像装置を備えた車両交通監視装置における車両交通監視方法をコンピュータに実行させるためのプログラムであって、
車両交通の監視範囲を決定する第1のステップと、
撮影環境情報を取得する第2のステップと、
走行車線を検出する第3のステップと、
前記撮像装置の撮影画像と前記検出された走行車線と前記取得された撮影環境情報と格納されている道路の背景画像情報とに基づいて、車両情報を検出する第4のステップと、
該検出された車両情報からトラフィックイベントを検出する第5のステップと、
を備え、
前記第1のステップにおいて、車両交通の監視範囲が決定されたときに、前記第2のステップから第5のステップの処理を実行することを特徴とするプログラム。
【請求項10】
前記第1のステップにおいて検出する監視範囲が変更されるたびごとに、新たに前記第2のステップから第5のステップの処理を実行することを特徴とする請求項9に記載のプログラム。
【請求項11】
過去に検出した車両交通の監視範囲と該監視範囲における走行車線の検出結果とを対応付けて記憶するデータベースを備え、
前記第1のステップで検出した監視範囲と同一の監視範囲における情報が前記データベース内にある場合には、新たに、前記第2のステップについての検出処理を行わずに、前記データベース内の走行車線の検出結果を用いることを特徴とする請求項9に記載のプログラム。
【請求項12】
前記第2のステップにおいて、撮像画像に対して画素単位での動き検出を行い、動き方向および大きさの情報取得を一定の時間継続的に行い、その集積または平均化を行って、画面上の動きとして一定以上の大きさがあった部分について車両通行領域と特定して走行車線を検出することを特徴とする請求項9に記載のプログラム。
【請求項13】
前記監視範囲において表示される破線状の走行車線の1の白線部の始点から隣接する白線部の始点までの表示長から実際の道路の距離情報を算出するステップをさらに備えたことを特徴とする請求項9に記載のプログラム。
【請求項14】
前記パン・チルト・ズーム(PTZ)カメラのカメラアングルに変更があった場合に、変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なるか否かを判別するステップと、
変更後のカメラアングルが予め運用者が定めた定点観測時のカメラアングルと異なる場合に、その旨を通知するステップと、
をさらに備えたことを特徴とする請求項9に記載のプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−192069(P2011−192069A)
【公開日】平成23年9月29日(2011.9.29)
【国際特許分類】
【出願番号】特願2010−58257(P2010−58257)
【出願日】平成22年3月15日(2010.3.15)
【出願人】(599108264)株式会社KDDI研究所 (233)
【出願人】(391007460)中日本ハイウェイ・エンジニアリング名古屋株式会社 (47)
【出願人】(500158443)日本通信エンジニアリングサービス株式会社 (2)
【Fターム(参考)】