交通監視システム
【課題】見通しの悪いＴ字路、十字路等の交差点での出合い頭による車両同士の衝突事故等を防止する。
【解決手段】交通監視システムを、移動する対象物が通る所定の領域を撮影するカメラと、該カメラにより撮影された画像情報に基づき、前記対象物を解析し前記対象物の位置と移動方向と移動速度を解析する画像解析装置と、前記対象物の類似画像を記録する類似画像記録装置と、交差点周辺の背景画像を記録する背景画像記録装置と、前記類似画像と前記背景画像とを合成する画像合成装置と、合成画像を表示する画像表示装置とを備えるように構成し、前記対象物の特徴に基づき抽出した類似画像を、前記対象物の位置と移動方向と移動速度に基づいて背景画像に合成して、合成画像を前記画像表示装置に表示する。
【解決手段】交通監視システムを、移動する対象物が通る所定の領域を撮影するカメラと、該カメラにより撮影された画像情報に基づき、前記対象物を解析し前記対象物の位置と移動方向と移動速度を解析する画像解析装置と、前記対象物の類似画像を記録する類似画像記録装置と、交差点周辺の背景画像を記録する背景画像記録装置と、前記類似画像と前記背景画像とを合成する画像合成装置と、合成画像を表示する画像表示装置とを備えるように構成し、前記対象物の特徴に基づき抽出した類似画像を、前記対象物の位置と移動方向と移動速度に基づいて背景画像に合成して、合成画像を前記画像表示装置に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、見通しの悪い道路における出合い頭の車両事故等を防止するうえで有用な交通監視システムに関し、見通しの利かない道路状況を撮影した画像を、車両の運転者へ提供することにより、車両事故等を防止するようにする交通監視システムに関するものである。
【背景技術】
【０００２】
まず、見通しの悪い道路における状況について、図９を用いて説明する。図９は、上方から見た交差点（Ｔ字路）の状況を示す図である。図９においては、横方向に直線状に延びる道路２ｂと、道路２ｂに垂直方向に直線状に延びる道路２ａとが、Ｔ字状に交差している。道路２ｂには、交差点方向に進行中の車１ｂと車１ｃが存在する。道路２ａには、交差点に向けて進行し交差点直前で一旦停止する車１ａが存在する。道路２ａの両側には、塀５ｂと塀５ｃが設置され、車１ａの視界を遮る遮蔽物となっている。建物３ａ〜３ｅは、車１ａ〜１ｃの相対的位置関係を図で示しやすいように、目印として活用するために記載してある。
【０００３】
車１ａに搭乗している運転者が、道路２ｂを見たときの視界について、図１０〜１２を用いて説明する。図１０〜１２において、破線は、遮蔽物（塀５ｂと塀５ｃ）によって、運転者から見ることができない物体の輪郭を表している。
まず、運転者が道路２ｂを正面に見たときの視界について、図１０を用いて説明する。図１０に示してあるとおり、道路２ｂの右側と左側は、それぞれ、塀５ｂと塀５ｃによって遮られ、建物３ｃの前方に位置する部分しか目視確認することができない。
【０００４】
次に、運転者から道路２ｂの右側を見たときの視界について、図１１を用いて説明する。図１１に示してあるとおり、建物３ｄの前方に位置する車１ｂは、塀５ｂによって遮蔽され、運転者からは目視確認できない。
次に、運転者が道路２ｂの左側を見たときの視界について、図１２を用いて説明する。
左側も右側の図１１と同様であるが、建物３ｂの前方に位置する車１ｃは、塀５ｃによって遮蔽され、運転者からは目視確認できない。
【０００５】
このように従来の見通しの悪い交差点では、道路２ｂの状況の一部分しか目視確認できない状態のまま、道路２ｂへ車１ａを移動させなければならず、衝突事故の可能性が比較的高い。
【０００６】
このような見通しの悪いＴ字路、十字路等の交差点での出合い頭による車両同士の衝突事故を防止するために、多数の提案がされている。下記の特許文献１には、交差点付近の交通事故の原因調査や解消等を目的として、交通信号灯の信号の状況情報と交差点に設けた監視用ＴＶカメラから得られる交差点およびその周辺を俯瞰する映像を関連付けて得て、交通信号灯の点灯状況を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１-３２８５７４公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、見通しの悪いＴ字路、十字路等の交差点での出合い頭による車両同士の衝突事故等を防止するために為されたもので、見通しの悪い道路における出合い頭の車両事故等を防止するうえで有用な交通監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では、上記課題を解決するため、見通しの利かない道路状況を撮影した画像を、車両の運転者へ提供するものである。本願発明の代表的な構成は、次のとおりである。すなわち、
移動する対象物が通る所定の領域を撮影するカメラと、
該カメラにより撮影された画像情報に基づき、前記対象物を判別するための特徴を解析するとともに、前記対象物の移動状態の特徴を解析する画像解析装置と、
前記対象物の類似画像を記録する類似画像記録装置と、
前記画像解析装置によって解析された前記対象物を判別するための特徴に基づいて前記類似画像記録装置から前記対象物の類似画像を抽出し、前記画像解析装置によって解析された前記対象物の移動状態の特徴に基づいて当該類似画像を予め記憶された背景画像と合成して合成画像を生成する画像合成装置と、
前記画像合成装置で合成した前記合成画像を表示する画像表示装置とを備えることを特徴とする交通監視システム。
【発明の効果】
【００１０】
本願発明によれば、例えば、見通しの利かない道路状況を撮影した画像を、実際の風景に近い状態で、車両の運転者へ提供することにより、車両事故等を防止することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態における交通監視システムの構成例を示す図である。
【図２】第１の実施形態における交通監視システムの変形例を示す図である。
【図３】第２の実施形態における交通監視システムの構成例を示す図である。
【図４】第２の実施形態における交通監視システムの変形例を示す図である。
【図５】第１の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【図６】第１、第２の実施形態における画像表示を示す図である。
【図７】第２の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【図８】第２の実施形態の変形例におけるカメラと画像表示装置の設置状況を示す図である。
【図９】上方から見た交差点の状況を示す図である。
【図１０】運転者から見た交差点前方の状況を示す図である。
【図１１】運転者から見た交差点右側の状況を示す図である。
【図１２】運転者から見た交差点左側の状況を示す図である。
【発明を実施するための形態】
【００１２】
詳細は後述するが、以下において説明する第１の実施形態と第２の実施形態の内容を簡単に比較すると、第１の実施形態ではカメラで撮影した映像をそのまま表示装置に表示させる技術が主体となっており、第２の実施形態ではカメラで撮影した映像に対して画像処理技術を適用することによって、衝突の可能性がある対象物を検知し、その検知した情報に基づいて作成した映像を表示装置に表示させる技術を主体としている。
【００１３】
そこで、以降の説明の理解を容易にする目的で、まず始めに、装置構成が比較的シンプルな第１の実施形態の機能説明と実施例について説明し、その次に、装置構成が比較的複雑で画像処理技術や画像情報合成技術を含む第２の実施形態の機能説明と実施例を説明する。
【００１４】
（第１の実施形態）
本発明の交通監視システムの第１実施形態について説明する。まず始めに、第１実施形態のシステム構成について図１を用いて説明する。図１は、本発明の第１の実施形態における交通監視システムの構成例を示す図である。
【００１５】
第１実施形態のシステムは、撮影セクション１０と画像表示セクション２０の、２つのセクションで構成されている。
まず１つ目の撮影セクション１０において、複数のカメラ１１ａ、１１ｂ、・・がシステムと接続されている。このカメラは、道路や歩道を移動する車両や自転車、人などの対象物を撮影するための装置である。
【００１６】
次に、２つ目の画像表示セクション２０について説明する。
このセクションにおいて、複数の画像表示装置２１ａ、２１ｂ、・・がシステムと接続されている。これらの画像表示装置は、車両の運転者が衝突事故を回避するために必要な情報を、該運転者に対して、画像情報として提供することを目的としている。具体的な表示内容については後述する。
【００１７】
この２つのセクションの連携動作により、カメラで撮影した画像情報を画像表示装置にて、運転者へ表示することで、運転者の衝突事故回避行動を促すことが可能となる。
【００１８】
また、図２に示す変形例のように、撮影セクション１１０と画像表示セクション１２０に、それぞれ無線通信装置１５、２５を追加し、２つのセクションを無線接続する構成も可能である。図２は、第１の実施形態における交通監視システムの変形例を示す図である。なお、無線接続にすることで得られる効果については、後述する第２の実施形態の説明にて、まとめて行う。
【００１９】
次に、第１実施形態の各種装置間の連携動作について、実施例を用いて説明する。
まず、Ｔ字路へ各種装置を設置した場合について、図５を用いて説明するが、車両、建物、道路、塀の相対的位置関係と役割については、図９で説明した内容と同様であるため、図９との相違点を中心に説明する。図５は、第１の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【００２０】
まず、カメラ１１ａは、車１ａに対して塀５ｂの裏側に設置され、車１ａの運転者の視界が塀５ｂによって遮蔽されている道路２ｂの右側の方角を撮影し、その画像情報を画像表示装置２１ａへ送信する。
その画像情報を画像表示装置２１ａが表示することによって、図１１においては塀５ｂによって遮蔽され破線で輪郭が示されていた車１ｂを含む領域を、車１ａの運転者が認識することができる。このようにして、図６に示すように、画像表示装置２１ａを見ることにより、車１ａの運転者が１ｂの存在を確認することができるようになる。図６は、第１の実施形態における画像表示を示す図である。
【００２１】
以上説明したように、本実施形態のシステムによれば、運転者の視界を遮蔽している障害物の方角をカメラで撮影した映像を、前記障害物の方角に設置した画像表示装置へ表示するので、例えば、運転者と塀の間に設置する画像表示装置へ表示することが可能となる。したがって、運転者は、カメラで撮影した映像を、実際の風景に近い状態で見ることができる。
なお、ここでは効率よく本発明の理解が得られるように、説明が簡略化できるシンプルなＴ字路を実施例として説明しているが、本発明はさまざまな形状の道路へ適用可能である。
【００２２】
（第２の実施形態）
次に、第２の実施形態の説明を行う。
第２の実施形態では、より多くの装置を連動させた動作が必要となる。そこで以降では、まず始めにシステム構成と各機能部位について説明をした後で、Ｔ字路や十字路に本発明を適用した実施例について説明する。
【００２３】
まず始めに、システム構成について図３を用いて説明する。
第２実施形態のシステムは、撮影セクション３０と画像表示セクション４０と画像処理セクション５０の、３つのセクションを備えている。
【００２４】
まず１つ目の撮影セクション３０において、複数のカメラ１１ａ、１１ｂ、・・がシステムと接続されている。このカメラは、道路や車両や自転車、歩道を移動する人などの対象物を撮影するための装置である。
【００２５】
次に、２つ目の画像表示セクション４０について説明する。
このセクションにおいて、複数の画像表示装置２１ａ、２１ｂ、・・がシステムと接続されている。これらの画像表示装置は、衝突事故を回避するために必要な情報を、車両の運転者に画像情報として提供することを目的としている。具体的な表示内容については後述する。
【００２６】
最後に３つ目の画像処理セクション５０について説明する。このセクションには画像処理に関係する複数の装置が属するので、それぞれの役割について個別に説明する。
画像解析装置５１は、前記カメラ１１ａ、１１ｂ、・・が撮影した画像情報（画像データ）に基づき、道路上を移動する対象物の種別や大きさ等（例えば、普通自動車、大型自動車、自動二輪車、自転車、歩行者の区別）の、対象物を判別するための特徴を解析し、また、対象物の位置や移動方向や移動速度や加速度など、対象物の移動状態の特徴を解析し、それらの特徴を出力する装置である。前記移動状態の特徴は、対象物の位置や移動方向や移動速度や加速度のうち、少なくとも１つを含むものであり、また、それらの組合せでもよい。
なお、道路上を移動する対象物とは、ある運転者が運転する車両や、該運転者が運転する車両と衝突する可能性のある車両や自転車や人などの物体（以降、死角にある障害物と表現することもある。）を指す。
【００２７】
類似画像記録装置５２は、前記画像解析装置５１が解析した車両等の対象物と類似又は対応する類似画像を記録する装置である。解析した類似画像の詳細な用途については後述するが、この類似画像は画像表示装置２１ａ等へ表示する画像の一部として用いるものである。
【００２８】
背景画像記録装置５３は、交差点周辺の背景画像を記録、特に、運転者から死角となっている部分の画像を記録する装置である。詳細は後述するが、この背景画像記録装置５３に記録された背景画像は、前記類似画像と合成され、前記画像表示装置２１ａ等へ表示される画像の一部として用いるものである。
【００２９】
画像合成装置５４は、画像解析装置５１が出力する前記対象物を判別するための特徴に基づき、類似画像記録装置５２から前記対象物の類似画像を抽出するとともに、前記対象物の移動状態の特徴（対象物の位置と移動方向と移動速度など）に基づき、前記抽出した類似画像を背景画像記録装置５３から抽出した背景画像に合成し、その合成画像を出力する装置である。つまり、画像合成装置５４は、予め記憶された背景画像と類似画像を、移動状態の特徴に従って合成して、類似画像が移動している合成画像を生成し、出力する。また、画像合成装置５４は、どの背景画像に前記対象物の類似画像を合成するかを、当該対象物を撮影したカメラ１１ａの位置や撮影方向等の情報に基づいて決定する。
【００３０】
画像配信装置５５は、画像表示セクション４０の画像表示装置２１ａ等へ、画像合成装置５４で合成した合成画像を配信する装置である。画像配信装置５５は、どの画像表示装置２１ａ等へ合成画像を配信するかを、その合成画像の対象物を撮影したカメラ１１ａの位置や撮影方向等の情報、又は、背景画像の識別情報（どの背景画像かを示すＩＤ等）に基づいて、選択し決定する。
【００３１】
これら３つのセクションの連携動作により、複数のカメラで撮影した画像の中から衝突する可能性のある対象物を特定し、該対象物の類似画像と背景画像を抽出し、それらの相対的な位置関係に基づく合成画像を作成し、その画像情報を運転者へ表示することで、運転者の衝突事故回避行動を促すことが可能となる。
【００３２】
次に、第２の実施形態における交通監視システムの変形例を、図４を用いて説明する。図４は、第２の実施形態における交通監視システムの変形例を示す図である。図４に示すような、無線ネットワークで各セクションを接続するような構成は、交差点などで有線ネットワークを構成することが困難な場合に有用である。
【００３３】
大部分において、図３と図４のシステム構成や各装置の役割に違いはないが、一部の装置が図３とは別のセクションに配置されているので、図３との相違点を中心に、図４について説明する。
また、一般的に無線ネットワークでのデータ伝送速度は、有線ネットワークよりも低いことが多いが、そういった無線ネットワーク特有の課題に対する対策を含め、図４について説明する。
【００３４】
まずシステム全体の相違点としては、各セクションがそれぞれ無線通信装置３１ａ、３１ｂ、４１ａ、４１ｂ、５６等によって接続されていることが挙げられる。これは交差点において、死角にある障害物の撮影に適したカメラの設置場所と、運転者へ表示する画像表示装置の設置場所とが、必ずしも近接していないことや、それぞれの装置の設置場所に、必ずしも有線ネットワークが敷設済みであるとは限らないことが想定されるため、その対策方法の一つとして無線通信によるネットワーク接続を示している。
【００３５】
そこで、データ伝送速度が低いという無線ネットワーク特有の課題を解決するための方法として、無線通信で伝送するデータ量を軽減させる装置構成について説明する。
まず、図４では、撮影セクション１３０のカメラ１１ａ、１１ｂのそれぞれに、画像解析装置５１ａ、５１ｂ、および無線通信装置３１ａ、３１ｂを設置している。こうすることで、カメラ１１ａが撮影した画像が、カメラ１１ａと有線接続されている画像解析装置５１ａへ入力され、画像解析装置５１ａで死角にある対象物が解析され、その解析対象の特徴を示す情報（対象物の種別や大きさ、位置や移動方向や移動速度や加速度など）のみを、無線通信装置３１ａにより、画像処理セクション１５０へ無線伝送することを可能としている。
このように、撮影セクション１３０は、各１台のカメラと画像解析装置と無線通信装置から構成される小セクション１３０ａ、１３０ｂ、・・から構成されている。
【００３６】
画像処理セクション１５０では、撮影セクション１３０から送信された解析情報を、無線通信装置５６で受信し、類似画像記録装置５２、背景画像記録装置５３、画像合成装置５４、画像配信装置５５により、図３のシステムにおける画像処理セクション５０と同様の処理を行い、生成した合成画像を、無線通信装置５６により、画像表示セクション１４０へ無線送信する。
【００３７】
画像表示セクション１４０では、画像表示装置２１ａ、２１ｂ、・・のそれぞれに、無線通信装置４１ａ、４１ｂ、・・を設置しており、無線通信装置４１ａで受信した合成画像を画像表示装置２１ａに表示し、無線通信装置４１ｂで受信した合成画像を画像表示装置２１ｂに表示する。
【００３８】
このように、図４のシステム例では、後続の処理に必要最低限のデータ、例えば、対象物の種別を示す情報と、対象物の移動方向及び移動速度に関する情報のみを無線通信で伝送することで、無線ネットワークのトラフィック負荷を軽減させることを可能としている。
ただし、データ伝送容量が潤沢な無線通信システムを採用した場合には、図３に示したシステム構成と同様に、カメラの撮影データのすべてを画像処理セクション１５０へ伝送することは当然可能である。また、画像処理セクション１５０と画像表示セクション１４０とを有線で接続することも当然可能である。
【００３９】
図４のシステム構成により無線ネットワークのトラフィック負荷を軽減させることは可能であるが、逆に画像解析装置の台数は増加することになる。このような場合には、本実施形態のシステムを適用する場所の条件と、システムの投資費用の条件に基づき、最適なシステム構成を決定することが必要となる。
【００４０】
以上説明したように、第２実施形態のシステムによれば、カメラで撮影した映像を画像処理することで道路上の状況を把握し、運転者の視界を遮断している塀を排除したときに、運転者が見ることのできる景色と同等な映像を生成し、その映像を、例えば運転者と塀の間に設置する画像表示装置へ表示することが可能となる。
【００４１】
次に、第２実施形態における各種装置間の連携動作について実施例を用いて説明する。
まず、Ｔ字路へ各種装置を設置した場合について、図７を用いて説明するが、車両、建物、道路、塀の相対的位置関係と役割については、図９で説明した内容と同様であるため、図９との相違点を中心に説明する。図７は、第２の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【００４２】
まず、カメラ１１ａは建物３ｃに設置され、道路２ａの方角を撮影し、その撮影範囲に含まれる車１ａの情報を生成する。生成された情報は、画像処理セクション５０の装置群へ送信される。
カメラ１１ｂは、カメラ１１ａと同様に建物３ｃに設置され、道路２ａから見て、道路２ｂの右側を撮影し、車１ａの運転者の死角にある、障害物となり得る物体を含めた画像情報を生成する。生成された画像情報は、カメラ１１ａと同様に、画像処理セクション５０の装置群へ送信される。
【００４３】
次に、表示する画像を合成する動作について説明する。
本実施例の場合における画像合成処理は、背景画像と死角にある障害物（本実施例では車１ｂ）の画像を時間経過とともに更新し、両者の画像を更新されるたびに合成することである。
【００４４】
そこでまず、背景画像の生成および更新処理について説明する。
カメラ１１ａで車１ａを撮影し、画像解析装置５１の画像解析処理によって、道路２ａ上での車１ａを検出し、車種、位置、移動方向、移動速度などの特徴を抽出する。抽出した位置情報等によって、画像合成装置５４が、車１ａに搭乗する運転者から見た場合の、塀５ｂ側の景色の見え方を計算し、その位置に適した背景画像を、背景画像記録装置５３に記録した背景画像の中から選択する。例えば、画像合成装置５４は、移動する対象物（ここでは車１ａ）の位置と移動速度や加速度に応じた背景画像の情報を、実験やシミュレーションにより予め保持しており、上述した撮影カメラの位置や撮影方向等の情報とに基づいて、背景画像記録装置５３が保持する複数の背景画像の中から最適な背景画像を選択する。
なお、車１ａに後続車が複数存在する場合も想定されるが、そのときは、死角にある障害物との衝突の可能性が一番高い車両である、先頭車両の位置情報に基づき、背景画像を選択する。
【００４５】
次に、車１ｂの画像の生成および更新処理について説明する。
カメラ１１ｂで車１ｂを撮影し、画像解析装置５１の画像解析処理によって、道路２ｂ上での車１ｂを検出し、車種、位置、移動方向、移動速度などの特徴を抽出する。それらの特徴と前記車１ａの位置情報から、画像合成装置５４が、車１ａの運転者から車１ｂを直接見たときと同等な形状の類似画像を、類似画像記録装置５２に記録した類似画像の中から選択する。
本実施例では、死角にある障害物が車１ｂの１つのみであるが、複数の車両や自転車や人などの衝突の要因となる対象物については、それぞれ、車１ｂと同様な処理を行う。
このように、画像合成装置５４が、時間経過によって推移する車１ａと車１ｂの位置関係に追従するように，背景画像と類似画像を更新し、さらにそれぞれの画像を合成することで、画像表示装置２１ａへ表示する画像を生成する。
【００４６】
その生成した画像を、画像表示装置２１ａで表示することによって、図１１においては塀５ｂによって遮蔽され破線で輪郭が示されていた車１ｂを含む領域を、車１ａの運転者が認識することができる。このようにして、図６に示すように、画像表示装置２１ａを見ることにより、車１ａの運転者が１ｂの存在を確認することができるようになる。図６は、本実施例における画像表示を示す図である。
【００４７】
なお、Ｔ字路に近い状況への適用例としては、道路に面した住宅の車両出口周辺が塀や植え込みで囲まれている場所や、市街地などで見られる左右の見通しが利かない立体駐車場の出口への設置などがあり、このような場所では、本実施例の効果を発揮することができる。
【００４８】
さらに付け加えると、図７における道路２ｂに相当するような進入しようとする道路の手前で、車両が一旦停止することが十分想定されるような場所（交差点）への本実施形態のシステムの適用を考えた場合、カメラ１１ａを使用せず車１ａの位置情報を停止位置に固定させ、カメラ１１ｂで車１ｂのみを撮影しても、上記までの説明と同等の効果を得ることは可能であり、同時に装置構成の縮小化によるコスト低減効果を得ることができる。
【００４９】
上述した技術、特に画像処理技術については、従来技術として既に一般的に実用化されている技術の組み合わせで実現可能である。それぞれの特徴となっている技術について、以降に説明する。
車の有無検知や位置情報抽出、車の移動方向や移動速度情報等の抽出は、監視カメラ分野で使用されている侵入者検知技術を応用することにより実現可能である。
車種の判定、表示する車などの類似画像の選択は、同一人物を検索する際において、２つの顔の類似性を判別するときに用いられる類似画像検索技術の応用により実現可能である。
【００５０】
背景画像と車の類似画像の合成については、ドライブシミュレータなどで市街地における建物と車両の振る舞いや相対的位置関係をコンピュータ内にモデル化し、それを動作させるときには、あらゆる視点から見た表示を可能とする技術が既知であり、その技術の応用により実現可能である。
上記のそれぞれの技術は、現在、一般的に市販されているパソコンで実現可能な処理である。そういったことから本発明の処理も同様に、一般的に市販されているパソコンで実現可能であり、超高速並列処理で動作するスーパーコンピュータなどのような高額で希少な装置は必要ではない。
【００５１】
次に、本実施形態のシステムの複雑な交差点への適用例として、十字路への適用事例について、図８を用いて説明する。図８の十字路では、カメラなどの装置や車なども増え、複雑に見えるが、具体的な仕組みは前述の図７のＴ字路と同じである。
図８に記載されている装置等について以下に説明する。
道路２ａ〜２ｄ上に車１ａ〜１ｄが存在し、それぞれの道路の右側には、平面視がＬ字形状の塀６ａ〜６ｄがある。また、道路２ａ〜２ｄを接続する交差点エリア７がある。
カメラ１１ａ〜１１ｄは、交差点を中心とし、カメラ番号にそれぞれ対応した道路２ａ〜２ｄの対向側に設置されている。
【００５２】
画像表示装置２１ａ〜２１ｄは、それぞれ道路２ａ〜２ｄの交差点に接する塀６ａ〜６ｄに設置されている。また、画像表示装置２２ｂ〜２２ｄ、２２ａも、それぞれ塀６ａ〜６ｄに設置されている。画像表示装置２２ａ〜２２ｄは、その表示面が、それぞれ画像表示装置２１ａ〜２１ｄの表示面に対向するように設置されている。
本例では、カメラ１１ａ〜１１ｄと、画像表示装置２１ａ〜２１ｄ、２２ａ〜２２ｄと、画像処理セクション１５０の装置群は、それぞれ無線通信装置により、ネットワーク接続されていることとする。
【００５３】
画像表示装置２１ａに表示する場合を例にとって説明すると、カメラ１１ａで道路２ａを撮影し、運転者の車１ａを検出する。同時にカメラ１１ｂで道路２ｂを撮影し、車１ａの死角にある障害物として車１ｂを検出する。
それらの検出した情報に基づき、画像処理セクション１５０の装置群は、車１ｂの類似画像と、車１ａから見た道路２ｂの背景画像とを合成して合成画像を生成し、画像表示装置２１ａへ配信し、該合成画像が表示される。
このように交差点の形状が複雑になっても、カメラと画像表示装置を増設することで、本発明を適用することは可能である。
【００５４】
なお、本発明の提案分野における従来の解決方法には、反射鏡や信号機が挙げられるので、それぞれと本発明との相違点について説明する。
反射鏡と本発明との相違点は、反射鏡の場合は、運転者との位置関係から、反射鏡の設置場所が本発明と比較し限定的であることと、反射鏡から運転者へ提供される映像が左右反対になっていることである。
前者（反射鏡の設置場所が限定的であること）は、運転者の死角となっている道路やその周辺を映し出すための最適な設置場所が限られているためである。後者（反射鏡から提供される映像が左右反対になっていること）については、反射鏡に映し出される像が左右反転しているため、運転者自身の思考により、反射鏡の情報を左右逆転させ、危険回避のための情報を再構築することが必要であり、運転者の負担が大きいという問題がある。
【００５５】
それに対し、本発明では、運転者の死角となっている道路とその周辺の状況をどの角度から撮影しても、死角にある障害物の移動方向や移動速度などを画像処理で抽出可能であるため、カメラの設置場所への制約が小さいことが挙げられる。
また、運転者へ提供する画像情報は、運転者と死角の障害物との実際の位置関係に基づいて生成して表示するため、運転者が画像情報の理解が容易に行えることが大きな利点として挙げられる。
【００５６】
また、信号機と本発明との相違点については、設置の容易さが挙げられ、信号機の設置は、民間人が独自に判断して実現できるものではない。それに対し、本発明のシステムは、運転者への事故回避のための参考情報を提供することを目的としており、信号機のような運転者への運転指示を行うものではない。そのため、道路交通法などにより、設置に関する制約を受けることがなく、設置場所の確保が比較的容易である。特に、駐車場の出入口や、駐車場内の交差路や、人や自転車が通る通路や、店や施設内の通路等には、容易に設置することができる。
【００５７】
なお、本発明は、本発明に係る処理を実行するシステムとしてだけでなく、装置、方法として、或いは、このような方法やシステムを実現するためのプログラムや当該プログラムを記録する記録媒体などとして把握することができる。
また、本発明は、ＣＰＵがメモリに格納された制御プログラムを実行することにより制御する構成としてもよく、また、ハードウエア回路として構成してもよい。
さらに、本発明は、上述した実施形態に限定されるものではなく、種々変形して実施することができる。
【符号の説明】
【００５８】
１ａ・・車、１ｂ・・車、１ｃ・・車、１ｄ・・車、２ａ・・道路、２ｂ・・道路、２ｃ・・道路、２ｄ・・道路、５ｂ・・塀、５ｃ・・塀、６ａ・・塀、６ｂ・・塀、６ｃ・・塀、６ｄ・・塀、７・・交差点エリア、１０・・撮影セクション、１１ａ・・カメラ、１１ｂ・・カメラ、１５・・無線通信装置、２０・・画像表示セクション、２１ａ・・画像表示装置、２１ｂ・・画像表示装置、２１ｃ・・画像表示装置、２１ｄ・・画像表示装置、２２ａ・・画像表示装置、２２ｂ・・画像表示装置、２２ｃ・・画像表示装置、２２ｄ・・画像表示装置、２５・・無線通信装置、３０・・撮影セクション、３１ａ・・無線通信装置、３１ｂ・・無線通信装置、４０・・画像表示セクション、４１ａ・・無線通信装置、４１ｂ・・無線通信装置、５０・・画像処理セクション、５１・・画像解析装置、５１ａ・・画像解析装置、５１ｂ・・画像解析装置、５２・・類似画像記録装置、５３・・背景画像記録装置、５４・・画像合成装置、５５・・画像配信装置、５６・・無線通信装置、１１０・・撮影セクション、１２０・・画像表示セクション、１３０・・撮影セクション、１４０・・画像表示セクション、１５０・・画像処理セクション。
【技術分野】
【０００１】
本発明は、見通しの悪い道路における出合い頭の車両事故等を防止するうえで有用な交通監視システムに関し、見通しの利かない道路状況を撮影した画像を、車両の運転者へ提供することにより、車両事故等を防止するようにする交通監視システムに関するものである。
【背景技術】
【０００２】
まず、見通しの悪い道路における状況について、図９を用いて説明する。図９は、上方から見た交差点（Ｔ字路）の状況を示す図である。図９においては、横方向に直線状に延びる道路２ｂと、道路２ｂに垂直方向に直線状に延びる道路２ａとが、Ｔ字状に交差している。道路２ｂには、交差点方向に進行中の車１ｂと車１ｃが存在する。道路２ａには、交差点に向けて進行し交差点直前で一旦停止する車１ａが存在する。道路２ａの両側には、塀５ｂと塀５ｃが設置され、車１ａの視界を遮る遮蔽物となっている。建物３ａ〜３ｅは、車１ａ〜１ｃの相対的位置関係を図で示しやすいように、目印として活用するために記載してある。
【０００３】
車１ａに搭乗している運転者が、道路２ｂを見たときの視界について、図１０〜１２を用いて説明する。図１０〜１２において、破線は、遮蔽物（塀５ｂと塀５ｃ）によって、運転者から見ることができない物体の輪郭を表している。
まず、運転者が道路２ｂを正面に見たときの視界について、図１０を用いて説明する。図１０に示してあるとおり、道路２ｂの右側と左側は、それぞれ、塀５ｂと塀５ｃによって遮られ、建物３ｃの前方に位置する部分しか目視確認することができない。
【０００４】
次に、運転者から道路２ｂの右側を見たときの視界について、図１１を用いて説明する。図１１に示してあるとおり、建物３ｄの前方に位置する車１ｂは、塀５ｂによって遮蔽され、運転者からは目視確認できない。
次に、運転者が道路２ｂの左側を見たときの視界について、図１２を用いて説明する。
左側も右側の図１１と同様であるが、建物３ｂの前方に位置する車１ｃは、塀５ｃによって遮蔽され、運転者からは目視確認できない。
【０００５】
このように従来の見通しの悪い交差点では、道路２ｂの状況の一部分しか目視確認できない状態のまま、道路２ｂへ車１ａを移動させなければならず、衝突事故の可能性が比較的高い。
【０００６】
このような見通しの悪いＴ字路、十字路等の交差点での出合い頭による車両同士の衝突事故を防止するために、多数の提案がされている。下記の特許文献１には、交差点付近の交通事故の原因調査や解消等を目的として、交通信号灯の信号の状況情報と交差点に設けた監視用ＴＶカメラから得られる交差点およびその周辺を俯瞰する映像を関連付けて得て、交通信号灯の点灯状況を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１-３２８５７４公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、見通しの悪いＴ字路、十字路等の交差点での出合い頭による車両同士の衝突事故等を防止するために為されたもので、見通しの悪い道路における出合い頭の車両事故等を防止するうえで有用な交通監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では、上記課題を解決するため、見通しの利かない道路状況を撮影した画像を、車両の運転者へ提供するものである。本願発明の代表的な構成は、次のとおりである。すなわち、
移動する対象物が通る所定の領域を撮影するカメラと、
該カメラにより撮影された画像情報に基づき、前記対象物を判別するための特徴を解析するとともに、前記対象物の移動状態の特徴を解析する画像解析装置と、
前記対象物の類似画像を記録する類似画像記録装置と、
前記画像解析装置によって解析された前記対象物を判別するための特徴に基づいて前記類似画像記録装置から前記対象物の類似画像を抽出し、前記画像解析装置によって解析された前記対象物の移動状態の特徴に基づいて当該類似画像を予め記憶された背景画像と合成して合成画像を生成する画像合成装置と、
前記画像合成装置で合成した前記合成画像を表示する画像表示装置とを備えることを特徴とする交通監視システム。
【発明の効果】
【００１０】
本願発明によれば、例えば、見通しの利かない道路状況を撮影した画像を、実際の風景に近い状態で、車両の運転者へ提供することにより、車両事故等を防止することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態における交通監視システムの構成例を示す図である。
【図２】第１の実施形態における交通監視システムの変形例を示す図である。
【図３】第２の実施形態における交通監視システムの構成例を示す図である。
【図４】第２の実施形態における交通監視システムの変形例を示す図である。
【図５】第１の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【図６】第１、第２の実施形態における画像表示を示す図である。
【図７】第２の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【図８】第２の実施形態の変形例におけるカメラと画像表示装置の設置状況を示す図である。
【図９】上方から見た交差点の状況を示す図である。
【図１０】運転者から見た交差点前方の状況を示す図である。
【図１１】運転者から見た交差点右側の状況を示す図である。
【図１２】運転者から見た交差点左側の状況を示す図である。
【発明を実施するための形態】
【００１２】
詳細は後述するが、以下において説明する第１の実施形態と第２の実施形態の内容を簡単に比較すると、第１の実施形態ではカメラで撮影した映像をそのまま表示装置に表示させる技術が主体となっており、第２の実施形態ではカメラで撮影した映像に対して画像処理技術を適用することによって、衝突の可能性がある対象物を検知し、その検知した情報に基づいて作成した映像を表示装置に表示させる技術を主体としている。
【００１３】
そこで、以降の説明の理解を容易にする目的で、まず始めに、装置構成が比較的シンプルな第１の実施形態の機能説明と実施例について説明し、その次に、装置構成が比較的複雑で画像処理技術や画像情報合成技術を含む第２の実施形態の機能説明と実施例を説明する。
【００１４】
（第１の実施形態）
本発明の交通監視システムの第１実施形態について説明する。まず始めに、第１実施形態のシステム構成について図１を用いて説明する。図１は、本発明の第１の実施形態における交通監視システムの構成例を示す図である。
【００１５】
第１実施形態のシステムは、撮影セクション１０と画像表示セクション２０の、２つのセクションで構成されている。
まず１つ目の撮影セクション１０において、複数のカメラ１１ａ、１１ｂ、・・がシステムと接続されている。このカメラは、道路や歩道を移動する車両や自転車、人などの対象物を撮影するための装置である。
【００１６】
次に、２つ目の画像表示セクション２０について説明する。
このセクションにおいて、複数の画像表示装置２１ａ、２１ｂ、・・がシステムと接続されている。これらの画像表示装置は、車両の運転者が衝突事故を回避するために必要な情報を、該運転者に対して、画像情報として提供することを目的としている。具体的な表示内容については後述する。
【００１７】
この２つのセクションの連携動作により、カメラで撮影した画像情報を画像表示装置にて、運転者へ表示することで、運転者の衝突事故回避行動を促すことが可能となる。
【００１８】
また、図２に示す変形例のように、撮影セクション１１０と画像表示セクション１２０に、それぞれ無線通信装置１５、２５を追加し、２つのセクションを無線接続する構成も可能である。図２は、第１の実施形態における交通監視システムの変形例を示す図である。なお、無線接続にすることで得られる効果については、後述する第２の実施形態の説明にて、まとめて行う。
【００１９】
次に、第１実施形態の各種装置間の連携動作について、実施例を用いて説明する。
まず、Ｔ字路へ各種装置を設置した場合について、図５を用いて説明するが、車両、建物、道路、塀の相対的位置関係と役割については、図９で説明した内容と同様であるため、図９との相違点を中心に説明する。図５は、第１の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【００２０】
まず、カメラ１１ａは、車１ａに対して塀５ｂの裏側に設置され、車１ａの運転者の視界が塀５ｂによって遮蔽されている道路２ｂの右側の方角を撮影し、その画像情報を画像表示装置２１ａへ送信する。
その画像情報を画像表示装置２１ａが表示することによって、図１１においては塀５ｂによって遮蔽され破線で輪郭が示されていた車１ｂを含む領域を、車１ａの運転者が認識することができる。このようにして、図６に示すように、画像表示装置２１ａを見ることにより、車１ａの運転者が１ｂの存在を確認することができるようになる。図６は、第１の実施形態における画像表示を示す図である。
【００２１】
以上説明したように、本実施形態のシステムによれば、運転者の視界を遮蔽している障害物の方角をカメラで撮影した映像を、前記障害物の方角に設置した画像表示装置へ表示するので、例えば、運転者と塀の間に設置する画像表示装置へ表示することが可能となる。したがって、運転者は、カメラで撮影した映像を、実際の風景に近い状態で見ることができる。
なお、ここでは効率よく本発明の理解が得られるように、説明が簡略化できるシンプルなＴ字路を実施例として説明しているが、本発明はさまざまな形状の道路へ適用可能である。
【００２２】
（第２の実施形態）
次に、第２の実施形態の説明を行う。
第２の実施形態では、より多くの装置を連動させた動作が必要となる。そこで以降では、まず始めにシステム構成と各機能部位について説明をした後で、Ｔ字路や十字路に本発明を適用した実施例について説明する。
【００２３】
まず始めに、システム構成について図３を用いて説明する。
第２実施形態のシステムは、撮影セクション３０と画像表示セクション４０と画像処理セクション５０の、３つのセクションを備えている。
【００２４】
まず１つ目の撮影セクション３０において、複数のカメラ１１ａ、１１ｂ、・・がシステムと接続されている。このカメラは、道路や車両や自転車、歩道を移動する人などの対象物を撮影するための装置である。
【００２５】
次に、２つ目の画像表示セクション４０について説明する。
このセクションにおいて、複数の画像表示装置２１ａ、２１ｂ、・・がシステムと接続されている。これらの画像表示装置は、衝突事故を回避するために必要な情報を、車両の運転者に画像情報として提供することを目的としている。具体的な表示内容については後述する。
【００２６】
最後に３つ目の画像処理セクション５０について説明する。このセクションには画像処理に関係する複数の装置が属するので、それぞれの役割について個別に説明する。
画像解析装置５１は、前記カメラ１１ａ、１１ｂ、・・が撮影した画像情報（画像データ）に基づき、道路上を移動する対象物の種別や大きさ等（例えば、普通自動車、大型自動車、自動二輪車、自転車、歩行者の区別）の、対象物を判別するための特徴を解析し、また、対象物の位置や移動方向や移動速度や加速度など、対象物の移動状態の特徴を解析し、それらの特徴を出力する装置である。前記移動状態の特徴は、対象物の位置や移動方向や移動速度や加速度のうち、少なくとも１つを含むものであり、また、それらの組合せでもよい。
なお、道路上を移動する対象物とは、ある運転者が運転する車両や、該運転者が運転する車両と衝突する可能性のある車両や自転車や人などの物体（以降、死角にある障害物と表現することもある。）を指す。
【００２７】
類似画像記録装置５２は、前記画像解析装置５１が解析した車両等の対象物と類似又は対応する類似画像を記録する装置である。解析した類似画像の詳細な用途については後述するが、この類似画像は画像表示装置２１ａ等へ表示する画像の一部として用いるものである。
【００２８】
背景画像記録装置５３は、交差点周辺の背景画像を記録、特に、運転者から死角となっている部分の画像を記録する装置である。詳細は後述するが、この背景画像記録装置５３に記録された背景画像は、前記類似画像と合成され、前記画像表示装置２１ａ等へ表示される画像の一部として用いるものである。
【００２９】
画像合成装置５４は、画像解析装置５１が出力する前記対象物を判別するための特徴に基づき、類似画像記録装置５２から前記対象物の類似画像を抽出するとともに、前記対象物の移動状態の特徴（対象物の位置と移動方向と移動速度など）に基づき、前記抽出した類似画像を背景画像記録装置５３から抽出した背景画像に合成し、その合成画像を出力する装置である。つまり、画像合成装置５４は、予め記憶された背景画像と類似画像を、移動状態の特徴に従って合成して、類似画像が移動している合成画像を生成し、出力する。また、画像合成装置５４は、どの背景画像に前記対象物の類似画像を合成するかを、当該対象物を撮影したカメラ１１ａの位置や撮影方向等の情報に基づいて決定する。
【００３０】
画像配信装置５５は、画像表示セクション４０の画像表示装置２１ａ等へ、画像合成装置５４で合成した合成画像を配信する装置である。画像配信装置５５は、どの画像表示装置２１ａ等へ合成画像を配信するかを、その合成画像の対象物を撮影したカメラ１１ａの位置や撮影方向等の情報、又は、背景画像の識別情報（どの背景画像かを示すＩＤ等）に基づいて、選択し決定する。
【００３１】
これら３つのセクションの連携動作により、複数のカメラで撮影した画像の中から衝突する可能性のある対象物を特定し、該対象物の類似画像と背景画像を抽出し、それらの相対的な位置関係に基づく合成画像を作成し、その画像情報を運転者へ表示することで、運転者の衝突事故回避行動を促すことが可能となる。
【００３２】
次に、第２の実施形態における交通監視システムの変形例を、図４を用いて説明する。図４は、第２の実施形態における交通監視システムの変形例を示す図である。図４に示すような、無線ネットワークで各セクションを接続するような構成は、交差点などで有線ネットワークを構成することが困難な場合に有用である。
【００３３】
大部分において、図３と図４のシステム構成や各装置の役割に違いはないが、一部の装置が図３とは別のセクションに配置されているので、図３との相違点を中心に、図４について説明する。
また、一般的に無線ネットワークでのデータ伝送速度は、有線ネットワークよりも低いことが多いが、そういった無線ネットワーク特有の課題に対する対策を含め、図４について説明する。
【００３４】
まずシステム全体の相違点としては、各セクションがそれぞれ無線通信装置３１ａ、３１ｂ、４１ａ、４１ｂ、５６等によって接続されていることが挙げられる。これは交差点において、死角にある障害物の撮影に適したカメラの設置場所と、運転者へ表示する画像表示装置の設置場所とが、必ずしも近接していないことや、それぞれの装置の設置場所に、必ずしも有線ネットワークが敷設済みであるとは限らないことが想定されるため、その対策方法の一つとして無線通信によるネットワーク接続を示している。
【００３５】
そこで、データ伝送速度が低いという無線ネットワーク特有の課題を解決するための方法として、無線通信で伝送するデータ量を軽減させる装置構成について説明する。
まず、図４では、撮影セクション１３０のカメラ１１ａ、１１ｂのそれぞれに、画像解析装置５１ａ、５１ｂ、および無線通信装置３１ａ、３１ｂを設置している。こうすることで、カメラ１１ａが撮影した画像が、カメラ１１ａと有線接続されている画像解析装置５１ａへ入力され、画像解析装置５１ａで死角にある対象物が解析され、その解析対象の特徴を示す情報（対象物の種別や大きさ、位置や移動方向や移動速度や加速度など）のみを、無線通信装置３１ａにより、画像処理セクション１５０へ無線伝送することを可能としている。
このように、撮影セクション１３０は、各１台のカメラと画像解析装置と無線通信装置から構成される小セクション１３０ａ、１３０ｂ、・・から構成されている。
【００３６】
画像処理セクション１５０では、撮影セクション１３０から送信された解析情報を、無線通信装置５６で受信し、類似画像記録装置５２、背景画像記録装置５３、画像合成装置５４、画像配信装置５５により、図３のシステムにおける画像処理セクション５０と同様の処理を行い、生成した合成画像を、無線通信装置５６により、画像表示セクション１４０へ無線送信する。
【００３７】
画像表示セクション１４０では、画像表示装置２１ａ、２１ｂ、・・のそれぞれに、無線通信装置４１ａ、４１ｂ、・・を設置しており、無線通信装置４１ａで受信した合成画像を画像表示装置２１ａに表示し、無線通信装置４１ｂで受信した合成画像を画像表示装置２１ｂに表示する。
【００３８】
このように、図４のシステム例では、後続の処理に必要最低限のデータ、例えば、対象物の種別を示す情報と、対象物の移動方向及び移動速度に関する情報のみを無線通信で伝送することで、無線ネットワークのトラフィック負荷を軽減させることを可能としている。
ただし、データ伝送容量が潤沢な無線通信システムを採用した場合には、図３に示したシステム構成と同様に、カメラの撮影データのすべてを画像処理セクション１５０へ伝送することは当然可能である。また、画像処理セクション１５０と画像表示セクション１４０とを有線で接続することも当然可能である。
【００３９】
図４のシステム構成により無線ネットワークのトラフィック負荷を軽減させることは可能であるが、逆に画像解析装置の台数は増加することになる。このような場合には、本実施形態のシステムを適用する場所の条件と、システムの投資費用の条件に基づき、最適なシステム構成を決定することが必要となる。
【００４０】
以上説明したように、第２実施形態のシステムによれば、カメラで撮影した映像を画像処理することで道路上の状況を把握し、運転者の視界を遮断している塀を排除したときに、運転者が見ることのできる景色と同等な映像を生成し、その映像を、例えば運転者と塀の間に設置する画像表示装置へ表示することが可能となる。
【００４１】
次に、第２実施形態における各種装置間の連携動作について実施例を用いて説明する。
まず、Ｔ字路へ各種装置を設置した場合について、図７を用いて説明するが、車両、建物、道路、塀の相対的位置関係と役割については、図９で説明した内容と同様であるため、図９との相違点を中心に説明する。図７は、第２の実施形態におけるカメラと画像表示装置の設置状況を示す図である。
【００４２】
まず、カメラ１１ａは建物３ｃに設置され、道路２ａの方角を撮影し、その撮影範囲に含まれる車１ａの情報を生成する。生成された情報は、画像処理セクション５０の装置群へ送信される。
カメラ１１ｂは、カメラ１１ａと同様に建物３ｃに設置され、道路２ａから見て、道路２ｂの右側を撮影し、車１ａの運転者の死角にある、障害物となり得る物体を含めた画像情報を生成する。生成された画像情報は、カメラ１１ａと同様に、画像処理セクション５０の装置群へ送信される。
【００４３】
次に、表示する画像を合成する動作について説明する。
本実施例の場合における画像合成処理は、背景画像と死角にある障害物（本実施例では車１ｂ）の画像を時間経過とともに更新し、両者の画像を更新されるたびに合成することである。
【００４４】
そこでまず、背景画像の生成および更新処理について説明する。
カメラ１１ａで車１ａを撮影し、画像解析装置５１の画像解析処理によって、道路２ａ上での車１ａを検出し、車種、位置、移動方向、移動速度などの特徴を抽出する。抽出した位置情報等によって、画像合成装置５４が、車１ａに搭乗する運転者から見た場合の、塀５ｂ側の景色の見え方を計算し、その位置に適した背景画像を、背景画像記録装置５３に記録した背景画像の中から選択する。例えば、画像合成装置５４は、移動する対象物（ここでは車１ａ）の位置と移動速度や加速度に応じた背景画像の情報を、実験やシミュレーションにより予め保持しており、上述した撮影カメラの位置や撮影方向等の情報とに基づいて、背景画像記録装置５３が保持する複数の背景画像の中から最適な背景画像を選択する。
なお、車１ａに後続車が複数存在する場合も想定されるが、そのときは、死角にある障害物との衝突の可能性が一番高い車両である、先頭車両の位置情報に基づき、背景画像を選択する。
【００４５】
次に、車１ｂの画像の生成および更新処理について説明する。
カメラ１１ｂで車１ｂを撮影し、画像解析装置５１の画像解析処理によって、道路２ｂ上での車１ｂを検出し、車種、位置、移動方向、移動速度などの特徴を抽出する。それらの特徴と前記車１ａの位置情報から、画像合成装置５４が、車１ａの運転者から車１ｂを直接見たときと同等な形状の類似画像を、類似画像記録装置５２に記録した類似画像の中から選択する。
本実施例では、死角にある障害物が車１ｂの１つのみであるが、複数の車両や自転車や人などの衝突の要因となる対象物については、それぞれ、車１ｂと同様な処理を行う。
このように、画像合成装置５４が、時間経過によって推移する車１ａと車１ｂの位置関係に追従するように，背景画像と類似画像を更新し、さらにそれぞれの画像を合成することで、画像表示装置２１ａへ表示する画像を生成する。
【００４６】
その生成した画像を、画像表示装置２１ａで表示することによって、図１１においては塀５ｂによって遮蔽され破線で輪郭が示されていた車１ｂを含む領域を、車１ａの運転者が認識することができる。このようにして、図６に示すように、画像表示装置２１ａを見ることにより、車１ａの運転者が１ｂの存在を確認することができるようになる。図６は、本実施例における画像表示を示す図である。
【００４７】
なお、Ｔ字路に近い状況への適用例としては、道路に面した住宅の車両出口周辺が塀や植え込みで囲まれている場所や、市街地などで見られる左右の見通しが利かない立体駐車場の出口への設置などがあり、このような場所では、本実施例の効果を発揮することができる。
【００４８】
さらに付け加えると、図７における道路２ｂに相当するような進入しようとする道路の手前で、車両が一旦停止することが十分想定されるような場所（交差点）への本実施形態のシステムの適用を考えた場合、カメラ１１ａを使用せず車１ａの位置情報を停止位置に固定させ、カメラ１１ｂで車１ｂのみを撮影しても、上記までの説明と同等の効果を得ることは可能であり、同時に装置構成の縮小化によるコスト低減効果を得ることができる。
【００４９】
上述した技術、特に画像処理技術については、従来技術として既に一般的に実用化されている技術の組み合わせで実現可能である。それぞれの特徴となっている技術について、以降に説明する。
車の有無検知や位置情報抽出、車の移動方向や移動速度情報等の抽出は、監視カメラ分野で使用されている侵入者検知技術を応用することにより実現可能である。
車種の判定、表示する車などの類似画像の選択は、同一人物を検索する際において、２つの顔の類似性を判別するときに用いられる類似画像検索技術の応用により実現可能である。
【００５０】
背景画像と車の類似画像の合成については、ドライブシミュレータなどで市街地における建物と車両の振る舞いや相対的位置関係をコンピュータ内にモデル化し、それを動作させるときには、あらゆる視点から見た表示を可能とする技術が既知であり、その技術の応用により実現可能である。
上記のそれぞれの技術は、現在、一般的に市販されているパソコンで実現可能な処理である。そういったことから本発明の処理も同様に、一般的に市販されているパソコンで実現可能であり、超高速並列処理で動作するスーパーコンピュータなどのような高額で希少な装置は必要ではない。
【００５１】
次に、本実施形態のシステムの複雑な交差点への適用例として、十字路への適用事例について、図８を用いて説明する。図８の十字路では、カメラなどの装置や車なども増え、複雑に見えるが、具体的な仕組みは前述の図７のＴ字路と同じである。
図８に記載されている装置等について以下に説明する。
道路２ａ〜２ｄ上に車１ａ〜１ｄが存在し、それぞれの道路の右側には、平面視がＬ字形状の塀６ａ〜６ｄがある。また、道路２ａ〜２ｄを接続する交差点エリア７がある。
カメラ１１ａ〜１１ｄは、交差点を中心とし、カメラ番号にそれぞれ対応した道路２ａ〜２ｄの対向側に設置されている。
【００５２】
画像表示装置２１ａ〜２１ｄは、それぞれ道路２ａ〜２ｄの交差点に接する塀６ａ〜６ｄに設置されている。また、画像表示装置２２ｂ〜２２ｄ、２２ａも、それぞれ塀６ａ〜６ｄに設置されている。画像表示装置２２ａ〜２２ｄは、その表示面が、それぞれ画像表示装置２１ａ〜２１ｄの表示面に対向するように設置されている。
本例では、カメラ１１ａ〜１１ｄと、画像表示装置２１ａ〜２１ｄ、２２ａ〜２２ｄと、画像処理セクション１５０の装置群は、それぞれ無線通信装置により、ネットワーク接続されていることとする。
【００５３】
画像表示装置２１ａに表示する場合を例にとって説明すると、カメラ１１ａで道路２ａを撮影し、運転者の車１ａを検出する。同時にカメラ１１ｂで道路２ｂを撮影し、車１ａの死角にある障害物として車１ｂを検出する。
それらの検出した情報に基づき、画像処理セクション１５０の装置群は、車１ｂの類似画像と、車１ａから見た道路２ｂの背景画像とを合成して合成画像を生成し、画像表示装置２１ａへ配信し、該合成画像が表示される。
このように交差点の形状が複雑になっても、カメラと画像表示装置を増設することで、本発明を適用することは可能である。
【００５４】
なお、本発明の提案分野における従来の解決方法には、反射鏡や信号機が挙げられるので、それぞれと本発明との相違点について説明する。
反射鏡と本発明との相違点は、反射鏡の場合は、運転者との位置関係から、反射鏡の設置場所が本発明と比較し限定的であることと、反射鏡から運転者へ提供される映像が左右反対になっていることである。
前者（反射鏡の設置場所が限定的であること）は、運転者の死角となっている道路やその周辺を映し出すための最適な設置場所が限られているためである。後者（反射鏡から提供される映像が左右反対になっていること）については、反射鏡に映し出される像が左右反転しているため、運転者自身の思考により、反射鏡の情報を左右逆転させ、危険回避のための情報を再構築することが必要であり、運転者の負担が大きいという問題がある。
【００５５】
それに対し、本発明では、運転者の死角となっている道路とその周辺の状況をどの角度から撮影しても、死角にある障害物の移動方向や移動速度などを画像処理で抽出可能であるため、カメラの設置場所への制約が小さいことが挙げられる。
また、運転者へ提供する画像情報は、運転者と死角の障害物との実際の位置関係に基づいて生成して表示するため、運転者が画像情報の理解が容易に行えることが大きな利点として挙げられる。
【００５６】
また、信号機と本発明との相違点については、設置の容易さが挙げられ、信号機の設置は、民間人が独自に判断して実現できるものではない。それに対し、本発明のシステムは、運転者への事故回避のための参考情報を提供することを目的としており、信号機のような運転者への運転指示を行うものではない。そのため、道路交通法などにより、設置に関する制約を受けることがなく、設置場所の確保が比較的容易である。特に、駐車場の出入口や、駐車場内の交差路や、人や自転車が通る通路や、店や施設内の通路等には、容易に設置することができる。
【００５７】
なお、本発明は、本発明に係る処理を実行するシステムとしてだけでなく、装置、方法として、或いは、このような方法やシステムを実現するためのプログラムや当該プログラムを記録する記録媒体などとして把握することができる。
また、本発明は、ＣＰＵがメモリに格納された制御プログラムを実行することにより制御する構成としてもよく、また、ハードウエア回路として構成してもよい。
さらに、本発明は、上述した実施形態に限定されるものではなく、種々変形して実施することができる。
【符号の説明】
【００５８】
１ａ・・車、１ｂ・・車、１ｃ・・車、１ｄ・・車、２ａ・・道路、２ｂ・・道路、２ｃ・・道路、２ｄ・・道路、５ｂ・・塀、５ｃ・・塀、６ａ・・塀、６ｂ・・塀、６ｃ・・塀、６ｄ・・塀、７・・交差点エリア、１０・・撮影セクション、１１ａ・・カメラ、１１ｂ・・カメラ、１５・・無線通信装置、２０・・画像表示セクション、２１ａ・・画像表示装置、２１ｂ・・画像表示装置、２１ｃ・・画像表示装置、２１ｄ・・画像表示装置、２２ａ・・画像表示装置、２２ｂ・・画像表示装置、２２ｃ・・画像表示装置、２２ｄ・・画像表示装置、２５・・無線通信装置、３０・・撮影セクション、３１ａ・・無線通信装置、３１ｂ・・無線通信装置、４０・・画像表示セクション、４１ａ・・無線通信装置、４１ｂ・・無線通信装置、５０・・画像処理セクション、５１・・画像解析装置、５１ａ・・画像解析装置、５１ｂ・・画像解析装置、５２・・類似画像記録装置、５３・・背景画像記録装置、５４・・画像合成装置、５５・・画像配信装置、５６・・無線通信装置、１１０・・撮影セクション、１２０・・画像表示セクション、１３０・・撮影セクション、１４０・・画像表示セクション、１５０・・画像処理セクション。
【特許請求の範囲】
【請求項１】
移動する対象物が通る所定の領域を撮影するカメラと、
該カメラにより撮影された画像情報に基づき、前記対象物を判別するための特徴を解析するとともに、前記対象物の移動状態の特徴を解析する画像解析装置と、
前記対象物の類似画像を記録する類似画像記録装置と、
前記画像解析装置によって解析された前記対象物を判別するための特徴に基づいて前記類似画像記録装置から前記対象物の類似画像を抽出し、前記画像解析装置によって解析された前記対象物の移動状態の特徴に基づいて当該類似画像を予め記憶された背景画像と合成して合成画像を生成する画像合成装置と、
前記画像合成装置で合成した前記合成画像を表示する画像表示装置とを備えることを特徴とする交通監視システム。
【請求項１】
移動する対象物が通る所定の領域を撮影するカメラと、
該カメラにより撮影された画像情報に基づき、前記対象物を判別するための特徴を解析するとともに、前記対象物の移動状態の特徴を解析する画像解析装置と、
前記対象物の類似画像を記録する類似画像記録装置と、
前記画像解析装置によって解析された前記対象物を判別するための特徴に基づいて前記類似画像記録装置から前記対象物の類似画像を抽出し、前記画像解析装置によって解析された前記対象物の移動状態の特徴に基づいて当該類似画像を予め記憶された背景画像と合成して合成画像を生成する画像合成装置と、
前記画像合成装置で合成した前記合成画像を表示する画像表示装置とを備えることを特徴とする交通監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−５９１３９（Ｐ２０１２−５９１３９Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０３４８６（Ｐ２０１０−２０３４８６）
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]