接近移動体表示装置、システム及び方法
【課題】自車両から死角となる移動体の接近情報を検知してドライバに表示する。
【解決手段】地上に設置されたカメラで道路の交通状況を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて、当該道路を移動する移動体Ｃを認識し、前記認識された移動体Ｃの位置を算出し、前記算出された移動体Ｃの位置を、当該車両内の画面に表示する。
【効果】交差点４に進入しようとする移動体Ｃの位置を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの走行状況を、時々刻々と連続的に把握することができ、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【解決手段】地上に設置されたカメラで道路の交通状況を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて、当該道路を移動する移動体Ｃを認識し、前記認識された移動体Ｃの位置を算出し、前記算出された移動体Ｃの位置を、当該車両内の画面に表示する。
【効果】交差点４に進入しようとする移動体Ｃの位置を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの走行状況を、時々刻々と連続的に把握することができ、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交差点などの見通しの悪い場所に設置したカメラで道路上の移動体（車両、二輪車、人等）を撮像し、これから得られる情報を、路車間通信を通じて、交差点に別の道路から進入する車両に送信し、当該車両から死角となる移動体の接近情報を、ドライバが理解しやすい情報に加工して提供する接近移動体表示装置、システム及び方法に関するものである。
【背景技術】
【０００２】
車両の出合い頭衝突防止表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある（特許文献１参照）。これにより、交差点における出合い頭事故の可能性を予告することができる。
また、交差点にカメラを設置し、このカメラにより、死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を車両に送信する装置がある（特許文献２参照）。この装置によれば、カメラから見た画像を車両内で観察することができる。
【特許文献１】特開平５−２８４００号公報
【特許文献２】特開２００３−１０９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記特許文献１の技術では、交差点に近づいた自車両は、優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
【０００４】
前記特許文献２の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、あくまでもカメラから見た画像であるので、距離感、速度感が出ない。自車両と他車両との正確な位置関係がわかりにくい。したがって、誤認識、錯覚の原因となる可能性がある。
また、自車両が交差点に達したときにのみ画像が入手できるため、移動体の時々刻々の動きが分からない。ドライバから見ればもっと情報が欲しい。
【０００５】
例えば、自車両のフロントガラスから直接見たようなリアルな印象を受けることができればよいが、このような先行技術はない。
そこで、本発明は、自車両から死角となる移動体の接近情報を検知してドライバに情報提供する場合に、自車両のドライバが他車両との位置関係を正確に把握することのできる接近移動体表示装置、システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の接近移動体表示装置は、地上に設置されたカメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、車両内の画面に表示する表示部とを有する
ものである（請求項１）。
【０００７】
この装置では、交差点等に進入しようとする前記道路を移動する接近移動体の位置を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【０００８】
前記算出された移動体の位置を車両内の画面に表示する場合、前記移動体の位置を道路図形と重ねて表示することとすれば（請求項２）、当該車両のドライバは、移動体の位置を道路に関連付けて正確に把握することができる。
前記算出された移動体の位置を車両内の画面に表示する場合、前記移動体の位置を３次元表示された道路図形と重ねて表示することとすれば（請求項３）、当該車両のドライバは、移動体の位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
【０００９】
前記表示部は、前記移動体の位置と当該車両の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の位置を表示することとすれば（請求項４）、当該車両の走行方向を基準とした前記移動体の方向、すなわち当該車両から前記移動体が見える方向を特定することができる。したがって、この特定された方向に基づいて、接近移動体の位置を当該車両内の画面に表示することとすれば、車内のドライバは、移動体がどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
【００１０】
前記表示部は、ドライバの視点を基準として、前記移動体の位置を表示すれば（請求項５）、ドライバは、目の前で見ているかのようにして接近移動体の動きを把握できる。
前記表示部は、前記移動体の位置をヘッドアップディスプレイに表示するものでもよい（請求項６）。前記接近移動体の算出位置をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、接近移動体を認識することができる。
【００１１】
前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができれば（請求項７）、交差点から遠ざかっている移動体は無視すれば、処理するデータ量が半減する。よって処理の迅速化につながる。
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することとすれば（請求項８）、ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
【００１２】
本発明の接近移動体表示装置は、交差点など見通しの悪い場所に接近する移動体の位置を受信する受信部と、前記移動体の位置を道路図形と重ねて前記車両内の画面に表示する表示部とを有するものである（請求項９）。
この接近移動体表示装置を使えば、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に道路図形と重ねて表示することができる。したがって、当該車両のドライバは、死角となる場所の移動体の状況を道路との関係で具体的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【００１３】
本発明の接近移動体表示システムは、交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像送信装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を当該車両内の画面に表示する表示部とを有するものである（請求項１０）。
【００１４】
このシステムは、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【００１５】
このシステム構成によれば、画像送信装置は、前記カメラで撮像された各画像情報を送信するだけでよく、前記画像送信装置から送信された各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置を算出する処理は、前記車載装置で行う。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの技術競争が助長されるため、システムの高度化が促進できるメリットがある。
【００１６】
前記画像送信装置は、画像情報と共に、さらに当該見通しの悪い場所の形状の情報を送信するものであれば（請求項１１）、車載装置は、この情報に基づいて車内の画面に当該場所形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
なお前記移動体の検出処理や位置の算出処理は、必ずしも、車載装置で行う必要はなく、路上に設置した画像処理装置で行ってもよい。
【００１７】
この場合、本発明の接近移動体表示システムは、交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出して、送信する画像処理装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置を前記車両内の画面に表示する表示部とを有するものである（請求項１２）。
【００１８】
このシステムでは、画像処理装置は、前記カメラで撮像された各画像情報を送信するだけでなく、各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置を算出する処理も行う。路上側の処理機能が重くなるが、車載装置の機能は少なくてよいので、車載装置の低価格化が可能になると予想される。したがって、本システムの普及促進が期待できるメリットがある。
【００１９】
本発明の接近移動体表示方法は、地上に設置されたカメラで道路の交通状況を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出し、前記算出された移動体の位置を、前記車両内の画面に表示する方法である（請求項１３）。
この方法によって、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【発明の効果】
【００２０】
以上のように本発明によれば、自車両から死角となる移動体の接近情報をカメラで認識し、ドライバから把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く接近車両を認知することが可能となる。この結果、出会い衝突頭（交差側車両との衝突）や右直（右折時の死角となる直進バイク等との衝突）の事故などを未然に防止し、交差点での安全運転を支援することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
−接近移動体表示方法−
図１及び図２は、本発明の接近移動体表示方法を実施するためのカメラの配置図である。
図１では、カメラ３を、建物が密集した交差点４に配置し、図２では、建物が密集したカーブ５に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ３を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
【００２２】
カメラ３の撮像方向は、交差点４にカメラ３を設置した場合、当該交差点４への、監視対象とする１本の流入路の方向である。カーブ５にカメラ３を設置した場合は、当該カーブ５から見たいずれかの方向の道路である。
交差点４が４本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた４台のカメラ３を設置するとよい。しかし、すべての流入路にカメラ３を設置できなくても、少なくとも１本の流入路にカメラ３を向けることができれば、当該流入路を監視できることになる。
【００２３】
カーブ５についても同様で、当該カーブ５から見た両方向にカメラ３を設置するとよいが、少なくとも１方向にカメラ３を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点４の１本の流入路にカメラ３を配置した図１の構成を例にとって、本発明の接近移動体表示方法を説明する。
【００２４】
図３は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路（背景）の座標系を（Ｘ，Ｙ，Ｚ）、カメラ３の座標系を（Ｘ′，Ｙ′，Ｚ′）とし、原点はともにカメラ３のレンズ中心とする。
道路座標系は、監視対象である道路方向をＹ軸（前方向を正）、これと直角な道路面上の方向をＸ軸（右方向を正）、路面と垂直な方向をＺ（上方を正）とする。
【００２５】
またカメラ座標系は、カメラ３の光軸をＹ′軸、これに垂直な平面上のカメラ３の右方向をＸ′軸、カメラ３の上方向をＺ′軸とする。
さらに、カメラ３座標軸の道路座標軸に対する回転角（カメラ３の姿勢）を、それぞれθ（ピッチ角）、φ（ロール角）、ψ（ヨー角）とし、全て右ねじの進む方向を正（θ：水平面より上向きが正、φ：右回りが正、ψ：左回りが正）とする。θ、φ、ψはいずれも既知とする。
【００２６】
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
【００２７】
【数１】
【００２８】
ここで、行列の各要素は、次のとおりである。
Ｐ11＝cos φcos ψ−sin θsin φsin ψ
Ｐ12＝cos φsin ψ＋sin θsin φcos ψ
Ｐ13＝−cos θsin φ
Ｐ21＝−cos θsin ψ
Ｐ22＝cos θcos ψ
Ｐ23＝sin θ
Ｐ31＝sin φcos ψ＋sin θcos φsin ψ
Ｐ32＝sin φsin ψ−sin θcos φcos ψ
Ｐ33＝cos θcos φ
図４は、カメラ３の画像面を示す図であり、右方向をｘ軸、上方向をｙ軸とする。ｘ軸は前記Ｘ′軸と一致し、ｙ軸は前記Ｚ′軸と一致する。
【００２９】
このとき、カメラ座標系の点（Ｘ，Ｙ，Ｚ）は、カメラ３の画像面上の点（ｘ，ｙ）に次のように変換される。ｆはレンズの焦点距離である。Ｈを路面からカメラ３までの高さとする。
ｘ＝ｆ・Ｘ′／Ｙ′ (1)
ｙ＝ｆ・Ｚ′／Ｙ′ (2)
いま、監視対象であるカメラ３の前方の道路に移動体Ｃが存在するとする。移動体Ｃは、歩行者、二輪車、自動車など動くものなら何でもよい。
【００３０】
移動体Ｃの特徴点に注目する。例えば、移動体Ｃが四輪自動車であるとすると、前輪の２つのタイヤに注目する。前輪の２つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
移動体Ｃが二輪車であれば、前輪のタイヤの道路接地点を「移動体Ｃの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
【００３１】
移動体Ｃの特徴点は道路接地面に存在するので、その高さＺは、−Ｈである。
移動体Ｃの特徴点を道路座標系で表せば、（Ｘ，Ｙ，−Ｈ）となる。
これを前記行列式に代入すれば、Ｘ′，Ｚ′，Ｙ′をそれぞれＸ，Ｙで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ３の画像面上の点ｘ，ｙをＸ，Ｙで表すことができる。
【００３２】
言い換えれば、カメラ３の撮像画像から車両を認識して切り出すことにより、移動体Ｃの特徴点の撮像画像上の座標（ｘ0，ｙ0）が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Ｃのカメラ３からの相対位置Ｘ，Ｙを算出することができる。
なお、移動体Ｃの位置を、経緯度表現による絶対位置で表すこともできる。
以上のように移動体Ｃの位置が特定できれば、移動体Ｃの位置を画面上に表示することができる。
【００３３】
図５は、前記移動体Ｃの位置を道路図形と重ねて表示した場合の画面図である。例えば車載テレビジョンや車載ナビゲーション装置の画面１４を用いる。この画面１４には、自車両Ａの位置とともに、交差点４を含む実際の道路地図が表示されている。前記移動体Ｃの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Ｃの位置を道路上に、より正確に表示することができる。
【００３４】
前記移動体Ｃの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面１４に３次元表示された道路図形の上に投影することもできる。この前提として、車載装置は、３次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図６は、画面１４に３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。車両Ａは、交差点４に向かって走行中である。画面１４には、自車両Ａの前方にある交差点４が写されていて、交差点４に近づく移動体Ｃが表示されている。ドライバは、画面１４を見れば、交差点４に近づくこの移動体Ｃを認識することができる。
実際、移動体ＣがビルディングＢの陰になっている場合でも、移動体Ｃは表示可能である。
【００３５】
自車両Ａのドライバは、この画面１４を見て、前記移動体Ｃと自車両Ａとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Ｃが建物の陰に隠れていても、画面１４には移動体Ｃが存在するかのように映るので、ドライバは、移動体Ｃが次の交差点４に現れることを予想できる。
【００３６】
従って、交差点４での出会い衝突事故が起こらないように減速などすることができる。
以上のように移動体Ｃの位置が特定できれば、次に、ドライバの視点Ｅから移動体Ｃを見た場合の、移動体Ｃが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Ｃの位置座標Ｘ，Ｙの、Ｘ座標値を０とおく。自車両Ａの位置Ｘ，Ｙの、Ｙ座標値も０とおく。また自車両Ａの走行方向は、−Ｘ方向であるとする。
【００３７】
図７は、自車両Ａと移動体Ｃとの位置関係を表す平面図である。
自車両Ａのドライバの視点Ｅとカメラ３との距離をＸa、移動体Ｃの特徴点とカメラ３との距離をＹbとしている。
距離Ｘaは、自車両Ａにおいて後述するように検出可能であり、距離Ｙbは前述したように撮像画像から求めることができる。したがって、ドライバの視点Ｅから見た移動体Ｃの方向Ｔが決定でき、ドライバの視点Ｅから見た移動体Ｃが見える水平角度αが決定できる。ドライバの視点Ｅから移動体Ｃまでの距離Ｗも算出できる。
【００３８】
なお、移動体Ｃの位置と自車両Ａの位置とを、経緯度表現した場合であっても、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから移動体Ｃまでの距離Ｗは、算出できる。
図８は、方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。ドライバの視点Ｅの地上からの高さをｈとする。このｈは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
【００３９】
ドライバの視点Ｅから移動体Ｃまでの距離Ｗは前述したように算出できる。移動体Ｃの特徴点は、道路接地面に存在する。したがって、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Ｅから移動体Ｃがどのように見えるかを決定することができる。
【００４０】
以上の検討では、単純化するために、交差点４は、直角交差点であるとしたが、直角でなくともよい。移動体Ｃの位置Ｘ，Ｙの座標値は０でなくてもよく、自車両Ａの位置Ｘ，Ｙの座標値も０でなくてもよい。このように一般化した場合の自車両Ａ、カメラ３、移動体Ｃを含む平面図を、図９に示す。
図９では、自車両Ａのドライバの視点Ｅの座標を（Ｘa，Ｙa）、移動体Ｃの特徴点の座標を（Ｘb，Ｙb）としている。また自車両Ａの走行方向をＰで表している。自車両Ａの走行方向Ｐとドライバの視点Ｅの座標（Ｘa，Ｙa）は、後述するように検出可能である。ドライバの視点Ｅとカメラ３との距離は√（Ｘa2＋Ｙa2）、移動体Ｃの特徴点とカメラ３との距離は√（Ｘb2＋Ｙb2）となる。
【００４１】
このような一般的な場合であっても、図７、図８を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
次に、車両Ａ内のヘッドアップディスプレイの画面で、移動体Ｃの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
【００４２】
図１０は、フロントガラスの画面ｕ，ｖを表す画面図である。横方向をｕ、縦方向をｖにとっている。ドライバの視点Ｅとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Ｅから移動体Ｃの特徴点までの方向α、βが分かっているので、移動体Ｃの特徴点をフロントガラスの画面上の点ｕ0，ｖ0に投影することができる。この投影点（ｕ0，ｖ0）が決まれば、その点を基準にして、一定の移動体Ｃ′を作画することができる。
【００４３】
移動体Ｃが建物や樹木のために隠れて見えないときでも、この作画された移動体Ｃ′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Ｃがフロントガラスから見えている場合は、移動体Ｃとこの作画された移動体Ｃ′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
【００４４】
−接近移動体表示システム及び装置−
次に、前記接近移動体表示方法を実施するための、本発明の接近移動体表示システムの構成を説明する。
図１１は、接近移動体表示システムの全体構成を示す概念図である。接近移動体表示システムは、カメラ３と、画像送信装置６と、車載装置７とを含む。
【００４５】
カメラ３は、前述したように、交差点４、カーブ５など見通しの悪いところに配置されている。その高さ、姿勢、倍率（若しくは焦点距離）は、固定されているか、あるいは所望の値に設定可能となっている。
画像送信装置６は、カメラ３で撮像した画像データ等を送信する装置である。カメラ３と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ３と通信回線で結ばれている。画像データの送信媒体は、車載装置７に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信よりも、無線ＬＡＮ等の路車間通信がさらに望ましい。変調方式や符号化方式は、任意である。
【００４６】
画像送信装置６から車載装置７に送られるデータは、画像データの他に、カメラ３の位置データ、時刻データ、カメラ３の姿勢、高さ、倍率のデータなどがある。その他、交差点形状のデータも含めてもよい。
カメラ３の位置は、次のような方法で設定する。
(1)カメラ３の取り付け前の調査で把握し、予め画像送信装置６に記憶させておく。
【００４７】
(2)ＧＰＳ(Global Positioning System)受信装置を利用して位置を検出する。カメラ３の設置位置は、一度設置されるとほぼ動くことがないので、ＧＰＳの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、ＣＥＰ（Circular Error Probable，確率誤差円、位置検出の信頼度、自乗平均誤差の約２倍）の良好な時点の検出データの平均値を用いたりしてもよい。
【００４８】
時刻は、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、ＧＰＳや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図１２は、画像送信装置６から車載装置７に各種データを送信するスケジュールを示すフローチャートである。画像送信装置６は、一定の処理周期になれば（ステップＳ１）、カメラ３から撮像画像を取得し（ステップＳ２）、車載装置７との通信が確立していれば（ステップＳ３）、時刻、撮像画像、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを車載装置７に送信する（ステップＳ４）。また、差分画像を得るため、移動体のない時の撮像画像も送信することが好ましい。
【００４９】
車載装置７は、画像処理機能やマンマシン機能を持った車載コンピュータ１６、電波時計１１、位置方位検出装置１２、通信装置１３、ディスプレイ１４、スピーカ１５等で構成される。
前記通信装置１３は、画像送信装置６から送られてくるデータを受信するものであり、復調方式や復号化方式は、画像送信装置６のものに対応している。
【００５０】
電波時計１１は、現在時刻を知るものであるが、これに限られない。画像送信装置６から時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他ＧＰＳ、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置１２は、当該車両の位置と方位を検出するための装置である。なお、車載装置７の位置検出は、例えばＧＰＳを利用する。ＧＰＳを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点４からの距離のような相対的表現があり、どちらを利用してもよい。
【００５１】
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ１４には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
【００５２】
フロントディスプレイ１４は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である（特開平8-108773号公報参照）。
スピーカ１５は、交差点４などでの出会い衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
【００５３】
車載コンピュータ１６は、画像送信装置６から送られてくる画像データに基づいて、接近移動体の存在を認識し、その位置を算出し、自車両との出会い衝突の可能性を推定し、表示用、音声出力用のデータを作成する。
以下、この車載コンピュータ１６の機能を、フローチャート（図１３，図１４）に基づいて詳細に説明する。
【００５４】
車載コンピュータ１６は、一定の処理周期になれば（ステップＴ１）、画像送信装置６との通信が確立しているかどうかを確認し（ステップＴ２）、確立していれば、画像送信装置６から、撮像時刻、撮像画像（移動体のない時の撮像画像を含む）、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを受信する（ステップＴ３）。
そして、撮像画像に基づいて、移動体を認識する（ステップＴ４）。この移動体の認識は、移動体のない時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
【００５５】
次に、前後の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＴ５）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用して種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＴ６）。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
【００５６】
なお、この接近移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、ディスプレイ１４で移動体を表示する時点の位置とずれが生じる。そのため、移動体表示時刻の位置を、カメラ撮像時の位置に基づいて推定する必要があるので、その推定処理を説明する（ステップＴ７）。
移動体の位置のＸ座標を、簡単のため０とおき、Ｙ座標だけで議論する。移動体表示時刻をｔとする。
【００５７】
移動体表示時刻ｔの位置Ｙは、過去に得られた複数データ（ｔｉ，Ｙｉ）（ｔは時刻、ｉは整数を表す）を用いて、以下の方法で推定する。
(a)１次式を利用した例
Ｙ＝ａｔ＋ｂ
で推定する。係数ａ，ｂは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａに基づいて当該移動体の速度Ｖを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0) で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(b)２次式を利用した例
Ｙ＝ａｔ2＋ｂｔ＋ｃ
で推定する。係数ａ，ｂ，ｃは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａ，ｂに基づいて、移動体の速度Ｖと加速度Ａを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0)＋Ａ(ｔ−ｔ0)2／２ で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００５８】
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像送信装置の処理時間、通信時間、車載装置７への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
【００５９】
次に、移動体表示時刻における移動体の位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
図１４は、接近移動体を、自車両Ａの画面上へ表示する場合の手順を示すフローチャートである。
フロントガラスへの表示を行う場合は（ステップＴ８でYES）、前述したように、ドライバの視点Ｅから接近移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる（ステップＴ９，Ｔ１０）。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から接近移動体までの距離Ｗと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
【００６０】
モニター画面への表示を行う場合は（ステップＴ１１でYES）、図５に示したように、交差点４を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、接近移動体Ｃの位置は、交差点形状とともに、そのまま道路地図上に表示される（ステップＴ１２，Ｔ１３）。
また、図６に示したように、立体道路地図と重ねてもよい。
【００６１】
このようなフロントガラスあるいはモニター画面への表示をすれば、接近移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出会い衝突の危険度が分かり易い。
次に、オプションとして、接近移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点４に到着する時間ｔsと、安全余裕度Δｔとを基にして、自車両が、時間ｔs−Δｔからｔs＋Δｔの範囲に交差点４に到達してしまう走行速度の範囲（「走行速度の危険範囲」という）を求め、自車速度と共に表示することが好ましい。
【００６２】
接近移動体の速度をｖ１，接近移動体から交差点４までの距離をｓ１、交差点４への到達時間ｔsとすると、
ｔs＝ｓ１／ｖ１
となる。また自車両の危険速度をｖ２，交差点４までの距離をｓ２とすると、
ｔs−Δｔ≦ｓ２／ｖ２≦ｔs＋Δｔ
を満たすｖ２の範囲が、走行速度の危険範囲となる（ステップＴ１４）。
【００６３】
本表示は、図１９に示すように、自車両の速度表示用のパネル上で行ってもよい（ステップＴ１５）。図１９で、"Ｋ"で示した範囲が走行速度の危険範囲に相当する。
なお上式では、安全余裕度を時間Δｔで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ１５から音声で警告してもよい（ステップＴ１６）。
【００６４】
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点４までの距離に応じて警告をしてもよい。
今までは、車載装置７で移動体の存在判定や位置検出を行っていたが、路上側で、移動体の存在判定や位置検出を行ってもよい。
この場合の接近移動体表示システムの構成を図１５に示す。
【００６５】
図１５は、接近移動体表示システムの全体構成を示す概念図である。この図１５の構成と、図１１との違いは、車載装置７の移動体の存在判定機能と、位置算出機能とが、画像処理装置６ａの機能となっていることである。
これらの機能を含めた、画像処理装置６ａの処理手順を、フローチャート（図１６）を用いて説明する。
【００６６】
画像処理装置６ａは、一定の処理周期になれば（ステップＵ１）、カメラ３から撮像画像を取得し（ステップＵ２）、撮像画像に基づいて、移動体を認識する（ステップＵ３）。この移動体の認識は、図１１において説明したのと同様、平常時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。
【００６７】
次に、前の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＵ４）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用してその種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＵ５）。
【００６８】
次に、車載装置７との通信が確立しているかどうかチェックし（ステップＵ６）、確立していれば、画像処理装置６ａは、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを車載装置７に送信する（ステップＵ７）。
次に車載装置７の処理に移る。
図１７を参照して、車載コンピュータ１６は、一定の処理周期になれば（ステップＶ１）、画像処理装置との通信が確立しているかどうかを確認し（ステップＶ２）、確立していれば、画像処理装置６ａから、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを受信する（ステップＶ３）。
【００６９】
次に、移動体表示時刻における移動体の位置を推定し（ステップＶ４）、移動体表示時刻における移動体の位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
フロントガラスへの表示を行う場合は（ステップＶ５でYES）、ドライバの視点Ｅから接近移動体までの方向に基づいて、その方向をフロントガラスへ投影することによって表示する（ステップＶ６，Ｖ７）。
【００７０】
モニター画面への表示を行う場合は（ステップＶ８でYES）、ナビゲーション用の交差点４を含む道路地図の上に表示する（ステップＶ１０）。
また、自車両が走行速度危険範囲内に入っている場合には（ステップＶ１１）、走行速度の危険範囲表示（ステップＶ１２）を行い、音声での警告（ステップＶ１３）を行う。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、カメラ３の設置位置として、図１では交差点４、図２ではカーブ５上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。例えば、図１８に示したような、右折待ち車両Ｆの陰になる対向車線１７がある。このような場合、図１８に示すように対向車線１７を見渡すことができる位置にカメラ３ａを設置するとよい。本発明の方法により、カメラ３ａの撮像画像に基づいて、右折待ち車両Ｆの陰になった移動体Ｇの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
【００７１】
また、接近車両の位置算出処理を、車載装置７で行った場合と、画像処理装置６ａで行って場合とを示したが、画像処理装置６ａと車載装置７との両方で行って、算出結果の一致性を車載装置７でチェックすることにより、ミスを少なくする方法をとってもよい。
なお以上の実施形態では、単眼カメラ３の場合であるが、勿論ステレオカメラ３でもよい。
【００７２】
また、対象とする画像処理装置６ａは、必ずしも１台ではなく、複数存在してもよい。また同じ道路にカメラ３を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
【００７３】
その他、本発明の範囲内で種々の変更を施すことが可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図２】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図３】道路座標系及びカメラ座標系の座標図である。
【図４】カメラ３の画像面を示す図である。
【図５】移動体Ｃの位置を平面的な道路図形と重ねて表示した場合の画面図である。
【図６】３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。
【図７】自車両Ａと、検出された移動体Ｃとの位置関係を表す平面図である。
【図８】移動体の見える方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。
【図９】自車両Ａ、カメラ、移動体Ｃを含む平面図である。
【図１０】フロントガラスの画面ｕ，ｖを表す画面図である。
【図１１】接近移動体表示システムの全体構成を示す概念図である。
【図１２】画像送信装置６から車載装置７に各種データを送信するスケジュールを表したフローチャートである。
【図１３】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである。
【図１４】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである（図１３の続き）。
【図１５】他の接近移動体表示システムの全体構成を示す概念図である。
【図１６】画像処理装置６ａの処理手順を示すフローチャートである。
【図１７】車載コンピュータ１６の処理手順を示すフローチャートである。
【図１８】右折待ち車両Ｆの陰になる対向車線１７を見渡すことができる位置にカメラ３ａを設置した例を示す平面図である。
【図１９】走行速度の危険範囲Ｋが表示された自車両の速度表示用のパネルを示す図である。
【符号の説明】
【００７５】
３，３ａ カメラ
４ 交差点
５ カーブ
６ 画像送信装置
６ａ 画像処理装置
７ 車載装置
１１ 電波時計
１２ 位置方位検出装置
１３ 通信装置
１４ ディスプレイ、画面
１５ スピーカ
１６ 車載コンピュータ
１７ 対向車線
【技術分野】
【０００１】
本発明は、交差点などの見通しの悪い場所に設置したカメラで道路上の移動体（車両、二輪車、人等）を撮像し、これから得られる情報を、路車間通信を通じて、交差点に別の道路から進入する車両に送信し、当該車両から死角となる移動体の接近情報を、ドライバが理解しやすい情報に加工して提供する接近移動体表示装置、システム及び方法に関するものである。
【背景技術】
【０００２】
車両の出合い頭衝突防止表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある（特許文献１参照）。これにより、交差点における出合い頭事故の可能性を予告することができる。
また、交差点にカメラを設置し、このカメラにより、死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を車両に送信する装置がある（特許文献２参照）。この装置によれば、カメラから見た画像を車両内で観察することができる。
【特許文献１】特開平５−２８４００号公報
【特許文献２】特開２００３−１０９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記特許文献１の技術では、交差点に近づいた自車両は、優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
【０００４】
前記特許文献２の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、あくまでもカメラから見た画像であるので、距離感、速度感が出ない。自車両と他車両との正確な位置関係がわかりにくい。したがって、誤認識、錯覚の原因となる可能性がある。
また、自車両が交差点に達したときにのみ画像が入手できるため、移動体の時々刻々の動きが分からない。ドライバから見ればもっと情報が欲しい。
【０００５】
例えば、自車両のフロントガラスから直接見たようなリアルな印象を受けることができればよいが、このような先行技術はない。
そこで、本発明は、自車両から死角となる移動体の接近情報を検知してドライバに情報提供する場合に、自車両のドライバが他車両との位置関係を正確に把握することのできる接近移動体表示装置、システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の接近移動体表示装置は、地上に設置されたカメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、車両内の画面に表示する表示部とを有する
ものである（請求項１）。
【０００７】
この装置では、交差点等に進入しようとする前記道路を移動する接近移動体の位置を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【０００８】
前記算出された移動体の位置を車両内の画面に表示する場合、前記移動体の位置を道路図形と重ねて表示することとすれば（請求項２）、当該車両のドライバは、移動体の位置を道路に関連付けて正確に把握することができる。
前記算出された移動体の位置を車両内の画面に表示する場合、前記移動体の位置を３次元表示された道路図形と重ねて表示することとすれば（請求項３）、当該車両のドライバは、移動体の位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
【０００９】
前記表示部は、前記移動体の位置と当該車両の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の位置を表示することとすれば（請求項４）、当該車両の走行方向を基準とした前記移動体の方向、すなわち当該車両から前記移動体が見える方向を特定することができる。したがって、この特定された方向に基づいて、接近移動体の位置を当該車両内の画面に表示することとすれば、車内のドライバは、移動体がどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
【００１０】
前記表示部は、ドライバの視点を基準として、前記移動体の位置を表示すれば（請求項５）、ドライバは、目の前で見ているかのようにして接近移動体の動きを把握できる。
前記表示部は、前記移動体の位置をヘッドアップディスプレイに表示するものでもよい（請求項６）。前記接近移動体の算出位置をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、接近移動体を認識することができる。
【００１１】
前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができれば（請求項７）、交差点から遠ざかっている移動体は無視すれば、処理するデータ量が半減する。よって処理の迅速化につながる。
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することとすれば（請求項８）、ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
【００１２】
本発明の接近移動体表示装置は、交差点など見通しの悪い場所に接近する移動体の位置を受信する受信部と、前記移動体の位置を道路図形と重ねて前記車両内の画面に表示する表示部とを有するものである（請求項９）。
この接近移動体表示装置を使えば、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に道路図形と重ねて表示することができる。したがって、当該車両のドライバは、死角となる場所の移動体の状況を道路との関係で具体的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【００１３】
本発明の接近移動体表示システムは、交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像送信装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を当該車両内の画面に表示する表示部とを有するものである（請求項１０）。
【００１４】
このシステムは、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【００１５】
このシステム構成によれば、画像送信装置は、前記カメラで撮像された各画像情報を送信するだけでよく、前記画像送信装置から送信された各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置を算出する処理は、前記車載装置で行う。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの技術競争が助長されるため、システムの高度化が促進できるメリットがある。
【００１６】
前記画像送信装置は、画像情報と共に、さらに当該見通しの悪い場所の形状の情報を送信するものであれば（請求項１１）、車載装置は、この情報に基づいて車内の画面に当該場所形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
なお前記移動体の検出処理や位置の算出処理は、必ずしも、車載装置で行う必要はなく、路上に設置した画像処理装置で行ってもよい。
【００１７】
この場合、本発明の接近移動体表示システムは、交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出して、送信する画像処理装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置を前記車両内の画面に表示する表示部とを有するものである（請求項１２）。
【００１８】
このシステムでは、画像処理装置は、前記カメラで撮像された各画像情報を送信するだけでなく、各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置を算出する処理も行う。路上側の処理機能が重くなるが、車載装置の機能は少なくてよいので、車載装置の低価格化が可能になると予想される。したがって、本システムの普及促進が期待できるメリットがある。
【００１９】
本発明の接近移動体表示方法は、地上に設置されたカメラで道路の交通状況を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出し、前記算出された移動体の位置を、前記車両内の画面に表示する方法である（請求項１３）。
この方法によって、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い衝突頭の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【発明の効果】
【００２０】
以上のように本発明によれば、自車両から死角となる移動体の接近情報をカメラで認識し、ドライバから把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く接近車両を認知することが可能となる。この結果、出会い衝突頭（交差側車両との衝突）や右直（右折時の死角となる直進バイク等との衝突）の事故などを未然に防止し、交差点での安全運転を支援することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
−接近移動体表示方法−
図１及び図２は、本発明の接近移動体表示方法を実施するためのカメラの配置図である。
図１では、カメラ３を、建物が密集した交差点４に配置し、図２では、建物が密集したカーブ５に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ３を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
【００２２】
カメラ３の撮像方向は、交差点４にカメラ３を設置した場合、当該交差点４への、監視対象とする１本の流入路の方向である。カーブ５にカメラ３を設置した場合は、当該カーブ５から見たいずれかの方向の道路である。
交差点４が４本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた４台のカメラ３を設置するとよい。しかし、すべての流入路にカメラ３を設置できなくても、少なくとも１本の流入路にカメラ３を向けることができれば、当該流入路を監視できることになる。
【００２３】
カーブ５についても同様で、当該カーブ５から見た両方向にカメラ３を設置するとよいが、少なくとも１方向にカメラ３を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点４の１本の流入路にカメラ３を配置した図１の構成を例にとって、本発明の接近移動体表示方法を説明する。
【００２４】
図３は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路（背景）の座標系を（Ｘ，Ｙ，Ｚ）、カメラ３の座標系を（Ｘ′，Ｙ′，Ｚ′）とし、原点はともにカメラ３のレンズ中心とする。
道路座標系は、監視対象である道路方向をＹ軸（前方向を正）、これと直角な道路面上の方向をＸ軸（右方向を正）、路面と垂直な方向をＺ（上方を正）とする。
【００２５】
またカメラ座標系は、カメラ３の光軸をＹ′軸、これに垂直な平面上のカメラ３の右方向をＸ′軸、カメラ３の上方向をＺ′軸とする。
さらに、カメラ３座標軸の道路座標軸に対する回転角（カメラ３の姿勢）を、それぞれθ（ピッチ角）、φ（ロール角）、ψ（ヨー角）とし、全て右ねじの進む方向を正（θ：水平面より上向きが正、φ：右回りが正、ψ：左回りが正）とする。θ、φ、ψはいずれも既知とする。
【００２６】
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
【００２７】
【数１】
【００２８】
ここで、行列の各要素は、次のとおりである。
Ｐ11＝cos φcos ψ−sin θsin φsin ψ
Ｐ12＝cos φsin ψ＋sin θsin φcos ψ
Ｐ13＝−cos θsin φ
Ｐ21＝−cos θsin ψ
Ｐ22＝cos θcos ψ
Ｐ23＝sin θ
Ｐ31＝sin φcos ψ＋sin θcos φsin ψ
Ｐ32＝sin φsin ψ−sin θcos φcos ψ
Ｐ33＝cos θcos φ
図４は、カメラ３の画像面を示す図であり、右方向をｘ軸、上方向をｙ軸とする。ｘ軸は前記Ｘ′軸と一致し、ｙ軸は前記Ｚ′軸と一致する。
【００２９】
このとき、カメラ座標系の点（Ｘ，Ｙ，Ｚ）は、カメラ３の画像面上の点（ｘ，ｙ）に次のように変換される。ｆはレンズの焦点距離である。Ｈを路面からカメラ３までの高さとする。
ｘ＝ｆ・Ｘ′／Ｙ′ (1)
ｙ＝ｆ・Ｚ′／Ｙ′ (2)
いま、監視対象であるカメラ３の前方の道路に移動体Ｃが存在するとする。移動体Ｃは、歩行者、二輪車、自動車など動くものなら何でもよい。
【００３０】
移動体Ｃの特徴点に注目する。例えば、移動体Ｃが四輪自動車であるとすると、前輪の２つのタイヤに注目する。前輪の２つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
移動体Ｃが二輪車であれば、前輪のタイヤの道路接地点を「移動体Ｃの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
【００３１】
移動体Ｃの特徴点は道路接地面に存在するので、その高さＺは、−Ｈである。
移動体Ｃの特徴点を道路座標系で表せば、（Ｘ，Ｙ，−Ｈ）となる。
これを前記行列式に代入すれば、Ｘ′，Ｚ′，Ｙ′をそれぞれＸ，Ｙで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ３の画像面上の点ｘ，ｙをＸ，Ｙで表すことができる。
【００３２】
言い換えれば、カメラ３の撮像画像から車両を認識して切り出すことにより、移動体Ｃの特徴点の撮像画像上の座標（ｘ0，ｙ0）が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Ｃのカメラ３からの相対位置Ｘ，Ｙを算出することができる。
なお、移動体Ｃの位置を、経緯度表現による絶対位置で表すこともできる。
以上のように移動体Ｃの位置が特定できれば、移動体Ｃの位置を画面上に表示することができる。
【００３３】
図５は、前記移動体Ｃの位置を道路図形と重ねて表示した場合の画面図である。例えば車載テレビジョンや車載ナビゲーション装置の画面１４を用いる。この画面１４には、自車両Ａの位置とともに、交差点４を含む実際の道路地図が表示されている。前記移動体Ｃの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Ｃの位置を道路上に、より正確に表示することができる。
【００３４】
前記移動体Ｃの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面１４に３次元表示された道路図形の上に投影することもできる。この前提として、車載装置は、３次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図６は、画面１４に３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。車両Ａは、交差点４に向かって走行中である。画面１４には、自車両Ａの前方にある交差点４が写されていて、交差点４に近づく移動体Ｃが表示されている。ドライバは、画面１４を見れば、交差点４に近づくこの移動体Ｃを認識することができる。
実際、移動体ＣがビルディングＢの陰になっている場合でも、移動体Ｃは表示可能である。
【００３５】
自車両Ａのドライバは、この画面１４を見て、前記移動体Ｃと自車両Ａとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Ｃが建物の陰に隠れていても、画面１４には移動体Ｃが存在するかのように映るので、ドライバは、移動体Ｃが次の交差点４に現れることを予想できる。
【００３６】
従って、交差点４での出会い衝突事故が起こらないように減速などすることができる。
以上のように移動体Ｃの位置が特定できれば、次に、ドライバの視点Ｅから移動体Ｃを見た場合の、移動体Ｃが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Ｃの位置座標Ｘ，Ｙの、Ｘ座標値を０とおく。自車両Ａの位置Ｘ，Ｙの、Ｙ座標値も０とおく。また自車両Ａの走行方向は、−Ｘ方向であるとする。
【００３７】
図７は、自車両Ａと移動体Ｃとの位置関係を表す平面図である。
自車両Ａのドライバの視点Ｅとカメラ３との距離をＸa、移動体Ｃの特徴点とカメラ３との距離をＹbとしている。
距離Ｘaは、自車両Ａにおいて後述するように検出可能であり、距離Ｙbは前述したように撮像画像から求めることができる。したがって、ドライバの視点Ｅから見た移動体Ｃの方向Ｔが決定でき、ドライバの視点Ｅから見た移動体Ｃが見える水平角度αが決定できる。ドライバの視点Ｅから移動体Ｃまでの距離Ｗも算出できる。
【００３８】
なお、移動体Ｃの位置と自車両Ａの位置とを、経緯度表現した場合であっても、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから移動体Ｃまでの距離Ｗは、算出できる。
図８は、方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。ドライバの視点Ｅの地上からの高さをｈとする。このｈは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
【００３９】
ドライバの視点Ｅから移動体Ｃまでの距離Ｗは前述したように算出できる。移動体Ｃの特徴点は、道路接地面に存在する。したがって、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Ｅから移動体Ｃがどのように見えるかを決定することができる。
【００４０】
以上の検討では、単純化するために、交差点４は、直角交差点であるとしたが、直角でなくともよい。移動体Ｃの位置Ｘ，Ｙの座標値は０でなくてもよく、自車両Ａの位置Ｘ，Ｙの座標値も０でなくてもよい。このように一般化した場合の自車両Ａ、カメラ３、移動体Ｃを含む平面図を、図９に示す。
図９では、自車両Ａのドライバの視点Ｅの座標を（Ｘa，Ｙa）、移動体Ｃの特徴点の座標を（Ｘb，Ｙb）としている。また自車両Ａの走行方向をＰで表している。自車両Ａの走行方向Ｐとドライバの視点Ｅの座標（Ｘa，Ｙa）は、後述するように検出可能である。ドライバの視点Ｅとカメラ３との距離は√（Ｘa2＋Ｙa2）、移動体Ｃの特徴点とカメラ３との距離は√（Ｘb2＋Ｙb2）となる。
【００４１】
このような一般的な場合であっても、図７、図８を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
次に、車両Ａ内のヘッドアップディスプレイの画面で、移動体Ｃの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
【００４２】
図１０は、フロントガラスの画面ｕ，ｖを表す画面図である。横方向をｕ、縦方向をｖにとっている。ドライバの視点Ｅとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Ｅから移動体Ｃの特徴点までの方向α、βが分かっているので、移動体Ｃの特徴点をフロントガラスの画面上の点ｕ0，ｖ0に投影することができる。この投影点（ｕ0，ｖ0）が決まれば、その点を基準にして、一定の移動体Ｃ′を作画することができる。
【００４３】
移動体Ｃが建物や樹木のために隠れて見えないときでも、この作画された移動体Ｃ′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Ｃがフロントガラスから見えている場合は、移動体Ｃとこの作画された移動体Ｃ′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
【００４４】
−接近移動体表示システム及び装置−
次に、前記接近移動体表示方法を実施するための、本発明の接近移動体表示システムの構成を説明する。
図１１は、接近移動体表示システムの全体構成を示す概念図である。接近移動体表示システムは、カメラ３と、画像送信装置６と、車載装置７とを含む。
【００４５】
カメラ３は、前述したように、交差点４、カーブ５など見通しの悪いところに配置されている。その高さ、姿勢、倍率（若しくは焦点距離）は、固定されているか、あるいは所望の値に設定可能となっている。
画像送信装置６は、カメラ３で撮像した画像データ等を送信する装置である。カメラ３と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ３と通信回線で結ばれている。画像データの送信媒体は、車載装置７に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信よりも、無線ＬＡＮ等の路車間通信がさらに望ましい。変調方式や符号化方式は、任意である。
【００４６】
画像送信装置６から車載装置７に送られるデータは、画像データの他に、カメラ３の位置データ、時刻データ、カメラ３の姿勢、高さ、倍率のデータなどがある。その他、交差点形状のデータも含めてもよい。
カメラ３の位置は、次のような方法で設定する。
(1)カメラ３の取り付け前の調査で把握し、予め画像送信装置６に記憶させておく。
【００４７】
(2)ＧＰＳ(Global Positioning System)受信装置を利用して位置を検出する。カメラ３の設置位置は、一度設置されるとほぼ動くことがないので、ＧＰＳの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、ＣＥＰ（Circular Error Probable，確率誤差円、位置検出の信頼度、自乗平均誤差の約２倍）の良好な時点の検出データの平均値を用いたりしてもよい。
【００４８】
時刻は、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、ＧＰＳや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図１２は、画像送信装置６から車載装置７に各種データを送信するスケジュールを示すフローチャートである。画像送信装置６は、一定の処理周期になれば（ステップＳ１）、カメラ３から撮像画像を取得し（ステップＳ２）、車載装置７との通信が確立していれば（ステップＳ３）、時刻、撮像画像、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを車載装置７に送信する（ステップＳ４）。また、差分画像を得るため、移動体のない時の撮像画像も送信することが好ましい。
【００４９】
車載装置７は、画像処理機能やマンマシン機能を持った車載コンピュータ１６、電波時計１１、位置方位検出装置１２、通信装置１３、ディスプレイ１４、スピーカ１５等で構成される。
前記通信装置１３は、画像送信装置６から送られてくるデータを受信するものであり、復調方式や復号化方式は、画像送信装置６のものに対応している。
【００５０】
電波時計１１は、現在時刻を知るものであるが、これに限られない。画像送信装置６から時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他ＧＰＳ、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置１２は、当該車両の位置と方位を検出するための装置である。なお、車載装置７の位置検出は、例えばＧＰＳを利用する。ＧＰＳを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点４からの距離のような相対的表現があり、どちらを利用してもよい。
【００５１】
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ１４には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
【００５２】
フロントディスプレイ１４は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である（特開平8-108773号公報参照）。
スピーカ１５は、交差点４などでの出会い衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
【００５３】
車載コンピュータ１６は、画像送信装置６から送られてくる画像データに基づいて、接近移動体の存在を認識し、その位置を算出し、自車両との出会い衝突の可能性を推定し、表示用、音声出力用のデータを作成する。
以下、この車載コンピュータ１６の機能を、フローチャート（図１３，図１４）に基づいて詳細に説明する。
【００５４】
車載コンピュータ１６は、一定の処理周期になれば（ステップＴ１）、画像送信装置６との通信が確立しているかどうかを確認し（ステップＴ２）、確立していれば、画像送信装置６から、撮像時刻、撮像画像（移動体のない時の撮像画像を含む）、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを受信する（ステップＴ３）。
そして、撮像画像に基づいて、移動体を認識する（ステップＴ４）。この移動体の認識は、移動体のない時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
【００５５】
次に、前後の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＴ５）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用して種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＴ６）。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
【００５６】
なお、この接近移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、ディスプレイ１４で移動体を表示する時点の位置とずれが生じる。そのため、移動体表示時刻の位置を、カメラ撮像時の位置に基づいて推定する必要があるので、その推定処理を説明する（ステップＴ７）。
移動体の位置のＸ座標を、簡単のため０とおき、Ｙ座標だけで議論する。移動体表示時刻をｔとする。
【００５７】
移動体表示時刻ｔの位置Ｙは、過去に得られた複数データ（ｔｉ，Ｙｉ）（ｔは時刻、ｉは整数を表す）を用いて、以下の方法で推定する。
(a)１次式を利用した例
Ｙ＝ａｔ＋ｂ
で推定する。係数ａ，ｂは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａに基づいて当該移動体の速度Ｖを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0) で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(b)２次式を利用した例
Ｙ＝ａｔ2＋ｂｔ＋ｃ
で推定する。係数ａ，ｂ，ｃは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａ，ｂに基づいて、移動体の速度Ｖと加速度Ａを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0)＋Ａ(ｔ−ｔ0)2／２ で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００５８】
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像送信装置の処理時間、通信時間、車載装置７への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
【００５９】
次に、移動体表示時刻における移動体の位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
図１４は、接近移動体を、自車両Ａの画面上へ表示する場合の手順を示すフローチャートである。
フロントガラスへの表示を行う場合は（ステップＴ８でYES）、前述したように、ドライバの視点Ｅから接近移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる（ステップＴ９，Ｔ１０）。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から接近移動体までの距離Ｗと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
【００６０】
モニター画面への表示を行う場合は（ステップＴ１１でYES）、図５に示したように、交差点４を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、接近移動体Ｃの位置は、交差点形状とともに、そのまま道路地図上に表示される（ステップＴ１２，Ｔ１３）。
また、図６に示したように、立体道路地図と重ねてもよい。
【００６１】
このようなフロントガラスあるいはモニター画面への表示をすれば、接近移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出会い衝突の危険度が分かり易い。
次に、オプションとして、接近移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点４に到着する時間ｔsと、安全余裕度Δｔとを基にして、自車両が、時間ｔs−Δｔからｔs＋Δｔの範囲に交差点４に到達してしまう走行速度の範囲（「走行速度の危険範囲」という）を求め、自車速度と共に表示することが好ましい。
【００６２】
接近移動体の速度をｖ１，接近移動体から交差点４までの距離をｓ１、交差点４への到達時間ｔsとすると、
ｔs＝ｓ１／ｖ１
となる。また自車両の危険速度をｖ２，交差点４までの距離をｓ２とすると、
ｔs−Δｔ≦ｓ２／ｖ２≦ｔs＋Δｔ
を満たすｖ２の範囲が、走行速度の危険範囲となる（ステップＴ１４）。
【００６３】
本表示は、図１９に示すように、自車両の速度表示用のパネル上で行ってもよい（ステップＴ１５）。図１９で、"Ｋ"で示した範囲が走行速度の危険範囲に相当する。
なお上式では、安全余裕度を時間Δｔで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ１５から音声で警告してもよい（ステップＴ１６）。
【００６４】
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点４までの距離に応じて警告をしてもよい。
今までは、車載装置７で移動体の存在判定や位置検出を行っていたが、路上側で、移動体の存在判定や位置検出を行ってもよい。
この場合の接近移動体表示システムの構成を図１５に示す。
【００６５】
図１５は、接近移動体表示システムの全体構成を示す概念図である。この図１５の構成と、図１１との違いは、車載装置７の移動体の存在判定機能と、位置算出機能とが、画像処理装置６ａの機能となっていることである。
これらの機能を含めた、画像処理装置６ａの処理手順を、フローチャート（図１６）を用いて説明する。
【００６６】
画像処理装置６ａは、一定の処理周期になれば（ステップＵ１）、カメラ３から撮像画像を取得し（ステップＵ２）、撮像画像に基づいて、移動体を認識する（ステップＵ３）。この移動体の認識は、図１１において説明したのと同様、平常時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。
【００６７】
次に、前の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＵ４）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用してその種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＵ５）。
【００６８】
次に、車載装置７との通信が確立しているかどうかチェックし（ステップＵ６）、確立していれば、画像処理装置６ａは、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを車載装置７に送信する（ステップＵ７）。
次に車載装置７の処理に移る。
図１７を参照して、車載コンピュータ１６は、一定の処理周期になれば（ステップＶ１）、画像処理装置との通信が確立しているかどうかを確認し（ステップＶ２）、確立していれば、画像処理装置６ａから、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを受信する（ステップＶ３）。
【００６９】
次に、移動体表示時刻における移動体の位置を推定し（ステップＶ４）、移動体表示時刻における移動体の位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
フロントガラスへの表示を行う場合は（ステップＶ５でYES）、ドライバの視点Ｅから接近移動体までの方向に基づいて、その方向をフロントガラスへ投影することによって表示する（ステップＶ６，Ｖ７）。
【００７０】
モニター画面への表示を行う場合は（ステップＶ８でYES）、ナビゲーション用の交差点４を含む道路地図の上に表示する（ステップＶ１０）。
また、自車両が走行速度危険範囲内に入っている場合には（ステップＶ１１）、走行速度の危険範囲表示（ステップＶ１２）を行い、音声での警告（ステップＶ１３）を行う。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、カメラ３の設置位置として、図１では交差点４、図２ではカーブ５上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。例えば、図１８に示したような、右折待ち車両Ｆの陰になる対向車線１７がある。このような場合、図１８に示すように対向車線１７を見渡すことができる位置にカメラ３ａを設置するとよい。本発明の方法により、カメラ３ａの撮像画像に基づいて、右折待ち車両Ｆの陰になった移動体Ｇの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
【００７１】
また、接近車両の位置算出処理を、車載装置７で行った場合と、画像処理装置６ａで行って場合とを示したが、画像処理装置６ａと車載装置７との両方で行って、算出結果の一致性を車載装置７でチェックすることにより、ミスを少なくする方法をとってもよい。
なお以上の実施形態では、単眼カメラ３の場合であるが、勿論ステレオカメラ３でもよい。
【００７２】
また、対象とする画像処理装置６ａは、必ずしも１台ではなく、複数存在してもよい。また同じ道路にカメラ３を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
【００７３】
その他、本発明の範囲内で種々の変更を施すことが可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図２】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図３】道路座標系及びカメラ座標系の座標図である。
【図４】カメラ３の画像面を示す図である。
【図５】移動体Ｃの位置を平面的な道路図形と重ねて表示した場合の画面図である。
【図６】３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。
【図７】自車両Ａと、検出された移動体Ｃとの位置関係を表す平面図である。
【図８】移動体の見える方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。
【図９】自車両Ａ、カメラ、移動体Ｃを含む平面図である。
【図１０】フロントガラスの画面ｕ，ｖを表す画面図である。
【図１１】接近移動体表示システムの全体構成を示す概念図である。
【図１２】画像送信装置６から車載装置７に各種データを送信するスケジュールを表したフローチャートである。
【図１３】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである。
【図１４】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである（図１３の続き）。
【図１５】他の接近移動体表示システムの全体構成を示す概念図である。
【図１６】画像処理装置６ａの処理手順を示すフローチャートである。
【図１７】車載コンピュータ１６の処理手順を示すフローチャートである。
【図１８】右折待ち車両Ｆの陰になる対向車線１７を見渡すことができる位置にカメラ３ａを設置した例を示す平面図である。
【図１９】走行速度の危険範囲Ｋが表示された自車両の速度表示用のパネルを示す図である。
【符号の説明】
【００７５】
３，３ａ カメラ
４ 交差点
５ カーブ
６ 画像送信装置
６ａ 画像処理装置
７ 車載装置
１１ 電波時計
１２ 位置方位検出装置
１３ 通信装置
１４ ディスプレイ、画面
１５ スピーカ
１６ 車載コンピュータ
１７ 対向車線
【特許請求の範囲】
【請求項１】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
地上に設置されたカメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、
前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、
前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有することを特徴とする接近移動体表示装置。
【請求項２】
前記表示部は、前記移動体の位置を道路図形と重ねて表示する請求項１に記載の接近移動体表示装置。
【請求項３】
前記表示部は、前記移動体の位置を３次元表示された道路図形と重ねて表示する請求項１又は請求項２に記載の接近移動体表示装置。
【請求項４】
前記表示部は、前記移動体の位置と当該車両の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の位置を表示する請求項１から請求項３のいずれかに記載の接近移動体表示装置。
【請求項５】
前記表示部は、ドライバの視点を基準として、前記移動体の位置を表示する請求項４に記載の接近移動体表示装置。
【請求項６】
前記表示部は、前記移動体の位置をヘッドアップディスプレイに表示する請求項４又は請求項５に記載の接近移動体表示装置。
【請求項７】
前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができる請求項１から請求項６のいずれかに記載の接近移動体表示装置。
【請求項８】
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することができる請求項１から請求項７のいずれかに記載の接近移動体表示装置。
【請求項９】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
交差点など見通しの悪い場所に接近する移動体の位置を受信する受信部と、
前記移動体の位置を道路図形と重ねて前記車両内の画面に表示する表示部と
を有することを特徴とする接近移動体表示装置。
【請求項１０】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報を送信する画像送信装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を当該車両内の画面に表示する表示部とを有することを特徴とする接近移動体表示システム。
【請求項１１】
前記画像送信装置は、画像情報と共に、当該見通しの悪い場所の形状の情報を送信することを特徴とする請求項１０に記載の接近移動体表示システム。
【請求項１２】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出して、送信する画像処理装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置を前記車両内の画面に表示する表示部とを有することを特徴とする接近移動体表示システム。
【請求項１３】
接近移動体を車両内の画面に表示するための接近移動体表示方法であって、
地上に設置されたカメラで道路の交通状況を繰り返して撮像し、
前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、
前記認識された移動体の位置を算出し、
前記算出された移動体の位置を、前記車両内の画面に表示することを特徴とする接近移動体表示方法。
【請求項１】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
地上に設置されたカメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、
前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、
前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有することを特徴とする接近移動体表示装置。
【請求項２】
前記表示部は、前記移動体の位置を道路図形と重ねて表示する請求項１に記載の接近移動体表示装置。
【請求項３】
前記表示部は、前記移動体の位置を３次元表示された道路図形と重ねて表示する請求項１又は請求項２に記載の接近移動体表示装置。
【請求項４】
前記表示部は、前記移動体の位置と当該車両の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の位置を表示する請求項１から請求項３のいずれかに記載の接近移動体表示装置。
【請求項５】
前記表示部は、ドライバの視点を基準として、前記移動体の位置を表示する請求項４に記載の接近移動体表示装置。
【請求項６】
前記表示部は、前記移動体の位置をヘッドアップディスプレイに表示する請求項４又は請求項５に記載の接近移動体表示装置。
【請求項７】
前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができる請求項１から請求項６のいずれかに記載の接近移動体表示装置。
【請求項８】
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することができる請求項１から請求項７のいずれかに記載の接近移動体表示装置。
【請求項９】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
交差点など見通しの悪い場所に接近する移動体の位置を受信する受信部と、
前記移動体の位置を道路図形と重ねて前記車両内の画面に表示する表示部と
を有することを特徴とする接近移動体表示装置。
【請求項１０】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報を送信する画像送信装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を当該車両内の画面に表示する表示部とを有することを特徴とする接近移動体表示システム。
【請求項１１】
前記画像送信装置は、画像情報と共に、当該見通しの悪い場所の形状の情報を送信することを特徴とする請求項１０に記載の接近移動体表示システム。
【請求項１２】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
交差点など見通しの悪い場所の近くに設置され、道路の交通状況を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置を算出して、送信する画像処理装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置を前記車両内の画面に表示する表示部とを有することを特徴とする接近移動体表示システム。
【請求項１３】
接近移動体を車両内の画面に表示するための接近移動体表示方法であって、
地上に設置されたカメラで道路の交通状況を繰り返して撮像し、
前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、
前記認識された移動体の位置を算出し、
前記算出された移動体の位置を、前記車両内の画面に表示することを特徴とする接近移動体表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００６−２１５９１１（Ｐ２００６−２１５９１１Ａ）
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願番号】特願２００５−２９６３０（Ｐ２００５−２９６３０）
【出願日】平成１７年２月４日（２００５．２．４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願日】平成１７年２月４日（２００５．２．４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]