接近移動体表示装置、システム及び方法
【課題】 自車両から死角となる移動体の接近情報を検知してドライバに表示する。また通信時間等による時間遅れがあっても、その移動体を正確に表示する。
【解決手段】 カメラ３で道路の交通状況の画像を繰り返して撮像し、カメラ３で撮像された各画像情報に基づいて当該道路を移動する移動体Ｃを認識し、前記認識された移動体Ｃの位置情報から同移動体Ｃの画面上の仮想表示位置を算出し、前記算出された移動体Ｃの仮想表示位置Ｃｖを前記車両内の画面に表示し、前記表示された移動体Ｃの仮想表示位置Ｃｖを当該画面における移動体Ｃの実表示位置Ｃｒに近づける。
【解決手段】 カメラ３で道路の交通状況の画像を繰り返して撮像し、カメラ３で撮像された各画像情報に基づいて当該道路を移動する移動体Ｃを認識し、前記認識された移動体Ｃの位置情報から同移動体Ｃの画面上の仮想表示位置を算出し、前記算出された移動体Ｃの仮想表示位置Ｃｖを前記車両内の画面に表示し、前記表示された移動体Ｃの仮想表示位置Ｃｖを当該画面における移動体Ｃの実表示位置Ｃｒに近づける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交差点などの見通しの悪い場所に設置したカメラや他車両の車載カメラで道路上の移動体（車両、二輪車、人等）を撮像し、これから得られる情報を、路車間通信または車々間通信を通じて、交差点に別の道路から進入する自車両で受信し、当該自車両から死角となる移動体の接近情報を、ドライバが理解しやすい情報に加工して提供する接近移動体表示装置、システム及び方法に関するものである。
【背景技術】
【０００２】
従来、車両の出合い頭衝突の防止のための表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある（特許文献１参照）。これにより、交差点における出合い頭事故の可能性をドライバに予告することができる。
また、交差点にカメラを設置し、このカメラにより、自車両から死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を自車両で受信する装置がある（特許文献２参照）。この装置によれば、カメラから見た実際の他車両の画像を自車両内で観察することができる。
【特許文献１】特開平５-２８４００号公報
【特許文献２】特開２００３-１０９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記特許文献１の技術では、交差点に近づいた自車両は、優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
【０００４】
前記特許文献２の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、この画面上の画像はあくまでもカメラから見た画像であるから、距離感や速度感が出ない。このため、自車両と他車両との正確な位置関係や、何が危険なのかをドライバが瞬時に判断しにくい。したがって、誤認識、錯覚の原因となる可能性がある。
【０００５】
そこで、カメラで撮像した画像から他車両の位置を算出し、その他車両の位置を、自車両に設けたナビ画面やフロントガラス面等よりなる表示部の画面に表示させ、この画面表示によって自車両のドライバに他車両との位置関係を把握させるシステム構成とすることが考えられる。この場合、画像の送信時間や処理時間があるために、カメラでの画像の撮像時点に対する表示部での表示時点は、数ミリ秒から数百ミリ秒単位で時間的に遅れているため、他車両の位置を表示部に表示する時点では、実際には他車両はその撮像時点の位置からずれた位置にある。
【０００６】
かかる時間遅れに伴う位置ずれは、その時間遅れの値が正確に判明すれば、当該時間遅れの間に進んだ他車両の移動量を考慮して他車両の位置を補正し、この補正された他車両の位置を表示部に表示することで是正することができる。
しかし、路車間通信や車々間通信の送信時間は通信方式の違いや、各所の通信状況等によって微妙に異なり、また、画像の処理時間も演算手法等によって微妙に異なるので、上記時間遅れを厳密に割り出すことが困難となる場合がある。このため、当該時間遅れに伴う他車両の表示位置の補正計算を行っても、表示部の画面上の他車両の表示位置は実際の他車両の位置からずれてしまい、自車両のドライバに対して他車両の正確な位置情報を提供できない場合がある。
【０００７】
そこで、本発明は、自車両から死角となる移動体の接近情報を検知してドライバに情報提供する場合に、自車両のドライバがその移動体の位置を正確に把握でき、しかも、通信時間等による時間遅れがあってもその移動体を正確に表示できる接近移動体表示装置、システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の接近移動体表示装置は、カメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項１）。
【０００９】
この装置では、交差点等に進入しようとする前記道路を移動する接近移動体の仮想表示位置を算出し、算出された移動体の仮想表示位置を当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【００１０】
また、上記装置は、表示部の画面に表示された移動体の仮想表示位置を、当該画面における移動体の実表示位置に近づける操作部を有するので、画像の送信時間や処理時間があるために、カメラでの画像の撮像時点に対する表示部の表示時点の時間遅れに伴う位置ずれがあっても、上記操作部を操作することで、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができ、移動体を表示部の画面に正確に表示することができる。
【００１１】
本発明の表示装置において、具体的には、前記演算部は、前記画像の撮像時点に対する前記表示部での表示時点の時間遅れを算出し、この時間遅れに基づいて移動体の仮想表示位置を補正する補正機能を有するものを採用することができる（請求項２）。
この場合、前記操作部として、前記時間遅れの値を変更可能な操作部材により構成することができ（請求項２）、この操作部により、上記演算部での補正計算の引数となっている時間遅れを変更すれば、当該演算部において算出される移動体の位置ずれの補正値を任意に調節することができる。
【００１２】
上記操作部材は、前記車両の搭乗席からの人的操作が可能なヒューマンインタフェースより構成することが好ましい（請求項３）。この場合、搭乗席の搭乗者が、表示部の画面上の移動体の位置ずれを自ら調節することにより、移動体の仮想表示位置を表示部の画面上において正確に位置合わせできるようになる。
このため、場所による通信状況の変化等によって時間遅れの値が搭乗中に変化し、これによって移動体の仮想表示位置がずれた場合であっても、操作部材を操作することでその位置ずれを搭乗者自らが迅速に是正することができる。
【００１３】
本発明の表示装置において、前記表示部としては、移動体の仮想表示位置をドライバに理解し易いように表示できるディスプレイであれば、特に限定されるものではないが、移動体の仮想表示位置を前記車両のフロントガラス面に投影するヘッドアップディスプレイにより構成することが好ましい（請求項４）。
この場合、移動体が死角から外れると、その移動体をドライバがフロントガラス面から直接目視することになる。したがって、移動体の実表示位置は、車両のドライバから見た前記フロントガラス面上における移動体の位置となることから、この移動体の位置に、同移動体の仮想表示位置が一致するように操作部材を操作すればよい。
【００１４】
前記算出された移動体の仮想表示位置を車両内の画面に表示する場合、前記移動体の仮想表示位置を道路図形と重ねて表示することとすれば、当該車両のドライバは、移動体の仮想表示位置を道路に関連付けて正確に把握することができる。
前記算出された移動体の仮想表示位置を車両内の画面に表示する場合、前記移動体の仮想表示位置を３次元表示された道路図形と重ねて表示することとすれば、当該車両のドライバは、移動体の仮想表示位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
【００１５】
前記表示部は、前記移動体の仮想表示位置と当該車両（自車両）の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の仮想表示位置を表示することとすれば、当該車両の走行方向を基準とした前記移動体の方向、すなわち当該車両から前記移動体が見える方向を特定することができる。したがって、この特定された方向に基づいて、接近移動体の仮想表示位置を当該車両内の画面に表示することとすれば、車内のドライバは、移動体がどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
【００１６】
前記表示部は、ドライバの視点を基準として、前記移動体の仮想表示位置を表示すれば、ドライバは、目の前で見ているかのようにして接近移動体の動きを把握できる。
前記表示部は、前記移動体の仮想表示位置をヘッドアップディスプレイに表示するものでもよい。前記接近移動体の仮想表示位置をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、接近移動体を認識することができる。
【００１７】
前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができれば、交差点から遠ざかっている移動体は無視することにより、処理するデータ量が半減する。よって処理の迅速化につながる。
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することとすれば、ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
【００１８】
本発明の接近移動体表示装置は、交差点など見通しの悪い場所に接近する移動体の位置情報を受信する受信部と、前記受信された移動体の位置情報から算出した仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項５）。
この接近移動体表示装置を使えば、交差点等見通しの悪い場所を移動する接近移動体の仮想表示位置を、当該場所に進入しようとする当該車両内の画面上に道路図形と重ねて表示することができる。したがって、当該車両のドライバは、死角となる場所の移動体の状況を道路との関係で具体的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
また、上記操作部により、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
【００１９】
本発明の接近移動体表示システムは、道路の交通状況の画像を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像送信装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を当該車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項６）。
【００２０】
このシステムは、交差点等見通しの悪い場所を移動する接近移動体の仮想表示位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
また、上記操作部により、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
【００２１】
このシステム構成によれば、画像送信装置は、前記カメラで撮像された各画像情報を送信するだけでよく、前記画像送信装置から送信された各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する処理は、前記車載装置で行う。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの技術競争が助長されるため、システムの高度化が促進できるメリットがある。
【００２２】
前記画像送信装置は、画像情報と共に、さらに当該見通しの悪い場所の形状の情報を送信するものであれば、車載装置は、この情報に基づいて車内の画面に当該場所形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
なお前記移動体の検出処理や位置情報の算出処理は、必ずしも、車載装置で行う必要はなく、路上に設置した画像処理装置で行ってもよい。
【００２３】
この場合、本発明の接近移動体表示システムは、道路の交通状況の画像を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置情報の位置を算出して、送信する画像処理装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項７）。
【００２４】
このシステムでは、画像処理装置は、前記カメラで撮像された各画像情報を送信するだけでなく、各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置情報を算出する処理も行う。路上側の処理機能が重くなるが、車載装置の機能は少なくてよいので、車載装置の低価格化が可能になると予想される。したがって、本システムの普及促進が期待できるメリットがある。
【００２５】
本発明の接近移動体表示方法は、地上に設置されたカメラで道路の交通状況の画像を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出し、前記算出された移動体の仮想表示位置を前記車両内の画面に表示し、前記表示された仮想移動体の表示位置を当該画面における移動体の実表示位置に近づける方法である（請求項８）。
【００２６】
この方法によって、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
また、移動体の仮想表示位置を移動体の実表示位置に近づけることでこれらを実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
【発明の効果】
【００２７】
以上のように本発明によれば、自車両から死角となる移動体の接近情報をカメラで認識し、ドライバから把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く接近車両を認知することが可能となる。この結果、出合い頭衝突（交差側車両との衝突）や右直（右折時の死角となる直進バイク等との衝突）の事故などを未然に防止し、交差点での安全運転を支援することができる。
また、表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部を有しているので、この操作部を操作することで、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができ、移動体を表示部の画面に正確に表示することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
〔接近移動体表示方法〕
図１及び図２は、本発明の接近移動体表示方法を実施するためのカメラの配置図である。
図１では、カメラ３を、建物が密集した交差点４に配置し、図２では、建物が密集したカーブ５に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ３を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
【００２９】
カメラ３の撮像方向は、交差点４にカメラ３を設置した場合、当該交差点４への、監視対象とする１本の流入路の方向である。カーブ５にカメラ３を設置した場合は、当該カーブ５から見たいずれかの方向の道路である。
交差点４が４本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた４台のカメラ３を設置するとよい。しかし、すべての流入路にカメラ３を設置できなくても、少なくとも１本の流入路にカメラ３を向けることができれば、当該流入路を監視できることになる。
【００３０】
カーブ５についても同様で、当該カーブ５から見た両方向にカメラ３を設置するとよいが、少なくとも１方向にカメラ３を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点４の１本の流入路にカメラ３を配置した図１の構成を例にとって、本発明の接近移動体表示方法を説明する。
なお、以下に述べる定式化は、カメラ３が単眼カメラである場合を例にして説明する。もっとも、本発明は、カメラ３が単眼カメラであってもステレオカメラであっても適用することができる。
【００３１】
図３は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路（背景）の座標系を（Ｘ，Ｙ，Ｚ）、カメラ３の座標系を（Ｘ′，Ｙ′，Ｚ′）とし、原点はともにカメラ３のレンズ中心とする。
道路座標系は、監視対象である道路方向をＹ軸（前方向を正）、これと直角な道路面上の方向をＸ軸（右方向を正）、路面と垂直な方向をＺ（上方を正）とする。
【００３２】
またカメラ座標系は、カメラ３の光軸をＹ′軸、これに垂直な平面上のカメラ３の右方向をＸ′軸、カメラ３の上方向をＺ′軸とする。
さらに、カメラ３座標軸の道路座標軸に対する回転角（カメラ３の姿勢）を、それぞれθ（ピッチ角）、φ（ロール角）、ψ（ヨー角）とし、全て右ねじの進む方向を正（θ：水平面より上向きが正、φ：右回りが正、ψ：左回りが正）とする。θ、φ、ψはいずれも既知とする。
【００３３】
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
【００３４】
【数１】
【００３５】
ここで、行列の各要素は、次のとおりである。
Ｐ11＝cosφ・cosψ−sinθ・sinφ・sinψ
Ｐ12＝cosφ・sinψ＋sinθ・sinφ・cosψ
Ｐ13＝−cosθ・sinφ
Ｐ21＝−cosθ・sinψ
Ｐ22＝cosθ・cosψ
Ｐ23＝sinθ
Ｐ31＝sinφ・cosψ＋sinθ・cosφ・sinψ
Ｐ32＝sinφ・sinψ−sinθ・cosφ・cosψ
Ｐ33＝cosθ・cosφ
図４は、カメラ３の画像面を示す図であり、右方向をｘ軸、上方向をｙ軸とする。ｘ軸は前記Ｘ′軸と一致し、ｙ軸は前記Ｚ′軸と一致する。
【００３６】
このとき、カメラ座標系の点（Ｘ′，Ｙ′，Ｚ′）は、カメラ３の画像面上の点（ｘ，ｙ）に次のように変換される。ｆはレンズの焦点距離である。Ｈを路面からカメラ３までの高さとする。
ｘ＝ｆ・Ｘ′／Ｙ′… (1)
ｙ＝ｆ・Ｚ′／Ｙ′… (2)
いま、監視対象であるカメラ３の前方の道路に移動体Ｃが存在するとする。移動体Ｃは、歩行者、二輪車、自動車など動くものなら何でもよい。
【００３７】
移動体Ｃの特徴点に注目する。例えば、移動体Ｃが四輪自動車であるとすると、前輪の２つのタイヤに注目する。前輪の２つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
移動体Ｃが二輪車であれば、前輪のタイヤの道路接地点を「移動体Ｃの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」と
する。
【００３８】
移動体Ｃの特徴点は道路接地面に存在するので、その高さＺは、−Ｈである。
移動体Ｃの特徴点を道路座標系で表せば、（Ｘ，Ｙ，−Ｈ）となる。
これを前記行列式に代入すれば、Ｘ′，Ｚ′，Ｙ′をそれぞれＸ，Ｙで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ３の画像面上の点ｘ，ｙをＸ，Ｙで表すことができる。
【００３９】
言い換えれば、カメラ３の撮像画像から車両を認識して切り出すことにより、移動体Ｃの特徴点の撮像画像上の座標（ｘ0，ｙ0）が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Ｃのカメラ３からの相対位置Ｘ，Ｙを算出することができる。
このようにして、カメラ３からの相対位置Ｘ，Ｙが分かれば、カメラ３の位置を特定することによって移動体Ｃの位置（位置情報）を算出できる。なお、この移動体Ｃの位置情報は経緯度表現による絶対位置で表すこともできる。
以上のように移動体Ｃの位置が特定できれば、移動体Ｃの位置を画面上に表示することができる。
【００４０】
図５は、前記移動体Ｃの位置を道路図形と重ねて表示した場合の画面図である。例えば車載テレビジョンや車載ナビゲーション装置の画面１４を用いる。この画面１４には、自車両Ａの位置とともに、交差点４を含む実際の道路地図が表示されている。前記移動体Ｃの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Ｃの位置を道路上に、より正確に表示することができる。
【００４１】
前記移動体Ｃの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面１４に３次元表示された道路図形の上に投影することもできる。この前提として、車載装置は、３次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図６は、画面１４に３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。車両Ａは、交差点４に向かって走行中である。画面１４には、自車両Ａの前方にある交差点４が写されていて、交差点４に近づく移動体Ｃが表示されている。ドライバは、画面１４を見れば、交差点４に近づくこの移動体Ｃを認識することができる。
実際、移動体ＣがビルディングＢの陰になっている場合でも、移動体Ｃは表示可能である。
【００４２】
自車両Ａのドライバは、この画面１４を見て、前記移動体Ｃと自車両Ａとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Ｃが建物の陰に隠れていても、画面１４には移動体Ｃが存在するかのように映るので、ドライバは、移動体Ｃが次の交差点４に現れることを予想できる。
【００４３】
従って、交差点４での出合い頭衝突による事故が起こらないように減速などすることができる。
以上のように移動体Ｃの位置が特定できれば、次に、ドライバの視点Ｅから移動体Ｃを見た場合の、移動体Ｃが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Ｃの位置座標Ｘ，Ｙの、Ｘ座標値を０とおく。自車両Ａの位置Ｘ，Ｙの、Ｙ座標値も０とおく。また自車両Ａの走行方向は、−Ｘ方向であるとする。
【００４４】
図７は、自車両Ａと移動体Ｃとの位置関係を表す平面図である。
自車両Ａのドライバの視点Ｅとカメラ３との距離をＸa、移動体Ｃの特徴点とカメラ３
との距離をＹbとしている。
距離Ｘaは、自車両Ａにおいて後述するように検出可能であり、距離Ｙbは前述したように撮像画像から求めることができる。したがって、ドライバの視点Ｅから見た移動体Ｃの方向Ｔが決定でき、ドライバの視点Ｅから見た移動体Ｃが見える水平角度αが決定できる。ドライバの視点Ｅから移動体Ｃまでの距離Ｗも算出できる。
【００４５】
なお、移動体Ｃの位置と自車両Ａの位置とを、経緯度表現した場合であっても、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから移動体Ｃまでの距離Ｗは、算出できる。
図８は、方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。ドライバの視点Ｅの地上からの高さをｈとする。このｈは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
【００４６】
ドライバの視点Ｅから移動体Ｃまでの距離Ｗは前述したように算出できる。移動体Ｃの特徴点は、道路接地面に存在する。したがって、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Ｅから移動体Ｃがどのように見えるかを決定することができる。
【００４７】
以上の検討では、単純化するために、交差点４は、直角交差点であるとしたが、直角でなくともよい。移動体Ｃの位置Ｘ，Ｙの座標値は０でなくてもよく、自車両Ａの位置Ｘ，Ｙの座標値も０でなくてもよい。このように一般化した場合の自車両Ａ、カメラ３、移動体Ｃを含む平面図を、図９に示す。
図９では、自車両Ａのドライバの視点Ｅの座標を（Ｘa，Ｙa）、移動体Ｃの特徴点の座標を（Ｘb，Ｙb）としている。また自車両Ａの走行方向をＰで表している。自車両Ａの走行方向Ｐとドライバの視点Ｅの座標（Ｘa，Ｙa）は、後述するように検出可能である。ドライバの視点Ｅとカメラ３との距離は√（Ｘa2＋Ｙa2）、移動体Ｃの特徴点とカメラ３との距離は√（Ｘb2＋Ｙb2）となる。
【００４８】
このような一般的な場合であっても、図７、図８を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
次に、車両Ａ内のヘッドアップディスプレイの画面で、移動体Ｃの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
【００４９】
図１０は、フロントガラスの画面ｕ，ｖを表す画面図である。横方向をｕ、縦方向をｖにとっている。ドライバの視点Ｅとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Ｅから移動体Ｃの特徴点までの方向α、βが分かっているので、移動体Ｃの特徴点をフロントガラスの画面上の点ｕ0，ｖ0に投影することができる。この投影点（ｕ0，ｖ0）はフロントガラスに対する移動体Ｃの仮想表示位置であり、この点が決まれば、その点を基準にして、一定の移動体Ｃ′を作画することができる。
【００５０】
移動体Ｃが建物や樹木のために隠れて見えないときでも、この作画された移動体Ｃ′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Ｃがフロントガラスから見えている場合は、移動体Ｃとこの作画された移動体Ｃ′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
【００５１】
なお、画像の送信時間や処理時間があるために、カメラ３での画像の撮像時点に対するディスプレイでの表示時点は、数ミリ秒から数百ミリ秒単位で時間的に遅れている。このため、移動体Ｃ′の位置を表示部に表示する時点では、実際には移動体Ｃ′は撮像時点の表示位置からずれた位置にある。
そこで、本発明の表示方法では、上記時間遅れの間に進んだ移動体Ｃ′の移動量を考慮して移動体Ｃ′の位置を補正し、この補正された移動体Ｃ′の位置をディスプレイに表示することで、位置ずれを是正している。この点については後で詳述する。
【００５２】
〔接近移動体表示システム及び装置〕
次に、前記接近移動体表示方法を実施するための、本発明の接近移動体表示システムの
構成を説明する。
図１１は、接近移動体表示システムの全体構成を示す概念図である。接近移動体表示システムは、カメラ３と、画像送信装置６と、車載装置７とを含む。
【００５３】
カメラ３は、前述したように、交差点４、カーブ５など見通しの悪いところに配置されている。その高さ、姿勢、倍率（若しくは焦点距離）は、固定されているか、あるいは所望の値に設定可能となっている。
画像送信装置６は、カメラ３で撮像した画像データ等を送信する装置である。カメラ３と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ３と通信回線で結ばれている。画像データの送信媒体は、車載装置７に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信よりも、無線ＬＡＮ等の路車間通信がさらに望ましい。変調方式や符号化方式は、任意である。
【００５４】
画像送信装置６から車載装置７に送られるデータは、画像データの他に、カメラ３の位置データ、時刻データ、カメラ３の姿勢、高さ、倍率のデータなどがある。その他、交差点形状のデータも含めてもよい。
カメラ３の位置は、次のような方法で設定する。
(1)カメラ３の取り付け前の調査で把握し、予め画像送信装置６に記憶させておく。
【００５５】
(2)ＧＰＳ(Global Positioning System)受信装置を利用して位置を検出する。カメラ３の設置位置は、一度設置されるとほぼ動くことがないので、ＧＰＳの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、ＣＥＰ（Circular Error Probable，確率誤差円、位置検出の信頼度、自乗平均誤差の約２倍）の良好な時点の検出データの平均値を用いたりしてもよい。
【００５６】
時刻は、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、ＧＰＳや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図１２は、画像送信装置６から車載装置７に各種データを送信するスケジュールを示すフローチャートである。画像送信装置６は、一定の処理周期になれば（ステップＳ１）、カメラ３から撮像画像を取得し（ステップＳ２）、車載装置７との通信が確立していれば（ステップＳ３）、時刻、撮像画像、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを車載装置７に送信する（ステップＳ４）。また、差分画像を得るため、移動体のない時の撮像画像も送信することが好ましい。
【００５７】
車載装置７は、画像処理機能やマンマシン機能を持った車載コンピュータ１６、電波時計１１、位置方位検出装置１２、通信装置１３、ディスプレイ１４、スピーカ１５及び操作部１８等で構成される。
前記通信装置１３は、画像送信装置６から送られてくるデータを受信するものであり、復調方式や復号化方式は、画像送信装置６のものに対応している。
【００５８】
電波時計１１は、現在時刻を知るものであるが、これに限られない。画像送信装置６から時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他ＧＰＳ、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置１２は、当該車両の位置と方位を検出するための装置である。なお、車載装置７の位置検出は、例えばＧＰＳを利用する。ＧＰＳを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点４からの距離のような相対的表現があり、どちらを利用してもよい。
【００５９】
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ１４には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
【００６０】
フロントディスプレイ１４は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である（特開平8-108773号公報参照）。
スピーカ１５は、交差点４などでの出合い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
【００６１】
車載コンピュータ１６は、画像送信装置６から送られてくる画像データに基づいて、接近移動体の存在を認識し、その位置を算出し、その算出した位置を画面表示時点の位置に補正し、自車両との出合い頭衝突の可能性を推定し、表示用、音声出力用のデータを作成する。
すなわち、車載コンピュータ１６は、カメラ３の撮像画像に基づいて道路を移動する移動体を認識する認識部、この認識された移動体の位置を算出する演算部、この算出された位置を画面表示時点の位置に補正する補正部（補正の仕方は後述する。）としての機能を併有する。
【００６２】
操作部１８は、車載コンピュータ１６で行う接近移動体の補正計算で使用する、時間遅れΔｔの値を人為的に変更することにより、表示部としてのディスプレイ１４の画面に表示された接近移動体の仮想表示位置を、当該画面における接近移動体の実表示位置に近づけるものである。この操作部１８は、具体的には、図２０（ａ）に示す操作つまみ１９や、図２０（ｂ）に示す操作スイッチ２０等の、自車両の運転席又は助手席等の搭乗席からの人的操作が可能なヒューマンインタフェースにより構成することができる。
【００６３】
このうち、上記操作つまみ１９は、音声のボリューム調整の場合と同様に、当該つまみ１９の回動角度を変更することで、車載コンピュータ１６が演算する後述の時間遅れΔｔの値を変更可能である。他方、操作スイッチ２０は、押した時間に応じて時間遅れΔｔの値を変更可能であり、「大」側を押し続けることで当該時間遅れΔｔを増大させることができ、「小」側を押し続けることで当該時間遅れΔｔを減少させることができる。
以下、前記車載コンピュータ１６の機能を、フローチャート（図１３，図１４）に基づいて詳細に説明する。
【００６４】
車載コンピュータ１６は、一定の処理周期になれば（ステップＴ１）、画像送信装置６との通信が確立しているかどうかを確認し（ステップＴ２）、確立していれば、画像送信装置６から、撮像時刻、撮像画像（移動体のない時の撮像画像を含む）、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを受信する（ステップＴ３）。
そして、撮像画像に基づいて、移動体を認識する（ステップＴ４）。この移動体の認識は、移動体のない時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
【００６５】
次に、前後の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＴ５）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用して種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＴ６）。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
【００６６】
なお、前記した通り、この接近移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、画像の送信時間や処理時間があるために、ディスプレイ１４で移動体を表示する時点の位置（画面表示時の表示位置）とずれが生じる。そのため、カメラ撮像時の位置を移動体表示時の位置に補正するべく、次のように移動体表示時刻の位置をカメラ撮像時の位置に基づいて推定する必要がある。
以下、その推定処理を説明する（ステップＴ７）。なお、移動体の位置のＸ座標を、簡単のため０とおき、Ｙ座標だけで議論する。移動体表示時刻をｔとする。
【００６７】
移動体表示時刻ｔの位置Ｙは、過去に得られた複数データ（ｔｉ，Ｙｉ）（ｔは時刻、ｉは整数を表す）を用いて、以下の(a)又は(b)の方法で推定することができる。
(a) １次式を利用した例
Ｙ＝ａｔ＋ｂ
で推定する。係数ａ，ｂは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａに基づいて当該移動体の速度Ｖを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ-ｔ0）（＝Δｔ）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ-ｔ0) ＝Ｙ0＋Ｖ・Δｔで算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００６８】
(b) ２次式を利用した例
Ｙ ＝ ａ ｔ 2＋ｂｔ＋ｃ
で推定する。係数ａ，ｂ，ｃは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａ，ｂに基づいて、移動体の速度Ｖと加速度Ａを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ-ｔ0）（＝Δｔ）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ-ｔ0)＋Ａ(ｔ-ｔ0) 2／２ ＝Ｙ0＋Ｖ・Δｔ＋Ａ・Δｔ2 ／２で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００６９】
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像送信装置の処理時間、通信時間、車載装置７への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
【００７０】
もっとも、路車間通信や車々間通信の送信時間は通信方式の違いや、各所の通信状況等によって微妙に異なり、また、画像の処理時間も演算手法等によって微妙に異なるので、上記時間遅れΔｔを厳密に割り出すことは困難であり、このΔｔを一定値に設定しても、表示の位置ずれは発生し得る。
そこで、本実施形態では、車両の搭乗者が操作可能な前記操作部１８（操作つまみ１９や操作スイッチ２０）により、移動体の位置の補正を行うための上記Δｔを変更できるようにしている。このため、ドライバ等が操作部１８でΔｔを変更することにより、移動体Ｃの座標よりなる位置情報を補正することができ、その結果、画面上での仮想表示位置Ｃｖ（例えば、図２１〜図２４参照）が補正され、その仮想表示位置Ｃｖを画面上で人為的に移動させることができる。
【００７１】
次に、車載コンピュータ１６は、移動体表示時刻における移動体の位置（補正処理後の位置情報）に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
図１４は、接近移動体を、自車両Ａの画面上へ表示する場合の手順を示すフローチャートである。
フロントガラスへの表示を行う場合は（ステップＴ８でYES）、前述したように、ドライバの視点Ｅから接近移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる（ステップＴ９，Ｔ１０）。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から接近移動体までの距離Ｗと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
【００７２】
モニター画面への表示を行う場合は（ステップＴ１１でYES）、図５に示したように、交差点４を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、接近移動体Ｃの位置は、交差点形状とともに、そのまま道路地図上に表示される（ステップＴ１２，Ｔ１３）。
また、図６に示したように、立体道路地図と重ねてもよい。
【００７３】
このようなフロントガラスあるいはモニター画面への表示をすれば、接近移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出合い頭衝突の危険度が分かり易い。
次に、オプションとして、接近移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点４に到着する時間ｔsと、安全余裕度ｄｔとを基にして、自車両が、時間ｔs−ｄｔからｔs＋ｄｔの範囲に交差点４に到達してしまう走行速度の範囲（「走行速度の危険範囲」という）を求め、自車速度と共に表示することが好ましい。
【００７４】
接近移動体の速度をｖ１，接近移動体から交差点４までの距離をｓ１、交差点４への到達時間ｔsとすると、
ｔs＝ｓ１／ｖ１
となる。また自車両の危険速度をｖ２，交差点４までの距離をｓ２とすると、
ｔs−ｄｔ≦ｓ２／ｖ２≦ｔs＋ｄｔ
を満たすｖ２の範囲が、走行速度の危険範囲となる（ステップＴ１４）。
【００７５】
本表示は、図１９に示すように、自車両の速度表示用のパネル上で行ってもよい（ステップＴ１５）。図１９で、"Ｋ"で示した範囲が走行速度の危険範囲に相当する。
なお上式では、安全余裕度を時間ｄｔで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ１５から音声で警告してもよい（ステップＴ１６）。
【００７６】
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点４までの距離に応じて警告をしてもよい。
これまで説明した実施形態では、車載装置７で移動体の存在判定や位置検出を行っていたが、路上側の画像処理装置６ａで、移動体の存在判定や位置検出を行ってもよい。ただし、この場合においても、移動体の位置情報の補正ないし推定処理は、車載装置７側で行う必要がある。その理由は、路上側の画像処理装置６ａでは、画面表示の表示時点が不明だからである。
この場合の接近移動体表示システムの構成を図１５に示す。
【００７７】
図１５は、接近移動体表示システムの全体構成を示す概念図である。この図１５の構成と、図１１との違いは、車載装置７の移動体の存在判定機能と、位置算出機能とが、画像処理装置６ａの機能となっていることである。
これらの機能を含めた、画像処理装置６ａの処理手順を、フローチャート（図１６）を用いて説明する。
【００７８】
画像処理装置６ａは、一定の処理周期になれば（ステップＵ１）、カメラ３から撮像画像を取得し（ステップＵ２）、撮像画像に基づいて、移動体を認識する（ステップＵ３）。この移動体の認識は、図１１において説明したのと同様、平常時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。
【００７９】
次に、前の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＵ４）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用してその種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＵ５）。
【００８０】
次に、車載装置７との通信が確立しているかどうかチェックし（ステップＵ６）、確立していれば、画像処理装置６ａは、撮像時刻、接近移動体の位置（補正処理前）、接近移動体の種類、交差点形状などのデータを車載装置７に送信する（ステップＵ７）。
次に車載装置７の処理に移る。
図１７を参照して、車載コンピュータ１６は、一定の処理周期になれば（ステップＶ１）、画像処理装置との通信が確立しているかどうかを確認し（ステップＶ２）、確立していれば、画像処理装置６ａから、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを受信する（ステップＶ３）。
【００８１】
次に、車載コンピュータ１６は、前記時間遅れΔｔを用いて接近移動体の位置の補正計算を行い、移動体表示時刻における移動体の表示位置を推定し（ステップＶ４）、この移動体表示時刻における移動体の表示位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
フロントガラスへの表示を行う場合は（ステップＶ５でYES）、ドライバの視点Ｅから接近移動体までの方向に基づいて、その方向をフロントガラスへ投影することによって表示する（ステップＶ６，Ｖ７）。
【００８２】
モニター画面への表示を行う場合は（ステップＶ８でYES）、ナビゲーション用の交差点４を含む道路地図の上に表示する（ステップＶ１０）。
また、自車両が走行速度危険範囲内に入っている場合には（ステップＶ１１）、走行速度の危険範囲表示（ステップＶ１２）を行い、音声での警告（ステップＶ１３）を行う。
【００８３】
これまで説明した実施形態では、例えば、カメラ３の設置位置として、図１では交差点４、図２ではカーブ５上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。
例えば、図１８に示したような、右折待ち車両Ｆの陰になる対向車線１７がある。このような場合、図１８に示すように対向車線１７を見渡すことができる位置にカメラ３ａを設置するとよい。本発明の方法により、カメラ３ａの撮像画像に基づいて、右折待ち車両Ｆの陰になった移動体Ｇの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
【００８４】
また、これまでの実施形態では、接近車両の位置算出処理を、車載装置７で行った場合と、画像処理装置６ａで行って場合とを示したが、画像処理装置６ａと車載装置７との両方で行って、算出結果の一致性を車載装置７でチェックすることにより、ミスを少なくする方法をとってもよい。
なお以上の実施形態では、単眼カメラ３の場合であるが、勿論ステレオカメラ３でもよい。
【００８５】
また、対象とする画像処理装置６ａは、必ずしも１台ではなく、複数存在してもよい。
また同じ道路にカメラ３を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
【００８６】
これまで説明した実施形態では、カメラ３が道路の地上設備に設置され、その撮像画像の画像データや画像処理後の移動体の位置情報等を、路車間通信で自車両Ａの車載装置７に送信していたが、本発明はこれに限られない。
すなわち、地上設備に設置されるカメラ３の代わりに、他の車両に搭載された車載カメラを利用し、この車載カメラで撮像して得られた画像データや画像処理後の移動体の位置情報等を、車々間通信にて自車両Ａの車載装置７に送信するシステム構成にすることもできる（図示省略）。
【００８７】
〔画面上での表示ずれの例〕
図２１は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の実例の一つである。
ここでは、自車両Ａが交差点を右折しようとする右折車両であり、ドライバからは、フロントガラス面２１を通して、トラックよりなる対向車両Ｂと、その死角に隠れていた二輪車よりなる死角移動体Ｃが見え始めたものとする。また、図２１において、Ｃｖは、フロントガラス面２１に表示された死角移動体Ｃの仮想表示位置を示し、Ｃｒは、当該死角移動体Ｃの実表示位置（ドライバから見たフロントガラス面２１上における死角移動体Ｃの位置）である。
【００８８】
そして、前述の通り、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔが生じていると、画面上の架空表示Ｃｖは死角移動体Ｃの実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する死角移動体Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合には、ドライバが操作部１８を操作することにより、死角移動体Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができ、かかる操作部１８によるアジャストを行うことにより、それ以降の死角移動体Ｃの仮想表示位置Ｃｖを正確に表示できるようになる。
【００８９】
また、図２２は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の他の実例である。
ここでは、自車両Ａが交差点の手前を走行する直進車両であり、ドライバからは、フロントガラス面２１を通して、交差点を右側から進入してくる乗用車よりなる進入移動体Ｃが見え始めたものとする。また、図２２において、Ｃｖは、フロントガラス面２１に表示された進入移動体Ｃの仮想表示位置を示し、Ｃｒは、当該進入移動体Ｃの実表示位置（ドライバから見たフロントガラス面２１上における進入移動体Ｃの位置）である
【００９０】
図２２の表示例においても、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔにより、画面上の架空表示Ｃｖは実際の進入移動体の実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する進入移動体Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合でも、ドライバが操作部１８を操作することにより、進入移動体Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができる。
【００９１】
図２３は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の他の実例である。
ここでは、自車両Ａがカーブする道路を走行する走行車両であり、ドライバからは、フロントガラス面２１を通して、その道路のカーブを曲がりきった乗用車よりなる対向移動体Ｃが見え始めたものとする。また、図２３において、Ｃｖは、フロントガラス面２１に表示された対向移動体Ｃの仮想表示位置を示し、Ｃｒは、当該対向移動体Ｃの実表示位置（ドライバから見たフロントガラス面２１上に置ける対向移動体Ｃの位置）である。
【００９２】
図２３の表示例においても、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔにより、画面上の架空表示Ｃｖは実際の対向移動体の実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する対向移動体Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合でも、ドライバが操作部１８を操作することにより、対向移動体Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができる。
【００９３】
図２４は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の更に他の実例である。
ここでは、自車両Ａが直進道路を走行する走行車両であり、ドライバからは、フロントガラス面２１を通して、その道路の左側に駐車している駐車車両Ｂと、今まで駐車車両Ｂ死角になっていた移動体である歩行者Ｃが見え始めたものとする。また、図２４において、Ｃｖは、フロントガラス面２１に表示された歩行者Ｃの仮想表示位置を示し、Ｃｒは、当該歩行者体Ｃの実表示位置（ドライバから見たフロントガラス面２１上における歩行者Ｃの位置）である。
【００９４】
図２４に示す表示例では、駐車車両Ｂと自車両Ａの間で車々間通信が行われており、歩行者Ｃの画像データは、駐車車両Ｂに搭載された車載カメラ（図示せず）から得られたものである。
この図２４の表示例においても、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔにより、画面上の架空表示Ｃｖは実際の歩行者Ｃの実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する歩行者Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合でも、ドライバが操作部１８を操作することにより、歩行者Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができる。
【００９５】
なお、これまで説明した実施形態では、車載装置７が、移動体Ｃの位置情報の補正処理を行い（この処理時点で時間遅れΔｔが設定される。）、その補正された移動体Ｃの位置に基づいて得られた画面上の仮想表示位置Ｃｖをディスプレイ１４の画面に表示させているが、かかる補正処理の演算を行わずに、撮像時の移動体Ｃの位置に基づいて得られた仮想表示位置Ｃｖを表示させることにしてもよい。
すなわち、移動体Ｃの位置情報の補正処理を行わないことは、前記時間遅れΔｔの設定値が０であることと等価であり、このような場合でも、操作部１８によって前記時間遅れΔｔを人為的に設定することにより、移動体Ｃの仮想表示位置Ｃｖを変更することができる。
【００９６】
また、本発明の表示システム１を適用できるその他の見通しの悪い場所としては、大駐車場から幹線道路に出る場所や、逆に幹線道路から大駐車場に入る場所などがある。
【図面の簡単な説明】
【００９７】
【図１】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図２】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図３】道路座標系及びカメラ座標系の座標図である。
【図４】カメラ３の画像面を示す図である。
【図５】移動体Ｃの位置を平面的な道路図形と重ねて表示した場合の画面図である。
【図６】３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。
【図７】自車両Ａと、検出された移動体Ｃとの位置関係を表す平面図である。
【図８】移動体の見える方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。
【図９】自車両Ａ、カメラ、移動体Ｃを含む平面図である。
【図１０】フロントガラスの画面ｕ，ｖを表す画面図である。
【図１１】接近移動体表示システムの全体構成を示す概念図である。
【図１２】画像送信装置６から車載装置７に各種データを送信するスケジュールを表したフローチャートである。
【図１３】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである。
【図１４】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである（図１３の続き）。
【図１５】他の接近移動体表示システムの全体構成を示す概念図である。
【図１６】画像処理装置６ａの処理手順を示すフローチャートである。
【図１７】車載コンピュータ１６の処理手順を示すフローチャートである。
【図１８】右折待ち車両Ｆの陰になる対向車線１７を見渡すことができる位置にカメラ３ａを設置した例を示す平面図である。
【図１９】走行速度の危険範囲Ｋが表示された自車両の速度表示用のパネルを示す図である。
【図２０】操作部の構造例を示す図であり、（ａ）は操作つまみ、（ｂ）は操作スイッチである。
【図２１】ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示例である。
【図２２】ヘッドアップディスプレイによるフロントガラス面に対する移動体の他の表示例である。
【図２３】ヘッドアップディスプレイによるフロントガラス面に対する移動体の他の表示例である。
【図２４】ヘッドアップディスプレイによるフロントガラス面に対する移動体の更に他の表示例である。
【符号の説明】
【００９８】
３，３ａ カメラ
４ 交差点
５ カーブ
６ 画像送信装置
６ａ 画像処理装置
７ 車載装置
１１ 電波時計
１２ 位置方位検出装置
１３ 通信装置
１４ ディスプレイ、画面
１５ スピーカ
１６ 車載コンピュータ
１７ 対向車線
１８ 操作部
１９ 操作つまみ
２０ 操作スイッチ
２１ フロントガラス面
Ｃ 移動体
Ｃｖ 仮想表示位置
Ｃｒ 実表示位置
【技術分野】
【０００１】
本発明は、交差点などの見通しの悪い場所に設置したカメラや他車両の車載カメラで道路上の移動体（車両、二輪車、人等）を撮像し、これから得られる情報を、路車間通信または車々間通信を通じて、交差点に別の道路から進入する自車両で受信し、当該自車両から死角となる移動体の接近情報を、ドライバが理解しやすい情報に加工して提供する接近移動体表示装置、システム及び方法に関するものである。
【背景技術】
【０００２】
従来、車両の出合い頭衝突の防止のための表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある（特許文献１参照）。これにより、交差点における出合い頭事故の可能性をドライバに予告することができる。
また、交差点にカメラを設置し、このカメラにより、自車両から死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を自車両で受信する装置がある（特許文献２参照）。この装置によれば、カメラから見た実際の他車両の画像を自車両内で観察することができる。
【特許文献１】特開平５-２８４００号公報
【特許文献２】特開２００３-１０９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記特許文献１の技術では、交差点に近づいた自車両は、優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
【０００４】
前記特許文献２の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、この画面上の画像はあくまでもカメラから見た画像であるから、距離感や速度感が出ない。このため、自車両と他車両との正確な位置関係や、何が危険なのかをドライバが瞬時に判断しにくい。したがって、誤認識、錯覚の原因となる可能性がある。
【０００５】
そこで、カメラで撮像した画像から他車両の位置を算出し、その他車両の位置を、自車両に設けたナビ画面やフロントガラス面等よりなる表示部の画面に表示させ、この画面表示によって自車両のドライバに他車両との位置関係を把握させるシステム構成とすることが考えられる。この場合、画像の送信時間や処理時間があるために、カメラでの画像の撮像時点に対する表示部での表示時点は、数ミリ秒から数百ミリ秒単位で時間的に遅れているため、他車両の位置を表示部に表示する時点では、実際には他車両はその撮像時点の位置からずれた位置にある。
【０００６】
かかる時間遅れに伴う位置ずれは、その時間遅れの値が正確に判明すれば、当該時間遅れの間に進んだ他車両の移動量を考慮して他車両の位置を補正し、この補正された他車両の位置を表示部に表示することで是正することができる。
しかし、路車間通信や車々間通信の送信時間は通信方式の違いや、各所の通信状況等によって微妙に異なり、また、画像の処理時間も演算手法等によって微妙に異なるので、上記時間遅れを厳密に割り出すことが困難となる場合がある。このため、当該時間遅れに伴う他車両の表示位置の補正計算を行っても、表示部の画面上の他車両の表示位置は実際の他車両の位置からずれてしまい、自車両のドライバに対して他車両の正確な位置情報を提供できない場合がある。
【０００７】
そこで、本発明は、自車両から死角となる移動体の接近情報を検知してドライバに情報提供する場合に、自車両のドライバがその移動体の位置を正確に把握でき、しかも、通信時間等による時間遅れがあってもその移動体を正確に表示できる接近移動体表示装置、システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の接近移動体表示装置は、カメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項１）。
【０００９】
この装置では、交差点等に進入しようとする前記道路を移動する接近移動体の仮想表示位置を算出し、算出された移動体の仮想表示位置を当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
【００１０】
また、上記装置は、表示部の画面に表示された移動体の仮想表示位置を、当該画面における移動体の実表示位置に近づける操作部を有するので、画像の送信時間や処理時間があるために、カメラでの画像の撮像時点に対する表示部の表示時点の時間遅れに伴う位置ずれがあっても、上記操作部を操作することで、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができ、移動体を表示部の画面に正確に表示することができる。
【００１１】
本発明の表示装置において、具体的には、前記演算部は、前記画像の撮像時点に対する前記表示部での表示時点の時間遅れを算出し、この時間遅れに基づいて移動体の仮想表示位置を補正する補正機能を有するものを採用することができる（請求項２）。
この場合、前記操作部として、前記時間遅れの値を変更可能な操作部材により構成することができ（請求項２）、この操作部により、上記演算部での補正計算の引数となっている時間遅れを変更すれば、当該演算部において算出される移動体の位置ずれの補正値を任意に調節することができる。
【００１２】
上記操作部材は、前記車両の搭乗席からの人的操作が可能なヒューマンインタフェースより構成することが好ましい（請求項３）。この場合、搭乗席の搭乗者が、表示部の画面上の移動体の位置ずれを自ら調節することにより、移動体の仮想表示位置を表示部の画面上において正確に位置合わせできるようになる。
このため、場所による通信状況の変化等によって時間遅れの値が搭乗中に変化し、これによって移動体の仮想表示位置がずれた場合であっても、操作部材を操作することでその位置ずれを搭乗者自らが迅速に是正することができる。
【００１３】
本発明の表示装置において、前記表示部としては、移動体の仮想表示位置をドライバに理解し易いように表示できるディスプレイであれば、特に限定されるものではないが、移動体の仮想表示位置を前記車両のフロントガラス面に投影するヘッドアップディスプレイにより構成することが好ましい（請求項４）。
この場合、移動体が死角から外れると、その移動体をドライバがフロントガラス面から直接目視することになる。したがって、移動体の実表示位置は、車両のドライバから見た前記フロントガラス面上における移動体の位置となることから、この移動体の位置に、同移動体の仮想表示位置が一致するように操作部材を操作すればよい。
【００１４】
前記算出された移動体の仮想表示位置を車両内の画面に表示する場合、前記移動体の仮想表示位置を道路図形と重ねて表示することとすれば、当該車両のドライバは、移動体の仮想表示位置を道路に関連付けて正確に把握することができる。
前記算出された移動体の仮想表示位置を車両内の画面に表示する場合、前記移動体の仮想表示位置を３次元表示された道路図形と重ねて表示することとすれば、当該車両のドライバは、移動体の仮想表示位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
【００１５】
前記表示部は、前記移動体の仮想表示位置と当該車両（自車両）の位置との相対位置関係に基づき、当該車両の走行方向を基準とした前記移動体の方向を特定し、前記特定された方向に基づいて、移動体の仮想表示位置を表示することとすれば、当該車両の走行方向を基準とした前記移動体の方向、すなわち当該車両から前記移動体が見える方向を特定することができる。したがって、この特定された方向に基づいて、接近移動体の仮想表示位置を当該車両内の画面に表示することとすれば、車内のドライバは、移動体がどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
【００１６】
前記表示部は、ドライバの視点を基準として、前記移動体の仮想表示位置を表示すれば、ドライバは、目の前で見ているかのようにして接近移動体の動きを把握できる。
前記表示部は、前記移動体の仮想表示位置をヘッドアップディスプレイに表示するものでもよい。前記接近移動体の仮想表示位置をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、接近移動体を認識することができる。
【００１７】
前記演算部は、移動体が前記カメラに接近しているか遠ざかっているかを判定することができれば、交差点から遠ざかっている移動体は無視することにより、処理するデータ量が半減する。よって処理の迅速化につながる。
前記演算部は、移動体が前記カメラに接近する場合、移動体に衝突する危険性の高い自車両の走行速度危険範囲を設定し、自車両の速度と共に表示することとすれば、ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
【００１８】
本発明の接近移動体表示装置は、交差点など見通しの悪い場所に接近する移動体の位置情報を受信する受信部と、前記受信された移動体の位置情報から算出した仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項５）。
この接近移動体表示装置を使えば、交差点等見通しの悪い場所を移動する接近移動体の仮想表示位置を、当該場所に進入しようとする当該車両内の画面上に道路図形と重ねて表示することができる。したがって、当該車両のドライバは、死角となる場所の移動体の状況を道路との関係で具体的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
また、上記操作部により、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
【００１９】
本発明の接近移動体表示システムは、道路の交通状況の画像を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像送信装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を当該車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項６）。
【００２０】
このシステムは、交差点等見通しの悪い場所を移動する接近移動体の仮想表示位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
また、上記操作部により、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
【００２１】
このシステム構成によれば、画像送信装置は、前記カメラで撮像された各画像情報を送信するだけでよく、前記画像送信装置から送信された各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する処理は、前記車載装置で行う。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの技術競争が助長されるため、システムの高度化が促進できるメリットがある。
【００２２】
前記画像送信装置は、画像情報と共に、さらに当該見通しの悪い場所の形状の情報を送信するものであれば、車載装置は、この情報に基づいて車内の画面に当該場所形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
なお前記移動体の検出処理や位置情報の算出処理は、必ずしも、車載装置で行う必要はなく、路上に設置した画像処理装置で行ってもよい。
【００２３】
この場合、本発明の接近移動体表示システムは、道路の交通状況の画像を繰り返して撮像するカメラと、前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置情報の位置を算出して、送信する画像処理装置と、車載装置とを備え、前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有するものである（請求項７）。
【００２４】
このシステムでは、画像処理装置は、前記カメラで撮像された各画像情報を送信するだけでなく、各画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置情報を算出する処理も行う。路上側の処理機能が重くなるが、車載装置の機能は少なくてよいので、車載装置の低価格化が可能になると予想される。したがって、本システムの普及促進が期待できるメリットがある。
【００２５】
本発明の接近移動体表示方法は、地上に設置されたカメラで道路の交通状況の画像を繰り返して撮像し、前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出し、前記算出された移動体の仮想表示位置を前記車両内の画面に表示し、前記表示された仮想移動体の表示位置を当該画面における移動体の実表示位置に近づける方法である（請求項８）。
【００２６】
この方法によって、交差点等見通しの悪い場所を移動する接近移動体の位置を、当該場所に進入しようとする当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出合い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。
また、移動体の仮想表示位置を移動体の実表示位置に近づけることでこれらを実質的に一致させることができるので、移動体を表示部の画面に正確に表示することができる。
【発明の効果】
【００２７】
以上のように本発明によれば、自車両から死角となる移動体の接近情報をカメラで認識し、ドライバから把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く接近車両を認知することが可能となる。この結果、出合い頭衝突（交差側車両との衝突）や右直（右折時の死角となる直進バイク等との衝突）の事故などを未然に防止し、交差点での安全運転を支援することができる。
また、表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部を有しているので、この操作部を操作することで、移動体の仮想表示位置を移動体の実表示位置と実質的に一致させることができ、移動体を表示部の画面に正確に表示することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
〔接近移動体表示方法〕
図１及び図２は、本発明の接近移動体表示方法を実施するためのカメラの配置図である。
図１では、カメラ３を、建物が密集した交差点４に配置し、図２では、建物が密集したカーブ５に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ３を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
【００２９】
カメラ３の撮像方向は、交差点４にカメラ３を設置した場合、当該交差点４への、監視対象とする１本の流入路の方向である。カーブ５にカメラ３を設置した場合は、当該カーブ５から見たいずれかの方向の道路である。
交差点４が４本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた４台のカメラ３を設置するとよい。しかし、すべての流入路にカメラ３を設置できなくても、少なくとも１本の流入路にカメラ３を向けることができれば、当該流入路を監視できることになる。
【００３０】
カーブ５についても同様で、当該カーブ５から見た両方向にカメラ３を設置するとよいが、少なくとも１方向にカメラ３を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点４の１本の流入路にカメラ３を配置した図１の構成を例にとって、本発明の接近移動体表示方法を説明する。
なお、以下に述べる定式化は、カメラ３が単眼カメラである場合を例にして説明する。もっとも、本発明は、カメラ３が単眼カメラであってもステレオカメラであっても適用することができる。
【００３１】
図３は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路（背景）の座標系を（Ｘ，Ｙ，Ｚ）、カメラ３の座標系を（Ｘ′，Ｙ′，Ｚ′）とし、原点はともにカメラ３のレンズ中心とする。
道路座標系は、監視対象である道路方向をＹ軸（前方向を正）、これと直角な道路面上の方向をＸ軸（右方向を正）、路面と垂直な方向をＺ（上方を正）とする。
【００３２】
またカメラ座標系は、カメラ３の光軸をＹ′軸、これに垂直な平面上のカメラ３の右方向をＸ′軸、カメラ３の上方向をＺ′軸とする。
さらに、カメラ３座標軸の道路座標軸に対する回転角（カメラ３の姿勢）を、それぞれθ（ピッチ角）、φ（ロール角）、ψ（ヨー角）とし、全て右ねじの進む方向を正（θ：水平面より上向きが正、φ：右回りが正、ψ：左回りが正）とする。θ、φ、ψはいずれも既知とする。
【００３３】
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
【００３４】
【数１】
【００３５】
ここで、行列の各要素は、次のとおりである。
Ｐ11＝cosφ・cosψ−sinθ・sinφ・sinψ
Ｐ12＝cosφ・sinψ＋sinθ・sinφ・cosψ
Ｐ13＝−cosθ・sinφ
Ｐ21＝−cosθ・sinψ
Ｐ22＝cosθ・cosψ
Ｐ23＝sinθ
Ｐ31＝sinφ・cosψ＋sinθ・cosφ・sinψ
Ｐ32＝sinφ・sinψ−sinθ・cosφ・cosψ
Ｐ33＝cosθ・cosφ
図４は、カメラ３の画像面を示す図であり、右方向をｘ軸、上方向をｙ軸とする。ｘ軸は前記Ｘ′軸と一致し、ｙ軸は前記Ｚ′軸と一致する。
【００３６】
このとき、カメラ座標系の点（Ｘ′，Ｙ′，Ｚ′）は、カメラ３の画像面上の点（ｘ，ｙ）に次のように変換される。ｆはレンズの焦点距離である。Ｈを路面からカメラ３までの高さとする。
ｘ＝ｆ・Ｘ′／Ｙ′… (1)
ｙ＝ｆ・Ｚ′／Ｙ′… (2)
いま、監視対象であるカメラ３の前方の道路に移動体Ｃが存在するとする。移動体Ｃは、歩行者、二輪車、自動車など動くものなら何でもよい。
【００３７】
移動体Ｃの特徴点に注目する。例えば、移動体Ｃが四輪自動車であるとすると、前輪の２つのタイヤに注目する。前輪の２つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
移動体Ｃが二輪車であれば、前輪のタイヤの道路接地点を「移動体Ｃの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」と
する。
【００３８】
移動体Ｃの特徴点は道路接地面に存在するので、その高さＺは、−Ｈである。
移動体Ｃの特徴点を道路座標系で表せば、（Ｘ，Ｙ，−Ｈ）となる。
これを前記行列式に代入すれば、Ｘ′，Ｚ′，Ｙ′をそれぞれＸ，Ｙで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ３の画像面上の点ｘ，ｙをＸ，Ｙで表すことができる。
【００３９】
言い換えれば、カメラ３の撮像画像から車両を認識して切り出すことにより、移動体Ｃの特徴点の撮像画像上の座標（ｘ0，ｙ0）が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Ｃのカメラ３からの相対位置Ｘ，Ｙを算出することができる。
このようにして、カメラ３からの相対位置Ｘ，Ｙが分かれば、カメラ３の位置を特定することによって移動体Ｃの位置（位置情報）を算出できる。なお、この移動体Ｃの位置情報は経緯度表現による絶対位置で表すこともできる。
以上のように移動体Ｃの位置が特定できれば、移動体Ｃの位置を画面上に表示することができる。
【００４０】
図５は、前記移動体Ｃの位置を道路図形と重ねて表示した場合の画面図である。例えば車載テレビジョンや車載ナビゲーション装置の画面１４を用いる。この画面１４には、自車両Ａの位置とともに、交差点４を含む実際の道路地図が表示されている。前記移動体Ｃの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Ｃの位置を道路上に、より正確に表示することができる。
【００４１】
前記移動体Ｃの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面１４に３次元表示された道路図形の上に投影することもできる。この前提として、車載装置は、３次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図６は、画面１４に３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。車両Ａは、交差点４に向かって走行中である。画面１４には、自車両Ａの前方にある交差点４が写されていて、交差点４に近づく移動体Ｃが表示されている。ドライバは、画面１４を見れば、交差点４に近づくこの移動体Ｃを認識することができる。
実際、移動体ＣがビルディングＢの陰になっている場合でも、移動体Ｃは表示可能である。
【００４２】
自車両Ａのドライバは、この画面１４を見て、前記移動体Ｃと自車両Ａとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Ｃが建物の陰に隠れていても、画面１４には移動体Ｃが存在するかのように映るので、ドライバは、移動体Ｃが次の交差点４に現れることを予想できる。
【００４３】
従って、交差点４での出合い頭衝突による事故が起こらないように減速などすることができる。
以上のように移動体Ｃの位置が特定できれば、次に、ドライバの視点Ｅから移動体Ｃを見た場合の、移動体Ｃが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Ｃの位置座標Ｘ，Ｙの、Ｘ座標値を０とおく。自車両Ａの位置Ｘ，Ｙの、Ｙ座標値も０とおく。また自車両Ａの走行方向は、−Ｘ方向であるとする。
【００４４】
図７は、自車両Ａと移動体Ｃとの位置関係を表す平面図である。
自車両Ａのドライバの視点Ｅとカメラ３との距離をＸa、移動体Ｃの特徴点とカメラ３
との距離をＹbとしている。
距離Ｘaは、自車両Ａにおいて後述するように検出可能であり、距離Ｙbは前述したように撮像画像から求めることができる。したがって、ドライバの視点Ｅから見た移動体Ｃの方向Ｔが決定でき、ドライバの視点Ｅから見た移動体Ｃが見える水平角度αが決定できる。ドライバの視点Ｅから移動体Ｃまでの距離Ｗも算出できる。
【００４５】
なお、移動体Ｃの位置と自車両Ａの位置とを、経緯度表現した場合であっても、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから移動体Ｃまでの距離Ｗは、算出できる。
図８は、方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。ドライバの視点Ｅの地上からの高さをｈとする。このｈは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
【００４６】
ドライバの視点Ｅから移動体Ｃまでの距離Ｗは前述したように算出できる。移動体Ｃの特徴点は、道路接地面に存在する。したがって、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Ｅから移動体Ｃがどのように見えるかを決定することができる。
【００４７】
以上の検討では、単純化するために、交差点４は、直角交差点であるとしたが、直角でなくともよい。移動体Ｃの位置Ｘ，Ｙの座標値は０でなくてもよく、自車両Ａの位置Ｘ，Ｙの座標値も０でなくてもよい。このように一般化した場合の自車両Ａ、カメラ３、移動体Ｃを含む平面図を、図９に示す。
図９では、自車両Ａのドライバの視点Ｅの座標を（Ｘa，Ｙa）、移動体Ｃの特徴点の座標を（Ｘb，Ｙb）としている。また自車両Ａの走行方向をＰで表している。自車両Ａの走行方向Ｐとドライバの視点Ｅの座標（Ｘa，Ｙa）は、後述するように検出可能である。ドライバの視点Ｅとカメラ３との距離は√（Ｘa2＋Ｙa2）、移動体Ｃの特徴点とカメラ３との距離は√（Ｘb2＋Ｙb2）となる。
【００４８】
このような一般的な場合であっても、図７、図８を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
次に、車両Ａ内のヘッドアップディスプレイの画面で、移動体Ｃの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
【００４９】
図１０は、フロントガラスの画面ｕ，ｖを表す画面図である。横方向をｕ、縦方向をｖにとっている。ドライバの視点Ｅとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Ｅから移動体Ｃの特徴点までの方向α、βが分かっているので、移動体Ｃの特徴点をフロントガラスの画面上の点ｕ0，ｖ0に投影することができる。この投影点（ｕ0，ｖ0）はフロントガラスに対する移動体Ｃの仮想表示位置であり、この点が決まれば、その点を基準にして、一定の移動体Ｃ′を作画することができる。
【００５０】
移動体Ｃが建物や樹木のために隠れて見えないときでも、この作画された移動体Ｃ′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Ｃがフロントガラスから見えている場合は、移動体Ｃとこの作画された移動体Ｃ′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
【００５１】
なお、画像の送信時間や処理時間があるために、カメラ３での画像の撮像時点に対するディスプレイでの表示時点は、数ミリ秒から数百ミリ秒単位で時間的に遅れている。このため、移動体Ｃ′の位置を表示部に表示する時点では、実際には移動体Ｃ′は撮像時点の表示位置からずれた位置にある。
そこで、本発明の表示方法では、上記時間遅れの間に進んだ移動体Ｃ′の移動量を考慮して移動体Ｃ′の位置を補正し、この補正された移動体Ｃ′の位置をディスプレイに表示することで、位置ずれを是正している。この点については後で詳述する。
【００５２】
〔接近移動体表示システム及び装置〕
次に、前記接近移動体表示方法を実施するための、本発明の接近移動体表示システムの
構成を説明する。
図１１は、接近移動体表示システムの全体構成を示す概念図である。接近移動体表示システムは、カメラ３と、画像送信装置６と、車載装置７とを含む。
【００５３】
カメラ３は、前述したように、交差点４、カーブ５など見通しの悪いところに配置されている。その高さ、姿勢、倍率（若しくは焦点距離）は、固定されているか、あるいは所望の値に設定可能となっている。
画像送信装置６は、カメラ３で撮像した画像データ等を送信する装置である。カメラ３と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ３と通信回線で結ばれている。画像データの送信媒体は、車載装置７に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信よりも、無線ＬＡＮ等の路車間通信がさらに望ましい。変調方式や符号化方式は、任意である。
【００５４】
画像送信装置６から車載装置７に送られるデータは、画像データの他に、カメラ３の位置データ、時刻データ、カメラ３の姿勢、高さ、倍率のデータなどがある。その他、交差点形状のデータも含めてもよい。
カメラ３の位置は、次のような方法で設定する。
(1)カメラ３の取り付け前の調査で把握し、予め画像送信装置６に記憶させておく。
【００５５】
(2)ＧＰＳ(Global Positioning System)受信装置を利用して位置を検出する。カメラ３の設置位置は、一度設置されるとほぼ動くことがないので、ＧＰＳの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、ＣＥＰ（Circular Error Probable，確率誤差円、位置検出の信頼度、自乗平均誤差の約２倍）の良好な時点の検出データの平均値を用いたりしてもよい。
【００５６】
時刻は、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、ＧＰＳや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図１２は、画像送信装置６から車載装置７に各種データを送信するスケジュールを示すフローチャートである。画像送信装置６は、一定の処理周期になれば（ステップＳ１）、カメラ３から撮像画像を取得し（ステップＳ２）、車載装置７との通信が確立していれば（ステップＳ３）、時刻、撮像画像、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを車載装置７に送信する（ステップＳ４）。また、差分画像を得るため、移動体のない時の撮像画像も送信することが好ましい。
【００５７】
車載装置７は、画像処理機能やマンマシン機能を持った車載コンピュータ１６、電波時計１１、位置方位検出装置１２、通信装置１３、ディスプレイ１４、スピーカ１５及び操作部１８等で構成される。
前記通信装置１３は、画像送信装置６から送られてくるデータを受信するものであり、復調方式や復号化方式は、画像送信装置６のものに対応している。
【００５８】
電波時計１１は、現在時刻を知るものであるが、これに限られない。画像送信装置６から時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他ＧＰＳ、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置１２は、当該車両の位置と方位を検出するための装置である。なお、車載装置７の位置検出は、例えばＧＰＳを利用する。ＧＰＳを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点４からの距離のような相対的表現があり、どちらを利用してもよい。
【００５９】
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ１４には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
【００６０】
フロントディスプレイ１４は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である（特開平8-108773号公報参照）。
スピーカ１５は、交差点４などでの出合い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
【００６１】
車載コンピュータ１６は、画像送信装置６から送られてくる画像データに基づいて、接近移動体の存在を認識し、その位置を算出し、その算出した位置を画面表示時点の位置に補正し、自車両との出合い頭衝突の可能性を推定し、表示用、音声出力用のデータを作成する。
すなわち、車載コンピュータ１６は、カメラ３の撮像画像に基づいて道路を移動する移動体を認識する認識部、この認識された移動体の位置を算出する演算部、この算出された位置を画面表示時点の位置に補正する補正部（補正の仕方は後述する。）としての機能を併有する。
【００６２】
操作部１８は、車載コンピュータ１６で行う接近移動体の補正計算で使用する、時間遅れΔｔの値を人為的に変更することにより、表示部としてのディスプレイ１４の画面に表示された接近移動体の仮想表示位置を、当該画面における接近移動体の実表示位置に近づけるものである。この操作部１８は、具体的には、図２０（ａ）に示す操作つまみ１９や、図２０（ｂ）に示す操作スイッチ２０等の、自車両の運転席又は助手席等の搭乗席からの人的操作が可能なヒューマンインタフェースにより構成することができる。
【００６３】
このうち、上記操作つまみ１９は、音声のボリューム調整の場合と同様に、当該つまみ１９の回動角度を変更することで、車載コンピュータ１６が演算する後述の時間遅れΔｔの値を変更可能である。他方、操作スイッチ２０は、押した時間に応じて時間遅れΔｔの値を変更可能であり、「大」側を押し続けることで当該時間遅れΔｔを増大させることができ、「小」側を押し続けることで当該時間遅れΔｔを減少させることができる。
以下、前記車載コンピュータ１６の機能を、フローチャート（図１３，図１４）に基づいて詳細に説明する。
【００６４】
車載コンピュータ１６は、一定の処理周期になれば（ステップＴ１）、画像送信装置６との通信が確立しているかどうかを確認し（ステップＴ２）、確立していれば、画像送信装置６から、撮像時刻、撮像画像（移動体のない時の撮像画像を含む）、カメラ３の位置、カメラ３の姿勢、交差点形状などのデータを受信する（ステップＴ３）。
そして、撮像画像に基づいて、移動体を認識する（ステップＴ４）。この移動体の認識は、移動体のない時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
【００６５】
次に、前後の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＴ５）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用して種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＴ６）。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
【００６６】
なお、前記した通り、この接近移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、画像の送信時間や処理時間があるために、ディスプレイ１４で移動体を表示する時点の位置（画面表示時の表示位置）とずれが生じる。そのため、カメラ撮像時の位置を移動体表示時の位置に補正するべく、次のように移動体表示時刻の位置をカメラ撮像時の位置に基づいて推定する必要がある。
以下、その推定処理を説明する（ステップＴ７）。なお、移動体の位置のＸ座標を、簡単のため０とおき、Ｙ座標だけで議論する。移動体表示時刻をｔとする。
【００６７】
移動体表示時刻ｔの位置Ｙは、過去に得られた複数データ（ｔｉ，Ｙｉ）（ｔは時刻、ｉは整数を表す）を用いて、以下の(a)又は(b)の方法で推定することができる。
(a) １次式を利用した例
Ｙ＝ａｔ＋ｂ
で推定する。係数ａ，ｂは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａに基づいて当該移動体の速度Ｖを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ-ｔ0）（＝Δｔ）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ-ｔ0) ＝Ｙ0＋Ｖ・Δｔで算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００６８】
(b) ２次式を利用した例
Ｙ ＝ ａ ｔ 2＋ｂｔ＋ｃ
で推定する。係数ａ，ｂ，ｃは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａ，ｂに基づいて、移動体の速度Ｖと加速度Ａを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ-ｔ0）（＝Δｔ）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ-ｔ0)＋Ａ(ｔ-ｔ0) 2／２ ＝Ｙ0＋Ｖ・Δｔ＋Ａ・Δｔ2 ／２で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００６９】
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像送信装置の処理時間、通信時間、車載装置７への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考量して表示時点での移動体の位置を推定して提供できるため、より正確な情報提供が可能となる。
【００７０】
もっとも、路車間通信や車々間通信の送信時間は通信方式の違いや、各所の通信状況等によって微妙に異なり、また、画像の処理時間も演算手法等によって微妙に異なるので、上記時間遅れΔｔを厳密に割り出すことは困難であり、このΔｔを一定値に設定しても、表示の位置ずれは発生し得る。
そこで、本実施形態では、車両の搭乗者が操作可能な前記操作部１８（操作つまみ１９や操作スイッチ２０）により、移動体の位置の補正を行うための上記Δｔを変更できるようにしている。このため、ドライバ等が操作部１８でΔｔを変更することにより、移動体Ｃの座標よりなる位置情報を補正することができ、その結果、画面上での仮想表示位置Ｃｖ（例えば、図２１〜図２４参照）が補正され、その仮想表示位置Ｃｖを画面上で人為的に移動させることができる。
【００７１】
次に、車載コンピュータ１６は、移動体表示時刻における移動体の位置（補正処理後の位置情報）に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
図１４は、接近移動体を、自車両Ａの画面上へ表示する場合の手順を示すフローチャートである。
フロントガラスへの表示を行う場合は（ステップＴ８でYES）、前述したように、ドライバの視点Ｅから接近移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる（ステップＴ９，Ｔ１０）。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から接近移動体までの距離Ｗと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
【００７２】
モニター画面への表示を行う場合は（ステップＴ１１でYES）、図５に示したように、交差点４を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、接近移動体Ｃの位置は、交差点形状とともに、そのまま道路地図上に表示される（ステップＴ１２，Ｔ１３）。
また、図６に示したように、立体道路地図と重ねてもよい。
【００７３】
このようなフロントガラスあるいはモニター画面への表示をすれば、接近移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出合い頭衝突の危険度が分かり易い。
次に、オプションとして、接近移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点４に到着する時間ｔsと、安全余裕度ｄｔとを基にして、自車両が、時間ｔs−ｄｔからｔs＋ｄｔの範囲に交差点４に到達してしまう走行速度の範囲（「走行速度の危険範囲」という）を求め、自車速度と共に表示することが好ましい。
【００７４】
接近移動体の速度をｖ１，接近移動体から交差点４までの距離をｓ１、交差点４への到達時間ｔsとすると、
ｔs＝ｓ１／ｖ１
となる。また自車両の危険速度をｖ２，交差点４までの距離をｓ２とすると、
ｔs−ｄｔ≦ｓ２／ｖ２≦ｔs＋ｄｔ
を満たすｖ２の範囲が、走行速度の危険範囲となる（ステップＴ１４）。
【００７５】
本表示は、図１９に示すように、自車両の速度表示用のパネル上で行ってもよい（ステップＴ１５）。図１９で、"Ｋ"で示した範囲が走行速度の危険範囲に相当する。
なお上式では、安全余裕度を時間ｄｔで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ１５から音声で警告してもよい（ステップＴ１６）。
【００７６】
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点４までの距離に応じて警告をしてもよい。
これまで説明した実施形態では、車載装置７で移動体の存在判定や位置検出を行っていたが、路上側の画像処理装置６ａで、移動体の存在判定や位置検出を行ってもよい。ただし、この場合においても、移動体の位置情報の補正ないし推定処理は、車載装置７側で行う必要がある。その理由は、路上側の画像処理装置６ａでは、画面表示の表示時点が不明だからである。
この場合の接近移動体表示システムの構成を図１５に示す。
【００７７】
図１５は、接近移動体表示システムの全体構成を示す概念図である。この図１５の構成と、図１１との違いは、車載装置７の移動体の存在判定機能と、位置算出機能とが、画像処理装置６ａの機能となっていることである。
これらの機能を含めた、画像処理装置６ａの処理手順を、フローチャート（図１６）を用いて説明する。
【００７８】
画像処理装置６ａは、一定の処理周期になれば（ステップＵ１）、カメラ３から撮像画像を取得し（ステップＵ２）、撮像画像に基づいて、移動体を認識する（ステップＵ３）。この移動体の認識は、図１１において説明したのと同様、平常時の撮像画像との差分をとることにより行うことができる。この差分画像を微分処理して輪郭を先鋭にし、移動体の部分を切り出し、その特徴点を特定する。
【００７９】
次に、前の画像との比較により、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判断し（ステップＵ４）、遠ざかる移動体であれば、処理を中断する。
このようにして、カメラ３に向かって接近する移動体のみを特定する。
次に移動体に対して、テンプレートを適用してその種類を判別するとともに、前記接近移動体表示方法で説明した、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、接近移動体の位置を算出する（ステップＵ５）。
【００８０】
次に、車載装置７との通信が確立しているかどうかチェックし（ステップＵ６）、確立していれば、画像処理装置６ａは、撮像時刻、接近移動体の位置（補正処理前）、接近移動体の種類、交差点形状などのデータを車載装置７に送信する（ステップＵ７）。
次に車載装置７の処理に移る。
図１７を参照して、車載コンピュータ１６は、一定の処理周期になれば（ステップＶ１）、画像処理装置との通信が確立しているかどうかを確認し（ステップＶ２）、確立していれば、画像処理装置６ａから、撮像時刻、接近移動体の位置、接近移動体の種類、交差点形状などのデータを受信する（ステップＶ３）。
【００８１】
次に、車載コンピュータ１６は、前記時間遅れΔｔを用いて接近移動体の位置の補正計算を行い、移動体表示時刻における移動体の表示位置を推定し（ステップＶ４）、この移動体表示時刻における移動体の表示位置に基づいて、フロントガラスへの表示、又はモニター画面への表示を行う。
フロントガラスへの表示を行う場合は（ステップＶ５でYES）、ドライバの視点Ｅから接近移動体までの方向に基づいて、その方向をフロントガラスへ投影することによって表示する（ステップＶ６，Ｖ７）。
【００８２】
モニター画面への表示を行う場合は（ステップＶ８でYES）、ナビゲーション用の交差点４を含む道路地図の上に表示する（ステップＶ１０）。
また、自車両が走行速度危険範囲内に入っている場合には（ステップＶ１１）、走行速度の危険範囲表示（ステップＶ１２）を行い、音声での警告（ステップＶ１３）を行う。
【００８３】
これまで説明した実施形態では、例えば、カメラ３の設置位置として、図１では交差点４、図２ではカーブ５上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。
例えば、図１８に示したような、右折待ち車両Ｆの陰になる対向車線１７がある。このような場合、図１８に示すように対向車線１７を見渡すことができる位置にカメラ３ａを設置するとよい。本発明の方法により、カメラ３ａの撮像画像に基づいて、右折待ち車両Ｆの陰になった移動体Ｇの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
【００８４】
また、これまでの実施形態では、接近車両の位置算出処理を、車載装置７で行った場合と、画像処理装置６ａで行って場合とを示したが、画像処理装置６ａと車載装置７との両方で行って、算出結果の一致性を車載装置７でチェックすることにより、ミスを少なくする方法をとってもよい。
なお以上の実施形態では、単眼カメラ３の場合であるが、勿論ステレオカメラ３でもよい。
【００８５】
また、対象とする画像処理装置６ａは、必ずしも１台ではなく、複数存在してもよい。
また同じ道路にカメラ３を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
【００８６】
これまで説明した実施形態では、カメラ３が道路の地上設備に設置され、その撮像画像の画像データや画像処理後の移動体の位置情報等を、路車間通信で自車両Ａの車載装置７に送信していたが、本発明はこれに限られない。
すなわち、地上設備に設置されるカメラ３の代わりに、他の車両に搭載された車載カメラを利用し、この車載カメラで撮像して得られた画像データや画像処理後の移動体の位置情報等を、車々間通信にて自車両Ａの車載装置７に送信するシステム構成にすることもできる（図示省略）。
【００８７】
〔画面上での表示ずれの例〕
図２１は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の実例の一つである。
ここでは、自車両Ａが交差点を右折しようとする右折車両であり、ドライバからは、フロントガラス面２１を通して、トラックよりなる対向車両Ｂと、その死角に隠れていた二輪車よりなる死角移動体Ｃが見え始めたものとする。また、図２１において、Ｃｖは、フロントガラス面２１に表示された死角移動体Ｃの仮想表示位置を示し、Ｃｒは、当該死角移動体Ｃの実表示位置（ドライバから見たフロントガラス面２１上における死角移動体Ｃの位置）である。
【００８８】
そして、前述の通り、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔが生じていると、画面上の架空表示Ｃｖは死角移動体Ｃの実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する死角移動体Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合には、ドライバが操作部１８を操作することにより、死角移動体Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができ、かかる操作部１８によるアジャストを行うことにより、それ以降の死角移動体Ｃの仮想表示位置Ｃｖを正確に表示できるようになる。
【００８９】
また、図２２は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の他の実例である。
ここでは、自車両Ａが交差点の手前を走行する直進車両であり、ドライバからは、フロントガラス面２１を通して、交差点を右側から進入してくる乗用車よりなる進入移動体Ｃが見え始めたものとする。また、図２２において、Ｃｖは、フロントガラス面２１に表示された進入移動体Ｃの仮想表示位置を示し、Ｃｒは、当該進入移動体Ｃの実表示位置（ドライバから見たフロントガラス面２１上における進入移動体Ｃの位置）である
【００９０】
図２２の表示例においても、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔにより、画面上の架空表示Ｃｖは実際の進入移動体の実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する進入移動体Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合でも、ドライバが操作部１８を操作することにより、進入移動体Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができる。
【００９１】
図２３は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の他の実例である。
ここでは、自車両Ａがカーブする道路を走行する走行車両であり、ドライバからは、フロントガラス面２１を通して、その道路のカーブを曲がりきった乗用車よりなる対向移動体Ｃが見え始めたものとする。また、図２３において、Ｃｖは、フロントガラス面２１に表示された対向移動体Ｃの仮想表示位置を示し、Ｃｒは、当該対向移動体Ｃの実表示位置（ドライバから見たフロントガラス面２１上に置ける対向移動体Ｃの位置）である。
【００９２】
図２３の表示例においても、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔにより、画面上の架空表示Ｃｖは実際の対向移動体の実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する対向移動体Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合でも、ドライバが操作部１８を操作することにより、対向移動体Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができる。
【００９３】
図２４は、ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示の更に他の実例である。
ここでは、自車両Ａが直進道路を走行する走行車両であり、ドライバからは、フロントガラス面２１を通して、その道路の左側に駐車している駐車車両Ｂと、今まで駐車車両Ｂ死角になっていた移動体である歩行者Ｃが見え始めたものとする。また、図２４において、Ｃｖは、フロントガラス面２１に表示された歩行者Ｃの仮想表示位置を示し、Ｃｒは、当該歩行者体Ｃの実表示位置（ドライバから見たフロントガラス面２１上における歩行者Ｃの位置）である。
【００９４】
図２４に示す表示例では、駐車車両Ｂと自車両Ａの間で車々間通信が行われており、歩行者Ｃの画像データは、駐車車両Ｂに搭載された車載カメラ（図示せず）から得られたものである。
この図２４の表示例においても、画像の撮像時点に対するディスプレイ１４での表示時点の時間遅れΔｔにより、画面上の架空表示Ｃｖは実際の歩行者Ｃの実表示Ｃｒ（ここでは、ドライバがフロントガラス面２１を通して直接目視する歩行者Ｃ自体）に対してずれることがある。
このような位置ずれが生じた場合でも、ドライバが操作部１８を操作することにより、歩行者Ｃの仮想表示位置Ｃｖをその実表示位置Ｃｒに近づけて両者を一致させることができる。
【００９５】
なお、これまで説明した実施形態では、車載装置７が、移動体Ｃの位置情報の補正処理を行い（この処理時点で時間遅れΔｔが設定される。）、その補正された移動体Ｃの位置に基づいて得られた画面上の仮想表示位置Ｃｖをディスプレイ１４の画面に表示させているが、かかる補正処理の演算を行わずに、撮像時の移動体Ｃの位置に基づいて得られた仮想表示位置Ｃｖを表示させることにしてもよい。
すなわち、移動体Ｃの位置情報の補正処理を行わないことは、前記時間遅れΔｔの設定値が０であることと等価であり、このような場合でも、操作部１８によって前記時間遅れΔｔを人為的に設定することにより、移動体Ｃの仮想表示位置Ｃｖを変更することができる。
【００９６】
また、本発明の表示システム１を適用できるその他の見通しの悪い場所としては、大駐車場から幹線道路に出る場所や、逆に幹線道路から大駐車場に入る場所などがある。
【図面の簡単な説明】
【００９７】
【図１】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図２】本発明の接近移動体表示方法を実施するためのカメラの道路配置図である。
【図３】道路座標系及びカメラ座標系の座標図である。
【図４】カメラ３の画像面を示す図である。
【図５】移動体Ｃの位置を平面的な道路図形と重ねて表示した場合の画面図である。
【図６】３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。
【図７】自車両Ａと、検出された移動体Ｃとの位置関係を表す平面図である。
【図８】移動体の見える方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。
【図９】自車両Ａ、カメラ、移動体Ｃを含む平面図である。
【図１０】フロントガラスの画面ｕ，ｖを表す画面図である。
【図１１】接近移動体表示システムの全体構成を示す概念図である。
【図１２】画像送信装置６から車載装置７に各種データを送信するスケジュールを表したフローチャートである。
【図１３】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである。
【図１４】車載コンピュータ１６の行う本発明の処理を説明するためのフローチャートである（図１３の続き）。
【図１５】他の接近移動体表示システムの全体構成を示す概念図である。
【図１６】画像処理装置６ａの処理手順を示すフローチャートである。
【図１７】車載コンピュータ１６の処理手順を示すフローチャートである。
【図１８】右折待ち車両Ｆの陰になる対向車線１７を見渡すことができる位置にカメラ３ａを設置した例を示す平面図である。
【図１９】走行速度の危険範囲Ｋが表示された自車両の速度表示用のパネルを示す図である。
【図２０】操作部の構造例を示す図であり、（ａ）は操作つまみ、（ｂ）は操作スイッチである。
【図２１】ヘッドアップディスプレイによるフロントガラス面に対する移動体の表示例である。
【図２２】ヘッドアップディスプレイによるフロントガラス面に対する移動体の他の表示例である。
【図２３】ヘッドアップディスプレイによるフロントガラス面に対する移動体の他の表示例である。
【図２４】ヘッドアップディスプレイによるフロントガラス面に対する移動体の更に他の表示例である。
【符号の説明】
【００９８】
３，３ａ カメラ
４ 交差点
５ カーブ
６ 画像送信装置
６ａ 画像処理装置
７ 車載装置
１１ 電波時計
１２ 位置方位検出装置
１３ 通信装置
１４ ディスプレイ、画面
１５ スピーカ
１６ 車載コンピュータ
１７ 対向車線
１８ 操作部
１９ 操作つまみ
２０ 操作スイッチ
２１ フロントガラス面
Ｃ 移動体
Ｃｖ 仮想表示位置
Ｃｒ 実表示位置
【特許請求の範囲】
【請求項１】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
カメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、
前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、
前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、
前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部と
を有することを特徴とする接近移動体表示装置。
【請求項２】
前記演算部は、前記画像の撮像時点に対する前記表示部での表示時点の時間遅れを算出し、この時間遅れに基づいて移動体の仮想表示位置を補正する補正機能を有し、前記操作部は、前記時間遅れの値を変更可能な操作部材よりなる請求項１に記載の接近移動体表示装置。
【請求項３】
前記操作部材は、前記車両の搭乗席からの人的操作が可能なヒューマンインタフェースよりなる請求項２に記載の接近移動体表示装置。
【請求項４】
前記表示部は、移動体の仮想表示位置を前記車両のフロントガラス面に投影するヘッドアップディスプレイよりなり、移動体の実表示位置は、前記車両のドライバから見た前記フロントガラス面上における移動体の位置である請求項１〜３のいずれか１項に記載の接近移動体表示装置。
【請求項５】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
交差点など見通しの悪い場所に接近する移動体の位置情報を受信する受信部と、
前記受信された移動体の位置情報から算出した仮想表示位置を前記車両内の画面に表示する表示部と、
前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部と
を有することを特徴とする接近移動体表示装置。
【請求項６】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
道路の交通状況の画像を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報を送信する画像送信装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を当該車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有することを特徴とする接近移動体表示システム。
【請求項７】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
道路の交通状況の画像を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置情報を算出して、送信する画像処理装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有することを特徴とする接近移動体表示システム。
【請求項８】
接近移動体を車両内の画面に表示するための接近移動体表示方法であって、
カメラで道路の交通状況の画像を繰り返して撮像し、
前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、
前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出し、
前記算出された移動体の仮想表示位置を前記車両内の画面に表示し、
前記表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけることを特徴とする接近移動体表示方法。
【請求項１】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
カメラで繰り返し撮像された道路の交通状況の画像を受信する受信部と、
前記画像に基づいて前記道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、
前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、
前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部と
を有することを特徴とする接近移動体表示装置。
【請求項２】
前記演算部は、前記画像の撮像時点に対する前記表示部での表示時点の時間遅れを算出し、この時間遅れに基づいて移動体の仮想表示位置を補正する補正機能を有し、前記操作部は、前記時間遅れの値を変更可能な操作部材よりなる請求項１に記載の接近移動体表示装置。
【請求項３】
前記操作部材は、前記車両の搭乗席からの人的操作が可能なヒューマンインタフェースよりなる請求項２に記載の接近移動体表示装置。
【請求項４】
前記表示部は、移動体の仮想表示位置を前記車両のフロントガラス面に投影するヘッドアップディスプレイよりなり、移動体の実表示位置は、前記車両のドライバから見た前記フロントガラス面上における移動体の位置である請求項１〜３のいずれか１項に記載の接近移動体表示装置。
【請求項５】
接近移動体を車両内の画面に表示するための接近移動体表示装置であって、
交差点など見通しの悪い場所に接近する移動体の位置情報を受信する受信部と、
前記受信された移動体の位置情報から算出した仮想表示位置を前記車両内の画面に表示する表示部と、
前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部と
を有することを特徴とする接近移動体表示装置。
【請求項６】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
道路の交通状況の画像を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報を送信する画像送信装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像送信装置から送信され前記受信部で受信された各画像情報に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を当該車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有することを特徴とする接近移動体表示システム。
【請求項７】
接近移動体を車両内の画面に表示するための接近移動体表示システムであって、
道路の交通状況の画像を繰り返して撮像するカメラと、
前記カメラで撮像された各画像情報に基づいて、前記道路を移動する移動体を認識し、前記認識された移動体の位置情報を算出して、送信する画像処理装置と、
車載装置とを備え、
前記車載装置は、受信部と、前記画像処理装置から送信された前記移動体の位置情報から同移動体の画面上の仮想表示位置を算出する演算部と、前記算出された移動体の仮想表示位置を前記車両内の画面に表示する表示部と、前記表示部の画面に表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけるための操作部とを有することを特徴とする接近移動体表示システム。
【請求項８】
接近移動体を車両内の画面に表示するための接近移動体表示方法であって、
カメラで道路の交通状況の画像を繰り返して撮像し、
前記カメラで撮像された各画像情報に基づいて前記道路を移動する移動体を認識し、
前記認識された移動体の位置情報から同移動体の画面上の仮想表示位置を算出し、
前記算出された移動体の仮想表示位置を前記車両内の画面に表示し、
前記表示された移動体の仮想表示位置を当該画面における移動体の実表示位置に近づけることを特徴とする接近移動体表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−４６７４４（Ｐ２００８−４６７４４Ａ）
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００６−２１９７６９（Ｐ２００６−２１９７６９）
【出願日】平成１８年８月１１日（２００６．８．１１）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１８年８月１１日（２００６．８．１１）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]