移動体画像処理システム、装置及び方法
【課題】移動体を検知してドライバに情報提供する場合に、車載装置に処理負荷がかからず、容量の小さな通信回線が使用でき、ドライバが移動体を簡単に見分けることのできる移動体画像処理システムを提供する。
【解決手段】道路の近くに設置されたカメラで、道路の交通状況を撮像し、撮像された各画像（ａ）をエッジ抽出処理して前処理画像として路上装置から送信する。車載装置は、受信された前処理画像（ｂ），（ｃ）を当該車両内の画面に、点滅又は色分け表示する。原画像（ａ）の上に重ね合わせて表示してもよい（ｄ）。
【解決手段】道路の近くに設置されたカメラで、道路の交通状況を撮像し、撮像された各画像（ａ）をエッジ抽出処理して前処理画像として路上装置から送信する。車載装置は、受信された前処理画像（ｂ），（ｃ）を当該車両内の画面に、点滅又は色分け表示する。原画像（ａ）の上に重ね合わせて表示してもよい（ｄ）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交差点などの見通しの悪い場所に設置したカメラで道路上の移動体（車両、二輪車、人等）を撮像し、画像を前処理して、路車間通信を通じて交差点に別の道路から進入する車両に送信し、当該車両で死角となる移動体の情報として表示することができる移動体画像処理システム、装置及び方法に関するものである。
【背景技術】
【０００２】
車両の出合い頭衝突防止表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある（特許文献１参照）。これにより、交差点における出合い頭事故の可能性を予告することができる。
また、交差点にカメラを設置し、このカメラにより、死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を車両に送信する装置がある（特許文献２参照）。この装置によれば、カメラから見た画像を車両内で観察することができる。
【特許文献１】特開平５−２８４００号公報
【特許文献２】特開２００３−１０９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記特許文献１の技術では、交差点に近づいた自車両は、警告表示板を見て優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
【０００４】
前記特許文献２の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、あくまでもカメラで撮影したそのままの画像であるので、車両の見分けが付きにくい場合がある。したがって、誤認識、錯覚の原因となる可能性がある。また、画像データをそのままリアルタイムで車両に送信するため、車載装置に処理負荷がかかり、容量の大きな通信回線も必要になる。
【０００５】
そこで、本発明は、車両から死角となる移動体を検知してドライバに情報提供する場合に、車載装置に処理負荷がかからず、容量の小さな通信回線が使用でき、ドライバが移動体を簡単に見分けることのできる移動体画像処理システム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の移動体画像処理システムは、道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像を当該車両内の画面に表示する表示部とを有するものである。
【０００７】
このシステムでは、車載装置は、前処理画像に基づいて、交差点等に進入しようとする移動体を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。画像処理装置は、カメラで撮像された各画像を前処理して送信するので、車載装置にかかる処理負荷が軽減され、通信回線の容量も小さくて済む。
【０００８】
前記前処理として、「背景差分」、「エッジ抽出」、「時間差分」、「オプティカルフロー」を例示することができる。いずれも、当該画像に写った移動体を抽出し、画像データの情報量を減らし、移動体のみ強調して表示することを可能とする処理である。
前記画像処理装置の送信部は、(1)移動体の写っていない背景画像データ、又は(2)前処理の基となった、移動体の写っている原画像のデータを送信するものであれば、車載装置の表示部は、前処理画像を、背景画像又は原画像に重ねて表示することができる。したがって、車両ドライバは、背景画像又は原画像に重なった前処理画像を見ることができ、現実感が増す。
【０００９】
前記表示部は、前処理画像を強調して表示するのが好ましい。例えば点滅、色づけなどである。
本発明の他の移動体画像処理システムは、道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有するものである。
【００１０】
このシステムでは、画像処理装置は、カメラで撮像された各画像情報を前処理して送信するだけでよく、前記画像処理装置から送信された前処理画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置や速度を算出する処理は、前記車載装置で行うことができる。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの独自性が発揮できるため、システムの高度化が促進できるメリットがある。
【００１１】
前記車載装置は、前記認識された移動体が前記カメラに接近しているか遠ざかっているかを判定する判定部を有し、前記表示部は、前記判定部が接近していると判定した場合に前記移動体の位置を表示することが好ましい。このような表示をすれば、車両ドライバは、接近する移動体のみに注意を集中できる。
前記車載装置は、移動体を認識するのに最適な前処理の条件データを画像処理装置にあらかじめ送信することとしてもよい。画像処理装置は、車両から要求のあるごとに、当該車両に最適に前処理された画像データを送信することができるようになる。したがって車載装置は、移動体を認識するのに最適な条件で前処理された画像を得ることができる。
【００１２】
本発明の移動体画像処理装置は、道路の近くに設置され、道路の交通状況を撮像するカメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを車載装置に送信する送信部とを有するものである。
本発明の移動体画像処理方法は、カメラで道路の交通状況を撮像し、画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、前処理された画像データを送信し、車載装置は、受信された前処理画像を当該車両内の画面に表示する方法である。
【００１３】
本発明の他の移動体画像処理方法は、カメラで道路の交通状況を撮像し、画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、前処理された画像データを送信し、前記車載装置は、受信された前処理画像に基づいて当該道路を移動する移動体を認識する方法である。
これらの移動体画像処理装置又は方法によって、交差点等見通しの悪い場所を移動する移動体を、当該場所に進入しようとする当該車両内の画面上に表示すること、又は当該移動体を認識することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。また、前記カメラで撮像された各画像を前処理して送信するので、車載装置にかかる処理負荷が軽減され、通信回線の容量も小さくて済む。
【発明の効果】
【００１４】
以上のように本発明によれば、自車両から死角となる移動体をカメラで認識し、ドライバが把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く移動体を認知することが可能となる。この結果、出会い頭衝突（交差側車両との衝突）や右直（右折時の死角となる直進バイク等との衝突）の事故などを未然に防止し、交差点での安全運転を支援することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
−移動体画像表示方法−
図１及び図２は、移動体画像表示方法を実施するためのカメラの配置図である。
図１では、カメラ３を、建物が密集した交差点４に配置し、図２では、建物が密集したカーブ５に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ３を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
【００１６】
カメラ３の撮像方向は、交差点４にカメラ３を設置した場合、当該交差点４への、監視対象とする１本の流入路の方向である。カーブ５にカメラ３を設置した場合は、当該カーブ５から見たいずれかの方向の道路である。
交差点４が４本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた４台のカメラ３を設置するとよい。しかし、すべての流入路にカメラ３を設置できなくても、少なくとも１本の流入路にカメラ３を向けることができれば、当該流入路を監視できることになる。
【００１７】
カーブ５についても同様で、当該カーブ５から見た両方向にカメラ３を設置するとよいが、少なくとも１方向にカメラ３を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点４の１本の流入路にカメラ３を配置した図１の構成を例にとって、移動体画像表示方法を説明する。
【００１８】
図３は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路（背景）の座標系を（Ｘ，Ｙ，Ｚ）、カメラ３の座標系を（Ｘ′，Ｙ′，Ｚ′）とし、原点はともにカメラ３のレンズ中心とする。
道路座標系は、監視対象である道路方向をＹ軸（前方向を正）、これと直角な道路面上の方向をＸ軸（右方向を正）、路面と垂直な方向をＺ（上方を正）とする。
【００１９】
またカメラ座標系は、カメラ３の光軸をＹ′軸、これに垂直な平面上のカメラ３の右方向をＸ′軸、カメラ３の上方向をＺ′軸とする。
さらに、カメラ３座標軸の道路座標軸に対する回転角（カメラ３の姿勢）を、それぞれθ（ピッチ角）、φ（ロール角）、ψ（ヨー角）とし、全て右ねじの進む方向を正（θ：水平面より上向きが正、φ：右回りが正、ψ：左回りが正）とする。θ、φ、ψはいずれも既知とする。
【００２０】
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
【００２１】
【数１】
【００２２】
ここで、行列の各要素は、次のとおりである。
Ｐ11＝cos φcos ψ−sin θsin φsin ψ
Ｐ12＝cos φsin ψ＋sin θsin φcos ψ
Ｐ13＝−cos θsin φ
Ｐ21＝−cos θsin ψ
Ｐ22＝cos θcos ψ
Ｐ23＝sin θ
Ｐ31＝sin φcos ψ＋sin θcos φsin ψ
Ｐ32＝sin φsin ψ−sin θcos φcos ψ
Ｐ33＝cos θcos φ
図４は、カメラ３の画像面を示す図であり、右方向をｘ軸、上方向をｙ軸とする。ｘ軸は前記Ｘ′軸と一致し、ｙ軸は前記Ｚ′軸と一致する。
【００２３】
このとき、カメラ座標系の点（Ｘ，Ｙ，Ｚ）は、カメラ３の画像面上の点（ｘ，ｙ）に次のように変換される。ｆはレンズの焦点距離である。Ｈを路面からカメラ３までの高さとする。
ｘ＝ｆ・Ｘ′／Ｙ′ (1)
ｙ＝ｆ・Ｚ′／Ｙ′ (2)
前記カメラ３の角度θ、φ、ψ、焦点距離ｆ、高さＨを「カメラパラメータ」という。
【００２４】
いま、監視対象であるカメラ３の前方の道路に移動体Ｃが存在するとする。移動体Ｃは、歩行者、二輪車、自動車など動くものなら何でもよい。
移動体Ｃの特徴点に注目する。例えば、移動体Ｃが四輪自動車であるとすると、前輪の２つのタイヤに注目する。前輪の２つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
【００２５】
移動体Ｃが二輪車であれば、前輪のタイヤの道路接地点を「移動体Ｃの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
移動体Ｃの特徴点は道路接地面に存在するので、その高さＺは、−Ｈである。
移動体Ｃの特徴点を道路座標系で表せば、（Ｘ，Ｙ，−Ｈ）となる。
【００２６】
これを前記行列式に代入すれば、Ｘ′，Ｚ′，Ｙ′をそれぞれＸ，Ｙで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ３の画像面上の点ｘ，ｙをＸ，Ｙで表すことができる。
言い換えれば、カメラパラメータが分かり、カメラ３の撮像画像から車両を認識して切り出すことにより、移動体Ｃの特徴点の撮像画像上の座標（ｘ0，ｙ0）が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Ｃのカメラ３からの相対位置Ｘ，Ｙを算出することができる。なお、移動体Ｃの位置を、経緯度表現による絶対位置で表すこともできる。
【００２７】
また、相対位置Ｘ，Ｙ又は絶対位置の時間変化に基づいて、移動体の移動方向、速度を算出することもできる。
以上のように移動体Ｃの位置が特定できれば、移動体Ｃの位置を画面上に表示することができる。
図５は、前記移動体Ｃの位置を道路図形と重ねて表示した場合の画面図である。例えば車載テレビジョンや車載ナビゲーション装置の画面１４を用いる。この画面１４には、自車両Ａの位置とともに、交差点４を含む実際の道路地図が表示されている。前記移動体Ｃの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Ｃの位置を道路上に、より正確に表示することができる。このように、移動体Ｃの位置を道路図形と重ねて表示することにより、当該車両のドライバは、移動体の位置を道路に関連付けて正確に把握することができる。
【００２８】
前記移動体Ｃの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面１４に３次元表示された道路図形の上に投影することもできる。この前提として、車載装置７は、３次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図６は、画面１４に３次元表示された道路図形に、前記移動体の位置を重ねて投影した状態を示す画面図である。車両Ａは、交差点４に向かって走行中である。画面１４には、自車両Ａの前方にある交差点４が写されていて、交差点４に近づく移動体Ｃが表示されている。ドライバは、画面１４を見れば、交差点４に近づくこの移動体Ｃを認識することができる。実際、移動体ＣがビルディングＢの陰になっている場合でも、移動体Ｃは表示可能である。移動体Ｃの位置を３次元表示された道路図形と重ねて表示するので、当該車両のドライバは、移動体の位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
【００２９】
自車両Ａのドライバは、この画面１４を見て、前記移動体Ｃと自車両Ａとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Ｃが建物の陰に隠れていても、画面１４には移動体Ｃが存在するかのように映るので、ドライバは、移動体Ｃが次の交差点４に現れることを予想できる。
【００３０】
従って、交差点４での出会い頭衝突事故が起こらないように減速などすることができる。
以上のように移動体Ｃの位置が特定できれば、次に、ドライバの視点Ｅから移動体Ｃを見た場合の、移動体Ｃが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Ｃの位置座標Ｘ，Ｙの、Ｘ座標値を０とおく。自車両Ａの位置Ｘ，Ｙの、Ｙ座標値も０とおく。また自車両Ａの走行方向は、−Ｘ方向であるとする。
【００３１】
図７は、自車両Ａと移動体Ｃとの位置関係を表す平面図である。
自車両Ａのドライバの視点Ｅとカメラ３との距離をＸa、移動体Ｃの特徴点とカメラ３との距離をＹbとしている。
距離Ｘaは、自車両Ａにおいて後述するように検出可能であり、距離Ｙbは前述したように撮像画像から求めることができる。したがって、ドライバの視点Ｅから見た移動体Ｃの方向Ｔが決定でき、ドライバの視点Ｅから見た移動体Ｃが見える水平角度αが決定できる。ドライバの視点Ｅから移動体Ｃまでの距離Ｗも算出できる。このように、移動体Ｃの方向Ｔを特定し、前記特定された方向Ｔに基づいて、移動体の位置を当該車両内の画面に表示することができるので、車内のドライバは、移動体Ｃがどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
【００３２】
なお、移動体Ｃの位置と自車両Ａの位置とを、経緯度表現した場合であっても、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから移動体Ｃまでの距離Ｗは、算出できる。
図８は、方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。ドライバの視点Ｅの地上からの高さをｈとする。このｈは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
【００３３】
ドライバの視点Ｅから移動体Ｃまでの距離Ｗは前述したように算出できる。移動体Ｃの特徴点は、道路接地面に存在する。したがって、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Ｅから移動体Ｃがどのように見えるかを決定することができる。ドライバの視点を基準として、前記移動体の位置を表示することができるので、ドライバは、目の前で見ているかのようにして移動体の動きを把握できる。
【００３４】
以上の検討では、単純化するために、交差点４は、直角交差点であるとしたが、直角でなくともよい。移動体Ｃの位置Ｘ，Ｙの座標値は０でなくてもよく、自車両Ａの位置Ｘ，Ｙの座標値も０でなくてもよい。このように一般化した場合の自車両Ａ、カメラ３、移動体Ｃを含む平面図を、図９に示す。
図９では、自車両Ａのドライバの視点Ｅの座標を（Ｘa，Ｙa）、移動体Ｃの特徴点の座標を（Ｘb，Ｙb）としている。また自車両Ａの走行方向をＰで表している。自車両Ａの走行方向Ｐとドライバの視点Ｅの座標（Ｘa，Ｙa）は、後述するように検出可能である。ドライバの視点Ｅとカメラ３との距離は√（Ｘa2＋Ｙa2）、移動体Ｃの特徴点とカメラ３との距離は√（Ｘb2＋Ｙb2）となる。
【００３５】
このような一般的な場合であっても、図７、図８を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
次に、車両Ａ内のヘッドアップディスプレイの画面で、移動体Ｃの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
【００３６】
図１０は、フロントガラスの画面ｕ，ｖを表す画面図である。横方向をｕ、縦方向をｖにとっている。ドライバの視点Ｅとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Ｅから移動体Ｃの特徴点までの方向α、βが分かっているので、移動体Ｃの特徴点をフロントガラスの画面上の点ｕ0，ｖ0に投影することができる。この投影点（ｕ0，ｖ0）が決まれば、その点を基準にして、一定の移動体Ｃ′を作画することができる。移動体Ｃ′をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、移動体を認識することができる。
【００３７】
また、移動体Ｃが建物や樹木のために隠れて見えないときでも、この作画された移動体Ｃ′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Ｃがフロントガラスから見えている場合は、移動体Ｃとこの作画された移動体Ｃ′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
【００３８】
−移動体画像処理システム−
次に、本発明の移動体画像処理システムの構成を説明する。
図１１は、移動体画像処理システムの全体構成を示す概念図である。移動体画像処理システムは、カメラ３と、画像処理装置６ａと、車載装置７とを含む。
カメラ３は、前述したように、交差点４、カーブ５など見通しの悪いところに配置されている。その高さ、姿勢、倍率（若しくは焦点距離）は、固定されているか、あるいは所望の値に設定可能となっている。
【００３９】
画像処理装置６ａは、カメラ３で周期的に繰り返して撮像した画像データを前処理してその処理結果データ（前処理画像データという）を送信する装置である。なお「前処理」の内容は後述する。
画像処理装置６ａは、カメラ３と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ３と通信回線で結ばれている。前処理画像データの送信媒体は、車載装置７に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信でもよいが、無線ＬＡＮ等の路車間通信が、通信範囲が広くなるのでさらに望ましい。変調方式や符号化方式は、任意である。
【００４０】
画像処理装置６ａから車載装置７に送られるデータは、前記前処理画像データの他に、時刻データ、カメラ３の位置データ、カメラパラメータのデータ、交差点形状のデータなどがある。
交差点形状のデータを送信すれば、車載装置は、この情報に基づいて車内の画面に当該場所の形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
【００４１】
カメラ３の位置は、例えば次のような方法(1)又は(2)によって設定する。
(1)カメラ３の取り付け前の調査で把握し、予め画像処理装置６ａに記憶させておく。
(2)ＧＰＳ(Global Positioning System)受信装置を利用して位置を検出する。カメラ３の設置位置は、一度設置されるとほぼ動くことがないので、ＧＰＳの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、ＣＥＰ（Circular Error Probable，確率誤差円、位置検出の信頼度、自乗平均誤差の約２倍）の良好な時点の検出データの平均値を用いたりしてもよい。
【００４２】
時刻データは、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、ＧＰＳや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図１２は、画像処理装置６ａの処理内容、及び画像処理装置６ａから車載装置７に各種データを送信するスケジュールを示すフローチャートである。
【００４３】
画像処理装置６ａは、一定の処理周期になれば（ステップＵ１）、カメラ３から撮像画像のデータを取得する（ステップＵ２）。
次に、車載装置７との通信が確立しているかどうかチェックし（ステップＵ３）、確立していれば、車載装置７から前処理をするのに必要な条件データを取得する（ステップＵ４）。これは、車載装置７が移動体を認識するのに最適な条件データを画像処理装置６ａに送ってくる場合を考慮しているからである。例えば、エッジ抽出するのに必要な二値化しきい値のデータがある。この移動体の認識処理において、車載装置７からあらかじめ、車載装置７において移動体を認識するのに最適な条件データを画像処理装置６ａに送っていれば、車載コンピュータ１６は、画像処理装置６ａからその条件データを用いて前処理された画像を取得し、その前処理画像に基づいて移動体を認識することができるので、移動体の認識精度が向上する。
【００４４】
画像処理装置６ａは、取得した条件を使って、撮像画像に基づいて当該車両のための前処理を行う（ステップＵ５）。車載装置７が何も条件データを送ってこないときは、画像処理装置６ａは、記憶しているデフォルトの条件データを使って、撮像画像に基づいて前処理を行う。
この前処理とは、画像に写った移動体を抽出するための処理であり、本発明の実施の形態では、「背景差分」「エッジ抽出」「時間差分」「オプティカルフロー」の各処理をいう。
【００４５】
「背景差分」は、原画像と移動体のない時（平常時）の道路の撮像画像（背景画像）との差分をとることにより行う。差分をとった後、二値化してもよい。これで移動体のみを抽出することができる。
「エッジ抽出」は、原画像又は背景差分画像を微分・二値化処理して輪郭を先鋭にする処理である。移動体の特徴・輪郭のみを抽出することができる。
【００４６】
「時間差分」は、時間前後の画像どうしを比較する処理であり、移動体の動きの情報を得るための処理である。移動する物体のみを抽出することができる。
「オプティカルフロー」は、移動体の移動方向を特定する処理である。
以下、前処理前と前処理後の画像の例を説明する。
図１３（ａ）は、画像処理装置６ａで得られる移動体の写っていない背景画像の例を示し、図１３（ｂ）は、画像処理装置６ａで得られる移動体の写っている原画像の例を示す。図１３（ｃ）は、両画像を引き算することにより背景差分をとった画像を示す。この背景差分画像のデータが車載装置７に送られる。
【００４７】
図１４（ａ）は、画像処理装置６ａで得られる原画像の例を示し、図１４（ｂ）は、画像処理装置６ａで得られるエッジ画像の例を示す。図１３（ｃ）は車線上のみのエッジ画像を選択した画像を示す。このエッジ画像又は車線上のエッジ画像が車載装置７に送られる。
図１５（ａ）は、画像処理装置６ａで得られる処理時刻ｔにおける原画像の例を示し、図１５（ｂ）は、画像処理装置６ａで得られる次の処理時刻ｔ＋１における原画像の例を示す。図１５（ｃ）は時間差分をとった例を示す。この時間差分画像が車載装置７に送られる。
【００４８】
図１６（ａ）は、画像処理装置６ａで得られる遠ざかる移動体を撮影した原画像の例を示し、図１６（ｂ）は、移動体のオプティカルフローを示す。オプティカルフローはベクトルの形態となる。
図１７（ａ）は、画像処理装置６ａで得られる近づく移動体を撮影した原画像の例を示し、図１７（ｂ）は、移動体のオプティカルフロー（ベクトル）を示す。
【００４９】
画像処理装置６ａは、前処理画像データ（「背景差分」「エッジ抽出」「時間差分」「オプティカルフロー」の各処理を行った画像のデータ）、に対して、必要ならば二値化処理を行う（ステップＵ６）。この二値化により車載装置７に送信するデータ量を削減することができる。そして、前処理画像データとともに、撮像時刻、カメラのパラメータ、交差点形状などのデータを車載装置７に送信する（ステップＵ７）。また、原画像データや背景画像データを同時に送信するようにしてもよい。
【００５０】
次に図１１を参照して車載装置７の構成を説明する。車載装置７は、画像処理機能やマンマシン機能を持った車載コンピュータ１６、電波時計１１、位置方位検出装置１２、通信装置１３、ディスプレイ１４、スピーカ１５等で構成される。
前記通信装置１３は、画像処理装置６ａから送られてくるデータを受信するものであり、復調方式や復号化方式は、画像処理装置６ａのものに対応している。
【００５１】
電波時計１１は、現在時刻を知るものであるが、時計に限られない。画像処理装置６ａから時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他ＧＰＳ、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置１２は、当該車両の位置と方位を検出するための装置である。なお、車載装置７の位置検出は、例えばＧＰＳを利用する。ＧＰＳを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点からの距離のような相対的表現があり、どちらを利用してもよい。
【００５２】
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ１４には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
【００５３】
フロントディスプレイ１４は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である（特開平8-108773号公報参照）。
スピーカ１５は、交差点４などでの出会い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
【００５４】
車載コンピュータ１６は、画像処理装置６ａから送られてくるデータに基づいて、移動体の存在を認識し、その位置・速度を算出し、自車両との出会い頭衝突の可能性を判定し、表示用、音声出力用のデータを作成する。
以下、車載コンピュータ１６の機能を、フローチャート（図１８）に基づいて詳細に説明する。
【００５５】
図１８は、車載コンピュータ１６が、移動体を認識し、移動体の位置、速度、方向等を算出して移動体を車内のディスプレイ１４に表示する処理の流れを示すフローチャートである。
車載コンピュータ１６は、一定の処理周期になれば（ステップＶ１）、画像処理装置６ａとの通信が確立しているかどうかを確認し（ステップＶ２）、確立していれば、画像処理装置６ａから、撮像時刻、前処理画像、カメラ３の位置、カメラパラメータ、交差点形状などのデータを受信する（ステップＶ３）。原画像、背景画像が送信されてくれば、これも一緒に受信する。
【００５６】
次に、前処理画像に基づいて移動体を認識する（ステップＶ４）。この移動体の認識は、画像処理装置６ａから送られてくるエッジ抽出画像（図１４（ｂ），（ｃ）参照）に現れる輪郭、又は画像処理装置６ａから送られてくる背景差分画像（図１３（ｃ）参照）に現れる差分画像等に基づいて移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
【００５７】
そして、前記移動体画像表示方法で説明したように、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、移動体の位置を算出する。
また、時間差分画像（図１５（ｃ）参照）に基づいて、若しくは複数の移動体の位置が分かる場合これらの位置の軌跡に基づいて移動体の速度・移動方向を算出する（ステップＶ５）。例えば一処理周期あたりの移動体の移動距離を処理周期で割れば速度が求まる。
【００５８】
なお、この算出された移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、ディスプレイ１４で移動体を表示する時点の位置とずれが生じる。そのため、移動体表示時刻の位置を、カメラ撮像時の位置に基づいて推定する必要があるので、その推定処理を説明する。
移動体の位置のＸ座標を、簡単のため０とおき、Ｙ座標だけで議論する。移動体表示時刻をｔとする。
【００５９】
移動体表示時刻ｔの位置Ｙは、過去に得られた複数の位置データ（ｔｉ，Ｙｉ）（ｔは時刻、ｉは整数を表す）を用いて、以下の方法で推定する。
(a)１次式を利用した例
Ｙ＝ａｔ＋ｂ
で推定する。係数ａ，ｂは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａに基づいて当該移動体の速度Ｖを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0) で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(b)２次式を利用した例
Ｙ＝ａｔ2＋ｂｔ＋ｃ
で推定する。係数ａ，ｂ，ｃは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａ，ｂに基づいて、移動体の速度Ｖと加速度Ａを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0)＋Ａ(ｔ−ｔ0)2／２ で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００６０】
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像処理装置の処理時間、通信時間、車載装置７への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考慮して表示時点での移動体の位置を推定できるため、より正確な位置情報取得が可能となる。
【００６１】
次に、オプティカルフローに基づいて、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判定する（ステップＶ６）。近づく移動体であれば、近づく方向の表示用矢印（図１７（ｂ）参照）を作成し、遠ざかる移動体であれば、遠ざかる方向の表示用矢印（図１６（ｂ）参照）を作成する。
なお、遠ざかる移動体であれば、以後の処理を中断してもよい。交差点から遠ざかっている移動体は無視すれば、処理するデータ量が半減する。よって処理の迅速化につながる。
【００６２】
次に、移動体の種類を判別する（ステップＶ７）。移動体の種類判別は、例えばテンプレートを適用して行う。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
次に、移動体表示時刻における移動体の位置に基づいて、移動体の、自車両Ａのフロントガラスへの表示、又はモニター画面への表示を行う。
【００６３】
フロントガラスへの表示を行う場合は（ステップＶ８でYES）、前述したように、ドライバの視点Ｅから移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる（ステップＶ１０）。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から移動体までの距離Ｗと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
【００６４】
モニター画面への表示を行う場合は（ステップＶ１１でYES）、図５に示したように、交差点４を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、移動体Ｃの位置は、交差点形状とともに、そのまま道路地図上に表示される（ステップＶ１２，Ｖ１３）。また、図６に示したように、立体道路地図と重ねてもよい。
このようなフロントガラスあるいはモニター画面への表示をすれば、移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出会い頭衝突の危険度が分かり易い。
【００６５】
次に、オプションとして、移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点４に到着する時間ｔsと、安全余裕度ｄｔとを基にして、自車両が、時間ｔs−ｄｔからｔs＋ｄｔの範囲に交差点４に到達してしまう走行速度の範囲（「走行速度の危険範囲」という）を求め、自車速度と共に表示することが好ましい。
移動体の速度をｖ１，移動体から交差点４までの距離をｓ１、交差点４への到達時間ｔsとすると、
ｔs＝ｓ１／ｖ１
となる。また自車両の危険速度をｖ２，交差点４までの距離をｓ２とすると、
ｔs−ｄｔ≦ｓ２／ｖ２≦ｔs＋ｄｔ
を満たすｖ２の範囲が、走行速度の危険範囲となる（ステップＶ１４）。
【００６６】
本表示は、図１９に示すように、自車両の速度表示用のパネル上で行ってもよい（ステップＶ１５）。図１９で、"Ｋ"で示した範囲が走行速度の危険範囲に相当する。ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
なお上式では、安全余裕度を時間ｄｔで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
【００６７】
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ１５から音声で警告してもよい（ステップＶ１６）。
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点４までの距離に応じて警告をしてもよい。
次に、車載装置７において、画像処理装置６ａから送信され受信された前処理画像をそのまま表示する他の実施形態に係る処理を説明する。
【００６８】
この処理では、図１１に示した車載装置７の移動体の認識、位置算出処理は必ずしも必要でない。また、画像処理装置６ａから送信された時刻データ、カメラ３の位置データ、カメラパラメータのデータ、交差点形状のデータなどの受信も必ずしも必要でない。
図２０は、車載コンピュータ１６が、受信した前処理画像を表示する処理の流れを示すフローチャートである。
【００６９】
車載コンピュータ１６は、一定の処理周期になれば（ステップＷ１）、画像処理装置６ａとの通信が確立しているかどうかを確認し（ステップＷ２）、確立していれば、画像処理装置６ａから、前処理画像のデータを受信する（ステップＷ３）。
前処理画像のデータを受信した場合に、この前処理画像をディスプレイ１４に表示する（ステップＷ４）。
【００７０】
この場合、移動体の表示態様は、図１３（ｃ）のような背景差分画像のみの表示、図１４（ｂ）若しくは図１４（ｃ）のようなエッジ画像のみの表示、又は図１５（ｃ）のような時間差分画像のみの表示となる。また、これらの画像に、図１６，図１７のようなオプティカルフローを重ねた表示となる。このような最小限の情報を表示しても、ドライバは接近する移動体を認識できるので、出会い頭衝突防止の目的を十分に達することができる。
【００７１】
なお、画像処理装置６ａから車載装置７に送られるデータとして、背景差分をとる時に使う平常時の撮像画像（背景画像という）のデータや、前処理の基となった移動体の写っている画像（原画像という）のデータを含めてもよい。
背景画像や原画像が車載装置７に送られる場合、車載装置７において、前記前処理画像を背景画像や原画像に重ね合わせ表示することが可能である。
【００７２】
図１３（ｄ）は背景差分画像を背景画像に重ね合わせた表示例を示す。さらに図１４（ｄ）はエッジ画像を原画像に重ね合わせた表示例を示す。図１５（ｄ）は時間差分画像を原画像に重ね合わせた表示例を示す。図１６（ｃ）、図１７（ｃ）はオプティカルフローを原画像に重ね合わせた表示例を示す。
重ねて表示する場合、前処理画像を点滅させてもよく、前処理画像に特定の色づけを行ってもよい。これにより、ドライバの注意をさらに強く引きつけることができる。
【００７３】
このように、前処理画像を背景画像や原画像に重ね合わせ表示することにより、データ量は重くなり、データ通信回線の通信容量を増やさなければならなくなるが、車載装置７で移動体の表示を行うときに実際に近いリアルな表示を行うことができる。背景画像や原画像のデータを送らない場合は、車載装置７で移動体の表示を行うときに簡略化された表示になるが、データ通信回線に負担をかけることは少なくなる。
【００７４】
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、カメラ３の設置位置として、図１では交差点４、図２ではカーブ５上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。例えば、図２１に示したような、右折待ち車両Ｆの陰になる対向車線１７がある。このような場合、図２１に示すように対向車線１７を見渡すことができる位置にカメラ３ａを設置するとよい。本発明の方法により、カメラ３ａの撮像画像に基づいて、右折待ち車両Ｆの陰になった移動体Ｇの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
【００７５】
なお以上の実施形態では、単眼カメラ３の場合であるが、勿論ステレオカメラ３でもよい。
また、対象とする画像処理装置６ａは、必ずしも１台ではなく、複数存在してもよい。また同じ道路にカメラ３を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
【００７６】
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
その他、本発明の範囲内で種々の変更を施すことが可能である。
【図面の簡単な説明】
【００７７】
【図１】移動体画像表示方法を実施するためのカメラの道路配置図である。
【図２】移動体画像表示方法を実施するためのカメラの道路配置図である。
【図３】道路座標系及びカメラ座標系の座標図である。
【図４】カメラ３の画像面を示す図である。
【図５】移動体Ｃの位置を平面的な道路図形と重ねて表示した場合の画面図である。
【図６】３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。
【図７】自車両Ａと、検出された移動体Ｃとの位置関係を表す平面図である。
【図８】移動体の見える方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。
【図９】自車両Ａ、カメラ、移動体Ｃを含む平面図である。
【図１０】フロントガラスの画面ｕ，ｖを表す画面図である。
【図１１】移動体画像処理システムの全体構成を示す概念図である。
【図１２】画像処理装置６ａから車載装置７に各種データを送信するスケジュールを表したフローチャートである。
【図１３】本発明の移動体画像処理システムの背景差分に基づく画像例を示す図である。
【図１４】本発明の移動体画像処理システムのエッジ抽出に基づく画像例を示す図である。
【図１５】本発明の移動体画像処理システムの時間差分に基づく画像例を示す図である。
【図１６】遠ざかる移動体を撮影した画像例を示す図である。
【図１７】接近する移動体を撮影した画像例を示す図である。
【図１８】車載コンピュータ１６の行う、移動体を認識し、移動体の位置、速度、方向等を算出して移動体を車内のディスプレイ１４に表示する処理の流れを示すフローチャートである。
【図１９】走行速度の危険範囲Ｋが表示された自車両の速度表示用のパネルを示す図である。
【図２０】車載コンピュータ１６の行う、前処理画像を表示する処理の流れを示すフローチャートである。
【図２１】右折待ち車両Ｆの陰になる対向車線１７を見渡すことができる位置にカメラ３ａを設置した例を示す平面図である。
【符号の説明】
【００７８】
３，３ａ カメラ
４ 交差点
５ カーブ
６ａ 画像処理装置
７ 車載装置
１１ 電波時計
１２ 位置方位検出装置
１３ 通信装置
１４ ディスプレイ、画面
１５ スピーカ
１６ 車載コンピュータ
１７ 対向車線
【技術分野】
【０００１】
本発明は、交差点などの見通しの悪い場所に設置したカメラで道路上の移動体（車両、二輪車、人等）を撮像し、画像を前処理して、路車間通信を通じて交差点に別の道路から進入する車両に送信し、当該車両で死角となる移動体の情報として表示することができる移動体画像処理システム、装置及び方法に関するものである。
【背景技術】
【０００２】
車両の出合い頭衝突防止表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある（特許文献１参照）。これにより、交差点における出合い頭事故の可能性を予告することができる。
また、交差点にカメラを設置し、このカメラにより、死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を車両に送信する装置がある（特許文献２参照）。この装置によれば、カメラから見た画像を車両内で観察することができる。
【特許文献１】特開平５−２８４００号公報
【特許文献２】特開２００３−１０９１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前記特許文献１の技術では、交差点に近づいた自車両は、警告表示板を見て優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
【０００４】
前記特許文献２の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、あくまでもカメラで撮影したそのままの画像であるので、車両の見分けが付きにくい場合がある。したがって、誤認識、錯覚の原因となる可能性がある。また、画像データをそのままリアルタイムで車両に送信するため、車載装置に処理負荷がかかり、容量の大きな通信回線も必要になる。
【０００５】
そこで、本発明は、車両から死角となる移動体を検知してドライバに情報提供する場合に、車載装置に処理負荷がかからず、容量の小さな通信回線が使用でき、ドライバが移動体を簡単に見分けることのできる移動体画像処理システム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の移動体画像処理システムは、道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像を当該車両内の画面に表示する表示部とを有するものである。
【０００７】
このシステムでは、車載装置は、前処理画像に基づいて、交差点等に進入しようとする移動体を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。画像処理装置は、カメラで撮像された各画像を前処理して送信するので、車載装置にかかる処理負荷が軽減され、通信回線の容量も小さくて済む。
【０００８】
前記前処理として、「背景差分」、「エッジ抽出」、「時間差分」、「オプティカルフロー」を例示することができる。いずれも、当該画像に写った移動体を抽出し、画像データの情報量を減らし、移動体のみ強調して表示することを可能とする処理である。
前記画像処理装置の送信部は、(1)移動体の写っていない背景画像データ、又は(2)前処理の基となった、移動体の写っている原画像のデータを送信するものであれば、車載装置の表示部は、前処理画像を、背景画像又は原画像に重ねて表示することができる。したがって、車両ドライバは、背景画像又は原画像に重なった前処理画像を見ることができ、現実感が増す。
【０００９】
前記表示部は、前処理画像を強調して表示するのが好ましい。例えば点滅、色づけなどである。
本発明の他の移動体画像処理システムは、道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有するものである。
【００１０】
このシステムでは、画像処理装置は、カメラで撮像された各画像情報を前処理して送信するだけでよく、前記画像処理装置から送信された前処理画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置や速度を算出する処理は、前記車載装置で行うことができる。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの独自性が発揮できるため、システムの高度化が促進できるメリットがある。
【００１１】
前記車載装置は、前記認識された移動体が前記カメラに接近しているか遠ざかっているかを判定する判定部を有し、前記表示部は、前記判定部が接近していると判定した場合に前記移動体の位置を表示することが好ましい。このような表示をすれば、車両ドライバは、接近する移動体のみに注意を集中できる。
前記車載装置は、移動体を認識するのに最適な前処理の条件データを画像処理装置にあらかじめ送信することとしてもよい。画像処理装置は、車両から要求のあるごとに、当該車両に最適に前処理された画像データを送信することができるようになる。したがって車載装置は、移動体を認識するのに最適な条件で前処理された画像を得ることができる。
【００１２】
本発明の移動体画像処理装置は、道路の近くに設置され、道路の交通状況を撮像するカメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを車載装置に送信する送信部とを有するものである。
本発明の移動体画像処理方法は、カメラで道路の交通状況を撮像し、画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、前処理された画像データを送信し、車載装置は、受信された前処理画像を当該車両内の画面に表示する方法である。
【００１３】
本発明の他の移動体画像処理方法は、カメラで道路の交通状況を撮像し、画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、前処理された画像データを送信し、前記車載装置は、受信された前処理画像に基づいて当該道路を移動する移動体を認識する方法である。
これらの移動体画像処理装置又は方法によって、交差点等見通しの悪い場所を移動する移動体を、当該場所に進入しようとする当該車両内の画面上に表示すること、又は当該移動体を認識することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。また、前記カメラで撮像された各画像を前処理して送信するので、車載装置にかかる処理負荷が軽減され、通信回線の容量も小さくて済む。
【発明の効果】
【００１４】
以上のように本発明によれば、自車両から死角となる移動体をカメラで認識し、ドライバが把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く移動体を認知することが可能となる。この結果、出会い頭衝突（交差側車両との衝突）や右直（右折時の死角となる直進バイク等との衝突）の事故などを未然に防止し、交差点での安全運転を支援することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
−移動体画像表示方法−
図１及び図２は、移動体画像表示方法を実施するためのカメラの配置図である。
図１では、カメラ３を、建物が密集した交差点４に配置し、図２では、建物が密集したカーブ５に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ３を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
【００１６】
カメラ３の撮像方向は、交差点４にカメラ３を設置した場合、当該交差点４への、監視対象とする１本の流入路の方向である。カーブ５にカメラ３を設置した場合は、当該カーブ５から見たいずれかの方向の道路である。
交差点４が４本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた４台のカメラ３を設置するとよい。しかし、すべての流入路にカメラ３を設置できなくても、少なくとも１本の流入路にカメラ３を向けることができれば、当該流入路を監視できることになる。
【００１７】
カーブ５についても同様で、当該カーブ５から見た両方向にカメラ３を設置するとよいが、少なくとも１方向にカメラ３を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点４の１本の流入路にカメラ３を配置した図１の構成を例にとって、移動体画像表示方法を説明する。
【００１８】
図３は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路（背景）の座標系を（Ｘ，Ｙ，Ｚ）、カメラ３の座標系を（Ｘ′，Ｙ′，Ｚ′）とし、原点はともにカメラ３のレンズ中心とする。
道路座標系は、監視対象である道路方向をＹ軸（前方向を正）、これと直角な道路面上の方向をＸ軸（右方向を正）、路面と垂直な方向をＺ（上方を正）とする。
【００１９】
またカメラ座標系は、カメラ３の光軸をＹ′軸、これに垂直な平面上のカメラ３の右方向をＸ′軸、カメラ３の上方向をＺ′軸とする。
さらに、カメラ３座標軸の道路座標軸に対する回転角（カメラ３の姿勢）を、それぞれθ（ピッチ角）、φ（ロール角）、ψ（ヨー角）とし、全て右ねじの進む方向を正（θ：水平面より上向きが正、φ：右回りが正、ψ：左回りが正）とする。θ、φ、ψはいずれも既知とする。
【００２０】
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
【００２１】
【数１】
【００２２】
ここで、行列の各要素は、次のとおりである。
Ｐ11＝cos φcos ψ−sin θsin φsin ψ
Ｐ12＝cos φsin ψ＋sin θsin φcos ψ
Ｐ13＝−cos θsin φ
Ｐ21＝−cos θsin ψ
Ｐ22＝cos θcos ψ
Ｐ23＝sin θ
Ｐ31＝sin φcos ψ＋sin θcos φsin ψ
Ｐ32＝sin φsin ψ−sin θcos φcos ψ
Ｐ33＝cos θcos φ
図４は、カメラ３の画像面を示す図であり、右方向をｘ軸、上方向をｙ軸とする。ｘ軸は前記Ｘ′軸と一致し、ｙ軸は前記Ｚ′軸と一致する。
【００２３】
このとき、カメラ座標系の点（Ｘ，Ｙ，Ｚ）は、カメラ３の画像面上の点（ｘ，ｙ）に次のように変換される。ｆはレンズの焦点距離である。Ｈを路面からカメラ３までの高さとする。
ｘ＝ｆ・Ｘ′／Ｙ′ (1)
ｙ＝ｆ・Ｚ′／Ｙ′ (2)
前記カメラ３の角度θ、φ、ψ、焦点距離ｆ、高さＨを「カメラパラメータ」という。
【００２４】
いま、監視対象であるカメラ３の前方の道路に移動体Ｃが存在するとする。移動体Ｃは、歩行者、二輪車、自動車など動くものなら何でもよい。
移動体Ｃの特徴点に注目する。例えば、移動体Ｃが四輪自動車であるとすると、前輪の２つのタイヤに注目する。前輪の２つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
【００２５】
移動体Ｃが二輪車であれば、前輪のタイヤの道路接地点を「移動体Ｃの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Ｃの特徴点」とする。
移動体Ｃの特徴点は道路接地面に存在するので、その高さＺは、−Ｈである。
移動体Ｃの特徴点を道路座標系で表せば、（Ｘ，Ｙ，−Ｈ）となる。
【００２６】
これを前記行列式に代入すれば、Ｘ′，Ｚ′，Ｙ′をそれぞれＸ，Ｙで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ３の画像面上の点ｘ，ｙをＸ，Ｙで表すことができる。
言い換えれば、カメラパラメータが分かり、カメラ３の撮像画像から車両を認識して切り出すことにより、移動体Ｃの特徴点の撮像画像上の座標（ｘ0，ｙ0）が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Ｃのカメラ３からの相対位置Ｘ，Ｙを算出することができる。なお、移動体Ｃの位置を、経緯度表現による絶対位置で表すこともできる。
【００２７】
また、相対位置Ｘ，Ｙ又は絶対位置の時間変化に基づいて、移動体の移動方向、速度を算出することもできる。
以上のように移動体Ｃの位置が特定できれば、移動体Ｃの位置を画面上に表示することができる。
図５は、前記移動体Ｃの位置を道路図形と重ねて表示した場合の画面図である。例えば車載テレビジョンや車載ナビゲーション装置の画面１４を用いる。この画面１４には、自車両Ａの位置とともに、交差点４を含む実際の道路地図が表示されている。前記移動体Ｃの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Ｃの位置を道路上に、より正確に表示することができる。このように、移動体Ｃの位置を道路図形と重ねて表示することにより、当該車両のドライバは、移動体の位置を道路に関連付けて正確に把握することができる。
【００２８】
前記移動体Ｃの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面１４に３次元表示された道路図形の上に投影することもできる。この前提として、車載装置７は、３次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図６は、画面１４に３次元表示された道路図形に、前記移動体の位置を重ねて投影した状態を示す画面図である。車両Ａは、交差点４に向かって走行中である。画面１４には、自車両Ａの前方にある交差点４が写されていて、交差点４に近づく移動体Ｃが表示されている。ドライバは、画面１４を見れば、交差点４に近づくこの移動体Ｃを認識することができる。実際、移動体ＣがビルディングＢの陰になっている場合でも、移動体Ｃは表示可能である。移動体Ｃの位置を３次元表示された道路図形と重ねて表示するので、当該車両のドライバは、移動体の位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
【００２９】
自車両Ａのドライバは、この画面１４を見て、前記移動体Ｃと自車両Ａとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Ｃの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Ｃが建物の陰に隠れていても、画面１４には移動体Ｃが存在するかのように映るので、ドライバは、移動体Ｃが次の交差点４に現れることを予想できる。
【００３０】
従って、交差点４での出会い頭衝突事故が起こらないように減速などすることができる。
以上のように移動体Ｃの位置が特定できれば、次に、ドライバの視点Ｅから移動体Ｃを見た場合の、移動体Ｃが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Ｃの位置座標Ｘ，Ｙの、Ｘ座標値を０とおく。自車両Ａの位置Ｘ，Ｙの、Ｙ座標値も０とおく。また自車両Ａの走行方向は、−Ｘ方向であるとする。
【００３１】
図７は、自車両Ａと移動体Ｃとの位置関係を表す平面図である。
自車両Ａのドライバの視点Ｅとカメラ３との距離をＸa、移動体Ｃの特徴点とカメラ３との距離をＹbとしている。
距離Ｘaは、自車両Ａにおいて後述するように検出可能であり、距離Ｙbは前述したように撮像画像から求めることができる。したがって、ドライバの視点Ｅから見た移動体Ｃの方向Ｔが決定でき、ドライバの視点Ｅから見た移動体Ｃが見える水平角度αが決定できる。ドライバの視点Ｅから移動体Ｃまでの距離Ｗも算出できる。このように、移動体Ｃの方向Ｔを特定し、前記特定された方向Ｔに基づいて、移動体の位置を当該車両内の画面に表示することができるので、車内のドライバは、移動体Ｃがどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
【００３２】
なお、移動体Ｃの位置と自車両Ａの位置とを、経緯度表現した場合であっても、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから移動体Ｃまでの距離Ｗは、算出できる。
図８は、方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。ドライバの視点Ｅの地上からの高さをｈとする。このｈは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
【００３３】
ドライバの視点Ｅから移動体Ｃまでの距離Ｗは前述したように算出できる。移動体Ｃの特徴点は、道路接地面に存在する。したがって、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Ｅから移動体Ｃがどのように見えるかを決定することができる。ドライバの視点を基準として、前記移動体の位置を表示することができるので、ドライバは、目の前で見ているかのようにして移動体の動きを把握できる。
【００３４】
以上の検討では、単純化するために、交差点４は、直角交差点であるとしたが、直角でなくともよい。移動体Ｃの位置Ｘ，Ｙの座標値は０でなくてもよく、自車両Ａの位置Ｘ，Ｙの座標値も０でなくてもよい。このように一般化した場合の自車両Ａ、カメラ３、移動体Ｃを含む平面図を、図９に示す。
図９では、自車両Ａのドライバの視点Ｅの座標を（Ｘa，Ｙa）、移動体Ｃの特徴点の座標を（Ｘb，Ｙb）としている。また自車両Ａの走行方向をＰで表している。自車両Ａの走行方向Ｐとドライバの視点Ｅの座標（Ｘa，Ｙa）は、後述するように検出可能である。ドライバの視点Ｅとカメラ３との距離は√（Ｘa2＋Ｙa2）、移動体Ｃの特徴点とカメラ３との距離は√（Ｘb2＋Ｙb2）となる。
【００３５】
このような一般的な場合であっても、図７、図８を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Ｅから見た移動体Ｃが見える水平角度α、ドライバの視点Ｅから見た移動体Ｃを見下ろす角度βを算出することができる。
次に、車両Ａ内のヘッドアップディスプレイの画面で、移動体Ｃの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
【００３６】
図１０は、フロントガラスの画面ｕ，ｖを表す画面図である。横方向をｕ、縦方向をｖにとっている。ドライバの視点Ｅとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Ｅから移動体Ｃの特徴点までの方向α、βが分かっているので、移動体Ｃの特徴点をフロントガラスの画面上の点ｕ0，ｖ0に投影することができる。この投影点（ｕ0，ｖ0）が決まれば、その点を基準にして、一定の移動体Ｃ′を作画することができる。移動体Ｃ′をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、移動体を認識することができる。
【００３７】
また、移動体Ｃが建物や樹木のために隠れて見えないときでも、この作画された移動体Ｃ′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Ｃがフロントガラスから見えている場合は、移動体Ｃとこの作画された移動体Ｃ′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
【００３８】
−移動体画像処理システム−
次に、本発明の移動体画像処理システムの構成を説明する。
図１１は、移動体画像処理システムの全体構成を示す概念図である。移動体画像処理システムは、カメラ３と、画像処理装置６ａと、車載装置７とを含む。
カメラ３は、前述したように、交差点４、カーブ５など見通しの悪いところに配置されている。その高さ、姿勢、倍率（若しくは焦点距離）は、固定されているか、あるいは所望の値に設定可能となっている。
【００３９】
画像処理装置６ａは、カメラ３で周期的に繰り返して撮像した画像データを前処理してその処理結果データ（前処理画像データという）を送信する装置である。なお「前処理」の内容は後述する。
画像処理装置６ａは、カメラ３と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ３と通信回線で結ばれている。前処理画像データの送信媒体は、車載装置７に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信でもよいが、無線ＬＡＮ等の路車間通信が、通信範囲が広くなるのでさらに望ましい。変調方式や符号化方式は、任意である。
【００４０】
画像処理装置６ａから車載装置７に送られるデータは、前記前処理画像データの他に、時刻データ、カメラ３の位置データ、カメラパラメータのデータ、交差点形状のデータなどがある。
交差点形状のデータを送信すれば、車載装置は、この情報に基づいて車内の画面に当該場所の形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
【００４１】
カメラ３の位置は、例えば次のような方法(1)又は(2)によって設定する。
(1)カメラ３の取り付け前の調査で把握し、予め画像処理装置６ａに記憶させておく。
(2)ＧＰＳ(Global Positioning System)受信装置を利用して位置を検出する。カメラ３の設置位置は、一度設置されるとほぼ動くことがないので、ＧＰＳの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、ＣＥＰ（Circular Error Probable，確率誤差円、位置検出の信頼度、自乗平均誤差の約２倍）の良好な時点の検出データの平均値を用いたりしてもよい。
【００４２】
時刻データは、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、ＧＰＳや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図１２は、画像処理装置６ａの処理内容、及び画像処理装置６ａから車載装置７に各種データを送信するスケジュールを示すフローチャートである。
【００４３】
画像処理装置６ａは、一定の処理周期になれば（ステップＵ１）、カメラ３から撮像画像のデータを取得する（ステップＵ２）。
次に、車載装置７との通信が確立しているかどうかチェックし（ステップＵ３）、確立していれば、車載装置７から前処理をするのに必要な条件データを取得する（ステップＵ４）。これは、車載装置７が移動体を認識するのに最適な条件データを画像処理装置６ａに送ってくる場合を考慮しているからである。例えば、エッジ抽出するのに必要な二値化しきい値のデータがある。この移動体の認識処理において、車載装置７からあらかじめ、車載装置７において移動体を認識するのに最適な条件データを画像処理装置６ａに送っていれば、車載コンピュータ１６は、画像処理装置６ａからその条件データを用いて前処理された画像を取得し、その前処理画像に基づいて移動体を認識することができるので、移動体の認識精度が向上する。
【００４４】
画像処理装置６ａは、取得した条件を使って、撮像画像に基づいて当該車両のための前処理を行う（ステップＵ５）。車載装置７が何も条件データを送ってこないときは、画像処理装置６ａは、記憶しているデフォルトの条件データを使って、撮像画像に基づいて前処理を行う。
この前処理とは、画像に写った移動体を抽出するための処理であり、本発明の実施の形態では、「背景差分」「エッジ抽出」「時間差分」「オプティカルフロー」の各処理をいう。
【００４５】
「背景差分」は、原画像と移動体のない時（平常時）の道路の撮像画像（背景画像）との差分をとることにより行う。差分をとった後、二値化してもよい。これで移動体のみを抽出することができる。
「エッジ抽出」は、原画像又は背景差分画像を微分・二値化処理して輪郭を先鋭にする処理である。移動体の特徴・輪郭のみを抽出することができる。
【００４６】
「時間差分」は、時間前後の画像どうしを比較する処理であり、移動体の動きの情報を得るための処理である。移動する物体のみを抽出することができる。
「オプティカルフロー」は、移動体の移動方向を特定する処理である。
以下、前処理前と前処理後の画像の例を説明する。
図１３（ａ）は、画像処理装置６ａで得られる移動体の写っていない背景画像の例を示し、図１３（ｂ）は、画像処理装置６ａで得られる移動体の写っている原画像の例を示す。図１３（ｃ）は、両画像を引き算することにより背景差分をとった画像を示す。この背景差分画像のデータが車載装置７に送られる。
【００４７】
図１４（ａ）は、画像処理装置６ａで得られる原画像の例を示し、図１４（ｂ）は、画像処理装置６ａで得られるエッジ画像の例を示す。図１３（ｃ）は車線上のみのエッジ画像を選択した画像を示す。このエッジ画像又は車線上のエッジ画像が車載装置７に送られる。
図１５（ａ）は、画像処理装置６ａで得られる処理時刻ｔにおける原画像の例を示し、図１５（ｂ）は、画像処理装置６ａで得られる次の処理時刻ｔ＋１における原画像の例を示す。図１５（ｃ）は時間差分をとった例を示す。この時間差分画像が車載装置７に送られる。
【００４８】
図１６（ａ）は、画像処理装置６ａで得られる遠ざかる移動体を撮影した原画像の例を示し、図１６（ｂ）は、移動体のオプティカルフローを示す。オプティカルフローはベクトルの形態となる。
図１７（ａ）は、画像処理装置６ａで得られる近づく移動体を撮影した原画像の例を示し、図１７（ｂ）は、移動体のオプティカルフロー（ベクトル）を示す。
【００４９】
画像処理装置６ａは、前処理画像データ（「背景差分」「エッジ抽出」「時間差分」「オプティカルフロー」の各処理を行った画像のデータ）、に対して、必要ならば二値化処理を行う（ステップＵ６）。この二値化により車載装置７に送信するデータ量を削減することができる。そして、前処理画像データとともに、撮像時刻、カメラのパラメータ、交差点形状などのデータを車載装置７に送信する（ステップＵ７）。また、原画像データや背景画像データを同時に送信するようにしてもよい。
【００５０】
次に図１１を参照して車載装置７の構成を説明する。車載装置７は、画像処理機能やマンマシン機能を持った車載コンピュータ１６、電波時計１１、位置方位検出装置１２、通信装置１３、ディスプレイ１４、スピーカ１５等で構成される。
前記通信装置１３は、画像処理装置６ａから送られてくるデータを受信するものであり、復調方式や復号化方式は、画像処理装置６ａのものに対応している。
【００５１】
電波時計１１は、現在時刻を知るものであるが、時計に限られない。画像処理装置６ａから時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他ＧＰＳ、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置１２は、当該車両の位置と方位を検出するための装置である。なお、車載装置７の位置検出は、例えばＧＰＳを利用する。ＧＰＳを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点からの距離のような相対的表現があり、どちらを利用してもよい。
【００５２】
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ１４には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
【００５３】
フロントディスプレイ１４は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である（特開平8-108773号公報参照）。
スピーカ１５は、交差点４などでの出会い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
【００５４】
車載コンピュータ１６は、画像処理装置６ａから送られてくるデータに基づいて、移動体の存在を認識し、その位置・速度を算出し、自車両との出会い頭衝突の可能性を判定し、表示用、音声出力用のデータを作成する。
以下、車載コンピュータ１６の機能を、フローチャート（図１８）に基づいて詳細に説明する。
【００５５】
図１８は、車載コンピュータ１６が、移動体を認識し、移動体の位置、速度、方向等を算出して移動体を車内のディスプレイ１４に表示する処理の流れを示すフローチャートである。
車載コンピュータ１６は、一定の処理周期になれば（ステップＶ１）、画像処理装置６ａとの通信が確立しているかどうかを確認し（ステップＶ２）、確立していれば、画像処理装置６ａから、撮像時刻、前処理画像、カメラ３の位置、カメラパラメータ、交差点形状などのデータを受信する（ステップＶ３）。原画像、背景画像が送信されてくれば、これも一緒に受信する。
【００５６】
次に、前処理画像に基づいて移動体を認識する（ステップＶ４）。この移動体の認識は、画像処理装置６ａから送られてくるエッジ抽出画像（図１４（ｂ），（ｃ）参照）に現れる輪郭、又は画像処理装置６ａから送られてくる背景差分画像（図１３（ｃ）参照）に現れる差分画像等に基づいて移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
【００５７】
そして、前記移動体画像表示方法で説明したように、カメラ３の撮像画像内の移動体Ｃの特徴点の座標（ｘ0，ｙ0）に基づいて、移動体の位置を算出する。
また、時間差分画像（図１５（ｃ）参照）に基づいて、若しくは複数の移動体の位置が分かる場合これらの位置の軌跡に基づいて移動体の速度・移動方向を算出する（ステップＶ５）。例えば一処理周期あたりの移動体の移動距離を処理周期で割れば速度が求まる。
【００５８】
なお、この算出された移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、ディスプレイ１４で移動体を表示する時点の位置とずれが生じる。そのため、移動体表示時刻の位置を、カメラ撮像時の位置に基づいて推定する必要があるので、その推定処理を説明する。
移動体の位置のＸ座標を、簡単のため０とおき、Ｙ座標だけで議論する。移動体表示時刻をｔとする。
【００５９】
移動体表示時刻ｔの位置Ｙは、過去に得られた複数の位置データ（ｔｉ，Ｙｉ）（ｔは時刻、ｉは整数を表す）を用いて、以下の方法で推定する。
(a)１次式を利用した例
Ｙ＝ａｔ＋ｂ
で推定する。係数ａ，ｂは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａに基づいて当該移動体の速度Ｖを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0) で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(b)２次式を利用した例
Ｙ＝ａｔ2＋ｂｔ＋ｃ
で推定する。係数ａ，ｂ，ｃは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数ａ，ｂに基づいて、移動体の速度Ｖと加速度Ａを算出し、直前のデータ（ｔ0，Ｙ0）と時間遅れ（ｔ−ｔ0）とから、移動体表示時刻ｔの位置Ｙを、Ｙ＝Ｙ0＋Ｖ(ｔ−ｔ0)＋Ａ(ｔ−ｔ0)2／２ で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
【００６０】
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像処理装置の処理時間、通信時間、車載装置７への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考慮して表示時点での移動体の位置を推定できるため、より正確な位置情報取得が可能となる。
【００６１】
次に、オプティカルフローに基づいて、当該切り出された移動体がカメラ３に向かって接近しているのか遠ざかっているのかを判定する（ステップＶ６）。近づく移動体であれば、近づく方向の表示用矢印（図１７（ｂ）参照）を作成し、遠ざかる移動体であれば、遠ざかる方向の表示用矢印（図１６（ｂ）参照）を作成する。
なお、遠ざかる移動体であれば、以後の処理を中断してもよい。交差点から遠ざかっている移動体は無視すれば、処理するデータ量が半減する。よって処理の迅速化につながる。
【００６２】
次に、移動体の種類を判別する（ステップＶ７）。移動体の種類判別は、例えばテンプレートを適用して行う。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
次に、移動体表示時刻における移動体の位置に基づいて、移動体の、自車両Ａのフロントガラスへの表示、又はモニター画面への表示を行う。
【００６３】
フロントガラスへの表示を行う場合は（ステップＶ８でYES）、前述したように、ドライバの視点Ｅから移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる（ステップＶ１０）。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から移動体までの距離Ｗと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
【００６４】
モニター画面への表示を行う場合は（ステップＶ１１でYES）、図５に示したように、交差点４を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、移動体Ｃの位置は、交差点形状とともに、そのまま道路地図上に表示される（ステップＶ１２，Ｖ１３）。また、図６に示したように、立体道路地図と重ねてもよい。
このようなフロントガラスあるいはモニター画面への表示をすれば、移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出会い頭衝突の危険度が分かり易い。
【００６５】
次に、オプションとして、移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点４に到着する時間ｔsと、安全余裕度ｄｔとを基にして、自車両が、時間ｔs−ｄｔからｔs＋ｄｔの範囲に交差点４に到達してしまう走行速度の範囲（「走行速度の危険範囲」という）を求め、自車速度と共に表示することが好ましい。
移動体の速度をｖ１，移動体から交差点４までの距離をｓ１、交差点４への到達時間ｔsとすると、
ｔs＝ｓ１／ｖ１
となる。また自車両の危険速度をｖ２，交差点４までの距離をｓ２とすると、
ｔs−ｄｔ≦ｓ２／ｖ２≦ｔs＋ｄｔ
を満たすｖ２の範囲が、走行速度の危険範囲となる（ステップＶ１４）。
【００６６】
本表示は、図１９に示すように、自車両の速度表示用のパネル上で行ってもよい（ステップＶ１５）。図１９で、"Ｋ"で示した範囲が走行速度の危険範囲に相当する。ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
なお上式では、安全余裕度を時間ｄｔで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
【００６７】
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ１５から音声で警告してもよい（ステップＶ１６）。
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点４までの距離に応じて警告をしてもよい。
次に、車載装置７において、画像処理装置６ａから送信され受信された前処理画像をそのまま表示する他の実施形態に係る処理を説明する。
【００６８】
この処理では、図１１に示した車載装置７の移動体の認識、位置算出処理は必ずしも必要でない。また、画像処理装置６ａから送信された時刻データ、カメラ３の位置データ、カメラパラメータのデータ、交差点形状のデータなどの受信も必ずしも必要でない。
図２０は、車載コンピュータ１６が、受信した前処理画像を表示する処理の流れを示すフローチャートである。
【００６９】
車載コンピュータ１６は、一定の処理周期になれば（ステップＷ１）、画像処理装置６ａとの通信が確立しているかどうかを確認し（ステップＷ２）、確立していれば、画像処理装置６ａから、前処理画像のデータを受信する（ステップＷ３）。
前処理画像のデータを受信した場合に、この前処理画像をディスプレイ１４に表示する（ステップＷ４）。
【００７０】
この場合、移動体の表示態様は、図１３（ｃ）のような背景差分画像のみの表示、図１４（ｂ）若しくは図１４（ｃ）のようなエッジ画像のみの表示、又は図１５（ｃ）のような時間差分画像のみの表示となる。また、これらの画像に、図１６，図１７のようなオプティカルフローを重ねた表示となる。このような最小限の情報を表示しても、ドライバは接近する移動体を認識できるので、出会い頭衝突防止の目的を十分に達することができる。
【００７１】
なお、画像処理装置６ａから車載装置７に送られるデータとして、背景差分をとる時に使う平常時の撮像画像（背景画像という）のデータや、前処理の基となった移動体の写っている画像（原画像という）のデータを含めてもよい。
背景画像や原画像が車載装置７に送られる場合、車載装置７において、前記前処理画像を背景画像や原画像に重ね合わせ表示することが可能である。
【００７２】
図１３（ｄ）は背景差分画像を背景画像に重ね合わせた表示例を示す。さらに図１４（ｄ）はエッジ画像を原画像に重ね合わせた表示例を示す。図１５（ｄ）は時間差分画像を原画像に重ね合わせた表示例を示す。図１６（ｃ）、図１７（ｃ）はオプティカルフローを原画像に重ね合わせた表示例を示す。
重ねて表示する場合、前処理画像を点滅させてもよく、前処理画像に特定の色づけを行ってもよい。これにより、ドライバの注意をさらに強く引きつけることができる。
【００７３】
このように、前処理画像を背景画像や原画像に重ね合わせ表示することにより、データ量は重くなり、データ通信回線の通信容量を増やさなければならなくなるが、車載装置７で移動体の表示を行うときに実際に近いリアルな表示を行うことができる。背景画像や原画像のデータを送らない場合は、車載装置７で移動体の表示を行うときに簡略化された表示になるが、データ通信回線に負担をかけることは少なくなる。
【００７４】
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、カメラ３の設置位置として、図１では交差点４、図２ではカーブ５上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。例えば、図２１に示したような、右折待ち車両Ｆの陰になる対向車線１７がある。このような場合、図２１に示すように対向車線１７を見渡すことができる位置にカメラ３ａを設置するとよい。本発明の方法により、カメラ３ａの撮像画像に基づいて、右折待ち車両Ｆの陰になった移動体Ｇの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
【００７５】
なお以上の実施形態では、単眼カメラ３の場合であるが、勿論ステレオカメラ３でもよい。
また、対象とする画像処理装置６ａは、必ずしも１台ではなく、複数存在してもよい。また同じ道路にカメラ３を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
【００７６】
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
その他、本発明の範囲内で種々の変更を施すことが可能である。
【図面の簡単な説明】
【００７７】
【図１】移動体画像表示方法を実施するためのカメラの道路配置図である。
【図２】移動体画像表示方法を実施するためのカメラの道路配置図である。
【図３】道路座標系及びカメラ座標系の座標図である。
【図４】カメラ３の画像面を示す図である。
【図５】移動体Ｃの位置を平面的な道路図形と重ねて表示した場合の画面図である。
【図６】３次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。
【図７】自車両Ａと、検出された移動体Ｃとの位置関係を表す平面図である。
【図８】移動体の見える方向Ｔを横軸、路面と垂直な方向Ｚを縦軸にとった場合の座標図である。
【図９】自車両Ａ、カメラ、移動体Ｃを含む平面図である。
【図１０】フロントガラスの画面ｕ，ｖを表す画面図である。
【図１１】移動体画像処理システムの全体構成を示す概念図である。
【図１２】画像処理装置６ａから車載装置７に各種データを送信するスケジュールを表したフローチャートである。
【図１３】本発明の移動体画像処理システムの背景差分に基づく画像例を示す図である。
【図１４】本発明の移動体画像処理システムのエッジ抽出に基づく画像例を示す図である。
【図１５】本発明の移動体画像処理システムの時間差分に基づく画像例を示す図である。
【図１６】遠ざかる移動体を撮影した画像例を示す図である。
【図１７】接近する移動体を撮影した画像例を示す図である。
【図１８】車載コンピュータ１６の行う、移動体を認識し、移動体の位置、速度、方向等を算出して移動体を車内のディスプレイ１４に表示する処理の流れを示すフローチャートである。
【図１９】走行速度の危険範囲Ｋが表示された自車両の速度表示用のパネルを示す図である。
【図２０】車載コンピュータ１６の行う、前処理画像を表示する処理の流れを示すフローチャートである。
【図２１】右折待ち車両Ｆの陰になる対向車線１７を見渡すことができる位置にカメラ３ａを設置した例を示す平面図である。
【符号の説明】
【００７８】
３，３ａ カメラ
４ 交差点
５ カーブ
６ａ 画像処理装置
７ 車載装置
１１ 電波時計
１２ 位置方位検出装置
１３ 通信装置
１４ ディスプレイ、画面
１５ スピーカ
１６ 車載コンピュータ
１７ 対向車線
【特許請求の範囲】
【請求項１】
移動体を車両内の画面に表示するための移動体画像処理システムであって、
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、
前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像を当該車両内の画面に表示する表示部とを有することを特徴とする移動体画像処理システム。
【請求項２】
前記前処理は、「背景差分」、「エッジ抽出」、「時間差分」、「オプティカルフロー」から選ばれる何れか１つ以上の処理である請求項１記載の移動体画像処理システム。
【請求項３】
前記画像処理装置の送信部は、移動体の写っていない背景画像データ、又は前処理の基となった、移動体の写っている原画像のデータを送信するものであり、
前記表示部は、前処理画像を、背景画像又は原画像に重ねて表示するものである請求項１記載の移動体画像処理システム。
【請求項４】
前記表示部は、前処理画像を強調して表示する請求項１又は請求項３記載の移動体画像処理システム。
【請求項５】
移動体を車両内の画面に表示するための移動体画像処理システムであって、
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、
前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有するものであることを特徴とする移動体画像処理システム。
【請求項６】
前記車載装置は、前記認識された移動体が前記カメラに接近しているか遠ざかっているかを判定する判定部を有し、前記表示部は、前記判定部が接近していると判定した場合に前記移動体の位置を表示するものである請求項５記載の移動体画像処理システム。
【請求項７】
前記車載装置は、移動体を認識するのに最適な前記前処理の条件データを前記画像処理装置にあらかじめ送信する請求項５記載の移動体画像処理システム。
【請求項８】
道路の近くに設置され、道路の交通状況を撮像するカメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを車載装置に送信する送信部とを有することを特徴とする移動体画像処理装置。
【請求項９】
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像を取得する画像処理装置と、車載装置とを利用して、移動体を車両内の画面に表示するための移動体画像処理方法であって、
前記カメラで道路の交通状況を撮像し、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、
前処理された画像データを送信し、
前記車載装置は、受信された前処理画像を当該車両内の画面に表示することを特徴とする移動体画像処理方法。
【請求項１０】
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像を取得する画像処理装置と、車載装置とを利用して、移動体を車両内の画面に表示するための移動体画像処理方法であって、
前記カメラで道路の交通状況を撮像し、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、
前処理された画像データを送信し、
前記車載装置は、受信された前処理画像に基づいて当該道路を移動する移動体を認識することを特徴とする移動体画像処理方法。
【請求項１】
移動体を車両内の画面に表示するための移動体画像処理システムであって、
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、
前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像を当該車両内の画面に表示する表示部とを有することを特徴とする移動体画像処理システム。
【請求項２】
前記前処理は、「背景差分」、「エッジ抽出」、「時間差分」、「オプティカルフロー」から選ばれる何れか１つ以上の処理である請求項１記載の移動体画像処理システム。
【請求項３】
前記画像処理装置の送信部は、移動体の写っていない背景画像データ、又は前処理の基となった、移動体の写っている原画像のデータを送信するものであり、
前記表示部は、前処理画像を、背景画像又は原画像に重ねて表示するものである請求項１記載の移動体画像処理システム。
【請求項４】
前記表示部は、前処理画像を強調して表示する請求項１又は請求項３記載の移動体画像処理システム。
【請求項５】
移動体を車両内の画面に表示するための移動体画像処理システムであって、
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、
前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有するものであることを特徴とする移動体画像処理システム。
【請求項６】
前記車載装置は、前記認識された移動体が前記カメラに接近しているか遠ざかっているかを判定する判定部を有し、前記表示部は、前記判定部が接近していると判定した場合に前記移動体の位置を表示するものである請求項５記載の移動体画像処理システム。
【請求項７】
前記車載装置は、移動体を認識するのに最適な前記前処理の条件データを前記画像処理装置にあらかじめ送信する請求項５記載の移動体画像処理システム。
【請求項８】
道路の近くに設置され、道路の交通状況を撮像するカメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを車載装置に送信する送信部とを有することを特徴とする移動体画像処理装置。
【請求項９】
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像を取得する画像処理装置と、車載装置とを利用して、移動体を車両内の画面に表示するための移動体画像処理方法であって、
前記カメラで道路の交通状況を撮像し、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、
前処理された画像データを送信し、
前記車載装置は、受信された前処理画像を当該車両内の画面に表示することを特徴とする移動体画像処理方法。
【請求項１０】
道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像を取得する画像処理装置と、車載装置とを利用して、移動体を車両内の画面に表示するための移動体画像処理方法であって、
前記カメラで道路の交通状況を撮像し、
前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、
前処理された画像データを送信し、
前記車載装置は、受信された前処理画像に基づいて当該道路を移動する移動体を認識することを特徴とする移動体画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１８】
【図１９】
【図２０】
【図２１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１８】
【図１９】
【図２０】
【図２１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−４６７６１（Ｐ２００８−４６７６１Ａ）
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００６−２２００４７（Ｐ２００６−２２００４７）
【出願日】平成１８年８月１１日（２００６．８．１１）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１８年８月１１日（２００６．８．１１）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]