道路画像生成システム
【課題】本発明は、地理的座標が関連付けられた路面画像を撮影し、該路面画像を合成させることで道路画像を作成するシステムを提供することを課題とする。
【解決手段】車両に固定された光学系を用いて該車両から所定の位置関係にある基準パターンを撮影し、撮影された前記基準パターンに基づき前記光学系の撮影画像の所定のピクセル映し出されるべき路面の部分に対する前記車両からの相対位置を特定する相対位置特定手段と、光学系による撮影時の車両の位置を特定する車両位置特定手段と、車両位置特定手段と、相対位置特定手段に基づき、光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システム。
【解決手段】車両に固定された光学系を用いて該車両から所定の位置関係にある基準パターンを撮影し、撮影された前記基準パターンに基づき前記光学系の撮影画像の所定のピクセル映し出されるべき路面の部分に対する前記車両からの相対位置を特定する相対位置特定手段と、光学系による撮影時の車両の位置を特定する車両位置特定手段と、車両位置特定手段と、相対位置特定手段に基づき、光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路画像生成システムに関する。詳しくは、車両に固定された光学系を用いて路面を撮影し、このようにして得られた路面画像から道路画像を生成するシステムに関する。
【背景技術】
【０００２】
カーナビゲーションシステムなどに用いられる地図データに必要な情報(道路の中央線に描かれた道路標示など)を道路画像から取得することが求められている。その一つの方法として、航空機などを使用して上空から空中写真を撮影し、その撮影された空中写真を、真上から見たようにオルソ作成処理することで道路画像が作成される。しかしながら、上空から空中写真を撮影する方法では、道路上に車両などの障害物が存在しているときに空中写真を撮影すると、車両が映り込んだ空中写真となり精度の高い道路画像を作成することができない。そして、その障害物の下にペイントされた道路標示を撮影することもできない。仮に、道路標示（例えば、「と」「ま」「れ」）を映しだすことができたとしても、その各文字の間の距離の誤差が大きく、地図データとして用いることが難しい。
一方、超広角のＣＣＤカメラを車両搭載して、路面上の道路標示を撮影する発明もなされている（例えば、特許文献１参照）。
【特許文献１】特開２００３−１２３１９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、ＣＣＤカメラによる道路標示を撮影する発明は、道路標示を認識することを目的とするものであり、撮影された画像には地理的座標が関連付けられておらず、カーナビゲーションシステムなどの地図データとして利用することができない。
そこで、本発明は、地理的座標が関連付けられた路面を撮影し、該撮影画像を合成することで道路画像を作成するシステムを提供することを課題とする。
【課題を解決するための手段】
【０００４】
本発明は以上の課題を解決するために、次の構成からなる。即ち、
車両に固定された光学系を用いて該車両から所定の位置関係にある基準パターンを撮影し、撮影された前記基準パターンに基づき前記光学系の撮影画像の所定のピクセルに映し出されるべき路面の部分に対する前記車両からの相対位置を特定する相対位置特定手段と、
前記光学系による撮影時の前記車両の位置を特定する車両位置特定手段と、
前記車両位置特定手段と、前記相対位置特定手段に基づき、前記光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、該絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システムである。
【０００５】
上記第１の構成により、車両に固定された光学系を用いて当該光学系から所定の位置（光学系から一定の距離にある位置）にある路面上に描かれた基準パターンを撮影する。この撮影時には、光学系の一部としてレンズを用いる。レンズを介して映しだされる基準パターンは歪曲した基準パターンとなる。
撮影した画像に映し出された基準パターンの所定部分を含むピクセルと基準パターンにおいて当該部分の路面上における座標とを対応させる。例えば、基準パターンとして市松模様を採用した場合は、路面に描かれた市松模様の格子点と基準パターンの撮影画像において当該格子点が存在するピクセルとを対応させる。車両に固定された光学系からみて路面に描かれた各格子点の座標は定められているので、撮影画像において格子点を映し出しているピクセルは常に車両から見て所定の位置の路面の部分を表示していることがわかる。これにより、撮影画像の所定のピクセルに映し出される映像（路面の部分）と車両からみた路面上の当該部分の座標とが対応される。
また、本システムの車両は地理的座標を特定する手段も備える。従って、所定のピクセルに映し出される路面の部分の座標の絶対位置を特定することができる。よって、各ピクセルに映し出された路面の部分（絶対位置が特定されている）を合成することで、道路画像を生成することができ、この道路画像はカーナビゲーションシステムに適用可能となる。
【０００６】
第２の構成によれば、第１の構成において、基準パターンが市松模様である。
市松模様は白色の正方形と黒色の正方形が交互に整列して組み合わされた模様である。このような市松模様を基準パターンとすると、市松模様を構成する正方形の格子点（頂点）の座標を特定することが容易になる。
なお、基準パターンは正方形の市松模様に限定されず、長方形でもよい。また、基準パターンの模様も市松模様に限定されず、規則性のある模様(例えば、格子、ドット)を用いてもよい。
【０００７】
第３の構成によれば、第１又は第２の構成において、光学系は魚眼レンズを含む。
光学系として魚眼レンズを用いることにより、レンズの全周方向の撮影が可能となる。従って、車両の進行方向へ向けてかつ車両から突き出す方法で魚眼レンズを取り付けたとき、車両先端の下部路面（ナンバープレートの直下の路面）まで撮影が可能となる。これにより、自車両の前方を走行する車両の影の影響を受けない画像を撮影することが可能となる。
さらに、魚眼レンズは全周方向の撮影が可能なため、道路際に設置される道路標識や建物の撮影も可能となる。これにより、撮影した画像の編集時に、地理的座標と実在の道路標識や建物の位置とを比較しながら道路画像を生成することができるため、精度の高い道路画像を生成することが可能となる。
なお、車両に搭載される光学系（魚眼レンズ）は２台以上でもよい。光学系を車両の前後に取り付けることで、２台の光学系で撮影された画像のうち、建物や他の車両による影の影響を受けていない画像を選び出してもよい。また、逆光の影響がでるようなときには、逆光の影響を受けていない画像を選択してもよい。
【０００８】
第４の構成によれば、第３の構成において、光学系は魚眼レンズと該魚眼レンズを通過した光を撮影するＣＣＤカメラとを備え、撮影時に生じるスミアが水平方向に発生するようにＣＣＤカメラの向きを設置する。
ＣＣＤカメラが通常設置の場合、太陽光などの強い光がＣＣＤカメラに入射すると、画面の縦方向にスミア（輝線）が生じる。したがって、スミアの生じた画像を素材として利用することはできない。一方、本発明では路面画像を利用するため、撮影した画像においてもっぱら下半分が必要となる。
そこで、ＣＣＤカメラを横置きに配置し、ＣＣＤカメラに生じるスミアが画面の横方向に生じるようにした。また、画面の上半分にスミアが生じるようにＣＣＤカメラの設置角度を調整することで、スミアの影響を受けない路面画像の取得が可能となる。
【０００９】
第５の構成によれば、第１〜第４の何れかの構成において、光学系により撮影可能な位置に配置される発光体が更に備えられ、該発光体は道路画像生成に用いられるべき路面画像の撮影時に消灯し、他のタイミングでは点灯する。
発光体（例えば、ＬＥＤ素子）は収録スイッチと同期しており、収録スイッチをオンしたタイミングで発光体は消灯し、消灯した時点が計測区間の始点となる。その後、計測区間を収録し終わった後、収録スイッチはオフされて発光体は点灯する。これにより、撮影した画像の編集作業時に発光体の点灯の有無で計測区間かどうかの判断ができるため、編集作業の効率が良くなる。
なお、発光体の点灯又は消灯は、必ずしも収録開始又は終了と同期させる必要はない。路面画像の編集作業を効率良くするため、収録を開始してから、車両が計測区間の始点に到達したとき、ＬＥＤ素子を消灯させてもよい。また、ＬＥＤ素子を点灯させて後に収録を終了させてもよい。このように、計測区間の前後の画像を含めることで編集作業の効率が良く行える。
【実施例】
【００１０】
図１は本発明の実施例で用いられる道路画像生成システム１０の構成図である。図２は魚眼レンズ１３を備えるＤＶカメラ１４を搭載した車両１００の側面図である。図３は魚眼レンズ１３を介して撮影された基準パターンを含む写真である。
道路画像生成システム１０は、魚眼レンズ１３を備えるＤＶカメラ１４、魚眼レンズ１３に写りこむように配置されたＬＥＤ素子１５、収録スイッチ１６、ＧＰＳアンテナ１７、ヨージャイロ１８、車速パルス生成部１９、後退信号２０、道路画像生成部２１及び記憶部３１を備える。
【００１１】
ＤＶカメラ１４（ＣＣＤカメラ内蔵）は路面を動画として撮影するために用いられる。このＤＶカメラ１４は魚眼レンズ１３を備える。この魚眼レンズ１３は全周画像を取得可能であり、走行中の車線及び隣接する車線、道路に設置された標識、車線に隣接する街路を撮影可能である。
ＤＶカメラ１４に内蔵されたＣＣＤカメラは横向きに設置する。これにより、輝度の強い光（例えば、太陽光）がＣＣＤに入射したときに生じるスミアを、撮影画像の水平方向に生じさせることができる。さらに、ＤＶカメラ１４の設置角度の向きを調整することで、撮影画像にスミアが映り込むことを防止することができる。
【００１２】
収録スイッチ１６は計測区間の始点及び終点を確定するためのＬＥＤ１５を点灯又は消灯させるために使用される。また、収録スイッチ１６のオン及びオフの情報（すなわち、ＬＥＤ１５の消灯又は点灯の情報）は位置履歴情報に関係付けられ、計測区間の始点と終点の地理的座標を特定することを容易にする。
計測区間の始点に車両が到達したとき、収録スイッチ１６はオンされ、ＬＥＤ１５は消灯する。計測区間を走行中は常にＬＥＤ１５は消灯状態であるため、撮影画像にＬＥＤ１５の光は映りこんでいない。一方、計測区間の終点に到達したときに収録スイッチ１６はオフされ、ＬＥＤ１５を点灯することになる。
【００１３】
ＧＰＳアンテナ１７は車両位置特定手段として用いられる。ＧＰＳアンテナ１７は収録スイッチと同期して作動させることができる。収録スイッチがオンされたとき、ＧＰＳアンテナ１７は車両の地理的座標を特定する。特定された車両の地理的座標は位置履歴記憶領域３１３に記憶される。
ヨージャイロ１８は車両のヨー方向（車両の左右方向の向き）を計測する。車両が計測区間を走行中に障害物（例えば、自転車）と遭遇したとき、左右方向に車両を移動させた情報を計測しておくことで、車両の地理的座標を特定することができる。
車速パルス生成部１９は車両が一定間隔を進行する毎にパルスを送出する。そのパルスの数を記憶しておくことで、車両の進行距離を把握する。すなわち、最初に特定した車両の地理的座標からの相対位置を決定するために用いられる。
後退信号２０は車両が後退した距離を車速パルス生成部１９に反映させて、最初に特定した地理的座標からの相対位置を決定するために用いられる。
【００１４】
魚眼レンズ１３を介して撮影された画像は歪曲しているため、この歪曲した撮影画像を合成させただけでは、真上から見た道路画像を生成することはできない。そこで、道路画像生成部２１では撮影画像の所定のピクセルにつき、そこに映し出された路面上の座標を特定し、特定された座標へ該当するピクセルの明度を割り付けることにより、道路画像を生成することとした。
【００１５】
記憶部３１は制御プログラム記憶領域３１１、相対位置記憶領域３１２、位置履歴記憶領域３１３、画像記憶領域３１４、道路画像記憶領域３１５を備える。
制御プログラム記憶領域３１１は制御部１１に備えられたＣＰＵ１２を制御するための制御プログラムが記憶される領域である。道路画像生成システム１０を構成する各要素はこのＣＰＵ１２にバスを介して接続されており、このＣＰＵ１２を動作させる制御プログラムに従って、所定の動作を行うことになる。
相対位置保存領域３１２は撮影画像の所定のピクセルと該ピクセルに映し出された路面の部分の座標との関係を保存する。この路面の座標は車両に対する相対位置である。
位置履歴記憶領域３１３はＧＰＳアンテナ１７、ヨージャイロ１８、車速パルス生成部１９、後退信号２０で得られた車両の位置履歴情報が記憶される。この位置履歴情報は、まず、ＧＰＳアンテナ１７で車両の地理的座標を決定する。その決定された地理的座標に対して、左右方向の傾き、車速パルスの数、車両の後退を示す情報が関連付けられて記憶される。これらの情報を読み出すことによって、計測区間内における車両の地理的座標を特定することができる。
画像記憶領域３１４はＤＶカメラ１４で撮影された路面画像を記憶する領域である。撮影された路面画像は位置履歴記憶領域３１３に記憶されている車両の地理的座標と関連付けられて記憶されている。すなわち、画像記憶領域３１４に記憶された路面画像の所定のピクセルに映し出された路面の部分に対して、絶対位置を特定することが可能となる。
【００１６】
図２は魚眼レンズ１３を備えたＤＶカメラ１４を搭載した車両１００の側面図である。車両１００の上部に延長棒１０１を固定し、ＤＶカメラ１４はその延長棒１０１の先端に固定される。ＤＶカメラ１４の固定される位置は車両の先端の直下が映り込むように、できるだけ車両の先端にカメラを配置することが好ましい。車両の先端の直下は前方を走行する車両の影響（例えば、前方を走る車両の影）を受けにくいためである。
また、ＤＶカメラ１４に備えられたＣＣＤカメラの設置する向きを真横にし、さらにＣＣＤカメラの路面に対する設置角度を調整することで、もっぱら道路が映される撮影画像の下半分にスミアが現れないようにすることができる。
延長棒１０１に固定されたＤＶカメラ１４は車両内部に搭載された道路画像生成システム１０と通信可能なように接続され、ＤＶカメラ１４で撮影された画像を記憶部３１に記憶することができる。
【００１７】
図３は魚眼レンズ１３を介して映しだされた基準パターンを示す写真の一例である。画面の下側にある白色の模様と黒色の模様とが交互に組み合わされ、円弧上に歪曲した部分が基準パターンとなる。このように魚眼レンズ１３を用いることで、魚眼レンズ１３の前方、両側及びレンズの直下まで撮影することができる。
【００１８】
図４（Ａ）は魚眼レンズを介して撮影された基準パターンの模式図である。図４（Ｂ）は真上から見た基準パターンであり、車両（図４（Ｃ））からみたときの路面上の座標が特定される。例えば、図４（Ａ）におけるピクセル（ｘｐ０，ｙｐ０）、（ｘｐｎ，ｙｐｎ）は図４（Ｂ）における座標(相対座標)（ｘｃ０，ｙｃ０）、（ｘｃｎ，ｙｃｎ）にそれぞれ対応する。
【００１９】
図５は基準パターンに基づき、撮影画像のピクセルに映されるべき画像と該画像の路面における座標（車両からの相対位置）との関係を特定するための処理を説明するフローチャートである。
まず、基準パターンの撮像画像において市松模様の格子点を映すピクセルを抽出する（ステップ１）。抽出されたピクセルに映し出された市松模様の格子点の路面上の座標（車両からみた相対位置）を特定し、格子点を映すピクセルとその路面上での座標とを関連づける（ステップ３）。
ステップ５では、撮像画像においてデータ取得する領域を特定する。この実施例では基準パターンが映されている領域（撮像画像では三日月形状となる。図３参照）を当該データ取得領域としている。データ取得領域は任意に設定することができる。
ステップ７では、ステップ３で求めた関係（格子点のピクセルとその座標との関係）を基準にして、データ取得領域を構成する全ピクセルにつきそこに映し出されるべき路面の部分の座標を線形補間などの周知の方法を用いて演算により求める。演算の方法は特に限定されるものではない。このようにして求められたピクセルとそこ映し出される路面の部分の座標との関係は相対位置記憶領域３１２に保存される。
【００２０】
図６は道路画像生成システム１０を搭載した車両１００を走向させて、実際に路面を撮影し、当該撮影画像を用いて道路画像を生成する処理を示すフローチャートである。
車両１００が計測区間の始点に到着したときに、ＧＰＳアンテナ１７から車両１００の地理的座標を取得する（ステップ２１）。取得された地理的座標は位置履歴記憶領域３１３に記憶される。地理的座標の取得と同時に、ヨージャイロ１８、車両パルス１９、後退信号２０の計測を開始する（ステップ２３）。計測開始後は所定のタイミングで位置履歴（ヨージャイロ１８、車両パルス生成部１９、後退信号２０）を位置履歴記憶領域３１３に記憶していく（ステップ２５）。
一方、収録はＤＶカメラ１４で行われ、計測区間に入る前から収録を開始する（ステップ２７）。この時点では、ＬＥＤ１５は点灯した状態にある。その後、車両１００が計測区間の始点に到達したとき、収録スイッチ１６をオンにすることで、ＬＥＤ１５を消灯させる（ステップ２９）。そして、所望の計測区間の収録が行われる（ステップ３１）。計測区間の終点に到達したとき、収録スイッチ１６をオフにするとともに、ＬＥＤ１５が点灯し（ステップ３３）、その後、録画が終了される（ステップ３４）。
【００２１】
撮影した画像はステップ２１及び２３で得られた位置履歴と関連付けて、画像記憶領域３１４に記憶される（ステップ３５）。DVカメラで撮影した画像は動画として保存されているので、所定のタイミングで静止画を抽出して路面画像とする。このタイミングは、車両の位置履歴の取得タイミングと等しくする。これにより、静止画を取得時の車両の位置を特定出来るからである。なお、撮影された時系列順に路面画像へ画像番号１〜Ｔを付すものとする。
そして路面画像の中から、データ取得領域を切り出す(ステップ３７)。切り出されたデータ取得領域を構成する全てのピクセルにつき、相対位置記憶領域３１２に保存されている関係を参照して、各ピクセルに映し出された画像とその路面上での座標（相対位置）を特定する（ステップ３９）。この座標は位置履歴記憶領域３１３に記録されている車両の位置履歴を参照することにより、地図データ上の座標（絶対位置）となるので、ステップ４１では、データ取得領域を構成する全てのピクセルにつきそこに映し出された路面の部分の絶対座標を特定する。
【００２２】
ステップ４３では、路面画像とそのピクセルに特定された絶対座標との関係を用いて道路画像を形成する。ステップ４３の詳細を図７に示す。
ステップ４３１では道路画像のテンプレート２００を作成する。このテンプレート２００は画像を構成するものであって、一般的な道路データに基づいて全てのピクセルに対して絶対座標が付されており、当初は全てのピクセルを黒色としている。テンプレート２００におけるデフォルト時の各ピクセルの明度は任意に指定できる。そして、テンプレート２００における対象道路部分（道路画像の作成対象となる道路）に対応するピクセルが指定される（ステップ４３２）。この対象道路部分を概念的に示すため、図８では当該対象道路部分を白抜き部分２０１として示している。
【００２３】
ステップ４３３ではこの対象道路部分２０１のピクセルの絶対座標が特定され、ステップ４３５において当該対象道路部分２０１の上縁左端のピクセルＰ０において当該ピクセルＰ０の絶対座標と等しい絶対座標の有無を撮影順序の新しい路面画像（画像番号Ｔ）から古い路面画像へ、即ち画像番号をＴ−１、Ｔ−２，Ｔ−３ … ２、１とスキャンする。対象道路部分２０１のピクセルＰ０と等しい絶対座標をそのデータ取得領域に有する路面画像が存在したらその後のスキャンは省略する（ステップ４３７）。これにより、撮影順序が最も新しい路面画像における対応絶対座標のピクセルが特定されるので、当該ピクセルの明度を読出し、この明度を対象道路部分２０１のピクセルＰ０の明度として指定する（ステップ４３９）。
【００２４】
この実施例では、テンプレートの上縁左端のピクセルＰ０から下縁右端のピクセルＰｍにつき順次ステップ４３５−４３９を繰り返す（ステップ４４１，４４３）。
このようにして得られた道路画像の例を図９（Ａ）に示す。図９（Ｂ）は路面画像の例を示す。
図６に戻り、ステップ４５においてこの道路画像が保存される。
【００２５】
この実施例では、車両の先端側に光学系が設置されているので、対象道路部分２０１の各ピクセルの明度には最も新しく撮影された路面画像のピクセルの明度が採用されている。これにより、対象道路部分２０１の各ピクセルの絶対座標に対応する路面部分を最も近い距離で撮影した路面画像を採用し、その明度を指定できるようにしている。よって、路面の傾きや車両の捻れなどの誤差の影響を出来る限り排除できる。
同様の理由により、車両の後端側に光学系を設置した場合には、対象道路部分２０１の各ピクセルの明度には最も古く撮影された路面画像のピクセルの明度を採用することが好ましい。
【００２６】
この発明では、基準パターンに基づき、路面画像における所定のピクセルに映し出されるべき路面の部分の絶対位置が特定され、もって平面的な道路画像が生成される。ここにおいて、光学系を他の車両に載せ替えたり、光学系の位置が移動した場合においても、図５のフローチャートに示した処理を行い、相対位置記録領域の内容を校正することにより、道路画像生成作業を簡単に再開することが出来る。
なお、この実施例では、路面画像の撮影から道路画像の生成までは１つシステムが行なっているが、撮影された路面画像を編集して道路画像を生成する処理を別のシステムで行なうようにすることもできる。
【００２７】
この発明は上記発明の実施の態様及び実施例の説明に何ら限定されるものではない。特許請求の範囲を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
【図面の簡単な説明】
【００２８】
【図１】図１は本発明の実施例で用いられる道路画像生成システム１０の構成図を説明する。
【図２】図２は魚眼レンズ１３を備えるＤＶカメラ１４を搭載した車両１００の側面図である。
【図３】図３は魚眼レンズ１３を介して撮影された基準パターンを含む写真である。
【図４】図４（Ａ）は魚眼レンズを介して基準パターンの撮像画像である。（Ｂ）は基準パターンである。（Ｃ）は魚眼レンズを備える光学系を搭載した車両である。
【図５】図５は車両から基準パターンまでの相対位置を特定する動作を説明するフローチャートである。
【図６】図６は道路画像生成システム１０を搭載した車両１００が路面画像を取得し、道路画像を生成する動作を示すフローチャートである。
【図７】図７は路面画像から道路画像を生成する処理を示すフローチャートである。
【図８】図８は道路画像のテンプレートの例を示す。
【図９】図９は実施例で得られた道路画像の例を示す。
【符号の説明】
【００２９】
１０ 道路画像生成システム、
１３ 魚眼レンズ
１４ ＤＶカメラ
１７ ＧＰＳアンテナ
３１ 記憶部
１００ 車両
【技術分野】
【０００１】
本発明は、道路画像生成システムに関する。詳しくは、車両に固定された光学系を用いて路面を撮影し、このようにして得られた路面画像から道路画像を生成するシステムに関する。
【背景技術】
【０００２】
カーナビゲーションシステムなどに用いられる地図データに必要な情報(道路の中央線に描かれた道路標示など)を道路画像から取得することが求められている。その一つの方法として、航空機などを使用して上空から空中写真を撮影し、その撮影された空中写真を、真上から見たようにオルソ作成処理することで道路画像が作成される。しかしながら、上空から空中写真を撮影する方法では、道路上に車両などの障害物が存在しているときに空中写真を撮影すると、車両が映り込んだ空中写真となり精度の高い道路画像を作成することができない。そして、その障害物の下にペイントされた道路標示を撮影することもできない。仮に、道路標示（例えば、「と」「ま」「れ」）を映しだすことができたとしても、その各文字の間の距離の誤差が大きく、地図データとして用いることが難しい。
一方、超広角のＣＣＤカメラを車両搭載して、路面上の道路標示を撮影する発明もなされている（例えば、特許文献１参照）。
【特許文献１】特開２００３−１２３１９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、ＣＣＤカメラによる道路標示を撮影する発明は、道路標示を認識することを目的とするものであり、撮影された画像には地理的座標が関連付けられておらず、カーナビゲーションシステムなどの地図データとして利用することができない。
そこで、本発明は、地理的座標が関連付けられた路面を撮影し、該撮影画像を合成することで道路画像を作成するシステムを提供することを課題とする。
【課題を解決するための手段】
【０００４】
本発明は以上の課題を解決するために、次の構成からなる。即ち、
車両に固定された光学系を用いて該車両から所定の位置関係にある基準パターンを撮影し、撮影された前記基準パターンに基づき前記光学系の撮影画像の所定のピクセルに映し出されるべき路面の部分に対する前記車両からの相対位置を特定する相対位置特定手段と、
前記光学系による撮影時の前記車両の位置を特定する車両位置特定手段と、
前記車両位置特定手段と、前記相対位置特定手段に基づき、前記光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、該絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システムである。
【０００５】
上記第１の構成により、車両に固定された光学系を用いて当該光学系から所定の位置（光学系から一定の距離にある位置）にある路面上に描かれた基準パターンを撮影する。この撮影時には、光学系の一部としてレンズを用いる。レンズを介して映しだされる基準パターンは歪曲した基準パターンとなる。
撮影した画像に映し出された基準パターンの所定部分を含むピクセルと基準パターンにおいて当該部分の路面上における座標とを対応させる。例えば、基準パターンとして市松模様を採用した場合は、路面に描かれた市松模様の格子点と基準パターンの撮影画像において当該格子点が存在するピクセルとを対応させる。車両に固定された光学系からみて路面に描かれた各格子点の座標は定められているので、撮影画像において格子点を映し出しているピクセルは常に車両から見て所定の位置の路面の部分を表示していることがわかる。これにより、撮影画像の所定のピクセルに映し出される映像（路面の部分）と車両からみた路面上の当該部分の座標とが対応される。
また、本システムの車両は地理的座標を特定する手段も備える。従って、所定のピクセルに映し出される路面の部分の座標の絶対位置を特定することができる。よって、各ピクセルに映し出された路面の部分（絶対位置が特定されている）を合成することで、道路画像を生成することができ、この道路画像はカーナビゲーションシステムに適用可能となる。
【０００６】
第２の構成によれば、第１の構成において、基準パターンが市松模様である。
市松模様は白色の正方形と黒色の正方形が交互に整列して組み合わされた模様である。このような市松模様を基準パターンとすると、市松模様を構成する正方形の格子点（頂点）の座標を特定することが容易になる。
なお、基準パターンは正方形の市松模様に限定されず、長方形でもよい。また、基準パターンの模様も市松模様に限定されず、規則性のある模様(例えば、格子、ドット)を用いてもよい。
【０００７】
第３の構成によれば、第１又は第２の構成において、光学系は魚眼レンズを含む。
光学系として魚眼レンズを用いることにより、レンズの全周方向の撮影が可能となる。従って、車両の進行方向へ向けてかつ車両から突き出す方法で魚眼レンズを取り付けたとき、車両先端の下部路面（ナンバープレートの直下の路面）まで撮影が可能となる。これにより、自車両の前方を走行する車両の影の影響を受けない画像を撮影することが可能となる。
さらに、魚眼レンズは全周方向の撮影が可能なため、道路際に設置される道路標識や建物の撮影も可能となる。これにより、撮影した画像の編集時に、地理的座標と実在の道路標識や建物の位置とを比較しながら道路画像を生成することができるため、精度の高い道路画像を生成することが可能となる。
なお、車両に搭載される光学系（魚眼レンズ）は２台以上でもよい。光学系を車両の前後に取り付けることで、２台の光学系で撮影された画像のうち、建物や他の車両による影の影響を受けていない画像を選び出してもよい。また、逆光の影響がでるようなときには、逆光の影響を受けていない画像を選択してもよい。
【０００８】
第４の構成によれば、第３の構成において、光学系は魚眼レンズと該魚眼レンズを通過した光を撮影するＣＣＤカメラとを備え、撮影時に生じるスミアが水平方向に発生するようにＣＣＤカメラの向きを設置する。
ＣＣＤカメラが通常設置の場合、太陽光などの強い光がＣＣＤカメラに入射すると、画面の縦方向にスミア（輝線）が生じる。したがって、スミアの生じた画像を素材として利用することはできない。一方、本発明では路面画像を利用するため、撮影した画像においてもっぱら下半分が必要となる。
そこで、ＣＣＤカメラを横置きに配置し、ＣＣＤカメラに生じるスミアが画面の横方向に生じるようにした。また、画面の上半分にスミアが生じるようにＣＣＤカメラの設置角度を調整することで、スミアの影響を受けない路面画像の取得が可能となる。
【０００９】
第５の構成によれば、第１〜第４の何れかの構成において、光学系により撮影可能な位置に配置される発光体が更に備えられ、該発光体は道路画像生成に用いられるべき路面画像の撮影時に消灯し、他のタイミングでは点灯する。
発光体（例えば、ＬＥＤ素子）は収録スイッチと同期しており、収録スイッチをオンしたタイミングで発光体は消灯し、消灯した時点が計測区間の始点となる。その後、計測区間を収録し終わった後、収録スイッチはオフされて発光体は点灯する。これにより、撮影した画像の編集作業時に発光体の点灯の有無で計測区間かどうかの判断ができるため、編集作業の効率が良くなる。
なお、発光体の点灯又は消灯は、必ずしも収録開始又は終了と同期させる必要はない。路面画像の編集作業を効率良くするため、収録を開始してから、車両が計測区間の始点に到達したとき、ＬＥＤ素子を消灯させてもよい。また、ＬＥＤ素子を点灯させて後に収録を終了させてもよい。このように、計測区間の前後の画像を含めることで編集作業の効率が良く行える。
【実施例】
【００１０】
図１は本発明の実施例で用いられる道路画像生成システム１０の構成図である。図２は魚眼レンズ１３を備えるＤＶカメラ１４を搭載した車両１００の側面図である。図３は魚眼レンズ１３を介して撮影された基準パターンを含む写真である。
道路画像生成システム１０は、魚眼レンズ１３を備えるＤＶカメラ１４、魚眼レンズ１３に写りこむように配置されたＬＥＤ素子１５、収録スイッチ１６、ＧＰＳアンテナ１７、ヨージャイロ１８、車速パルス生成部１９、後退信号２０、道路画像生成部２１及び記憶部３１を備える。
【００１１】
ＤＶカメラ１４（ＣＣＤカメラ内蔵）は路面を動画として撮影するために用いられる。このＤＶカメラ１４は魚眼レンズ１３を備える。この魚眼レンズ１３は全周画像を取得可能であり、走行中の車線及び隣接する車線、道路に設置された標識、車線に隣接する街路を撮影可能である。
ＤＶカメラ１４に内蔵されたＣＣＤカメラは横向きに設置する。これにより、輝度の強い光（例えば、太陽光）がＣＣＤに入射したときに生じるスミアを、撮影画像の水平方向に生じさせることができる。さらに、ＤＶカメラ１４の設置角度の向きを調整することで、撮影画像にスミアが映り込むことを防止することができる。
【００１２】
収録スイッチ１６は計測区間の始点及び終点を確定するためのＬＥＤ１５を点灯又は消灯させるために使用される。また、収録スイッチ１６のオン及びオフの情報（すなわち、ＬＥＤ１５の消灯又は点灯の情報）は位置履歴情報に関係付けられ、計測区間の始点と終点の地理的座標を特定することを容易にする。
計測区間の始点に車両が到達したとき、収録スイッチ１６はオンされ、ＬＥＤ１５は消灯する。計測区間を走行中は常にＬＥＤ１５は消灯状態であるため、撮影画像にＬＥＤ１５の光は映りこんでいない。一方、計測区間の終点に到達したときに収録スイッチ１６はオフされ、ＬＥＤ１５を点灯することになる。
【００１３】
ＧＰＳアンテナ１７は車両位置特定手段として用いられる。ＧＰＳアンテナ１７は収録スイッチと同期して作動させることができる。収録スイッチがオンされたとき、ＧＰＳアンテナ１７は車両の地理的座標を特定する。特定された車両の地理的座標は位置履歴記憶領域３１３に記憶される。
ヨージャイロ１８は車両のヨー方向（車両の左右方向の向き）を計測する。車両が計測区間を走行中に障害物（例えば、自転車）と遭遇したとき、左右方向に車両を移動させた情報を計測しておくことで、車両の地理的座標を特定することができる。
車速パルス生成部１９は車両が一定間隔を進行する毎にパルスを送出する。そのパルスの数を記憶しておくことで、車両の進行距離を把握する。すなわち、最初に特定した車両の地理的座標からの相対位置を決定するために用いられる。
後退信号２０は車両が後退した距離を車速パルス生成部１９に反映させて、最初に特定した地理的座標からの相対位置を決定するために用いられる。
【００１４】
魚眼レンズ１３を介して撮影された画像は歪曲しているため、この歪曲した撮影画像を合成させただけでは、真上から見た道路画像を生成することはできない。そこで、道路画像生成部２１では撮影画像の所定のピクセルにつき、そこに映し出された路面上の座標を特定し、特定された座標へ該当するピクセルの明度を割り付けることにより、道路画像を生成することとした。
【００１５】
記憶部３１は制御プログラム記憶領域３１１、相対位置記憶領域３１２、位置履歴記憶領域３１３、画像記憶領域３１４、道路画像記憶領域３１５を備える。
制御プログラム記憶領域３１１は制御部１１に備えられたＣＰＵ１２を制御するための制御プログラムが記憶される領域である。道路画像生成システム１０を構成する各要素はこのＣＰＵ１２にバスを介して接続されており、このＣＰＵ１２を動作させる制御プログラムに従って、所定の動作を行うことになる。
相対位置保存領域３１２は撮影画像の所定のピクセルと該ピクセルに映し出された路面の部分の座標との関係を保存する。この路面の座標は車両に対する相対位置である。
位置履歴記憶領域３１３はＧＰＳアンテナ１７、ヨージャイロ１８、車速パルス生成部１９、後退信号２０で得られた車両の位置履歴情報が記憶される。この位置履歴情報は、まず、ＧＰＳアンテナ１７で車両の地理的座標を決定する。その決定された地理的座標に対して、左右方向の傾き、車速パルスの数、車両の後退を示す情報が関連付けられて記憶される。これらの情報を読み出すことによって、計測区間内における車両の地理的座標を特定することができる。
画像記憶領域３１４はＤＶカメラ１４で撮影された路面画像を記憶する領域である。撮影された路面画像は位置履歴記憶領域３１３に記憶されている車両の地理的座標と関連付けられて記憶されている。すなわち、画像記憶領域３１４に記憶された路面画像の所定のピクセルに映し出された路面の部分に対して、絶対位置を特定することが可能となる。
【００１６】
図２は魚眼レンズ１３を備えたＤＶカメラ１４を搭載した車両１００の側面図である。車両１００の上部に延長棒１０１を固定し、ＤＶカメラ１４はその延長棒１０１の先端に固定される。ＤＶカメラ１４の固定される位置は車両の先端の直下が映り込むように、できるだけ車両の先端にカメラを配置することが好ましい。車両の先端の直下は前方を走行する車両の影響（例えば、前方を走る車両の影）を受けにくいためである。
また、ＤＶカメラ１４に備えられたＣＣＤカメラの設置する向きを真横にし、さらにＣＣＤカメラの路面に対する設置角度を調整することで、もっぱら道路が映される撮影画像の下半分にスミアが現れないようにすることができる。
延長棒１０１に固定されたＤＶカメラ１４は車両内部に搭載された道路画像生成システム１０と通信可能なように接続され、ＤＶカメラ１４で撮影された画像を記憶部３１に記憶することができる。
【００１７】
図３は魚眼レンズ１３を介して映しだされた基準パターンを示す写真の一例である。画面の下側にある白色の模様と黒色の模様とが交互に組み合わされ、円弧上に歪曲した部分が基準パターンとなる。このように魚眼レンズ１３を用いることで、魚眼レンズ１３の前方、両側及びレンズの直下まで撮影することができる。
【００１８】
図４（Ａ）は魚眼レンズを介して撮影された基準パターンの模式図である。図４（Ｂ）は真上から見た基準パターンであり、車両（図４（Ｃ））からみたときの路面上の座標が特定される。例えば、図４（Ａ）におけるピクセル（ｘｐ０，ｙｐ０）、（ｘｐｎ，ｙｐｎ）は図４（Ｂ）における座標(相対座標)（ｘｃ０，ｙｃ０）、（ｘｃｎ，ｙｃｎ）にそれぞれ対応する。
【００１９】
図５は基準パターンに基づき、撮影画像のピクセルに映されるべき画像と該画像の路面における座標（車両からの相対位置）との関係を特定するための処理を説明するフローチャートである。
まず、基準パターンの撮像画像において市松模様の格子点を映すピクセルを抽出する（ステップ１）。抽出されたピクセルに映し出された市松模様の格子点の路面上の座標（車両からみた相対位置）を特定し、格子点を映すピクセルとその路面上での座標とを関連づける（ステップ３）。
ステップ５では、撮像画像においてデータ取得する領域を特定する。この実施例では基準パターンが映されている領域（撮像画像では三日月形状となる。図３参照）を当該データ取得領域としている。データ取得領域は任意に設定することができる。
ステップ７では、ステップ３で求めた関係（格子点のピクセルとその座標との関係）を基準にして、データ取得領域を構成する全ピクセルにつきそこに映し出されるべき路面の部分の座標を線形補間などの周知の方法を用いて演算により求める。演算の方法は特に限定されるものではない。このようにして求められたピクセルとそこ映し出される路面の部分の座標との関係は相対位置記憶領域３１２に保存される。
【００２０】
図６は道路画像生成システム１０を搭載した車両１００を走向させて、実際に路面を撮影し、当該撮影画像を用いて道路画像を生成する処理を示すフローチャートである。
車両１００が計測区間の始点に到着したときに、ＧＰＳアンテナ１７から車両１００の地理的座標を取得する（ステップ２１）。取得された地理的座標は位置履歴記憶領域３１３に記憶される。地理的座標の取得と同時に、ヨージャイロ１８、車両パルス１９、後退信号２０の計測を開始する（ステップ２３）。計測開始後は所定のタイミングで位置履歴（ヨージャイロ１８、車両パルス生成部１９、後退信号２０）を位置履歴記憶領域３１３に記憶していく（ステップ２５）。
一方、収録はＤＶカメラ１４で行われ、計測区間に入る前から収録を開始する（ステップ２７）。この時点では、ＬＥＤ１５は点灯した状態にある。その後、車両１００が計測区間の始点に到達したとき、収録スイッチ１６をオンにすることで、ＬＥＤ１５を消灯させる（ステップ２９）。そして、所望の計測区間の収録が行われる（ステップ３１）。計測区間の終点に到達したとき、収録スイッチ１６をオフにするとともに、ＬＥＤ１５が点灯し（ステップ３３）、その後、録画が終了される（ステップ３４）。
【００２１】
撮影した画像はステップ２１及び２３で得られた位置履歴と関連付けて、画像記憶領域３１４に記憶される（ステップ３５）。DVカメラで撮影した画像は動画として保存されているので、所定のタイミングで静止画を抽出して路面画像とする。このタイミングは、車両の位置履歴の取得タイミングと等しくする。これにより、静止画を取得時の車両の位置を特定出来るからである。なお、撮影された時系列順に路面画像へ画像番号１〜Ｔを付すものとする。
そして路面画像の中から、データ取得領域を切り出す(ステップ３７)。切り出されたデータ取得領域を構成する全てのピクセルにつき、相対位置記憶領域３１２に保存されている関係を参照して、各ピクセルに映し出された画像とその路面上での座標（相対位置）を特定する（ステップ３９）。この座標は位置履歴記憶領域３１３に記録されている車両の位置履歴を参照することにより、地図データ上の座標（絶対位置）となるので、ステップ４１では、データ取得領域を構成する全てのピクセルにつきそこに映し出された路面の部分の絶対座標を特定する。
【００２２】
ステップ４３では、路面画像とそのピクセルに特定された絶対座標との関係を用いて道路画像を形成する。ステップ４３の詳細を図７に示す。
ステップ４３１では道路画像のテンプレート２００を作成する。このテンプレート２００は画像を構成するものであって、一般的な道路データに基づいて全てのピクセルに対して絶対座標が付されており、当初は全てのピクセルを黒色としている。テンプレート２００におけるデフォルト時の各ピクセルの明度は任意に指定できる。そして、テンプレート２００における対象道路部分（道路画像の作成対象となる道路）に対応するピクセルが指定される（ステップ４３２）。この対象道路部分を概念的に示すため、図８では当該対象道路部分を白抜き部分２０１として示している。
【００２３】
ステップ４３３ではこの対象道路部分２０１のピクセルの絶対座標が特定され、ステップ４３５において当該対象道路部分２０１の上縁左端のピクセルＰ０において当該ピクセルＰ０の絶対座標と等しい絶対座標の有無を撮影順序の新しい路面画像（画像番号Ｔ）から古い路面画像へ、即ち画像番号をＴ−１、Ｔ−２，Ｔ−３ … ２、１とスキャンする。対象道路部分２０１のピクセルＰ０と等しい絶対座標をそのデータ取得領域に有する路面画像が存在したらその後のスキャンは省略する（ステップ４３７）。これにより、撮影順序が最も新しい路面画像における対応絶対座標のピクセルが特定されるので、当該ピクセルの明度を読出し、この明度を対象道路部分２０１のピクセルＰ０の明度として指定する（ステップ４３９）。
【００２４】
この実施例では、テンプレートの上縁左端のピクセルＰ０から下縁右端のピクセルＰｍにつき順次ステップ４３５−４３９を繰り返す（ステップ４４１，４４３）。
このようにして得られた道路画像の例を図９（Ａ）に示す。図９（Ｂ）は路面画像の例を示す。
図６に戻り、ステップ４５においてこの道路画像が保存される。
【００２５】
この実施例では、車両の先端側に光学系が設置されているので、対象道路部分２０１の各ピクセルの明度には最も新しく撮影された路面画像のピクセルの明度が採用されている。これにより、対象道路部分２０１の各ピクセルの絶対座標に対応する路面部分を最も近い距離で撮影した路面画像を採用し、その明度を指定できるようにしている。よって、路面の傾きや車両の捻れなどの誤差の影響を出来る限り排除できる。
同様の理由により、車両の後端側に光学系を設置した場合には、対象道路部分２０１の各ピクセルの明度には最も古く撮影された路面画像のピクセルの明度を採用することが好ましい。
【００２６】
この発明では、基準パターンに基づき、路面画像における所定のピクセルに映し出されるべき路面の部分の絶対位置が特定され、もって平面的な道路画像が生成される。ここにおいて、光学系を他の車両に載せ替えたり、光学系の位置が移動した場合においても、図５のフローチャートに示した処理を行い、相対位置記録領域の内容を校正することにより、道路画像生成作業を簡単に再開することが出来る。
なお、この実施例では、路面画像の撮影から道路画像の生成までは１つシステムが行なっているが、撮影された路面画像を編集して道路画像を生成する処理を別のシステムで行なうようにすることもできる。
【００２７】
この発明は上記発明の実施の態様及び実施例の説明に何ら限定されるものではない。特許請求の範囲を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
【図面の簡単な説明】
【００２８】
【図１】図１は本発明の実施例で用いられる道路画像生成システム１０の構成図を説明する。
【図２】図２は魚眼レンズ１３を備えるＤＶカメラ１４を搭載した車両１００の側面図である。
【図３】図３は魚眼レンズ１３を介して撮影された基準パターンを含む写真である。
【図４】図４（Ａ）は魚眼レンズを介して基準パターンの撮像画像である。（Ｂ）は基準パターンである。（Ｃ）は魚眼レンズを備える光学系を搭載した車両である。
【図５】図５は車両から基準パターンまでの相対位置を特定する動作を説明するフローチャートである。
【図６】図６は道路画像生成システム１０を搭載した車両１００が路面画像を取得し、道路画像を生成する動作を示すフローチャートである。
【図７】図７は路面画像から道路画像を生成する処理を示すフローチャートである。
【図８】図８は道路画像のテンプレートの例を示す。
【図９】図９は実施例で得られた道路画像の例を示す。
【符号の説明】
【００２９】
１０ 道路画像生成システム、
１３ 魚眼レンズ
１４ ＤＶカメラ
１７ ＧＰＳアンテナ
３１ 記憶部
１００ 車両
【特許請求の範囲】
【請求項１】
車両に固定された光学系を用いて該車両から所定の位置関係にある基準パターンを撮影し、撮影された前記基準パターンに基づき前記光学系の撮影画像の所定のピクセルに映し出されるべき路面の部分に対する前記車両からの相対位置を特定する相対位置特定手段と、
前記光学系による撮影時の前記車両の位置を特定する車両位置特定手段と、
前記車両位置特定手段と、前記相対位置特定手段に基づき、前記光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、該絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システム。
【請求項２】
前記基準パターンが市松模様である、ことを特徴とする請求項１に記載の道路画像生成システム。
【請求項３】
前記光学系は魚眼レンズを含む、ことを特徴とする請求項１又は２に記載の道路画像生成システム。
【請求項４】
前記光学系は前記魚眼レンズと該魚眼レンズを通過した光を撮影するＣＣＤカメラとを備え、撮影時に生じるスミアが水平方向に発生するように前記ＣＣＤカメラの向きを変えて設置する、ことを特徴とする請求項３に記載の道路画像生成システム。
【請求項５】
前記光学系により撮影可能な位置に配置される発光体が更に備えられ、該発光体は道路画像生成に用いられるべき路面画像の撮影時に消灯し、他のタイミングでは点灯している、ことを特徴とする請求項１〜４の何れかに記載の道路画像生成システム。
【請求項１】
車両に固定された光学系を用いて該車両から所定の位置関係にある基準パターンを撮影し、撮影された前記基準パターンに基づき前記光学系の撮影画像の所定のピクセルに映し出されるべき路面の部分に対する前記車両からの相対位置を特定する相対位置特定手段と、
前記光学系による撮影時の前記車両の位置を特定する車両位置特定手段と、
前記車両位置特定手段と、前記相対位置特定手段に基づき、前記光学系で撮影された路面画像における所定のピクセルに映し出される路面の部分の絶対位置を特定し、該絶対位置の特定された路面の部分を合成して道路画像を生成する、道路画像生成システム。
【請求項２】
前記基準パターンが市松模様である、ことを特徴とする請求項１に記載の道路画像生成システム。
【請求項３】
前記光学系は魚眼レンズを含む、ことを特徴とする請求項１又は２に記載の道路画像生成システム。
【請求項４】
前記光学系は前記魚眼レンズと該魚眼レンズを通過した光を撮影するＣＣＤカメラとを備え、撮影時に生じるスミアが水平方向に発生するように前記ＣＣＤカメラの向きを変えて設置する、ことを特徴とする請求項３に記載の道路画像生成システム。
【請求項５】
前記光学系により撮影可能な位置に配置される発光体が更に備えられ、該発光体は道路画像生成に用いられるべき路面画像の撮影時に消灯し、他のタイミングでは点灯している、ことを特徴とする請求項１〜４の何れかに記載の道路画像生成システム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図９】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図９】
【公開番号】特開２００８−５９１０４（Ｐ２００８−５９１０４Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００６−２３２９２３（Ｐ２００６−２３２９２３）
【出願日】平成１８年８月３０日（２００６．８．３０）
【出願人】（５０１２７１４７９）株式会社トヨタマップマスター (56)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１８年８月３０日（２００６．８．３０）
【出願人】（５０１２７１４７９）株式会社トヨタマップマスター (56)
【Ｆターム（参考）】
[ Back to top ]