地図画像処理装置、地図画像処理方法、および、コンピュータプログラム
【課題】３次元地図データの作成を効率良く行う。
【解決手段】地図画像処理装置２００は、３次元座標空間で表された３次元地図データを記憶する記憶部Ｄ１３と、３次元地図データを所定の透視投影条件で透視投影して、２次元画像５００に変換する座標変換部と、現実世界を撮影した撮影画像Ｆｎを取得する撮影画像取得部と、撮影画像に含まれる路面標識実写画像と、２次元画像に含まれる路面標識投影画像とが一致するように、透視投影条件を修正する透視投影条件修正部と、撮影画像Ｆｎに含まれるビルＢＬなどの地物の画像を、修正された透視投影条件で透視投影された２次元画像に含まれる地物に対応付けることにより、撮影画像に含まれる地物の画像を３次元地図データにテクスチャマッピングするテクスチャ適用部と、を備える。
【解決手段】地図画像処理装置２００は、３次元座標空間で表された３次元地図データを記憶する記憶部Ｄ１３と、３次元地図データを所定の透視投影条件で透視投影して、２次元画像５００に変換する座標変換部と、現実世界を撮影した撮影画像Ｆｎを取得する撮影画像取得部と、撮影画像に含まれる路面標識実写画像と、２次元画像に含まれる路面標識投影画像とが一致するように、透視投影条件を修正する透視投影条件修正部と、撮影画像Ｆｎに含まれるビルＢＬなどの地物の画像を、修正された透視投影条件で透視投影された２次元画像に含まれる地物に対応付けることにより、撮影画像に含まれる地物の画像を３次元地図データにテクスチャマッピングするテクスチャ適用部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、 地図画像処理装置、地図画像処理方法、および、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
コンピュータで利用可能に電子化された２次元地図データを利用して、車両や歩行者に経路案内を行う技術を始めとして、地表上の施設や道路などの情報を電子機器の表示部に表示することは広く行われている。現在は、さらに、３次元座標空間上で地表の状況を再現した３次元地図データの整備も進んでいる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４６６５０号公報
【特許文献２】特開２００４−１２６６３３号公報
【特許文献３】特開２００３−１１１１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような３次元地図データを、テクスチャマッピングなどの技術を用いてリアルに作成するには、膨大な作業が必要であるという問題があり、３次元地図データの作成を効率良く行う技術が求められている。
【０００５】
本発明は、効率の良い３次元地図データの作成を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］地図画像処理装置であって
地図データを記憶する記憶部と、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換する座標変換部と、
車両の走行方向の現実世界を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる路面標識実写画像を認識する路面標識認識部と、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する透視投影条件修正部と、
を備える、地図画像処理装置。
【０００８】
適用例１の地図画像処理装置によれば、地図データを透視投影した２次元画像の透視投影条件を、現実世界を撮影した撮影画像と２次元画像とが路面標識を基準にして重なるように設定している。車両の走行方向の路面標識については、障害物により邪魔されずに撮影可能なタイミングが発生するものなので、効率よく認識することができる。そして、路面標識は、位置が安定して固定されているものなので、地図データを透視投影した２次元画像を撮影画像に対して正確に重ね合わせることが可能となる。
【０００９】
［適用例２］適用例１に記載の地図画像処理装置であって、
前記撮影画像に含まれる地物の画像を、修正された前記透視投影条件で透視投影された前記２次元画像に含まれる前記地物に対応付けることにより、前記撮影画像に含まれる地物の画像を前記地図データにテクスチャマッピングするテクスチャ適用部
を備える、地図画像処理装置。
【００１０】
［適用例３］適用例１に記載の地図画像処理装置であって、
前記路面標識認識部は、前記撮影画像を解析して前記路面標識実写画像の特徴点を前記撮影画像上に複数設定し、
前記透視投影条件修正部は、前記２次元画像に含まれる前記路面標識投影画像の複数の特徴点と、前記路面標識実写画像の複数の特徴点とが一致するように、前記透視投影条件を修正する、地図画像処理装置。
【００１１】
なお、本発明は、種々の形態で実現することが可能であり、例えば、地図画像処理方法と、地図データを作成するためのコンピュータプログラム、当該コンピュータプログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例としての地図画像処理システムの一部を構成する車両１００の概略構成を示す説明図である。
【図２】実施例としての地図画像処理システムの一部を構成する地図画像処理装置の概略構成を示す説明図である。
【図３】３次元地図データ記憶部Ｄ１３に格納された３次元地図データの概要を説明する説明図である。
【図４】透視投影について説明する図である。
【図５】３次元データである画像データＤ１３１をある透視投影条件にて２次元画像に変換した画像５００を示す図である。
【図６】図５に示す２次元画像が示す場所をほぼ同じ視点から現実に撮影したフレーム画像Ｆｎを示す図である。
【図７】地図画像処理の処理ステップを表すフローチャートである。
【図８】路面標識認識処理の際に前処理として行われる画像処理について説明する第１の図である。
【図９】路面標識認識処理の際に前処理として行われる画像処理について説明する第２の図である。
【図１０】路面標識認識処理の際に前処理として行われる画像処理について説明する第３の図である。
【図１１】路面標識認識処理の際に前処理として行われる画像処理について説明する第４の図である。
【図１２】路面標識認識処理の際に前処理として行われる画像処理について説明する第５の図である。
【図１３】形状認識処理について示す第１の図である。
【図１４】形状認識処理について示す第２の図である。
【図１５】仮カメラ位置推定処理について説明する説明図である。
【図１６】透視投影条件の初期値と路面標識の特徴点の設定について説明する図である。
【図１７】透視投影条件修正処理について説明する図である。
【図１８】図５に示す２次元画像５００を最適化処理して図６に示すフレーム画像Ｆｎと重なり合うように調整した画像を示す図である。
【図１９】テクスチャ適用処理について説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら、実施例に基づき説明する。
【００１４】
Ａ．実施例：
・地図画像処理システムの構成：
図１は、実施例としての地図画像処理システムの一部を構成する車両１００の概略構成を示す説明図である。図示するように、車両１００は、撮像装置１１０と、ＧＰＳ受信機１２０と、計算機１３０を備えている。
【００１５】
撮像装置１１０は、例えば、デジタルビデオカメラ、連続撮影可能なデジタルスチルカメラなど、所定の時間間隔でデジタルまたはアナログの画像データを生成できるカメラ装置である。撮像装置１１０は、計算機１３０の制御に従って動作可能であると共に、生成した画像データを計算機１３０に対して送信可能であるように、計算機１３０と通信可能に接続されている。撮像装置１１０は、例えば、車両１００のフロントウインドウ越しに車両１００の前方を撮影するように設置されている。
【００１６】
ＧＰＳ受信機１２０は、ＧＰＳ（Global Positioning System／全地球測位システム）を構成する人工衛星から送信された電波を受信する装置である。ＧＰＳ受信機１２０は、人工衛星から受信した電波をデジタルデータ（ＧＰＳ情報）に変換して、計算機１３０に送信する。
【００１７】
計算機１３０は、ノートパソコンなどの周知のパーソナルコンピュータである。計算機１３０は、図示しない中央演算装置（ＣＰＵ）と、ＲＡＭやＲＯＭなどの内部記憶装置と、ハードディスクなどの外部記憶装置とを備えている。計算機１３０は、ＧＰＳ受信機１２０から取得したＧＰＳ情報に基づいて、車両１００の現在位置を表す現在位置情報（緯度、経度）を、一定間隔で生成し、車両１００の現在位置を常に認識している。車両１００はさらに走行距離計やジャイロセンサを搭載し、計算機１３０による現在位置の認識精度を高めても良い。計算機１３０は、撮像装置１１０が撮影したときの現在位置を撮影位置とし、撮像装置１１０から受信した画像データを、当該画像データが表す撮影画像の撮影位置と関連付けて、外部記憶装置に記憶する。撮影位置は、撮影時刻における車両１００の現在位置とされる。
【００１８】
車両１００に３次元地図データを作成したい経路を走行させながら、撮像装置１１０による撮影を行うことにより、計算機１３０に３次元地図データを作成したい経路の撮影画像と現在位置をデータとして蓄積することができる。
【００１９】
図２は、実施例としての地図画像処理システムの一部を構成する地図画像処理装置の概略構成を示す説明図である。地図画像処理装置２００は、周知のコンピュータであり、ＣＰＵ２０１と、入出力部２０２と、ＲＯＭやＲＡＭなどの内部記憶装置２０３と、ハードディスクなどの外部記憶装置２０４とを備えている。入出力部２０２は、外部機器とデータを遣り取りするためのインターフェースであり、上述した計算機１３０と接続される。この結果、地図画像処理装置２００は、計算機１３０に記憶された撮影画像の画像データと、撮影画像の撮影位置を示す撮影位置情報とを取得できる。
【００２０】
内部記憶装置２０３には、地図画像処理プログラムが格納されており、ＣＰＵ２０１が当該プログラムを実行することにより、図２の内部記憶装置２０３に図示した機能ブロックの機能を実現される。実現される機能ブロックは、撮影画像取得部Ｍ１１と、路面標識認識部Ｍ１２と、３次元地図データ取得部Ｍ１３と、座標変換部Ｍ１４と、仮カメラ位置推定部Ｍ１５と、透視投影条件修正部Ｍ１６と、テクスチャ適用部Ｍ１７を含む。
【００２１】
撮影画像取得部Ｍ１１は、入出力部２０２を介して、上述した撮像装置１１０によって撮影された画像データと画像データに関連付けられた撮影位置情報を取得する。本実施例では、撮像装置１１０はビデオカメラであり、複数のフレーム画像からなる動画像と、各フレーム画像に関連付けられた撮影位置情報とが取得されるものとする。路面標識認識部Ｍ１２は、後述するように、一のフレーム画像を解析して所定の路面標識を認識し、当該フレーム画像上に認識された路面標識の特徴点を複数個設定する。３次元地図データ取得部Ｍ１３は、後述する３次元地図データを３次元地図データ記憶部から取得する。座標変換部Ｍ１４は、３次元地図データを所定の透視投影条件で透視投影して２次元画像に座標変換を行う。この結果、３次元地図データを所定の視点から見た２次元画像を、ディスプレイなどに表示することができる。仮カメラ位置推定部Ｍ１５は、フレーム画像に関連付けられた撮影位置情報や、当該フレーム画像の前や後のフレーム画像群に関連付けられた撮影位置情報から、当該フレーム画像の撮影方向や撮影位置を推定する。仮カメラ位置推定部Ｍ１５は、フレーム画像の撮影方向や撮影位置の推定結果から、フレーム画像と３次元地図データの透視投影条件を仮決めする。透視投影条件修正部Ｍ１６は、仮決めされた透視投影条件を初期値として後述する最適化処理を行って、最終的に３次元地図データを透視投影した２次元画像と、フレーム画像とが正確に重なり合う透視投影条件に修正する。テクスチャ適用部Ｍ１７は、フレーム画像に含まれるビルなどの地物の画像を、修正された透視投影条件で透視投影された２次元画像に含まれるビルなどの地物に対応付けることにより、フレーム画像に含まれるビルなどの地物の画像を３次元地図データにテクスチャマッピングする。
【００２２】
外部記憶装置２０４は、モデルコードデータ記憶部Ｄ１１と、解析データ記憶部Ｄ１２と、３次元地図データ記憶部Ｄ１３とを備えている。モデルコードデータ記憶部Ｄ１１には、路面標識の形状をデータ化したモデルチェーンコード（後述）が記憶されている。解析データ記憶部Ｄ１２には、画像解析による路面標識の認識結果などの解析データが記憶される。３次元地図データ記憶部Ｄ１３には、後述する３次元座標空間で表された３次元地図データが記憶されている。
【００２３】
図３は、３次元地図データ記憶部Ｄ１３に格納された３次元地図データの概要を説明する説明図である。３次元地図データは、画像データＤ１３１と、経路データＤ１３２とを含む。画像データＤ１３１は、３次元座標空間（Ｘ、Ｙ、Ｚ）において、地表の状況を表す３次元データである。画像データＤ１３１は、地表の表面を２次元的に表す表面画像は、比較的詳しく描画しており、路面標識ＲＨやビルＢＬなどの地物の２次元形状などの正確なデータを含んでいる。一方、画像データＤ１３１は、高さ方向のデータは比較的詳しくなく、例えば、高さのあるビルＢＬなどの地物については、ビルＢＬの高さｈの情報程度しか有していない。
【００２４】
経路データＤ１３２は、地図画像データが表す地図画像の地表の表面に存在する交通経路に関するデータである。経路データＤ１３２は、交通経路の地表上における配置を示すネットワークを表すデータである。ネットワークデータは、交通経路における要素点ＮＤ（ノードと呼ぶ。）を表すノードデータと、ノード間を結ぶ線分ＬＫ（リンクと呼ぶ）を表すリンクデータとを含む。ノードＮＤは、例えば、交差点、分岐点、終点、始点、駅などの乗降位置などを表している。リンクＬＫは、例えば、車道、線路、歩行者道などの交通経路を表している。
【００２５】
図４は、透視投影について説明する図である。３次元座標空間（Ｘ、Ｙ、Ｚ）で表された３次元地図データは、ディスプレイなどに２次元表示するため、２次元座標空間（Ｕ、Ｖ）に変換される。３次元空間の所定の位置に投影中心ＥＰをおき、その前に投影面ＴＭを置く。３次元図形Ａの各点から投影中心に向かって投射線を引く。そうすると、投影面と投射線の交点の集まりとして２次元図形ａが形作られる。このような投影法は透視投影と呼ばれている。カメラにて撮影される画像は、一般的に透視投影となる。投影面ＴＭは、所定の長方形の大きさを持ち、この範囲に投影される画像のみが２次元画像として描かれる。投影面ＴＭの大きさはアスペクト比を一定と考えれば、投影中心からの画角ＧＫと、投影中心ＥＰから投影面までの距離ｄとで決まる。図４では、３次元座標空間（Ｘ、Ｙ、Ｚ）の原点に投影中心ＥＰをおき、投影面の中心（投影面中心）ＣＰがＺ軸上にある場合を例に図示している。
【００２６】
所定の３次元データを投射投影した２次元画像を一義的に定める条件（透視投影条件）は、投影中心ＥＰの座標（Ｅｘ、Ｅｙ、Ｅｚ）と、投影面中心ＣＰの座標（Ｃｘ、Ｘｙ、Ｃｚ）と、画角ＧＫおよび視線方向を軸とした回転成分を表すアップベクトルＵＶ（Ｕｘ、Ｕｙ、Ｕｚ）となる。これらの９つの変数が定まれば、所定の３次元データを投射投影した２次元画像を一義的に定めることができる。
【００２７】
図５は、３次元データである画像データＤ１３１をある透視投影条件にて２次元画像に変換した画像５００を示す図である。画像５００には、ビルなどの建造物５０１、道路５０５、道路５０５上に描かれた路面標識５０２〜５０４などが含まれ得る。
【００２８】
図６は、図５に示す２次元画像が示す場所を、ほぼ同じ視点から現実に撮影したフレーム画像Ｆｎを示す図である。図５に示す画像５００と、フレーム画像Ｆｎとは、完全には視点や画角などが一致しておらず、完全には重なっていない。
【００２９】
・地図画像処理装置２００の動作：
次に、フレーム画像Ｆｎを画像データＤ１３１にテクスチャマッピングする地図画像処理について説明する。図７は、地図画像処理の処理ステップを表すフローチャートである。ＣＰＵ２０１は、まず、フレーム画像Ｆｎを、フレーム画像Ｆｎの撮影位置、フレーム画像Ｆｎの前のフレーム画像群の撮影位置と共に内部記憶装置２０３に読み込む（ステップＳ１００）。
【００３０】
ＣＰＵ２０１は、読み込まれたフレーム画像Ｆｎについて路面標識認識処理を実行する（ステップＳ１１０）。路面標識認識処理は、フレーム画像Ｆｎに写っている路面標識をフレーム画像Ｆｎの解析により認識する処理である。本実施例では、路面標識として、直進、左折、右折などを示す矢印状の進行方向に関する路面標識の認識を行う。図８〜図１２は、路面標識認識処理の際に前処理として行われる画像処理について説明する図である。図８は、画像処理前のフレーム画像Ｆｎ（元画像）を表している。ＣＰＵ２０１は、まず、フレーム画像Ｆｎを白と黒に２値化する。図９は、２値化処理後のフレーム画像Ｆｎを示している。矢印状の進行方向に関する路面標識は一般的に白色であるので、２値化処理後のフレーム画像Ｆｎにおいて、白色の領域に含まれる。ＣＰＵ２０１は、２値化処理後のフレーム画像Ｆｎのノイズ除去処理（図１０）、輪郭線抽出処理（図１１）を行う。ノイズ除去処理は、周知のノイズ除去フィルタを用いて実行され、輪郭線抽出処理は、周知のエッジ抽出処理により行われる。ＣＰＵ２０１は、さらに、輪郭線抽出処理により抽出された輪郭線を細線化する。細線化された線は、全て閉ループとされる（図１２）。
【００３１】
ＣＰＵ２０１は、細線化された各閉ループについて、形状認識処理を行う。図１３、図１４は、形状認識処理について示す図である。図１３に示す８方向近似マトリックスを各閉ループに適用することによって、各閉ループはその形状に応じたチェーンコードに変換される。また、モデルコードデータ記憶部Ｄ１１には、検索対象の路面標識の形状をチェーンコードで表したモデルデータチェーンコードのデータが記憶されている。
【００３２】
ＣＰＵ２０１は、各閉ループのチェーンコード（抽出チェーンコード）と、モデルデータチェーンコードとについて、ＤＰマッチングによるコスト計算を行う（図１４）。ＤＰマッチングは、典型的な伸縮マッチング手法であり、両データ間のコスト値が小さいほど両データは近似していると判定され、コスト値が大きいほど両データは近似していないと判断される。ＣＰＵ２０１は、抽出チェーンコードとモデルデータチェーンコードとのＤＰマッチングによるコスト値が所定のしきい値より小さい場合に、抽出チェーンコードに対応する閉ループは、当該モデルデータチェーンコードで表された路面標識であると判断する。
【００３３】
路面標識認識処理が終了すると、ＣＰＵ２０１は、所望の路面標識がフレーム画像Ｆｎ上に存在するか否かを判断する（ステップＳ１２０）。ここで、フレーム画像Ｆｎに路面標識がないと判断すると（ステップＳ１２０：ＮＯ）、ＣＰＵ２０１はステップＳ１００に戻り、別のフレーム画像Ｆｎについて、上述の処理を実行する。フレーム画像Ｆｎに路面標識があると判断すると（ステップＳ１２０：ＹＥＳ）、ＣＰＵ２０１は仮カメラ位置推定処理を実行する（ステップＳ１３０）。
【００３４】
図１５は、仮カメラ位置推定処理について説明する説明図である。ここで、フレーム画像Ｆｎにおいて認識された路面標識Ｍ０は、図１５に示すように、直進の矢印と右折の矢印が組み合わされた路面標識であるとする。ＣＰＵ２０１は、３次元の地図の画像データＤ１３１において、フレーム画像Ｆｎの撮影位置Ｐ０から所定の距離以内の範囲を探索範囲ＴＡとして、路面標識Ｍ０と同じ形状の路面標識を検索する。その結果、路面標識Ｍ１と、路面標識Ｍ３と、路面標識Ｍ５が候補として検索される。さらに、ＣＰＵ２０１は、フレーム画像Ｆｎの前のフレーム画像群の撮影位置Ｐ１〜Ｐ６により、撮影位置Ｐ０における車両１００の走行方向Ｒを推定する。その結果、ＣＰＵ２０１は、フレーム画像Ｆｎにおいて認識された路面標識Ｍ０は、３次元の地図の画像データＤ１３１における路面標識Ｍ５であると判断する。ＣＰＵ２０１は、路面標識Ｍ５より所定の距離だけ手前の位置ＤＰをフレーム画像Ｆｎが撮影された位置であると仮決めする。
【００３５】
仮カメラ位置推定処理が終了すると、ＣＰＵ２０１は、カメラ位置が仮決めできたか否かを判断する（ステップＳ１４０）。仮決めできないと判断すると（ステップＳ１４０：ＮＯ）、ＣＰＵ２０１は、ステップＳ１００に戻り、別のフレーム画像Ｆｎについて、上述の処理を実行する。仮決めできたと判断すると（ステップＳ１４０：ＹＥＳ）、ＣＰＵ２０１は、透視投影条件修正処理を実行する（ステップＳ１５０）。
【００３６】
透視投影条件修正処理では、フレーム画像Ｆｎにおける認識された路面標識Ｍ０と、３次元の地図の画像データＤ１３１において路面標識Ｍ０と対応する路面標識Ｍ５の２次元画像ＴＭとが精度良く重なり合うように、投影面ＴＭの透視投影条件を修正する処理である。
【００３７】
透視投影条件は、上述のとおり、投影中心ＥＰの座標（Ｅｘ、Ｅｙ、Ｅｚ）と、投影面中心の座標ＣＰ（Ｃｘ、Ｘｙ、Ｃｚ）と、アップベクトルＵＶ（Ｕｘ、Ｕｙ、Ｕｚ）の９つの値である。図１６は、透視投影条件の初期値と、路面標識の特徴点の設定について説明する図である。本実施例では、投影中心ＥＰと投影面中心ＣＰとの距離ｄは一定値であるという制限と、投影中心ＥＰと投影面中心ＣＰとを結ぶ直線とアップベクトルＵＶは直行するという制限を設けている。投影中心ＥＰの初期値は、先のステップにおいて、仮決めされたカメラ位置に設定される。投影面中心ＣＰの初期値は、路面標識Ｍ５に関連付けられている方向ベクトルＣＶを用いて定められる。アップベクトルＵＶの初期値は、撮像装置１１０の画角を考慮して適切な値に定められる。すなわち、投影面中心ＣＰの初期値は、投影中心ＥＰから方向ベクトルＣＶの方向に距離ｄだけ進んだ位置に設定される。また、路面標識Ｍ５の特徴点ＰＲ（ＰＲｘ、ＰＲｙ、ＰＲｚ）は、図１６（ａ）に示すように、例えば、路面標識Ｍ５の各頂点に設定される。あるいは、路面標識Ｍ５の特徴点ＰＲは、図１６（ｂ）に示すように、路面標識Ｍ５に外接する長方形の各頂点に設定されても良い。
【００３８】
図示は省略するが、フレーム画像Ｆｎにおいて認識された路面標識Ｍ０についても、路面標識Ｍ５に設定された特徴点ＰＲと対応する位置にそれぞれ特徴点ＦＰ（Ｕｃ、Ｖｃ）が設定される。
【００３９】
図１７は、透視投影条件修正処理について説明する図である。まず、ＣＰＵ２０１は、路面標識Ｍ５の特徴点ＰＲ（ＰＲｘ、ＰＲｙ、ＰＲｚ）を、設定された透視投影条件で透視投影された２次元画像上の座標ＶＰ（Ｕｒ、Ｖｒ）に変換する。ＣＰＵ２０１は、次に、２次元画像上の特徴点ＶＰ（Ｕｒ、Ｖｒ）と、対応するフレーム画像Ｆｎの特徴点ＦＰ（Ｕｃ、Ｖｃ）との距離の各特徴点についての和Ｓを算出する。算出式は、以下の式（１）で表される。
【数１】
【００４０】
式１において、ｉは、各特徴点を識別する識別子であり、Ｎは、特徴点の数である。透視投影条件修正処理は、数１で求められた和Ｓを最小にする透視投影条件を求める最適化問題に帰着する。最適化処理には、透視投影条件を少しずつ変化させながら和Ｓを最小にする透視投影条件を求める各種の最適化アルゴリズムが用いられ得るが、本実施例では、周知のシミュレーティドアニーリング法（焼きなまし法）を用いることとする。
【００４１】
最終的に透視投影条件が修正されると、フレーム画像Ｆｎと、３次元の地図の画像データＤ１３１を透視投影した２次元画像が、画像全体で正確に重なり合う。図１８は、図５に示す２次元画像５００を最適化処理して、図６に示すフレーム画像Ｆｎと重なり合うように調整した画像を示す図である。図１８と図６のように、透視投影条件設定処理によって、３次元の地図の画像データＤ１３１を透視投影した２次元画像と、フレーム画像Ｆｎとが、正確に重なり合うことがわかる。
【００４２】
透視投影条件設定処理が終了すると、ＣＰＵ２０１は、テクスチャ適用処理を実行する（ステップＳ１６０）。テクスチャ適用処理は、フレーム画像Ｆｎに含まれるビルＢＬなどの地物のリアルな画像を、ステップＳ１５０で修正された透視投影条件で透視投影された２次元画像に含まれる対応する地物に対応付けることにより、フレーム画像Ｆｎに含まれるビルＢＬの壁面などの地物のリアルな画像を３次元の地図の画像データＤ１３１にマッピングする処理である。図１９は、テクスチャ適用処理について説明する図である。フレーム画像Ｆｎ上の画素ＴＰの画素値（ＲＧＢ値、ＨＳＶ値など）を、画素ＴＰと対応する２次元画像５００上の座標ＭＰに対応付ける。フレーム画像Ｆｎと２次元画像５００とは、透視投影条件設定処理によって、正しく重なり合うように対応付けられているので、フレーム画像Ｆｎ上の画素ＴＰを対応付ける２次元画像５００上の座標ＭＰを求めることは容易である。フレーム画像Ｆｎ上の画素ＴＰの画素値は、ステップＳ１５０で修正された透視投影条件で逆変換した３次元の地図上の座標ＸＰ（ａ、ｂ、ｃ）に最終的に対応付け（マッピング）される。
【００４３】
以上説明した実施例によれば、３次元地図データを透視投影した２次元画像の透視投影条件を、現実世界を撮影した撮影画像と２次元画像とが路面標識を基準にして重なるように設定している。車両の走行方向の路面標識については、障害物により邪魔されずに撮影可能なタイミングが発生するものなので、効率よく認識することができる。そして、路面標識は、位置が安定して固定されているものなので、３次元地図データを透視投影した２次元画像を撮影画像に対して正確に重ね合わせることが可能となる。また、３次元の地図の画像データＤ１３１を透視投影した２次元画像上の路面標識が、撮影画像の対応する路面標識と精度良く重なるように、透視投影条件を求めたうえで、撮影画像の内容を３次元の地図の画像データＤ１３１にマッピングするので、自動的に精度良く、３次元の地図の画像データＤ１３１にテクスチャマッピングを実行できる。さらに、現在、正確で充実したデータが存在する路面標識を用いて、透視投影条件を求めるので、多くの交差点付近の３次元の地図の画像データＤ１３１を充実させることができる。
【００４４】
Ｂ．変形例
・第１変形例：
上記実施例では、進行方向に関する路面標識を用いて、透視投影した２次元画像と撮影画像とを重ね合わせたが、他の路面標識を用いても良い。他の路面標識は、３次元の地図の画像データＤ１３１において、正確な位置データが用意されているものが好ましく、一般には、地表上に２次元的に描かれている地物が好ましい。例えば、最高速度に関する標識、車両通行区分に関する標識、横断歩道又は自転車横断帯があることを示す標識等を用いることができる。
【００４５】
・第２変形例：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしても良い。
【００４６】
・第３変形例
上記実施例では、テクスチャマッピングに利用しているが、カメラ装置を搭載した車両について、透視投影条件を設定した２次元画像を運転席近傍のディスプレイに表示してナビゲーションに利用してもよい。本発明においては、車両の位置と２次元画像の投影中心とをほぼ一致させることができるので、例えば、車両がいずれのレーンに位置しているかを把握するナビゲーションを行なうことも可能になる。
【００４７】
・第４変形例
上記実施例では、３次元地図データを透視投影して２次元画像に変換しているが、２次元地図データを透視投影して、特定の角度からの俯瞰図としての２次元画像に変換してもよい。この２次元画像を利用して撮影画像の地物の画像をテクスチャマッピングする場合は、撮影画像の地物の画像を基に輪郭線を抽出し、透視投影条件で逆変換して３次元のワイヤーフレームを生成して３次元地図データを作成することも可能である。
【００４８】
以上、本発明の実施例および変形例について説明したが、本発明はこれらの実施例および変形例になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々の態様での実施が可能である。
【符号の説明】
【００４９】
１００…車両、１１０…撮像装置、１２０…ＧＰＳ受信機、１３０…計算機、２００…地図画像処理装置、２０１…ＣＰＵ、２０２…入出力部、２０３…内部記憶装置、２０４…外部記憶装置
【技術分野】
【０００１】
本発明は、 地図画像処理装置、地図画像処理方法、および、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
コンピュータで利用可能に電子化された２次元地図データを利用して、車両や歩行者に経路案内を行う技術を始めとして、地表上の施設や道路などの情報を電子機器の表示部に表示することは広く行われている。現在は、さらに、３次元座標空間上で地表の状況を再現した３次元地図データの整備も進んでいる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４６６５０号公報
【特許文献２】特開２００４−１２６６３３号公報
【特許文献３】特開２００３−１１１１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような３次元地図データを、テクスチャマッピングなどの技術を用いてリアルに作成するには、膨大な作業が必要であるという問題があり、３次元地図データの作成を効率良く行う技術が求められている。
【０００５】
本発明は、効率の良い３次元地図データの作成を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］地図画像処理装置であって
地図データを記憶する記憶部と、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換する座標変換部と、
車両の走行方向の現実世界を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる路面標識実写画像を認識する路面標識認識部と、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する透視投影条件修正部と、
を備える、地図画像処理装置。
【０００８】
適用例１の地図画像処理装置によれば、地図データを透視投影した２次元画像の透視投影条件を、現実世界を撮影した撮影画像と２次元画像とが路面標識を基準にして重なるように設定している。車両の走行方向の路面標識については、障害物により邪魔されずに撮影可能なタイミングが発生するものなので、効率よく認識することができる。そして、路面標識は、位置が安定して固定されているものなので、地図データを透視投影した２次元画像を撮影画像に対して正確に重ね合わせることが可能となる。
【０００９】
［適用例２］適用例１に記載の地図画像処理装置であって、
前記撮影画像に含まれる地物の画像を、修正された前記透視投影条件で透視投影された前記２次元画像に含まれる前記地物に対応付けることにより、前記撮影画像に含まれる地物の画像を前記地図データにテクスチャマッピングするテクスチャ適用部
を備える、地図画像処理装置。
【００１０】
［適用例３］適用例１に記載の地図画像処理装置であって、
前記路面標識認識部は、前記撮影画像を解析して前記路面標識実写画像の特徴点を前記撮影画像上に複数設定し、
前記透視投影条件修正部は、前記２次元画像に含まれる前記路面標識投影画像の複数の特徴点と、前記路面標識実写画像の複数の特徴点とが一致するように、前記透視投影条件を修正する、地図画像処理装置。
【００１１】
なお、本発明は、種々の形態で実現することが可能であり、例えば、地図画像処理方法と、地図データを作成するためのコンピュータプログラム、当該コンピュータプログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例としての地図画像処理システムの一部を構成する車両１００の概略構成を示す説明図である。
【図２】実施例としての地図画像処理システムの一部を構成する地図画像処理装置の概略構成を示す説明図である。
【図３】３次元地図データ記憶部Ｄ１３に格納された３次元地図データの概要を説明する説明図である。
【図４】透視投影について説明する図である。
【図５】３次元データである画像データＤ１３１をある透視投影条件にて２次元画像に変換した画像５００を示す図である。
【図６】図５に示す２次元画像が示す場所をほぼ同じ視点から現実に撮影したフレーム画像Ｆｎを示す図である。
【図７】地図画像処理の処理ステップを表すフローチャートである。
【図８】路面標識認識処理の際に前処理として行われる画像処理について説明する第１の図である。
【図９】路面標識認識処理の際に前処理として行われる画像処理について説明する第２の図である。
【図１０】路面標識認識処理の際に前処理として行われる画像処理について説明する第３の図である。
【図１１】路面標識認識処理の際に前処理として行われる画像処理について説明する第４の図である。
【図１２】路面標識認識処理の際に前処理として行われる画像処理について説明する第５の図である。
【図１３】形状認識処理について示す第１の図である。
【図１４】形状認識処理について示す第２の図である。
【図１５】仮カメラ位置推定処理について説明する説明図である。
【図１６】透視投影条件の初期値と路面標識の特徴点の設定について説明する図である。
【図１７】透視投影条件修正処理について説明する図である。
【図１８】図５に示す２次元画像５００を最適化処理して図６に示すフレーム画像Ｆｎと重なり合うように調整した画像を示す図である。
【図１９】テクスチャ適用処理について説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら、実施例に基づき説明する。
【００１４】
Ａ．実施例：
・地図画像処理システムの構成：
図１は、実施例としての地図画像処理システムの一部を構成する車両１００の概略構成を示す説明図である。図示するように、車両１００は、撮像装置１１０と、ＧＰＳ受信機１２０と、計算機１３０を備えている。
【００１５】
撮像装置１１０は、例えば、デジタルビデオカメラ、連続撮影可能なデジタルスチルカメラなど、所定の時間間隔でデジタルまたはアナログの画像データを生成できるカメラ装置である。撮像装置１１０は、計算機１３０の制御に従って動作可能であると共に、生成した画像データを計算機１３０に対して送信可能であるように、計算機１３０と通信可能に接続されている。撮像装置１１０は、例えば、車両１００のフロントウインドウ越しに車両１００の前方を撮影するように設置されている。
【００１６】
ＧＰＳ受信機１２０は、ＧＰＳ（Global Positioning System／全地球測位システム）を構成する人工衛星から送信された電波を受信する装置である。ＧＰＳ受信機１２０は、人工衛星から受信した電波をデジタルデータ（ＧＰＳ情報）に変換して、計算機１３０に送信する。
【００１７】
計算機１３０は、ノートパソコンなどの周知のパーソナルコンピュータである。計算機１３０は、図示しない中央演算装置（ＣＰＵ）と、ＲＡＭやＲＯＭなどの内部記憶装置と、ハードディスクなどの外部記憶装置とを備えている。計算機１３０は、ＧＰＳ受信機１２０から取得したＧＰＳ情報に基づいて、車両１００の現在位置を表す現在位置情報（緯度、経度）を、一定間隔で生成し、車両１００の現在位置を常に認識している。車両１００はさらに走行距離計やジャイロセンサを搭載し、計算機１３０による現在位置の認識精度を高めても良い。計算機１３０は、撮像装置１１０が撮影したときの現在位置を撮影位置とし、撮像装置１１０から受信した画像データを、当該画像データが表す撮影画像の撮影位置と関連付けて、外部記憶装置に記憶する。撮影位置は、撮影時刻における車両１００の現在位置とされる。
【００１８】
車両１００に３次元地図データを作成したい経路を走行させながら、撮像装置１１０による撮影を行うことにより、計算機１３０に３次元地図データを作成したい経路の撮影画像と現在位置をデータとして蓄積することができる。
【００１９】
図２は、実施例としての地図画像処理システムの一部を構成する地図画像処理装置の概略構成を示す説明図である。地図画像処理装置２００は、周知のコンピュータであり、ＣＰＵ２０１と、入出力部２０２と、ＲＯＭやＲＡＭなどの内部記憶装置２０３と、ハードディスクなどの外部記憶装置２０４とを備えている。入出力部２０２は、外部機器とデータを遣り取りするためのインターフェースであり、上述した計算機１３０と接続される。この結果、地図画像処理装置２００は、計算機１３０に記憶された撮影画像の画像データと、撮影画像の撮影位置を示す撮影位置情報とを取得できる。
【００２０】
内部記憶装置２０３には、地図画像処理プログラムが格納されており、ＣＰＵ２０１が当該プログラムを実行することにより、図２の内部記憶装置２０３に図示した機能ブロックの機能を実現される。実現される機能ブロックは、撮影画像取得部Ｍ１１と、路面標識認識部Ｍ１２と、３次元地図データ取得部Ｍ１３と、座標変換部Ｍ１４と、仮カメラ位置推定部Ｍ１５と、透視投影条件修正部Ｍ１６と、テクスチャ適用部Ｍ１７を含む。
【００２１】
撮影画像取得部Ｍ１１は、入出力部２０２を介して、上述した撮像装置１１０によって撮影された画像データと画像データに関連付けられた撮影位置情報を取得する。本実施例では、撮像装置１１０はビデオカメラであり、複数のフレーム画像からなる動画像と、各フレーム画像に関連付けられた撮影位置情報とが取得されるものとする。路面標識認識部Ｍ１２は、後述するように、一のフレーム画像を解析して所定の路面標識を認識し、当該フレーム画像上に認識された路面標識の特徴点を複数個設定する。３次元地図データ取得部Ｍ１３は、後述する３次元地図データを３次元地図データ記憶部から取得する。座標変換部Ｍ１４は、３次元地図データを所定の透視投影条件で透視投影して２次元画像に座標変換を行う。この結果、３次元地図データを所定の視点から見た２次元画像を、ディスプレイなどに表示することができる。仮カメラ位置推定部Ｍ１５は、フレーム画像に関連付けられた撮影位置情報や、当該フレーム画像の前や後のフレーム画像群に関連付けられた撮影位置情報から、当該フレーム画像の撮影方向や撮影位置を推定する。仮カメラ位置推定部Ｍ１５は、フレーム画像の撮影方向や撮影位置の推定結果から、フレーム画像と３次元地図データの透視投影条件を仮決めする。透視投影条件修正部Ｍ１６は、仮決めされた透視投影条件を初期値として後述する最適化処理を行って、最終的に３次元地図データを透視投影した２次元画像と、フレーム画像とが正確に重なり合う透視投影条件に修正する。テクスチャ適用部Ｍ１７は、フレーム画像に含まれるビルなどの地物の画像を、修正された透視投影条件で透視投影された２次元画像に含まれるビルなどの地物に対応付けることにより、フレーム画像に含まれるビルなどの地物の画像を３次元地図データにテクスチャマッピングする。
【００２２】
外部記憶装置２０４は、モデルコードデータ記憶部Ｄ１１と、解析データ記憶部Ｄ１２と、３次元地図データ記憶部Ｄ１３とを備えている。モデルコードデータ記憶部Ｄ１１には、路面標識の形状をデータ化したモデルチェーンコード（後述）が記憶されている。解析データ記憶部Ｄ１２には、画像解析による路面標識の認識結果などの解析データが記憶される。３次元地図データ記憶部Ｄ１３には、後述する３次元座標空間で表された３次元地図データが記憶されている。
【００２３】
図３は、３次元地図データ記憶部Ｄ１３に格納された３次元地図データの概要を説明する説明図である。３次元地図データは、画像データＤ１３１と、経路データＤ１３２とを含む。画像データＤ１３１は、３次元座標空間（Ｘ、Ｙ、Ｚ）において、地表の状況を表す３次元データである。画像データＤ１３１は、地表の表面を２次元的に表す表面画像は、比較的詳しく描画しており、路面標識ＲＨやビルＢＬなどの地物の２次元形状などの正確なデータを含んでいる。一方、画像データＤ１３１は、高さ方向のデータは比較的詳しくなく、例えば、高さのあるビルＢＬなどの地物については、ビルＢＬの高さｈの情報程度しか有していない。
【００２４】
経路データＤ１３２は、地図画像データが表す地図画像の地表の表面に存在する交通経路に関するデータである。経路データＤ１３２は、交通経路の地表上における配置を示すネットワークを表すデータである。ネットワークデータは、交通経路における要素点ＮＤ（ノードと呼ぶ。）を表すノードデータと、ノード間を結ぶ線分ＬＫ（リンクと呼ぶ）を表すリンクデータとを含む。ノードＮＤは、例えば、交差点、分岐点、終点、始点、駅などの乗降位置などを表している。リンクＬＫは、例えば、車道、線路、歩行者道などの交通経路を表している。
【００２５】
図４は、透視投影について説明する図である。３次元座標空間（Ｘ、Ｙ、Ｚ）で表された３次元地図データは、ディスプレイなどに２次元表示するため、２次元座標空間（Ｕ、Ｖ）に変換される。３次元空間の所定の位置に投影中心ＥＰをおき、その前に投影面ＴＭを置く。３次元図形Ａの各点から投影中心に向かって投射線を引く。そうすると、投影面と投射線の交点の集まりとして２次元図形ａが形作られる。このような投影法は透視投影と呼ばれている。カメラにて撮影される画像は、一般的に透視投影となる。投影面ＴＭは、所定の長方形の大きさを持ち、この範囲に投影される画像のみが２次元画像として描かれる。投影面ＴＭの大きさはアスペクト比を一定と考えれば、投影中心からの画角ＧＫと、投影中心ＥＰから投影面までの距離ｄとで決まる。図４では、３次元座標空間（Ｘ、Ｙ、Ｚ）の原点に投影中心ＥＰをおき、投影面の中心（投影面中心）ＣＰがＺ軸上にある場合を例に図示している。
【００２６】
所定の３次元データを投射投影した２次元画像を一義的に定める条件（透視投影条件）は、投影中心ＥＰの座標（Ｅｘ、Ｅｙ、Ｅｚ）と、投影面中心ＣＰの座標（Ｃｘ、Ｘｙ、Ｃｚ）と、画角ＧＫおよび視線方向を軸とした回転成分を表すアップベクトルＵＶ（Ｕｘ、Ｕｙ、Ｕｚ）となる。これらの９つの変数が定まれば、所定の３次元データを投射投影した２次元画像を一義的に定めることができる。
【００２７】
図５は、３次元データである画像データＤ１３１をある透視投影条件にて２次元画像に変換した画像５００を示す図である。画像５００には、ビルなどの建造物５０１、道路５０５、道路５０５上に描かれた路面標識５０２〜５０４などが含まれ得る。
【００２８】
図６は、図５に示す２次元画像が示す場所を、ほぼ同じ視点から現実に撮影したフレーム画像Ｆｎを示す図である。図５に示す画像５００と、フレーム画像Ｆｎとは、完全には視点や画角などが一致しておらず、完全には重なっていない。
【００２９】
・地図画像処理装置２００の動作：
次に、フレーム画像Ｆｎを画像データＤ１３１にテクスチャマッピングする地図画像処理について説明する。図７は、地図画像処理の処理ステップを表すフローチャートである。ＣＰＵ２０１は、まず、フレーム画像Ｆｎを、フレーム画像Ｆｎの撮影位置、フレーム画像Ｆｎの前のフレーム画像群の撮影位置と共に内部記憶装置２０３に読み込む（ステップＳ１００）。
【００３０】
ＣＰＵ２０１は、読み込まれたフレーム画像Ｆｎについて路面標識認識処理を実行する（ステップＳ１１０）。路面標識認識処理は、フレーム画像Ｆｎに写っている路面標識をフレーム画像Ｆｎの解析により認識する処理である。本実施例では、路面標識として、直進、左折、右折などを示す矢印状の進行方向に関する路面標識の認識を行う。図８〜図１２は、路面標識認識処理の際に前処理として行われる画像処理について説明する図である。図８は、画像処理前のフレーム画像Ｆｎ（元画像）を表している。ＣＰＵ２０１は、まず、フレーム画像Ｆｎを白と黒に２値化する。図９は、２値化処理後のフレーム画像Ｆｎを示している。矢印状の進行方向に関する路面標識は一般的に白色であるので、２値化処理後のフレーム画像Ｆｎにおいて、白色の領域に含まれる。ＣＰＵ２０１は、２値化処理後のフレーム画像Ｆｎのノイズ除去処理（図１０）、輪郭線抽出処理（図１１）を行う。ノイズ除去処理は、周知のノイズ除去フィルタを用いて実行され、輪郭線抽出処理は、周知のエッジ抽出処理により行われる。ＣＰＵ２０１は、さらに、輪郭線抽出処理により抽出された輪郭線を細線化する。細線化された線は、全て閉ループとされる（図１２）。
【００３１】
ＣＰＵ２０１は、細線化された各閉ループについて、形状認識処理を行う。図１３、図１４は、形状認識処理について示す図である。図１３に示す８方向近似マトリックスを各閉ループに適用することによって、各閉ループはその形状に応じたチェーンコードに変換される。また、モデルコードデータ記憶部Ｄ１１には、検索対象の路面標識の形状をチェーンコードで表したモデルデータチェーンコードのデータが記憶されている。
【００３２】
ＣＰＵ２０１は、各閉ループのチェーンコード（抽出チェーンコード）と、モデルデータチェーンコードとについて、ＤＰマッチングによるコスト計算を行う（図１４）。ＤＰマッチングは、典型的な伸縮マッチング手法であり、両データ間のコスト値が小さいほど両データは近似していると判定され、コスト値が大きいほど両データは近似していないと判断される。ＣＰＵ２０１は、抽出チェーンコードとモデルデータチェーンコードとのＤＰマッチングによるコスト値が所定のしきい値より小さい場合に、抽出チェーンコードに対応する閉ループは、当該モデルデータチェーンコードで表された路面標識であると判断する。
【００３３】
路面標識認識処理が終了すると、ＣＰＵ２０１は、所望の路面標識がフレーム画像Ｆｎ上に存在するか否かを判断する（ステップＳ１２０）。ここで、フレーム画像Ｆｎに路面標識がないと判断すると（ステップＳ１２０：ＮＯ）、ＣＰＵ２０１はステップＳ１００に戻り、別のフレーム画像Ｆｎについて、上述の処理を実行する。フレーム画像Ｆｎに路面標識があると判断すると（ステップＳ１２０：ＹＥＳ）、ＣＰＵ２０１は仮カメラ位置推定処理を実行する（ステップＳ１３０）。
【００３４】
図１５は、仮カメラ位置推定処理について説明する説明図である。ここで、フレーム画像Ｆｎにおいて認識された路面標識Ｍ０は、図１５に示すように、直進の矢印と右折の矢印が組み合わされた路面標識であるとする。ＣＰＵ２０１は、３次元の地図の画像データＤ１３１において、フレーム画像Ｆｎの撮影位置Ｐ０から所定の距離以内の範囲を探索範囲ＴＡとして、路面標識Ｍ０と同じ形状の路面標識を検索する。その結果、路面標識Ｍ１と、路面標識Ｍ３と、路面標識Ｍ５が候補として検索される。さらに、ＣＰＵ２０１は、フレーム画像Ｆｎの前のフレーム画像群の撮影位置Ｐ１〜Ｐ６により、撮影位置Ｐ０における車両１００の走行方向Ｒを推定する。その結果、ＣＰＵ２０１は、フレーム画像Ｆｎにおいて認識された路面標識Ｍ０は、３次元の地図の画像データＤ１３１における路面標識Ｍ５であると判断する。ＣＰＵ２０１は、路面標識Ｍ５より所定の距離だけ手前の位置ＤＰをフレーム画像Ｆｎが撮影された位置であると仮決めする。
【００３５】
仮カメラ位置推定処理が終了すると、ＣＰＵ２０１は、カメラ位置が仮決めできたか否かを判断する（ステップＳ１４０）。仮決めできないと判断すると（ステップＳ１４０：ＮＯ）、ＣＰＵ２０１は、ステップＳ１００に戻り、別のフレーム画像Ｆｎについて、上述の処理を実行する。仮決めできたと判断すると（ステップＳ１４０：ＹＥＳ）、ＣＰＵ２０１は、透視投影条件修正処理を実行する（ステップＳ１５０）。
【００３６】
透視投影条件修正処理では、フレーム画像Ｆｎにおける認識された路面標識Ｍ０と、３次元の地図の画像データＤ１３１において路面標識Ｍ０と対応する路面標識Ｍ５の２次元画像ＴＭとが精度良く重なり合うように、投影面ＴＭの透視投影条件を修正する処理である。
【００３７】
透視投影条件は、上述のとおり、投影中心ＥＰの座標（Ｅｘ、Ｅｙ、Ｅｚ）と、投影面中心の座標ＣＰ（Ｃｘ、Ｘｙ、Ｃｚ）と、アップベクトルＵＶ（Ｕｘ、Ｕｙ、Ｕｚ）の９つの値である。図１６は、透視投影条件の初期値と、路面標識の特徴点の設定について説明する図である。本実施例では、投影中心ＥＰと投影面中心ＣＰとの距離ｄは一定値であるという制限と、投影中心ＥＰと投影面中心ＣＰとを結ぶ直線とアップベクトルＵＶは直行するという制限を設けている。投影中心ＥＰの初期値は、先のステップにおいて、仮決めされたカメラ位置に設定される。投影面中心ＣＰの初期値は、路面標識Ｍ５に関連付けられている方向ベクトルＣＶを用いて定められる。アップベクトルＵＶの初期値は、撮像装置１１０の画角を考慮して適切な値に定められる。すなわち、投影面中心ＣＰの初期値は、投影中心ＥＰから方向ベクトルＣＶの方向に距離ｄだけ進んだ位置に設定される。また、路面標識Ｍ５の特徴点ＰＲ（ＰＲｘ、ＰＲｙ、ＰＲｚ）は、図１６（ａ）に示すように、例えば、路面標識Ｍ５の各頂点に設定される。あるいは、路面標識Ｍ５の特徴点ＰＲは、図１６（ｂ）に示すように、路面標識Ｍ５に外接する長方形の各頂点に設定されても良い。
【００３８】
図示は省略するが、フレーム画像Ｆｎにおいて認識された路面標識Ｍ０についても、路面標識Ｍ５に設定された特徴点ＰＲと対応する位置にそれぞれ特徴点ＦＰ（Ｕｃ、Ｖｃ）が設定される。
【００３９】
図１７は、透視投影条件修正処理について説明する図である。まず、ＣＰＵ２０１は、路面標識Ｍ５の特徴点ＰＲ（ＰＲｘ、ＰＲｙ、ＰＲｚ）を、設定された透視投影条件で透視投影された２次元画像上の座標ＶＰ（Ｕｒ、Ｖｒ）に変換する。ＣＰＵ２０１は、次に、２次元画像上の特徴点ＶＰ（Ｕｒ、Ｖｒ）と、対応するフレーム画像Ｆｎの特徴点ＦＰ（Ｕｃ、Ｖｃ）との距離の各特徴点についての和Ｓを算出する。算出式は、以下の式（１）で表される。
【数１】
【００４０】
式１において、ｉは、各特徴点を識別する識別子であり、Ｎは、特徴点の数である。透視投影条件修正処理は、数１で求められた和Ｓを最小にする透視投影条件を求める最適化問題に帰着する。最適化処理には、透視投影条件を少しずつ変化させながら和Ｓを最小にする透視投影条件を求める各種の最適化アルゴリズムが用いられ得るが、本実施例では、周知のシミュレーティドアニーリング法（焼きなまし法）を用いることとする。
【００４１】
最終的に透視投影条件が修正されると、フレーム画像Ｆｎと、３次元の地図の画像データＤ１３１を透視投影した２次元画像が、画像全体で正確に重なり合う。図１８は、図５に示す２次元画像５００を最適化処理して、図６に示すフレーム画像Ｆｎと重なり合うように調整した画像を示す図である。図１８と図６のように、透視投影条件設定処理によって、３次元の地図の画像データＤ１３１を透視投影した２次元画像と、フレーム画像Ｆｎとが、正確に重なり合うことがわかる。
【００４２】
透視投影条件設定処理が終了すると、ＣＰＵ２０１は、テクスチャ適用処理を実行する（ステップＳ１６０）。テクスチャ適用処理は、フレーム画像Ｆｎに含まれるビルＢＬなどの地物のリアルな画像を、ステップＳ１５０で修正された透視投影条件で透視投影された２次元画像に含まれる対応する地物に対応付けることにより、フレーム画像Ｆｎに含まれるビルＢＬの壁面などの地物のリアルな画像を３次元の地図の画像データＤ１３１にマッピングする処理である。図１９は、テクスチャ適用処理について説明する図である。フレーム画像Ｆｎ上の画素ＴＰの画素値（ＲＧＢ値、ＨＳＶ値など）を、画素ＴＰと対応する２次元画像５００上の座標ＭＰに対応付ける。フレーム画像Ｆｎと２次元画像５００とは、透視投影条件設定処理によって、正しく重なり合うように対応付けられているので、フレーム画像Ｆｎ上の画素ＴＰを対応付ける２次元画像５００上の座標ＭＰを求めることは容易である。フレーム画像Ｆｎ上の画素ＴＰの画素値は、ステップＳ１５０で修正された透視投影条件で逆変換した３次元の地図上の座標ＸＰ（ａ、ｂ、ｃ）に最終的に対応付け（マッピング）される。
【００４３】
以上説明した実施例によれば、３次元地図データを透視投影した２次元画像の透視投影条件を、現実世界を撮影した撮影画像と２次元画像とが路面標識を基準にして重なるように設定している。車両の走行方向の路面標識については、障害物により邪魔されずに撮影可能なタイミングが発生するものなので、効率よく認識することができる。そして、路面標識は、位置が安定して固定されているものなので、３次元地図データを透視投影した２次元画像を撮影画像に対して正確に重ね合わせることが可能となる。また、３次元の地図の画像データＤ１３１を透視投影した２次元画像上の路面標識が、撮影画像の対応する路面標識と精度良く重なるように、透視投影条件を求めたうえで、撮影画像の内容を３次元の地図の画像データＤ１３１にマッピングするので、自動的に精度良く、３次元の地図の画像データＤ１３１にテクスチャマッピングを実行できる。さらに、現在、正確で充実したデータが存在する路面標識を用いて、透視投影条件を求めるので、多くの交差点付近の３次元の地図の画像データＤ１３１を充実させることができる。
【００４４】
Ｂ．変形例
・第１変形例：
上記実施例では、進行方向に関する路面標識を用いて、透視投影した２次元画像と撮影画像とを重ね合わせたが、他の路面標識を用いても良い。他の路面標識は、３次元の地図の画像データＤ１３１において、正確な位置データが用意されているものが好ましく、一般には、地表上に２次元的に描かれている地物が好ましい。例えば、最高速度に関する標識、車両通行区分に関する標識、横断歩道又は自転車横断帯があることを示す標識等を用いることができる。
【００４５】
・第２変形例：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしても良い。
【００４６】
・第３変形例
上記実施例では、テクスチャマッピングに利用しているが、カメラ装置を搭載した車両について、透視投影条件を設定した２次元画像を運転席近傍のディスプレイに表示してナビゲーションに利用してもよい。本発明においては、車両の位置と２次元画像の投影中心とをほぼ一致させることができるので、例えば、車両がいずれのレーンに位置しているかを把握するナビゲーションを行なうことも可能になる。
【００４７】
・第４変形例
上記実施例では、３次元地図データを透視投影して２次元画像に変換しているが、２次元地図データを透視投影して、特定の角度からの俯瞰図としての２次元画像に変換してもよい。この２次元画像を利用して撮影画像の地物の画像をテクスチャマッピングする場合は、撮影画像の地物の画像を基に輪郭線を抽出し、透視投影条件で逆変換して３次元のワイヤーフレームを生成して３次元地図データを作成することも可能である。
【００４８】
以上、本発明の実施例および変形例について説明したが、本発明はこれらの実施例および変形例になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々の態様での実施が可能である。
【符号の説明】
【００４９】
１００…車両、１１０…撮像装置、１２０…ＧＰＳ受信機、１３０…計算機、２００…地図画像処理装置、２０１…ＣＰＵ、２０２…入出力部、２０３…内部記憶装置、２０４…外部記憶装置
【特許請求の範囲】
【請求項１】
地図画像処理装置であって
地図データを記憶する記憶部と、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換する座標変換部と、
車両の走行方向の現実世界を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる路面標識実写画像を認識する路面標識認識部と、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する透視投影条件修正部と、
を備える、地図画像処理装置。
【請求項２】
請求項１に記載の地図画像処理装置であって、
前記路面標識認識部は、前記撮影画像を解析して前記路面標識実写画像の特徴点を前記撮影画像上に複数設定し、
前記透視投影条件修正部は、前記２次元画像に含まれる前記路面標識投影画像の複数の特徴点と、前記路面標識実写画像の複数の特徴点とが一致するように、前記透視投影条件を修正する、地図画像処理装置。
【請求項３】
請求項１に記載の地図画像処理装置であって、
前記撮影画像に含まれる地物の画像を、修正された前記透視投影条件で透視投影された前記２次元画像に含まれる前記地物に対応付けることにより、前記撮影画像に含まれる地物の画像を前記地図データにテクスチャマッピングするテクスチャ適用部
を備える、地図画像処理装置。
【請求項４】
地図データを記憶する記憶部を有する情報処理装置を用いた地図生成方法であって、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換し、
車両の走行方向の現実世界を撮影した撮影画像を取得し、
前記撮影画像に含まれる路面標識実写画像を認識し、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する、地図画像処理方法。
【請求項５】
地図データを記憶する記憶部を有する情報処理装置に地図画像処理するコンピュータプログラムであって、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換する座標変換機能と、
車両の走行方向の現実世界を撮影した撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる路面標識実写画像を認識する路面標識認識機能と、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する透視投影条件修正機能と、
を前記情報処理装置のコンピュータに実現させる、コンピュータプログラム。
【請求項１】
地図画像処理装置であって
地図データを記憶する記憶部と、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換する座標変換部と、
車両の走行方向の現実世界を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる路面標識実写画像を認識する路面標識認識部と、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する透視投影条件修正部と、
を備える、地図画像処理装置。
【請求項２】
請求項１に記載の地図画像処理装置であって、
前記路面標識認識部は、前記撮影画像を解析して前記路面標識実写画像の特徴点を前記撮影画像上に複数設定し、
前記透視投影条件修正部は、前記２次元画像に含まれる前記路面標識投影画像の複数の特徴点と、前記路面標識実写画像の複数の特徴点とが一致するように、前記透視投影条件を修正する、地図画像処理装置。
【請求項３】
請求項１に記載の地図画像処理装置であって、
前記撮影画像に含まれる地物の画像を、修正された前記透視投影条件で透視投影された前記２次元画像に含まれる前記地物に対応付けることにより、前記撮影画像に含まれる地物の画像を前記地図データにテクスチャマッピングするテクスチャ適用部
を備える、地図画像処理装置。
【請求項４】
地図データを記憶する記憶部を有する情報処理装置を用いた地図生成方法であって、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換し、
車両の走行方向の現実世界を撮影した撮影画像を取得し、
前記撮影画像に含まれる路面標識実写画像を認識し、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する、地図画像処理方法。
【請求項５】
地図データを記憶する記憶部を有する情報処理装置に地図画像処理するコンピュータプログラムであって、
前記地図データを所定の透視投影条件で透視投影して、２次元画像に変換する座標変換機能と、
車両の走行方向の現実世界を撮影した撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる路面標識実写画像を認識する路面標識認識機能と、
前記路面標識実写画像と、前記透視投影条件を用いて変換された前記２次元画像に含まれる前記路面標識実写画像に対応する路面標識投影画像とを比較し、前記路面標識実写画像と前記路面標識投影画像とが一致するように、前記透視投影条件を修正する透視投影条件修正機能と、
を前記情報処理装置のコンピュータに実現させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２１８３６２（Ｐ２０１０−２１８３６２Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６５８３７（Ｐ２００９−６５８３７）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（５０２００２１８６）株式会社ジオ技術研究所 (23)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（５０２００２１８６）株式会社ジオ技術研究所 (23)
【Ｆターム（参考）】
[ Back to top ]