対象管理画像生成装置及び対象管理画像生成プログラム
【課題】既存の写真画像と地図情報とを使用して、簡易に管理対象の画像を生成できる対象管理画像生成装置及び対象管理画像生成プログラムを提供する
【解決手段】利用者が入力装置１６から入力した指示情報に基づき、地図情報取得部２８が地図情報データベース１０４から撮影位置を含む地図情報を取得し、画像取得部２６が、写真画像データベース１０２から、撮影位置から撮影した写真画像を取得して対象物重畳部３０に渡す。対象物重畳部３０は、上記地図情報に含まれる管理対象の座標データと、写真画像の撮影位置及び撮影方向とを取得し、管理対象の存在位置を表す画像を写真画像上に重畳する。表示制御部３２は、対象物重畳部３０が重畳した画像を表示装置１０６に表示する。位置補正部３４は、表示制御部３２が写真画像に重畳して表示した管理対象の存在位置を表す画像の写真画像上における位置を補正する。
【解決手段】利用者が入力装置１６から入力した指示情報に基づき、地図情報取得部２８が地図情報データベース１０４から撮影位置を含む地図情報を取得し、画像取得部２６が、写真画像データベース１０２から、撮影位置から撮影した写真画像を取得して対象物重畳部３０に渡す。対象物重畳部３０は、上記地図情報に含まれる管理対象の座標データと、写真画像の撮影位置及び撮影方向とを取得し、管理対象の存在位置を表す画像を写真画像上に重畳する。表示制御部３２は、対象物重畳部３０が重畳した画像を表示装置１０６に表示する。位置補正部３４は、表示制御部３２が写真画像に重畳して表示した管理対象の存在位置を表す画像の写真画像上における位置を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象管理画像生成装置及び対象管理画像生成プログラムの改良に関する。
【背景技術】
【０００２】
従来、道路、河川及びそれらに付随して設けられた各種設備や施設を管理するため、あるいはナビゲーションシステム等に使用するために写真画像や地図情報が使用されてきた。例えば、下記特許文献１には、走行予定経路の現在位置の鳥瞰画像と、車載のカメラで撮影した現在位置の前方視界の画像とを合成して表示する位置表示システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２３３７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の技術においては、写真画像の取得、地図情報との合成等に専用の機材やソフトウエアが必要であり、コストが高くなるという問題があった。
【０００５】
本発明の目的は、既存の写真画像と地図情報とを使用して、簡易に管理対象の画像を生成できる対象管理画像生成装置及び対象管理画像生成プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の第１の実施形態は、対象管理画像生成装置であって、撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段と、地図情報から管理対象の座標データを取得する座標データ取得手段と、前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段と、を備えることを特徴とする。
【０００７】
また、第２の実施形態は、上記対象管理画像生成装置において、前記管理対象が複数直線上に配列されている場合に、前記対象物重畳手段が、前記撮影位置と前記座標データから求めた管理対象の配列線の位置とから、前記撮影位置と前記管理対象の配列線との距離を演算するとともに、前記撮影方向と前記管理対象の配列線方向とのなす角度を演算し、前記演算した距離及び角度に基づいて前記管理対象の配列線を前記写真画像上に重畳することを特徴とする。
【０００８】
また、第３の実施形態は、上記対象管理画像生成装置が、前記管理対象の存在位置を表す画像の前記写真画像上の位置を補正する位置補正手段を備えることを特徴とする。
【０００９】
また、第４の実施形態は、上記対象管理画像生成装置において、前記位置補正手段が、前記写真画像を変更せず、前記管理対象の存在位置を表す画像を見る方向を変えることにより管理対象の存在位置を表す画像を変更し、または前記管理対象の存在位置を示す画像を変更せず、前記写真画像を平行移動させることを特徴とする。
【００１０】
また、第５の実施形態は、上記対象管理画像生成装置において、前記対象物重畳手段が、前記写真画像として動画を使用することを特徴とする。
【００１１】
また、第６の実施形態は、対象管理画像生成プログラムであって、コンピュータを、撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段、地図情報から管理対象の座標データを取得する座標データ取得手段、前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段、として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、既存の写真画像と地図情報とを使用して、簡易に管理対象の画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態にかかる対象管理画像生成システムの構成例を示す図である。
【図２】対象管理画像生成装置、写真画像データベース及び地図情報データベースを構成するコンピュータのハードウェア構成の例を示す図である。
【図３】本実施形態にかかる対象管理画像生成装置の適用例の説明図である。
【図４】カメラの位置と写真画像の仮想投影面との関係の説明図である。
【図５】図３の撮影位置Ａから撮影した写真画像の例を示す図である。
【図６】本実施形態にかかる対象管理画像生成システムの動作例のフロー図である。
【図７】補正方法１の説明図である。
【図８】補正方法１の説明図である。
【図９】カメラによる撮影状況を上から見た場合の概念図である。
【図１０】実際の現場における管理対象の存在位置を確認するための画面構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態（以下、実施形態という）を、図面に従って説明する。
【００１５】
図１には、本実施形態にかかる対象管理画像生成システムの構成例が示される。図１において、対象管理画像生成システムは、対象管理画像生成装置１００、写真画像データベース１０２、地図情報データベース１０４及び表示装置１０６を含んで構成されている。
【００１６】
対象管理画像生成装置１００は、写真画像データベース１０２から撮影位置及び撮影方向を属性として有する写真画像を取得し、地図情報データベース１０４から道路等に設けられた管理対象である設備や施設の座標データを取得し、これらの撮影位置及び撮影方向並びに管理対象の座標データに基づいて、管理対象の存在位置を表す画像を写真画像上に重畳して表示装置１０６に表示する。ここで、重畳とは、後述する写真画像の仮想投影面３８上に管理対象の存在位置を表す画像を投影することをいう。
【００１７】
このように、撮影位置及び撮影方向を属性として有する写真画像であれば、本実施形態の対象管理画像生成システムに適用できるので、対象管理画像生成システムに専用の機材を使用する必要がなく、写真画像から管理対象を管理するための対象管理画像を低コストで生成することができる。なお、撮影位置のみを有する写真画像では、後述するように、撮影位置の変化方向（配列方向）から撮影方向を決定することができるので、写真画像の属性としては、少なくとも撮影位置に関する情報を有していればよい。
【００１８】
写真画像データベース１０２には、車両等に載置したＣＣＤカメラ等の撮影装置により撮影した写真画像が登録（格納）されており、適宜な通信手段により対象管理画像生成装置１００に写真画像を送信する。また、各写真画像には、そのサムネイル画像を作成して格納しておくのが好適である。写真画像に属性として付与されている撮影位置は、撮影位置の座標データであり、２次元地図上での位置を表す２次元座標データ（例えば緯度、経度データ）、またはこれらの２次元座標データに標高データを加えた３次元座標データである。また、撮影方向は、少なくとも方位角（ヨーイング角）すなわちカメラレンズの光軸方向の水平成分を含み、上記光軸方向の仰俯角（ピッチング角）、すなわち水平成分に直交する成分または光軸方向に対する回転角（ローリング角）を含んでもよい。登録されている写真画像は、適宜な識別情報（ｕｃｏｄｅ（登録商標）、ＩＤ符号等）を付与し、この識別情報により写真画像を指定する構成でもよいし、属性としての撮影位置により指定する構成でもよい。また、写真画像は、静止画でもよいし静止画を複数枚連続させて構成された動画であってもよい。
【００１９】
また、地図情報データベース１０４には、管理対象の位置情報（座標データ）を含む地図情報が登録され、適宜な通信手段により対象管理画像生成装置１００に地図情報を送信する。上記座標データは、２次元地図上での位置を表す２次元座標データ（例えば緯度、経度データ）であるが、これらの２次元座標データに標高データを加えた３次元座標データであってもよい。ここで、管理対象は地上、地下、河川等に設けられた設備や施設であれば限定されないが、本実施形態は、地下に埋設された設備（例えば、上下水道配管）等の、通常目視で確認しにくい設備等に適用するのが好適である。管理対象は、上記地図情報に含まれているものから利用者が指定するが、指定の方法は地図情報ごとに予め定めた方法（例えば、ｕｃｏｄｅ、ＩＤ符号等を指示情報として入力する、２次元地図の画像上でポインティングデバイスのクリック操作を行う等）を使用することができる。
【００２０】
図２には、図１に示された対象管理画像生成装置１００、写真画像データベース１０２及び地図情報データベース１０４を構成するコンピュータのハードウェア構成の例が示される。図２において、対象管理画像生成装置１００は、中央処理装置（例えばマイクロプロセッサ等のＣＰＵを使用することができる）１０、ランダムアクセスメモリ（ＲＡＭ）１２、読み出し専用メモリ（ＲＯＭ）１４、入力装置１６、通信装置１８及び記憶装置２０を含んで構成されており、これらの構成要素は、バス２２により互いに接続されている。また、入力装置１６、通信装置１８及び記憶装置２０は、それぞれ入出力インターフェース２４を介してバス２２に接続されている。
【００２１】
ＣＰＵ１０は、ＲＡＭ１２またはＲＯＭ１４に格納されている制御プログラムに基づいて、後述する各部の動作を制御する。ＲＡＭ１２は主としてＣＰＵ１０の作業領域として機能し、ＲＯＭ１４にはＢＩＯＳ等の制御プログラムその他のＣＰＵ１０が使用するデータが格納されている。
【００２２】
また、入力装置１６は、キーボード、ポインティングデバイス等により構成され、使用者が動作指示等を入力するために使用する。
【００２３】
また、通信装置１８は、ＵＳＢ（ユニバーサルシリアルバス）ポート、ネットワークポートその他の適宜なインターフェースにより構成され、ＣＰＵ１０がネットワーク等の通信手段を介して外部の装置とデータをやり取りするために使用する。
【００２４】
また、記憶装置２０は、ハードディスク等の磁気記憶装置であり、写真画像データベース１０２、地図情報データベース１０４の他、後述する処理に必要となる種々のデータを記憶する。なお、記憶装置２０としては、ハードディスクの代わりに、デジタル・バーサタイル・ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等を使用してもよい。
【００２５】
なお、写真画像データベース１０２、地図情報データベース１０４及び表示装置１０６は、対象管理画像生成装置１００と同じコンピュータ上に構成されていてもよいし、別々のコンピュータ上に構成して、適宜な通信手段により情報のやり取りをする構成としてもよい。
【００２６】
図１に戻り、対象管理画像生成装置１００は、画像取得部２６、地図情報取得部２８、対象物重畳部３０、表示制御部３２及び位置補正部３４を含んで構成されており、これらの機能は例えばＣＰＵ１０とＣＰＵ１０の処理動作を制御するプログラムにより実現される。
【００２７】
画像取得部２６は、通信装置１８を介して写真画像データベース１０２から写真画像を、その撮影位置及び撮影方向に関する属性情報とともに取得する。なお、写真画像とともにそのサムネイル画像を取得する構成としてもよい。写真画像データベース１０２から取得する写真画像は、地図情報データベース１０４に含まれる管理対象が設置された地域の写真画像であり、利用者が入力装置１６から上記識別情報等を入力することにより指定される。なお、後述する図１０において、指定方法の例を説明する。
【００２８】
地図情報取得部２８は、通信装置１８を介して地図情報データベース１０４から管理対象である設備や施設の座標データを取得する。どの設備等を管理対象にするかの指示は、利用者が入力装置１６から所定の指示情報を入力することにより行う。
【００２９】
対象物重畳部３０は、上記写真画像の撮影位置及び撮影方向と、管理対象の座標データとに基づき、管理対象の存在位置を表す画像（存在位置を示す線分やポリゴン、点の位置を表す２次元座標にＲＧＢ等の輝度情報を付加した画像）を前記写真画像の仮想投影面３８上に重畳する。重畳する手順については後述する。
【００３０】
表示制御部３２は、対象物重畳部３０が管理対象の存在位置を表す画像を重畳した写真画像を、表示装置１０６に表示させる。
【００３１】
位置補正部３４は、表示制御部３２が写真画像の仮想投影面３８上に重畳した管理対象の存在位置を表す画像の写真画像上の位置を補正する。これにより、写真画像と管理対象の存在位置を表す画像とのずれを修正する。補正方法については後述する。
【００３２】
図３には、本実施形態にかかる対象管理画像生成装置の適用例の説明図が示される。図３の例は、２次元地図であり、道路Ｒと建物Ｂとが示されている。また、道路Ｒに設けられたマンホールＭが丸印で、各マンホールＭを結ぶように道路下（路面の下）に設けられた下水配管Ｐが破線により示されている。これらのマンホールＭ及び下水配管Ｐは、その位置を表す座標データを属性として付与されている。なお、下水配管Ｐの位置を表す座標データは、例えば所定間隔ごとに配管上の点を設定し、この点の位置の座標データから生成したベクトルデータ上で内挿または外挿により求めることができる。
【００３３】
本例では、撮影位置ＡからＣＣＤカメラ等により撮影され、撮影位置Ａの座標及び撮影方向を属性として付与された、路面を含む写真画像に、上記マンホールＭ及び下水配管Ｐの存在位置を表す画像が重畳される。
【００３４】
上記写真画像は、撮影位置Ａを中心とした半径Ｌ、中心角θの扇形状の領域Ｆを撮影した画像であり、予め写真画像データベース１０２に登録された画像から、画像取得部２６が取得する。例えば、半径Ｌは撮影位置Ａと仮想投影面３８との水平距離と、中心角θはカメラの水平方向の画角とすることができる。なお、本実施形態にかかる対象物重畳部３０は、写真画像データベース１０２に登録された写真画像の代わりに、ＣＣＤカメラ等により撮影された写真画像を直接カメラから（写真画像データベース１０２を経由せずに）取得して使用する構成としてもよい。
【００３５】
写真画像を撮影するＣＣＤカメラ等には、従来公知の方法により撮影位置と撮影方向とを取得する構成を備えておく。撮影位置は、例えばカメラに搭載したＧＰＳ（全地球測位システム）及びＩＭＵ（慣性計測装置）により計測し、撮影方向は、例えばＩＭＵにより計測することができる。なお、複数の写真画像を、その撮影位置を連続的に変更しながら撮影（例えばカメラを搭載した車両を走行させながら撮影）した場合には、カメラの撮影角度と車両の進行方向とを考慮した上で、撮影位置の変化方向（車両の走行方向）を撮影方向としてもよい。この場合、ある撮影位置における撮影方向は、当該撮影位置と、撮影の順番が次の撮影位置との座標データを取得し、当該撮影位置から次の撮影位置までのベクトルを発生し、このベクトルを撮影方向とすることにより決定できるが、この方法に限定されるものではない。例えば、上記方法では交差点の頂点に撮影位置が無い場合には、交差点の頂点が欠ける（交差点をバイパスした方向が撮影方向とされてしまう）という問題が生じる。この場合には、例えば道路ネットワークデータを利用し、交差点前後の撮影位置にバッファを設定して各撮影位置が属する道路ラインデータを選択し、これらの交点情報を利用して撮影方向の転換点である交差点の頂点を求め、撮影方向を設定することができる。
【００３６】
図４は、カメラ３６と仮想投影面３８とを横（撮影方向と直交する方向）から見た図であり、カメラ３６の位置（例えば撮影位置Ａをカメラ３６に備えられる撮像素子（ＣＣＤ）の位置）と写真画像の仮想投影面３８との関係が示される。図４において、ｆはカメラ３６の焦点距離であり、カメラ３６の画角は撮像素子の大きさと焦点距離とから求めることができる。仮想三次元空間上にカメラ３６の撮影位置Ａの座標を定め、当該位置から撮影方向に予め定めた水平距離Ｌの位置に、カメラ３６の撮影方向及び縦横の画角により画像表示範囲が決まる仮想投影面３８を設定する。この仮想投影面３８上に、カメラ３６により撮影された遠近感のある写真画像が投影される。また、カメラ３６の撮影位置Ａと仮想投影面３８の下端とを結ぶ線４０が地面Ｒｓと交わる点Ｃｐは、写真画像の下端に現れる地面の位置となる。この点Ｃｐの位置は、対象物重畳部３０が、撮影位置Ａと仮想投影面３８（写真画像の投影面）との距離Ｌ及び撮影に使用したカメラの画角、撮影方向に基づいて算出する。
【００３７】
図５（ａ），（ｂ）には、図３の撮影位置Ａから撮影した写真画像の例が示される。図５（ａ）の例では、撮影位置Ａの座標、カメラの焦点距離、画角から任意の距離Ｌにおける写真画像が仮想投影面３８に透視投影されている。図５（ａ）において、写真画像の下端の辺が、図４に示された点Ｃｐに対応しており、カメラ３６中心と仮想投影面３８の下端とを結ぶ線４０が地面Ｒｓと交わる位置を示している。また、写真画像として表示される範囲は、カメラ３６の画角及び撮影方向により決定される。
【００３８】
また、図５（ｂ）の例は、図５（ａ）に示された写真画像上に、図３に示された管理対象としてのマンホールＭ及び下水配管Ｐの存在位置を表す画像を重畳した図である。重畳とは写真画像が透視投影されている仮想投影面３８上に、上記管理対象の存在位置を表す画像を、その標高（地図情報が地上あるいは地下方向の高さ（深さ）情報を持っている場合にはこれらを含む）で透視投影することを意味する。図５（ｂ）の例では、マンホールＭが白丸で、下水配管Ｐが適宜な太さの線で、それぞれ表示されている。なお、これらのマンホールＭ及び下水配管Ｐの存在位置を表す画像の色は、適宜選択できる。
【００３９】
図６には、本実施形態にかかる対象管理画像生成システムの動作例のフローが示される。図６において、利用者が入力装置１６から入力した指示情報に基づき、地図情報取得部２８が地図情報データベース１０４から撮影位置Ａを含む地図情報を取得する（Ｓ１）。上記指示情報には、例えば撮影位置Ａを含ませておき、地図情報取得部２８が写真画像の撮影位置Ａの座標データを参照し、この撮影位置Ａから所定範囲の地図情報を地図情報データベース１０４から取得して対象物重畳部３０に渡す構成としてもよい。また、所定範囲としては、例えば撮影位置Ａと写真画像の仮想投影面３８との距離Ｌを用いることができる。
【００４０】
次に、画像取得部２６は、利用者が入力装置１６から入力した指示情報に基づいて、写真画像データベース１０２から、図３及び図５（ｂ）に示される撮影位置Ａから撮影した写真画像を取得して対象物重畳部３０に渡す（Ｓ２）。なお、写真画像の選択は、Ｓ１で取得した地図情報を表示制御部３２が表示装置１０６に表示させ、利用者が表示された画像を参照し、撮影位置Ａをマウス等のポインティングデバイスで指定することにより行う構成としてもよい。また、写真画像は静止画、静止画を複数枚連続させて構成された動画のいずれであってもよい。なお、Ｓ１とＳ２の処理順序はこれに限定されるものではなく、逆順としてもよい。
【００４１】
対象物重畳部３０は、上記地図情報に含まれる管理対象の座標データを取得する（Ｓ３）。図３の例では、マンホールＭと下水配管Ｐの座標データを取得する。なお、本例のマンホールＭと下水配管Ｐとは、利用者が入力装置１６から入力した指示情報により管理対象として指定されている。また、下水配管Ｐは地下に埋設された設備であり、写真画像には写らないが、表示制御部３２によりその存在位置が線分等で写真画像上に表示される。
【００４２】
次に、対象物重畳部３０は、管理対象であるマンホールＭと下水配管Ｐの座標データから求めた２次元地図上における位置及び図４に示された撮影位置Ａ、カメラ３６の画角及び撮影方向を元に地図情報の表示範囲Ｌに含まれるマンホールＭと下水配管Ｐの地図情報を透視投影し、写真画像上に重畳する（Ｓ４）。ここで、地図情報が高さ情報を持たない平面図である場合は、標高値が０の三次元モデルとして透視投影を行う。一方、地図情報が地上あるいは地下方向の高さ（深さ）情報を持っている場合には、当該情報を元に三次元モデルを生成し、これを透視投影することにより、更に位置合わせ精度の高い重畳処理が可能となる。
【００４３】
表示制御部３２は、対象物重畳部３０が重畳したマンホールＭ及び下水配管Ｐと写真画像とを表示装置１０６に表示する（Ｓ４）。本例では、図５（ｂ）に示されるように、下水配管Ｐの設置線を適宜な太さの直線により表示する。なお、写真画像が動画である場合には、動画を構成する各静止画に対して上記重畳処理を行う。
【００４４】
なお、対象物重畳部３０にて、図３及び図５（ｂ）に示すように、上記撮影位置Ａと、マンホールＭと下水配管Ｐの座標データから求めた管理対象の配列線（本例では下水配管Ｐの設置線）の位置とから、撮影位置Ａと上記管理対象の配列線との距離Ｄ、及び、写真画像の撮影方向ｙと管理対象の配列線方向とのなす角度αを演算し、これらの値に基づいて管理対象の存在位置を表す画像と写真画像との重畳処理における位置合わせを行い、初期重畳画像として表示することも可能である。この場合、後述する位置補正処理（Ｓ５）を軽減することができる。
【００４５】
次に、位置補正部３４は、表示制御部３２が写真画像に重畳して表示した管理対象の存在位置を表す画像の写真画像上における位置を補正する（Ｓ５）。これは、管理対象の存在位置を表す画像を写真画像に重畳する、すなわち仮想投影面３８に透視投影する場合に、写真画像と管理対象の存在位置を表す画像とに生じたずれを修正する必要があるためである。このずれは、例えばカメラ３６の撮影時における方位角（ヨーイング角）、車両が走行する路面の傾きに基づく仰俯角（ピッチング角）、光軸方向に対する回転角（ローリング角）の変動、及び撮影位置、座標データの精度等に基づいて発生する。また、高さ方向に対して立体的に存在している管理対象を平面図として表現した地図情報を用いる場合には、この影響もずれに含まれる。なお、補正の指示は、利用者が表示装置１０６に表示された画像を参照しながら、入力装置１６から入力する。
【００４６】
以上の工程により、写真画像上に管理対象の存在位置を表す画像を重畳して表示することができる。なお、上述した、図６の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。
【００４７】
上記位置補正部３４が実行する補正の方法については以下の２種類がある。
【００４８】
＜補正方法１＞
図７、図８（ａ），（ｂ）には、補正方法１の説明図が示される。本補正方法１では、仮想投影面３８上に投影された写真画像の位置を変更せず、管理対象の存在位置を表す画像を見る位置（以後、視点位置という）を変えて、管理対象が仮想投影面３８上に投影される位置を変更する。
【００４９】
図７を用いて、視点位置と、管理対象の存在位置を表す画像上の点Ｐの仮想投影面３８上への投影点との関係について説明する。視点位置１は、撮影位置と同じ位置であり、この位置と点Ｐを結んだ直線が仮想投影面３８と交差する点を視点位置１から見た点Ｐの投影点Ｐ１とする。同様に、視点位置１から水平方向に移動した視点位置２から見た点Ｐの投影点をＰ２、視点位置１から垂直方向に移動した視点位置３から見た点Ｐの投影点をＰ３とする。
【００５０】
図８（ａ）は視点位置１から見た丸印及び直線で示された管理対象（例えばマンホールと下水配管）の仮想投影面３８上への投影像、図８（ｂ）は視点位置２から見た管理対象の仮想投影面３８上への投影像であり、図に示すように、仮想三次元空間上で視点位置を変えることにより、上記丸印及び直線を仮想投影面３８上で移動させることができる。この結果、写真画像と管理対象の存在位置を表す画像とに生じたずれを補正することができる。視点位置３を用いた場合も、同様にずれを補正することができる。
【００５１】
なお、視点位置を移動している間は、破線で示された道路を含む写真画像の仮想投影面３８上における位置（撮影位置）は固定しておく。上記補正は、図５（ｂ）の例では、例えば写真画像上に表示された複数のマンホールに対して、マンホールＭの位置にマンホールを表す丸印がなるべく重なるように視点位置（仮想投影面上での管理対象の存在位置）を移動させることにより行う。
【００５２】
＜補正方法２＞
本補正方法２は、補正方法１を行った結果に対して必要に応じて行う処理であり、仮想投影面３８上に投影された管理対象の存在位置（すなわち視点位置）を変更せず、写真画像の位置を左右方向に平行移動させて、その仮想投影面３８上へ投影される位置を変更する。あるいは、仮想投影面３８上に投影された画像を平行移動させることも可能である。なお、上記例では写真画像を左右方向に平行移動させているが、上下方向に垂直移動させたり、あるいはこれらを組合わせ任意の方向へ移動させることも可能である。更に、撮影画像のローリング角が分かっている場合にはこの値を元に撮影画像を回転させることもでき、また撮影位置から仮想投影面３８までの距離Ｌを変えて距離遠近補正や表示倍率の変更を行うことも可能である。
【００５３】
図９（ａ）の例は、カメラ３６による撮影状況を上から見た場合の概念図であり、道路Ｒ及び黒丸で示された適宜な設備が、カメラ３６の画角及び撮影方向により決まる撮影範囲に存在している。これらの道路Ｒ及び設備は、写真画像として仮想投影面３８上に透視投影される。ここで、図９（ａ）に示されるカメラ３６の撮影位置を図９（ｂ）に示されるカメラ３６の撮影位置に移動すると、撮影範囲も同じ方向に移動し、破線で示される範囲が撮影されることになる。このとき、仮想投影面３８も同じ方向に移動するので、仮想投影面３８に透視投影される写真画像は、カメラ３６の移動方向とは反対方向に平行移動することになる。なお、図９（ａ），（ｂ）の例では、カメラ３６を図の上下方向に移動させているが、図の左右方向に移動させてもよい。また、これらを組合わせることも可能である。更に、撮影画像のローリング角が分かっている場合には、この値を元に撮影画像を回転、遠近補正および表示倍率を変更することも可能である。
【００５４】
図９（ａ），（ｂ）の場合においては、管理対象の存在位置を表す画像の仮想投影面３８上における位置（例えば平行する２本の下水配管の仮想投影面３８上での位置関係）を変えることはできないが、写真画像の撮影位置を適宜調整するとともに、投影された画像の縮尺を変えることにより、位置合わせの微調整を行うことができる。
【００５５】
また、上述した補正方法１，２により得られた表示用のパラメータを記憶しておき、対応する写真画像と管理対象の存在位置を表す画像との組合わせを重畳表示する場合には、同じパラメータにて表示する構成とするのが好適である。
【００５６】
図１０には、実際の現場における管理対象の存在位置を確認するための画面構成例が示される。図１０において、表示装置１０６に表示された画面には、２次元地図（ベースマップと記載）表示領域４２とサムネイル表示領域４４と写真画像表示領域４６とが表示されている。
【００５７】
２次元地図表示領域４２には、道路Ｒ、建物Ｂ、マンホールＭ（黒丸印）が示され、各マンホールＭを結ぶように道路下（路面の下）に設けられた下水配管Ｐが実線により示されている。また、黒四角印により撮影位置Ａが示されている。本実施形態では、１つの撮影位置Ａにおいて、１枚または複数枚の写真画像が撮影されており、当該撮影位置Ａの座標データを介して撮影位置Ａを表す各黒四角印に対応付けられて、写真画像データベース１０２に格納されている。利用者が、入力装置１６を構成するポインティングデバイスのクリック操作等により適宜な撮影位置Ａを指定すると、画像取得部２６が写真画像データベース１０２から撮影位置Ａに対応付けられた１枚または複数枚の写真画像及びそのサムネイル画像を取得し、表示制御部３２が、当該サムネイル画像をサムネイル表示領域４４に表示する。なお、サムネイル表示領域４４に表示される各サムネイル画像は、画像取得部２６が写真画像を取得する際に写真画像データベース１０２から取得する代わりに、表示制御部３２が写真画像から作成する構成としてもよい。
【００５８】
次に、利用者が、上記サムネイル表示領域４４に表示されたサムネイル画像の中から適宜なものをポインティングデバイスのクリック操作等により指定すると、表示制御部３２が、指定されたサムネイル画像に対応する写真画像を写真画像表示領域４６に表示する。また、このとき、上述した図６の各ステップにより、マンホールＭ及び下水配管Ｐ等の管理対象の存在位置を表す画像が上記写真画像に重畳される。
【００５９】
これにより、利用者は、簡易な操作により管理対象の存在位置を写真画像上で容易に確認することができる。
【００６０】
また、図１０に示された２次元地図表示領域４２において、管理対象の存在位置を表す画像（例えばマンホールＭを表す黒丸印）をポインティングデバイスのクリック操作等により指定した場合に、当該管理対象が撮影されている画像群が選択・表示される構成としてもよい。この場合、各管理対象の存在位置を表す画像には、図３で説明したように、座標データが属性として付与されているので、ポインティングデバイスのクリック操作等により指定された座標データを表示制御部３２が取得することができる。また、図３で説明したように、撮影位置Ａに基づいて、撮影した領域Ｆが予めわかっている。そこで、表示制御部３２は、上記取得した座標データ（管理対象の存在位置）を画像取得部２６に渡し、画像取得部２６が写真画像データベース１０２から、上記座標データから一定範囲にある撮影位置Ａの写真画像を取得し、各写真画像の領域Ｆに上記座標データが含まれているものを検索して表示制御部３２に渡し、表示制御部３２がこれらの写真画像群を表示する構成とする。写真画像群は、サムネイル表示領域４４にサムネイル画像として表示し、利用者がポインティングデバイス等により選択する構成としてもよい。
【符号の説明】
【００６１】
１０ ＣＰＵ、１２ ＲＡＭ、１４ ＲＯＭ、１６ 入力装置、１８ 通信装置、２０ 記憶装置、２２ バス、２４ 入出力インターフェース、２６ 画像取得部、２８ 地図情報取得部、３０ 対象物重畳部、３２ 表示制御部、３４ 位置補正部、３６ カメラ、３８ 仮想投影面、４０ 線、４２ ２次元地図表示領域、４４ サムネイル表示領域、４６ 写真画像表示領域、１００ 対象管理画像生成装置、１０２ 写真画像データベース、１０４ 地図情報データベース、１０６ 表示装置。
【技術分野】
【０００１】
本発明は、対象管理画像生成装置及び対象管理画像生成プログラムの改良に関する。
【背景技術】
【０００２】
従来、道路、河川及びそれらに付随して設けられた各種設備や施設を管理するため、あるいはナビゲーションシステム等に使用するために写真画像や地図情報が使用されてきた。例えば、下記特許文献１には、走行予定経路の現在位置の鳥瞰画像と、車載のカメラで撮影した現在位置の前方視界の画像とを合成して表示する位置表示システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２３３７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の技術においては、写真画像の取得、地図情報との合成等に専用の機材やソフトウエアが必要であり、コストが高くなるという問題があった。
【０００５】
本発明の目的は、既存の写真画像と地図情報とを使用して、簡易に管理対象の画像を生成できる対象管理画像生成装置及び対象管理画像生成プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の第１の実施形態は、対象管理画像生成装置であって、撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段と、地図情報から管理対象の座標データを取得する座標データ取得手段と、前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段と、を備えることを特徴とする。
【０００７】
また、第２の実施形態は、上記対象管理画像生成装置において、前記管理対象が複数直線上に配列されている場合に、前記対象物重畳手段が、前記撮影位置と前記座標データから求めた管理対象の配列線の位置とから、前記撮影位置と前記管理対象の配列線との距離を演算するとともに、前記撮影方向と前記管理対象の配列線方向とのなす角度を演算し、前記演算した距離及び角度に基づいて前記管理対象の配列線を前記写真画像上に重畳することを特徴とする。
【０００８】
また、第３の実施形態は、上記対象管理画像生成装置が、前記管理対象の存在位置を表す画像の前記写真画像上の位置を補正する位置補正手段を備えることを特徴とする。
【０００９】
また、第４の実施形態は、上記対象管理画像生成装置において、前記位置補正手段が、前記写真画像を変更せず、前記管理対象の存在位置を表す画像を見る方向を変えることにより管理対象の存在位置を表す画像を変更し、または前記管理対象の存在位置を示す画像を変更せず、前記写真画像を平行移動させることを特徴とする。
【００１０】
また、第５の実施形態は、上記対象管理画像生成装置において、前記対象物重畳手段が、前記写真画像として動画を使用することを特徴とする。
【００１１】
また、第６の実施形態は、対象管理画像生成プログラムであって、コンピュータを、撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段、地図情報から管理対象の座標データを取得する座標データ取得手段、前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段、として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、既存の写真画像と地図情報とを使用して、簡易に管理対象の画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態にかかる対象管理画像生成システムの構成例を示す図である。
【図２】対象管理画像生成装置、写真画像データベース及び地図情報データベースを構成するコンピュータのハードウェア構成の例を示す図である。
【図３】本実施形態にかかる対象管理画像生成装置の適用例の説明図である。
【図４】カメラの位置と写真画像の仮想投影面との関係の説明図である。
【図５】図３の撮影位置Ａから撮影した写真画像の例を示す図である。
【図６】本実施形態にかかる対象管理画像生成システムの動作例のフロー図である。
【図７】補正方法１の説明図である。
【図８】補正方法１の説明図である。
【図９】カメラによる撮影状況を上から見た場合の概念図である。
【図１０】実際の現場における管理対象の存在位置を確認するための画面構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態（以下、実施形態という）を、図面に従って説明する。
【００１５】
図１には、本実施形態にかかる対象管理画像生成システムの構成例が示される。図１において、対象管理画像生成システムは、対象管理画像生成装置１００、写真画像データベース１０２、地図情報データベース１０４及び表示装置１０６を含んで構成されている。
【００１６】
対象管理画像生成装置１００は、写真画像データベース１０２から撮影位置及び撮影方向を属性として有する写真画像を取得し、地図情報データベース１０４から道路等に設けられた管理対象である設備や施設の座標データを取得し、これらの撮影位置及び撮影方向並びに管理対象の座標データに基づいて、管理対象の存在位置を表す画像を写真画像上に重畳して表示装置１０６に表示する。ここで、重畳とは、後述する写真画像の仮想投影面３８上に管理対象の存在位置を表す画像を投影することをいう。
【００１７】
このように、撮影位置及び撮影方向を属性として有する写真画像であれば、本実施形態の対象管理画像生成システムに適用できるので、対象管理画像生成システムに専用の機材を使用する必要がなく、写真画像から管理対象を管理するための対象管理画像を低コストで生成することができる。なお、撮影位置のみを有する写真画像では、後述するように、撮影位置の変化方向（配列方向）から撮影方向を決定することができるので、写真画像の属性としては、少なくとも撮影位置に関する情報を有していればよい。
【００１８】
写真画像データベース１０２には、車両等に載置したＣＣＤカメラ等の撮影装置により撮影した写真画像が登録（格納）されており、適宜な通信手段により対象管理画像生成装置１００に写真画像を送信する。また、各写真画像には、そのサムネイル画像を作成して格納しておくのが好適である。写真画像に属性として付与されている撮影位置は、撮影位置の座標データであり、２次元地図上での位置を表す２次元座標データ（例えば緯度、経度データ）、またはこれらの２次元座標データに標高データを加えた３次元座標データである。また、撮影方向は、少なくとも方位角（ヨーイング角）すなわちカメラレンズの光軸方向の水平成分を含み、上記光軸方向の仰俯角（ピッチング角）、すなわち水平成分に直交する成分または光軸方向に対する回転角（ローリング角）を含んでもよい。登録されている写真画像は、適宜な識別情報（ｕｃｏｄｅ（登録商標）、ＩＤ符号等）を付与し、この識別情報により写真画像を指定する構成でもよいし、属性としての撮影位置により指定する構成でもよい。また、写真画像は、静止画でもよいし静止画を複数枚連続させて構成された動画であってもよい。
【００１９】
また、地図情報データベース１０４には、管理対象の位置情報（座標データ）を含む地図情報が登録され、適宜な通信手段により対象管理画像生成装置１００に地図情報を送信する。上記座標データは、２次元地図上での位置を表す２次元座標データ（例えば緯度、経度データ）であるが、これらの２次元座標データに標高データを加えた３次元座標データであってもよい。ここで、管理対象は地上、地下、河川等に設けられた設備や施設であれば限定されないが、本実施形態は、地下に埋設された設備（例えば、上下水道配管）等の、通常目視で確認しにくい設備等に適用するのが好適である。管理対象は、上記地図情報に含まれているものから利用者が指定するが、指定の方法は地図情報ごとに予め定めた方法（例えば、ｕｃｏｄｅ、ＩＤ符号等を指示情報として入力する、２次元地図の画像上でポインティングデバイスのクリック操作を行う等）を使用することができる。
【００２０】
図２には、図１に示された対象管理画像生成装置１００、写真画像データベース１０２及び地図情報データベース１０４を構成するコンピュータのハードウェア構成の例が示される。図２において、対象管理画像生成装置１００は、中央処理装置（例えばマイクロプロセッサ等のＣＰＵを使用することができる）１０、ランダムアクセスメモリ（ＲＡＭ）１２、読み出し専用メモリ（ＲＯＭ）１４、入力装置１６、通信装置１８及び記憶装置２０を含んで構成されており、これらの構成要素は、バス２２により互いに接続されている。また、入力装置１６、通信装置１８及び記憶装置２０は、それぞれ入出力インターフェース２４を介してバス２２に接続されている。
【００２１】
ＣＰＵ１０は、ＲＡＭ１２またはＲＯＭ１４に格納されている制御プログラムに基づいて、後述する各部の動作を制御する。ＲＡＭ１２は主としてＣＰＵ１０の作業領域として機能し、ＲＯＭ１４にはＢＩＯＳ等の制御プログラムその他のＣＰＵ１０が使用するデータが格納されている。
【００２２】
また、入力装置１６は、キーボード、ポインティングデバイス等により構成され、使用者が動作指示等を入力するために使用する。
【００２３】
また、通信装置１８は、ＵＳＢ（ユニバーサルシリアルバス）ポート、ネットワークポートその他の適宜なインターフェースにより構成され、ＣＰＵ１０がネットワーク等の通信手段を介して外部の装置とデータをやり取りするために使用する。
【００２４】
また、記憶装置２０は、ハードディスク等の磁気記憶装置であり、写真画像データベース１０２、地図情報データベース１０４の他、後述する処理に必要となる種々のデータを記憶する。なお、記憶装置２０としては、ハードディスクの代わりに、デジタル・バーサタイル・ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等を使用してもよい。
【００２５】
なお、写真画像データベース１０２、地図情報データベース１０４及び表示装置１０６は、対象管理画像生成装置１００と同じコンピュータ上に構成されていてもよいし、別々のコンピュータ上に構成して、適宜な通信手段により情報のやり取りをする構成としてもよい。
【００２６】
図１に戻り、対象管理画像生成装置１００は、画像取得部２６、地図情報取得部２８、対象物重畳部３０、表示制御部３２及び位置補正部３４を含んで構成されており、これらの機能は例えばＣＰＵ１０とＣＰＵ１０の処理動作を制御するプログラムにより実現される。
【００２７】
画像取得部２６は、通信装置１８を介して写真画像データベース１０２から写真画像を、その撮影位置及び撮影方向に関する属性情報とともに取得する。なお、写真画像とともにそのサムネイル画像を取得する構成としてもよい。写真画像データベース１０２から取得する写真画像は、地図情報データベース１０４に含まれる管理対象が設置された地域の写真画像であり、利用者が入力装置１６から上記識別情報等を入力することにより指定される。なお、後述する図１０において、指定方法の例を説明する。
【００２８】
地図情報取得部２８は、通信装置１８を介して地図情報データベース１０４から管理対象である設備や施設の座標データを取得する。どの設備等を管理対象にするかの指示は、利用者が入力装置１６から所定の指示情報を入力することにより行う。
【００２９】
対象物重畳部３０は、上記写真画像の撮影位置及び撮影方向と、管理対象の座標データとに基づき、管理対象の存在位置を表す画像（存在位置を示す線分やポリゴン、点の位置を表す２次元座標にＲＧＢ等の輝度情報を付加した画像）を前記写真画像の仮想投影面３８上に重畳する。重畳する手順については後述する。
【００３０】
表示制御部３２は、対象物重畳部３０が管理対象の存在位置を表す画像を重畳した写真画像を、表示装置１０６に表示させる。
【００３１】
位置補正部３４は、表示制御部３２が写真画像の仮想投影面３８上に重畳した管理対象の存在位置を表す画像の写真画像上の位置を補正する。これにより、写真画像と管理対象の存在位置を表す画像とのずれを修正する。補正方法については後述する。
【００３２】
図３には、本実施形態にかかる対象管理画像生成装置の適用例の説明図が示される。図３の例は、２次元地図であり、道路Ｒと建物Ｂとが示されている。また、道路Ｒに設けられたマンホールＭが丸印で、各マンホールＭを結ぶように道路下（路面の下）に設けられた下水配管Ｐが破線により示されている。これらのマンホールＭ及び下水配管Ｐは、その位置を表す座標データを属性として付与されている。なお、下水配管Ｐの位置を表す座標データは、例えば所定間隔ごとに配管上の点を設定し、この点の位置の座標データから生成したベクトルデータ上で内挿または外挿により求めることができる。
【００３３】
本例では、撮影位置ＡからＣＣＤカメラ等により撮影され、撮影位置Ａの座標及び撮影方向を属性として付与された、路面を含む写真画像に、上記マンホールＭ及び下水配管Ｐの存在位置を表す画像が重畳される。
【００３４】
上記写真画像は、撮影位置Ａを中心とした半径Ｌ、中心角θの扇形状の領域Ｆを撮影した画像であり、予め写真画像データベース１０２に登録された画像から、画像取得部２６が取得する。例えば、半径Ｌは撮影位置Ａと仮想投影面３８との水平距離と、中心角θはカメラの水平方向の画角とすることができる。なお、本実施形態にかかる対象物重畳部３０は、写真画像データベース１０２に登録された写真画像の代わりに、ＣＣＤカメラ等により撮影された写真画像を直接カメラから（写真画像データベース１０２を経由せずに）取得して使用する構成としてもよい。
【００３５】
写真画像を撮影するＣＣＤカメラ等には、従来公知の方法により撮影位置と撮影方向とを取得する構成を備えておく。撮影位置は、例えばカメラに搭載したＧＰＳ（全地球測位システム）及びＩＭＵ（慣性計測装置）により計測し、撮影方向は、例えばＩＭＵにより計測することができる。なお、複数の写真画像を、その撮影位置を連続的に変更しながら撮影（例えばカメラを搭載した車両を走行させながら撮影）した場合には、カメラの撮影角度と車両の進行方向とを考慮した上で、撮影位置の変化方向（車両の走行方向）を撮影方向としてもよい。この場合、ある撮影位置における撮影方向は、当該撮影位置と、撮影の順番が次の撮影位置との座標データを取得し、当該撮影位置から次の撮影位置までのベクトルを発生し、このベクトルを撮影方向とすることにより決定できるが、この方法に限定されるものではない。例えば、上記方法では交差点の頂点に撮影位置が無い場合には、交差点の頂点が欠ける（交差点をバイパスした方向が撮影方向とされてしまう）という問題が生じる。この場合には、例えば道路ネットワークデータを利用し、交差点前後の撮影位置にバッファを設定して各撮影位置が属する道路ラインデータを選択し、これらの交点情報を利用して撮影方向の転換点である交差点の頂点を求め、撮影方向を設定することができる。
【００３６】
図４は、カメラ３６と仮想投影面３８とを横（撮影方向と直交する方向）から見た図であり、カメラ３６の位置（例えば撮影位置Ａをカメラ３６に備えられる撮像素子（ＣＣＤ）の位置）と写真画像の仮想投影面３８との関係が示される。図４において、ｆはカメラ３６の焦点距離であり、カメラ３６の画角は撮像素子の大きさと焦点距離とから求めることができる。仮想三次元空間上にカメラ３６の撮影位置Ａの座標を定め、当該位置から撮影方向に予め定めた水平距離Ｌの位置に、カメラ３６の撮影方向及び縦横の画角により画像表示範囲が決まる仮想投影面３８を設定する。この仮想投影面３８上に、カメラ３６により撮影された遠近感のある写真画像が投影される。また、カメラ３６の撮影位置Ａと仮想投影面３８の下端とを結ぶ線４０が地面Ｒｓと交わる点Ｃｐは、写真画像の下端に現れる地面の位置となる。この点Ｃｐの位置は、対象物重畳部３０が、撮影位置Ａと仮想投影面３８（写真画像の投影面）との距離Ｌ及び撮影に使用したカメラの画角、撮影方向に基づいて算出する。
【００３７】
図５（ａ），（ｂ）には、図３の撮影位置Ａから撮影した写真画像の例が示される。図５（ａ）の例では、撮影位置Ａの座標、カメラの焦点距離、画角から任意の距離Ｌにおける写真画像が仮想投影面３８に透視投影されている。図５（ａ）において、写真画像の下端の辺が、図４に示された点Ｃｐに対応しており、カメラ３６中心と仮想投影面３８の下端とを結ぶ線４０が地面Ｒｓと交わる位置を示している。また、写真画像として表示される範囲は、カメラ３６の画角及び撮影方向により決定される。
【００３８】
また、図５（ｂ）の例は、図５（ａ）に示された写真画像上に、図３に示された管理対象としてのマンホールＭ及び下水配管Ｐの存在位置を表す画像を重畳した図である。重畳とは写真画像が透視投影されている仮想投影面３８上に、上記管理対象の存在位置を表す画像を、その標高（地図情報が地上あるいは地下方向の高さ（深さ）情報を持っている場合にはこれらを含む）で透視投影することを意味する。図５（ｂ）の例では、マンホールＭが白丸で、下水配管Ｐが適宜な太さの線で、それぞれ表示されている。なお、これらのマンホールＭ及び下水配管Ｐの存在位置を表す画像の色は、適宜選択できる。
【００３９】
図６には、本実施形態にかかる対象管理画像生成システムの動作例のフローが示される。図６において、利用者が入力装置１６から入力した指示情報に基づき、地図情報取得部２８が地図情報データベース１０４から撮影位置Ａを含む地図情報を取得する（Ｓ１）。上記指示情報には、例えば撮影位置Ａを含ませておき、地図情報取得部２８が写真画像の撮影位置Ａの座標データを参照し、この撮影位置Ａから所定範囲の地図情報を地図情報データベース１０４から取得して対象物重畳部３０に渡す構成としてもよい。また、所定範囲としては、例えば撮影位置Ａと写真画像の仮想投影面３８との距離Ｌを用いることができる。
【００４０】
次に、画像取得部２６は、利用者が入力装置１６から入力した指示情報に基づいて、写真画像データベース１０２から、図３及び図５（ｂ）に示される撮影位置Ａから撮影した写真画像を取得して対象物重畳部３０に渡す（Ｓ２）。なお、写真画像の選択は、Ｓ１で取得した地図情報を表示制御部３２が表示装置１０６に表示させ、利用者が表示された画像を参照し、撮影位置Ａをマウス等のポインティングデバイスで指定することにより行う構成としてもよい。また、写真画像は静止画、静止画を複数枚連続させて構成された動画のいずれであってもよい。なお、Ｓ１とＳ２の処理順序はこれに限定されるものではなく、逆順としてもよい。
【００４１】
対象物重畳部３０は、上記地図情報に含まれる管理対象の座標データを取得する（Ｓ３）。図３の例では、マンホールＭと下水配管Ｐの座標データを取得する。なお、本例のマンホールＭと下水配管Ｐとは、利用者が入力装置１６から入力した指示情報により管理対象として指定されている。また、下水配管Ｐは地下に埋設された設備であり、写真画像には写らないが、表示制御部３２によりその存在位置が線分等で写真画像上に表示される。
【００４２】
次に、対象物重畳部３０は、管理対象であるマンホールＭと下水配管Ｐの座標データから求めた２次元地図上における位置及び図４に示された撮影位置Ａ、カメラ３６の画角及び撮影方向を元に地図情報の表示範囲Ｌに含まれるマンホールＭと下水配管Ｐの地図情報を透視投影し、写真画像上に重畳する（Ｓ４）。ここで、地図情報が高さ情報を持たない平面図である場合は、標高値が０の三次元モデルとして透視投影を行う。一方、地図情報が地上あるいは地下方向の高さ（深さ）情報を持っている場合には、当該情報を元に三次元モデルを生成し、これを透視投影することにより、更に位置合わせ精度の高い重畳処理が可能となる。
【００４３】
表示制御部３２は、対象物重畳部３０が重畳したマンホールＭ及び下水配管Ｐと写真画像とを表示装置１０６に表示する（Ｓ４）。本例では、図５（ｂ）に示されるように、下水配管Ｐの設置線を適宜な太さの直線により表示する。なお、写真画像が動画である場合には、動画を構成する各静止画に対して上記重畳処理を行う。
【００４４】
なお、対象物重畳部３０にて、図３及び図５（ｂ）に示すように、上記撮影位置Ａと、マンホールＭと下水配管Ｐの座標データから求めた管理対象の配列線（本例では下水配管Ｐの設置線）の位置とから、撮影位置Ａと上記管理対象の配列線との距離Ｄ、及び、写真画像の撮影方向ｙと管理対象の配列線方向とのなす角度αを演算し、これらの値に基づいて管理対象の存在位置を表す画像と写真画像との重畳処理における位置合わせを行い、初期重畳画像として表示することも可能である。この場合、後述する位置補正処理（Ｓ５）を軽減することができる。
【００４５】
次に、位置補正部３４は、表示制御部３２が写真画像に重畳して表示した管理対象の存在位置を表す画像の写真画像上における位置を補正する（Ｓ５）。これは、管理対象の存在位置を表す画像を写真画像に重畳する、すなわち仮想投影面３８に透視投影する場合に、写真画像と管理対象の存在位置を表す画像とに生じたずれを修正する必要があるためである。このずれは、例えばカメラ３６の撮影時における方位角（ヨーイング角）、車両が走行する路面の傾きに基づく仰俯角（ピッチング角）、光軸方向に対する回転角（ローリング角）の変動、及び撮影位置、座標データの精度等に基づいて発生する。また、高さ方向に対して立体的に存在している管理対象を平面図として表現した地図情報を用いる場合には、この影響もずれに含まれる。なお、補正の指示は、利用者が表示装置１０６に表示された画像を参照しながら、入力装置１６から入力する。
【００４６】
以上の工程により、写真画像上に管理対象の存在位置を表す画像を重畳して表示することができる。なお、上述した、図６の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。
【００４７】
上記位置補正部３４が実行する補正の方法については以下の２種類がある。
【００４８】
＜補正方法１＞
図７、図８（ａ），（ｂ）には、補正方法１の説明図が示される。本補正方法１では、仮想投影面３８上に投影された写真画像の位置を変更せず、管理対象の存在位置を表す画像を見る位置（以後、視点位置という）を変えて、管理対象が仮想投影面３８上に投影される位置を変更する。
【００４９】
図７を用いて、視点位置と、管理対象の存在位置を表す画像上の点Ｐの仮想投影面３８上への投影点との関係について説明する。視点位置１は、撮影位置と同じ位置であり、この位置と点Ｐを結んだ直線が仮想投影面３８と交差する点を視点位置１から見た点Ｐの投影点Ｐ１とする。同様に、視点位置１から水平方向に移動した視点位置２から見た点Ｐの投影点をＰ２、視点位置１から垂直方向に移動した視点位置３から見た点Ｐの投影点をＰ３とする。
【００５０】
図８（ａ）は視点位置１から見た丸印及び直線で示された管理対象（例えばマンホールと下水配管）の仮想投影面３８上への投影像、図８（ｂ）は視点位置２から見た管理対象の仮想投影面３８上への投影像であり、図に示すように、仮想三次元空間上で視点位置を変えることにより、上記丸印及び直線を仮想投影面３８上で移動させることができる。この結果、写真画像と管理対象の存在位置を表す画像とに生じたずれを補正することができる。視点位置３を用いた場合も、同様にずれを補正することができる。
【００５１】
なお、視点位置を移動している間は、破線で示された道路を含む写真画像の仮想投影面３８上における位置（撮影位置）は固定しておく。上記補正は、図５（ｂ）の例では、例えば写真画像上に表示された複数のマンホールに対して、マンホールＭの位置にマンホールを表す丸印がなるべく重なるように視点位置（仮想投影面上での管理対象の存在位置）を移動させることにより行う。
【００５２】
＜補正方法２＞
本補正方法２は、補正方法１を行った結果に対して必要に応じて行う処理であり、仮想投影面３８上に投影された管理対象の存在位置（すなわち視点位置）を変更せず、写真画像の位置を左右方向に平行移動させて、その仮想投影面３８上へ投影される位置を変更する。あるいは、仮想投影面３８上に投影された画像を平行移動させることも可能である。なお、上記例では写真画像を左右方向に平行移動させているが、上下方向に垂直移動させたり、あるいはこれらを組合わせ任意の方向へ移動させることも可能である。更に、撮影画像のローリング角が分かっている場合にはこの値を元に撮影画像を回転させることもでき、また撮影位置から仮想投影面３８までの距離Ｌを変えて距離遠近補正や表示倍率の変更を行うことも可能である。
【００５３】
図９（ａ）の例は、カメラ３６による撮影状況を上から見た場合の概念図であり、道路Ｒ及び黒丸で示された適宜な設備が、カメラ３６の画角及び撮影方向により決まる撮影範囲に存在している。これらの道路Ｒ及び設備は、写真画像として仮想投影面３８上に透視投影される。ここで、図９（ａ）に示されるカメラ３６の撮影位置を図９（ｂ）に示されるカメラ３６の撮影位置に移動すると、撮影範囲も同じ方向に移動し、破線で示される範囲が撮影されることになる。このとき、仮想投影面３８も同じ方向に移動するので、仮想投影面３８に透視投影される写真画像は、カメラ３６の移動方向とは反対方向に平行移動することになる。なお、図９（ａ），（ｂ）の例では、カメラ３６を図の上下方向に移動させているが、図の左右方向に移動させてもよい。また、これらを組合わせることも可能である。更に、撮影画像のローリング角が分かっている場合には、この値を元に撮影画像を回転、遠近補正および表示倍率を変更することも可能である。
【００５４】
図９（ａ），（ｂ）の場合においては、管理対象の存在位置を表す画像の仮想投影面３８上における位置（例えば平行する２本の下水配管の仮想投影面３８上での位置関係）を変えることはできないが、写真画像の撮影位置を適宜調整するとともに、投影された画像の縮尺を変えることにより、位置合わせの微調整を行うことができる。
【００５５】
また、上述した補正方法１，２により得られた表示用のパラメータを記憶しておき、対応する写真画像と管理対象の存在位置を表す画像との組合わせを重畳表示する場合には、同じパラメータにて表示する構成とするのが好適である。
【００５６】
図１０には、実際の現場における管理対象の存在位置を確認するための画面構成例が示される。図１０において、表示装置１０６に表示された画面には、２次元地図（ベースマップと記載）表示領域４２とサムネイル表示領域４４と写真画像表示領域４６とが表示されている。
【００５７】
２次元地図表示領域４２には、道路Ｒ、建物Ｂ、マンホールＭ（黒丸印）が示され、各マンホールＭを結ぶように道路下（路面の下）に設けられた下水配管Ｐが実線により示されている。また、黒四角印により撮影位置Ａが示されている。本実施形態では、１つの撮影位置Ａにおいて、１枚または複数枚の写真画像が撮影されており、当該撮影位置Ａの座標データを介して撮影位置Ａを表す各黒四角印に対応付けられて、写真画像データベース１０２に格納されている。利用者が、入力装置１６を構成するポインティングデバイスのクリック操作等により適宜な撮影位置Ａを指定すると、画像取得部２６が写真画像データベース１０２から撮影位置Ａに対応付けられた１枚または複数枚の写真画像及びそのサムネイル画像を取得し、表示制御部３２が、当該サムネイル画像をサムネイル表示領域４４に表示する。なお、サムネイル表示領域４４に表示される各サムネイル画像は、画像取得部２６が写真画像を取得する際に写真画像データベース１０２から取得する代わりに、表示制御部３２が写真画像から作成する構成としてもよい。
【００５８】
次に、利用者が、上記サムネイル表示領域４４に表示されたサムネイル画像の中から適宜なものをポインティングデバイスのクリック操作等により指定すると、表示制御部３２が、指定されたサムネイル画像に対応する写真画像を写真画像表示領域４６に表示する。また、このとき、上述した図６の各ステップにより、マンホールＭ及び下水配管Ｐ等の管理対象の存在位置を表す画像が上記写真画像に重畳される。
【００５９】
これにより、利用者は、簡易な操作により管理対象の存在位置を写真画像上で容易に確認することができる。
【００６０】
また、図１０に示された２次元地図表示領域４２において、管理対象の存在位置を表す画像（例えばマンホールＭを表す黒丸印）をポインティングデバイスのクリック操作等により指定した場合に、当該管理対象が撮影されている画像群が選択・表示される構成としてもよい。この場合、各管理対象の存在位置を表す画像には、図３で説明したように、座標データが属性として付与されているので、ポインティングデバイスのクリック操作等により指定された座標データを表示制御部３２が取得することができる。また、図３で説明したように、撮影位置Ａに基づいて、撮影した領域Ｆが予めわかっている。そこで、表示制御部３２は、上記取得した座標データ（管理対象の存在位置）を画像取得部２６に渡し、画像取得部２６が写真画像データベース１０２から、上記座標データから一定範囲にある撮影位置Ａの写真画像を取得し、各写真画像の領域Ｆに上記座標データが含まれているものを検索して表示制御部３２に渡し、表示制御部３２がこれらの写真画像群を表示する構成とする。写真画像群は、サムネイル表示領域４４にサムネイル画像として表示し、利用者がポインティングデバイス等により選択する構成としてもよい。
【符号の説明】
【００６１】
１０ ＣＰＵ、１２ ＲＡＭ、１４ ＲＯＭ、１６ 入力装置、１８ 通信装置、２０ 記憶装置、２２ バス、２４ 入出力インターフェース、２６ 画像取得部、２８ 地図情報取得部、３０ 対象物重畳部、３２ 表示制御部、３４ 位置補正部、３６ カメラ、３８ 仮想投影面、４０ 線、４２ ２次元地図表示領域、４４ サムネイル表示領域、４６ 写真画像表示領域、１００ 対象管理画像生成装置、１０２ 写真画像データベース、１０４ 地図情報データベース、１０６ 表示装置。
【特許請求の範囲】
【請求項１】
撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段と、
地図情報から管理対象の座標データを取得する座標データ取得手段と、
前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段と、
を備えることを特徴とする対象管理画像生成装置。
【請求項２】
請求項１に記載の対象管理画像生成装置において、前記管理対象が複数直線上に配列されている場合に、前記対象物重畳手段は、前記撮影位置と前記座標データから求めた管理対象の配列線の位置とから、前記撮影位置と前記管理対象の配列線との距離を演算するとともに、前記撮影方向と前記管理対象の配列線方向とのなす角度を演算し、前記演算した距離及び角度に基づいて前記管理対象の配列線を前記写真画像上に重畳することを特徴とする対象管理画像生成装置。
【請求項３】
請求項１または請求項２に記載の対象管理画像生成装置が、前記管理対象の存在位置を表す画像の前記写真画像上の位置を補正する位置補正手段を備えることを特徴とする対象管理画像生成装置。
【請求項４】
請求項３に記載の対象管理画像生成装置において、前記位置補正手段は、前記写真画像を変更せず、前記管理対象の存在位置を表す画像を見る方向を変えることにより管理対象の存在位置を表す画像を変更し、または前記管理対象の存在位置を示す画像を変更せず、前記写真画像を平行移動させることを特徴とする対象管理画像生成装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の対象管理画像生成装置において、前記対象物重畳手段は、前記写真画像として動画を使用することを特徴とする対象管理画像生成装置。
【請求項６】
コンピュータを、
撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段、
地図情報から管理対象の座標データを取得する座標データ取得手段、
前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段、
として機能させることを特徴とする対象管理画像生成プログラム。
【請求項１】
撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段と、
地図情報から管理対象の座標データを取得する座標データ取得手段と、
前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段と、
を備えることを特徴とする対象管理画像生成装置。
【請求項２】
請求項１に記載の対象管理画像生成装置において、前記管理対象が複数直線上に配列されている場合に、前記対象物重畳手段は、前記撮影位置と前記座標データから求めた管理対象の配列線の位置とから、前記撮影位置と前記管理対象の配列線との距離を演算するとともに、前記撮影方向と前記管理対象の配列線方向とのなす角度を演算し、前記演算した距離及び角度に基づいて前記管理対象の配列線を前記写真画像上に重畳することを特徴とする対象管理画像生成装置。
【請求項３】
請求項１または請求項２に記載の対象管理画像生成装置が、前記管理対象の存在位置を表す画像の前記写真画像上の位置を補正する位置補正手段を備えることを特徴とする対象管理画像生成装置。
【請求項４】
請求項３に記載の対象管理画像生成装置において、前記位置補正手段は、前記写真画像を変更せず、前記管理対象の存在位置を表す画像を見る方向を変えることにより管理対象の存在位置を表す画像を変更し、または前記管理対象の存在位置を示す画像を変更せず、前記写真画像を平行移動させることを特徴とする対象管理画像生成装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の対象管理画像生成装置において、前記対象物重畳手段は、前記写真画像として動画を使用することを特徴とする対象管理画像生成装置。
【請求項６】
コンピュータを、
撮影位置及び撮影方向を属性として有する写真画像を取得する画像取得手段、
地図情報から管理対象の座標データを取得する座標データ取得手段、
前記撮影位置及び撮影方向と前記座標データとに基づき、前記管理対象の存在位置を表す画像を前記写真画像上に重畳する対象物重畳手段、
として機能させることを特徴とする対象管理画像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２４３０７６（Ｐ２０１１−２４３０７６Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１５８７６（Ｐ２０１０−１１５８７６）
【出願日】平成２２年５月２０日（２０１０．５．２０）
【出願人】（０００１３５７７１）株式会社パスコ (102)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月２０日（２０１０．５．２０）
【出願人】（０００１３５７７１）株式会社パスコ (102)
【Ｆターム（参考）】
[ Back to top ]