情報処理装置及び情報処理方法及びプログラム
【課題】車両に搭載する可視カメラ等の環境センサの車両に対する取り付け位置姿勢と環境センサの出力縮尺値を特定の調整場所を設けることなく検出する方法を得る。
【解決手段】車両に搭載されている情報処理装置４において、模擬撮影画像情報生成部４０３がＧＰＳジャイロからの現在位置及び姿勢の情報に基づいて、車両の周辺の地形・地物情報を三次元地図データベース４０４より得て、対象とする環境センサとしての可視カメラ２による撮影画像を模擬する模擬撮影画像情報を生成し、補正値算出部４０５が、実際に可視カメラ２で撮影された撮影画像情報と模擬撮影画像情報を比較し、可視カメラ２による撮影画像情報を模擬撮影画像情報に一致させるための回転量、平行移動量、および縮尺量を算出する。
【解決手段】車両に搭載されている情報処理装置４において、模擬撮影画像情報生成部４０３がＧＰＳジャイロからの現在位置及び姿勢の情報に基づいて、車両の周辺の地形・地物情報を三次元地図データベース４０４より得て、対象とする環境センサとしての可視カメラ２による撮影画像を模擬する模擬撮影画像情報を生成し、補正値算出部４０５が、実際に可視カメラ２で撮影された撮影画像情報と模擬撮影画像情報を比較し、可視カメラ２による撮影画像情報を模擬撮影画像情報に一致させるための回転量、平行移動量、および縮尺量を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両等に搭載され、例えば、環境センサの設置位置姿勢および環境センサの縮尺値等を検出する情報処理装置等に関する。
【背景技術】
【０００２】
従来の車両に搭載する環境センサは、車両取り付け時に設置位置姿勢を調整するにあたり、特定の設備を要する（例えば、特許文献１参照）。
【特許文献１】特開２００３−３１５４４１号公報（５項、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
環境センサが例えばカメラ等の撮影手段であり、車両の走行制御、停止制御が環境センサにより撮影された撮影画像に基づいて行われる場合、環境センサが所定の取付け位置に正確に取り付けられている必要がある。
環境センサが取付け位置に正確に取り付けられていないと、その誤差により走行制御、停止制御の正確性を損なうことになってしまう。
このため、環境センサの取り付けに誤差があれば、環境センサを正しい位置に戻す必要があるが、従来技術によれば、専用の調整装置や設備が整った位置へ車両を設置し、予め決められた対象物を環境センサによって検出することで環境センサの車両に対する取り付け位置・姿勢を確認している。
このため、車両が専用の調整装置や設備が整った位置に無い場合は、環境センサの調整が出来ず、一度専用の調整装置や設備が整った位置へ車両を移動し調整しなければ、環境センサが正しく使用できないという課題があった。
【０００４】
この発明は、かかる課題を解決することを主な目的とし、撮影された撮影画像に対して補正を行うことで、専用の調整装置や設備に車両を移動させなくても、環境センサ（撮影手段）を有効に利用できる機構を実現することを主な目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る情報処理装置は、
撮影手段と三次元地図データベースとを備える移動体に搭載される情報処理装置であって、
前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力部と、
前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成部と、
前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出部とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影手段で撮影された撮影画像と、三次元地図データに基づいて生成された模擬撮影画像とを比較し、撮影画像を模擬撮影画像に一致させるための補正値を算出するため、算出した補正値を用いて撮影画像を補正することができ、専用の調整装置や設備がなくても、撮影手段の位置、姿勢等を物理的に調整したのと同様な状態とすることができる。
【発明を実施するための最良の形態】
【０００７】
実施の形態１．
図１は、本実施の形態に係る情報処理装置を搭載した車両の例を示す。本実施の形態では、車両を移動体の例として説明する。
車両１には、環境センサとして撮影手段である可視カメラ２が取り付けられている。
可視カメラ２は、例えば、車両の前方を撮影する。
また、車両１は、自己位置姿勢を検出するためのＧＰＳ（Ｇｌｏｂａｌ ＰｏｓＩｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ジャイロ３を搭載している。
更に、車両１内部には車両１周囲の三次元地図情報から可視カメラ２により検出される周囲情報とを比較処理する情報処理装置４が搭載されている。
車両１は道路上に現在あり、車両１の周囲には地物として停止線５と標識６と信号機７と横断歩道８があり、情報処理装置４では可視カメラ２で撮影された撮影画像からこれらの物体を検出できる。
また、情報処理装置４は、車両搭載の環境センサの車両に対する位置・姿勢、および環境センサ出力の縮尺値を特定する処理が実施できる。
【０００８】
図２は、情報処理装置４の内部構成例を示す。
撮影画像情報入力部４０１は、撮影手段たる可視カメラ２で撮影された撮影画像が示される撮影画像情報を入力する。
可視カメラ諸元データベース４０２は、可視カメラ２の画像出力の画角、可視カメラ２の撮影可能距離等の可視カメラ２の撮影属性を示す情報を格納している。
三次元地図データベース４０４は、地形・地物等の情報が含まれる三次元の地図データを格納している。
なお、図２では、三次元地図データベース４０４は、情報処理装置４内に配置されているが、情報処理装置４外であってもよい。
【０００９】
模擬撮影画像情報生成部４０３は、ＧＰＳジャイロ３から車両１の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報に基づいて三次元地図データベース４０４から現在位置の周囲の三次元地図データを取得するとともに、現在位置姿勢情報に示される車両１の姿勢から、車両１の前方の地形、地物が示される三次元地図データを判別し、可視カメラ諸元データベース４０２から取得した可視カメラ諸元を用いて、可視カメラ２の撮影画像を模擬する模擬撮影画像情報を生成する。
模擬撮影画像情報とは、可視カメラ２で撮影された撮影画像に含まれている地物等の概略を表す情報であり、例えば、図３（ａ）の可視カメラ映像（撮影画像）に示される信号、標識、ライン等の概略を示す図３（ｂ）の可視カメラ出力模擬（模擬撮影画像）である。
なお、図３の各情報の詳細は後述する。
【００１０】
補正値算出部４０５は、撮影画像情報入力部４０１により入力された撮影画像情報に示される撮影画像と模擬撮影画像情報生成部４０３により生成された模擬撮影画像情報に示される模擬撮影画像とを比較し、撮影画像を模擬撮影画像に一致させるために必要な補正値を算出する。
より具体的には、補正値算出部４０５は、補正値として、撮影画像を回転させる回転補正値、撮影画像を平行移動させる平行移動補正値、撮影画像の縮尺を変更する縮尺補正値の少なくともいずれかを算出する。
【００１１】
撮影画像補正部４０６は、補正値算出部４０５により算出された補正値を用いて、可視カメラ２により撮影された撮影画像を補正する。
出力部４０７は、撮影画像補正部４０６により補正された後の撮影画像を、例えば車両１の運転席に配置されている表示装置９に出力する。
また、出力部４０７は、表示装置９の他に、運転制御、停止制御等を行う制御手段に出力してもよい。
【００１２】
次に、図４を参照して本実施の形態に係る情報処理装置４の動作例を説明する。
なお、以下では、例えば、図１に示すような複数の地物が周囲に存在する場所に車両１が停止している場合を例にして説明する。
【００１３】
先ず、模擬撮影画像情報生成部４０３が、ＧＰＳジャイロ３から現在位置姿勢値が示される現在位置姿勢情報を入力し（Ｓ１０１）、また、位置姿勢のオフセット量を入力し（Ｓ１０２）、現在位置姿勢値とオフセット量との加算により可視カメラ２の仮想視点を求める。
なお、位置姿勢のオフセット量はＳ１１６の処理を経た後に得られる値であり、Ｓ１１６の処理の実施前は、現在位置姿勢値のみから仮想視点を求める。
また、模擬撮影画像情報生成部４０３は、現在位置姿勢値に基づき、三次元地図データベース４０４から、現在位置の周囲の三次元地図データを入力するとともに、車両１の前方の地形・地物を表す三次元地図データを特定する（Ｓ１０３）。
また、模擬撮影画像情報生成部４０３は、可視カメラ諸元データベース４０２から環境センサ出力の縮尺値として可視カメラ２の画像出力の画角および可視カメラ２の撮影可能距離の情報を入力する（Ｓ１０４）。
また、後述するＳ１１４の縮尺平行判定処理において判定外であった場合は、Ｓ１１３の縮尺並行処理で算出された縮尺量を入力し、可視カメラ諸元の情報と加算するが（Ｓ１０５）、Ｓ１１４の縮尺平行判定処理の実施前は加算処理を行わない。
【００１４】
そして、模擬撮影画像情報生成部４０３は、三次元地図データベース４０４からの車両１の周辺の三次元での地形・地物の情報、仮想視点、可視カメラ２の画像出力の画角および可視カメラ２の撮影可能距離の情報を基に、可視カメラ２で撮影されるであろう仮想視点での模擬画像を生成し（Ｓ１０６）（模擬撮影画像情報生成ステップ）、模擬画像内での物体の検出処理のため模擬撮影画像情報を補正値算出部４０５へ送る。
なお、模擬画像の生成は、既存技術により可能である。
【００１５】
また、以上の処理と並行して、可視カメラ２が車両１の前方を撮影し、撮影画像情報入力部４０１が可視カメラ２から撮影画像情報を入力し（Ｓ１０７）（撮影画像情報入力ステップ）、補正値算出部４０５に出力する。
【００１６】
次に、補正値算出部４０５は、模擬撮影画像情報生成部４０３から入力した模擬撮影画像情報に対して物体検出処理を行い、模擬撮影画像に含まれている地物の輪郭を抽出し、抽出した地物の輪郭が示される画像物体情報を生成する（Ｓ１０８）。
また、補正値算出部４０５は、撮影画像情報入力部４０１から入力した撮影画像情報に対して物体検出処理を行い、撮影画像に含まれている地物の輪郭を抽出し、抽出した地物の輪郭が示される映像物体情報を生成する（Ｓ１０９）。
なお、可視カメラ２に撮影画像から地物の輪郭を抽出する機能が備わっている場合は、補正値算出部４０５の代わりに可視カメラ２で映像物体情報を生成するようにしてもよい。
また、これら撮影画像に対する物体検出処理も既存技術により実現可能である。
【００１７】
次に、補正値算出部４０５は、物体検出処理（Ｓ１０８）で生成された画像物体情報と物体検出処理（Ｓ１０９）で生成された映像物体情報を比較し（Ｓ１１０）、回転判定処理（Ｓ１１１）、法線ベクトル処理（Ｓ１１２）、縮尺平行処理（Ｓ１１３）、縮尺平行判定処理（Ｓ１１４）により画像物体情報に映像物体情報が一致するように位置姿勢と可視カメラ出力の縮尺値を算出する（補正値算出ステップ）。
【００１８】
例えば、模擬撮影画像情報生成部４０３が、三次元地図データ等から、図３（ｃ）に例示する模擬画像を作成した場合に、補正値算出部４０５は、画像内で物体を検出しその結果を図３（ｄ）のような画像物体情報とする。
また、図３（ａ）に例示する可視カメラ映像が可視カメラ２から入力された場合に、補正値算出部４０５は、図３（ａ）の可視カメラ映像を基に物体検出処理を行って映像内で物体を検出し、図３（ｂ）のような映像物体情報を生成する。
次に、補正値算出部４０５は、図３（ｂ）の映像物体情報を図３（ｄ）の画像物体情報に一致させるための補正値を算出する。
より具体的には、補正値算出部４０５は、図３（ｅ）のように、図３（ｂ）映像物体情報の図３（ｄ）の画像物体情報に対するずれについて、画像出力間での頂点や直線の特徴点の関係から図３（ｂ）映像物体情報に必要な回転量を推定計算し、回転判定処理（Ｓ１１１）によりその回転量が予め設定している閾値の範囲内であるか判定し、閾値外であればオフセット処理（Ｓ１１６）によりオフセット量を算出し、模擬撮影画像情報生成部４０３では比較処理（Ｓ１１６）において算出された回転量についてのオフセット量を現在位置姿勢値に加算し、再度仮想視点を導出（Ｓ１０２）する。
その後、模擬撮影画像情報生成部４０３は、新たな仮想視点に基づいて、再度模擬撮影画像情報を生成し、回転判定処理（Ｓ１１１）にて閾値内との判定結果がでるまでオフセット処理（Ｓ１１６）、加算処理（Ｓ１０２）、可視カメラ出力模擬処理（Ｓ１０６）、物体検出処理（Ｓ１０８）、比較処理（Ｓ１１０）、及び回転判定処理（Ｓ１１１）を繰返す。
【００１９】
回転判定処理（Ｓ１１１）により予め設定した閾値内の回転量が得られたら、法線ベクトル処理（Ｓ１１２）により可視カメラの指向方向を決定し、その方向を中心に縮尺平行処理（Ｓ１１３）により図３（ｄ）の画像物体情報に図３（ｂ）の映像物体情報を一致させるための縮尺変更量と平行移動量を推定計算し、その縮尺量と平行移動量が予め設定した閾値の範囲内かどうかを縮尺平行判定処理（Ｓ１１４）で判定し、閾値外であればオフセット処理（Ｓ１１６）により縮尺変更量と平行移動量のオフセット量が算出される。
そして、模擬撮影画像情報生成部４０３では比較処理（Ｓ１１６）において算出された縮尺変更量と平行移動量についてのオフセット量を現在位置姿勢値に加算し、再度仮想視点を導出（Ｓ１０２）する。
また、可視カメラ諸元データベース４０２からの情報に縮尺平行処理（Ｓ１１３）により推定計算された縮尺量が加算され、模擬撮影画像情報生成部４０３は再度可視カメラ出力模擬処理（Ｓ１０６）を行って、模擬撮影画像情報を生成し、縮尺平行判定処理（Ｓ１１４）において閾値内と判定されるまで物体検出処理（Ｓ１０８）、比較処理（Ｓ１１０）、回転判定処理（Ｓ１１１）、法線ベクトル処理（Ｓ１１２）、縮尺平行処理（Ｓ１１３）、そして縮尺平行判定処理（Ｓ１１４）を繰返す。
【００２０】
縮尺平行判定処理（Ｓ１１４）により予め設定した閾値内の縮尺変更量と平行移動量が得られたら、環境センサである可視カメラの車両に対する取り付け位置と姿勢および搭載の可視カメラの縮尺についての補正値として、可視カメラ情報が得られる（Ｓ１１５）。
撮影画像補正部４０６は、可視カメラ情報を用いて、可視カメラ２より得られる撮影画像情報を車両１に対して補正し、可視カメラ２により検出される物体の絶対位置の特定に利用する。
【００２１】
このように、本実施の形態では、車両が予め決められているような位置以外にある場合に、車両の絶対位置姿勢情報より環境センサが対象とする検出物の車両に対する位置関係を三次元地図情報から知ることで、環境センサの車両に対する位置・姿勢、および環境センサ出力の縮尺値を特定することができる。
【００２２】
以上、本実施の形態では、物体の存在を検出する画像センサやレーダ等の環境センサの搭載車両に対する設置位置、姿勢、環境センサの出力の縮尺値を特定の設備を設けずに特定する方法について説明した。
また、三次元地図情報により、実際の車両の位置姿勢より搭載の環境センサの検出出力を三次元地図データの地形・地物情報より模擬する方法について説明した。
また、実際の車両搭載の環境センサの出力を前記出力模擬と比較し、一致するように車両の位置姿勢、および環境センサの測定範囲の縮尺を変更し、上記出力模擬が前記実際の車両搭載の環境センサの出力と一致する位置姿勢、および環境センサの出力の縮尺を求める方法について説明した。
また、前記求めた位置姿勢と実際の車両の位置姿勢の差が環境センサの車両に対する設置位置と姿勢となり、環境センサの測定範囲の変更した縮尺が求める縮尺値となることを説明した。
【００２３】
最後に、本実施の形態に示した情報処理装置４のハードウェア構成例について説明する。
図５は、本実施の形態に示す情報処理装置４のハードウェア資源の一例を示す図である。
なお、図５の構成は、あくまでも情報処理装置４のハードウェア構成の一例を示すものであり、情報処理装置４のハードウェア構成は図５に記載の構成に限らず、他の構成であってもよい。
【００２４】
図５において、情報処理装置４は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。
ＣＰＵ９１１は、バス９１２を介して、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１４、通信ボード９１５、表示装置９０１、タッチパネル９０２、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。
また、上述したように、可視カメラ２及びＧＰＳジャイロ３とも接続されている。
更に、ＣＰＵ９１１は、コンパクトディスク装置９０５（ＣＤＤ）と接続していてもよい。また、磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード（登録商標）読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置の一例である。
通信ボード９１５、タッチパネル９０２は、入力装置の一例である。
また、通信ボード９１５、表示装置９０１は、出力装置の一例である。
【００２５】
通信ボード９１５は、無線ネットワークに接続される。
【００２６】
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。
プログラム群９２３のプログラムは、ＣＰＵ９１１がオペレーティングシステム９２１、ウィンドウシステム９２２を利用しながら実行する。
【００２７】
また、ＲＡＭ９１４には、ＣＰＵ９１１に実行させるオペレーティングシステム９２１のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。
また、ＲＡＭ９１４には、ＣＰＵ９１１による処理に必要な各種データが格納される。
【００２８】
また、ＲＯＭ９１３には、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）プログラムが格納され、磁気ディスク装置９２０にはブートプログラムが格納されている。
情報処理装置４の起動時には、ＲＯＭ９１３のＢＩＯＳプログラム及び磁気ディスク装置９２０のブートプログラムが実行され、ＢＩＯＳプログラム及びブートプログラムによりオペレーティングシステム９２１が起動される。
【００２９】
上記プログラム群９２３には、本実施の形態の説明において「〜部」として説明している機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
【００３０】
ファイル群９２４には、本実施の形態の説明において、「〜の判断」、「〜の計算」、「〜の比較」、「〜の評価」、「〜の更新」、「〜の設定」、「〜の登録」、「〜の導出」、「〜の生成」、「〜の選択」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示などのＣＰＵの動作に用いられる。
抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、本実施の形態で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００３１】
また、本実施の形態の説明において「〜部」として説明しているものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明しているものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、本実施の形態の「〜部」としてコンピュータを機能させるものである。あるいは、本実施の形態の「〜部」の手順や方法をコンピュータに実行させるものである。
【００３２】
このように、本実施の形態に示す情報処理装置４は、処理装置たるＣＰＵ、記憶装置たるメモリ、磁気ディスク等、入力装置たるタッチパネル、通信ボード等、出力装置たる表示装置、通信ボード等を備えるコンピュータであり、上記したように「〜部」として示された機能をこれら処理装置、記憶装置、入力装置、出力装置を用いて実現するものである。
【図面の簡単な説明】
【００３３】
【図１】実施の形態１に係る車両の例を示す図。
【図２】実施の形態１に係る情報処理装置の構成例を示す図。
【図３】実施の形態１に係る撮影画像、模擬撮影画像等の例を示す図。
【図４】実施の形態１に係る情報処理装置の処理フローを示した図。
【図５】実施の形態１に係る情報処理装置のハードウェア構成例を示す図。
【符号の説明】
【００３４】
１ 車両、２ 可視カメラ、３ ＧＰＳジャイロ、４ 情報処理装置、５ 停止線、６ 道路標識、７ 信号機、８ 横断歩道、９ 表示装置、４０１ 撮影画像情報入力部、４０２ 可視カメラ諸元データベース、４０３ 模擬撮影画像情報生成部、４０４ 三次元地図データベース、４０５ 補正値算出部、４０６ 撮影画像補正部、４０７ 出力部。
【技術分野】
【０００１】
この発明は、車両等に搭載され、例えば、環境センサの設置位置姿勢および環境センサの縮尺値等を検出する情報処理装置等に関する。
【背景技術】
【０００２】
従来の車両に搭載する環境センサは、車両取り付け時に設置位置姿勢を調整するにあたり、特定の設備を要する（例えば、特許文献１参照）。
【特許文献１】特開２００３−３１５４４１号公報（５項、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
環境センサが例えばカメラ等の撮影手段であり、車両の走行制御、停止制御が環境センサにより撮影された撮影画像に基づいて行われる場合、環境センサが所定の取付け位置に正確に取り付けられている必要がある。
環境センサが取付け位置に正確に取り付けられていないと、その誤差により走行制御、停止制御の正確性を損なうことになってしまう。
このため、環境センサの取り付けに誤差があれば、環境センサを正しい位置に戻す必要があるが、従来技術によれば、専用の調整装置や設備が整った位置へ車両を設置し、予め決められた対象物を環境センサによって検出することで環境センサの車両に対する取り付け位置・姿勢を確認している。
このため、車両が専用の調整装置や設備が整った位置に無い場合は、環境センサの調整が出来ず、一度専用の調整装置や設備が整った位置へ車両を移動し調整しなければ、環境センサが正しく使用できないという課題があった。
【０００４】
この発明は、かかる課題を解決することを主な目的とし、撮影された撮影画像に対して補正を行うことで、専用の調整装置や設備に車両を移動させなくても、環境センサ（撮影手段）を有効に利用できる機構を実現することを主な目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る情報処理装置は、
撮影手段と三次元地図データベースとを備える移動体に搭載される情報処理装置であって、
前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力部と、
前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成部と、
前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出部とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影手段で撮影された撮影画像と、三次元地図データに基づいて生成された模擬撮影画像とを比較し、撮影画像を模擬撮影画像に一致させるための補正値を算出するため、算出した補正値を用いて撮影画像を補正することができ、専用の調整装置や設備がなくても、撮影手段の位置、姿勢等を物理的に調整したのと同様な状態とすることができる。
【発明を実施するための最良の形態】
【０００７】
実施の形態１．
図１は、本実施の形態に係る情報処理装置を搭載した車両の例を示す。本実施の形態では、車両を移動体の例として説明する。
車両１には、環境センサとして撮影手段である可視カメラ２が取り付けられている。
可視カメラ２は、例えば、車両の前方を撮影する。
また、車両１は、自己位置姿勢を検出するためのＧＰＳ（Ｇｌｏｂａｌ ＰｏｓＩｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ジャイロ３を搭載している。
更に、車両１内部には車両１周囲の三次元地図情報から可視カメラ２により検出される周囲情報とを比較処理する情報処理装置４が搭載されている。
車両１は道路上に現在あり、車両１の周囲には地物として停止線５と標識６と信号機７と横断歩道８があり、情報処理装置４では可視カメラ２で撮影された撮影画像からこれらの物体を検出できる。
また、情報処理装置４は、車両搭載の環境センサの車両に対する位置・姿勢、および環境センサ出力の縮尺値を特定する処理が実施できる。
【０００８】
図２は、情報処理装置４の内部構成例を示す。
撮影画像情報入力部４０１は、撮影手段たる可視カメラ２で撮影された撮影画像が示される撮影画像情報を入力する。
可視カメラ諸元データベース４０２は、可視カメラ２の画像出力の画角、可視カメラ２の撮影可能距離等の可視カメラ２の撮影属性を示す情報を格納している。
三次元地図データベース４０４は、地形・地物等の情報が含まれる三次元の地図データを格納している。
なお、図２では、三次元地図データベース４０４は、情報処理装置４内に配置されているが、情報処理装置４外であってもよい。
【０００９】
模擬撮影画像情報生成部４０３は、ＧＰＳジャイロ３から車両１の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報に基づいて三次元地図データベース４０４から現在位置の周囲の三次元地図データを取得するとともに、現在位置姿勢情報に示される車両１の姿勢から、車両１の前方の地形、地物が示される三次元地図データを判別し、可視カメラ諸元データベース４０２から取得した可視カメラ諸元を用いて、可視カメラ２の撮影画像を模擬する模擬撮影画像情報を生成する。
模擬撮影画像情報とは、可視カメラ２で撮影された撮影画像に含まれている地物等の概略を表す情報であり、例えば、図３（ａ）の可視カメラ映像（撮影画像）に示される信号、標識、ライン等の概略を示す図３（ｂ）の可視カメラ出力模擬（模擬撮影画像）である。
なお、図３の各情報の詳細は後述する。
【００１０】
補正値算出部４０５は、撮影画像情報入力部４０１により入力された撮影画像情報に示される撮影画像と模擬撮影画像情報生成部４０３により生成された模擬撮影画像情報に示される模擬撮影画像とを比較し、撮影画像を模擬撮影画像に一致させるために必要な補正値を算出する。
より具体的には、補正値算出部４０５は、補正値として、撮影画像を回転させる回転補正値、撮影画像を平行移動させる平行移動補正値、撮影画像の縮尺を変更する縮尺補正値の少なくともいずれかを算出する。
【００１１】
撮影画像補正部４０６は、補正値算出部４０５により算出された補正値を用いて、可視カメラ２により撮影された撮影画像を補正する。
出力部４０７は、撮影画像補正部４０６により補正された後の撮影画像を、例えば車両１の運転席に配置されている表示装置９に出力する。
また、出力部４０７は、表示装置９の他に、運転制御、停止制御等を行う制御手段に出力してもよい。
【００１２】
次に、図４を参照して本実施の形態に係る情報処理装置４の動作例を説明する。
なお、以下では、例えば、図１に示すような複数の地物が周囲に存在する場所に車両１が停止している場合を例にして説明する。
【００１３】
先ず、模擬撮影画像情報生成部４０３が、ＧＰＳジャイロ３から現在位置姿勢値が示される現在位置姿勢情報を入力し（Ｓ１０１）、また、位置姿勢のオフセット量を入力し（Ｓ１０２）、現在位置姿勢値とオフセット量との加算により可視カメラ２の仮想視点を求める。
なお、位置姿勢のオフセット量はＳ１１６の処理を経た後に得られる値であり、Ｓ１１６の処理の実施前は、現在位置姿勢値のみから仮想視点を求める。
また、模擬撮影画像情報生成部４０３は、現在位置姿勢値に基づき、三次元地図データベース４０４から、現在位置の周囲の三次元地図データを入力するとともに、車両１の前方の地形・地物を表す三次元地図データを特定する（Ｓ１０３）。
また、模擬撮影画像情報生成部４０３は、可視カメラ諸元データベース４０２から環境センサ出力の縮尺値として可視カメラ２の画像出力の画角および可視カメラ２の撮影可能距離の情報を入力する（Ｓ１０４）。
また、後述するＳ１１４の縮尺平行判定処理において判定外であった場合は、Ｓ１１３の縮尺並行処理で算出された縮尺量を入力し、可視カメラ諸元の情報と加算するが（Ｓ１０５）、Ｓ１１４の縮尺平行判定処理の実施前は加算処理を行わない。
【００１４】
そして、模擬撮影画像情報生成部４０３は、三次元地図データベース４０４からの車両１の周辺の三次元での地形・地物の情報、仮想視点、可視カメラ２の画像出力の画角および可視カメラ２の撮影可能距離の情報を基に、可視カメラ２で撮影されるであろう仮想視点での模擬画像を生成し（Ｓ１０６）（模擬撮影画像情報生成ステップ）、模擬画像内での物体の検出処理のため模擬撮影画像情報を補正値算出部４０５へ送る。
なお、模擬画像の生成は、既存技術により可能である。
【００１５】
また、以上の処理と並行して、可視カメラ２が車両１の前方を撮影し、撮影画像情報入力部４０１が可視カメラ２から撮影画像情報を入力し（Ｓ１０７）（撮影画像情報入力ステップ）、補正値算出部４０５に出力する。
【００１６】
次に、補正値算出部４０５は、模擬撮影画像情報生成部４０３から入力した模擬撮影画像情報に対して物体検出処理を行い、模擬撮影画像に含まれている地物の輪郭を抽出し、抽出した地物の輪郭が示される画像物体情報を生成する（Ｓ１０８）。
また、補正値算出部４０５は、撮影画像情報入力部４０１から入力した撮影画像情報に対して物体検出処理を行い、撮影画像に含まれている地物の輪郭を抽出し、抽出した地物の輪郭が示される映像物体情報を生成する（Ｓ１０９）。
なお、可視カメラ２に撮影画像から地物の輪郭を抽出する機能が備わっている場合は、補正値算出部４０５の代わりに可視カメラ２で映像物体情報を生成するようにしてもよい。
また、これら撮影画像に対する物体検出処理も既存技術により実現可能である。
【００１７】
次に、補正値算出部４０５は、物体検出処理（Ｓ１０８）で生成された画像物体情報と物体検出処理（Ｓ１０９）で生成された映像物体情報を比較し（Ｓ１１０）、回転判定処理（Ｓ１１１）、法線ベクトル処理（Ｓ１１２）、縮尺平行処理（Ｓ１１３）、縮尺平行判定処理（Ｓ１１４）により画像物体情報に映像物体情報が一致するように位置姿勢と可視カメラ出力の縮尺値を算出する（補正値算出ステップ）。
【００１８】
例えば、模擬撮影画像情報生成部４０３が、三次元地図データ等から、図３（ｃ）に例示する模擬画像を作成した場合に、補正値算出部４０５は、画像内で物体を検出しその結果を図３（ｄ）のような画像物体情報とする。
また、図３（ａ）に例示する可視カメラ映像が可視カメラ２から入力された場合に、補正値算出部４０５は、図３（ａ）の可視カメラ映像を基に物体検出処理を行って映像内で物体を検出し、図３（ｂ）のような映像物体情報を生成する。
次に、補正値算出部４０５は、図３（ｂ）の映像物体情報を図３（ｄ）の画像物体情報に一致させるための補正値を算出する。
より具体的には、補正値算出部４０５は、図３（ｅ）のように、図３（ｂ）映像物体情報の図３（ｄ）の画像物体情報に対するずれについて、画像出力間での頂点や直線の特徴点の関係から図３（ｂ）映像物体情報に必要な回転量を推定計算し、回転判定処理（Ｓ１１１）によりその回転量が予め設定している閾値の範囲内であるか判定し、閾値外であればオフセット処理（Ｓ１１６）によりオフセット量を算出し、模擬撮影画像情報生成部４０３では比較処理（Ｓ１１６）において算出された回転量についてのオフセット量を現在位置姿勢値に加算し、再度仮想視点を導出（Ｓ１０２）する。
その後、模擬撮影画像情報生成部４０３は、新たな仮想視点に基づいて、再度模擬撮影画像情報を生成し、回転判定処理（Ｓ１１１）にて閾値内との判定結果がでるまでオフセット処理（Ｓ１１６）、加算処理（Ｓ１０２）、可視カメラ出力模擬処理（Ｓ１０６）、物体検出処理（Ｓ１０８）、比較処理（Ｓ１１０）、及び回転判定処理（Ｓ１１１）を繰返す。
【００１９】
回転判定処理（Ｓ１１１）により予め設定した閾値内の回転量が得られたら、法線ベクトル処理（Ｓ１１２）により可視カメラの指向方向を決定し、その方向を中心に縮尺平行処理（Ｓ１１３）により図３（ｄ）の画像物体情報に図３（ｂ）の映像物体情報を一致させるための縮尺変更量と平行移動量を推定計算し、その縮尺量と平行移動量が予め設定した閾値の範囲内かどうかを縮尺平行判定処理（Ｓ１１４）で判定し、閾値外であればオフセット処理（Ｓ１１６）により縮尺変更量と平行移動量のオフセット量が算出される。
そして、模擬撮影画像情報生成部４０３では比較処理（Ｓ１１６）において算出された縮尺変更量と平行移動量についてのオフセット量を現在位置姿勢値に加算し、再度仮想視点を導出（Ｓ１０２）する。
また、可視カメラ諸元データベース４０２からの情報に縮尺平行処理（Ｓ１１３）により推定計算された縮尺量が加算され、模擬撮影画像情報生成部４０３は再度可視カメラ出力模擬処理（Ｓ１０６）を行って、模擬撮影画像情報を生成し、縮尺平行判定処理（Ｓ１１４）において閾値内と判定されるまで物体検出処理（Ｓ１０８）、比較処理（Ｓ１１０）、回転判定処理（Ｓ１１１）、法線ベクトル処理（Ｓ１１２）、縮尺平行処理（Ｓ１１３）、そして縮尺平行判定処理（Ｓ１１４）を繰返す。
【００２０】
縮尺平行判定処理（Ｓ１１４）により予め設定した閾値内の縮尺変更量と平行移動量が得られたら、環境センサである可視カメラの車両に対する取り付け位置と姿勢および搭載の可視カメラの縮尺についての補正値として、可視カメラ情報が得られる（Ｓ１１５）。
撮影画像補正部４０６は、可視カメラ情報を用いて、可視カメラ２より得られる撮影画像情報を車両１に対して補正し、可視カメラ２により検出される物体の絶対位置の特定に利用する。
【００２１】
このように、本実施の形態では、車両が予め決められているような位置以外にある場合に、車両の絶対位置姿勢情報より環境センサが対象とする検出物の車両に対する位置関係を三次元地図情報から知ることで、環境センサの車両に対する位置・姿勢、および環境センサ出力の縮尺値を特定することができる。
【００２２】
以上、本実施の形態では、物体の存在を検出する画像センサやレーダ等の環境センサの搭載車両に対する設置位置、姿勢、環境センサの出力の縮尺値を特定の設備を設けずに特定する方法について説明した。
また、三次元地図情報により、実際の車両の位置姿勢より搭載の環境センサの検出出力を三次元地図データの地形・地物情報より模擬する方法について説明した。
また、実際の車両搭載の環境センサの出力を前記出力模擬と比較し、一致するように車両の位置姿勢、および環境センサの測定範囲の縮尺を変更し、上記出力模擬が前記実際の車両搭載の環境センサの出力と一致する位置姿勢、および環境センサの出力の縮尺を求める方法について説明した。
また、前記求めた位置姿勢と実際の車両の位置姿勢の差が環境センサの車両に対する設置位置と姿勢となり、環境センサの測定範囲の変更した縮尺が求める縮尺値となることを説明した。
【００２３】
最後に、本実施の形態に示した情報処理装置４のハードウェア構成例について説明する。
図５は、本実施の形態に示す情報処理装置４のハードウェア資源の一例を示す図である。
なお、図５の構成は、あくまでも情報処理装置４のハードウェア構成の一例を示すものであり、情報処理装置４のハードウェア構成は図５に記載の構成に限らず、他の構成であってもよい。
【００２４】
図５において、情報処理装置４は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。
ＣＰＵ９１１は、バス９１２を介して、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１４、通信ボード９１５、表示装置９０１、タッチパネル９０２、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。
また、上述したように、可視カメラ２及びＧＰＳジャイロ３とも接続されている。
更に、ＣＰＵ９１１は、コンパクトディスク装置９０５（ＣＤＤ）と接続していてもよい。また、磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード（登録商標）読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置の一例である。
通信ボード９１５、タッチパネル９０２は、入力装置の一例である。
また、通信ボード９１５、表示装置９０１は、出力装置の一例である。
【００２５】
通信ボード９１５は、無線ネットワークに接続される。
【００２６】
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。
プログラム群９２３のプログラムは、ＣＰＵ９１１がオペレーティングシステム９２１、ウィンドウシステム９２２を利用しながら実行する。
【００２７】
また、ＲＡＭ９１４には、ＣＰＵ９１１に実行させるオペレーティングシステム９２１のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。
また、ＲＡＭ９１４には、ＣＰＵ９１１による処理に必要な各種データが格納される。
【００２８】
また、ＲＯＭ９１３には、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）プログラムが格納され、磁気ディスク装置９２０にはブートプログラムが格納されている。
情報処理装置４の起動時には、ＲＯＭ９１３のＢＩＯＳプログラム及び磁気ディスク装置９２０のブートプログラムが実行され、ＢＩＯＳプログラム及びブートプログラムによりオペレーティングシステム９２１が起動される。
【００２９】
上記プログラム群９２３には、本実施の形態の説明において「〜部」として説明している機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
【００３０】
ファイル群９２４には、本実施の形態の説明において、「〜の判断」、「〜の計算」、「〜の比較」、「〜の評価」、「〜の更新」、「〜の設定」、「〜の登録」、「〜の導出」、「〜の生成」、「〜の選択」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示などのＣＰＵの動作に用いられる。
抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、本実施の形態で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００３１】
また、本実施の形態の説明において「〜部」として説明しているものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明しているものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、本実施の形態の「〜部」としてコンピュータを機能させるものである。あるいは、本実施の形態の「〜部」の手順や方法をコンピュータに実行させるものである。
【００３２】
このように、本実施の形態に示す情報処理装置４は、処理装置たるＣＰＵ、記憶装置たるメモリ、磁気ディスク等、入力装置たるタッチパネル、通信ボード等、出力装置たる表示装置、通信ボード等を備えるコンピュータであり、上記したように「〜部」として示された機能をこれら処理装置、記憶装置、入力装置、出力装置を用いて実現するものである。
【図面の簡単な説明】
【００３３】
【図１】実施の形態１に係る車両の例を示す図。
【図２】実施の形態１に係る情報処理装置の構成例を示す図。
【図３】実施の形態１に係る撮影画像、模擬撮影画像等の例を示す図。
【図４】実施の形態１に係る情報処理装置の処理フローを示した図。
【図５】実施の形態１に係る情報処理装置のハードウェア構成例を示す図。
【符号の説明】
【００３４】
１ 車両、２ 可視カメラ、３ ＧＰＳジャイロ、４ 情報処理装置、５ 停止線、６ 道路標識、７ 信号機、８ 横断歩道、９ 表示装置、４０１ 撮影画像情報入力部、４０２ 可視カメラ諸元データベース、４０３ 模擬撮影画像情報生成部、４０４ 三次元地図データベース、４０５ 補正値算出部、４０６ 撮影画像補正部、４０７ 出力部。
【特許請求の範囲】
【請求項１】
撮影手段と三次元地図データベースとを備える移動体に搭載される情報処理装置であって、
前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力部と、
前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成部と、
前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出部とを有することを特徴とする情報処理装置。
【請求項２】
前記情報処理装置は、更に、
前記補正値算出部により算出された補正値を用いて、前記撮影手段により撮影された撮影画像を補正する撮影画像補正部とを有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記補正値算出部は、
前記補正値として、前記撮影画像を回転させる回転補正値、前記撮影画像を平行移動させる平行移動補正値、及び前記撮影画像の縮尺を変更する縮尺補正値の少なくともいずれかを算出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記補正値算出部は、
算出した補正値が所定の閾値以内であるかを判断し、
前記模擬撮影画像情報生成部は、
前記補正値算出部により補正値が前記閾値以内でないと判断された場合に、模擬撮影画像の仮想視点を変更して新たな模擬撮影画像が示される新たな模擬撮影画像情報を生成し、
前記補正値算出部は、
前記模擬撮影画像情報生成部により生成された新たな模擬撮影画像情報を用いて、補正値を算出することを特徴とする請求項１〜３のいずれかに記載の情報処理装置。
【請求項５】
撮影手段と三次元地図データベースとを備える移動体に搭載されるコンピュータが行う情報処理方法であって、
前記コンピュータが、前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力ステップと、
前記コンピュータが、前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成ステップと、
前記コンピュータが、前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出ステップとを有することを特徴とする情報処理方法。
【請求項６】
撮影手段と三次元地図データベースとを備える移動体に搭載されるコンピュータに、
前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力処理と、
前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成処理と、
前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出処理とを実行させることを特徴とするプログラム。
【請求項１】
撮影手段と三次元地図データベースとを備える移動体に搭載される情報処理装置であって、
前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力部と、
前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成部と、
前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出部とを有することを特徴とする情報処理装置。
【請求項２】
前記情報処理装置は、更に、
前記補正値算出部により算出された補正値を用いて、前記撮影手段により撮影された撮影画像を補正する撮影画像補正部とを有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記補正値算出部は、
前記補正値として、前記撮影画像を回転させる回転補正値、前記撮影画像を平行移動させる平行移動補正値、及び前記撮影画像の縮尺を変更する縮尺補正値の少なくともいずれかを算出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記補正値算出部は、
算出した補正値が所定の閾値以内であるかを判断し、
前記模擬撮影画像情報生成部は、
前記補正値算出部により補正値が前記閾値以内でないと判断された場合に、模擬撮影画像の仮想視点を変更して新たな模擬撮影画像が示される新たな模擬撮影画像情報を生成し、
前記補正値算出部は、
前記模擬撮影画像情報生成部により生成された新たな模擬撮影画像情報を用いて、補正値を算出することを特徴とする請求項１〜３のいずれかに記載の情報処理装置。
【請求項５】
撮影手段と三次元地図データベースとを備える移動体に搭載されるコンピュータが行う情報処理方法であって、
前記コンピュータが、前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力ステップと、
前記コンピュータが、前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成ステップと、
前記コンピュータが、前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出ステップとを有することを特徴とする情報処理方法。
【請求項６】
撮影手段と三次元地図データベースとを備える移動体に搭載されるコンピュータに、
前記撮影手段により撮影された撮影画像が示される撮影画像情報を入力する撮影画像情報入力処理と、
前記移動体の現在位置及び姿勢が示される現在位置姿勢情報を入力し、入力した現在位置姿勢情報と前記三次元地図データベースに格納されている三次元地図データとに基づき、前記撮影画像を模擬する模擬撮影画像情報を生成する模擬撮影画像情報生成処理と、
前記撮影画像情報に示される撮影画像と前記模擬撮影画像情報に示される模擬撮影画像とを比較し、前記撮影画像を前記模擬撮影画像に一致させるために必要な前記撮影画像に対する補正値を算出する補正値算出処理とを実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−２６０４７５（Ｐ２００９−２６０４７５Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００８−１０４６７１（Ｐ２００８−１０４６７１）
【出願日】平成２０年４月１４日（２００８．４．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２０年４月１４日（２００８．４．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]