撮影経路計算装置
【課題】未知空間内のランドマークや景観の特徴によらず、ロボットの移動に伴うカメラの撮影経路を正確に算出できる撮影経路計算装置を提供する。
【解決手段】撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置４による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、ロボット１の移動に伴って撮影装置４に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、ロボット１の移動に伴う撮影装置４の撮影経路を算出する。
【解決手段】撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置４による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、ロボット１の移動に伴って撮影装置４に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、ロボット１の移動に伴う撮影装置４の撮影経路を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ロボットに搭載されたカメラの撮影画像から当該ロボットの移動に伴ってカメラが撮影を行った撮影経路を算出する撮影経路計算装置に関するものである。
【背景技術】
【０００２】
災害発生により倒壊の危険がある建物に残された被災者を探索するため、カメラを搭載した遠隔操縦ロボットの運用が望まれている。遠隔操縦ロボットのカメラで撮影した建物内部の画像を、屋外のコンピュータへ伝送することにより、救助隊は建物外から内部状況の観察が可能になる。
【０００３】
このようなロボットで建物内部を探索するには、建物内部の地図に基づいて移動経路を計画する必要がある。しかしながら、災害発生時には建物内部の地図を入手するのは困難であり、ロボットは地図の無い未知な環境で探索を強いられる場合が多い。ロボットが未知な環境の全域を探索するには、ロボットの移動に伴ってカメラが撮影を行った撮影経路を示す情報を記憶しておくことが必要となる。
【０００４】
ロボットが移動した空間内の構造物の位置を正確に表現するメトリック地図を構築するには、ロボットの自己位置が高精度に取得されなければならない。
ロボットが未知の空間において自己位置を取得する方法として、ロボットに搭載されたステレオカメラで撮影した画像から、未知の空間におけるドア、コーナー、照明、換気口等の構造物を認識してランドマークとみなし、ランドマークを基準として自己位置を算出するものがある。
【０００５】
また、レーザースキャナを用いてロボット周辺を観測して、観測されたロボット周辺の構造物をランドマークとみなし、このランドマークを基準として自己位置を算出する方法も提案されている。この方法には、ロボットがレーザースキャナを用い２地点でそれぞれ観測した周辺構造物の形状を照合して、２地点での観測結果の重なりが正確に重なるように、２地点間の位置や、構造物の姿勢変化を算出するスキャンマッチング手法が用いられている。
【０００６】
さらに、ロボットに搭載した全方位カメラで撮影した景観画像に映った構造物の特徴をランドマークとみなして自己位置を求める方法も研究されている。この方法では、異なる位置から全方位カメラで撮影した景観に映っている床領域の形状（凹凸形状）を、ランドマークとみなして照合するスキャンマッチングを行う。
【０００７】
また、特許文献１には、入力画像から検出した人の大きさ等に基づいて当該画像を撮像した撮像部から検出対象である人までの概距離を推定する警戒センサが開示されている。この概距離は、予め分かっている撮像部の撮像素子の画素数やレンズの焦点距離等の情報と、人の実サイズ（身長）の仮定条件と、入力画像から検出された人の大きさの画素数とに基づいて算出される。ここでは、入力画像に映る人がいわゆるランドマークとして利用され、画像に映る人の大きさを基にカメラから人までの距離が求められる。
【０００８】
特許文献２には、入力装置として、パン、チルト、ズーム操作が可能なビデオカメラを対象とした場合において、ズーム値を固定し、連続的にパン操作（チルト値固定）を行ったり、又は、連続的にチルト操作（パン値固定）を行って得られた連続的な映像データに対して、連続的にモザイキング処理することによってパノラマ映像を作成するビデオモザイキング装置が開示されている。この装置では、全方位画像を細かい方位角毎の短冊画像に分解し、１枚の全方位画像から生成した短冊画像を拡大して他の全方位画像から生成した短冊画像と照合し、一致すれば、同一方位であると判断する。このようにして、パン、チルト、ズームに対応した各種のパノラマ映像を得ることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１９８１２４号公報
【特許文献２】特開２００６−３１０９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したロボットに搭載したステレオカメラで撮影された未知空間の画像におけるドアやコーナー、照明等をランドマークとして認識して、ロボットの自己位置を算出する方法では、特定のランドマークが無い場所では適用することができず、ロボットの自己位置を取得できない。
【００１１】
また、レーザースキャナで観測したロボット周辺の構造物をランドマークとみなして、ロボットの自己位置を算出する方法は、レーザースキャナの計測可能距離を超える広さの空間ではロボットの自己位置を求めることができないという課題がある。
【００１２】
さらに、ロボットに搭載した全方位カメラで撮影された景観画像に映った構造物の特徴をランドマークとみなして自己位置を求める方法では、撮影点の近くに適度な凹凸特徴がある床領域境界が無い地点では、ランドマークの正確な照合ができない。
【００１３】
特許文献１の発明においても同様に、検出対象となる人が撮像されなければ、撮像部と当該人との間の距離を算出できない。
また、特許文献２は、遠隔操作したビデオカメラを用いて監視対象空間のパノラマ画像を得ることができるが、撮影位置が異なる場合は、遠近の違いによって縦方向にも視差が生じるため、縦方向の視差に起因した誤差があるパノラマ画像が生成されるという課題がある。
【００１４】
この発明は、上記のような課題を解決するためになされたもので、未知空間内のランドマークや景観の特徴によらず、ロボットの移動に伴うカメラの撮影経路を正確に算出できる撮影経路計算装置を得ることを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る撮影経路計算装置は、移動体に搭載した撮影装置によって当該移動体の移動に伴い撮影された撮影点の全周囲の全方位画像を記憶する画像記憶部と、画像記憶部から読み出された全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、移動体の移動に伴って撮影装置に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定する画像照合部と、画像照合部によって推定された全方位画像間の相対方位に基づいて、移動体の移動に伴う撮影装置の撮影経路を算出する経路計算部とを備えるものである。
【発明の効果】
【００１６】
この発明によれば、撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、移動体の移動に伴って撮影装置に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、移動体の移動に伴う撮影装置の撮影経路を算出する。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】室内の平面図と当該室内のロボットの移動経路の一例を示す図である。
【図２】実施の形態１におけるロボットの概略を示す図である。
【図３】実施の形態１による撮影経路計算装置の構成を示すブロック図である。
【図４】撮影装置で撮影された全方位画像及びこれを変換した変換画像を示す図である。
【図５】撮影点の違いによる物体像の視差を説明するための図である。
【図６】画像照合部による画像照合の一例を示す図である。
【図７】変換画像とこれをｓ画素シフトしたシフト画像を示す図である。
【図８】図７中の画像Ａ，Ｂから求めたエッジ画像を示す図である。
【図９】図８中のエッジ画像Ａｅ，Ｂｅ間で対応するエッジの画素距離を比較した結果を示す図である。
【図１０】全方位画像から地面平面への射影の一例を示す図である。
【図１１】地面平面への射影画像の画像合成を説明するための図である。
【図１２】方位角が異なる撮影点を示す図である。
【図１３】地面平面への射影画像の合成画像を示す図である。
【図１４】撮影装置の周辺及び遠方を表示した合成画像の生成処理を説明するための図である。
【発明を実施するための形態】
【００１８】
実施の形態１．
この発明は、ロボットに搭載したカメラで一定の時間間隔で撮影された画像から、当該ロボット（移動体）の移動に伴いカメラが撮影を行った撮影経路を推定するものである。また、撮影経路の推定を、景観中の特定のランドマークに依存しないで実施するために、連続して撮影された２枚の画像を照合して、２つの撮影地点における相対方位を求める。この場合、２枚の画像をそれぞれ撮影した撮影点間の距離が長いと、景観が大きく異なり照合が困難になる恐れがある。
そこで、この実施の形態１では、ロボットの移動速度を時速３．６ｋｍ／ｈ以下と仮定して２秒間隔で景観を撮影し、連続する撮影点の距離を２ｍ以下とした。
【００１９】
図１は、室内の平面図と当該室内のロボットの移動経路の一例を示す図である。図１中の黒三角形記号はロボットＡに搭載されたカメラによる景観の撮影点を示しており、黒四角形記号はロボットＢに搭載したカメラによる景観の撮影点を示している。また、撮影点間の矢印はロボットの移動方向である。ロボットＡ，Ｂは、机、棚Ａ，Ｂ、ドア１，２等の構造物がある室内を移動する。なお、連続した撮影点間の距離を短くし撮影位置の近い画像を照合するので、ロボットＡとロボットＢとが同時刻に撮影した画像の照合により、２つのロボットＡ，Ｂの接近を検出することができる。
【００２０】
図２は、実施の形態１におけるロボットの概略を示す図である。図２において、ロボット１は、遠隔操縦により駆動する移動台２を備え、撮影装置４の視界をロボット１自身で遮蔽しないように、ポール３を介した上部に撮影装置４が設置される。移動台２には、ステッピングモータ等の駆動部が実装された車輪が取り付けられており、外部の計算機（不図示）から出力される制御信号に従って、車輪を指定の角変位量だけ任意方向に回転駆動する。
【００２１】
全方位画像を得るにはロボット１に搭載する撮影装置４を水平に保持する必要がある。ここでは、移動台２が水平面上を移動すると仮定して、ポール３を介した一定の高さに撮影装置４を保持する。
また、撮影装置４には、屋内景観の画像取得を想定して、その撮影視野を数ｍ先の地面から水平方向までを同時に撮影可能な、双曲線ミラーを装着したカメラを用いた。
ロボット１の移動に伴い撮影装置４により時系列に撮影された画像は、ロボット１から有線又は無線の通信を介して、図３を用いて後述する撮影経路計算装置へ送信され、撮影経路計算装置の画像記憶部に蓄積される。なお、以降の説明では、図２に示すようなカメラを搭載した遠隔操縦車両をロボットと呼ぶこととする。また、本発明は、当該ロボット１の構成に限定されるものではなく、図２に示す撮影経路４を搭載して移動する移動体であればよい。
【００２２】
図３は、実施の形態１による撮影経路計算装置の構成を示すブロック図である。図３において、撮影経路計算装置５は、画像記憶部６、画像照合部７、経路計算部８、及び経路記憶部９を備える。画像記憶部６は、図２に示したロボット１の移動に伴って撮影装置４が時系列に撮影した画像データを逐次記憶するメモリである。ここでは、連続して撮影された２枚の画像を照合して撮影方位の差異を求めるために、撮影装置４が、撮影点の周囲３６０度の景観が１枚の画像に収まる環状又は円形状の全方位画像を撮影し画像記憶部６に記憶する。
【００２３】
画像照合部７は、画像記憶部６から読み出した全方位画像を射影して、画像座標系の縦軸を景観の観測方向に対するピッチ角とし、横軸を方位角とする画像（例えば、パノラマ画像）へ変換するとともに、連続した撮影点で撮影された２枚の全方位画像を変換した各パノラマ画像を照合してロボット１の進行方向に一致する方位を検出し、一方の画像の撮影点から他方の画像の撮影点を見た相対方位（図３中のθａ及びθｂ）を求める構成部である。画像照合部７により全方位画像から変換された画像のデータは画像記憶部６に記憶される。画像照合部７は、画像記憶部６に記憶した画像データを読み出して照合処理を行う。
【００２４】
なお、図３に例示した全方位画像における基準方位は全方位画像を上記画像へ変換する際の基準となる方位である。ここで、変換画像の画像座標系の横軸は、この基準方位から撮影点の周囲９０度（π）、３６０度（２π）までの方位角が規定される。また、連続した撮影点ａ，ｂ間を直線で結んだ経路と各撮影点ａにおける全方位画像の基準方位となす角θａが、撮影点ａから撮影点ｂを見た相対方位であり、撮影点ａ，ｂ間を直線で結んだ経路と各撮影点ｂにおける全方位画像の基準方位となす角θｂが、撮影点ｂから撮影点ａを見た相対方位である。
【００２５】
経路計算部８は、画像照合部７により複数の撮影点で求められた相対方位から撮影経路を算出する構成部である。経路計算部８では、ロボット１の移動に伴い時系列に順次撮影された全方位画像について、画像照合部７に求められた撮影点同士の相対方位を用いて、画像間で対応する方位を特定し、特定した方位に基づいた画像間の対応関係から撮影経路を算出する。経路記憶部９は、経路計算部８にて算出された撮影経路を示すデータを記憶するメモリである。
【００２６】
また、画像照合部７及び経路計算部８は、この発明の趣旨に従う経路計算用プログラムをコンピュータに実行させることで、ハードウエアとソフトウエアとが協働した具体的な手段として当該コンピュータ上で実現することができる。さらに、画像記憶部６及び経路記憶部９は、上記コンピュータに搭載された記憶装置、例えばハードディスク装置や外部記憶メディア等に構築される。
【００２７】
次に動作について説明する。
先ず、図１に示すように、ロボット１を未知空間内で走行させて、所定のタイミングで撮影装置４で空間内の景観を撮影して、得られた全方位画像データを画像記憶部６に順次記憶する。続いて、画像照合部７は、画像記憶部６から、連続した撮影点でそれぞれ撮影された全方位画像を順次読み出し、読み出した全方位画像を射影して、画像座標系の縦軸を景観の観測方向の仰角とし、横軸を方位角とする画像へ変換する。
【００２８】
図４は、撮影装置４で撮影された全方位画像及びこれを変換した変換画像を示す図である。ここでは、撮影装置４として、双曲線ミラーを装着したカメラを使用する。撮影装置４において、双曲線ミラーが鉛直下向きに配置され、撮影部が鉛直上向きに配置され、双曲線ミラーの双曲面の軸と撮影部の光軸とが一致し、双曲面の焦点と撮影部のレンズの中心とは相対するように配置される。このような構成の撮影装置４により、図４（ａ）に示すような、自身（撮影点）を中心に全方位（周囲３６０度）の景観が撮影された全方位画像が得られる。
【００２９】
図４（ａ）において、符号Ａ１で示す全方位画像の中心に近い画素は、俯角５５度で観測された像であり、符号Ｂ１で示す画素は、仰角１０度で観測された像である。ここで、従来の技術として、全方位画像の画像座標系の座標値を用いて、撮影部のレンズの焦点を原点とした俯角及び方位を表現する計算式がある（参考文献１）。この式を用いて、全方位画像から、俯角を縦軸とし、方位角度を横軸とする直交座標系で表現される画像へ射影する。
（参考文献１）山澤一誠，八木康史，谷内田正彦，“移動ロボットのナビゲーションのための全方位視覚センサ ＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎの提案”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｊ７９−Ｄ−２（５） ｐｐ．６９８−７０７，１９９６．（当該参考文献１のｐｐ．７００における式（３）、式（４）及び図３、図４、図５を参照）。
【００３０】
上述の計算式を用いて、画像照合部７は、撮影点を中心とした周辺の景観が環状に撮影された全方位画像を、図４（ｂ）に示すような画像座標系の縦軸が仰角を示し、横軸が方位角を示す画像（パノラマ画像）へ変換する。
なお、図４（ｂ）に示す変換画像の右端の方位が、図４（ａ）に示す全方位画像の基準方位に一致しており、符号Ｃ１で示す仰角の画素が変換画像の仰角の上限となっている。
【００３１】
２地点で撮影された全方位画像に同一物体が映る場合には、各全方位画像の画像座標系における当該物体の像の位置に差異が生じる。
図５は、撮影点の違いによる物体像の視差を説明するための図である。画像照合部７が照合を行う変換画像は、画像座標系の横軸が撮影位置から景観を見た方位を示している。図５に示すように、撮影点ａ，ｂを結ぶ直線の延長上にない被写体Ｐを撮影点ａから見た場合と撮影点ｂから見た場合では視差Ｐが生じ、撮影点ａ，ｂを結ぶ直線の延長上にない被写体Ｑを撮影点ａから見た場合と撮影点ｂから見た場合では視差Ｑが生じる。これらの視差の大きさは、撮影点からみた被写体の方位によって変化する。
【００３２】
一方、２つの撮影点ａ，ｂを結ぶ直線の延長上にある被写体Ｒの像は、撮影点ａ，ｂでそれぞれ撮影された画像において方位方向の視差が無く表示される特徴がある。
本発明では、この特徴を利用して、全方位画像から変換した変換画像を方位毎（例えば５度毎）の幅の狭い領域に分割し、連続した２つの撮影点でそれぞれ撮影された全方位画像を変換した２枚の変換画像について分割領域毎に照合して、同じ景観が映る方位を検出する。
【００３３】
また、撮影点ａ，ｂを結ぶ直線の延長上にない被写体（Ｐ又はＱ）の方位は、撮影位置によって変化する。ここで、方位の変化方向は、撮影点の変化方向（ロボット１の進行方向）と相反する。例えば、撮影点ａで撮影した全方位画像では、前方に像を作った被写体Ｐが、撮影点ｂで撮影した全方位画像では、撮影点ａで撮影された画像よりも後方の方位に像を作る。つまり、２つの撮影点を結ぶ直線の延長上にない被写体の像は、ロボット１の移動に伴ってその進行方向と反対の方位へ近づくように表示される特徴がある。
本発明では、この特徴を利用して、２枚の変換画像間における物体像の方位の変位からロボット１の進行方位を推測する。
【００３４】
先ず、変換画像を方位毎の領域に分割し、２枚の変換画像の領域を照合して同じ景観が映っている方位を検出する処理の詳細を説明する。
画像照合部７が、連続した２つの撮影点でそれぞれ撮影された全方位画像を、パノラマ画像に変換すると、変換した２枚の変換画像の一方の画像から、ある方位の景観として、画像座標系の縦軸方向のうちの一列の画素列を抽出し、この画素列ともう一方の画像から抽出した画素列との特徴を照合する。ここで、２つの画像から画素列を抽出した方位が、上記２つの撮影点を結ぶ直線の方位と一致する場合は、画素列間に方位方向の視差はないが、撮影点の位置が異なるので、ロボット１（又は撮影装置４）と被写体の距離によって画素列に映る像の大きさが異なる。これにより、単純に画素値を比較しても同じ景観が映っているか否かを照合できない。
【００３５】
そこで、上述のように抽出した２つの画素列に映る被写体の像には、撮影点から被写体までの距離に応じて、縮尺が異なるものの、床と壁との色の違いによる大まかな輝度変化と被写体の表面のテクスチャパターンによる細かな輝度変化とが、同じ割合で含まれると仮定して、輝度変化の度合いを照合する。
具体的には、画像照合部７が、画素列の画素値（輝度値）に対して下記式（１）に示すフーリエ変換を施して画素列をフーリエ係数Ｆｋに変換し、画素列の画素値の周波数成分の強さである｜Ｆｋ｜２を算出して、この周波数成分の強さ｜Ｆｋ｜２を比較対象として照合を行う。なお、下記式（１）において、ｋはフーリエ変換の次数を示し、Ｎは画素列の画素数を示しており、Ｉｎは、画素列のうち、ｎ番目の画素の輝度を示している。
このようにフーリエ変換を施すことで、それぞれの画素列に含まれる大まかな輝度変化と細かな輝度変化の量が、周波数成分の強さによって比較可能となる。
【００３６】
【００３７】
図６は、画像照合部による画像照合の一例を示す図であり、比較対象である２枚の変換画像と各変換画像から方位毎の画素列を抽出しフーリエ変換を施して得られたスペクトルを画像形式で表示したスペクトル画像とを示している。図６（ａ）は、変換画像Ａを示しており、図６（ｂ）は、図６（ａ）中の変換画像Ａをフーリエ変換して求めたスペクトル画像Ａである。スペクトル画像は、横軸が撮影方位で、縦軸が次数ｋであり、周波数成分の強さが一定の閾値以上の場合に画素値を白とした２値画像で表現されている。
スペクトル画像のうち、次数の小さな座標における画素の輝度値は、画像中の同じ方位の画素列における濃淡変化の低周波数成分の量を示しており、次数の大きな座標における画素の輝度値は、高周波数成分の量を示している。
【００３８】
図６（ｄ）に示す変換画像Ｂは、画像Ａの元となる全方位画像の撮影点から２ｍ以内の撮影点で撮影された全方位画像を元に得られた画像である。図６（ｃ）は、図６（ｄ）中の変換画像Ｂをフーリエ変換して求めたスペクトル画像Ｂである。
また、図６（ｂ）と図６（ｃ）では、スペクトル画像Ａとスペクトル画像Ｂとにおける各輝度値の増減の特徴を比較した結果、一致すると判定された撮影方位を対応線で結んでいる。
【００３９】
さらに、画像照合部７は、図６に示す２枚のスペクトル画像Ａ，Ｂから対応する方位を見つけるため、下記式（２）に示す排他的論理和（ｅｘｏｒ）によって画像の差分を算出する。下記式（２）において、ＩＡは、スペクトル画像Ａの画像座標（ｘ，ｙ）における画素値であって、ＩＢは、スペクトル画像Ｂの画像座標（ｘ＋ｓ，ｙ）における画素値を示している。ｓは、画素のシフト量を示しており、下記式（２）で算出した画像の差分が最小となるシフト量ｓが、２枚の画像を撮影した方位の差異に相当する。
【００４０】
【００４１】
２枚の変換画像を比較する場合、同じ方向にある景観であっても、撮影位置によっては見た目が変化するので、画素値同士の比較だけではシフト量を求められない。
そこで、本発明では、変換画像の上下方向（画像座標系の縦軸）の画素列の周波数特性を数値化したフーリエ変換スペクトル画像（周波数成分）を用いて比較することにより、景観の見た目と同じ周波数成分のテクスチャを含む方位の照合を可能にした。
【００４２】
図７は、変換画像とこれをｓ画素シフトしたシフト画像を示す図であり、図７（ａ）は図６（ａ）に示す画像Ａであり、図７（ｂ）は上記式（２）を用いて図７（ａ）の画像Ａをｓ画素シフトした画像Ｂを示している。図７（ａ）及び図７（ｂ）に示す変換画像Ａ，Ｂは、上述したフーリエ変換スペクトル画像のマッチングによって、２つの撮影点でそれぞれ撮影された全方位画像の撮影方位が一致している。
【００４３】
次に、２枚の全方位画像の撮影点間を結ぶ方位（図５中の撮影点ａ，ｂを結ぶ直線の方位）を推測する方法について説明する。
図５で示したように、全方位画像に映る被写体の方位は、撮影位置によって変化する。方位が変化する方向は、撮影点の変化方向と相反する。例えば、図５に示す撮影点ａで撮影した全方位画像では、前方に像を作った被写体Ｐが、撮影点ｂで撮影した全方位画像では、撮影点ａで撮影された画像よりも後方の方位に像を作る。
この特徴を利用して、画像照合部７では、画像Ａにおける特徴領域の方位と、対応する画像Ｂにおける特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、その方位をロボット１（又は撮影装置４）の進行方向と推定する。ここでは、比較する特徴量としてエッジを用いる。
【００４４】
一般に、２枚の画像のエッジ位置を対応付ける場合、対応付くエッジの画素位置に差異があり、かつ対応するエッジ間の距離に伸縮がある場合、正確な対応付けが困難である。
これに対して、図７に示す２枚の画像は、既にフーリエスペクトル画像の照合によって撮影方位が合っている。このため、エッジの探索範囲を制限することができ、対応付けが可能となっている。
【００４５】
図８は、図７中の画像Ａ，Ｂから求めたエッジ画像を示す図である。図８において、画像Ａ，Ｂから抽出したエッジ画像Ａｅ，Ｂｅ上に、縦方向の画像座標値が同じ線（ベースライン）を設け、このベースライン上の画素値をそれぞれ比較する。このベースラインの位置には、撮影装置４の位置から被写体までの撮影方向においてピッチ方向（仰角方向）に誤差が生じないように、撮影装置４の高さと水平な画像座標値を選択している。
【００４６】
また、図８（ａ）及び図８（ｂ）に示す符号ａ〜ｆは、２枚のエッジ画像Ａｅ，Ｂｅ間で対応するエッジを示している。
図９は、図８中のエッジ画像Ａｅ，Ｂｅ間で対応するエッジの画素距離を比較した結果を示す図である。図９において、エッジ画像Ａｅのエッジ間隔と比較してエッジ画像Ｂｅのエッジ間隔が広いのは、区間ｅｆ，ｆａの２区間であり、エッジ画像Ｂｅのエッジ間隔と比べてエッジ画像Ａｅのエッジ間隔が広いのは、区間ａｂである。この結果は、変換画像Ａの元となる全方位画像の撮影点と変換画像Ｂの元となる全方位画像の撮影点とを見た方位が区間ａｂの間にあり、その逆方向の方位は、区間ｅｆ，ｆａの間にあることを示している。
【００４７】
また、画像座標系の横軸は、撮影点を中心とした１周の方位を示しているので、ロボット１の進行方向とその逆方向の座標値の差分は、画像の横幅の半分に相当する。
ロボット１の進行方向をＦ、その逆方向をＢとすると、画像照合部７は、区間ａＢの画素距離と区間Ｂｂの画素距離との比率が、区間ｅＦの画素距離と区間Ｆａの画素距離との比率と等しくなる位置に進行方向Ｆ及びその逆方向Ｂの位置を推定する。これにより、図８（ａ）及び図８（ｂ）に示す方位に進行方向Ｆとその逆方向Ｂが定まり、進行方向Ｆとその逆方向Ｂの画素距離を求めることができる。図７にも進行方向Ｆ及びその逆方向Ｂを図示した。なお、方位推定の精度は、２枚のエッジ画像Ａｅ，Ｂｅから対応付けられるエッジ数により異なる。
【００４８】
経路計算部８は、画像照合部７によって、連続した撮影点で撮影された２枚の画像毎の相対方位が得られると、得られた相対方位を用いて、変換画像間の画像中で対応する方位を特定し、特定した方位に基づいた変換画像間の対応関係から撮影経路を算出する。
このように、本発明では、ロボット１の自己位置の算出が必要なメトリック地図を作成せず、撮影点同士の相対方位から撮影経路が算出される。以下に、経路データの算出方法の詳細を説明する。
【００４９】
先ず、経路計算部８は、図１０に示すように、連続した撮影点で撮影された２枚の全方位画像を地面平面の直交平面座標系へ射影した画像へそれぞれ変換する。この射影の方法は、上述した参考文献１の「解説」に記載された式を用いて、全方位画像の画像座標系における座標値を、実空間の座標系における地面の高さの座標値へ射影して作図する。
次に、経路計算部８は、図１１に示すように、連続した撮影点で撮影された２枚の全方位画像を、地面の高さの像にそれぞれ射影した画像（画像１，２）を合成して経路を求める。合成方法は、以下の通りである。
【００５０】
画像照合部７によって得られた相対方位をθとした場合、経路計算部８は、下記の行列式（３）を用いて座標系を変換する。ただし、画像１の画像座標系上の点がＸ１であり、Ａは回転角度θの回転行列、ｂは平行移動行列である。図１１の例では、下記式（３）を用いて画像１の画像座標の画素値をＸ２へ変換し、画像２の画素と合成している。
Ｘ２＝ＡＸ１＋ｂ ・・・（３）
【００５１】
上記式（３）における平行移動行列ｂは、以下のように求める。
平行移動量を画像座標系の２軸に対して、予め定めた範囲で、予め定めたステップ分求める。例えば、縦方向に−１０画像〜＋１０画像の１画素ステップ、横方向に−２０画像〜＋１０画像の１画素ステップの場合、２０×３０＝３００パターンとなる。この各パターンに対して上記画像合成を試行し、画像１の画素と画像２の画素とが重なる画素に対して画素値を比較し、画素値の差異を、重なる画素数で割った値が最も小さくなる移動量を選択する。
【００５２】
移動量の決定は、以下のようにしてもよい。
先ず、図１２に示すように、連続した撮影点Ａ，Ｂ，Ｃでそれぞれ撮影された３枚の全方位画像の方位角θａ，θｂ，θｃの差異が明確な場合、これらのうち、ある２枚の全方位画像（１ペア）に対して、上述のようにして距離を求める。これにより方位差分が拘束条件となるので、他の２ペアの画像間の距離が定まる。
【００５３】
次に、経路データの説明とその活用について述べる。
全方位画像を射影して生成した地面平面の中心点は、撮影点である。地面平面の座標系を平行移動して、原点が移動する先の点は、次に撮影された全方位画像を射影して生成した地面平面の座標系の原点、すなわち次に撮影された全方位画像の撮影点となる。
本発明では、このようにして求めた回転行列及び平行移動行列を経路データと呼んでおり、さらに、撮影点を一つの座標系にプロットした点列又は点同士を結んだ折れ線を呼ぶこととする。
【００５４】
経路計算部８が、連続した撮影点でそれぞれ撮影された全方位画像を地面平面へそれぞれ射影し、これら地面平面へ射影した各画像を、経路データの回転行列及び平行移動行列に忠実に座標系を変換して合成した画像は、図１３に示すようになる。このように、経路データを用いることによって周辺の景観を表現可能である。
【００５５】
図１３の表現では、撮影装置４の周辺の景観だけが表示されているが、さらに遠方も同時に表現する画像合成を行ってもよい。この画像合成は、例えば下記のように行う。
図１４は、撮影装置の周辺及び遠方を表示した合成画像の生成処理を説明するための図である。図１４（ａ）は地面平面へ射影した画像であり、図１４（ｂ）は図１４（ａ）の射影前の全方位画像である。また、図１４（ａ）中の弧ＡＢと弧ＣＤは、床面と構造物との境界を示している。
【００５６】
先ず、図１４（ａ）に示すような地面平面へ射影した画像から直線エッジを抽出し、床面と構造物との境界を検出して、図１４（ｂ）に示す全方位画像における弧ＡＢと弧ＣＤの位置を決定する。又は、経路計算部８が、オペレータの指示を受け付けて床面と構造物との境界を決定するようにしてもよい。
【００５７】
次に、経路計算部８は、図１４（ｂ）中に示す天井に近い外周線と弧ＡＢを含む太線で囲んだ画像領域及び天井に近い外周線と弧ＣＤを含む太線で囲んだ画像領域を、上記参考文献１に記載される、画像座標系を俯角及び方位角へ変換する変換式を用いて、図１４（ｄ）に示す展開図へそれぞれ変換する。これらの展開図を、図１４（ａ）の直線エッジ部分に合成することにより、図１４（ｃ）に示すような合成画像が得られる。この画像では、地面平面を表示するとともに、床面と構造物との境界がある場合に、地面平面に近い低い位置にある地物だけでなく、天井に近い俯角までの景観が再現可能である。
【００５８】
このように、全方位画像を地面平面へ射影した画像を単に合成した画像では、表示可能な景観が狭い範囲に限られるが、上述のように床面と構造物との境界から天井に近い外周線までの画像領域を全方位画像から切り取って展開図に変換し、地面平面へ射影した画像へ貼り付けることにより、撮影装置４の周辺とさらに遠方の景観も同時に表現することができる。なお、地面と地物との境界線だけでなく、床面（地面）の任意の２地点を結んだ線を用いて上記の合成処理を行えば、床面の任意の２地点を結んだ線から天井に近い俯角までの景観を再現することができる。
【００５９】
経路記憶部９は、経路計算部８にて算出された撮影経路を示すデータを記憶する。撮影経路を示すデータは、ロボット１の移動に伴って撮影された画像間の方位の対応関係を示すデータで規定され、図１において、矢印で示すデータに相当する。ロボット１の移動に伴い時系列に撮影された画像間の方位の対応関係に基づいて、上述のように各変換画像を順に接続することで、撮影経路の映像を得ることができる。
【００６０】
なお、経路記憶部９に記憶する撮影経路データは、異なる時刻に撮影された全方位画像間で照合したり、他のロボットが撮影した全方位画像と照合することにより、同じ場所で得られたデータを利用可能な点で、ライフログとしての利用価値がある。
【００６１】
以上のように、この実施の形態１によれば、撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置４による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、ロボット１の移動に伴って撮影装置４に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、ロボット１の移動に伴う撮影装置４の撮影経路を算出する。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果が得られる。
【００６２】
また、この実施の形態１によれば、画像照合部７が、撮影装置４によって連続した撮影点でそれぞれ撮影された一方の全方位画像における特徴領域の方位と、もう一方の全方位画像における当該特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、当該一定の方位をロボット１の進行方向と推定する。このようにすることで、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から、ロボット１の進行方向を推定することができる。
【００６３】
さらに、この実施の形態１によれば、経路計算部８が、画像照合部７によって推定された全方位画像間の相対方位に相当する回転角度θの回転行列Ａと、全方位画像を地面平面の直交平面座標系へ射影した射影画像の中心点のロボット１の移動に伴う移動量を示す平行移動行列ｂとを、経路データとして算出し、連続した撮影点でそれぞれ撮影された全方位画像を地面平面の直交平面座標系へ射影した各射影画像を、経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、ロボット１の移動に伴う撮影装置４の撮影経路を表示する合成画像を得る。このようにすることで、ロボット１の自己位置の算出が必要なメトリック地図を作成せずに、撮影経路を表示する合成画像を得ることができる。
【００６４】
さらに、この実施の形態１によれば、経路計算部８が、全方位画像を地面平面の直交平面座標系へ射影した射影画像から直線エッジを抽出するとともに、抽出した直線エッジに対応する全方位画像上の直線を含む画像領域を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置４による撮影方向に対するピッチ角である画像に変換して当該射影画像の直線エッジ部分へ合成し、当該合成処理を施した各射影画像を、経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、ロボット１の移動に伴う撮影装置４の撮影経路を表示する合成画像を得る。このようにすることで、任意の２地点を結んだ線から例えば天井に近い俯角までの景観を再現することができる。
【符号の説明】
【００６５】
１ ロボット（移動体）、２ 移動台、３ ポール、４ 撮影装置、５ 撮影経路計算装置、６ 画像記憶部、７ 画像照合部、８ 経路計算部、９ 経路記憶部。
【技術分野】
【０００１】
この発明は、ロボットに搭載されたカメラの撮影画像から当該ロボットの移動に伴ってカメラが撮影を行った撮影経路を算出する撮影経路計算装置に関するものである。
【背景技術】
【０００２】
災害発生により倒壊の危険がある建物に残された被災者を探索するため、カメラを搭載した遠隔操縦ロボットの運用が望まれている。遠隔操縦ロボットのカメラで撮影した建物内部の画像を、屋外のコンピュータへ伝送することにより、救助隊は建物外から内部状況の観察が可能になる。
【０００３】
このようなロボットで建物内部を探索するには、建物内部の地図に基づいて移動経路を計画する必要がある。しかしながら、災害発生時には建物内部の地図を入手するのは困難であり、ロボットは地図の無い未知な環境で探索を強いられる場合が多い。ロボットが未知な環境の全域を探索するには、ロボットの移動に伴ってカメラが撮影を行った撮影経路を示す情報を記憶しておくことが必要となる。
【０００４】
ロボットが移動した空間内の構造物の位置を正確に表現するメトリック地図を構築するには、ロボットの自己位置が高精度に取得されなければならない。
ロボットが未知の空間において自己位置を取得する方法として、ロボットに搭載されたステレオカメラで撮影した画像から、未知の空間におけるドア、コーナー、照明、換気口等の構造物を認識してランドマークとみなし、ランドマークを基準として自己位置を算出するものがある。
【０００５】
また、レーザースキャナを用いてロボット周辺を観測して、観測されたロボット周辺の構造物をランドマークとみなし、このランドマークを基準として自己位置を算出する方法も提案されている。この方法には、ロボットがレーザースキャナを用い２地点でそれぞれ観測した周辺構造物の形状を照合して、２地点での観測結果の重なりが正確に重なるように、２地点間の位置や、構造物の姿勢変化を算出するスキャンマッチング手法が用いられている。
【０００６】
さらに、ロボットに搭載した全方位カメラで撮影した景観画像に映った構造物の特徴をランドマークとみなして自己位置を求める方法も研究されている。この方法では、異なる位置から全方位カメラで撮影した景観に映っている床領域の形状（凹凸形状）を、ランドマークとみなして照合するスキャンマッチングを行う。
【０００７】
また、特許文献１には、入力画像から検出した人の大きさ等に基づいて当該画像を撮像した撮像部から検出対象である人までの概距離を推定する警戒センサが開示されている。この概距離は、予め分かっている撮像部の撮像素子の画素数やレンズの焦点距離等の情報と、人の実サイズ（身長）の仮定条件と、入力画像から検出された人の大きさの画素数とに基づいて算出される。ここでは、入力画像に映る人がいわゆるランドマークとして利用され、画像に映る人の大きさを基にカメラから人までの距離が求められる。
【０００８】
特許文献２には、入力装置として、パン、チルト、ズーム操作が可能なビデオカメラを対象とした場合において、ズーム値を固定し、連続的にパン操作（チルト値固定）を行ったり、又は、連続的にチルト操作（パン値固定）を行って得られた連続的な映像データに対して、連続的にモザイキング処理することによってパノラマ映像を作成するビデオモザイキング装置が開示されている。この装置では、全方位画像を細かい方位角毎の短冊画像に分解し、１枚の全方位画像から生成した短冊画像を拡大して他の全方位画像から生成した短冊画像と照合し、一致すれば、同一方位であると判断する。このようにして、パン、チルト、ズームに対応した各種のパノラマ映像を得ることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１９８１２４号公報
【特許文献２】特開２００６−３１０９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したロボットに搭載したステレオカメラで撮影された未知空間の画像におけるドアやコーナー、照明等をランドマークとして認識して、ロボットの自己位置を算出する方法では、特定のランドマークが無い場所では適用することができず、ロボットの自己位置を取得できない。
【００１１】
また、レーザースキャナで観測したロボット周辺の構造物をランドマークとみなして、ロボットの自己位置を算出する方法は、レーザースキャナの計測可能距離を超える広さの空間ではロボットの自己位置を求めることができないという課題がある。
【００１２】
さらに、ロボットに搭載した全方位カメラで撮影された景観画像に映った構造物の特徴をランドマークとみなして自己位置を求める方法では、撮影点の近くに適度な凹凸特徴がある床領域境界が無い地点では、ランドマークの正確な照合ができない。
【００１３】
特許文献１の発明においても同様に、検出対象となる人が撮像されなければ、撮像部と当該人との間の距離を算出できない。
また、特許文献２は、遠隔操作したビデオカメラを用いて監視対象空間のパノラマ画像を得ることができるが、撮影位置が異なる場合は、遠近の違いによって縦方向にも視差が生じるため、縦方向の視差に起因した誤差があるパノラマ画像が生成されるという課題がある。
【００１４】
この発明は、上記のような課題を解決するためになされたもので、未知空間内のランドマークや景観の特徴によらず、ロボットの移動に伴うカメラの撮影経路を正確に算出できる撮影経路計算装置を得ることを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る撮影経路計算装置は、移動体に搭載した撮影装置によって当該移動体の移動に伴い撮影された撮影点の全周囲の全方位画像を記憶する画像記憶部と、画像記憶部から読み出された全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、移動体の移動に伴って撮影装置に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定する画像照合部と、画像照合部によって推定された全方位画像間の相対方位に基づいて、移動体の移動に伴う撮影装置の撮影経路を算出する経路計算部とを備えるものである。
【発明の効果】
【００１６】
この発明によれば、撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、移動体の移動に伴って撮影装置に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、移動体の移動に伴う撮影装置の撮影経路を算出する。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】室内の平面図と当該室内のロボットの移動経路の一例を示す図である。
【図２】実施の形態１におけるロボットの概略を示す図である。
【図３】実施の形態１による撮影経路計算装置の構成を示すブロック図である。
【図４】撮影装置で撮影された全方位画像及びこれを変換した変換画像を示す図である。
【図５】撮影点の違いによる物体像の視差を説明するための図である。
【図６】画像照合部による画像照合の一例を示す図である。
【図７】変換画像とこれをｓ画素シフトしたシフト画像を示す図である。
【図８】図７中の画像Ａ，Ｂから求めたエッジ画像を示す図である。
【図９】図８中のエッジ画像Ａｅ，Ｂｅ間で対応するエッジの画素距離を比較した結果を示す図である。
【図１０】全方位画像から地面平面への射影の一例を示す図である。
【図１１】地面平面への射影画像の画像合成を説明するための図である。
【図１２】方位角が異なる撮影点を示す図である。
【図１３】地面平面への射影画像の合成画像を示す図である。
【図１４】撮影装置の周辺及び遠方を表示した合成画像の生成処理を説明するための図である。
【発明を実施するための形態】
【００１８】
実施の形態１．
この発明は、ロボットに搭載したカメラで一定の時間間隔で撮影された画像から、当該ロボット（移動体）の移動に伴いカメラが撮影を行った撮影経路を推定するものである。また、撮影経路の推定を、景観中の特定のランドマークに依存しないで実施するために、連続して撮影された２枚の画像を照合して、２つの撮影地点における相対方位を求める。この場合、２枚の画像をそれぞれ撮影した撮影点間の距離が長いと、景観が大きく異なり照合が困難になる恐れがある。
そこで、この実施の形態１では、ロボットの移動速度を時速３．６ｋｍ／ｈ以下と仮定して２秒間隔で景観を撮影し、連続する撮影点の距離を２ｍ以下とした。
【００１９】
図１は、室内の平面図と当該室内のロボットの移動経路の一例を示す図である。図１中の黒三角形記号はロボットＡに搭載されたカメラによる景観の撮影点を示しており、黒四角形記号はロボットＢに搭載したカメラによる景観の撮影点を示している。また、撮影点間の矢印はロボットの移動方向である。ロボットＡ，Ｂは、机、棚Ａ，Ｂ、ドア１，２等の構造物がある室内を移動する。なお、連続した撮影点間の距離を短くし撮影位置の近い画像を照合するので、ロボットＡとロボットＢとが同時刻に撮影した画像の照合により、２つのロボットＡ，Ｂの接近を検出することができる。
【００２０】
図２は、実施の形態１におけるロボットの概略を示す図である。図２において、ロボット１は、遠隔操縦により駆動する移動台２を備え、撮影装置４の視界をロボット１自身で遮蔽しないように、ポール３を介した上部に撮影装置４が設置される。移動台２には、ステッピングモータ等の駆動部が実装された車輪が取り付けられており、外部の計算機（不図示）から出力される制御信号に従って、車輪を指定の角変位量だけ任意方向に回転駆動する。
【００２１】
全方位画像を得るにはロボット１に搭載する撮影装置４を水平に保持する必要がある。ここでは、移動台２が水平面上を移動すると仮定して、ポール３を介した一定の高さに撮影装置４を保持する。
また、撮影装置４には、屋内景観の画像取得を想定して、その撮影視野を数ｍ先の地面から水平方向までを同時に撮影可能な、双曲線ミラーを装着したカメラを用いた。
ロボット１の移動に伴い撮影装置４により時系列に撮影された画像は、ロボット１から有線又は無線の通信を介して、図３を用いて後述する撮影経路計算装置へ送信され、撮影経路計算装置の画像記憶部に蓄積される。なお、以降の説明では、図２に示すようなカメラを搭載した遠隔操縦車両をロボットと呼ぶこととする。また、本発明は、当該ロボット１の構成に限定されるものではなく、図２に示す撮影経路４を搭載して移動する移動体であればよい。
【００２２】
図３は、実施の形態１による撮影経路計算装置の構成を示すブロック図である。図３において、撮影経路計算装置５は、画像記憶部６、画像照合部７、経路計算部８、及び経路記憶部９を備える。画像記憶部６は、図２に示したロボット１の移動に伴って撮影装置４が時系列に撮影した画像データを逐次記憶するメモリである。ここでは、連続して撮影された２枚の画像を照合して撮影方位の差異を求めるために、撮影装置４が、撮影点の周囲３６０度の景観が１枚の画像に収まる環状又は円形状の全方位画像を撮影し画像記憶部６に記憶する。
【００２３】
画像照合部７は、画像記憶部６から読み出した全方位画像を射影して、画像座標系の縦軸を景観の観測方向に対するピッチ角とし、横軸を方位角とする画像（例えば、パノラマ画像）へ変換するとともに、連続した撮影点で撮影された２枚の全方位画像を変換した各パノラマ画像を照合してロボット１の進行方向に一致する方位を検出し、一方の画像の撮影点から他方の画像の撮影点を見た相対方位（図３中のθａ及びθｂ）を求める構成部である。画像照合部７により全方位画像から変換された画像のデータは画像記憶部６に記憶される。画像照合部７は、画像記憶部６に記憶した画像データを読み出して照合処理を行う。
【００２４】
なお、図３に例示した全方位画像における基準方位は全方位画像を上記画像へ変換する際の基準となる方位である。ここで、変換画像の画像座標系の横軸は、この基準方位から撮影点の周囲９０度（π）、３６０度（２π）までの方位角が規定される。また、連続した撮影点ａ，ｂ間を直線で結んだ経路と各撮影点ａにおける全方位画像の基準方位となす角θａが、撮影点ａから撮影点ｂを見た相対方位であり、撮影点ａ，ｂ間を直線で結んだ経路と各撮影点ｂにおける全方位画像の基準方位となす角θｂが、撮影点ｂから撮影点ａを見た相対方位である。
【００２５】
経路計算部８は、画像照合部７により複数の撮影点で求められた相対方位から撮影経路を算出する構成部である。経路計算部８では、ロボット１の移動に伴い時系列に順次撮影された全方位画像について、画像照合部７に求められた撮影点同士の相対方位を用いて、画像間で対応する方位を特定し、特定した方位に基づいた画像間の対応関係から撮影経路を算出する。経路記憶部９は、経路計算部８にて算出された撮影経路を示すデータを記憶するメモリである。
【００２６】
また、画像照合部７及び経路計算部８は、この発明の趣旨に従う経路計算用プログラムをコンピュータに実行させることで、ハードウエアとソフトウエアとが協働した具体的な手段として当該コンピュータ上で実現することができる。さらに、画像記憶部６及び経路記憶部９は、上記コンピュータに搭載された記憶装置、例えばハードディスク装置や外部記憶メディア等に構築される。
【００２７】
次に動作について説明する。
先ず、図１に示すように、ロボット１を未知空間内で走行させて、所定のタイミングで撮影装置４で空間内の景観を撮影して、得られた全方位画像データを画像記憶部６に順次記憶する。続いて、画像照合部７は、画像記憶部６から、連続した撮影点でそれぞれ撮影された全方位画像を順次読み出し、読み出した全方位画像を射影して、画像座標系の縦軸を景観の観測方向の仰角とし、横軸を方位角とする画像へ変換する。
【００２８】
図４は、撮影装置４で撮影された全方位画像及びこれを変換した変換画像を示す図である。ここでは、撮影装置４として、双曲線ミラーを装着したカメラを使用する。撮影装置４において、双曲線ミラーが鉛直下向きに配置され、撮影部が鉛直上向きに配置され、双曲線ミラーの双曲面の軸と撮影部の光軸とが一致し、双曲面の焦点と撮影部のレンズの中心とは相対するように配置される。このような構成の撮影装置４により、図４（ａ）に示すような、自身（撮影点）を中心に全方位（周囲３６０度）の景観が撮影された全方位画像が得られる。
【００２９】
図４（ａ）において、符号Ａ１で示す全方位画像の中心に近い画素は、俯角５５度で観測された像であり、符号Ｂ１で示す画素は、仰角１０度で観測された像である。ここで、従来の技術として、全方位画像の画像座標系の座標値を用いて、撮影部のレンズの焦点を原点とした俯角及び方位を表現する計算式がある（参考文献１）。この式を用いて、全方位画像から、俯角を縦軸とし、方位角度を横軸とする直交座標系で表現される画像へ射影する。
（参考文献１）山澤一誠，八木康史，谷内田正彦，“移動ロボットのナビゲーションのための全方位視覚センサ ＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎの提案”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｊ７９−Ｄ−２（５） ｐｐ．６９８−７０７，１９９６．（当該参考文献１のｐｐ．７００における式（３）、式（４）及び図３、図４、図５を参照）。
【００３０】
上述の計算式を用いて、画像照合部７は、撮影点を中心とした周辺の景観が環状に撮影された全方位画像を、図４（ｂ）に示すような画像座標系の縦軸が仰角を示し、横軸が方位角を示す画像（パノラマ画像）へ変換する。
なお、図４（ｂ）に示す変換画像の右端の方位が、図４（ａ）に示す全方位画像の基準方位に一致しており、符号Ｃ１で示す仰角の画素が変換画像の仰角の上限となっている。
【００３１】
２地点で撮影された全方位画像に同一物体が映る場合には、各全方位画像の画像座標系における当該物体の像の位置に差異が生じる。
図５は、撮影点の違いによる物体像の視差を説明するための図である。画像照合部７が照合を行う変換画像は、画像座標系の横軸が撮影位置から景観を見た方位を示している。図５に示すように、撮影点ａ，ｂを結ぶ直線の延長上にない被写体Ｐを撮影点ａから見た場合と撮影点ｂから見た場合では視差Ｐが生じ、撮影点ａ，ｂを結ぶ直線の延長上にない被写体Ｑを撮影点ａから見た場合と撮影点ｂから見た場合では視差Ｑが生じる。これらの視差の大きさは、撮影点からみた被写体の方位によって変化する。
【００３２】
一方、２つの撮影点ａ，ｂを結ぶ直線の延長上にある被写体Ｒの像は、撮影点ａ，ｂでそれぞれ撮影された画像において方位方向の視差が無く表示される特徴がある。
本発明では、この特徴を利用して、全方位画像から変換した変換画像を方位毎（例えば５度毎）の幅の狭い領域に分割し、連続した２つの撮影点でそれぞれ撮影された全方位画像を変換した２枚の変換画像について分割領域毎に照合して、同じ景観が映る方位を検出する。
【００３３】
また、撮影点ａ，ｂを結ぶ直線の延長上にない被写体（Ｐ又はＱ）の方位は、撮影位置によって変化する。ここで、方位の変化方向は、撮影点の変化方向（ロボット１の進行方向）と相反する。例えば、撮影点ａで撮影した全方位画像では、前方に像を作った被写体Ｐが、撮影点ｂで撮影した全方位画像では、撮影点ａで撮影された画像よりも後方の方位に像を作る。つまり、２つの撮影点を結ぶ直線の延長上にない被写体の像は、ロボット１の移動に伴ってその進行方向と反対の方位へ近づくように表示される特徴がある。
本発明では、この特徴を利用して、２枚の変換画像間における物体像の方位の変位からロボット１の進行方位を推測する。
【００３４】
先ず、変換画像を方位毎の領域に分割し、２枚の変換画像の領域を照合して同じ景観が映っている方位を検出する処理の詳細を説明する。
画像照合部７が、連続した２つの撮影点でそれぞれ撮影された全方位画像を、パノラマ画像に変換すると、変換した２枚の変換画像の一方の画像から、ある方位の景観として、画像座標系の縦軸方向のうちの一列の画素列を抽出し、この画素列ともう一方の画像から抽出した画素列との特徴を照合する。ここで、２つの画像から画素列を抽出した方位が、上記２つの撮影点を結ぶ直線の方位と一致する場合は、画素列間に方位方向の視差はないが、撮影点の位置が異なるので、ロボット１（又は撮影装置４）と被写体の距離によって画素列に映る像の大きさが異なる。これにより、単純に画素値を比較しても同じ景観が映っているか否かを照合できない。
【００３５】
そこで、上述のように抽出した２つの画素列に映る被写体の像には、撮影点から被写体までの距離に応じて、縮尺が異なるものの、床と壁との色の違いによる大まかな輝度変化と被写体の表面のテクスチャパターンによる細かな輝度変化とが、同じ割合で含まれると仮定して、輝度変化の度合いを照合する。
具体的には、画像照合部７が、画素列の画素値（輝度値）に対して下記式（１）に示すフーリエ変換を施して画素列をフーリエ係数Ｆｋに変換し、画素列の画素値の周波数成分の強さである｜Ｆｋ｜２を算出して、この周波数成分の強さ｜Ｆｋ｜２を比較対象として照合を行う。なお、下記式（１）において、ｋはフーリエ変換の次数を示し、Ｎは画素列の画素数を示しており、Ｉｎは、画素列のうち、ｎ番目の画素の輝度を示している。
このようにフーリエ変換を施すことで、それぞれの画素列に含まれる大まかな輝度変化と細かな輝度変化の量が、周波数成分の強さによって比較可能となる。
【００３６】
【００３７】
図６は、画像照合部による画像照合の一例を示す図であり、比較対象である２枚の変換画像と各変換画像から方位毎の画素列を抽出しフーリエ変換を施して得られたスペクトルを画像形式で表示したスペクトル画像とを示している。図６（ａ）は、変換画像Ａを示しており、図６（ｂ）は、図６（ａ）中の変換画像Ａをフーリエ変換して求めたスペクトル画像Ａである。スペクトル画像は、横軸が撮影方位で、縦軸が次数ｋであり、周波数成分の強さが一定の閾値以上の場合に画素値を白とした２値画像で表現されている。
スペクトル画像のうち、次数の小さな座標における画素の輝度値は、画像中の同じ方位の画素列における濃淡変化の低周波数成分の量を示しており、次数の大きな座標における画素の輝度値は、高周波数成分の量を示している。
【００３８】
図６（ｄ）に示す変換画像Ｂは、画像Ａの元となる全方位画像の撮影点から２ｍ以内の撮影点で撮影された全方位画像を元に得られた画像である。図６（ｃ）は、図６（ｄ）中の変換画像Ｂをフーリエ変換して求めたスペクトル画像Ｂである。
また、図６（ｂ）と図６（ｃ）では、スペクトル画像Ａとスペクトル画像Ｂとにおける各輝度値の増減の特徴を比較した結果、一致すると判定された撮影方位を対応線で結んでいる。
【００３９】
さらに、画像照合部７は、図６に示す２枚のスペクトル画像Ａ，Ｂから対応する方位を見つけるため、下記式（２）に示す排他的論理和（ｅｘｏｒ）によって画像の差分を算出する。下記式（２）において、ＩＡは、スペクトル画像Ａの画像座標（ｘ，ｙ）における画素値であって、ＩＢは、スペクトル画像Ｂの画像座標（ｘ＋ｓ，ｙ）における画素値を示している。ｓは、画素のシフト量を示しており、下記式（２）で算出した画像の差分が最小となるシフト量ｓが、２枚の画像を撮影した方位の差異に相当する。
【００４０】
【００４１】
２枚の変換画像を比較する場合、同じ方向にある景観であっても、撮影位置によっては見た目が変化するので、画素値同士の比較だけではシフト量を求められない。
そこで、本発明では、変換画像の上下方向（画像座標系の縦軸）の画素列の周波数特性を数値化したフーリエ変換スペクトル画像（周波数成分）を用いて比較することにより、景観の見た目と同じ周波数成分のテクスチャを含む方位の照合を可能にした。
【００４２】
図７は、変換画像とこれをｓ画素シフトしたシフト画像を示す図であり、図７（ａ）は図６（ａ）に示す画像Ａであり、図７（ｂ）は上記式（２）を用いて図７（ａ）の画像Ａをｓ画素シフトした画像Ｂを示している。図７（ａ）及び図７（ｂ）に示す変換画像Ａ，Ｂは、上述したフーリエ変換スペクトル画像のマッチングによって、２つの撮影点でそれぞれ撮影された全方位画像の撮影方位が一致している。
【００４３】
次に、２枚の全方位画像の撮影点間を結ぶ方位（図５中の撮影点ａ，ｂを結ぶ直線の方位）を推測する方法について説明する。
図５で示したように、全方位画像に映る被写体の方位は、撮影位置によって変化する。方位が変化する方向は、撮影点の変化方向と相反する。例えば、図５に示す撮影点ａで撮影した全方位画像では、前方に像を作った被写体Ｐが、撮影点ｂで撮影した全方位画像では、撮影点ａで撮影された画像よりも後方の方位に像を作る。
この特徴を利用して、画像照合部７では、画像Ａにおける特徴領域の方位と、対応する画像Ｂにおける特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、その方位をロボット１（又は撮影装置４）の進行方向と推定する。ここでは、比較する特徴量としてエッジを用いる。
【００４４】
一般に、２枚の画像のエッジ位置を対応付ける場合、対応付くエッジの画素位置に差異があり、かつ対応するエッジ間の距離に伸縮がある場合、正確な対応付けが困難である。
これに対して、図７に示す２枚の画像は、既にフーリエスペクトル画像の照合によって撮影方位が合っている。このため、エッジの探索範囲を制限することができ、対応付けが可能となっている。
【００４５】
図８は、図７中の画像Ａ，Ｂから求めたエッジ画像を示す図である。図８において、画像Ａ，Ｂから抽出したエッジ画像Ａｅ，Ｂｅ上に、縦方向の画像座標値が同じ線（ベースライン）を設け、このベースライン上の画素値をそれぞれ比較する。このベースラインの位置には、撮影装置４の位置から被写体までの撮影方向においてピッチ方向（仰角方向）に誤差が生じないように、撮影装置４の高さと水平な画像座標値を選択している。
【００４６】
また、図８（ａ）及び図８（ｂ）に示す符号ａ〜ｆは、２枚のエッジ画像Ａｅ，Ｂｅ間で対応するエッジを示している。
図９は、図８中のエッジ画像Ａｅ，Ｂｅ間で対応するエッジの画素距離を比較した結果を示す図である。図９において、エッジ画像Ａｅのエッジ間隔と比較してエッジ画像Ｂｅのエッジ間隔が広いのは、区間ｅｆ，ｆａの２区間であり、エッジ画像Ｂｅのエッジ間隔と比べてエッジ画像Ａｅのエッジ間隔が広いのは、区間ａｂである。この結果は、変換画像Ａの元となる全方位画像の撮影点と変換画像Ｂの元となる全方位画像の撮影点とを見た方位が区間ａｂの間にあり、その逆方向の方位は、区間ｅｆ，ｆａの間にあることを示している。
【００４７】
また、画像座標系の横軸は、撮影点を中心とした１周の方位を示しているので、ロボット１の進行方向とその逆方向の座標値の差分は、画像の横幅の半分に相当する。
ロボット１の進行方向をＦ、その逆方向をＢとすると、画像照合部７は、区間ａＢの画素距離と区間Ｂｂの画素距離との比率が、区間ｅＦの画素距離と区間Ｆａの画素距離との比率と等しくなる位置に進行方向Ｆ及びその逆方向Ｂの位置を推定する。これにより、図８（ａ）及び図８（ｂ）に示す方位に進行方向Ｆとその逆方向Ｂが定まり、進行方向Ｆとその逆方向Ｂの画素距離を求めることができる。図７にも進行方向Ｆ及びその逆方向Ｂを図示した。なお、方位推定の精度は、２枚のエッジ画像Ａｅ，Ｂｅから対応付けられるエッジ数により異なる。
【００４８】
経路計算部８は、画像照合部７によって、連続した撮影点で撮影された２枚の画像毎の相対方位が得られると、得られた相対方位を用いて、変換画像間の画像中で対応する方位を特定し、特定した方位に基づいた変換画像間の対応関係から撮影経路を算出する。
このように、本発明では、ロボット１の自己位置の算出が必要なメトリック地図を作成せず、撮影点同士の相対方位から撮影経路が算出される。以下に、経路データの算出方法の詳細を説明する。
【００４９】
先ず、経路計算部８は、図１０に示すように、連続した撮影点で撮影された２枚の全方位画像を地面平面の直交平面座標系へ射影した画像へそれぞれ変換する。この射影の方法は、上述した参考文献１の「解説」に記載された式を用いて、全方位画像の画像座標系における座標値を、実空間の座標系における地面の高さの座標値へ射影して作図する。
次に、経路計算部８は、図１１に示すように、連続した撮影点で撮影された２枚の全方位画像を、地面の高さの像にそれぞれ射影した画像（画像１，２）を合成して経路を求める。合成方法は、以下の通りである。
【００５０】
画像照合部７によって得られた相対方位をθとした場合、経路計算部８は、下記の行列式（３）を用いて座標系を変換する。ただし、画像１の画像座標系上の点がＸ１であり、Ａは回転角度θの回転行列、ｂは平行移動行列である。図１１の例では、下記式（３）を用いて画像１の画像座標の画素値をＸ２へ変換し、画像２の画素と合成している。
Ｘ２＝ＡＸ１＋ｂ ・・・（３）
【００５１】
上記式（３）における平行移動行列ｂは、以下のように求める。
平行移動量を画像座標系の２軸に対して、予め定めた範囲で、予め定めたステップ分求める。例えば、縦方向に−１０画像〜＋１０画像の１画素ステップ、横方向に−２０画像〜＋１０画像の１画素ステップの場合、２０×３０＝３００パターンとなる。この各パターンに対して上記画像合成を試行し、画像１の画素と画像２の画素とが重なる画素に対して画素値を比較し、画素値の差異を、重なる画素数で割った値が最も小さくなる移動量を選択する。
【００５２】
移動量の決定は、以下のようにしてもよい。
先ず、図１２に示すように、連続した撮影点Ａ，Ｂ，Ｃでそれぞれ撮影された３枚の全方位画像の方位角θａ，θｂ，θｃの差異が明確な場合、これらのうち、ある２枚の全方位画像（１ペア）に対して、上述のようにして距離を求める。これにより方位差分が拘束条件となるので、他の２ペアの画像間の距離が定まる。
【００５３】
次に、経路データの説明とその活用について述べる。
全方位画像を射影して生成した地面平面の中心点は、撮影点である。地面平面の座標系を平行移動して、原点が移動する先の点は、次に撮影された全方位画像を射影して生成した地面平面の座標系の原点、すなわち次に撮影された全方位画像の撮影点となる。
本発明では、このようにして求めた回転行列及び平行移動行列を経路データと呼んでおり、さらに、撮影点を一つの座標系にプロットした点列又は点同士を結んだ折れ線を呼ぶこととする。
【００５４】
経路計算部８が、連続した撮影点でそれぞれ撮影された全方位画像を地面平面へそれぞれ射影し、これら地面平面へ射影した各画像を、経路データの回転行列及び平行移動行列に忠実に座標系を変換して合成した画像は、図１３に示すようになる。このように、経路データを用いることによって周辺の景観を表現可能である。
【００５５】
図１３の表現では、撮影装置４の周辺の景観だけが表示されているが、さらに遠方も同時に表現する画像合成を行ってもよい。この画像合成は、例えば下記のように行う。
図１４は、撮影装置の周辺及び遠方を表示した合成画像の生成処理を説明するための図である。図１４（ａ）は地面平面へ射影した画像であり、図１４（ｂ）は図１４（ａ）の射影前の全方位画像である。また、図１４（ａ）中の弧ＡＢと弧ＣＤは、床面と構造物との境界を示している。
【００５６】
先ず、図１４（ａ）に示すような地面平面へ射影した画像から直線エッジを抽出し、床面と構造物との境界を検出して、図１４（ｂ）に示す全方位画像における弧ＡＢと弧ＣＤの位置を決定する。又は、経路計算部８が、オペレータの指示を受け付けて床面と構造物との境界を決定するようにしてもよい。
【００５７】
次に、経路計算部８は、図１４（ｂ）中に示す天井に近い外周線と弧ＡＢを含む太線で囲んだ画像領域及び天井に近い外周線と弧ＣＤを含む太線で囲んだ画像領域を、上記参考文献１に記載される、画像座標系を俯角及び方位角へ変換する変換式を用いて、図１４（ｄ）に示す展開図へそれぞれ変換する。これらの展開図を、図１４（ａ）の直線エッジ部分に合成することにより、図１４（ｃ）に示すような合成画像が得られる。この画像では、地面平面を表示するとともに、床面と構造物との境界がある場合に、地面平面に近い低い位置にある地物だけでなく、天井に近い俯角までの景観が再現可能である。
【００５８】
このように、全方位画像を地面平面へ射影した画像を単に合成した画像では、表示可能な景観が狭い範囲に限られるが、上述のように床面と構造物との境界から天井に近い外周線までの画像領域を全方位画像から切り取って展開図に変換し、地面平面へ射影した画像へ貼り付けることにより、撮影装置４の周辺とさらに遠方の景観も同時に表現することができる。なお、地面と地物との境界線だけでなく、床面（地面）の任意の２地点を結んだ線を用いて上記の合成処理を行えば、床面の任意の２地点を結んだ線から天井に近い俯角までの景観を再現することができる。
【００５９】
経路記憶部９は、経路計算部８にて算出された撮影経路を示すデータを記憶する。撮影経路を示すデータは、ロボット１の移動に伴って撮影された画像間の方位の対応関係を示すデータで規定され、図１において、矢印で示すデータに相当する。ロボット１の移動に伴い時系列に撮影された画像間の方位の対応関係に基づいて、上述のように各変換画像を順に接続することで、撮影経路の映像を得ることができる。
【００６０】
なお、経路記憶部９に記憶する撮影経路データは、異なる時刻に撮影された全方位画像間で照合したり、他のロボットが撮影した全方位画像と照合することにより、同じ場所で得られたデータを利用可能な点で、ライフログとしての利用価値がある。
【００６１】
以上のように、この実施の形態１によれば、撮影点の全周囲の全方位画像を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置４による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎にピッチ角で規定される上下方向の画素値の周波数成分を算出し、ロボット１の移動に伴って撮影装置４に撮影された各全方位画像について周波数成分を基に方位を照合することにより、全方位画像間の相対方位を推定して、推定された全方位画像間の相対方位に基づいて、ロボット１の移動に伴う撮影装置４の撮影経路を算出する。
このように画素値の周波数成分で照合することにより、全方位画像中の景観の特徴量の認識が不要となり、照合対象の画像に映る景観画像に変化がある場合であっても、照合が可能である。また、周波数成分を用いることで、視差による誤差の影響を受けにくい。
このため、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から撮影経路を正確に算出できるという効果が得られる。
【００６２】
また、この実施の形態１によれば、画像照合部７が、撮影装置４によって連続した撮影点でそれぞれ撮影された一方の全方位画像における特徴領域の方位と、もう一方の全方位画像における当該特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、当該一定の方位をロボット１の進行方向と推定する。このようにすることで、未知空間内のランドマークや景観の特徴によらず、撮影された未知空間の画像から、ロボット１の進行方向を推定することができる。
【００６３】
さらに、この実施の形態１によれば、経路計算部８が、画像照合部７によって推定された全方位画像間の相対方位に相当する回転角度θの回転行列Ａと、全方位画像を地面平面の直交平面座標系へ射影した射影画像の中心点のロボット１の移動に伴う移動量を示す平行移動行列ｂとを、経路データとして算出し、連続した撮影点でそれぞれ撮影された全方位画像を地面平面の直交平面座標系へ射影した各射影画像を、経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、ロボット１の移動に伴う撮影装置４の撮影経路を表示する合成画像を得る。このようにすることで、ロボット１の自己位置の算出が必要なメトリック地図を作成せずに、撮影経路を表示する合成画像を得ることができる。
【００６４】
さらに、この実施の形態１によれば、経路計算部８が、全方位画像を地面平面の直交平面座標系へ射影した射影画像から直線エッジを抽出するとともに、抽出した直線エッジに対応する全方位画像上の直線を含む画像領域を、画像座標系の横軸が方位であり、画像座標系の縦軸が撮影装置４による撮影方向に対するピッチ角である画像に変換して当該射影画像の直線エッジ部分へ合成し、当該合成処理を施した各射影画像を、経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、ロボット１の移動に伴う撮影装置４の撮影経路を表示する合成画像を得る。このようにすることで、任意の２地点を結んだ線から例えば天井に近い俯角までの景観を再現することができる。
【符号の説明】
【００６５】
１ ロボット（移動体）、２ 移動台、３ ポール、４ 撮影装置、５ 撮影経路計算装置、６ 画像記憶部、７ 画像照合部、８ 経路計算部、９ 経路記憶部。
【特許請求の範囲】
【請求項１】
移動体に搭載した撮影装置によって当該移動体の移動に伴い撮影された撮影点の全周囲の全方位画像を記憶する画像記憶部と、
前記画像記憶部から読み出された前記全方位画像を、画像座標系の横軸が方位であり、前記画像座標系の縦軸が前記撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎に前記ピッチ角で規定される上下方向の画素値の周波数成分を算出し、前記移動体の移動に伴って前記撮影装置に撮影された各全方位画像について前記周波数成分を基に方位を照合することにより、前記全方位画像間の相対方位を推定する画像照合部と、
前記画像照合部によって推定された前記全方位画像間の相対方位に基づいて、前記移動体の移動に伴う前記撮影装置の撮影経路を算出する経路計算部とを備えた撮影経路計算装置。
【請求項２】
前記画像照合部は、前記撮影装置によって連続した撮影点でそれぞれ撮影された一方の全方位画像における特徴領域の方位と、もう一方の全方位画像における当該特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、当該一定の方位を前記移動体の進行方向と推定することを特徴とする請求項１記載の撮影経路計算装置。
【請求項３】
前記経路計算部は、
前記画像照合部によって推定された前記撮影装置によって連続した撮影点でそれぞれ撮影された全方位画像間の相対方位に相当する回転角度の回転行列と、前記全方位画像を地面平面の直交平面座標系へ射影した射影画像の中心点の前記移動体の移動に伴う移動量を示す平行移動行列とを、経路データとして算出し、
前記連続した撮影点でそれぞれ撮影された前記全方位画像を地面平面の直交平面座標系へ射影した各射影画像を、前記経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、前記移動体の移動に伴う前記撮影装置の撮影経路を表示する合成画像を得ることを特徴とする請求項１記載の撮影経路計算装置。
【請求項４】
前記経路計算部は、
前記射影画像から直線エッジを抽出するとともに、抽出した直線エッジに対応する前記全方位画像上の直線を含む画像領域を、画像座標系の横軸が方位であり、前記画像座標系の縦軸が前記撮影装置による撮影方向に対するピッチ角である画像に変換して、前記射影画像の前記直線エッジ部分へ合成し、
当該合成処理を施した各射影画像を、前記経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、前記移動体の移動に伴う前記撮影装置の撮影経路を表示する合成画像を得ることを特徴とする請求項３記載の撮影経路計算装置。
【請求項１】
移動体に搭載した撮影装置によって当該移動体の移動に伴い撮影された撮影点の全周囲の全方位画像を記憶する画像記憶部と、
前記画像記憶部から読み出された前記全方位画像を、画像座標系の横軸が方位であり、前記画像座標系の縦軸が前記撮影装置による撮影方向に対するピッチ角である画像に変換して、当該変換後の画像の一定の方位毎に前記ピッチ角で規定される上下方向の画素値の周波数成分を算出し、前記移動体の移動に伴って前記撮影装置に撮影された各全方位画像について前記周波数成分を基に方位を照合することにより、前記全方位画像間の相対方位を推定する画像照合部と、
前記画像照合部によって推定された前記全方位画像間の相対方位に基づいて、前記移動体の移動に伴う前記撮影装置の撮影経路を算出する経路計算部とを備えた撮影経路計算装置。
【請求項２】
前記画像照合部は、前記撮影装置によって連続した撮影点でそれぞれ撮影された一方の全方位画像における特徴領域の方位と、もう一方の全方位画像における当該特徴領域の方位とを比較し、当該特徴領域の像が一定の方位から遠ざかる場合、当該一定の方位を前記移動体の進行方向と推定することを特徴とする請求項１記載の撮影経路計算装置。
【請求項３】
前記経路計算部は、
前記画像照合部によって推定された前記撮影装置によって連続した撮影点でそれぞれ撮影された全方位画像間の相対方位に相当する回転角度の回転行列と、前記全方位画像を地面平面の直交平面座標系へ射影した射影画像の中心点の前記移動体の移動に伴う移動量を示す平行移動行列とを、経路データとして算出し、
前記連続した撮影点でそれぞれ撮影された前記全方位画像を地面平面の直交平面座標系へ射影した各射影画像を、前記経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、前記移動体の移動に伴う前記撮影装置の撮影経路を表示する合成画像を得ることを特徴とする請求項１記載の撮影経路計算装置。
【請求項４】
前記経路計算部は、
前記射影画像から直線エッジを抽出するとともに、抽出した直線エッジに対応する前記全方位画像上の直線を含む画像領域を、画像座標系の横軸が方位であり、前記画像座標系の縦軸が前記撮影装置による撮影方向に対するピッチ角である画像に変換して、前記射影画像の前記直線エッジ部分へ合成し、
当該合成処理を施した各射影画像を、前記経路データの回転行列及び平行移動行列を用いて座標変換して画像合成することによって、前記移動体の移動に伴う前記撮影装置の撮影経路を表示する合成画像を得ることを特徴とする請求項３記載の撮影経路計算装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１７４７９９（Ｐ２０１１−１７４７９９Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−３８７３８（Ｐ２０１０−３８７３８）
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]