光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム
【課題】本願発明の課題は、従来技術が抱える問題を解決するものであり、帯磁された磁場の存在に影響されることなく、しかも経費や設置スペースを軽減できる光軸方向特定方法、装置、及びそのプログラムを提供することにある。
【解決手段】本願発明の光軸方向特定方法は、主画像を取得する主画像取得工程と、参照画像を取得する参照画像取得工程と、参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、参照画像の中から主画像と照合する照合部分を抽出するとともに、照合部分の中から主画像の中心点を求める画像照合工程と、画像照合工程によって求められた主画像の中心点と、空間情報取得工程によって取得された参照用カメラの位置及び撮像方向に、基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、を備えた方法である。
【解決手段】本願発明の光軸方向特定方法は、主画像を取得する主画像取得工程と、参照画像を取得する参照画像取得工程と、参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、参照画像の中から主画像と照合する照合部分を抽出するとともに、照合部分の中から主画像の中心点を求める画像照合工程と、画像照合工程によって求められた主画像の中心点と、空間情報取得工程によって取得された参照用カメラの位置及び撮像方向に、基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、を備えた方法である。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、任意の方向で撮影した画像の撮像方向を特定するものであり、撮影者が静止している場合をはじめ、空中を移動する航空機、路上を移動する自動車、軌道上を移動する列車、海上を移動する船舶、といった移動体で移動しながら撮影する場合を含めるものである。より具体的には、広角で撮影した参照画像中に、高解像度で撮影した主画像と照合する照合部分を求めることによって、主画像の撮像方向を特定するものであり、すなわち撮影カメラの光軸方向を特定する方法、光軸方向を特定する装置、及び光軸方向を特定するプログラムに関するものである。
【背景技術】
【０００２】
通常、カメラで撮影する際にその方向を確認しながら行うことはあまりない。しかしながら、その画像がどの位置からどの方向に撮影されたものであるか判れば、その画像がどの場所を撮影したものかを特定できて好適である。そこで、昨今ではデジタルコンパスを搭載したデジタルカメラが利用されている。
【０００３】
電子コンパスは、内蔵の磁気センサで磁気の強さを検知し、検知した磁気強度を電気信号に変換して、その信号から方位を判断できるようにしたものである。電子コンパスには２軸タイプ，３軸タイプのものがあり、２軸タイプは２つの磁気センサを直角に組み合わせて前後方向と左右方向の磁気を検出できるものであり、一方、３軸タイプは２軸タイプに第３の磁気センサを加えて上下方向の磁気も検出できるものである。この電子コンパスは、現在では広く利用されており、例えば、前述のデジタルカメラをはじめ、携帯電話、レーザ距離計など多くのものに取り付けられている。
【０００４】
特許文献１は、移動しながら同一の対象物を撮影し、異なる撮影時におけるそれぞれの撮影位置と撮像方向から対象物の位置座標を演算処理して求めるものであり、撮影位置を計測するＧＰＳとカメラとの相対的配置に技術的特徴を有する技術である。この場合、カメラの撮像方向は方位センサが用いられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０３８８２２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
電子コンパスは、比較的容易に方位を計測できる反面、磁気を検出する性質上、磁気による影響を大きく受ける。例えば、局所的に強く帯磁された磁場が存在すると、これによる影響を受け、正しい計測値が得られないことがある。航空機や車両などは、その大部分が磁気金属で構成されているため、航空機内あるいは車両内で電子コンパスを使用すると、磁気の影響を受けて正確な方位計測が望めない結果となる。
【０００７】
また、特許文献１のように、カメラの撮像方向を計測するため方位センサを用意することは、その分コストがかかるうえに配置スペースや持ち運びなどの面でも問題があり、容易には採用し難い技術である。
【０００８】
本願発明の課題は、前記のような問題、すなわち磁気の影響による電子コンパスの計測精度の問題、あるいは別途方位センサを具備することに伴う問題、を解決するものであり、帯磁された磁場の存在に影響されることなく、しかも経費や設置スペースを軽減できる、光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本願発明の光軸方向特定方法は、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する方法であって、前記撮像用カメラは前記参照用カメラに比して高い解像度を具備し、前記参照用カメラは前記撮像用カメラに比して広角な撮像が可能であり、前記撮像用カメラによって前記主画像を取得する主画像取得工程と、前記参照用カメラによって前記参照画像を取得する参照画像取得工程と、前記参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合工程と、前記画像照合工程によって求められた主画像の中心点と、前記空間情報取得工程によって取得された参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、を備えた方法である。
【００１０】
本願発明の光軸方向特定方法は、前記参照用カメラが移動体に固定されるとともに、前記主画像は該移動体上で撮像用カメラによって取得され、前記主画像取得工程と前記参照画像取得工程と前記空間情報取得工程は、前記移動体の移動中に行われ、前記光軸方向特定工程では、前記画像照合工程によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向が特定される方法とすることもできる。
【００１１】
本願発明の光軸方向特定方法は、レーザ距離計の照射方向と前記撮像用カメラの光軸方向とを平行又は略平行としたうえで該レーザ距離計によって距離計測を行うレーザ測距工程を、備えた方法とすることもできる。
【００１２】
本願発明の光軸方向特定装置は、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する装置であって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラと、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラと、前記参照用カメラの位置を取得する位置計測手段と、前記参照用カメラの撮像方向を特定可能な姿勢情報を取得する方位計測手段と、前記参照用カメラによって取得された前記参照画像の中から、前記撮像用カメラによって取得された前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合手段と、前記画像照合手段によって求められた主画像の中心点と、前記位置計測手段によって取得された参照用カメラの位置と、前記方位計測手段によって取得された姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定手段と、を備えたものである。
【００１３】
本願発明の光軸方向特定装置は、前記参照用カメラが移動体に固定されるとともに、前記位置計測手段及び前記方位計測手段が該移動体に搭載され、前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、前記位置計測手段は前記移動体の移動中に前記参照用カメラの位置を取得可能であるとともに、前記方位計測手段は前記移動体の移動中に前記姿勢情報を取得可能であり、前記光軸方向特定手段は、前記画像照合手段によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定するものとすることもできる。
【００１４】
本願発明の光軸方向特定装置は、前レーザ距離計を備え、前記レーザ距離計は、前記撮像用カメラの光軸方向と平行又は略平行に、レーザを照射して、距離計測可能なものとすることもできる。
【００１５】
本願発明の光軸方向特定プログラムは、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定するプログラムであって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラで取得された前記主画像を読み込む機能と、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラで取得された前記参照画像を読み込む機能と、前記参照用カメラの位置情報を読み込む機能と、前記参照用カメラの撮像方向を特定可能な姿勢情報を読み込む機能と、前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合機能と、前記画像照合機能によって求められた主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置情報及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定機能と、を備えたものである。
【発明の効果】
【００１６】
本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムには、次のような効果がある。
（１）撮影位置や撮像方向（光軸方向）が特定できるので、同じような風景の写真（撮影画像）が撮影されたとしても、既存の地形データを併用することでそれぞれ撮影した場所を容易に特定することができる。
（２）撮像方向（光軸方向）を計測するための計器（電子コンパスや方位センサなど）を必要とせず、経済性に優れ、しかも装置が小型化するため手軽に持ち運びできる。
（３）電子コンパスを用いないので、航空機内など局所的に強く帯磁された磁場が存在しても、これに影響されることなく、精度よく撮像方向（光軸方向）を特定することができる。
（４）静止して撮影した場合に限らず、移動中に撮影した画像の撮像方向（光軸方向）も特定することができるので、極めて汎用的である。
（５）レーザ距離計と併用した場合、併せてレーザの照射方向も把握できるので、高価なＩＭＵを搭載する必要がなく、経済性に優れる。
【図面の簡単な説明】
【００１７】
【図１】本願発明の光軸方向特定装置によって崩壊地を撮像する状況を示した説明図。
【図２】本願発明の光軸方向特定装置の構成を示したモデル図。
【図３】（ａ）は参照用カメラで撮像した参照画像のモデル図、（ｂ）は撮像用カメラで撮像した主画像のモデル図。
【発明を実施するための形態】
【００１８】
本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムの実施形態の例を図に基づいて説明する。
【００１９】
（全体概要）
図１は、本願発明の光軸方向特定装置１によって崩壊地Ａを撮像する状況を示した説明図である。光軸方向特定装置１の構成要素である撮像用カメラ２によって画像を取得すると同時に参照用カメラ３でも画像を取得し、これらの画像を照合した結果と予め取得された参照用カメラ３の位置及び撮像方向に基づいて、撮像用カメラ２の撮像方向（光軸方向）を求めるものである。以下便宜上、撮像用カメラ２によって取得された画像を「主画像」、参照用カメラ３によって取得された画像を「参照画像」という。なお、図１では光軸方向特定装置１の構成要素のうち撮像用カメラ２と参照用カメラ３を図示しており、他の構成要素である位置計測手段、方位計測手段、画像照合手段、光軸方向特定手段はその図示を省略している。
【００２０】
図１では、航空機４に光軸方向特定装置１を搭載し、航空機４の移動中に主画像と参照画像を取得して撮像用カメラ２の光軸方向を特定している。このように、本願発明の光軸方向特定方法は移動しながら実施することもできるし、もちろん静止した状態でも実施することができる。また、図１に示した航空機４に限らず、路上を移動する自動車、軌道上を移動する列車、海上を移動する船舶といった移動体に光軸方向特定装置１を搭載して、本願発明を実施することもできる。
【００２１】
航空機４で移動している最中に撮像用カメラ２で崩壊地Ａを撮像すると、後でその取得画像（主画像）はどの場所を撮像したものなのか判断できないことがある。撮像する際に撮像用カメラ２の位置座標と撮像方向（光軸方向）を計測し、この計測結果を記録しておけば、どの場所で撮像したものか後で判断することができるものの、この場合でも多数の画像を取得したときには判断に困ることがある。本願発明によれば、撮像する際に光軸方向を計測せずに撮像用カメラ２の光軸方向の特定が可能で、図１の例では航空機４上で撮像した崩壊地Ａの場所を事後的に特定することができる。
【００２２】
本願発明では、撮像用カメラ２によって取得した主画像と、参照用カメラ３によって取得した参照画像とを照合することで撮像用カメラ２の光軸方向が特定するわけであるが、そのためには参照画像を取得した時の参照用カメラ３の位置と撮像方向（撮像姿勢）とを把握しておく必要がある。すなわち、参照用カメラ３の位置を取得するための位置計測手段と、参照用カメラの撮像方向を特定できる情報（姿勢情報）を取得するための方位計測手段とが必要である。
【００２３】
また、参照画像はできるだけ広い範囲を網羅的に写したものであることが望ましいので、参照用カメラ３としては画角の広い（広角に撮像できる）カメラを用いるのがよく、例えば魚眼レンズのカメラや全方位カメラを使用することができる。その反面、参照画像はあくまで照合のための画像であることから、参照用カメラ３には高い解像度（ｄｐｉ）は要求されず、撮像用カメラ２よりも低い解像度のものを利用することができる。なお、撮像用カメラ２、参照用カメラ３ともに、シャッターによって画像を取得するいわゆるカメラ形式のものに限らず、連続画像（ムービー）を取得するビデオ形式ものも使用できる。
【００２４】
なお、通常のカメラでは、撮像する方向と光軸方向はほぼ一致するため、撮像方向と光軸方向は同義の語として用いることができるが、広角撮像の可能なカメラや全方位カメラなどの場合、どの方向をもって撮像する方向とするかは難しい。ここでは、参照用カメラ３の場合は、取得した参照画像中で方向を特定するための基準線（例えば３６０°の撮影範囲であれば０°方向の線）を「撮像方向」ということとした。つまり、必ずしも撮像方向と光軸方向が一致しない場合がある（もちろん一致する場合もある）。一方、撮像用カメラ２の場合は、撮像する方向と光軸方向は概ね一致するので、「撮像方向」と「光軸方向」をほぼ同義で用いることができるが、参照用カメラ３の「撮像方向」との混同を避けるため「光軸方向」という語を使用することとした。
【００２５】
以下、要素ごとに詳述する。
【００２６】
（構成機器）
図２は、本願発明の光軸方向特定装置１の構成を示したモデル図である。この図に示すように光軸方向特定装置１は、撮像用カメラ２、参照用カメラ３、位置計測手段５、方位計測手段６、制御手段７を構成要素として備えている。
【００２７】
参照用カメラ３は、プラットフォーム８に固定されている。このプラットフォーム８は、光軸方向特定装置１を構成する機器のうち所定のものを固定できるものであり、図１の例でいえば航空機４である。参照用カメラ３をプラットフォーム８に固定することによって、プラットフォーム８に対する参照用カメラ３の相対的位置と、プラットフォーム８の向きと参照用カメラ３の撮像方向との関係を特定することができるので、プラットフォーム８の位置と姿勢を計測することで間接的に参照用カメラ３の位置と撮像方向を把握することができる。
【００２８】
例えば図１に示すように、プラットフォーム８である航空機４に参照用カメラ３を固定しておけば、航空機の移動に合わせて参照用カメラ３も移動し、航空機の姿勢に変化に応じて参照用カメラ３も姿勢が変化する。つまり、航空機４の位置を計測すれば参照用カメラ３の位置も計測したこととなり、航空機４の姿勢を計測すれば参照用カメラ３の姿勢（すなわち撮像方向）も計測したこととなる。なおここでいう航空機４の姿勢とは、航空機４の進行方向に対する左右方向をＸ軸、進行方向をＹ軸、航空機４の上下方向をＺ軸としたときに、Ｘ軸回りの回転角ピッチφ、Ｙ軸回りの回転角ロールω、Ｚ軸回りの回転角ヨーκの３要素から決定されるものである。
【００２９】
プラットフォーム８（航空機４）の位置、特に参照用カメラ３が固定された位置は、位置計測手段５によって取得する。この位置計測手段５として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用することができる。ＧＰＳは、複数の衛星からの信号を受信することによって位置を特定するシステムであり、自身（位置計測手段５）の位置を特定するとともに、計測した時刻も取得することができる。ＧＰＳは、数学座標系や世界測地系など通常利用される座標系における座標（あるいは緯度、経度、標高で表されるもの）を取得することができ、そのうえ比較的短い間隔で計測することも可能で、例えば１秒間に１回（１Ｈｚ）といった間隔で計測することができる。ＧＰＳには、単独測位法、ＲＴＫ−ＯＴＦ、ＤＧＰＳなどの方法があるが、これらのいずれを採用してもよい。位置計測手段５を単独測位ＧＰＳとした場合、図２に示すように位置計測手段５は、アンテナ部５ａとレシーバ部５ｂで構成される。アンテナ部５ａとレシーバ部５ｂは、プラットフォーム８（航空機４）に対して移動しないように、プラットフォーム８（航空機４）に固定されている。なお、参照用カメラ３の位置を特定しやすいように、参照用カメラ３が固定された位置付近にアンテナ部５ａを固定することが望ましい。
【００３０】
プラットフォーム８（航空機４）の姿勢情報は、プラットフォーム８に固定された方位計測手段６によって取得する。なお、ここでは便宜上「方位計測手段」という語を用いているが、いわゆる北を基準とする「方位」に限らず３方向の回転角を計測し得る手段を意味する（もちろん方位のみを計測する手段も含む）。航空機４のようにプラットフォーム８の姿勢が３次元的（ピッチφ、ロールω、ヨーκ）に変化する場合、方位計測手段６としてはＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの慣性計測装置が好適である。これによって、例えばレンズを下向き、かつ画角の基準となる撮像方向が飛行方向と一致するような向きに、参照用カメラ３を航空機４に固定すれば、ＩＭＵで航空機４の姿勢を計測することで参照用カメラ３の撮像方向を容易に特定することができる。
【００３１】
あるいは、自動車のようにプラットフォーム８がある程度水平姿勢にあることを前提できる場合には、方位計測手段６としてＧＰＳを利用することができる。具体的には、プラットフォーム８上にＧＰＳレシーバを２箇所設置し、この２点の座標を計測することで、プラットフォーム８の基線方向（例えば進行方向）を特定することができる。このプラットフォーム８の基線方向を特定できれば、プラットフォーム８に固定した参照用カメラ３の撮像方向も特定できるわけである。また、プラットフォーム８が移動体であれば、プラットフォーム８上に設置するＧＰＳレシーバは１箇所とし、移動中に２点以上計測すればプラットフォーム８の移動方向が特定できて、すなわちこれがプラットフォーム８の基線方向であり、その結果、参照用カメラ３の撮像方向も特定できる。このように方位計測手段６としてＧＰＳが利用できれば、高価なＩＭＵを必要とせず経費の面で好適となる。
【００３２】
参照用カメラ３がプラットフォーム８に固定されているのに対して、撮像用カメラ２はプラットフォーム８に固定する必要がない。これによって任意方向に撮像用カメラ２を向けることができるので、所望の方向で主画像を取得することができる。例えば図１の場合、航空機４内にいる撮影者が撮像用カメラ２を手持ちとすれば、撮像したい方向に自由に撮像用カメラ２を向けることができる。
【００３３】
制御手段７は、画像照合手段と光軸方向特定手段を具備している。具体的には、ＣＰＵ・ＲＡＭ・記憶装置からなる処理装置と、本願発明の光軸方向特定プログラムを格納するＲＯＭで構成されており、この光軸方向特定プログラムを実行することで画像照合手段と光軸方向特定手段が機能する。
【００３４】
光軸方向特定プログラムは、撮像用カメラ２で取得された主画像を読み込む機能、参照用カメラ３で取得された参照画像を読み込む機能、参照用カメラ３の座標（位置情報）を読み込む機能、参照用カメラの撮像方向（あるいはこれを特定できる姿勢情報）を読み込む機能、画像照合手段を機能させる画像照合機能、光軸方向特定手段を機能させる光軸方向特定機能、を備えている。図２に示すように、参照画像を読み込むために参照用カメラ３と制御手段７は接続されており、主画像を読み込むために撮像用カメラ２と制御手段７は接続されている。なお、主画像と参照画像を照合することで特定される撮像用カメラ２の撮像方向をはじめ、主画像や参照画像、種々の計測結果などを出力するための外部出力装置９（例えばモニタ）を、制御手段７に接続することもできる。
【００３５】
（画像の照合）
図３は、参照画像と主画像の照合方法を説明するためのモデル図であり、（ａ）は参照用カメラ３で撮像した参照画像のモデル図、（ｂ）は撮像用カメラ２で撮像した主画像のモデル図である。
【００３６】
図３（ａ）は、参照用カメラ３のレンズ位置がＯ１にあるときに崩壊地Ａを含む地形を取得した状況を示している。レンズを通して取得された地形は、ｃｃｄイメージセンサＣ１（いわゆるフィルム面）において画素単位で画像情報（例えばＲＧＢ値）として取得される。このとき、参照用カメラ３で撮像したタイミング（あるいは近傍のタイミング）で、位置計測手段６（例えばＧＰＳ）により参照用カメラ３の位置が取得され、方位計測手段６（例えばＩＭＵ）によりプラットフォーム８の姿勢つまり参照用カメラ３の撮像方向が取得される。参照用カメラ３の位置と撮像方向Ｌ１（以下、「参照用カメラ３の空間情報」という。）が特定できれば、参照用カメラ３の緒元（焦点距離や画角など）と合わせて、レンズ中心と撮像対象を結ぶ方向（以下、「視線方向」という。）を、画素単位で求めることができる。なお、参照画像と、参照用カメラ３の空間情報との関連付け（いわゆる紐付け）は、撮像時刻と計測時刻のように両者共通する情報を持って行うことができる。
【００３７】
図３（ｂ）は、撮像用カメラ２のレンズ位置がＯ２にあるときに崩壊地Ａを含む地形を取得した状況を示している。レンズを通して取得された地形は、ｃｃｄイメージセンサＣ２において画素単位で画像情報（例えばＲＧＢ値）として取得される。図３（ａ）と図３（ｂ）を比較するとわかるように、撮像用カメラ２は、参照用カメラ３よりも画角が小さく、参照用カメラ３よりも解像度（ｄｐｉ）が高い。これは、主画像と照合するため広い撮像範囲を必要とする参照用カメラ３に対して、撮像用カメラ２はその主画像を直接利用することから高い解像度が要求されるからである。
【００３８】
参照用カメラ３で崩壊地Ａを含む地形を撮像したときの画素の集合が、図３（ａ）に示す参照画像Ｇ１である。また、撮像用カメラ２で崩壊地Ａを含む地形を撮像したときの画素の集合が、図３（ｂ）に示す主画像Ｇ２である。この参照画像Ｇ１と主画像Ｇ２とを照らし合わせ、参照画像Ｇ１の中から主画像Ｇ２と照合する画素の集合（以下、「照合部分」という。）を抽出する。参照画像Ｇ１と主画像Ｇ２との照合は、従来から用いられているイメージマッチング（画像マッチング）によって行うことができる。
【００３９】
イメージマッチングの具体的手法として、テンプレートマッチングを挙げることができる。主画像Ｇ２のうちエッジ情報などから特徴部分（テンプレート）を切り出し、その特徴部分の画像情報を手掛かりとして、参照画像Ｇ１の中から最も近似する照合部分を抽出する。このとき、主画像Ｇ２と参照画像Ｇ１の解像度が極端に違う場合、両画像が照合し難いことがあるので、主画像Ｇ２のダウンサンプリング（複数の画素を一つにまとめる）を行うとよい。図３（ｂ）では、主画像Ｇ２のダウンサンプリングを行った結果、主画像Ｇ２’が得られている。なお、参照画像Ｇ１と主画像Ｇ２のテンプレートマッチングを行う場合、画像情報のレンジ中央値を用いる方法、画像情報のレンジ平均値を用いる方法、画像情報の最頻度値を用いる方法などがあげられ、これらいずれの方法も利用することができる。
【００４０】
テンプレートマッチングのほか、近年注目されているＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ
ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）特徴値によるマッチングを採用することもできる。ＳＩＦＴ特徴量とは、スケール（大きさ、移動、回転）に依存しない特徴量のことであり、そのため主画像Ｇ２のダウンサンプリングを行う必要がなく、主画像Ｇ２で直接照合させることができるので好適である。
【００４１】
（光軸方向特定）
図３に示す参照画像Ｇ１の中から主画像Ｇ２に相当する「照合部分」を抽出すると、さらにこの照合部分の中から主画像Ｇ２の中心点に相当する点を求める。具体的には、主画像Ｇ２の画素のうち中心点が存在する画素（以下、「中心画素」という。）を選出し、この中心画素の相当する画素（以下、「中心相当画素」という。）を照合部分の中から抽出する。
なおここでいう「中心点」とは、撮像用カメラ２の光軸が通過する点であり、主画像Ｇ２内に設定される点のことである。
【００４２】
照合部分中に中心相当画素が抽出できると、この中心相当画素における視線方向を撮像用カメラ２の光軸方向Ｌ２（図３（ｂ））とする。撮像用カメラ２と参照用カメラ３の位置は異なるので、厳密には、中心相当画素における視線方向と撮像用カメラ２の光軸方向Ｌ２は相違するが、撮像用カメラ２と撮像対象とが十分離れていれば、前記視線方向を撮像用カメラ２の光軸方向Ｌ２としても実用上問題はない。
【００４３】
参照用カメラ３の位置座標を撮像用カメラ２の位置座標とみなし、さらに、既存の地形データ（ＤＥＭなど）を利用すれば、撮像用カメラ２の位置座標と光軸方向Ｌ２から撮像場所を特定することができる。図１の例でいえば、撮影後に崩壊地Ａの位置を特定することができるし、リアルタイムで処理すれば航空機４で移動中に崩壊地Ａの位置を特定することもできる。
【００４４】
（レーザ距離計の併用）
撮像用カメラ２の光軸方向を特定できることを利用して、レーザ距離計を併用することができる。すなわち、レーザ距離計の照射方向が、撮像用カメラ２の光軸方向と略平行（平行含む）となるように、レーザ距離計で計測すればその照射方向は容易に特定できるわけである。従って、通常は必要となる、レーザ距離計のための姿勢計測装置（ＩＭＵなど）を使用する必要がない。特に、光軸方向特定装置１のプラットフォーム８が自動車のようにある程度水平姿勢にあることを前提できる場合には、前記したように方位計測手段６としてＩＭＵを用いる必要がないので、ＩＭＵを設置することなくレーザ距離計測が可能となり、経済的に極めて有利な効果を奏する。
【００４５】
（実施例１）
図１及び図２に基づいて、本願発明の第１の実施例について説明する。
（１）航空機４の所定位置に、参照用カメラ３、ＧＰＳ（位置計測手段５）のアンテナ部５ａとレシーバ部５ｂ、ＩＭＵ（方位計測手段６）をそれぞれ固定する。このとき、参照用カメラ３とアンテナ部５ａはできるだけ近い（平面的に近い）位置に固定する。また、参照用カメラ３の撮像方向と、航空機４の飛行方向との関係を把握しておく。
（２）さらに航空機４内に、外部出力装置９が接続された制御手段７を設置し、撮像用カメラ２を手持ちにした撮像者が乗り込む。
（３）航空機４による飛行中に、撮像用カメラ２で崩壊地Ａを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ３でも崩壊地Ａを含む参照画像を取得する。
（４）また飛行中は、自動的かつ定期的にＧＰＳで位置座標が計測されるとともに、ＩＭＵでも航空機４の姿勢が計測されている。
（５）崩壊地Ａを含む参照画像を取得した時刻（あるいは最も近い時刻）に計測された位置座標と航空機４の姿勢結果に基づいて、参照用カメラ３の位置と撮像方向を特定する。
（６）参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ２の光軸方向とする。
（７）このように特定された撮像用カメラ２の光軸方向や、主画像、参照画像が、航空機４の飛行中、外部出力装置９に出力される。
【００４６】
（実施例２）
次に、本願発明の第２の実施例について説明する。
（１）自動車の所定位置に、参照用カメラ３、ＧＰＳ（位置計測手段５）のアンテナ部５ａとレシーバ部５ｂ、これとは異なる位置に他のＧＰＳ（方位計測手段６）をそれぞれ固定する。このとき、参照用カメラ３とアンテナ部５ａはできるだけ近い（平面的に近い）位置に固定する。また、上記２点のＧＰＳレシーバは自動車の前進方向に並ぶように設置するとともに、参照用カメラ３の撮像方向と自動車の前進方向との関係を把握しておく。
（２）さらに自動車内に、外部出力装置９が接続された制御手段７を設置し、撮像用カメラ２を手持ちにした撮像者が乗り込む。
（３）自動車を停止させ、撮像用カメラ２で崩壊地Ａを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ３でも崩壊地Ａを含む参照画像を取得する。
（４）また参照用カメラ３での撮像中は、自動的かつ定期的にＧＰＳで位置座標（２点分）が計測される。２点のＧＰＳを計測することによって、自動車の前進方向を特定することができる。
（５）計測された位置座標（２点分）に基づいて、参照用カメラ３の位置と撮像方向を特定する。
（６）参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ２の光軸方向とする。
（７）このように特定された撮像用カメラ２の光軸方向や、主画像、参照画像が、外部出力装置９に出力される。
【産業上の利用可能性】
【００４７】
本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムは、移動体上から撮影した画像の撮影場所を特定するときに特に有効であり、斜面での崩壊や盛土の崩壊といった現地調査や、土地や家屋の調査、あるいは航空写真測量やレーザ計測などの計測作業、その他様々な分野で応用可能な発明である。
【符号の説明】
【００４８】
１ 光軸方向特定装置
２ 撮像用カメラ
３ 参照用カメラ
４ 航空機
５ 位置計測手段
５ａ （ＧＰＳの）アンテナ部
５ｂ （ＧＰＳの）レシーバ部
６ 方位計測手段
７ 制御手段
８ プラットフォーム
９ 外部出力装置
Ａ 崩壊地
Ｃ１ （参照用カメラの）ｃｃｄイメージセンサ
Ｃ２ （撮像用カメラの）ｃｃｄイメージセンサ
Ｇ１ 参照用画像
Ｇ２ 主画像
Ｇ２’（ダウンサンプリングを行った結果の）主画像
Ｌ１ （参照用カメラの）撮像方向
Ｌ２ （撮像用カメラの）光軸方向
Ｏ１ （参照用カメラの）レンズ位置
Ｏ２ （撮像用カメラの）レンズ位置
【技術分野】
【０００１】
本願発明は、任意の方向で撮影した画像の撮像方向を特定するものであり、撮影者が静止している場合をはじめ、空中を移動する航空機、路上を移動する自動車、軌道上を移動する列車、海上を移動する船舶、といった移動体で移動しながら撮影する場合を含めるものである。より具体的には、広角で撮影した参照画像中に、高解像度で撮影した主画像と照合する照合部分を求めることによって、主画像の撮像方向を特定するものであり、すなわち撮影カメラの光軸方向を特定する方法、光軸方向を特定する装置、及び光軸方向を特定するプログラムに関するものである。
【背景技術】
【０００２】
通常、カメラで撮影する際にその方向を確認しながら行うことはあまりない。しかしながら、その画像がどの位置からどの方向に撮影されたものであるか判れば、その画像がどの場所を撮影したものかを特定できて好適である。そこで、昨今ではデジタルコンパスを搭載したデジタルカメラが利用されている。
【０００３】
電子コンパスは、内蔵の磁気センサで磁気の強さを検知し、検知した磁気強度を電気信号に変換して、その信号から方位を判断できるようにしたものである。電子コンパスには２軸タイプ，３軸タイプのものがあり、２軸タイプは２つの磁気センサを直角に組み合わせて前後方向と左右方向の磁気を検出できるものであり、一方、３軸タイプは２軸タイプに第３の磁気センサを加えて上下方向の磁気も検出できるものである。この電子コンパスは、現在では広く利用されており、例えば、前述のデジタルカメラをはじめ、携帯電話、レーザ距離計など多くのものに取り付けられている。
【０００４】
特許文献１は、移動しながら同一の対象物を撮影し、異なる撮影時におけるそれぞれの撮影位置と撮像方向から対象物の位置座標を演算処理して求めるものであり、撮影位置を計測するＧＰＳとカメラとの相対的配置に技術的特徴を有する技術である。この場合、カメラの撮像方向は方位センサが用いられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０３８８２２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
電子コンパスは、比較的容易に方位を計測できる反面、磁気を検出する性質上、磁気による影響を大きく受ける。例えば、局所的に強く帯磁された磁場が存在すると、これによる影響を受け、正しい計測値が得られないことがある。航空機や車両などは、その大部分が磁気金属で構成されているため、航空機内あるいは車両内で電子コンパスを使用すると、磁気の影響を受けて正確な方位計測が望めない結果となる。
【０００７】
また、特許文献１のように、カメラの撮像方向を計測するため方位センサを用意することは、その分コストがかかるうえに配置スペースや持ち運びなどの面でも問題があり、容易には採用し難い技術である。
【０００８】
本願発明の課題は、前記のような問題、すなわち磁気の影響による電子コンパスの計測精度の問題、あるいは別途方位センサを具備することに伴う問題、を解決するものであり、帯磁された磁場の存在に影響されることなく、しかも経費や設置スペースを軽減できる、光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本願発明の光軸方向特定方法は、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する方法であって、前記撮像用カメラは前記参照用カメラに比して高い解像度を具備し、前記参照用カメラは前記撮像用カメラに比して広角な撮像が可能であり、前記撮像用カメラによって前記主画像を取得する主画像取得工程と、前記参照用カメラによって前記参照画像を取得する参照画像取得工程と、前記参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合工程と、前記画像照合工程によって求められた主画像の中心点と、前記空間情報取得工程によって取得された参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、を備えた方法である。
【００１０】
本願発明の光軸方向特定方法は、前記参照用カメラが移動体に固定されるとともに、前記主画像は該移動体上で撮像用カメラによって取得され、前記主画像取得工程と前記参照画像取得工程と前記空間情報取得工程は、前記移動体の移動中に行われ、前記光軸方向特定工程では、前記画像照合工程によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向が特定される方法とすることもできる。
【００１１】
本願発明の光軸方向特定方法は、レーザ距離計の照射方向と前記撮像用カメラの光軸方向とを平行又は略平行としたうえで該レーザ距離計によって距離計測を行うレーザ測距工程を、備えた方法とすることもできる。
【００１２】
本願発明の光軸方向特定装置は、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する装置であって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラと、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラと、前記参照用カメラの位置を取得する位置計測手段と、前記参照用カメラの撮像方向を特定可能な姿勢情報を取得する方位計測手段と、前記参照用カメラによって取得された前記参照画像の中から、前記撮像用カメラによって取得された前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合手段と、前記画像照合手段によって求められた主画像の中心点と、前記位置計測手段によって取得された参照用カメラの位置と、前記方位計測手段によって取得された姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定手段と、を備えたものである。
【００１３】
本願発明の光軸方向特定装置は、前記参照用カメラが移動体に固定されるとともに、前記位置計測手段及び前記方位計測手段が該移動体に搭載され、前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、前記位置計測手段は前記移動体の移動中に前記参照用カメラの位置を取得可能であるとともに、前記方位計測手段は前記移動体の移動中に前記姿勢情報を取得可能であり、前記光軸方向特定手段は、前記画像照合手段によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定するものとすることもできる。
【００１４】
本願発明の光軸方向特定装置は、前レーザ距離計を備え、前記レーザ距離計は、前記撮像用カメラの光軸方向と平行又は略平行に、レーザを照射して、距離計測可能なものとすることもできる。
【００１５】
本願発明の光軸方向特定プログラムは、撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定するプログラムであって、前記参照用カメラに比して高い解像度を具備する前記撮像用カメラで取得された前記主画像を読み込む機能と、前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラで取得された前記参照画像を読み込む機能と、前記参照用カメラの位置情報を読み込む機能と、前記参照用カメラの撮像方向を特定可能な姿勢情報を読み込む機能と、前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合機能と、前記画像照合機能によって求められた主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置情報及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定機能と、を備えたものである。
【発明の効果】
【００１６】
本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムには、次のような効果がある。
（１）撮影位置や撮像方向（光軸方向）が特定できるので、同じような風景の写真（撮影画像）が撮影されたとしても、既存の地形データを併用することでそれぞれ撮影した場所を容易に特定することができる。
（２）撮像方向（光軸方向）を計測するための計器（電子コンパスや方位センサなど）を必要とせず、経済性に優れ、しかも装置が小型化するため手軽に持ち運びできる。
（３）電子コンパスを用いないので、航空機内など局所的に強く帯磁された磁場が存在しても、これに影響されることなく、精度よく撮像方向（光軸方向）を特定することができる。
（４）静止して撮影した場合に限らず、移動中に撮影した画像の撮像方向（光軸方向）も特定することができるので、極めて汎用的である。
（５）レーザ距離計と併用した場合、併せてレーザの照射方向も把握できるので、高価なＩＭＵを搭載する必要がなく、経済性に優れる。
【図面の簡単な説明】
【００１７】
【図１】本願発明の光軸方向特定装置によって崩壊地を撮像する状況を示した説明図。
【図２】本願発明の光軸方向特定装置の構成を示したモデル図。
【図３】（ａ）は参照用カメラで撮像した参照画像のモデル図、（ｂ）は撮像用カメラで撮像した主画像のモデル図。
【発明を実施するための形態】
【００１８】
本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムの実施形態の例を図に基づいて説明する。
【００１９】
（全体概要）
図１は、本願発明の光軸方向特定装置１によって崩壊地Ａを撮像する状況を示した説明図である。光軸方向特定装置１の構成要素である撮像用カメラ２によって画像を取得すると同時に参照用カメラ３でも画像を取得し、これらの画像を照合した結果と予め取得された参照用カメラ３の位置及び撮像方向に基づいて、撮像用カメラ２の撮像方向（光軸方向）を求めるものである。以下便宜上、撮像用カメラ２によって取得された画像を「主画像」、参照用カメラ３によって取得された画像を「参照画像」という。なお、図１では光軸方向特定装置１の構成要素のうち撮像用カメラ２と参照用カメラ３を図示しており、他の構成要素である位置計測手段、方位計測手段、画像照合手段、光軸方向特定手段はその図示を省略している。
【００２０】
図１では、航空機４に光軸方向特定装置１を搭載し、航空機４の移動中に主画像と参照画像を取得して撮像用カメラ２の光軸方向を特定している。このように、本願発明の光軸方向特定方法は移動しながら実施することもできるし、もちろん静止した状態でも実施することができる。また、図１に示した航空機４に限らず、路上を移動する自動車、軌道上を移動する列車、海上を移動する船舶といった移動体に光軸方向特定装置１を搭載して、本願発明を実施することもできる。
【００２１】
航空機４で移動している最中に撮像用カメラ２で崩壊地Ａを撮像すると、後でその取得画像（主画像）はどの場所を撮像したものなのか判断できないことがある。撮像する際に撮像用カメラ２の位置座標と撮像方向（光軸方向）を計測し、この計測結果を記録しておけば、どの場所で撮像したものか後で判断することができるものの、この場合でも多数の画像を取得したときには判断に困ることがある。本願発明によれば、撮像する際に光軸方向を計測せずに撮像用カメラ２の光軸方向の特定が可能で、図１の例では航空機４上で撮像した崩壊地Ａの場所を事後的に特定することができる。
【００２２】
本願発明では、撮像用カメラ２によって取得した主画像と、参照用カメラ３によって取得した参照画像とを照合することで撮像用カメラ２の光軸方向が特定するわけであるが、そのためには参照画像を取得した時の参照用カメラ３の位置と撮像方向（撮像姿勢）とを把握しておく必要がある。すなわち、参照用カメラ３の位置を取得するための位置計測手段と、参照用カメラの撮像方向を特定できる情報（姿勢情報）を取得するための方位計測手段とが必要である。
【００２３】
また、参照画像はできるだけ広い範囲を網羅的に写したものであることが望ましいので、参照用カメラ３としては画角の広い（広角に撮像できる）カメラを用いるのがよく、例えば魚眼レンズのカメラや全方位カメラを使用することができる。その反面、参照画像はあくまで照合のための画像であることから、参照用カメラ３には高い解像度（ｄｐｉ）は要求されず、撮像用カメラ２よりも低い解像度のものを利用することができる。なお、撮像用カメラ２、参照用カメラ３ともに、シャッターによって画像を取得するいわゆるカメラ形式のものに限らず、連続画像（ムービー）を取得するビデオ形式ものも使用できる。
【００２４】
なお、通常のカメラでは、撮像する方向と光軸方向はほぼ一致するため、撮像方向と光軸方向は同義の語として用いることができるが、広角撮像の可能なカメラや全方位カメラなどの場合、どの方向をもって撮像する方向とするかは難しい。ここでは、参照用カメラ３の場合は、取得した参照画像中で方向を特定するための基準線（例えば３６０°の撮影範囲であれば０°方向の線）を「撮像方向」ということとした。つまり、必ずしも撮像方向と光軸方向が一致しない場合がある（もちろん一致する場合もある）。一方、撮像用カメラ２の場合は、撮像する方向と光軸方向は概ね一致するので、「撮像方向」と「光軸方向」をほぼ同義で用いることができるが、参照用カメラ３の「撮像方向」との混同を避けるため「光軸方向」という語を使用することとした。
【００２５】
以下、要素ごとに詳述する。
【００２６】
（構成機器）
図２は、本願発明の光軸方向特定装置１の構成を示したモデル図である。この図に示すように光軸方向特定装置１は、撮像用カメラ２、参照用カメラ３、位置計測手段５、方位計測手段６、制御手段７を構成要素として備えている。
【００２７】
参照用カメラ３は、プラットフォーム８に固定されている。このプラットフォーム８は、光軸方向特定装置１を構成する機器のうち所定のものを固定できるものであり、図１の例でいえば航空機４である。参照用カメラ３をプラットフォーム８に固定することによって、プラットフォーム８に対する参照用カメラ３の相対的位置と、プラットフォーム８の向きと参照用カメラ３の撮像方向との関係を特定することができるので、プラットフォーム８の位置と姿勢を計測することで間接的に参照用カメラ３の位置と撮像方向を把握することができる。
【００２８】
例えば図１に示すように、プラットフォーム８である航空機４に参照用カメラ３を固定しておけば、航空機の移動に合わせて参照用カメラ３も移動し、航空機の姿勢に変化に応じて参照用カメラ３も姿勢が変化する。つまり、航空機４の位置を計測すれば参照用カメラ３の位置も計測したこととなり、航空機４の姿勢を計測すれば参照用カメラ３の姿勢（すなわち撮像方向）も計測したこととなる。なおここでいう航空機４の姿勢とは、航空機４の進行方向に対する左右方向をＸ軸、進行方向をＹ軸、航空機４の上下方向をＺ軸としたときに、Ｘ軸回りの回転角ピッチφ、Ｙ軸回りの回転角ロールω、Ｚ軸回りの回転角ヨーκの３要素から決定されるものである。
【００２９】
プラットフォーム８（航空機４）の位置、特に参照用カメラ３が固定された位置は、位置計測手段５によって取得する。この位置計測手段５として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用することができる。ＧＰＳは、複数の衛星からの信号を受信することによって位置を特定するシステムであり、自身（位置計測手段５）の位置を特定するとともに、計測した時刻も取得することができる。ＧＰＳは、数学座標系や世界測地系など通常利用される座標系における座標（あるいは緯度、経度、標高で表されるもの）を取得することができ、そのうえ比較的短い間隔で計測することも可能で、例えば１秒間に１回（１Ｈｚ）といった間隔で計測することができる。ＧＰＳには、単独測位法、ＲＴＫ−ＯＴＦ、ＤＧＰＳなどの方法があるが、これらのいずれを採用してもよい。位置計測手段５を単独測位ＧＰＳとした場合、図２に示すように位置計測手段５は、アンテナ部５ａとレシーバ部５ｂで構成される。アンテナ部５ａとレシーバ部５ｂは、プラットフォーム８（航空機４）に対して移動しないように、プラットフォーム８（航空機４）に固定されている。なお、参照用カメラ３の位置を特定しやすいように、参照用カメラ３が固定された位置付近にアンテナ部５ａを固定することが望ましい。
【００３０】
プラットフォーム８（航空機４）の姿勢情報は、プラットフォーム８に固定された方位計測手段６によって取得する。なお、ここでは便宜上「方位計測手段」という語を用いているが、いわゆる北を基準とする「方位」に限らず３方向の回転角を計測し得る手段を意味する（もちろん方位のみを計測する手段も含む）。航空機４のようにプラットフォーム８の姿勢が３次元的（ピッチφ、ロールω、ヨーκ）に変化する場合、方位計測手段６としてはＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの慣性計測装置が好適である。これによって、例えばレンズを下向き、かつ画角の基準となる撮像方向が飛行方向と一致するような向きに、参照用カメラ３を航空機４に固定すれば、ＩＭＵで航空機４の姿勢を計測することで参照用カメラ３の撮像方向を容易に特定することができる。
【００３１】
あるいは、自動車のようにプラットフォーム８がある程度水平姿勢にあることを前提できる場合には、方位計測手段６としてＧＰＳを利用することができる。具体的には、プラットフォーム８上にＧＰＳレシーバを２箇所設置し、この２点の座標を計測することで、プラットフォーム８の基線方向（例えば進行方向）を特定することができる。このプラットフォーム８の基線方向を特定できれば、プラットフォーム８に固定した参照用カメラ３の撮像方向も特定できるわけである。また、プラットフォーム８が移動体であれば、プラットフォーム８上に設置するＧＰＳレシーバは１箇所とし、移動中に２点以上計測すればプラットフォーム８の移動方向が特定できて、すなわちこれがプラットフォーム８の基線方向であり、その結果、参照用カメラ３の撮像方向も特定できる。このように方位計測手段６としてＧＰＳが利用できれば、高価なＩＭＵを必要とせず経費の面で好適となる。
【００３２】
参照用カメラ３がプラットフォーム８に固定されているのに対して、撮像用カメラ２はプラットフォーム８に固定する必要がない。これによって任意方向に撮像用カメラ２を向けることができるので、所望の方向で主画像を取得することができる。例えば図１の場合、航空機４内にいる撮影者が撮像用カメラ２を手持ちとすれば、撮像したい方向に自由に撮像用カメラ２を向けることができる。
【００３３】
制御手段７は、画像照合手段と光軸方向特定手段を具備している。具体的には、ＣＰＵ・ＲＡＭ・記憶装置からなる処理装置と、本願発明の光軸方向特定プログラムを格納するＲＯＭで構成されており、この光軸方向特定プログラムを実行することで画像照合手段と光軸方向特定手段が機能する。
【００３４】
光軸方向特定プログラムは、撮像用カメラ２で取得された主画像を読み込む機能、参照用カメラ３で取得された参照画像を読み込む機能、参照用カメラ３の座標（位置情報）を読み込む機能、参照用カメラの撮像方向（あるいはこれを特定できる姿勢情報）を読み込む機能、画像照合手段を機能させる画像照合機能、光軸方向特定手段を機能させる光軸方向特定機能、を備えている。図２に示すように、参照画像を読み込むために参照用カメラ３と制御手段７は接続されており、主画像を読み込むために撮像用カメラ２と制御手段７は接続されている。なお、主画像と参照画像を照合することで特定される撮像用カメラ２の撮像方向をはじめ、主画像や参照画像、種々の計測結果などを出力するための外部出力装置９（例えばモニタ）を、制御手段７に接続することもできる。
【００３５】
（画像の照合）
図３は、参照画像と主画像の照合方法を説明するためのモデル図であり、（ａ）は参照用カメラ３で撮像した参照画像のモデル図、（ｂ）は撮像用カメラ２で撮像した主画像のモデル図である。
【００３６】
図３（ａ）は、参照用カメラ３のレンズ位置がＯ１にあるときに崩壊地Ａを含む地形を取得した状況を示している。レンズを通して取得された地形は、ｃｃｄイメージセンサＣ１（いわゆるフィルム面）において画素単位で画像情報（例えばＲＧＢ値）として取得される。このとき、参照用カメラ３で撮像したタイミング（あるいは近傍のタイミング）で、位置計測手段６（例えばＧＰＳ）により参照用カメラ３の位置が取得され、方位計測手段６（例えばＩＭＵ）によりプラットフォーム８の姿勢つまり参照用カメラ３の撮像方向が取得される。参照用カメラ３の位置と撮像方向Ｌ１（以下、「参照用カメラ３の空間情報」という。）が特定できれば、参照用カメラ３の緒元（焦点距離や画角など）と合わせて、レンズ中心と撮像対象を結ぶ方向（以下、「視線方向」という。）を、画素単位で求めることができる。なお、参照画像と、参照用カメラ３の空間情報との関連付け（いわゆる紐付け）は、撮像時刻と計測時刻のように両者共通する情報を持って行うことができる。
【００３７】
図３（ｂ）は、撮像用カメラ２のレンズ位置がＯ２にあるときに崩壊地Ａを含む地形を取得した状況を示している。レンズを通して取得された地形は、ｃｃｄイメージセンサＣ２において画素単位で画像情報（例えばＲＧＢ値）として取得される。図３（ａ）と図３（ｂ）を比較するとわかるように、撮像用カメラ２は、参照用カメラ３よりも画角が小さく、参照用カメラ３よりも解像度（ｄｐｉ）が高い。これは、主画像と照合するため広い撮像範囲を必要とする参照用カメラ３に対して、撮像用カメラ２はその主画像を直接利用することから高い解像度が要求されるからである。
【００３８】
参照用カメラ３で崩壊地Ａを含む地形を撮像したときの画素の集合が、図３（ａ）に示す参照画像Ｇ１である。また、撮像用カメラ２で崩壊地Ａを含む地形を撮像したときの画素の集合が、図３（ｂ）に示す主画像Ｇ２である。この参照画像Ｇ１と主画像Ｇ２とを照らし合わせ、参照画像Ｇ１の中から主画像Ｇ２と照合する画素の集合（以下、「照合部分」という。）を抽出する。参照画像Ｇ１と主画像Ｇ２との照合は、従来から用いられているイメージマッチング（画像マッチング）によって行うことができる。
【００３９】
イメージマッチングの具体的手法として、テンプレートマッチングを挙げることができる。主画像Ｇ２のうちエッジ情報などから特徴部分（テンプレート）を切り出し、その特徴部分の画像情報を手掛かりとして、参照画像Ｇ１の中から最も近似する照合部分を抽出する。このとき、主画像Ｇ２と参照画像Ｇ１の解像度が極端に違う場合、両画像が照合し難いことがあるので、主画像Ｇ２のダウンサンプリング（複数の画素を一つにまとめる）を行うとよい。図３（ｂ）では、主画像Ｇ２のダウンサンプリングを行った結果、主画像Ｇ２’が得られている。なお、参照画像Ｇ１と主画像Ｇ２のテンプレートマッチングを行う場合、画像情報のレンジ中央値を用いる方法、画像情報のレンジ平均値を用いる方法、画像情報の最頻度値を用いる方法などがあげられ、これらいずれの方法も利用することができる。
【００４０】
テンプレートマッチングのほか、近年注目されているＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ
ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）特徴値によるマッチングを採用することもできる。ＳＩＦＴ特徴量とは、スケール（大きさ、移動、回転）に依存しない特徴量のことであり、そのため主画像Ｇ２のダウンサンプリングを行う必要がなく、主画像Ｇ２で直接照合させることができるので好適である。
【００４１】
（光軸方向特定）
図３に示す参照画像Ｇ１の中から主画像Ｇ２に相当する「照合部分」を抽出すると、さらにこの照合部分の中から主画像Ｇ２の中心点に相当する点を求める。具体的には、主画像Ｇ２の画素のうち中心点が存在する画素（以下、「中心画素」という。）を選出し、この中心画素の相当する画素（以下、「中心相当画素」という。）を照合部分の中から抽出する。
なおここでいう「中心点」とは、撮像用カメラ２の光軸が通過する点であり、主画像Ｇ２内に設定される点のことである。
【００４２】
照合部分中に中心相当画素が抽出できると、この中心相当画素における視線方向を撮像用カメラ２の光軸方向Ｌ２（図３（ｂ））とする。撮像用カメラ２と参照用カメラ３の位置は異なるので、厳密には、中心相当画素における視線方向と撮像用カメラ２の光軸方向Ｌ２は相違するが、撮像用カメラ２と撮像対象とが十分離れていれば、前記視線方向を撮像用カメラ２の光軸方向Ｌ２としても実用上問題はない。
【００４３】
参照用カメラ３の位置座標を撮像用カメラ２の位置座標とみなし、さらに、既存の地形データ（ＤＥＭなど）を利用すれば、撮像用カメラ２の位置座標と光軸方向Ｌ２から撮像場所を特定することができる。図１の例でいえば、撮影後に崩壊地Ａの位置を特定することができるし、リアルタイムで処理すれば航空機４で移動中に崩壊地Ａの位置を特定することもできる。
【００４４】
（レーザ距離計の併用）
撮像用カメラ２の光軸方向を特定できることを利用して、レーザ距離計を併用することができる。すなわち、レーザ距離計の照射方向が、撮像用カメラ２の光軸方向と略平行（平行含む）となるように、レーザ距離計で計測すればその照射方向は容易に特定できるわけである。従って、通常は必要となる、レーザ距離計のための姿勢計測装置（ＩＭＵなど）を使用する必要がない。特に、光軸方向特定装置１のプラットフォーム８が自動車のようにある程度水平姿勢にあることを前提できる場合には、前記したように方位計測手段６としてＩＭＵを用いる必要がないので、ＩＭＵを設置することなくレーザ距離計測が可能となり、経済的に極めて有利な効果を奏する。
【００４５】
（実施例１）
図１及び図２に基づいて、本願発明の第１の実施例について説明する。
（１）航空機４の所定位置に、参照用カメラ３、ＧＰＳ（位置計測手段５）のアンテナ部５ａとレシーバ部５ｂ、ＩＭＵ（方位計測手段６）をそれぞれ固定する。このとき、参照用カメラ３とアンテナ部５ａはできるだけ近い（平面的に近い）位置に固定する。また、参照用カメラ３の撮像方向と、航空機４の飛行方向との関係を把握しておく。
（２）さらに航空機４内に、外部出力装置９が接続された制御手段７を設置し、撮像用カメラ２を手持ちにした撮像者が乗り込む。
（３）航空機４による飛行中に、撮像用カメラ２で崩壊地Ａを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ３でも崩壊地Ａを含む参照画像を取得する。
（４）また飛行中は、自動的かつ定期的にＧＰＳで位置座標が計測されるとともに、ＩＭＵでも航空機４の姿勢が計測されている。
（５）崩壊地Ａを含む参照画像を取得した時刻（あるいは最も近い時刻）に計測された位置座標と航空機４の姿勢結果に基づいて、参照用カメラ３の位置と撮像方向を特定する。
（６）参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ２の光軸方向とする。
（７）このように特定された撮像用カメラ２の光軸方向や、主画像、参照画像が、航空機４の飛行中、外部出力装置９に出力される。
【００４６】
（実施例２）
次に、本願発明の第２の実施例について説明する。
（１）自動車の所定位置に、参照用カメラ３、ＧＰＳ（位置計測手段５）のアンテナ部５ａとレシーバ部５ｂ、これとは異なる位置に他のＧＰＳ（方位計測手段６）をそれぞれ固定する。このとき、参照用カメラ３とアンテナ部５ａはできるだけ近い（平面的に近い）位置に固定する。また、上記２点のＧＰＳレシーバは自動車の前進方向に並ぶように設置するとともに、参照用カメラ３の撮像方向と自動車の前進方向との関係を把握しておく。
（２）さらに自動車内に、外部出力装置９が接続された制御手段７を設置し、撮像用カメラ２を手持ちにした撮像者が乗り込む。
（３）自動車を停止させ、撮像用カメラ２で崩壊地Ａを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ３でも崩壊地Ａを含む参照画像を取得する。
（４）また参照用カメラ３での撮像中は、自動的かつ定期的にＧＰＳで位置座標（２点分）が計測される。２点のＧＰＳを計測することによって、自動車の前進方向を特定することができる。
（５）計測された位置座標（２点分）に基づいて、参照用カメラ３の位置と撮像方向を特定する。
（６）参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ２の光軸方向とする。
（７）このように特定された撮像用カメラ２の光軸方向や、主画像、参照画像が、外部出力装置９に出力される。
【産業上の利用可能性】
【００４７】
本願発明の光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラムは、移動体上から撮影した画像の撮影場所を特定するときに特に有効であり、斜面での崩壊や盛土の崩壊といった現地調査や、土地や家屋の調査、あるいは航空写真測量やレーザ計測などの計測作業、その他様々な分野で応用可能な発明である。
【符号の説明】
【００４８】
１ 光軸方向特定装置
２ 撮像用カメラ
３ 参照用カメラ
４ 航空機
５ 位置計測手段
５ａ （ＧＰＳの）アンテナ部
５ｂ （ＧＰＳの）レシーバ部
６ 方位計測手段
７ 制御手段
８ プラットフォーム
９ 外部出力装置
Ａ 崩壊地
Ｃ１ （参照用カメラの）ｃｃｄイメージセンサ
Ｃ２ （撮像用カメラの）ｃｃｄイメージセンサ
Ｇ１ 参照用画像
Ｇ２ 主画像
Ｇ２’（ダウンサンプリングを行った結果の）主画像
Ｌ１ （参照用カメラの）撮像方向
Ｌ２ （撮像用カメラの）光軸方向
Ｏ１ （参照用カメラの）レンズ位置
Ｏ２ （撮像用カメラの）レンズ位置
【特許請求の範囲】
【請求項１】
撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する方法であって、
前記撮像用カメラは前記参照用カメラに比して高い解像度を具備し、前記参照用カメラは前記撮像用カメラに比して広角な撮像が可能であり、
前記撮像用カメラによって前記主画像を取得する主画像取得工程と、
前記参照用カメラによって前記参照画像を取得する参照画像取得工程と、
前記参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、
前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合工程と、
前記画像照合工程によって求められた主画像の中心点と、前記空間情報取得工程によって取得された参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、
を備えたことを特徴とする光軸方向特定方法。
【請求項２】
前記参照用カメラが移動体に固定されるとともに、前記主画像は該移動体上で撮像用カメラによって取得され、
前記主画像取得工程と前記参照画像取得工程と前記空間情報取得工程は、前記移動体の移動中に行われ、
前記光軸方向特定工程では、前記画像照合工程によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向が特定されることを特徴とする請求項１記載の光軸方向特定方法。
【請求項３】
レーザ距離計の照射方向と、前記撮像用カメラの光軸方向と、を平行又は略平行としたうえで、該レーザ距離計によって距離計測を行うレーザ測距工程を備えたことを特徴とする請求項１又は請求項２記載の光軸方向特定方法。
【請求項４】
撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する装置であって、
前記参照用カメラに比して高い解像度を具備する前記撮像用カメラと、
前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラと、
前記参照用カメラの位置を取得する位置計測手段と、
前記参照用カメラの撮像方向を特定可能な姿勢情報を取得する方位計測手段と、
前記参照用カメラによって取得された前記参照画像の中から、前記撮像用カメラによって取得された前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合手段と、
前記画像照合手段によって求められた主画像の中心点と、前記位置計測手段によって取得された参照用カメラの位置と、前記方位計測手段によって取得された姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定手段と、
を備えたことを特徴とする光軸方向特定装置。
【請求項５】
前記参照用カメラが移動体に固定されるとともに、前記位置計測手段及び前記方位計測手段が該移動体に搭載され、
前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、
前記位置計測手段は前記移動体の移動中に前記参照用カメラの位置を取得可能であるとともに、前記方位計測手段は前記移動体の移動中に前記姿勢情報を取得可能であり、
前記光軸方向特定手段は、前記画像照合手段によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定することを特徴とする請求項４記載の光軸方向特定装置。
【請求項６】
レーザ距離計を備え、
前記レーザ距離計は、前記撮像用カメラの光軸方向と平行又は略平行に、レーザを照射して、距離計測可能であることを特徴とする請求項４又は請求項５記載の光軸方向特定装置。
【請求項７】
撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定するプログラムであって、
前記参照用カメラに比して高い解像度を具備する前記撮像用カメラで取得された前記主画像を読み込む機能と、
前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラで取得された前記参照画像を読み込む機能と、
前記参照用カメラの位置情報を読み込む機能と、
前記参照用カメラの撮像方向を特定可能な姿勢情報を読み込む機能と、
前記参照画像の中から、前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合機能と、
前記画像照合機能によって求められた主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置情報及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定機能と、
を備えたことを特徴とする光軸方向特定プログラム。
【請求項１】
撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する方法であって、
前記撮像用カメラは前記参照用カメラに比して高い解像度を具備し、前記参照用カメラは前記撮像用カメラに比して広角な撮像が可能であり、
前記撮像用カメラによって前記主画像を取得する主画像取得工程と、
前記参照用カメラによって前記参照画像を取得する参照画像取得工程と、
前記参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、
前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合工程と、
前記画像照合工程によって求められた主画像の中心点と、前記空間情報取得工程によって取得された参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、
を備えたことを特徴とする光軸方向特定方法。
【請求項２】
前記参照用カメラが移動体に固定されるとともに、前記主画像は該移動体上で撮像用カメラによって取得され、
前記主画像取得工程と前記参照画像取得工程と前記空間情報取得工程は、前記移動体の移動中に行われ、
前記光軸方向特定工程では、前記画像照合工程によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向が特定されることを特徴とする請求項１記載の光軸方向特定方法。
【請求項３】
レーザ距離計の照射方向と、前記撮像用カメラの光軸方向と、を平行又は略平行としたうえで、該レーザ距離計によって距離計測を行うレーザ測距工程を備えたことを特徴とする請求項１又は請求項２記載の光軸方向特定方法。
【請求項４】
撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する装置であって、
前記参照用カメラに比して高い解像度を具備する前記撮像用カメラと、
前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラと、
前記参照用カメラの位置を取得する位置計測手段と、
前記参照用カメラの撮像方向を特定可能な姿勢情報を取得する方位計測手段と、
前記参照用カメラによって取得された前記参照画像の中から、前記撮像用カメラによって取得された前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合手段と、
前記画像照合手段によって求められた主画像の中心点と、前記位置計測手段によって取得された参照用カメラの位置と、前記方位計測手段によって取得された姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定手段と、
を備えたことを特徴とする光軸方向特定装置。
【請求項５】
前記参照用カメラが移動体に固定されるとともに、前記位置計測手段及び前記方位計測手段が該移動体に搭載され、
前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、
前記位置計測手段は前記移動体の移動中に前記参照用カメラの位置を取得可能であるとともに、前記方位計測手段は前記移動体の移動中に前記姿勢情報を取得可能であり、
前記光軸方向特定手段は、前記画像照合手段によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定することを特徴とする請求項４記載の光軸方向特定装置。
【請求項６】
レーザ距離計を備え、
前記レーザ距離計は、前記撮像用カメラの光軸方向と平行又は略平行に、レーザを照射して、距離計測可能であることを特徴とする請求項４又は請求項５記載の光軸方向特定装置。
【請求項７】
撮像用カメラによって取得した主画像と、参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定するプログラムであって、
前記参照用カメラに比して高い解像度を具備する前記撮像用カメラで取得された前記主画像を読み込む機能と、
前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラで取得された前記参照画像を読み込む機能と、
前記参照用カメラの位置情報を読み込む機能と、
前記参照用カメラの撮像方向を特定可能な姿勢情報を読み込む機能と、
前記参照画像の中から、前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合機能と、
前記画像照合機能によって求められた主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置情報及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定機能と、
を備えたことを特徴とする光軸方向特定プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−３０８５１（Ｐ２０１３−３０８５１Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６３７０９（Ｐ２０１１−１６３７０９）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（３９００２３２４９）国際航業株式会社 (55)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（３９００２３２４９）国際航業株式会社 (55)
【Ｆターム（参考）】
[ Back to top ]