説明

画像目標標定装置および画像目標標定方法

【課題】飛行動体に搭載した1台の撮像装置による撮影画像から、目標物の位置を飛行動体および撮像装置の位置、姿勢情報、および高度情報から標定する画像目標標定装置および標定方法を提供する。
【解決手段】飛行動体が撮影した画像、撮影画像サイズ、撮像装置の視野角、飛行動体および撮像装置の位置、姿勢角から画像中心ベクトルを算出し、画像中心ベクトルと位置を指定した目標物から目標物の方向ベクトルを算出し、方向ベクトルと高度情報による地形断面との交点を算出して目標物の位置を標定することにより、より精密な位置を提供する画像目標標定装置および標定方法を提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空中から地上目標物の位置を測定し決定する、画像目標標定装置および画像目標標定方法に関する。
【背景技術】
【0002】
従来、飛行動体が、空中から識別確認可能な地上目標物の位置測定を行う場合は、異なる2点からの撮影による視差を利用した視差測定方法を用い、また超音波等を利用した測距を用いていた。
【0003】
2点からの撮影による視差測定方法は、目標物を2台のカメラ等の撮像装置で撮影する必要があり撮像装置の実装コストが大きく、また地上目標物に焦点を合わせるための制御が難しいという問題があった。また超音波による測距は、超音波撮像装置の他に超音波発振装置等を飛行動体に実装する必要があるため、種々のハードウェア上の課題があった。
【0004】
一方、特許文献1に記載された目標位置標定装置では、航空機に搭載された赤外線撮像装置の二次元画像から対象目標の方位角および伏角を取得し、標高地図から地形断面図を編集し、対象目標に標定線を引いて地表との交点を求めるものが開示されている。しかしながら、上記装置では、撮影される二次元画像から対象目標を適切に標定する方法については特に言及されていない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−181059号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記従来技術では飛行動体へ搭載する装置が多く、それによる重量増加やコスト増加にも繋がっていた。また、対象目標の標定が難しい場合に、適切な解決策が得られていなかった。
【0007】
本発明の目的は、1台の撮像装置による撮影画像から、撮影された目標物の位置を飛行動体の位置、姿勢情報、および撮影領域のDEM(Digital Elevation Model:数値標高モデル)情報すなわち高度情報を用いて、より精密に測定し標定する画像目標標定装置および画像目標標定方法を提供することである。
【課題を解決するための手段】
【0008】
本発明は、撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と前記撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに、撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置において、地上制御装置は、位置情報及び姿勢情報と撮影画像情報に基づき、飛行動体から撮影画像中心への画像中心ベクトルと、飛行動体から位置指定された目標物への方向ベクトルを算出し、高度情報に基づく地形断面との衝突判定および目標物位置標定処理を行うことを特徴とする。
【0009】
また、飛行動体の位置情報及び姿勢情報は飛行動体位置と飛行動体姿勢角を有し、前記撮像装置の姿勢情報はカメラ姿勢角とカメラ視野角を有することを特徴とする。
【0010】
また、地上制御装置は、飛行動体及び撮像装置の情報を処理する動体情報処理手段と、撮像装置の撮影画像及び画像サイズを含む撮影画像情報を処理して画像中心ベクトルを算出する画像中心ベクトル算出手段と、撮影画像情報を処理して撮影画像の目標物位置を決定する撮影画像指定位置決定手段と、画像中心ベクトル算出手段と撮影画像指定位置決定手段から目標物方向ベクトルを算出する目標物方向ベクトル算出手段とを有することを特徴とする。
【0011】
また、地上制御装置は、算出された目標物の方向ベクトルから地形断面との衝突を判定して目標物位置を出力する衝突判定手段を有することを特徴とする。
【0012】
さらに、撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置を用いた画像目標標定方法において、飛行動体の位置情報及び姿勢情報と、撮像装置の姿勢情報と、前記撮像装置による撮影画像情報から、前記飛行動体から撮影画像の画像中心へ向かう画像中心ベクトルを算出し、撮影画像における目標物を位置指定し、画像中心ベクトルに基づいて前記飛行動体から位置指定された目標物への方向ベクトルを算出し、方向ベクトルと高度情報による地形断面との衝突判定を行い、目標物の位置を標定し出力することを特徴とする。
【発明の効果】
【0013】
本発明によれば、撮像装置を装着した飛行動体と、、前記飛行動体及び撮像装置の位置及び姿勢情報と撮影画像情報を受信するとともに、撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置において、地上制御装置は、飛行動体から撮影画像中心への画像中心ベクトルと、飛行動体から目標物への方向ベクトルを算出し、前記高度情報に基づく地形断面との衝突判定および目標物位置標定処理を行うことにより、撮影画像における任意の1点を指定しその位置を標定することにより、撮影された画像上の目標物の位置を、目標物の複雑な運動や短い表示時間等にかかわらず、容易かつ精密に標定することが可能である。そのため、飛行動体からリアルタイムに情報受信を行う高性能な画像目標標定装置および標定方法が実現可能となる。
【図面の簡単な説明】
【0014】
【図1】本発明における目標標定方法の基本概念を示すブロック図である。
【図2】本発明における目標標定方法の基本概念を示す模式図である。
【図3】本発明における地上制御装置の構成を示すブロック図である。
【図4】飛行動体の姿勢角を説明する模式図である。
【図5】飛行動体に装着した撮像装置の姿勢角を説明する模式図である。
【図6】撮像装置の姿勢角計算式に使用する姿勢角成分の説明図である。
【図7】撮像装置の視野角と撮影画像中心と目標物の関係を示す模式図である。
【図8】目標物の位置を指定し方向ベクトルを求める方法を示す模式図である。
【図9】方向ベクトルと地形断面図による目標物位置の標定方法を示す模式図である。
【発明を実施するための形態】
【0015】
次に、図1〜図9を参照して、本発明による画像目標標定装置および画像目標標定方法の実施形態を説明する。
【0016】
図1は本発明における目標標定方法のアルゴリズムを示すブロック図である。本実施形態は目標標定用の飛行動体101と地上制御装置102を有するシステムを備え、飛行動体101の飛行動体情報103(飛行動体位置、飛行動体姿勢角、カメラ姿勢角、カメラ視野角)、撮影画像情報106(撮影画像・サイズ情報)、地上制御装置102の指定位置情報104(撮影画像の目標物指定位置)、高度情報105を使用し、方向ベクトル算出処理107で方向ベクトルを求める。この方向ベクトルは図2に示すように、地上の目標物110と飛行動体101を直線で結んだ場合の、飛行動体から目標物に伸びる方向ベクトル109を指す。さらに、地上制御装置102で高度情報105により生成した地形断面と方向ベクトル109との衝突判定および目標物位置標定処理108を行い、目標物110の位置を標定する。
【0017】
図3は、地上制御装置102の詳細を示すブロック図である。図3において、地上制御装置102は、飛行動体情報103から必要な情報を抽出する動体情報処理手段500と、撮影画像情報106から画像中心ベクトルを算出する画像中心ベクトル算出手段501と、同じく撮影画像情報106に基づいて目標物位置を指定する撮影画像指定位置決定手段502と、画像中心ベクトル算出手段501および撮影画像指定位置決定手段502から最終的な目標物の方向ベクトルを算出する目標物方向ベクトル算出手段503とを有する。
【0018】
算出された方向ベクトルは高度情報処理手段で生成した地表断面との衝突を、衝突判定手段504で判定し、目標物位置が決定され出力される。
【0019】
図4は飛行動体201の飛行動体情報103における姿勢角を説明したものである。飛行動体201が真北に向かって水平飛行をしている場合を基準とし、飛行動体201の進行方向であるX軸の水平方向角度をヨー角203、X軸を中心とした回転角度をロール角204、飛行動体の進行方向と直交するY軸を中心とした回転角度をピッチ角205とする。
【0020】
図5は撮像装置であるカメラ202の姿勢角を説明したものである。カメラ202は飛行動体201の下部に水平面内で回動可能に搭載され、飛行動体201とカメラ202の位置は常に一致している。従って、方向ベクトルの射出位置とカメラによる撮影画像の計算開始位置は同じである。また、カメラ202は飛行動体201の鉛直方向真下であるZ軸方向を向いている場合を基準とし、飛行動体201の進行方向であるX軸を中心とした回転角度をカメラロール角206、進行方向と直交するY軸を中心とした回転角度をカメラピッチ角207とする。
【0021】
図6は図4、図5の角度を使用して画像中心ベクトルを求める、方向ベクトル算出処理107の一部を行列式成分で示した説明図である。方向ベクトルの初期方向成分を301とし、これからヨー角成分302、ピッチ角成分303、ロール角成分304、撮像装置ロール角成分305、撮像装置ピッチ角成分306の順に積算して、飛行動体201から撮影画像中心への画像中心ベクトルを算出する。上記の計算により得られる画像中心ベクトルは撮影画像の中心座標を仮の目標物として算出する。
【0022】
図7は図6で算出した画像中心ベクトル400を、撮影画像Pの中心Oから撮影画像指定位置決定手段502で決定した目標物T(位置指定点)へ移動させて方向ベクトルを得る計算処理手順についての模式図、図8は図7を拡大した模式図である。撮影画像Pにおいて、中心O401からカメラ202の視野角(縦方向サイズ402、横方向サイズ403)を投影して計算に用いる。ここで、前述の地上制御装置102において、撮影画像Pに現れた複雑な運動をする目標物、又は瞬間的に表示された様な目標物を、予め設定された条件に基づいて撮影画像指定位置決定手段502で自動的に抽出し、目標物Tとして設定する。このように決定された位置が図1に示す撮影画像指定位置104である。
【0023】
次に、撮影画像P内の目標物T(位置指定点)の画素が縦、横ともに何番目の画素であるかを撮影画像情報から取得し、最終的な目標物の方向ベクトル109を算出する。
【0024】
図9は上記計算処理手順で算出した方向ベクトル109を用いた、図1の衝突判定および目標物位置標定処理108の処理手順を示す模式図である。飛行動体101から仮想的に射出された方向ベクトル109を一定間隔(約10メートル程度)毎に地形断面と衝突するかを判定する。厳密には、111のように地形の高度を高度情報から取得した地形断面図を用いて方向ベクトル404のZ方向成分(鉛直方向成分)との比較を行い、最初に地形の高度情報が方向ベクトル109のZ方向成分と一致した地点を、目標物110の位置とする。
【0025】
このように、1枚の撮影画像情報および飛行動体の位置、姿勢角、撮像装置の姿勢角、視野角情報を取得することにより、高度情報と組み合わせて撮影画像に映った目標物の位置を正確に標定することができる。
【0026】
また、従来目標までの測距は主に超音波装置を用いて測るが、本発明では、目標物の位置と飛行動体の位置との三角関数から目標までの距離を割り出すことも可能である。
【符号の説明】
【0027】
101:飛行動体
102:地上制御装置
103:飛行動体情報
104:指定位置情報
105:高度情報
106:撮影画像
107:方向ベクトル算出処理
108:衝突判定および目標物位置標定処理
109:方向ベクトル
110:目標物
202:カメラ
500:動体情報処理手段
501:画像中心ベクトル算出手段
502:撮影画像指定位置決定手段
503:目標物方向ベクトル算出手段
504:衝突判定手段
505:高度情報処理手段
P:撮影画像
O:撮影画像の中心
T:撮影画像上の目標物(位置指定点)

【特許請求の範囲】
【請求項1】
撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と前記撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに、撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置において、
前記地上制御装置は、前記位置情報及び姿勢情報と前記撮影画像情報に基づき、飛行動体から撮影画像中心への画像中心ベクトルと、飛行動体から位置指定された目標物への方向ベクトルを算出し、前記高度情報に基づく地形断面との衝突判定および目標物位置標定処理を行うことを特徴とする画像目標標定装置。
【請求項2】
請求項1に記載された画像目標標定装置において、前記飛行動体の位置情報及び姿勢情報は飛行動体位置と飛行動体姿勢角を有し、前記撮像装置の姿勢情報はカメラ姿勢角とカメラ視野角を有することを特徴とする画像目標標定装置。
【請求項3】
請求項1又は2に記載された画像目標標定装置において、前記地上制御装置は、前記飛行動体及び撮像装置の情報を処理する動体情報処理手段と、前記撮像装置の撮影画像及び画像サイズを含む撮影画像情報を処理して前記画像中心ベクトルを算出する画像中心ベクトル算出手段と、前記撮影画像情報を処理して撮影画像の目標物位置を決定する撮影画像指定位置決定手段と、前記画像中心ベクトル算出手段と撮影画像指定位置決定手段から目標物方向ベクトルを算出する目標物方向ベクトル算出手段とを有することを特徴とする画像目標標定装置。
【請求項4】
請求項3に記載された画像目標標定装置において、前記地上制御装置は、算出された目標物の方向ベクトルから地形断面との衝突を判定して目標物位置を出力する衝突判定手段を有することを特徴とする画像目標標定装置。
【請求項5】
撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置を用いた画像目標標定方法において、
前記飛行動体の位置情報及び姿勢情報と、撮像装置の姿勢情報と、前記撮像装置による撮影画像情報から、前記飛行動体から撮影画像の画像中心へ向かう画像中心ベクトルを算出し、
撮影画像における目標物を位置指定し、
前記画像中心ベクトルに基づいて前記飛行動体から位置指定された目標物への方向ベクトルを算出し、
前記方向ベクトルと高度情報による地形断面との衝突判定を行い、
目標物の位置を標定し出力することを特徴とする画像目標標定方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−232131(P2011−232131A)
【公開日】平成23年11月17日(2011.11.17)
【国際特許分類】
【出願番号】特願2010−101796(P2010−101796)
【出願日】平成22年4月27日(2010.4.27)
【出願人】(000005108)株式会社日立製作所 (27,607)
【出願人】(000153443)株式会社日立情報制御ソリューションズ (359)