説明

単画像の生成方法

【課題】写真の継ぎ目等における色調整を簡単かつ、正確に行うことのできる単画像生成方法の提供を目的とする。
【解決手段】複数枚の航空写真画像を、画像間で共通する共通点での色調の一致または近接一致を条件に画像間の色調整をして接続し、単画像を生成する単画像の生成方法であって、
前記色調整時の共通点として、画像間を接続する際に使用した接続点1を使用する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の航空写真を接合して単一の画像を生成する単画像の生成方法に関するものである。
【背景技術】
【0002】
例えば、カラー航空写真画像からオルソフォト画像を生成する方法としては、特許文献1に記載のものが知られている。この従来例において、複数の航空写真画像はデジタルステレオ図化機を使用して正射投影変換された後、各画像をモザイク処理してオルソフォト画像が生成される。
【0003】
モザイク処理時には、修正工程において位置ずれ、色調の調整等が行われ、出力される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−195032号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上述した従来例において、一旦生成したオルソフォト画像の色調等を改めて修正するには手間がかかり、さらに、境界部のみの色調整では全体の不自然さは解消できないという欠点がある。
【0006】
本発明は、以上の欠点を解消すべくなされたものであって、写真の継ぎ目等における色調整を簡単かつ、正確に行うことのできる単画像の生成方法の提供を目的とする。また、本発明の他の目的は、上記方法を利用したオルソフォト画像の生成方法の提供にある。
【課題を解決するための手段】
【0007】
本発明によれば上記目的は、
複数枚の航空写真画像を、画像間で共通する共通点での色調の一致または近接一致を条件に画像間の色調整をして接続し、単画像を生成する単画像の生成方法であって、
前記色調整時の共通点として、画像間を接続する際に使用した接続点1を使用する単画像の生成方法を提供することにより達成される。
【0008】
各航空写真画像間には、カメラのレンズの特性、撮影時の時間の変化による太陽光の分布特性、地形の傾斜による反射特性、大気による光の散乱特性等、種々の要因により色調のばらつきが発生し、これらを単に合成すると、境界部に境目が出たり、異質の画像を単に継ぎ合わせたような状態になって見栄えが悪くなるために、色調整が必要となる。
【0009】
色調整をそれぞれの要因に対して個別に解決するには、例えば、レンズの周辺減光のための画像フィルタリングによる補正、画像間の標準偏差、平均法等の統計手法による整合、大気補正のための放射伝達方程式の利用等の方法があるが、これらを総合的に考慮した色調補正は非常に困難であり、現実的でない。
【0010】
また、上述した従来例のように、色調整を画像の状態をみて個別に行なう場合には、統一的な調整が不可能な上に、調整効率も悪くなる。
【0011】
一方、例えば、オルソフォト画像を生成する場合を例にとれば、中心投影画像である複数枚のステレオペア画像の画素に地上座標を付与した後、数値地形モデルを使用した比高による画像のずれの補正、すなわち、各画素を正射投影位置に再配置することにより行われる。
【0012】
画像に地上座標を対応付けるには、画像撮影時のカメラ位置、カメラ姿勢等の所謂外部標定要素を知ることが必要であり、地上座標に対応付けられた外部標定要素の算定は、1つのコースの中に配置されてステレオモデル間を接続するパスポイント、あるいは、コース間を接続するタイポイントと呼ばれる接続点1を使用した空中三角測量計算処理により行われる。すなわち、空中三角測量においては、地上座標との関連が既知の地上基準点を利用してステレオモデルの構築に必要なパスポイント等の接続点1の地上座標が与えられ、画像撮影時におけるGPS/IMU出力値を外部標定要素として暫定使用する直接定位においては、調整計算として実行されて高精度な外部標定要素、あるいはパスポイント等の接続点1の地上座標が与えられる。
【0013】
本発明は、これら接続点1がステレオモデルの精度を高めるために、画像内に均一に配置されていることに注目してなされたもので、これら接続点1を色調整の共通点として使用することにより、画像全域に渡る自然な色調整が可能になる。
【0014】
また、上記接続点1を色調整の基準とすることにより、改めて調整基準点を検索する必要がなくなるために、効率的な調整操作が可能になる。
【0015】
さらに、写真画像に対する画素調整を空中三角測量計算に並行して実行すると、空中三角測量完了時に色調整情報を準備することが可能なるために、各ピクセルの正射影位置への再配置をしながら色調整も行うことが可能になるために、処理効率が向上する。
【発明の効果】
【0016】
本発明によれば、写真の継ぎ目等における色調整を簡単かつ、正確に行うことができる。
【図面の簡単な説明】
【0017】
【図1】本発明方法の手順を示すフローチャートである。
【図2】色調整の方法を示す説明図である。
【発明を実施するための形態】
【0018】
図1に本発明のオルソフォト画像生成方法を例にとって本発明の手順を示す。本実施の形態において、写真の外部標定要素の算定に当たっては、直接定位によるディジタル空中写真測量手法を使用する場合が示されるが、対空標識の設置を伴う従来型の空中三角測量を使用するディジタルマッピング手法を使用するものであってもよい。
【0019】
直接定位を可能にするために、航空写真画像はGPS/IMU(慣性計測装置)が搭載された航空機から撮影され(ステップS1)、直接定位計算によって、撮影時のGPS/IMUからの出力値から撮影時のカメラの位置、姿勢(外部標定要素)が地上座標に関連付けて特定される(ステップS2)。この直接定位は、ディジタルマッピング手法においては、必須ではないが、従来型の空中三角測量を採用する場合であっても、本工程による直接定位をステレオマッチングの際の初期値として使用することによってステレオペア画像上にエピポーラ線を正確に設定することができるために、画像相関に基づいてパスポイント、タイポイント(接続点1)を自動抽出する場合、ステレオマッチング率の向上に資することができる。
【0020】
GPS/IMU値のみを使用して求めた外部標定要素は、直接定位結果と地上座標系との結合、あるいはモデル間、コース間の調整がされていないために、高い精度を期待できないことから、同時調整が行われる(ステップS4)。
【0021】
同時調整は、上記直接定位により求めた外部標定要素と、航空写真画像間を連結するパスポイント、タイポイントをブロック調整により同時に調整することによりパスポイント、およびタイポイント等の接続点1に地上座標を付与する空中三角測量計算処理を内容とするもので、同時調整に先立って、まず、各航空写真画像の画素に座標を設定し(ステップS3)、次いで、画像相関に基づくパスポイント、タイポイントを自動抽出する(S41)。パスポイント等の自動抽出に際しては、上述したように、直接定位計算による結果を利用できる。
【0022】
以上のようにして求められたパスポイント、およびタイポイントに対しては、写真座標が付与され、さらに、色調整のための補正値演算工程が実行される。補正値演算工程に際し、まず、上記パスポイント等の色情報が取得され(ステップS42)、この後、色調整式のパラメータを算出する(S43)。
【0023】
図2に基づいて、色調整式のパラメータの算出方法を説明する。図2は60%の連続重複度と30%のコース間重複度で撮影された6枚の航空写真画像を示すもので、図2における横方向がコース方向を示す。 図2には、自動抽出された接続点1のうち、理解を容易にするために便宜上選択された接続点A、B、C、D、E、Fが示されており、接続点1毎に観察できる画像枚数が異なっている。すなわち、A点は、全ての画像(1〜6)に観測されており、これをA点(6枚:画像1、2、3、4、5、6)と表すと、他の点は、同様に、
B点(5枚:画像1、2、4、5、6)
C点(4枚:画像1、2、4、5)
D点(3枚:画像4、5、6)
E点(2枚:画像5、6)
F点(1枚:画像6)
の観測画像数を有している。
【0024】
これら接続点1の抽出に際し、画像上の座標と色情報が求められており、これらの座標値をxpij,ypij、色情報をRGB表記によりRij,Gij,Bijで表す。
【0025】
ただし、iは画像、jは点を示し、例えば、xp5Eは、画像5におけるE点のx座標値を示し、R5Eは、画像5におけるE点の赤階調数を示す。
【0026】
以上を前提に、全画像での色調の一致条件は、
各点の色をCijとすると、
ij=(Rij,Gij,Bij) ただしijは上述した例と同様に、画像上の点を示す
1A=C2A=C3A=C4A=C5A=C6A
1B=C2B=C4B=C5B=C6B
1C=C2C=C4C=C5C
・・・
・・・
5E=C6E
で与えられる。
【0027】
色調補正値は、上述した条件に対する統計的な充足解として与えられ、各画像に与えるRGB毎の色補正量をΔRi、ΔGi、ΔBiとすると、補正後の各点の色C’ijは、
C’ij=(Rij+ΔRi,Gij+ΔGi,Bij+ΔBi
で与えられる。
【0028】
いま、A点に関し、それぞれの画像1〜6のR、G、Bの補正量を加えると、補正後の色C’1A、C’2A、C’3A、C’4A、C’5A、C’6Aはそれぞれ、
C’1A=(R1A+ΔR1,G1A+ΔG1,B1A+ΔB1
C’2A=(R2A+ΔR2,G2A+ΔG2,B2A+ΔB2
C’3A=(R3A+ΔR3,G3A+ΔG3,B3A+ΔB3
C’4A=(R4A+ΔR4,G4A+ΔG4,B4A+ΔB4
C’5A=(R5A+ΔR5,G5A+ΔG5,B5A+ΔB5
C’6A=(R6A+ΔR6,G6A+ΔG6,B6A+ΔB6
で与えられ、以下、各点B、C、D、Eにおいても同様に定義できる。
【0029】
したがって、補正後の状態における色調一致の条件は、
C’1A=(R1A+ΔR1,G1A+ΔG1,B1A+ΔB1
=C’2A=(R2A+ΔR2,G2A+ΔG2,B2A+ΔB2
=C’3A=(R3A+ΔR3,G3A+ΔG3,B3A+ΔB3
=C’4A=(R4A+ΔR4,G4A+ΔG4,B4A+ΔB4
=C’5A=(R5A+ΔR5,G5A+ΔG5,B5A+ΔB5
=C’6A=(R6A+ΔR6,G6A+ΔG6,B6A+ΔB6
・・・
・・・
C’5E=(R5E+ΔR5,G5E+ΔG5,B5E+ΔB5
=C’6E=(R6E+ΔR6,G6E+ΔG6,B6E+ΔB6
で与えられる。
【0030】
なお、点Fは1画像上にしか存在しないので、色調一致の条件には使用されない。
【0031】
また、色が既知の点がある場合には、これを条件とすることが可能であり、例えば、F点が白の場合、
C’6F=(R6F+ΔR6,G6F+ΔG6,B6F+ΔB6
=(255,255,255)
となり、黒の場合、
C’6F=(0,0,0)となる。
【0032】
ここで、例えば、ΔRの補正を例に取ると、A点の色調一致条件から、
C’1A=(R1A+ΔR1
=C’2A=(R2A+ΔR2
=C’3A=(R3A+ΔR3
=C’4A=(R4A+ΔR4
=C’5A=(R5A+ΔR5
=C’6A=(R6A+ΔR6
というように、62=15通りの組み合わせが作られ、同様に、B点では52=10通り、C点では42=6通り、D点では32=3通り、E点では
C’5E=(R5E+ΔR5)=C’6E=(R6E+ΔR6)の1通りの組み合わせが作られる。
【0033】
もし、E点、F点の色が白色として既知である場合、
C’5E=(R5E+ΔR5)=C’6E=(R6E+ΔR6
=255
C’6F=(R6F+ΔR6)=255
となる。
【0034】
これらの全ての条件を満たすことのできる解、すなわち、ΔR1〜ΔR6は一般に存在しないため、それぞれの条件に誤差が存在することとし、この誤差の二乗和を最小にすることを条件としてΔR1〜ΔR6を決定する。
【0035】
すなわち、2枚の画像間に存在する誤差をvikj(ただし、kは2枚目の画像を示す)とすると、
12A=C’1A−C’2A=(R1A+ΔR1)−(R2A+ΔR2
・・・
・・・
56A=C’5A−C’6A=(R5A+ΔR5)−(R6A+ΔR6
56E=C’5E−C’6E=(R5E+ΔR5)−(R6E+ΔR6
となる。
【0036】
この方程式は、例えば、画像2と画像3の差は、画像1と画像2の差、および画像1と画像3の差と同意であるために、共通点の組み合わせの数−1通りの数だけ存在する。
【0037】
また、色が既知の場合(本例においては、E、F点が白色)、
5E=(R5E+ΔR5)−255=C’5E
6E=(R6E+ΔR6)−255=C’6E
6F=(R6F+ΔR6)−255=C’6F
となり、この方程式は、色が既知の点数分存在する。
【0038】
ここで、6個のパラメータai、bi、ci、di、ei、fiを導入し、ΔRをこれらのパラメータを媒介とする以下の多項式で表わす。
【0039】
ΔRi=ai+bi・xpij+ci・ypij+di・xpij・ypij+ei・xpij2+fi・ypij2
上記多項式により、誤差を、各画像毎のパラメータをa1〜a6、b1〜b6、c1〜c6、d1〜d6、e1〜e6、f1〜f6を使用して表示すると、
12A=(ΔR1−ΔR2)+(R1A−R2A
=(a1+b1・xpiA+ci・ypiA+di・xpiA・ypiA+ei・xpiA2+fi・ypiA2
−(a2+b2・xp2A+c2・yp2A+d2・xp2A・yp2A+e2・xp2A2+f2・yp2A2
+(R1A−R2A
・・・
・・・
56E
=(a5+b5・xp5E+c5・yp5E+d5・xp5E・yp5E+e5・xp5E2+f5・yp5E2
−(a6+b6・xp6E+c6・yp6E+d6・xp6E・yp6E+e6・xp6E2+f6・yp6E2
+(R5E−R6E
5E
=(a5+b5・xp5E+c5・yp5E+d5・xp5E・yp5E+e5・xp5E2+f5・yp5E2)+(R5E−255)
6E
=(a6+b6・xp6E+c6・yp6E+d6・xp6E・yp6E+e6・xp6E2+f6・yp6E2)+(R6E−255)
6F
=(a6+b6・xp6F+c6・yp6F+d6・xp6F・yp6F+e6・xp6F2+f6・yp6F2)+(R6F−255)
となる。
【0040】
これらを残差ベクトル(V)、係数の行列(A)、未知数のベクトル(X)、および定数項のベクトル(L)とする行列表示(V=AX−L)で表示すると、
【数1】

【0041】
となる。
【0042】
上記観測方程式から最小二乗法での二乗和を最小にし、Xを求める条件は、
TPV=min
ただし、Pは重量行列であり、全ての観測が独立同精度であれば単位行列となる。
【0043】
TPV=(AX−L)TP(AX−L)
=(XTT−LT)P(AX−L)
=XTTPAX−XTTPL−LTPAX+LTPL (1)
Xは上式(1)の極値を与えるので、
(式(1)のXによる偏微分)=0
を求めると、
TPAX=ATPL
となり、
X=(ATPA)-1TPL
が求められ、これにより、未知数ベクトルX(a1〜f6)の最適解が求められる。
【0044】
上述したように、R値への色補正量ΔRは、
ΔRi=ai+bi・xpij+ci・ypij+di・xpij・ypij+ei・xpij2+fi・ypij2
として求められるために、これに未知数ベクトルXを代入すると、画像iにおけるR値への色補正量が決定される。
【0045】
以上R値の色補正量を例示したが、G、B値に対しても同様の手順でΔGi、ΔBiを求め、補正値演算工程が終了する。
【0046】
この補正値演算工程に次いで、対応する画像のRGB補正値を画像全体に適用することによって画素調整工程(S44)が実行されて色調整が終了する。
【0047】
一方、同時調整において外部標定要素が決定されると(ステップS5)、周知のオルソフォト画像生成工程によって、まず、数値表層モデル(DSM)、およびの数値地形モデル(DTM)を生成した後(ステップS6)、画像を正射影変換して正射投影画像を作成する(ステップS7)。この後、モザイク処理ソフトウエアを使用して隣接する各正射投影画像を重ね合わせて結合し(ステップS8)、連続したオルソフォト画像が生成される(ステップS9)。
【0048】
上記色調整のうち、補正値演算工程は、同時調整工程に併行して実行することにより、処理時間の短縮をはかることが望ましいが、画素調整工程は、補正値演算工程に続けて実行すること以外に、正射影変換工程において、画素の再配置と同時に行うことも可能である。
【0049】
また、以上においては、全航空写真画像に対する一括処理を直ちに行う場合を示したが、この前に、画像ごとに別途、中心減光の補正を行ない、この後、上述した接続点1を利用した色調整を行うことができる。具体的には、レンズ中心と画像中心とがずれている場合、GPS/IMU出力による外部標定要素を使用してカメラ位置、カメラ姿勢を補正した状態での中心減光補正を行うことができる。
【0050】
なお、以上においては、オルソフォト画像の接合を例にとって本発明を説明したが、正射投影変換することなく複数の画像を単に接合して単画像を生成する場合にも本発明を適用することができる。
【符号の説明】
【0051】
1 接続点

【特許請求の範囲】
【請求項1】
複数枚の航空写真画像を、画像間で共通する共通点での色調の一致または近接一致を条件に画像間の色調整をして接続し、単画像を生成する単画像の生成方法であって、
前記色調整時の共通点として、画像間を接続する際に使用した接続点を使用する単画像の生成方法。
【請求項2】
複数枚の航空写真画像を、画像間で共通する共通点での色調の一致または近接一致を条件に画像間の色調整をして接続し、単画像を生成する単画像の生成方法であって、
前記色調整が、
前記画像結合処理において使用され、複数の航空写真画像に表示された同一の接続点での色調を近接一致させるために該接続点の画素に作用させる補正値を各航空写真画像ごとに求める補正値演算工程と、
前記補正値を各航空写真画像に加えて航空写真画像間の色調の調整を行なう画素調整工程と、
を含む単画像の生成方法。
【請求項3】
前記接続点が、直接定位撮影により得られた外部標定要素をもとに航空写真画像から自動抽出される請求項1または2記載の単画像の生成方法。
【請求項4】
前記色調整が、RGB要素ごとの補正値を航空写真画像の各画素に加算して行われる請求項1、2または3記載の単画像の生成方法。
【請求項5】
前記色調整に対する補正値は、各接続点における補正値に対して設定された誤差の二乗和が最小となる統計量として求められる請求項4記載の単画像の生成方法。
【請求項6】
前記単画像が前記航空写真画像を空中三角測量計算処理を経て正射投影変換されたオルソフォト画像であり、
前記色調整時の共通点として、空中三角測量計算処理において使用した接続点を使用する請求項1から5のいずれかに記載の単画像の生成方法。
【請求項7】
複数枚の航空写真画像を空中三角測量計算処理を経て正射投影変換するとともに、画像間で共通する共通点での色調の一致または近接一致を条件に画像間の色調整をしてオルソフォト画像を生成するオルソフォト画像の生成方法であって、
前記色調整が、
前記三角測量計算処理において使用され、複数の航空写真画像に表示された同一の接続点での色調を近接一致させるために該接続点の画素に作用させる補正値を各航空写真画像ごとに求める補正値演算工程と、
前記補正値を各航空写真画像に加えて航空写真画像間の色調の調整を行なう画素調整工程とを含み、
前記補正値演算工程が、空中三角測量計算処理における標定要素演算に併行して行なわれるオルソフォト画像の生成方法。

【図1】
image rotate

【図2】
image rotate


【公開番号】特開2011−204121(P2011−204121A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−72453(P2010−72453)
【出願日】平成22年3月26日(2010.3.26)
【出願人】(000135771)株式会社パスコ (102)
【Fターム(参考)】