航空機搭載撮像装置および航空撮像データ処理装置
【課題】 対空標識を多数必要とせず、多数の基準点を基にした空中三角測量を可能とした航空機搭載撮像装置および航空撮像データ処理装置を提供する。
【解決手段】 ラインセンサ１０Ｂ、１０Ｎ、１０Ｆで取得した画像とジャイロ１１、ＩＮＳ装置１５、ＧＰＳ受信機１６から求めたカメラ１０の位置・姿勢情報を対にして記録手段１４１に記録させる航空機搭載撮像装置であって、取得した画像中から地表の特徴的模様、例えば道路区画線を画像処理部１３１により検出し、検出した白線の空間位置を求めてこれと記憶手段１４２内に格納されている情報を比較することで位置・姿勢判定部１３２は、カメラ１０の位置・姿勢情報を修正する。
【解決手段】 ラインセンサ１０Ｂ、１０Ｎ、１０Ｆで取得した画像とジャイロ１１、ＩＮＳ装置１５、ＧＰＳ受信機１６から求めたカメラ１０の位置・姿勢情報を対にして記録手段１４１に記録させる航空機搭載撮像装置であって、取得した画像中から地表の特徴的模様、例えば道路区画線を画像処理部１３１により検出し、検出した白線の空間位置を求めてこれと記憶手段１４２内に格納されている情報を比較することで位置・姿勢判定部１３２は、カメラ１０の位置・姿勢情報を修正する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、上空から地表画像を取得する航空機搭載撮像装置とその撮像データを処理する航空撮像データ処理装置に関し、特にラインセンサを用いて地表画像を取得するとともに取得時のカメラの位置・姿勢データを併せて取得する航空機搭載撮像装置および航空撮像データ処理装置に関する。
【０００２】
【従来の技術】地形の形状を測量する手法として、航空写真、衛星写真を利用する方法が知られている。こうした航空写真を撮影するシステムとして特許２８０７６２２号公報に開示されている航空機搭載撮像装置が知られている。
【０００３】この技術はスリーラインセンサカメラを利用してカメラの位置・姿勢データとともに、連続的に撮影した地表の画像データをデジタルデータとして記憶することで後からソフトウェアによる詳細な補正等を可能としたものである。こうして取得したデータを基にして三角測量の原理により地表物の空間位置を求めることができる。
【０００４】
【発明が解決しようとする課題】ところで、カメラの位置・姿勢データのわずかな誤差が地表物の空間位置の大きなずれの要因となることから、正確な測量を行うためには、地上に基準点を設置し、その空間位置と取得したデータを基に演算した位置との偏差により補正を行う（空中三角測量と呼ぶ）必要がある。測量精度を上げるには基準点を多数設置することが好ましい。しかし、通常、基準点として用いられる対空標識の設置には地権者の許可も必要とし、設置・管理に手間がかかり、実用上は多数設置することは困難である。
【０００５】そこで、本発明は対空標識を多数必要とせず、多数の基準点を基にした空中三角測量を可能とした航空機搭載撮像装置および航空撮像データ処理装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】上記課題を解決するため、本発明に係る航空機搭載撮像装置は、航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置において、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、検出手段で検出された地表の特徴的模様の位置を記憶手段に記憶されている位置情報と照合し、照合結果に応じてカメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、をさらに備えていることを特徴とする。
【０００７】一方、本発明に係る航空撮像データ処理装置は、航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置によって取得されたデジタルデータを処理する航空撮像データ処理装置であって、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、検出手段で検出された地表の特徴的模様の位置を前記記憶手段に記憶されている位置情報と照合し、照合結果に応じてカメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、を備えていることを特徴とする。
【０００８】本発明によれば、基準点として対空標識を多数設置せずとも、地表における特徴的模様、例えば、道路の区画線、駐車区画、道路標示等を基準点として用いて空中三角測量を行うことにより、測量精度が向上する。ここで姿勢・位置情報の補正とは、姿勢・位置データを修正する場合に限らず、カメラの姿勢をコントロールする場合や、補正データを別途作成し、測量のためのデータ処理時に測量結果の補正用に使用する場合を含む。
【０００９】この姿勢・位置情報補正手段は、照合結果のずれが大きい場合には、姿勢・位置情報の補正を行わないことが好ましい。対空標識を基準点として用いる場合と異なり、地表における特徴的模様を基準点として用いる場合には、建設・土木工事等により特徴的模様の位置が変動したり、あるいは、路上の自動車等の障害物の存在により特徴的模様が覆われて、カメラから認知できない場合がある。このような場合には照合結果のずれが大きくなり、姿勢・位置情報の補正を行うとむしろ測量精度が悪化するおそれがあるので、補正を行わないことが好ましい。
【００１０】記憶手段に記憶される地表の特徴的模様のパターン・位置情報を書き換える入力手段をさらに備えていてもよい。これにより、パターン・位置情報の追加、更新が容易になる。
【００１１】検出手段で検出された地表の特徴的模様のパターン・位置情報に基づいて記憶手段に格納されているパターン・位置情報を更新する位置情報更新手段をさらに備えていてもよい。これにより、パターン・位置情報の追加、更新が容易になる。また、検出手段で検出した特徴的模様であるから、検出可能性も高い。
【００１２】
【発明の実施の形態】以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１３】図１は、本発明に係る航空機搭載撮像装置１の構成を説明する図である。この装置１は、図１（ａ）に示されるように、航空機等の飛翔体３の下部に取り付けられ、飛翔体３の飛行中に上空から地表の画像を取得するものである。飛翔体３は、図に示される固定翼機に限られるものではなく、ヘリコプター等の回転翼機や飛行船、気球等を含むものとする。
【００１４】図１（ｂ）は、撮像装置１の構成を示す図である。図では、飛翔体３の通常の進行方向を左向きとして示している。ここで、撮像部（カメラ）１０は、多数の画素を一次元に配列して構成されたラインセンサ１０Ｂ、１０Ｆ、１０Ｎを飛翔体３の通常の進行方向に対して直交させる形で平行に配列し、かつ、それぞれの視線がクロスするように配置している。この結果、ラインセンサ１０Ｆは飛翔体３の前寄りの下方を、ラインセンサ１０Ｎは飛翔体３の直下の、ラインセンサ１０Ｂは飛翔体３の後ろ寄り下方の画像をそれぞれ取得することになる。
【００１５】カメラ１０はカメラ１０の姿勢（向き）を検出するジャイロ１１とともにその姿勢変動を抑制するスタビライザ１２内に配置されている。また、飛翔体３の位置、ひいてはカメラ１０の位置を検出するため、慣性航法（ＩＮＳ：Inertial Navigation System）装置１５と、ＧＰＳ（Global Positioning System）衛星かからの信号を受信するアンテナ１７とこれに接続されたＧＰＳ受信機１６とが装備されている。撮像装置１全体を制御する制御装置１３には、カメラ１０で取得した画像について所定の画像処理を行う画像処理部１３１と、ＩＮＳ装置１５とＧＰＳ受信機１６、ジャイロ１１の出力を基にしてカメラの位置・姿勢を判定する位置・姿勢判定部１３２と、カメラの姿勢制御を行う姿勢制御部１３３、カメラの位置・姿勢と取得した１次元画像群を対応づけて記録データを生成する記録データ作成部１３４とを含む。記録装置１４には、記録データ作成部１３４で作成したデータを記録するための記録手段１４１と、画像処理部１３１が利用する所定のデータを格納している記憶手段１４２とを有している。ここで、記録手段１４１と、記憶手段１４２とは同一の記録装置（例えばハードディスク）であってもよい。なお、記録手段１４１、記憶手段１４２は記憶媒体が装置から着脱可能な光磁気ディスク等であってもよい。また、記録手段１４１は書き込み可能な記録媒体である必要があるが、記憶手段１４２は必ずしも書き込み消去可能な記録媒体である必要はなく、読み取り専用の記録媒体、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等であってもよい。
【００１６】図２は地表の対象物４をカメラ１０で上空から撮像したときのカメラ１０と対象物４との位置関係を説明する図である。対象物４の任意の点Ｐは、カメラ１０の３つのラインセンサ１０Ｆ、Ｂ、Ｎで同時にその像が取得されるわけでなく、飛翔体３（図２では省略）が図の右側から左側に向かって移動しているとすると、まず、飛翔体３が対象物４の上空に近づいてきたがまだ直上には達していない段階で、前向きに配置されているラインセンサ１０Ｆが点Ｐの画像を取得する。そして、飛翔体３が対象物４の直上に達した時点で、下向きに配置されているラインセンサ１０Ｎが点Ｐの画像を取得する。そして、飛翔体３が対象物４の上空を通過して、離れていく段階で、後ろ向きに配置されているラインセンサ１０Ｂが点Ｐの画像を取得することになる。
【００１７】図３はこのようにして取得した画像群から被写体の空間位置情報を算出する原理を説明する図である。ここで、座標系としては地上座標系を用い、被写体Ｐの空間位置を座標（Ｘ，Ｙ，Ｚ）で表す。各ラインセンサ１０Ｂ、Ｎ、Ｆで取得した画像中の被写体位置、つまり像点をｐB（ＸPB，ＹPB，ＺPB）、ｐN（ＸPN，ＹPN，ＺPN）、ｐF（ＸPF，ＹPF，ＺPF）とする。また、このときの各ラインセンサ１０Ｂ、Ｎ、Ｆの投影中心をそれぞれＯB（ＸOB，ＹOB，ＺOB）、ＯN（ＸON，ＹON，ＺON）、ＯF（ＸOF，ＹOF，ＺOF）とする。ここで、図３に示されるように、被写体Ｐと像点ｐ、投影中心Ｏは一直線上に並ぶから、次式が成立する。
【数１】
ここで、ラインセンサ１０Ｂ、Ｎ、Ｆの投影中心ＯB、ＯN、ＯFと像点ｐB、ｐN、ｐFの空間座標位置はカメラの姿勢・位置情報から既知であるから対応する投影中心と像点を結ぶ直線を延長して交差する点が被写体Ｐの位置である。実際の計算では測定誤差等により３本の直線が交差しないことがありうる。その場合には、例えば最小２乗法を用いてこれら３本の直線との距離が最も小さい点を被写体の位置Ｐとすればよい。
【００１８】ところが、カメラの位置・姿勢情報には誤差が存在することから、このようにして求めた被写体の位置Ｐ（以下、計算で求めた位置をＰｃで表す）は、本来の対象物の位置Ｐからずれてしまう。図４はこのずれを説明する図である。対象物４の頂部の被写体となる点Ｐの像は、実際にはｐf、ｐn位置で取得される。しかし、この時のカメラの位置・姿勢情報に誤差があり、像点の位置はｐn’、ｐf’であると誤り、視線方向も実際とは異なる方向として空間位置Ｐｃを求めた場合、Ｐｃは本来の位置Ｐからずれる。特に飛翔体３の高度を高くとると、カメラの姿勢のずれ（つまり視線方向のずれ）は、カメラの位置のずれに比して算出される位置情報のずれに大きく影響する。
【００１９】このような位置情報のずれ、つまり誤差を軽減して高精度の測量を行うため、空間位置情報が予め既知である基準点を複数個配置し、計算により求めた空間位置Ｐｃと既知の空間位置Ｐとの偏差を基にして、誤差修正を行うのが空中三角測量と呼ばれている手法である。
【００２０】本発明は、地表の特徴的模様を空中三角測量の基準点として用いるものであり、以下にその具体的な動作について説明する。図５はその処理を示すフローチャートである。ここでは、図６に示されるような道路上の車線区画線、いわゆる白線を検出する場合を例に説明する。
【００２１】車道中央線、車線境界線、車道外側線、横断歩道等の道路白線（区画線）の様式については、「道路標識、区画線及び道路標示に関する命令」（昭和35年12月17日、総理府・建設省令第３号）の第６条および別表第４に定めがある。図６はその一例を示したものであり、４車線（片側２車線）の道路である。ここで、車道中央線５１は、幅Ｗ1が０．１５〜０．２０ｍの実線、車線境界線５２は、幅Ｗ2が幅０．１０〜０．１５ｍ、線の長さｌ1が３〜１０ｍ、で線同士の間隔ｌ2がｌ1の１０〜２０倍の破線であり、車道外側線５３は、幅Ｗ3が０．１５〜０．１０ｍの実線である。すなわち、車線境界線５２は通常幅Ｗ2、長さｌ1の矩形である。一方、２車線の道路の場合には、車道中央線５１が破線となる（この場合、ｌ1＝ｌ2である）。なお、車線境界線５２が破線でなく、実線の場合もある。
【００２２】この空中三角測量処理は、ラインセンサカメラ１０（実際には、ラインセンサ１０Ｂ、１０Ｎ、１０Ｆのそれぞれ）で取得した画像群を取得している際に、制御装置１３内で平行して行われるものである。ここで、位置・姿勢判定部１３２は、ジャイロ装置１１、ＩＮＳ装置１５、ＧＰＳ受信機１６の出力信号を基にしてカメラの姿勢・位置情報を作成し、記録データ作成部１３４がこの姿勢・位置情報とラインセンサカメラ１０で取得した画像群とを対にして記録手段１４１に順次記録している。
【００２３】まずステップＳ１では、画像処理部１３１が、記録手段１４１に記録されているライン画像群からパターン認識によって車線境界線５２あるいは車道中央線５１を構成する矩形を検出する。画像処理部１３１は、次にステップＳ２で検出した矩形同士を対応づけてその空間位置を図３に示した三角測量の技法から算出する。
【００２４】画像処理部１３１は、続くステップＳ３では、記憶手段１４２内に求めた矩形部に該当する白線の空間位置情報が格納されているか否か、つまり記憶済みであるか否かを判定する。白線情報が存在しない場合には、ステップＳ７へと移行して、制御装置１３は、検出した白線位置情報を記憶手段１４２内に格納することで白線位置情報の更新を行い、処理を終了する。
【００２５】白線位置情報が存在する場合には、ステップＳ４へと移行して、画像処理部１３１は格納されている白線の空間位置情報と算出した空間位置との位置とを比較する。この位置ずれが閾値より大きい場合には、白線位置そのものが変更された可能性もあると判定し、白線位置によるカメラの姿勢・位置情報の較正を行わずにそのまま処理を終了する。
【００２６】一方、位置ずれが閾値以下であった場合には、ステップＳ５へと移行して位置・姿勢判定部１３２がこの位置ずれが最小となるようカメラの姿勢・位置情報を更新する。そして、必要ならば姿勢制御部１３３に指示して、スタビライザ１２によってカメラの姿勢を制御する。
【００２７】このように地表に多数存在する白線を基準点として用いることで、対空標識を多数用いることなく多数の基準点を用いた空中三角測量を行うことができ、測量精度を向上させることができる。
【００２８】以上の説明では、パターン認識によって画像中から白線を検出する例について説明してきたが、記憶手段１４２に格納されている白線の空間位置情報と、カメラの姿勢・位置情報から白線が撮像される画素位置を予想し、その近傍からパターンを探索するようにすれば、認識精度をさらに向上させることができ、好ましい。
【００２９】また、本発明にいう特徴的模様とは、上述した白線の認識に限るものではなく、道路に描かれたＵターン禁止、駐停車禁止、速度制限、通行区分等の道路標示や駐車場等の駐車区画線、ビル屋上のヘリポートの表示等を含むものとする。
【００３０】以上の説明では、航空機搭載撮像装置において処理を行う例を説明してきたが、撮像装置で取得したカメラの姿勢・位置情報を含む画像データを処理する際に空中三角測量を行うこともまた可能である。図７はこの航空撮像データ処理装置２の構成を示す図である。この装置は、パーソナルコンピュータやワークステーション等からなる計算機２０とモニタ２３、入力装置であるキーボード２４、マウス２５を備えており、計算機２０には、内蔵の記憶装置であるハードディスク２２と、ＣＰＵ、メモリから構成される演算部２１を有する。演算部２１は、位置姿勢情報補正部２１１と画像処理部２１２とを含む。これら位置姿勢情報補正部２１１、画像処理部２１２はハードウェア的に構成されていても、ソフトウェア的に構成されていてもいずれでもよい。
【００３１】このデータ処理装置２は、図１（ｂ）に示される様な航空機搭載撮像装置１の撮像データを処理する装置であるが、従来の航空機搭載撮像装置で取得した撮像データについても処理可能であることはいうまでもない。
【００３２】このデータ処理装置２の動作は図５の動作からカメラの姿勢制御を取り除いた制御に相当するため、その詳細な説明は省略する。このように後処理を行う場合でも本発明によれば空中三角測量の精度を向上させて、測量精度を向上させることが可能である。
【００３３】
【発明の効果】以上説明したように本発明によれば、道路の区画線、道路標示のような地表の特徴的模様を空中三角測量における基準点として用いることができるので、空中三角測量の精度を向上させ、ひいては測量精度を向上させることが可能である。
【図面の簡単な説明】
【図１】本発明に係る航空機搭載撮像装置の概略構成図である。
【図２】図１の装置における地表画像の取得の様子を説明する図である。
【図３】図１の装置における空間位置座標の測定原理を説明する図である。
【図４】姿勢・位置情報の誤差が測量結果に及ぼす影響を説明する図である。
【図５】本発明に係る航空撮像データ処理装置における姿勢・位置情報の補正処理を示すフローチャートである。
【図６】図５の処理において用いられる特徴的模様の例を示す図である。
【図７】本発明に係る航空撮像データ処理装置を示す概略構成図である。
【符号の説明】
１…航空機搭載撮像装置、２…航空撮像データ処理装置、３…飛翔体、４…対象物、１０…カメラ、１１…ジャイロ、１２…スタビライザ、１３…制御装置、１４…記録装置、１５…ＩＮＳ装置、１６…ＧＰＳ受信機、１７…アンテナ、２０…計算機、２１…演算部、２２…ハードディスク、２３…モニタ、２４…キーボード、２５…マウス、５１…車道中央線、５２…車線境界線、５３…車道外側線、１３１…画像処理部、１３２…位置・姿勢判定部、１３３…姿勢制御部、１３４…データ作成部、１４１…記録手段、１４２…記憶手段、２１１…位置・姿勢情報補正部、２１２…画像処理部。
【０００１】
【発明の属する技術分野】本発明は、上空から地表画像を取得する航空機搭載撮像装置とその撮像データを処理する航空撮像データ処理装置に関し、特にラインセンサを用いて地表画像を取得するとともに取得時のカメラの位置・姿勢データを併せて取得する航空機搭載撮像装置および航空撮像データ処理装置に関する。
【０００２】
【従来の技術】地形の形状を測量する手法として、航空写真、衛星写真を利用する方法が知られている。こうした航空写真を撮影するシステムとして特許２８０７６２２号公報に開示されている航空機搭載撮像装置が知られている。
【０００３】この技術はスリーラインセンサカメラを利用してカメラの位置・姿勢データとともに、連続的に撮影した地表の画像データをデジタルデータとして記憶することで後からソフトウェアによる詳細な補正等を可能としたものである。こうして取得したデータを基にして三角測量の原理により地表物の空間位置を求めることができる。
【０００４】
【発明が解決しようとする課題】ところで、カメラの位置・姿勢データのわずかな誤差が地表物の空間位置の大きなずれの要因となることから、正確な測量を行うためには、地上に基準点を設置し、その空間位置と取得したデータを基に演算した位置との偏差により補正を行う（空中三角測量と呼ぶ）必要がある。測量精度を上げるには基準点を多数設置することが好ましい。しかし、通常、基準点として用いられる対空標識の設置には地権者の許可も必要とし、設置・管理に手間がかかり、実用上は多数設置することは困難である。
【０００５】そこで、本発明は対空標識を多数必要とせず、多数の基準点を基にした空中三角測量を可能とした航空機搭載撮像装置および航空撮像データ処理装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】上記課題を解決するため、本発明に係る航空機搭載撮像装置は、航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置において、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、検出手段で検出された地表の特徴的模様の位置を記憶手段に記憶されている位置情報と照合し、照合結果に応じてカメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、をさらに備えていることを特徴とする。
【０００７】一方、本発明に係る航空撮像データ処理装置は、航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置によって取得されたデジタルデータを処理する航空撮像データ処理装置であって、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、検出手段で検出された地表の特徴的模様の位置を前記記憶手段に記憶されている位置情報と照合し、照合結果に応じてカメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、を備えていることを特徴とする。
【０００８】本発明によれば、基準点として対空標識を多数設置せずとも、地表における特徴的模様、例えば、道路の区画線、駐車区画、道路標示等を基準点として用いて空中三角測量を行うことにより、測量精度が向上する。ここで姿勢・位置情報の補正とは、姿勢・位置データを修正する場合に限らず、カメラの姿勢をコントロールする場合や、補正データを別途作成し、測量のためのデータ処理時に測量結果の補正用に使用する場合を含む。
【０００９】この姿勢・位置情報補正手段は、照合結果のずれが大きい場合には、姿勢・位置情報の補正を行わないことが好ましい。対空標識を基準点として用いる場合と異なり、地表における特徴的模様を基準点として用いる場合には、建設・土木工事等により特徴的模様の位置が変動したり、あるいは、路上の自動車等の障害物の存在により特徴的模様が覆われて、カメラから認知できない場合がある。このような場合には照合結果のずれが大きくなり、姿勢・位置情報の補正を行うとむしろ測量精度が悪化するおそれがあるので、補正を行わないことが好ましい。
【００１０】記憶手段に記憶される地表の特徴的模様のパターン・位置情報を書き換える入力手段をさらに備えていてもよい。これにより、パターン・位置情報の追加、更新が容易になる。
【００１１】検出手段で検出された地表の特徴的模様のパターン・位置情報に基づいて記憶手段に格納されているパターン・位置情報を更新する位置情報更新手段をさらに備えていてもよい。これにより、パターン・位置情報の追加、更新が容易になる。また、検出手段で検出した特徴的模様であるから、検出可能性も高い。
【００１２】
【発明の実施の形態】以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１３】図１は、本発明に係る航空機搭載撮像装置１の構成を説明する図である。この装置１は、図１（ａ）に示されるように、航空機等の飛翔体３の下部に取り付けられ、飛翔体３の飛行中に上空から地表の画像を取得するものである。飛翔体３は、図に示される固定翼機に限られるものではなく、ヘリコプター等の回転翼機や飛行船、気球等を含むものとする。
【００１４】図１（ｂ）は、撮像装置１の構成を示す図である。図では、飛翔体３の通常の進行方向を左向きとして示している。ここで、撮像部（カメラ）１０は、多数の画素を一次元に配列して構成されたラインセンサ１０Ｂ、１０Ｆ、１０Ｎを飛翔体３の通常の進行方向に対して直交させる形で平行に配列し、かつ、それぞれの視線がクロスするように配置している。この結果、ラインセンサ１０Ｆは飛翔体３の前寄りの下方を、ラインセンサ１０Ｎは飛翔体３の直下の、ラインセンサ１０Ｂは飛翔体３の後ろ寄り下方の画像をそれぞれ取得することになる。
【００１５】カメラ１０はカメラ１０の姿勢（向き）を検出するジャイロ１１とともにその姿勢変動を抑制するスタビライザ１２内に配置されている。また、飛翔体３の位置、ひいてはカメラ１０の位置を検出するため、慣性航法（ＩＮＳ：Inertial Navigation System）装置１５と、ＧＰＳ（Global Positioning System）衛星かからの信号を受信するアンテナ１７とこれに接続されたＧＰＳ受信機１６とが装備されている。撮像装置１全体を制御する制御装置１３には、カメラ１０で取得した画像について所定の画像処理を行う画像処理部１３１と、ＩＮＳ装置１５とＧＰＳ受信機１６、ジャイロ１１の出力を基にしてカメラの位置・姿勢を判定する位置・姿勢判定部１３２と、カメラの姿勢制御を行う姿勢制御部１３３、カメラの位置・姿勢と取得した１次元画像群を対応づけて記録データを生成する記録データ作成部１３４とを含む。記録装置１４には、記録データ作成部１３４で作成したデータを記録するための記録手段１４１と、画像処理部１３１が利用する所定のデータを格納している記憶手段１４２とを有している。ここで、記録手段１４１と、記憶手段１４２とは同一の記録装置（例えばハードディスク）であってもよい。なお、記録手段１４１、記憶手段１４２は記憶媒体が装置から着脱可能な光磁気ディスク等であってもよい。また、記録手段１４１は書き込み可能な記録媒体である必要があるが、記憶手段１４２は必ずしも書き込み消去可能な記録媒体である必要はなく、読み取り専用の記録媒体、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等であってもよい。
【００１６】図２は地表の対象物４をカメラ１０で上空から撮像したときのカメラ１０と対象物４との位置関係を説明する図である。対象物４の任意の点Ｐは、カメラ１０の３つのラインセンサ１０Ｆ、Ｂ、Ｎで同時にその像が取得されるわけでなく、飛翔体３（図２では省略）が図の右側から左側に向かって移動しているとすると、まず、飛翔体３が対象物４の上空に近づいてきたがまだ直上には達していない段階で、前向きに配置されているラインセンサ１０Ｆが点Ｐの画像を取得する。そして、飛翔体３が対象物４の直上に達した時点で、下向きに配置されているラインセンサ１０Ｎが点Ｐの画像を取得する。そして、飛翔体３が対象物４の上空を通過して、離れていく段階で、後ろ向きに配置されているラインセンサ１０Ｂが点Ｐの画像を取得することになる。
【００１７】図３はこのようにして取得した画像群から被写体の空間位置情報を算出する原理を説明する図である。ここで、座標系としては地上座標系を用い、被写体Ｐの空間位置を座標（Ｘ，Ｙ，Ｚ）で表す。各ラインセンサ１０Ｂ、Ｎ、Ｆで取得した画像中の被写体位置、つまり像点をｐB（ＸPB，ＹPB，ＺPB）、ｐN（ＸPN，ＹPN，ＺPN）、ｐF（ＸPF，ＹPF，ＺPF）とする。また、このときの各ラインセンサ１０Ｂ、Ｎ、Ｆの投影中心をそれぞれＯB（ＸOB，ＹOB，ＺOB）、ＯN（ＸON，ＹON，ＺON）、ＯF（ＸOF，ＹOF，ＺOF）とする。ここで、図３に示されるように、被写体Ｐと像点ｐ、投影中心Ｏは一直線上に並ぶから、次式が成立する。
【数１】
ここで、ラインセンサ１０Ｂ、Ｎ、Ｆの投影中心ＯB、ＯN、ＯFと像点ｐB、ｐN、ｐFの空間座標位置はカメラの姿勢・位置情報から既知であるから対応する投影中心と像点を結ぶ直線を延長して交差する点が被写体Ｐの位置である。実際の計算では測定誤差等により３本の直線が交差しないことがありうる。その場合には、例えば最小２乗法を用いてこれら３本の直線との距離が最も小さい点を被写体の位置Ｐとすればよい。
【００１８】ところが、カメラの位置・姿勢情報には誤差が存在することから、このようにして求めた被写体の位置Ｐ（以下、計算で求めた位置をＰｃで表す）は、本来の対象物の位置Ｐからずれてしまう。図４はこのずれを説明する図である。対象物４の頂部の被写体となる点Ｐの像は、実際にはｐf、ｐn位置で取得される。しかし、この時のカメラの位置・姿勢情報に誤差があり、像点の位置はｐn’、ｐf’であると誤り、視線方向も実際とは異なる方向として空間位置Ｐｃを求めた場合、Ｐｃは本来の位置Ｐからずれる。特に飛翔体３の高度を高くとると、カメラの姿勢のずれ（つまり視線方向のずれ）は、カメラの位置のずれに比して算出される位置情報のずれに大きく影響する。
【００１９】このような位置情報のずれ、つまり誤差を軽減して高精度の測量を行うため、空間位置情報が予め既知である基準点を複数個配置し、計算により求めた空間位置Ｐｃと既知の空間位置Ｐとの偏差を基にして、誤差修正を行うのが空中三角測量と呼ばれている手法である。
【００２０】本発明は、地表の特徴的模様を空中三角測量の基準点として用いるものであり、以下にその具体的な動作について説明する。図５はその処理を示すフローチャートである。ここでは、図６に示されるような道路上の車線区画線、いわゆる白線を検出する場合を例に説明する。
【００２１】車道中央線、車線境界線、車道外側線、横断歩道等の道路白線（区画線）の様式については、「道路標識、区画線及び道路標示に関する命令」（昭和35年12月17日、総理府・建設省令第３号）の第６条および別表第４に定めがある。図６はその一例を示したものであり、４車線（片側２車線）の道路である。ここで、車道中央線５１は、幅Ｗ1が０．１５〜０．２０ｍの実線、車線境界線５２は、幅Ｗ2が幅０．１０〜０．１５ｍ、線の長さｌ1が３〜１０ｍ、で線同士の間隔ｌ2がｌ1の１０〜２０倍の破線であり、車道外側線５３は、幅Ｗ3が０．１５〜０．１０ｍの実線である。すなわち、車線境界線５２は通常幅Ｗ2、長さｌ1の矩形である。一方、２車線の道路の場合には、車道中央線５１が破線となる（この場合、ｌ1＝ｌ2である）。なお、車線境界線５２が破線でなく、実線の場合もある。
【００２２】この空中三角測量処理は、ラインセンサカメラ１０（実際には、ラインセンサ１０Ｂ、１０Ｎ、１０Ｆのそれぞれ）で取得した画像群を取得している際に、制御装置１３内で平行して行われるものである。ここで、位置・姿勢判定部１３２は、ジャイロ装置１１、ＩＮＳ装置１５、ＧＰＳ受信機１６の出力信号を基にしてカメラの姿勢・位置情報を作成し、記録データ作成部１３４がこの姿勢・位置情報とラインセンサカメラ１０で取得した画像群とを対にして記録手段１４１に順次記録している。
【００２３】まずステップＳ１では、画像処理部１３１が、記録手段１４１に記録されているライン画像群からパターン認識によって車線境界線５２あるいは車道中央線５１を構成する矩形を検出する。画像処理部１３１は、次にステップＳ２で検出した矩形同士を対応づけてその空間位置を図３に示した三角測量の技法から算出する。
【００２４】画像処理部１３１は、続くステップＳ３では、記憶手段１４２内に求めた矩形部に該当する白線の空間位置情報が格納されているか否か、つまり記憶済みであるか否かを判定する。白線情報が存在しない場合には、ステップＳ７へと移行して、制御装置１３は、検出した白線位置情報を記憶手段１４２内に格納することで白線位置情報の更新を行い、処理を終了する。
【００２５】白線位置情報が存在する場合には、ステップＳ４へと移行して、画像処理部１３１は格納されている白線の空間位置情報と算出した空間位置との位置とを比較する。この位置ずれが閾値より大きい場合には、白線位置そのものが変更された可能性もあると判定し、白線位置によるカメラの姿勢・位置情報の較正を行わずにそのまま処理を終了する。
【００２６】一方、位置ずれが閾値以下であった場合には、ステップＳ５へと移行して位置・姿勢判定部１３２がこの位置ずれが最小となるようカメラの姿勢・位置情報を更新する。そして、必要ならば姿勢制御部１３３に指示して、スタビライザ１２によってカメラの姿勢を制御する。
【００２７】このように地表に多数存在する白線を基準点として用いることで、対空標識を多数用いることなく多数の基準点を用いた空中三角測量を行うことができ、測量精度を向上させることができる。
【００２８】以上の説明では、パターン認識によって画像中から白線を検出する例について説明してきたが、記憶手段１４２に格納されている白線の空間位置情報と、カメラの姿勢・位置情報から白線が撮像される画素位置を予想し、その近傍からパターンを探索するようにすれば、認識精度をさらに向上させることができ、好ましい。
【００２９】また、本発明にいう特徴的模様とは、上述した白線の認識に限るものではなく、道路に描かれたＵターン禁止、駐停車禁止、速度制限、通行区分等の道路標示や駐車場等の駐車区画線、ビル屋上のヘリポートの表示等を含むものとする。
【００３０】以上の説明では、航空機搭載撮像装置において処理を行う例を説明してきたが、撮像装置で取得したカメラの姿勢・位置情報を含む画像データを処理する際に空中三角測量を行うこともまた可能である。図７はこの航空撮像データ処理装置２の構成を示す図である。この装置は、パーソナルコンピュータやワークステーション等からなる計算機２０とモニタ２３、入力装置であるキーボード２４、マウス２５を備えており、計算機２０には、内蔵の記憶装置であるハードディスク２２と、ＣＰＵ、メモリから構成される演算部２１を有する。演算部２１は、位置姿勢情報補正部２１１と画像処理部２１２とを含む。これら位置姿勢情報補正部２１１、画像処理部２１２はハードウェア的に構成されていても、ソフトウェア的に構成されていてもいずれでもよい。
【００３１】このデータ処理装置２は、図１（ｂ）に示される様な航空機搭載撮像装置１の撮像データを処理する装置であるが、従来の航空機搭載撮像装置で取得した撮像データについても処理可能であることはいうまでもない。
【００３２】このデータ処理装置２の動作は図５の動作からカメラの姿勢制御を取り除いた制御に相当するため、その詳細な説明は省略する。このように後処理を行う場合でも本発明によれば空中三角測量の精度を向上させて、測量精度を向上させることが可能である。
【００３３】
【発明の効果】以上説明したように本発明によれば、道路の区画線、道路標示のような地表の特徴的模様を空中三角測量における基準点として用いることができるので、空中三角測量の精度を向上させ、ひいては測量精度を向上させることが可能である。
【図面の簡単な説明】
【図１】本発明に係る航空機搭載撮像装置の概略構成図である。
【図２】図１の装置における地表画像の取得の様子を説明する図である。
【図３】図１の装置における空間位置座標の測定原理を説明する図である。
【図４】姿勢・位置情報の誤差が測量結果に及ぼす影響を説明する図である。
【図５】本発明に係る航空撮像データ処理装置における姿勢・位置情報の補正処理を示すフローチャートである。
【図６】図５の処理において用いられる特徴的模様の例を示す図である。
【図７】本発明に係る航空撮像データ処理装置を示す概略構成図である。
【符号の説明】
１…航空機搭載撮像装置、２…航空撮像データ処理装置、３…飛翔体、４…対象物、１０…カメラ、１１…ジャイロ、１２…スタビライザ、１３…制御装置、１４…記録装置、１５…ＩＮＳ装置、１６…ＧＰＳ受信機、１７…アンテナ、２０…計算機、２１…演算部、２２…ハードディスク、２３…モニタ、２４…キーボード、２５…マウス、５１…車道中央線、５２…車線境界線、５３…車道外側線、１３１…画像処理部、１３２…位置・姿勢判定部、１３３…姿勢制御部、１３４…データ作成部、１４１…記録手段、１４２…記憶手段、２１１…位置・姿勢情報補正部、２１２…画像処理部。
【特許請求の範囲】
【請求項１】 航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置において、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、前記検出手段で検出された地表の特徴的模様の位置を前記記憶手段に記憶されている位置情報と照合し、照合結果に応じて前記カメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、をさらに備えていることを特徴とする航空機搭載撮像装置。
【請求項２】 前記姿勢・位置情報補正手段は、照合結果のずれが大きい場合には、姿勢・位置情報の補正を行わないことを特徴とする請求項１記載の航空機搭載撮像装置。
【請求項３】 前記記憶手段に記憶される地表の特徴的模様のパターン・位置情報を書き換える入力手段をさらに備えている請求項１または２のいずれかに記載の航空機搭載撮像装置。
【請求項４】 前記検出手段で検出された地表の特徴的模様のパターン・位置情報に基づいて前記記憶手段に格納されているパターン・位置情報を更新する位置情報更新手段をさらに備えている請求項１〜３のいずれかに記載の航空機搭載撮像装置。
【請求項５】 航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置によって取得されたデジタルデータを処理する航空撮像データ処理装置において、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、前記検出手段で検出された地表の特徴的模様の位置を前記記憶手段に記憶されている位置情報と照合し、照合結果に応じて前記カメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、を備えていることを特徴とする航空撮像データ処理装置。
【請求項６】 前記姿勢・位置情報補正手段は、照合結果のずれが大きい場合には、姿勢・位置情報の補正を行わないことを特徴とする請求項５記載の航空撮像データ処理装置。
【請求項７】 前記記憶手段に記憶される地表の特徴的模様のパターン・位置情報を書き換える入力手段をさらに備えている請求項５または６のいずれかに記載の航空撮像データ処理装置。
【請求項８】 前記検出手段で検出された地表の特徴的模様のパターン・位置情報に基づいて前記記憶手段に格納されているパターン・位置情報を更新する位置情報更新手段をさらに備えている請求項５〜７のいずれかに記載の航空撮像データ処理装置。
【請求項１】 航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置において、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、前記検出手段で検出された地表の特徴的模様の位置を前記記憶手段に記憶されている位置情報と照合し、照合結果に応じて前記カメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、をさらに備えていることを特徴とする航空機搭載撮像装置。
【請求項２】 前記姿勢・位置情報補正手段は、照合結果のずれが大きい場合には、姿勢・位置情報の補正を行わないことを特徴とする請求項１記載の航空機搭載撮像装置。
【請求項３】 前記記憶手段に記憶される地表の特徴的模様のパターン・位置情報を書き換える入力手段をさらに備えている請求項１または２のいずれかに記載の航空機搭載撮像装置。
【請求項４】 前記検出手段で検出された地表の特徴的模様のパターン・位置情報に基づいて前記記憶手段に格納されているパターン・位置情報を更新する位置情報更新手段をさらに備えている請求項１〜３のいずれかに記載の航空機搭載撮像装置。
【請求項５】 航空機に搭載されて地表画像を一次元画像として撮像するラインセンサ複数個をそれぞれの視線を異ならせて配置して構成したカメラと、該カメラの撮像時の姿勢データを取得する姿勢計測装置と、該カメラの撮像時の３次元位置情報を取得する位置情報取得装置と、取得した一次元画像群と撮像時の姿勢・位置情報を組にしてデジタルデータとして記録する記録装置と、を備える航空機搭載撮像装置によって取得されたデジタルデータを処理する航空撮像データ処理装置において、取得した一次元画像群から地表の特徴的模様のパターンおよびその位置を検出する検出手段と、地表の特徴的模様のパターン・位置情報が記憶されている記憶手段と、前記検出手段で検出された地表の特徴的模様の位置を前記記憶手段に記憶されている位置情報と照合し、照合結果に応じて前記カメラの姿勢・位置情報を補正する姿勢・位置情報補正手段と、を備えていることを特徴とする航空撮像データ処理装置。
【請求項６】 前記姿勢・位置情報補正手段は、照合結果のずれが大きい場合には、姿勢・位置情報の補正を行わないことを特徴とする請求項５記載の航空撮像データ処理装置。
【請求項７】 前記記憶手段に記憶される地表の特徴的模様のパターン・位置情報を書き換える入力手段をさらに備えている請求項５または６のいずれかに記載の航空撮像データ処理装置。
【請求項８】 前記検出手段で検出された地表の特徴的模様のパターン・位置情報に基づいて前記記憶手段に格納されているパターン・位置情報を更新する位置情報更新手段をさらに備えている請求項５〜７のいずれかに記載の航空撮像データ処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００３−７５１５２（Ｐ２００３−７５１５２Ａ）
【公開日】平成１５年３月１２日（２００３．３．１２）
【国際特許分類】
【出願番号】特願２００１−２７２１６６（Ｐ２００１−２７２１６６）
【出願日】平成１３年９月７日（２００１．９．７）
【出願人】（５０１３１１００７）株式会社宇宙情報技術研究所 (2)
【Ｆターム（参考）】
【公開日】平成１５年３月１２日（２００３．３．１２）
【国際特許分類】
【出願日】平成１３年９月７日（２００１．９．７）
【出願人】（５０１３１１００７）株式会社宇宙情報技術研究所 (2)
【Ｆターム（参考）】
[ Back to top ]