航空写真撮像方法及び航空写真撮像装置
【課題】簡単な構成で、正確な地形の３次元計測が可能な航空写真撮像方法及び航空写真撮像装置を提供する。
【解決手段】ＧＰＳ装置２３と、下方を撮像する撮像装置１３とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置２３により測定した２つの頂点の位置情報と、２画像の特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとする。
【解決手段】ＧＰＳ装置２３と、下方を撮像する撮像装置１３とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置２３により測定した２つの頂点の位置情報と、２画像の特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、小型無人飛行体による航空写真撮像方法及び航空写真撮像装置に関するものである。
【背景技術】
【０００２】
上空からの写真撮影、或は上空からの測量では、地上からの写真撮影、地上での測量では得られない情報が得られ、或は人の立入れない場所の写真撮影、測量が困難な場所の情報が得られる。又、近年、遠隔操作される小型飛行機、小型ヘリコプタ等の小型飛行体の性能向上、遠隔操作技術の向上、更に撮像装置の性能の向上、小型化の促進等により小型飛行体に撮像装置を搭載し、遠隔操作により上空からの写真撮影が無人で行える様になっている。更に、予め設定した飛行スケジュールに従い、自律飛行も可能となっている。
【０００３】
小型飛行体により写真撮影を行う場合、機体が水平であることが望まれるが、実際には、機体が軽量である為、風により流されたり、機体が傾いている場合が多い。この為、固定的に搭載された撮像装置では、機体の状態により光軸が傾斜し、又傾斜方向も一定しない状態となる。
【０００４】
広範囲の画像を作成する場合、或は立体画像を作成する場合、隣接する２画像をオーバラップさせ、オーバラップした部分で２画像に共通な接続点（タイポイント）を抽出し、タイポイントを基準として画像合成が行われる。ところが、上記した様に、光軸が傾斜し、又傾斜角、傾斜方向が一定しない状態で撮像した画像を順次合成した場合、得られる広範囲の画像は、捻れたり、或は湾曲する等正確な合成画像が得られないという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２４５７４１号公報
【特許文献２】特開２００６−１０３７６号公報
【特許文献３】特開２００７−１７１０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は斯かる実情に鑑み、簡単な構成で、正確な地形の３次元計測が可能な航空写真撮像方法及び航空写真撮像装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明は、ＧＰＳ装置と、下方を撮像する撮像装置とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置により測定した２つの前記頂点の位置情報と、前記２画像の前記特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとする航空写真撮像方法に係るものである。
【０００８】
又本発明は、１つの頂点で撮像した画像で抽出した特徴点を画像トラッキングし、次の頂点で撮像した画像中に特定する航空写真撮像方法に係るものである。
【０００９】
又本発明は、前記タイポイント、前記ＧＰＳ装置により測定した前記３頂点の３次元座標に基づき、前記３頂点で取得した画像の撮影位置、傾きの標定計算の局所処理を行う航空写真撮像方法に係るものである。
【００１０】
又本発明は、飛行体と、該飛行体に設けられたＧＰＳ装置及び航行手段及び飛行体下方の画像を撮像する撮像装置及び画像処理部及び主演算制御部とを具備し、該主演算制御部は、前記飛行体を蛇行飛行させる飛行計画データを有し、前記ＧＰＳ装置からの位置情報と前記飛行計画データに基づき飛行誘導データを作成し、該飛行誘導データに基づき前記航行手段を制御して前記飛行体を蛇行飛行させ、前記撮像装置は蛇行飛行する際の方向変換する各頂点で撮像し、前記画像処理部は少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記主演算制御部は隣接する２画像を１組として、少なくとも２組について各組毎に前記特徴点に基づき写真測量し、少なくとも２つの測量結果が一致した場合に前記特徴点をタイポイントとし、該タイポイント及び前記３頂点の位置情報に基づき前記画像の標定計算を行う航空写真撮像装置に係るものである。
【発明の効果】
【００１１】
本発明によれば、ＧＰＳ装置と、下方を撮像する撮像装置とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置により測定した２つの前記頂点の位置情報と、前記２画像の前記特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとするので、直線飛行で撮像した画像では修正できない飛行体のローリングやピッチングによる画像の傾きを修正できる。
【００１２】
又本発明によれば、前記タイポイント、前記ＧＰＳ装置により測定した前記３頂点の３次元座標に基づき、前記３頂点で取得した画像の撮影位置、特に傾きの標定計算の局所処理を行うので、迅速に処理が実行でき、飛行体の正確な高度が局所的に略リアルタイムで演算できる。
【００１３】
又本発明によれば、飛行体と、該飛行体に設けられたＧＰＳ装置及び航行手段及び飛行体下方の画像を撮像する撮像装置及び画像処理部及び主演算制御部とを具備し、該主演算制御部は、前記飛行体を蛇行飛行させる飛行計画データを有し、前記ＧＰＳ装置からの位置情報と前記飛行計画データに基づき飛行誘導データを作成し、該飛行誘導データに基づき前記航行手段を制御して前記飛行体を蛇行飛行させ、前記撮像装置は蛇行飛行する際の方向変換する各頂点で撮像し、前記画像処理部は少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記主演算制御部は隣接する２画像を１組として、少なくとも２組について各組毎に前記特徴点に基づき写真測量し、少なくとも２つの測量結果が一致した場合に前記特徴点をタイポイントとし、該タイポイント及び前記３頂点の位置情報に基づき前記画像の標定計算を行うので、直線飛行で撮像した画像では修正できない飛行体のローリングやピッチングによる画像の傾きを修正できるという優れた効果を発揮する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例に係る航空写真撮像方法の概略図である。
【図２】本発明の実施例に係る飛行体に搭載される制御装置のブロック図である。
【図３】飛行体が２地点で撮影した画像から飛行体の高度、測定点の座標の写真測量を行う場合の説明図である。
【図４】飛行体が蛇行飛行する軌跡と撮像する地点との関係を示す説明図である。
【図５】２画像を１組として抽出した特徴点と撮像地点の位置情報に基づき、特徴点に対応する地表の測定を測定した場合の、各組間の測定結果の一致、不一致を示す説明図である。
【図６】本実施例の作用を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ本発明の実施例を説明する。
【００１６】
先ず、図１に於いて、本発明が実施される飛行体の飛行制御システムについて説明する。
【００１７】
図１中、１は自律飛行可能な飛行体、２は地上に設置される基地制御装置であり、該基地制御装置２は、前記飛行体１とデータ通信可能であり、前記飛行体１の飛行の制御、飛行計画の設定、変更、前記飛行体１が収集した情報を保存、管理する。
【００１８】
前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（後述）に飛行計画が設定され、飛行計画に従って、自律飛行する。
【００１９】
前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７はそれぞれ個別に第１モータ８、第２モータ９、第３モータ１０、第４モータ１１（後述）に連結され、又後述する様に各第１モータ８、第２モータ９、第３モータ１０、第４モータ１１は独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１等は飛行体の航行手段を構成する。
【００２０】
前記ヘリコプタ１の機体３には、撮像装置１３及び制御装置が設けられている。前記撮像装置１３はデジタル画像を取得する。該撮像装置１３は、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像するビデオカメラであってもよい。前記撮像装置１３は前記機体３の下面に設けられている。又、前記撮像装置１３は、撮像素子として、画素（ピクセル）の集合体であるＣＣＤ、ＣＭＯＳセンサを有しており、撮像素子の中心（受光面の座標中心）と前記撮像装置１３の光軸１５とは合致している。
【００２１】
前記撮像素子の各画素は撮像素子上の位置（座標）が特定でき、更に各画素の画角（前記光軸１５に対する角度）が分る様になっている。
【００２２】
前記光軸１５は、前記機体３の基準位置（例えば機械中心）を通過し、前記光軸１５は、前記ヘリコプタ１が水平姿勢で、鉛直線と合致する様に設定されている。前記撮像装置１３は、角度θの視野角を持っており、航空写真用の画像を取得可能となっている。又、該撮像装置１３で撮像した画像は、後述する様に、位置測定用の画像データとしても使用される。
【００２３】
前記撮像装置１３で撮像された画像は、撮像した時間、ＧＰＳ装置２３（後述）で測定した地心座標（３次元座標）に関連付けられて、後述する第１記憶部２５に格納される。
【００２４】
図２は、前記機体３に設けられる制御装置１６を示している。該制御装置１６は、主に測量部１７、飛行制御部１８、主演算制御部１９、通信部２０、電源部２１から構成される。
【００２５】
前記測量部１７は、前記ＧＰＳ装置２３、測量部用ＣＰＵ２４、第１記憶部２５、前記撮像装置１３等から構成される。尚、前記測量部用ＣＰＵ２４、前記第１記憶部２５は、画像処理部を構成し、後述する特徴点の抽出、画像トラッキング処理等を実行する。
【００２６】
前記ＧＰＳ装置２３は、前記ヘリコプタ１の基準位置、例えば機械中心を測定する様に構成され、又、前記ＧＰＳ装置２３は前記基準位置の絶対３次元座標を測定し、測定値は地心座標（絶対座標）系から求められる地上座標系及び高度を表す。
【００２７】
又、前記ヘリコプタ１が水平姿勢では、前記光軸１５は前記基準位置を通過すると共に鉛直となっている。従って、前記撮像装置１３は、前記ヘリコプタ１直下の所要の画角θの範囲の画像を取得可能であり、更に画像の中心は前記基準位置と合致する様に設定されている。
【００２８】
前記第１記憶部２５には、前記撮像装置１３で取得した画像及び画像を取得した時刻が、前記画像に関連付けられて格納される様になっており、更に、画像を取得した時刻に同期させて前記ＧＰＳ装置２３によって前記ヘリコプタ１の３次元座標が測定され、測定された３次元座標も画像を取得した時刻に関連付けられて前記第１記憶部２５に格納される様になっている。
【００２９】
又、前記第１記憶部２５には、撮像制御プログラム、３次元位置測定プログラム、画像処理プログラム、トラッキング処理プログラム等のプログラムが格納されている。更に、前記第１記憶部２５には、前記撮像装置１３で撮像された画像及び、撮像時の時間、画像を取得した時の３次元座標が前記画像に関連付けられて格納される。
【００３０】
前記撮像制御プログラムは、前記ヘリコプタ１の飛行速度、前記撮像装置１３の視野角θ等に基づき時間的に隣接する画像が所定の割合でオーバラップする様に、又隣接する頂点（後述）で撮像した画像が所定の割合でオーバラップする様に前記撮像装置１３で撮影した画像データの取得時期を制御する。尚、画像トラッキングを行う場合は、画像データを取得し、次の画像データを取得する間も所定時間間隔で撮像する様に前記撮像装置１３を制御している。
【００３１】
前記画像処理プログラムは、前記撮像装置１３で取得した画像から特徴点（タイポイント）を抽出する、或はタイポイントを基準として複数の画像を合成する等の画像処理を行う。
【００３２】
又、前記トラッキング処理プログラムは時間的に隣接する画像間で特徴点の画像トラッキングを行い、前記画像の特徴点を順次、次画像中に特定する。尚、画像トラッキングについては特許文献２又は特許文献３に示されている。
【００３３】
前記３次元位置測定プログラムは、前記ＧＰＳ装置２３の測定で得られる地上座標と、前記撮像装置１３の画像から抽出したタイポイントに基づき、写真測量等の測定方法により前記ヘリコプタ１（基準位置）の高さ距離を演算する。従って、前記ヘリコプタ１の高さは、前記ＧＰＳ装置２３の測定で得られる第１高さ距離と、画像に基づき写真測量により求めた第２高さ距離が得られる。
【００３４】
尚、第１高さ距離は後述する様に、前記タイポイントを確定する場合に用いられ、第２高さ距離は確定した特徴点に基づき写真測量され、第２高さ距離は前記第１高さ距離に比べて、より高い精度を持っている。
【００３５】
尚、前記３次元位置測定プログラム、取得した画像及び画像を取得した位置、時刻等は後述する第３記憶部３３に格納されてもよい。この場合、測定に必要な演算処理は主ＣＰＵ３２が実行する。
【００３６】
前記測量部用ＣＰＵ２４は、前記撮像制御プログラムにより前記撮像装置１３の撮像を制御し、前記トラッキング処理プログラムにより画像トラッキングを行い、前記画像処理プログラムにより、タイポイントの抽出、複数の画像を合成し、更に前記３次元位置測定プログラムにより第２高さ距離を演算する。
【００３７】
前記飛行制御部１８は、前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１及びこれらモータを個別に駆動制御するモータコントローラ２６、該モータコントローラ２６を制御する飛行制御用ＣＰＵ２７、第２記憶部２８、前記ヘリコプタ１の水平に対する姿勢状態（傾斜）を検出して姿勢状態信号を発する姿勢検出器、例えばジャイロユニット２９を具備する。
【００３８】
前記第２記憶部２８には、前記主演算制御部１９からの飛行誘導データに基づき、飛行速度、上昇速度、降下速度、飛行方向、飛行高度等の飛行状態を演算する飛行制御プログラムが格納され、前記ジャイロユニット２９からの前記姿勢状態信号に基づき姿勢制御用の情報を演算する姿勢制御プログラム等が格納されている。
【００３９】
前記飛行制御用ＣＰＵ２７は、前記飛行制御プログラム及び前記飛行誘導データに基づき飛行制御指令を前記モータコントローラ２６に送出して該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１を制御し、所定の飛行を実行し、又前記姿勢制御プログラムに基づき姿勢制御指令を前記モータコントローラ２６に送出して、該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１をそれぞれ制御することで、飛行可能な姿勢に維持する。
【００４０】
前記主演算制御部１９は、主ＣＰＵ３２、第３記憶部３３、入出力制御部３４を具備し、該第３記憶部３３には、統合プログラム、飛行誘導プログラム、通信制御プログラム等のプログラムが格納され、飛行計画データが格納されている。該飛行計画データに格納されているデータとしては、例えば飛行コース、飛行高度、撮影する場所、範囲等である。
【００４１】
前記統合プログラムは、前記測量部１７、前記飛行制御部１８を統合して制御する。前記飛行誘導プログラムは、前記飛行計画データ及び前記ＧＰＳ装置２３で測定した位置情報から飛行誘導データを作成する。
【００４２】
又、前記主ＣＰＵ３２は、前記飛行誘導プログラムにより飛行誘導データを作成し、前記統合プログラムに基づき前記入出力制御部３４を介して、所要のタイミングで前記飛行誘導データを前記飛行制御部１８に出力し、更に、前記測量部１７からの高度測定結果に基づき、地表に対し所定の高度を維持する様、更に飛行誘導データとして前記飛行制御部１８に発する。尚、飛行を制御する為の高度測定結果は、前記第１高さ距離、前記第２高さ距離のいずれが用いられてもよい。
【００４３】
前記通信部２０は、無線通信部３５、情報通信部３６等からなり、前記無線通信部３５は、地上基地からの遠隔飛行制御指令を受信し、又ヘリコプタ１の飛行状態を地上基地に通信する。又、前記情報通信部３６は、無線ＬＡＮ或はブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の通信手段を用いて地上基地とヘリコプタ１間の情報の授受を行うものであり、例えば前記ヘリコプタ１が基地に着陸した状態で、前記飛行計画データが基地から前記ヘリコプタ１に送信され、或は飛行中撮像した画像、位置、時刻情報がヘリコプタ１から基地に送信される。
【００４４】
前記電源部２１は、例えば交換可能な可充電電池であり、基地に着陸した際に充電済の電池と交換され、消耗した電池が次に交換される迄に充電される。前記電源部２１は、飛行中は前記測量部１７、前記飛行制御部１８、前記主演算制御部１９、前記通信部２０に必要な電力を供給する。
【００４５】
前記撮像装置１３が取得した画像、前記測量部１７が測定した位置情報、タイポイントの情報は、前記通信部２０を介して前記基地制御装置２に通信される。該基地制御装置２では、前記画像から、広範囲の合成画像を作成し、又ステレオ画像を作成し、或はステレオ画像に基づき写真測量を行う。
【００４６】
前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７、前記主ＣＰＵ３２は、前記ヘリコプタ１の演算部を構成し、上記した様に前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７、前記主ＣＰＵ３２は、前記測量部１７、前記飛行制御部１８、前記主演算制御部１９にそれぞれ個別に設けてもよく、或は１つの演算部を設け、該演算部に前記測量部用ＣＰＵ２４の機能、前記飛行制御用ＣＰＵ２７の機能、前記主ＣＰＵ３２の機能を振分ける様にしてもよい。或は、前記主ＣＰＵ３２を前記演算部とし、前記主ＣＰＵ３２に前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７のいずれか又は両方の処理を実行させ、前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７のいずれか又は両方を省略してもよい。
【００４７】
又、前記第１記憶部２５、前記第２記憶部２８、前記第３記憶部３３は、前記ヘリコプタ１の記憶部を構成する。上記した様に、前記第１記憶部２５、前記第２記憶部２８、前記第３記憶部３３は、個別に設けてもよく、或は記憶部を１つの記憶装置とし、該記憶装置に前記第１記憶部２５と前記第２記憶部２８と前記撮像装置１３とに対応する記憶領域を設定してもよい。
【００４８】
次に、図３により、写真測量による距離測定について説明する。
【００４９】
図３に於いて、前記ヘリコプタ１はＯ1 地点からＯ2 地点へ飛行し、Ｏ1 地点とＯ2 地点で撮像したとする。又、Ｏ1 地点からＯ2 地点迄の距離Ｂは撮影基線長であり、４１-1，４１-2は、それぞれＯ1 地点、Ｏ2 地点での前記撮像装置１３の撮像素子４１を示し、画像データと同等である。尚、図３では、前記撮像装置１３の光軸１５は鉛直、即ち前記ヘリコプタ１は水平姿勢の場合を示している。
【００５０】
Ｏ1 地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ1 （ｘ1 ，ｙ1 ）、Ｏ2 地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ2 （ｘ2 ，ｙ2 ）となる。撮像素子４１-1の中心０-1（原点）からｐ1 迄の距離をｌ１、撮像素子４１-2の中心０-2（原点）からｐ2 迄の距離をｌ２とすると、前記撮像装置１３の焦点距離ｆ、前記撮影基線長ＢからＰ迄の距離Ｚ（前記ヘリコプタ１の高さ距離）は、３角形Ｏ1 ，Ｏ2 ，Ｐと３角形Ｏ1 ，０-1，ｐ1 及び３角形Ｏ2 ，０-2，ｐ2 との相似関係から、Ｚ＝Ｂｆ／（ｌ１＋ｌ２）となる。
【００５１】
ここで、前記Ｏ1 地点、Ｏ2 地点の地上座標は前記ＧＰＳ装置２３によって測定でき、又前記撮影基線長Ｂは前記Ｏ1 地点とＯ2 地点の２点間の距離となり、前記ＧＰＳ装置２３の測定結果に基づき前記撮影基線長Ｂを求めることができる。又、測定点Ｐの地心位置（平面座標）も、同様にｐ1 （ｘ1 ，ｙ1 ）及びｐ2 （ｘ2 ，ｙ2 ）と前記ＧＰＳ装置２３で測定したＯ1 地点、Ｏ2 地点の地心位置から求めることができる。
【００５２】
従って、前記ヘリコプタ１が移動する過程で順次撮像した２つの画像から、ヘリコプタ１の高度（地表からの高さ）をリアルタイムで測定（高さ距離測定）することができる。
【００５３】
尚、前記ＧＰＳ装置２３は３次元座標を測定可能であり、地上座標と同時に高さ位置も得られるが、得られる高さの位置は絶対位置であり、地表からの高さとは異なる。又、前記ＧＰＳ装置２３の特性として、地上座標に比べ高さ位置の測定結果は前記ＧＰＳ装置２３の衛星からの受信状態に影響を受け易く、地上座標の精度に比べて悪くなっている。
【００５４】
写真測量では、精度の高い地上座標を用いて画像上から測定するので、高い精度を持つ測定結果が得られ、又地上からの高さ距離が求められる。
【００５５】
上記、写真測量に於いて、ｐ1 （ｘ1 ，ｙ1 ）及びｐ2 （ｘ2 ，ｙ2 ）は、Ｏ1 地点で撮像した画像と、Ｏ2 地点で撮像した画像との共通の点に対応するものであり、前述したタイポイントに相当する。
【００５６】
上記写真測量は、前記ヘリコプタ１が水平姿勢である場合を説明したが、前記ヘリコプタ１は小型軽量であり、風等の影響を受け易く、実際には、撮影の度に前記ヘリコプタ１の姿勢が変化している場合が多い。
【００５７】
従って、直線状に飛行し、機体３が進行方向に対してローリングする様な状態で、画像を取得し、取得した複数の画像を合成する場合、或は画像で距離測定した場合、或は画像を広範囲画像に合成したり、ステレオ画像を作成した場合、画像が変形したり、画像が捻れたり、或は距離測定の精度が悪くなる。
【００５８】
本実施例では、ヘリコプタ１（機体３）の姿勢が、変化した場合でも、画像から正確な測定、或は適正に画像の合成を可能とするものである。
【００５９】
本実施例では、図４に示す様にヘリコプタ１を蛇行させて飛行させ、飛行の方向を変換する各頂点（Ｏ1 ，Ｏ2 ，Ｏ3 ，Ｏ4 ，…，Ｏn ）で、それぞれ写真撮影を行い、隣接する３頂点（図示では、Ｏ1 ，Ｏ2 ，Ｏ3 ）で撮像した３つの画像４１-1，４１-2，４１-3を組としてトリプレットマッチングするものであり、又トリプレットマッチングすることで、正確にタイポイントの対応付け（確定）を、行うものである。又、トリプレットマッチングを行う画像は、撮像する度に最新の画像を含む様に組替えられ、頂点Ｏ4 で画像が撮像されるとＯ2 ，Ｏ3 ，Ｏ4 で撮像された画像がトリプレットマッチングの対象となる。而して、方向変換する度にトリプレットマッチングが実行される。又、トリプレットマッチングが可能なオーバラップ部分４０（図４中、ハッチング部分）が得られる様に、方向変換する頂点間の距離、又は撮像する時間間隔が飛行スケジュールによって設定される。
【００６０】
図５を参照してトリプレットマッチングについて説明する。尚、３画像の内２画像ずつによる高さ測定（写真測量）を行うが、２画像による高さ距離測定は、上記した説明と同様に行う。
【００６１】
図５は、飛行中のヘリコプタ１で撮像した画像から順次高度測定を行っている状態を模式化したものである。又、図３では、ヘリコプタ１の高度測定について説明したが、前記撮像装置１３で撮像した画像全体について、画像の任意の部位についての高さ距離測定、即ち画像の部位に対応する地表面４２の部位の高さ測定を実施することができる。
【００６２】
前記撮像装置１３で撮像した地表面４２の画像について、画像処理を行い、画像中から特徴点ａ〜ｎを抽出する。特徴点の抽出については、エッジ処理、コントラスト処理等適宜な画像処理により実行される。
【００６３】
又、１つの頂点で撮像した画像中から抽出した特徴点を、隣接する次の頂点で撮像した画像中に、順次特定する必要があるが、特定する方法として画像トラッキングがある。画像トラッキングでは、１つの頂点から次の頂点迄連続的に、或は所定時間間隔で画像を取得し、時間的に隣接する画像に次々に特徴点を特定（画像トラッキング）し、１つの頂点の画像の特徴点を次の頂点の画像中に対応付ける。
【００６４】
尚、トリプレットマッチングを行うことから、特徴点は３画像がオーバラップした前記オーバラップ部分４０（図４参照）内で選択される。
【００６５】
３画像の内２画像に於いて、例えばＯ1 地点の画像４１-1に於いて、特徴点ａ1 ，ｂ1 が抽出され、該特徴点ａ1 ，ｂ1 がトラッキングにより、Ｏ2 地点の画像４１-2中に特徴点ａ2 ，ｂ2 として特定され、前記画像４１-1，４１-2により特徴点ａ，ｂの高さ測定が行われる。又、特徴点ａ，ｂの地上座標は、前記ＧＰＳ装置２３の測定結果に基づき演算される。而して、特徴点ａ，ｂの３次元座標が演算される。
【００６６】
又他の２画像、即ちＯ2 地点の画像４１-2とＯ3 地点の画像４１-3に於いて、Ｏ2 地点の画像４１-2からＯ3 地点の画像４１-3に特徴点がトラッキングされ、画像４１-2の特徴点（ａ2 ，ｂ2 ）とＯ3 地点の画像４１-3の特徴点（ａ3 ，ｂ3 ）により、特徴点ａ，ｂの高さ測定が行われる。又、特徴点ａ，ｂの地上座標は、前記ＧＰＳ装置２３の測定結果に基づき演算される。
【００６７】
又、撮像時のＯ1 地点、Ｏ2 地点、Ｏ3 地点の絶対高さも、前記ＧＰＳ装置２３によって測定できる。該ＧＰＳ装置２３で得られた絶対高さは、前記ヘリコプタ１の基準位置の絶対高さを示し、地表からの高さを示すものではないが、Ｏ1 地点、Ｏ2 地点、Ｏ3 地点の高さについての相対位置関係は得られる。又、撮像時のＯ1 地点、Ｏ2 地点、Ｏ3 地点での測定は、時間的に、又距離的に近接しており、前記ＧＰＳ装置２３で得られた高さの相対精度は高いものと判断できる。
【００６８】
尚、上記説明では特徴点ａ，ｂの２点について説明したが、特徴点は、画像全体に亘り抽出される。従って、特徴点の３次元座標が得られることで、地表面４２の状態、例えば凹凸、傾斜等も測定できる。
【００６９】
上記した様に、抽出した特徴点に対応する地上の測定点Ａ，Ｂについて、２組の画像による高さ測定が実行され、測定点Ａ，Ｂについてそれぞれ２組の３次元座標が得られる。
【００７０】
この２組の３次元座標を比較することで、前記画像４１-1から前記画像４１-2に、更に該画像４１-2から画像４１-3に順次トラッキングして特定した特徴点が正確かどうかが判定できる。
【００７１】
図５に示される様に、特徴点ａについて算出した２組の３次元座標が一致しており、前記画像４１-1から画像４１-3に正確にトラッキングされ、又測定結果も正しい（正）と判断できる。
【００７２】
ところが、特徴点ｂについては、画像４１-1と画像４１-2とに基づき演算した３次元座標と、該画像４１-2と画像４１-3とに基づき演算した３次元座標とが一致していない、又は、設定した精度範囲を超えていた場合、トラッキングが正しくなかった、或は測定された測定点がずれていた（否）と判断できる。この場合、特徴点ｂについては測定結果が削除される。
【００７３】
而して、抽出した特徴点全てについて、２組の３次元座標を求め、それぞれ２組の３次元座標に基づき正否判定を行い、正判定された特徴点の測定結果のみが前記第１記憶部２５に蓄積される。
【００７４】
尚、もう１つの他の２画像、即ちＯ1 地点の画像４１-1とＯ3 地点の画像４１-3及び特徴点（ａ1 ，ｂ1 ）（ａ3 ，ｂ3 ）に基づき、測定点Ａ，Ｂについてもう１組の３次元座標を求めることができる。得られた３組の３次元座標が一致、又は所定精度内であった場合、或は３組の３次元座標の内、２組が一致、又は所定精度内であった場合（以下、一致した場合及び所定精度内であった場合を一致とする）は正判定としてもよい。
【００７５】
正判定された特徴点をタイポイントとして、前記画像４１-1、画像４１-2、画像４１-3を合成し、広範囲の画像を作成し、或はステレオ画像を作成する。
【００７６】
更に、図６により、トリプレットマッチング、画像の合成の流れについて説明する。
【００７７】
ＳＴＥＰ：０１ 前記ヘリコプタ１が飛行し、予定された測定範囲に到達すると、飛行計画に従って、蛇行飛行が開始される。蛇行飛行しつつ、前記撮像装置１３により所定間隔で撮像され（或は連続画像で撮像され）、前記第１記憶部２５に格納される。更に、各頂点での画像が取得されると共に頂点の画像を取得した時点での時間、前記ＧＰＳ装置２３で測定した３次元座標が取得される。
【００７８】
ＳＴＥＰ：０２ 隣接する３頂点の画像データが読込まれ、３画像がオーバラップするオーバラップ部分４０が演算され、設定される。
【００７９】
ＳＴＥＰ：０３ 前記オーバラップ部分４０内で、特徴点が抽出され、各頂点で取得した画像間で特徴点の画像トラッキングが行われ、各頂点の画像中に共通する特徴点が特定される。
【００８０】
ＳＴＥＰ：０４ 特定された特徴点と、前記３頂点での３次元座標に基づき、トリプレットマッチングが行われる。更に、隣接する２画像を各１組として、各組について特徴点（タイポイント）と画像に基づき写真測量が行われ、特徴点に対応する測定点の３次元座標が求められる。
【００８１】
ＳＴＥＰ：０５ 各組の画像で求められた３次元座標を相互に比較し、一致しているかどうかの正否判定が実行される。正判定の測量結果のみが測定データとして取得される。
【００８２】
ＳＴＥＰ：０６ 頂点についての前記ＧＰＳ装置２３の測量値（３次元座標）、即ち撮像装置１３の位置と、前記特徴点をタイポイントとして３の頂点から撮影した静止画像の傾きの標定計算を実行する。標定計算の実行により２頂点間距離（基線長）と各頂点での前記撮像装置１３の回転角（前記撮像装置１３の向き）が決定され、３次元データを有するステレオ画像が作成可能となる。
【００８３】
ＳＴＥＰ：０７ 更に、読込む画像があるかどうか判断され、読込む画像がある場合は、ＳＴＥＰ：０２〜ＳＴＥＰ：０６の処理が繰返される。読込む画像がない場合は、ＳＴＥＰ：０８へ移行する。更に、前記３頂点で取得した画像の撮影位置、傾きの標定計算の局所処理を行い、更に局所処理が繰返されるので、迅速に処理が実行でき、飛行体１の正確な高度がリアルタイムで或は略リアルタイムで演算できる。
【００８４】
ＳＴＥＰ：０８ ３頂点の画像を１組とした画像の標定（局所標定）を順次連続して実行し、各頂点で撮像した静止画像の前記撮像装置１３の位置、傾きの初期値を求め、最終的にバンドル調整（ブロック）で一括して解析し、撮像された各頂点のカメラ位置と傾きを高精度で演算する。得られたカメラ位置と傾きに基づき、全画像の最適化、或は全画像の合成、ステレオ画像の作成を実行する。
【符号の説明】
【００８５】
１ ヘリコプタ
２ 基地制御装置
３ 機体
１３ 撮像装置
１６ 制御装置
１７ 測量部
１８ 飛行制御部
１９ 主演算制御部
２０ 通信部
２１ 電源部
２３ ＧＰＳ装置
２４ 測量部用ＣＰＵ
２５ 第１記憶部
２６ モータコントローラ
２７ 飛行制御用ＣＰＵ
２８ 第２記憶部
２９ ジャイロユニット
３２ 主ＣＰＵ
３３ 第３記憶部
３４ 入出力制御部
３５ 無線通信部
３６ 情報通信部
４０ オーバラップ部分
４１ 撮像素子
４２ 地表面
【技術分野】
【０００１】
本発明は、小型無人飛行体による航空写真撮像方法及び航空写真撮像装置に関するものである。
【背景技術】
【０００２】
上空からの写真撮影、或は上空からの測量では、地上からの写真撮影、地上での測量では得られない情報が得られ、或は人の立入れない場所の写真撮影、測量が困難な場所の情報が得られる。又、近年、遠隔操作される小型飛行機、小型ヘリコプタ等の小型飛行体の性能向上、遠隔操作技術の向上、更に撮像装置の性能の向上、小型化の促進等により小型飛行体に撮像装置を搭載し、遠隔操作により上空からの写真撮影が無人で行える様になっている。更に、予め設定した飛行スケジュールに従い、自律飛行も可能となっている。
【０００３】
小型飛行体により写真撮影を行う場合、機体が水平であることが望まれるが、実際には、機体が軽量である為、風により流されたり、機体が傾いている場合が多い。この為、固定的に搭載された撮像装置では、機体の状態により光軸が傾斜し、又傾斜方向も一定しない状態となる。
【０００４】
広範囲の画像を作成する場合、或は立体画像を作成する場合、隣接する２画像をオーバラップさせ、オーバラップした部分で２画像に共通な接続点（タイポイント）を抽出し、タイポイントを基準として画像合成が行われる。ところが、上記した様に、光軸が傾斜し、又傾斜角、傾斜方向が一定しない状態で撮像した画像を順次合成した場合、得られる広範囲の画像は、捻れたり、或は湾曲する等正確な合成画像が得られないという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２４５７４１号公報
【特許文献２】特開２００６−１０３７６号公報
【特許文献３】特開２００７−１７１０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は斯かる実情に鑑み、簡単な構成で、正確な地形の３次元計測が可能な航空写真撮像方法及び航空写真撮像装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明は、ＧＰＳ装置と、下方を撮像する撮像装置とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置により測定した２つの前記頂点の位置情報と、前記２画像の前記特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとする航空写真撮像方法に係るものである。
【０００８】
又本発明は、１つの頂点で撮像した画像で抽出した特徴点を画像トラッキングし、次の頂点で撮像した画像中に特定する航空写真撮像方法に係るものである。
【０００９】
又本発明は、前記タイポイント、前記ＧＰＳ装置により測定した前記３頂点の３次元座標に基づき、前記３頂点で取得した画像の撮影位置、傾きの標定計算の局所処理を行う航空写真撮像方法に係るものである。
【００１０】
又本発明は、飛行体と、該飛行体に設けられたＧＰＳ装置及び航行手段及び飛行体下方の画像を撮像する撮像装置及び画像処理部及び主演算制御部とを具備し、該主演算制御部は、前記飛行体を蛇行飛行させる飛行計画データを有し、前記ＧＰＳ装置からの位置情報と前記飛行計画データに基づき飛行誘導データを作成し、該飛行誘導データに基づき前記航行手段を制御して前記飛行体を蛇行飛行させ、前記撮像装置は蛇行飛行する際の方向変換する各頂点で撮像し、前記画像処理部は少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記主演算制御部は隣接する２画像を１組として、少なくとも２組について各組毎に前記特徴点に基づき写真測量し、少なくとも２つの測量結果が一致した場合に前記特徴点をタイポイントとし、該タイポイント及び前記３頂点の位置情報に基づき前記画像の標定計算を行う航空写真撮像装置に係るものである。
【発明の効果】
【００１１】
本発明によれば、ＧＰＳ装置と、下方を撮像する撮像装置とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置により測定した２つの前記頂点の位置情報と、前記２画像の前記特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとするので、直線飛行で撮像した画像では修正できない飛行体のローリングやピッチングによる画像の傾きを修正できる。
【００１２】
又本発明によれば、前記タイポイント、前記ＧＰＳ装置により測定した前記３頂点の３次元座標に基づき、前記３頂点で取得した画像の撮影位置、特に傾きの標定計算の局所処理を行うので、迅速に処理が実行でき、飛行体の正確な高度が局所的に略リアルタイムで演算できる。
【００１３】
又本発明によれば、飛行体と、該飛行体に設けられたＧＰＳ装置及び航行手段及び飛行体下方の画像を撮像する撮像装置及び画像処理部及び主演算制御部とを具備し、該主演算制御部は、前記飛行体を蛇行飛行させる飛行計画データを有し、前記ＧＰＳ装置からの位置情報と前記飛行計画データに基づき飛行誘導データを作成し、該飛行誘導データに基づき前記航行手段を制御して前記飛行体を蛇行飛行させ、前記撮像装置は蛇行飛行する際の方向変換する各頂点で撮像し、前記画像処理部は少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記主演算制御部は隣接する２画像を１組として、少なくとも２組について各組毎に前記特徴点に基づき写真測量し、少なくとも２つの測量結果が一致した場合に前記特徴点をタイポイントとし、該タイポイント及び前記３頂点の位置情報に基づき前記画像の標定計算を行うので、直線飛行で撮像した画像では修正できない飛行体のローリングやピッチングによる画像の傾きを修正できるという優れた効果を発揮する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例に係る航空写真撮像方法の概略図である。
【図２】本発明の実施例に係る飛行体に搭載される制御装置のブロック図である。
【図３】飛行体が２地点で撮影した画像から飛行体の高度、測定点の座標の写真測量を行う場合の説明図である。
【図４】飛行体が蛇行飛行する軌跡と撮像する地点との関係を示す説明図である。
【図５】２画像を１組として抽出した特徴点と撮像地点の位置情報に基づき、特徴点に対応する地表の測定を測定した場合の、各組間の測定結果の一致、不一致を示す説明図である。
【図６】本実施例の作用を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ本発明の実施例を説明する。
【００１６】
先ず、図１に於いて、本発明が実施される飛行体の飛行制御システムについて説明する。
【００１７】
図１中、１は自律飛行可能な飛行体、２は地上に設置される基地制御装置であり、該基地制御装置２は、前記飛行体１とデータ通信可能であり、前記飛行体１の飛行の制御、飛行計画の設定、変更、前記飛行体１が収集した情報を保存、管理する。
【００１８】
前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（後述）に飛行計画が設定され、飛行計画に従って、自律飛行する。
【００１９】
前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７はそれぞれ個別に第１モータ８、第２モータ９、第３モータ１０、第４モータ１１（後述）に連結され、又後述する様に各第１モータ８、第２モータ９、第３モータ１０、第４モータ１１は独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１等は飛行体の航行手段を構成する。
【００２０】
前記ヘリコプタ１の機体３には、撮像装置１３及び制御装置が設けられている。前記撮像装置１３はデジタル画像を取得する。該撮像装置１３は、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像するビデオカメラであってもよい。前記撮像装置１３は前記機体３の下面に設けられている。又、前記撮像装置１３は、撮像素子として、画素（ピクセル）の集合体であるＣＣＤ、ＣＭＯＳセンサを有しており、撮像素子の中心（受光面の座標中心）と前記撮像装置１３の光軸１５とは合致している。
【００２１】
前記撮像素子の各画素は撮像素子上の位置（座標）が特定でき、更に各画素の画角（前記光軸１５に対する角度）が分る様になっている。
【００２２】
前記光軸１５は、前記機体３の基準位置（例えば機械中心）を通過し、前記光軸１５は、前記ヘリコプタ１が水平姿勢で、鉛直線と合致する様に設定されている。前記撮像装置１３は、角度θの視野角を持っており、航空写真用の画像を取得可能となっている。又、該撮像装置１３で撮像した画像は、後述する様に、位置測定用の画像データとしても使用される。
【００２３】
前記撮像装置１３で撮像された画像は、撮像した時間、ＧＰＳ装置２３（後述）で測定した地心座標（３次元座標）に関連付けられて、後述する第１記憶部２５に格納される。
【００２４】
図２は、前記機体３に設けられる制御装置１６を示している。該制御装置１６は、主に測量部１７、飛行制御部１８、主演算制御部１９、通信部２０、電源部２１から構成される。
【００２５】
前記測量部１７は、前記ＧＰＳ装置２３、測量部用ＣＰＵ２４、第１記憶部２５、前記撮像装置１３等から構成される。尚、前記測量部用ＣＰＵ２４、前記第１記憶部２５は、画像処理部を構成し、後述する特徴点の抽出、画像トラッキング処理等を実行する。
【００２６】
前記ＧＰＳ装置２３は、前記ヘリコプタ１の基準位置、例えば機械中心を測定する様に構成され、又、前記ＧＰＳ装置２３は前記基準位置の絶対３次元座標を測定し、測定値は地心座標（絶対座標）系から求められる地上座標系及び高度を表す。
【００２７】
又、前記ヘリコプタ１が水平姿勢では、前記光軸１５は前記基準位置を通過すると共に鉛直となっている。従って、前記撮像装置１３は、前記ヘリコプタ１直下の所要の画角θの範囲の画像を取得可能であり、更に画像の中心は前記基準位置と合致する様に設定されている。
【００２８】
前記第１記憶部２５には、前記撮像装置１３で取得した画像及び画像を取得した時刻が、前記画像に関連付けられて格納される様になっており、更に、画像を取得した時刻に同期させて前記ＧＰＳ装置２３によって前記ヘリコプタ１の３次元座標が測定され、測定された３次元座標も画像を取得した時刻に関連付けられて前記第１記憶部２５に格納される様になっている。
【００２９】
又、前記第１記憶部２５には、撮像制御プログラム、３次元位置測定プログラム、画像処理プログラム、トラッキング処理プログラム等のプログラムが格納されている。更に、前記第１記憶部２５には、前記撮像装置１３で撮像された画像及び、撮像時の時間、画像を取得した時の３次元座標が前記画像に関連付けられて格納される。
【００３０】
前記撮像制御プログラムは、前記ヘリコプタ１の飛行速度、前記撮像装置１３の視野角θ等に基づき時間的に隣接する画像が所定の割合でオーバラップする様に、又隣接する頂点（後述）で撮像した画像が所定の割合でオーバラップする様に前記撮像装置１３で撮影した画像データの取得時期を制御する。尚、画像トラッキングを行う場合は、画像データを取得し、次の画像データを取得する間も所定時間間隔で撮像する様に前記撮像装置１３を制御している。
【００３１】
前記画像処理プログラムは、前記撮像装置１３で取得した画像から特徴点（タイポイント）を抽出する、或はタイポイントを基準として複数の画像を合成する等の画像処理を行う。
【００３２】
又、前記トラッキング処理プログラムは時間的に隣接する画像間で特徴点の画像トラッキングを行い、前記画像の特徴点を順次、次画像中に特定する。尚、画像トラッキングについては特許文献２又は特許文献３に示されている。
【００３３】
前記３次元位置測定プログラムは、前記ＧＰＳ装置２３の測定で得られる地上座標と、前記撮像装置１３の画像から抽出したタイポイントに基づき、写真測量等の測定方法により前記ヘリコプタ１（基準位置）の高さ距離を演算する。従って、前記ヘリコプタ１の高さは、前記ＧＰＳ装置２３の測定で得られる第１高さ距離と、画像に基づき写真測量により求めた第２高さ距離が得られる。
【００３４】
尚、第１高さ距離は後述する様に、前記タイポイントを確定する場合に用いられ、第２高さ距離は確定した特徴点に基づき写真測量され、第２高さ距離は前記第１高さ距離に比べて、より高い精度を持っている。
【００３５】
尚、前記３次元位置測定プログラム、取得した画像及び画像を取得した位置、時刻等は後述する第３記憶部３３に格納されてもよい。この場合、測定に必要な演算処理は主ＣＰＵ３２が実行する。
【００３６】
前記測量部用ＣＰＵ２４は、前記撮像制御プログラムにより前記撮像装置１３の撮像を制御し、前記トラッキング処理プログラムにより画像トラッキングを行い、前記画像処理プログラムにより、タイポイントの抽出、複数の画像を合成し、更に前記３次元位置測定プログラムにより第２高さ距離を演算する。
【００３７】
前記飛行制御部１８は、前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１及びこれらモータを個別に駆動制御するモータコントローラ２６、該モータコントローラ２６を制御する飛行制御用ＣＰＵ２７、第２記憶部２８、前記ヘリコプタ１の水平に対する姿勢状態（傾斜）を検出して姿勢状態信号を発する姿勢検出器、例えばジャイロユニット２９を具備する。
【００３８】
前記第２記憶部２８には、前記主演算制御部１９からの飛行誘導データに基づき、飛行速度、上昇速度、降下速度、飛行方向、飛行高度等の飛行状態を演算する飛行制御プログラムが格納され、前記ジャイロユニット２９からの前記姿勢状態信号に基づき姿勢制御用の情報を演算する姿勢制御プログラム等が格納されている。
【００３９】
前記飛行制御用ＣＰＵ２７は、前記飛行制御プログラム及び前記飛行誘導データに基づき飛行制御指令を前記モータコントローラ２６に送出して該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１を制御し、所定の飛行を実行し、又前記姿勢制御プログラムに基づき姿勢制御指令を前記モータコントローラ２６に送出して、該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１をそれぞれ制御することで、飛行可能な姿勢に維持する。
【００４０】
前記主演算制御部１９は、主ＣＰＵ３２、第３記憶部３３、入出力制御部３４を具備し、該第３記憶部３３には、統合プログラム、飛行誘導プログラム、通信制御プログラム等のプログラムが格納され、飛行計画データが格納されている。該飛行計画データに格納されているデータとしては、例えば飛行コース、飛行高度、撮影する場所、範囲等である。
【００４１】
前記統合プログラムは、前記測量部１７、前記飛行制御部１８を統合して制御する。前記飛行誘導プログラムは、前記飛行計画データ及び前記ＧＰＳ装置２３で測定した位置情報から飛行誘導データを作成する。
【００４２】
又、前記主ＣＰＵ３２は、前記飛行誘導プログラムにより飛行誘導データを作成し、前記統合プログラムに基づき前記入出力制御部３４を介して、所要のタイミングで前記飛行誘導データを前記飛行制御部１８に出力し、更に、前記測量部１７からの高度測定結果に基づき、地表に対し所定の高度を維持する様、更に飛行誘導データとして前記飛行制御部１８に発する。尚、飛行を制御する為の高度測定結果は、前記第１高さ距離、前記第２高さ距離のいずれが用いられてもよい。
【００４３】
前記通信部２０は、無線通信部３５、情報通信部３６等からなり、前記無線通信部３５は、地上基地からの遠隔飛行制御指令を受信し、又ヘリコプタ１の飛行状態を地上基地に通信する。又、前記情報通信部３６は、無線ＬＡＮ或はブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の通信手段を用いて地上基地とヘリコプタ１間の情報の授受を行うものであり、例えば前記ヘリコプタ１が基地に着陸した状態で、前記飛行計画データが基地から前記ヘリコプタ１に送信され、或は飛行中撮像した画像、位置、時刻情報がヘリコプタ１から基地に送信される。
【００４４】
前記電源部２１は、例えば交換可能な可充電電池であり、基地に着陸した際に充電済の電池と交換され、消耗した電池が次に交換される迄に充電される。前記電源部２１は、飛行中は前記測量部１７、前記飛行制御部１８、前記主演算制御部１９、前記通信部２０に必要な電力を供給する。
【００４５】
前記撮像装置１３が取得した画像、前記測量部１７が測定した位置情報、タイポイントの情報は、前記通信部２０を介して前記基地制御装置２に通信される。該基地制御装置２では、前記画像から、広範囲の合成画像を作成し、又ステレオ画像を作成し、或はステレオ画像に基づき写真測量を行う。
【００４６】
前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７、前記主ＣＰＵ３２は、前記ヘリコプタ１の演算部を構成し、上記した様に前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７、前記主ＣＰＵ３２は、前記測量部１７、前記飛行制御部１８、前記主演算制御部１９にそれぞれ個別に設けてもよく、或は１つの演算部を設け、該演算部に前記測量部用ＣＰＵ２４の機能、前記飛行制御用ＣＰＵ２７の機能、前記主ＣＰＵ３２の機能を振分ける様にしてもよい。或は、前記主ＣＰＵ３２を前記演算部とし、前記主ＣＰＵ３２に前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７のいずれか又は両方の処理を実行させ、前記測量部用ＣＰＵ２４、前記飛行制御用ＣＰＵ２７のいずれか又は両方を省略してもよい。
【００４７】
又、前記第１記憶部２５、前記第２記憶部２８、前記第３記憶部３３は、前記ヘリコプタ１の記憶部を構成する。上記した様に、前記第１記憶部２５、前記第２記憶部２８、前記第３記憶部３３は、個別に設けてもよく、或は記憶部を１つの記憶装置とし、該記憶装置に前記第１記憶部２５と前記第２記憶部２８と前記撮像装置１３とに対応する記憶領域を設定してもよい。
【００４８】
次に、図３により、写真測量による距離測定について説明する。
【００４９】
図３に於いて、前記ヘリコプタ１はＯ1 地点からＯ2 地点へ飛行し、Ｏ1 地点とＯ2 地点で撮像したとする。又、Ｏ1 地点からＯ2 地点迄の距離Ｂは撮影基線長であり、４１-1，４１-2は、それぞれＯ1 地点、Ｏ2 地点での前記撮像装置１３の撮像素子４１を示し、画像データと同等である。尚、図３では、前記撮像装置１３の光軸１５は鉛直、即ち前記ヘリコプタ１は水平姿勢の場合を示している。
【００５０】
Ｏ1 地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ1 （ｘ1 ，ｙ1 ）、Ｏ2 地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ2 （ｘ2 ，ｙ2 ）となる。撮像素子４１-1の中心０-1（原点）からｐ1 迄の距離をｌ１、撮像素子４１-2の中心０-2（原点）からｐ2 迄の距離をｌ２とすると、前記撮像装置１３の焦点距離ｆ、前記撮影基線長ＢからＰ迄の距離Ｚ（前記ヘリコプタ１の高さ距離）は、３角形Ｏ1 ，Ｏ2 ，Ｐと３角形Ｏ1 ，０-1，ｐ1 及び３角形Ｏ2 ，０-2，ｐ2 との相似関係から、Ｚ＝Ｂｆ／（ｌ１＋ｌ２）となる。
【００５１】
ここで、前記Ｏ1 地点、Ｏ2 地点の地上座標は前記ＧＰＳ装置２３によって測定でき、又前記撮影基線長Ｂは前記Ｏ1 地点とＯ2 地点の２点間の距離となり、前記ＧＰＳ装置２３の測定結果に基づき前記撮影基線長Ｂを求めることができる。又、測定点Ｐの地心位置（平面座標）も、同様にｐ1 （ｘ1 ，ｙ1 ）及びｐ2 （ｘ2 ，ｙ2 ）と前記ＧＰＳ装置２３で測定したＯ1 地点、Ｏ2 地点の地心位置から求めることができる。
【００５２】
従って、前記ヘリコプタ１が移動する過程で順次撮像した２つの画像から、ヘリコプタ１の高度（地表からの高さ）をリアルタイムで測定（高さ距離測定）することができる。
【００５３】
尚、前記ＧＰＳ装置２３は３次元座標を測定可能であり、地上座標と同時に高さ位置も得られるが、得られる高さの位置は絶対位置であり、地表からの高さとは異なる。又、前記ＧＰＳ装置２３の特性として、地上座標に比べ高さ位置の測定結果は前記ＧＰＳ装置２３の衛星からの受信状態に影響を受け易く、地上座標の精度に比べて悪くなっている。
【００５４】
写真測量では、精度の高い地上座標を用いて画像上から測定するので、高い精度を持つ測定結果が得られ、又地上からの高さ距離が求められる。
【００５５】
上記、写真測量に於いて、ｐ1 （ｘ1 ，ｙ1 ）及びｐ2 （ｘ2 ，ｙ2 ）は、Ｏ1 地点で撮像した画像と、Ｏ2 地点で撮像した画像との共通の点に対応するものであり、前述したタイポイントに相当する。
【００５６】
上記写真測量は、前記ヘリコプタ１が水平姿勢である場合を説明したが、前記ヘリコプタ１は小型軽量であり、風等の影響を受け易く、実際には、撮影の度に前記ヘリコプタ１の姿勢が変化している場合が多い。
【００５７】
従って、直線状に飛行し、機体３が進行方向に対してローリングする様な状態で、画像を取得し、取得した複数の画像を合成する場合、或は画像で距離測定した場合、或は画像を広範囲画像に合成したり、ステレオ画像を作成した場合、画像が変形したり、画像が捻れたり、或は距離測定の精度が悪くなる。
【００５８】
本実施例では、ヘリコプタ１（機体３）の姿勢が、変化した場合でも、画像から正確な測定、或は適正に画像の合成を可能とするものである。
【００５９】
本実施例では、図４に示す様にヘリコプタ１を蛇行させて飛行させ、飛行の方向を変換する各頂点（Ｏ1 ，Ｏ2 ，Ｏ3 ，Ｏ4 ，…，Ｏn ）で、それぞれ写真撮影を行い、隣接する３頂点（図示では、Ｏ1 ，Ｏ2 ，Ｏ3 ）で撮像した３つの画像４１-1，４１-2，４１-3を組としてトリプレットマッチングするものであり、又トリプレットマッチングすることで、正確にタイポイントの対応付け（確定）を、行うものである。又、トリプレットマッチングを行う画像は、撮像する度に最新の画像を含む様に組替えられ、頂点Ｏ4 で画像が撮像されるとＯ2 ，Ｏ3 ，Ｏ4 で撮像された画像がトリプレットマッチングの対象となる。而して、方向変換する度にトリプレットマッチングが実行される。又、トリプレットマッチングが可能なオーバラップ部分４０（図４中、ハッチング部分）が得られる様に、方向変換する頂点間の距離、又は撮像する時間間隔が飛行スケジュールによって設定される。
【００６０】
図５を参照してトリプレットマッチングについて説明する。尚、３画像の内２画像ずつによる高さ測定（写真測量）を行うが、２画像による高さ距離測定は、上記した説明と同様に行う。
【００６１】
図５は、飛行中のヘリコプタ１で撮像した画像から順次高度測定を行っている状態を模式化したものである。又、図３では、ヘリコプタ１の高度測定について説明したが、前記撮像装置１３で撮像した画像全体について、画像の任意の部位についての高さ距離測定、即ち画像の部位に対応する地表面４２の部位の高さ測定を実施することができる。
【００６２】
前記撮像装置１３で撮像した地表面４２の画像について、画像処理を行い、画像中から特徴点ａ〜ｎを抽出する。特徴点の抽出については、エッジ処理、コントラスト処理等適宜な画像処理により実行される。
【００６３】
又、１つの頂点で撮像した画像中から抽出した特徴点を、隣接する次の頂点で撮像した画像中に、順次特定する必要があるが、特定する方法として画像トラッキングがある。画像トラッキングでは、１つの頂点から次の頂点迄連続的に、或は所定時間間隔で画像を取得し、時間的に隣接する画像に次々に特徴点を特定（画像トラッキング）し、１つの頂点の画像の特徴点を次の頂点の画像中に対応付ける。
【００６４】
尚、トリプレットマッチングを行うことから、特徴点は３画像がオーバラップした前記オーバラップ部分４０（図４参照）内で選択される。
【００６５】
３画像の内２画像に於いて、例えばＯ1 地点の画像４１-1に於いて、特徴点ａ1 ，ｂ1 が抽出され、該特徴点ａ1 ，ｂ1 がトラッキングにより、Ｏ2 地点の画像４１-2中に特徴点ａ2 ，ｂ2 として特定され、前記画像４１-1，４１-2により特徴点ａ，ｂの高さ測定が行われる。又、特徴点ａ，ｂの地上座標は、前記ＧＰＳ装置２３の測定結果に基づき演算される。而して、特徴点ａ，ｂの３次元座標が演算される。
【００６６】
又他の２画像、即ちＯ2 地点の画像４１-2とＯ3 地点の画像４１-3に於いて、Ｏ2 地点の画像４１-2からＯ3 地点の画像４１-3に特徴点がトラッキングされ、画像４１-2の特徴点（ａ2 ，ｂ2 ）とＯ3 地点の画像４１-3の特徴点（ａ3 ，ｂ3 ）により、特徴点ａ，ｂの高さ測定が行われる。又、特徴点ａ，ｂの地上座標は、前記ＧＰＳ装置２３の測定結果に基づき演算される。
【００６７】
又、撮像時のＯ1 地点、Ｏ2 地点、Ｏ3 地点の絶対高さも、前記ＧＰＳ装置２３によって測定できる。該ＧＰＳ装置２３で得られた絶対高さは、前記ヘリコプタ１の基準位置の絶対高さを示し、地表からの高さを示すものではないが、Ｏ1 地点、Ｏ2 地点、Ｏ3 地点の高さについての相対位置関係は得られる。又、撮像時のＯ1 地点、Ｏ2 地点、Ｏ3 地点での測定は、時間的に、又距離的に近接しており、前記ＧＰＳ装置２３で得られた高さの相対精度は高いものと判断できる。
【００６８】
尚、上記説明では特徴点ａ，ｂの２点について説明したが、特徴点は、画像全体に亘り抽出される。従って、特徴点の３次元座標が得られることで、地表面４２の状態、例えば凹凸、傾斜等も測定できる。
【００６９】
上記した様に、抽出した特徴点に対応する地上の測定点Ａ，Ｂについて、２組の画像による高さ測定が実行され、測定点Ａ，Ｂについてそれぞれ２組の３次元座標が得られる。
【００７０】
この２組の３次元座標を比較することで、前記画像４１-1から前記画像４１-2に、更に該画像４１-2から画像４１-3に順次トラッキングして特定した特徴点が正確かどうかが判定できる。
【００７１】
図５に示される様に、特徴点ａについて算出した２組の３次元座標が一致しており、前記画像４１-1から画像４１-3に正確にトラッキングされ、又測定結果も正しい（正）と判断できる。
【００７２】
ところが、特徴点ｂについては、画像４１-1と画像４１-2とに基づき演算した３次元座標と、該画像４１-2と画像４１-3とに基づき演算した３次元座標とが一致していない、又は、設定した精度範囲を超えていた場合、トラッキングが正しくなかった、或は測定された測定点がずれていた（否）と判断できる。この場合、特徴点ｂについては測定結果が削除される。
【００７３】
而して、抽出した特徴点全てについて、２組の３次元座標を求め、それぞれ２組の３次元座標に基づき正否判定を行い、正判定された特徴点の測定結果のみが前記第１記憶部２５に蓄積される。
【００７４】
尚、もう１つの他の２画像、即ちＯ1 地点の画像４１-1とＯ3 地点の画像４１-3及び特徴点（ａ1 ，ｂ1 ）（ａ3 ，ｂ3 ）に基づき、測定点Ａ，Ｂについてもう１組の３次元座標を求めることができる。得られた３組の３次元座標が一致、又は所定精度内であった場合、或は３組の３次元座標の内、２組が一致、又は所定精度内であった場合（以下、一致した場合及び所定精度内であった場合を一致とする）は正判定としてもよい。
【００７５】
正判定された特徴点をタイポイントとして、前記画像４１-1、画像４１-2、画像４１-3を合成し、広範囲の画像を作成し、或はステレオ画像を作成する。
【００７６】
更に、図６により、トリプレットマッチング、画像の合成の流れについて説明する。
【００７７】
ＳＴＥＰ：０１ 前記ヘリコプタ１が飛行し、予定された測定範囲に到達すると、飛行計画に従って、蛇行飛行が開始される。蛇行飛行しつつ、前記撮像装置１３により所定間隔で撮像され（或は連続画像で撮像され）、前記第１記憶部２５に格納される。更に、各頂点での画像が取得されると共に頂点の画像を取得した時点での時間、前記ＧＰＳ装置２３で測定した３次元座標が取得される。
【００７８】
ＳＴＥＰ：０２ 隣接する３頂点の画像データが読込まれ、３画像がオーバラップするオーバラップ部分４０が演算され、設定される。
【００７９】
ＳＴＥＰ：０３ 前記オーバラップ部分４０内で、特徴点が抽出され、各頂点で取得した画像間で特徴点の画像トラッキングが行われ、各頂点の画像中に共通する特徴点が特定される。
【００８０】
ＳＴＥＰ：０４ 特定された特徴点と、前記３頂点での３次元座標に基づき、トリプレットマッチングが行われる。更に、隣接する２画像を各１組として、各組について特徴点（タイポイント）と画像に基づき写真測量が行われ、特徴点に対応する測定点の３次元座標が求められる。
【００８１】
ＳＴＥＰ：０５ 各組の画像で求められた３次元座標を相互に比較し、一致しているかどうかの正否判定が実行される。正判定の測量結果のみが測定データとして取得される。
【００８２】
ＳＴＥＰ：０６ 頂点についての前記ＧＰＳ装置２３の測量値（３次元座標）、即ち撮像装置１３の位置と、前記特徴点をタイポイントとして３の頂点から撮影した静止画像の傾きの標定計算を実行する。標定計算の実行により２頂点間距離（基線長）と各頂点での前記撮像装置１３の回転角（前記撮像装置１３の向き）が決定され、３次元データを有するステレオ画像が作成可能となる。
【００８３】
ＳＴＥＰ：０７ 更に、読込む画像があるかどうか判断され、読込む画像がある場合は、ＳＴＥＰ：０２〜ＳＴＥＰ：０６の処理が繰返される。読込む画像がない場合は、ＳＴＥＰ：０８へ移行する。更に、前記３頂点で取得した画像の撮影位置、傾きの標定計算の局所処理を行い、更に局所処理が繰返されるので、迅速に処理が実行でき、飛行体１の正確な高度がリアルタイムで或は略リアルタイムで演算できる。
【００８４】
ＳＴＥＰ：０８ ３頂点の画像を１組とした画像の標定（局所標定）を順次連続して実行し、各頂点で撮像した静止画像の前記撮像装置１３の位置、傾きの初期値を求め、最終的にバンドル調整（ブロック）で一括して解析し、撮像された各頂点のカメラ位置と傾きを高精度で演算する。得られたカメラ位置と傾きに基づき、全画像の最適化、或は全画像の合成、ステレオ画像の作成を実行する。
【符号の説明】
【００８５】
１ ヘリコプタ
２ 基地制御装置
３ 機体
１３ 撮像装置
１６ 制御装置
１７ 測量部
１８ 飛行制御部
１９ 主演算制御部
２０ 通信部
２１ 電源部
２３ ＧＰＳ装置
２４ 測量部用ＣＰＵ
２５ 第１記憶部
２６ モータコントローラ
２７ 飛行制御用ＣＰＵ
２８ 第２記憶部
２９ ジャイロユニット
３２ 主ＣＰＵ
３３ 第３記憶部
３４ 入出力制御部
３５ 無線通信部
３６ 情報通信部
４０ オーバラップ部分
４１ 撮像素子
４２ 地表面
【特許請求の範囲】
【請求項１】
ＧＰＳ装置と、下方を撮像する撮像装置とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置により測定した２つの前記頂点の位置情報と、前記２画像の前記特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとすることを特徴とする航空写真撮像方法。
【請求項２】
１つの頂点で撮像した画像で抽出した特徴点を画像トラッキングし、次の頂点で撮像した画像中に特定する請求項１の航空写真撮像方法。
【請求項３】
前記タイポイント、前記ＧＰＳ装置により測定した前記３頂点の３次元座標に基づき、前記３頂点で取得した画像の撮影位置、傾きの標定計算の局所処理を行う請求項１又は請求項２の航空写真撮像方法。
【請求項４】
飛行体と、該飛行体に設けられたＧＰＳ装置及び航行手段及び飛行体下方の画像を撮像する撮像装置及び画像処理部及び主演算制御部とを具備し、該主演算制御部は、前記飛行体を蛇行飛行させる飛行計画データを有し、前記ＧＰＳ装置からの位置情報と前記飛行計画データに基づき飛行誘導データを作成し、該飛行誘導データに基づき前記航行手段を制御して前記飛行体を蛇行飛行させ、前記撮像装置は蛇行飛行する際の方向変換する各頂点で撮像し、前記画像処理部は少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記主演算制御部は隣接する２画像を１組として、少なくとも２組について各組毎に前記特徴点に基づき写真測量し、少なくとも２つの測量結果が一致した場合に前記特徴点をタイポイントとし、該タイポイント及び前記３頂点の位置情報に基づき前記画像の標定計算を行うことを特徴とする航空写真撮像装置。
【請求項１】
ＧＰＳ装置と、下方を撮像する撮像装置とを具備する飛行体を蛇行飛行させ、蛇行飛行で方向変換する各頂点で撮像し、少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記画像の内の２つの頂点の２画像を組とし、少なくとも２組について、各組毎に前記ＧＰＳ装置により測定した２つの前記頂点の位置情報と、前記２画像の前記特徴点とに基づき特徴点に対応する測定点の写真測量を行い、測定点の測量結果が少なくとも２組で一致した場合の特徴点を画像の合成用のタイポイントとすることを特徴とする航空写真撮像方法。
【請求項２】
１つの頂点で撮像した画像で抽出した特徴点を画像トラッキングし、次の頂点で撮像した画像中に特定する請求項１の航空写真撮像方法。
【請求項３】
前記タイポイント、前記ＧＰＳ装置により測定した前記３頂点の３次元座標に基づき、前記３頂点で取得した画像の撮影位置、傾きの標定計算の局所処理を行う請求項１又は請求項２の航空写真撮像方法。
【請求項４】
飛行体と、該飛行体に設けられたＧＰＳ装置及び航行手段及び飛行体下方の画像を撮像する撮像装置及び画像処理部及び主演算制御部とを具備し、該主演算制御部は、前記飛行体を蛇行飛行させる飛行計画データを有し、前記ＧＰＳ装置からの位置情報と前記飛行計画データに基づき飛行誘導データを作成し、該飛行誘導データに基づき前記航行手段を制御して前記飛行体を蛇行飛行させ、前記撮像装置は蛇行飛行する際の方向変換する各頂点で撮像し、前記画像処理部は少なくとも隣接する３頂点で撮像した画像の共通オーバラップ部分から特徴点を抽出し、前記主演算制御部は隣接する２画像を１組として、少なくとも２組について各組毎に前記特徴点に基づき写真測量し、少なくとも２つの測量結果が一致した場合に前記特徴点をタイポイントとし、該タイポイント及び前記３頂点の位置情報に基づき前記画像の標定計算を行うことを特徴とする航空写真撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２４２３２１（Ｐ２０１２−２４２３２１Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４６５１（Ｐ２０１１−１１４６５１）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]