飛行体の飛行制御システム
【課題】簡便に而も高精度に飛行体の高さ位置の測定を可能とし、無人飛行時の飛行体の飛行高度を適正に制御可能とした飛行制御システムを提供する。
【解決手段】飛行体と、該飛行体に設けられた航行手段８，９，１０，１１と、位置測定部１７と、前記航行手段を制御する飛行制御部１８と、前記位置測定部と前記飛行制御部とを制御する主演算制御部１９とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置２３と、飛行体下方のデジタル画像を撮像する鉛直カメラ１３とを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させる。
【解決手段】飛行体と、該飛行体に設けられた航行手段８，９，１０，１１と、位置測定部１７と、前記航行手段を制御する飛行制御部１８と、前記位置測定部と前記飛行制御部とを制御する主演算制御部１９とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置２３と、飛行体下方のデジタル画像を撮像する鉛直カメラ１３とを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛行体の無人飛行時の飛行高度を適正に制御する飛行体の飛行制御システムに関するものである。
【背景技術】
【０００２】
上空からの写真撮影、或は上空からの測量では、地上からの写真撮影、地上での測量では得られない情報が得られ、或は人の立入れない場所の写真撮影、測量が困難な場所の情報が得られる。又、近年、遠隔操作される小型飛行機、小型ヘリコプタ等の小型飛行体の性能向上、遠隔操作技術の向上、更に撮像装置の性能の向上、小型化の促進等により小型飛行体に撮像装置を搭載し、遠隔操作により上空からの写真撮影が無人で行える様になっている。更に、予め設定した飛行スケジュールに従い、自律飛行も可能となっている。
【０００３】
小型飛行体を遠隔操作により飛行させる場合、或は自律飛行させる場合、飛行中の小型飛行体自体の正確な位置情報が必要となる。
【０００４】
位置情報を取得する手段として、近年ではＧＰＳ位置測定装置が普及しており、簡便に地心座標（平面位置情報）が測定できる様になっている。更に、ＧＰＳ位置測定装置の小型軽量化が進み、飛行体等にも容易に設置することが可能となっている。
【０００５】
ＧＰＳ位置測定装置は、地心座標については高い精度で測定することができるが、地表からの高さについては測定精度が悪い。小型飛行体が飛行する地域は、必ずしも平坦とは限らず、地表の起伏、或は構築物、建造物のある場合では、地表の起伏、或は構築物、建造物に合わせて小型飛行体の高度を制御する必要がある。
【０００６】
この為、高さ測定の精度を上げるには、別途、地表迄の高さを測定する測定装置を用意する必要がある。ところが、小型飛行体の飛行能力から、小型飛行体の搭載能力は、数百グラムと極めて限定されており、種々の測定機器を搭載することは困難である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１０３７６号公報
【特許文献２】特開２００７−１７１０４８号公報
【特許文献３】特開２００４−２４５７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は斯かる実情に鑑み、簡便に而も高精度に飛行体の高さ位置の測定を可能とし、無人飛行時の飛行体の飛行高度を適正に制御可能とした飛行制御システムを提供するものである。
【課題を解決するための手段】
【０００９】
本発明は、飛行体と、該飛行体に設けられた航行手段と、位置測定部と、前記航行手段を制御する飛行制御部と、前記位置測定部と前記飛行制御部とを制御する主演算制御部とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置と、飛行体下方のデジタル画像を撮像する鉛直カメラとを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させる飛行体の飛行制御システムに係るものである。
【００１０】
又本発明は、前記位置測定部は、第１地点から第２地点迄連続して画像を取得し、第１地点で取得した画像から特徴点を抽出し、第１地点から第２地点に至る画像中で画像トラッキングにより第２地点での画像中に第１地点の画像中の特徴点を特定し、第１地点の画像と第２地点の画像に基づき、前記特徴点に対応する地表の測定点の３次元測定を行う飛行体の飛行制御システムに係るものである。
【００１１】
又本発明は、前記主演算制御部には、飛行計画データが設定され、該主演算制御部は前記飛行計画データに基づき前記飛行体の飛行コース、飛行高度を制御する飛行体の飛行制御システムに係るものである。
【００１２】
又本発明は、前記飛行体は鉛直カメラを傾斜させる傾動機構部を具備し、前記飛行体が傾斜面を飛行する場合は、前記傾動機構部が前記鉛直カメラの光軸が傾斜面に対して垂直となる様に前記鉛直カメラを傾斜させる飛行体の飛行制御システムに係るものである。
【００１３】
又本発明は、前記飛行体は前方の画像を取得する前視カメラを具備し、前記主演算制御部は前記前視カメラが取得した画像から前方の障害物を判断し、障害物の回避を行う飛行体の飛行制御システムに係るものである。
【００１４】
又本発明は、前記飛行体は、飛行体の傾斜を検出する姿勢検出器を具備し、該姿勢検出器は前記鉛直カメラの撮像時の前記飛行体の傾斜を検出し、前記位置測定部は、前記飛行体の傾斜に基づき第１地点の画像と第２地点の画像とを絶対標定する飛行体の飛行制御システムに係るものである。
【発明の効果】
【００１５】
本発明によれば、飛行体と、該飛行体に設けられた航行手段と、位置測定部と、前記航行手段を制御する飛行制御部と、前記位置測定部と前記飛行制御部とを制御する主演算制御部とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置と、飛行体下方のデジタル画像を撮像する鉛直カメラとを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させるので、地形の変化がある場所でも適正な自律飛行が可能となる。
【００１６】
又本発明によれば、前記位置測定部は、第１地点から第２地点迄連続して画像を取得し、第１地点で取得した画像から特徴点を抽出し、第１地点から第２地点に至る画像中で画像トラッキングにより第２地点での画像中に第１地点の画像中の特徴点を特定し、第１地点の画像と第２地点の画像に基づき、前記特徴点に対応する地表の測定点の３次元測定を行うので、地表面の画像を適正な状態で撮影できると共に地表面の３次元データを合わせて取得できる。
【００１７】
又本発明によれば、前記飛行体は鉛直カメラを傾斜させる傾動機構部を具備し、前記飛行体が傾斜面を飛行する場合は、前記傾動機構部が前記鉛直カメラの光軸が傾斜面に対して垂直となる様に前記鉛直カメラを傾斜させるので、地表の状態に拘らず、射影歪み（投影歪み）のない鮮明な画像を取得できる。
【００１８】
又本発明によれば、前記飛行体は前方の画像を取得する前視カメラを具備し、前記主演算制御部は前記前視カメラが取得した画像から前方の障害物を判断し、障害物の回避を行うので、障害物のある場所でも、自律飛行が可能である。
【００１９】
又本発明によれば、前記飛行体は、飛行体の傾斜を検出する姿勢検出器を具備し、該姿勢検出器は前記鉛直カメラの撮像時の前記飛行体の傾斜を検出し、前記位置測定部は、前記飛行体の傾斜に基づき第１地点の画像と第２地点の画像とを絶対標定するので、撮影時に飛行体が傾斜していた場合でも、精度の高い高度測定、地表の３次元測定が可能となる等の優れた効果を発揮する。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る飛行体の飛行高度制御システムの概略図である。
【図２】本発明の実施例に係る飛行体に搭載される制御装置のブロック図である。
【図３】該飛行体に搭載された鉛直カメラと地表面との関係を示す説明図である。
【図４】飛行体が２地点で撮影した画像から飛行体の高度、測定点の座標の測定を行う場合の説明図である。
【図５】取得した画像中で抽出した特徴点の画像トラッキングと各特徴点に対応する地表面の無測定点との関係を示す説明図である。
【図６】（Ａ）は飛行体が地表面に沿って所定の高度を維持して飛行する場合の説明図、（Ｂ）は飛行体が水平姿勢でのカメラの状態を示す説明図、（Ｃ）は傾斜面に対するカメラの状態を示す説明図である。
【図７】カメラが傾斜している場合の絶対標定についての説明図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しつつ本発明の実施例を説明する。
【００２２】
先ず、図１に於いて、本発明に係る飛行体の飛行高度制御システムの概略を説明する。
【００２３】
図１中、１は自律飛行する飛行体、２は地上に設置される基地制御装置であり、該基地制御装置２は、前記飛行体１とデータ通信可能であり、前記飛行体１の飛行の制御、飛行計画の設定、変更、前記飛行体１が収集した情報を保存、管理する。
【００２４】
前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（後述）に飛行計画が設定され、飛行計画に従って、自律飛行する。
【００２５】
前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７はそれぞれ個別に第１モータ８、第２モータ９、第３モータ１０、第４モータ１１（後述）に連結され、又後述する様に各第１モータ８、第２モータ９、第３モータ１０、第４モータ１１は独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１等は飛行体の航行手段を構成する。
【００２６】
前記ヘリコプタ１の機体３には、撮像装置及び制御装置が設けられている。撮像装置はデジタル画像を取得する、鉛直カメラ１３と前視カメラ１４から構成される。該鉛直カメラ１３、該前視カメラ１４は、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像するビデオカメラであってもよい。前記鉛直カメラ１３は前記機体３の下面に設けられている。又、撮像装置は、撮像素子として、画素（ピクセル）の集合体であるＣＣＤ、ＣＭＯＳセンサを有しており、各画素は撮像素子上の位置（座標）が特定でき、更に各画素の画角が分る様になっている。
【００２７】
前記鉛直カメラ１３は、前記機体３の基準位置（例えば機械中心）を通過する光軸１５を有し、該光軸１５は、前記ヘリコプタ１が水平姿勢で、鉛直線と合致する。前記鉛直カメラ１３は、角度θの視野角を持っており、航空写真用の画像を取得可能となっている。又、該鉛直カメラ１３で撮像した画像は、後述する様に、位置測定用の画像データとしても使用される。
【００２８】
前記鉛直カメラ１３は、好ましくは、前記光軸１５が前記基準位置を中心として進行・後退方向（以下、前後方向）に傾動する様に支持され、又前記鉛直カメラ１３を前後方向に傾動させる傾動機構部３０（後述）が設けられている。該傾動機構部３０は前記光軸１５が地表に対して常に垂直となる様に前記鉛直カメラ１３の傾きを調整する。
【００２９】
又、前記前視カメラ１４は、前記機体３の前面に設けられ、前方の画像を取得するものであり、前記前視カメラ１４の光軸は、水平であるか、又は水平から下方に所要角度傾斜している。従って、前記前視カメラ１４は、前記ヘリコプタ１が飛行する前方の景色を撮影し、撮影した画像は、前方の地形の変化の判断、或は障害物の認識に供される。
【００３０】
前記鉛直カメラ１３、前記前視カメラ１４で撮像された画像は、撮像した時間、ＧＰＳ装置２３（後述）で測定した地心座標、ジャイロユニット２９（後述）で検出した前記ヘリコプタ１の姿勢状態（飛行体の傾斜）に関連付けられて、後述する第１記憶部２５に格納される。
【００３１】
図２は、前記機体３に設けられる制御装置１６を示している。該制御装置１６は、主に位置測定部１７、飛行制御部１８、主演算制御部１９、通信部２０、電源部２１から構成される。
【００３２】
前記位置測定部１７は、平面位置測定装置としてのＧＰＳ装置２３、位置演算用ＣＰＵ２４、第１記憶部２５、前記鉛直カメラ１３、前記前視カメラ１４等から構成される。
【００３３】
前記ＧＰＳ装置２３は、前記ヘリコプタ１の基準位置、例えば機械中心を測定する様に構成され、又、前記ＧＰＳ装置２３の測定値は地心座標（絶対座標）系から求められる地上座標系を表すので、前記ＧＰＳ装置２３は前記基準位置の地上座標系の座標を測定する。
【００３４】
又、前記ヘリコプタ１が水平姿勢で、前記鉛直カメラ１３が基準姿勢では、前記光軸１５は前記基準位置を通過すると共に鉛直となっている。従って、前記鉛直カメラ１３は、前記ヘリコプタ１直下の所要の画角θの範囲の画像を取得可能であり、更に画像の中心は前記基準位置と合致する様に設定されている。
【００３５】
前記第１記憶部２５には、前記鉛直カメラ１３で取得した画像及び画像を取得した位置、時刻が前記画像に関連付けられて格納される様になっており、更に、画像を取得した時刻に同期させて前記ＧＰＳ装置２３によって前記ヘリコプタ１の地上座標が測定され、測定された地上座標も画像を取得した時刻に関連付けられて前記第１記憶部２５に格納される様になっている。
【００３６】
又、前記第１記憶部２５には、画像処理プログラム、３次元位置測定プログラム、撮像制御プログラム等のプログラムが格納されている。更に、前記第１記憶部２５には、前記鉛直カメラ１３、前記前視カメラ１４で撮像された画像が、撮像時の時間、地上座標、前記ヘリコプタ１の姿勢状態（飛行体の傾斜）に関連付けられて格納される。
【００３７】
前記画像処理プログラムは、前記鉛直カメラ１３で取得した画像から特徴点を抽出する等の画像処理を行い、又前記前視カメラ１４で取得した画像から、前方の地形を判断し、或は前方の障害物の認識を行う。前記３次元位置測定プログラムは、前記鉛直カメラ１３の画像から抽出した特徴点に基づき、前方交会法、後方交会法等の測定方法により前記ヘリコプタ１の高さ距離を演算する。又、前記ＧＰＳ装置２３の測定結果から、地上座標を求め、求めた高さ距離と地上座標により前記機体３の３次元位置を演算する。前記撮像制御プログラムは、前記鉛直カメラ１３、前記前視カメラ１４の撮像状態を制御する。
【００３８】
前記飛行制御部１８は、前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１及びこれらモータを個別に駆動制御するモータコントローラ２６、該モータコントローラ２６を制御する飛行制御用ＣＰＵ２７、第２記憶部２８、前記ヘリコプタ１の水平に対する姿勢状態（傾斜）を検出して姿勢状態信号を発する姿勢検出器、例えばジャイロユニット２９を具備する。
【００３９】
前記第２記憶部２８には、前記位置測定部１７からの飛行誘導データに基づき、飛行速度、上昇速度、降下速度、飛行方向、飛行高度等の飛行状態を演算する飛行制御プログラム、前記ジャイロユニット２９からの前記姿勢状態信号に基づき姿勢制御用の情報を演算する姿勢制御プログラム等が格納されている。前記飛行制御用ＣＰＵ２７は、前記飛行制御プログラムに基づき飛行制御指令を前記モータコントローラ２６に送出して該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１を制御し、所定の飛行を実行し、又前記姿勢制御プログラムに基づき姿勢制御指令を前記モータコントローラ２６に送出して、該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１をそれぞれ制御することで、前記ヘリコプタ１の姿勢を所望の状態（例えば水平状態）に制御する。
【００４０】
前記主演算制御部１９は、主ＣＰＵ３２、第３記憶部３３、入出力制御部３４を具備し、該第３記憶部３３には、統合プログラム、飛行制御プログラム、測量画像処理プログラム、通信制御プログラム、撮像部姿勢制御プログラム等のプログラム及び飛行計画データが格納されている。該飛行計画データに格納されているデータとしては、例えば飛行コース、飛行高度、撮影する場所、範囲等である。
【００４１】
前記統合プログラムは、前記位置測定部１７、前記飛行制御部１８を統合して制御する。前記飛行制御プログラムは、飛行計画データに基づき自律飛行する様、前記飛行制御部１８に飛行制御信号を発し、又、前記位置測定部１７からの高度測定結果に基づき、地表に対し所定の高度を維持する様前記飛行制御部１８に飛行制御信号を発する。更に前記飛行制御プログラムは、前記前視カメラ１４からの画像に基づき、前方の地形の変化の判断、或は障害物の認識を行い、危険回避、飛行コース変更の判断を行う。
【００４２】
又、撮像部姿勢制御プログラムは、地形の変化の判断に基づき、前記傾動機構部３０を制御して前記鉛直カメラ１３の光軸１５が地表に対して垂直になる様、前記鉛直カメラ１３の傾きを制御する。
【００４３】
前記通信部２０は、無線通信部３５、情報通信部３６等からなり、前記無線通信部３５は、地上基地からの遠隔飛行制御指令を受信し、又ヘリコプタ１の飛行状態を地上基地に通信する。又、前記情報通信部３６は、無線ＬＡＮ或はブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の通信手段を用いて地上基地とヘリコプタ１間の情報の授受を行うものであり、例えば前記ヘリコプタ１が基地に着陸した状態で、前記飛行計画データが基地から前記ヘリコプタ１に送信され、或は飛行中撮像した画像、位置、時刻情報がヘリコプタ１から基地に送信される。
【００４４】
前記電源部２１は、例えば可充電電池であり、基地に着陸した状態で充電され、飛行中は前記位置測定部１７、前記飛行制御部１８、前記主演算制御部１９、前記通信部２０、前記傾動機構部３０に必要な電力を供給する。
【００４５】
前記鉛直カメラ１３が取得した画像、前記位置測定部１７が測定した位置情報は、前記通信部２０を介して前記基地制御装置２に通信され、該基地制御装置２では、前記画像からステレオ画像を作成し、或はステレオ画像に基づき写真測量を行う。
【００４６】
次に、写真測量の測定精度について、図３を参照して説明する。
【００４７】
図３は、写真測量に用いられる画像が、撮影距離（高さ）Ｈ、撮影基線長Ｂ、カメラの焦点距離ｆ、カメラの画素サイズΔｐで撮像され、この条件での平面精度Δｘｙと高さ精度Δｚとを示している。
【００４８】
平面精度：Δｘｙ＝Ｈ×Δｐ／ｆ
【００４９】
高さ精度：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）となる。
【００５０】
従って、高さ精度ΔｚはＨ2 に比例するので、撮影距離Ｈを正確に維持すること、即ち前記機体３の高度を所定の値に正確に維持することが精度の高い写真測量を実行する条件となる。ここで撮影距離Ｈは、画像中の特徴点について演算した高さ距離であり、更に特徴点の高さ距離の加重平均値であり、或いは画像について得られた３次元座標全体の平均でもよい。
【００５１】
前記機体３の高度を所定の値に維持する為に、前記機体３の高度を測定する測定方法としては、レーザ測量機を搭載し、該レーザ測量機により測定した高度に基づき前記機体３の飛行高度を制御することも考えられるが、レーザ測量機は高価であり、又前記機体３の機器構成が複雑となる。何よりも、前記機体３の搭載能力による制限がある。本実施例では、既に搭載されている鉛直カメラ１３を用いて、機体３の高度をリアルタイムで測定し、更に測定結果を機体３の飛行に反映させ、地表からの高度を一定に保とうとするものである。
【００５２】
先ず、図４により、写真測量による距離測定についての概略を説明する。
【００５３】
図４では、前記鉛直カメラ１３により、既知点Ｏ１地点、既知点Ｏ２地点で測定点Ｐ点を含む画像を取得した場合であり、Ｏ１地点とＯ２地点とは撮影基線長Ｂだけ離れている。又、説明を簡略化する為、Ｏ１地点、Ｏ２地点で撮影した場合の前記鉛直カメラ１３の光軸は平行であるとする。又、前記鉛直カメラ１３は撮像素子４１を有し、図中、４１-1，４１-2は、それぞれＯ１地点、Ｏ２地点で撮像した状態での撮像素子である。
【００５４】
Ｏ１地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ１（ｘ１，ｙ１）、Ｏ２地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ２（ｘ２，ｙ２）となる。撮像素子４１-1の中心０-1（原点）からｐ１迄の距離をｌ１、撮像素子４１-2の中心０-2（原点）からｐ２迄の距離をｌ２とすると、前記撮影基線長ＢからＰ迄の距離Ｚは、３角形Ｏ１，Ｏ２，Ｐと３角形Ｏ１，０-1，ｐ１及び３角形Ｏ２，０-2，ｐ２との相似関係から、Ｚ＝Ｂｆ／（ｌ１＋ｌ２）となる。
【００５５】
ここで、前記Ｏ１地点、Ｏ２地点の地上座標は前記ＧＰＳ装置２３によって測定でき、又前記撮影基線長Ｂは前記Ｏ１地点とＯ２地点の２点間の距離となり、前記ＧＰＳ装置２３の測定結果に基づき前記撮影基線長Ｂを求めることができる。又、測定点Ｐの地心位置（平面座標）も、同様にｐ１（ｘ１，ｙ１）及びｐ２（ｘ２，ｙ２）と前記ＧＰＳ装置２３で測定したＯ１地点、Ｏ２地点の地心位置から求めることができる。
【００５６】
従って、前記ヘリコプタ１が移動する過程で順次撮像した２つの画像から、ヘリコプタ１の高度をリアルタイムで測定（高さ距離測定）することができる。
【００５７】
図５は、飛行中のヘリコプタ１で撮像した画像から順次高度測定を行っている状態を模式化したものである。又、図４では、ヘリコプタ１の高度測定について説明したが、前記鉛直カメラ１３で撮像した画像全体について、画像の任意の部位についての高さ測定、即ち画像の部位に対応する地表面４２の部位の高さ測定を実施することができる。
【００５８】
前記鉛直カメラ１３で撮像した地表面の画像について、画像処理を行い、画像中から特徴点ａ〜ｎを抽出する。特徴点の抽出については、エッジ処理、コントラスト処理等適宜な画像処理により実行される。
【００５９】
又、Ｏ１地点での画像から抽出した特徴点をＯ２地点で撮像した画像中に特定する必要があるが、特定する方法として画像トラッキングがある。画像トラッキングでは、Ｏ１地点からＯ２地点迄連続的に画像を取得し、時間的に隣接する画像に次々に特徴点を特定（画像トラッキング）し、Ｏ１地点の画像の特徴点をＯ２地点の画像中に特定する。
【００６０】
尚、画像トラッキングについては、本出願人が先に出願した特願２００５−３７０８６７（特開２００７−１７１０４８号公報）に示されている。
【００６１】
抽出した特徴点について、又Ｏ１地点の画像とＯ２地点の画像中とに基づき、各特徴点について上記した測定方法を実行し、同様にして各特徴点の高さ距離、平面座標が求められる。特徴点は、画像全体に亘るので、従って、地表面４２の状態、例えば凹凸、傾斜等も測定でき、測定結果を取得した画像に関連付けることで、３次元座標を有する航空写真が得られる。
【００６２】
図６は、地表面４２が隆起している場所をヘリコプタ１が飛行する場合を示している。
【００６３】
前記ヘリコプタ１は、前記鉛直カメラ１３で取得した画像から、高度をリアルタイムで測定しており、測定した高度は前記主演算制御部１９にフィードバックされる。該主演算制御部１９では、入力された高度から地表から前記ヘリコプタ１迄の距離を一定に保つ様に、高度の修正指令を前記飛行制御部１８に出力し、該飛行制御部１８は高度が一定となる様に前記モータコントローラ２６を介して前記第１モータ８〜第４モータ１１の駆動を制御する。
【００６４】
又、低所平面４２ａを飛行していた前記ヘリコプタ１が、傾斜面４２ｂに到達すると（図６（Ａ）中１−３の位置）、前記鉛直カメラ１３で撮像した画像中の、前方側の部位（図６（Ａ）中、右の部位）に存在する特徴点の高さ距離が他の部位の特徴点の高さ距離より小さくなる。従って、画像中の特徴点の高さ距離が部分的に小さくなることで傾斜面４２ｂに達したことが判断できる。又前記傾斜面４２ｂでの測定点が３点以上得られると斜面の状態の情報、例えば傾斜角が演算できる。
【００６５】
前記主演算制御部１９は演算された傾斜角に基づき、前記傾動機構部３０を駆動制御し、光軸１５が前記傾斜面４２ｂと垂直となる様に前記鉛直カメラ１３を傾斜させる。而して、前記傾斜面４２ｂに対して高さ距離が所定の値となる様に前記飛行制御部１８が制御される。
【００６６】
次に、前記ヘリコプタ１が前記傾斜面４２ｂの最高点付近に達すると（図６（Ａ）中１ｎの位置）、前記鉛直カメラ１３で撮像した画像の右の部位に存在する特徴点の高さ距離が他の部位の高さ距離より大きくなる。画像中の部分的な高さ距離の変化で、傾斜面４２ｂから高所平面４２ｃへ移行することが判断できる。
【００６７】
尚、前記ヘリコプタ１の前方は前記前視カメラ１４によって撮像されており、該前視カメラ１４からの映像から、前方に傾斜面が存在することを判断できる。傾斜面の傾斜角が大きくない場合は、上記した様に鉛直カメラ１３の画像からも傾斜が判断できるので、前記前視カメラ１４で取得した画像を飛行に反映させる必要はないが、前記傾斜面４２ｂの傾斜角が大きく、該傾斜面４２ｂの最高点が飛行高度を超える様な場合、或は建築物が垂直に立っている様な場合、ヘリコプタ１が傾斜面４２ｂ、建築物に衝突する危険が生じる。前記主演算制御部１９は前記前視カメラ１４で取得された画像から前方の障害物を判断し、前記飛行制御部１８に対して飛行コースの変更等の指令を発し、障害物と前記ヘリコプタ１とが干渉又は衝突する可能性を回避する。
【００６８】
上記した様に、前記ヘリコプタ１は前記飛行制御部１８によって水平に制御されているが、傾斜面に沿って上昇、或は下降している場合、又傾斜面に光軸が垂直となる様に前記傾動機構部３０によって前記鉛直カメラ１３が傾斜されている場合等では、Ｏ１地点で撮像する鉛直カメラ１３の姿勢と、Ｏ２地点での鉛直カメラ１３の姿勢とが異なる場合がある。図７は、Ｏ１地点で撮像した画像とＯ２地点で撮像した画像の傾きの状態を示す模式図である。画像の傾きは、光軸１５の鉛直（Ｚ軸）を基準とすると、Ｚ軸を中心とする回転角κ、水平第１軸（Ｘ軸）を中心とした回転角ω、水平第２軸（Ｙ軸）を中心とした回転角φによって表され、Ｏ１地点で撮像した画像とＯ２地点で撮像した画像とをκ，ω，φを変数として絶対標定することで、図中破線で示す状態（図４の状態）に変換することができる。又、絶対標定することで、測定点Ｐの３次元座標が演算でき、更にＯ１地点、Ｏ２地点でのヘリコプタ１の高度を測定できる。
【００６９】
ここで、Ｏ１地点、Ｏ２地点での前記３軸の回転角は、前記ジャイロユニット２９によって測定でき、Ｏ１地点での画像中のｐ１の座標（ｘ１，ｙ１）、Ｏ２地点での画像中のｐ２の座標（ｘ２，ｙ２）は、撮像素子の画素の位置から測定できる。従って、絶対標定後の変換座標系でのｐ１の座標を（Ｘ１，Ｙ１，Ｚ１）とし、絶対標定後の変換座標系でのｐ２の座標を（Ｘ２，Ｙ２，Ｚ２）、鉛直カメラ１３の焦点距離ｆとすれば、
【００７０】
変換座標系でのｐ１，ｐ２の座標は以下に表される。
【００７１】
Ｘ１＝ｘ1 ｃｏｓφ1 ・ｃｏｓκ1 −ｙ1 ｃｏｓφ1 ・ｓｉｎκ1 −ｆｓｉｎφ1
Ｙ１＝ｘ1 ｓｉｎκ1 −ｙ1 ｃｏｓκ1
Ｚ１＝−ｘ1 ｓｉｎφ1 ・ｃｏｓκ1 −ｙ1 ｓｉｎφ1 ・ｓｉｎκ1 −ｆｃｏｓφ1
Ｘ２＝ｘ2 ｃｏｓφ2 ・ｃｏｓκ2 −ｙ2 ｃｏｓφ2 ・ｓｉｎκ2 −ｆｓｉｎφ2 ＋１
Ｙ２＝ｘ2 （ｃｏｓω2 ｓｉｎκ2 ＋ｓｉｎω2 ・ｓｉｎφ2 ｃｏｓκ2 ）＋
ｙ2 （ｃｏｓω2 ｃｏｓκ2 −ｓｉｎω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）＋
ｆｓｉｎω2 ・ｃｏｓφ2
Ｚ２＝ｘ2 （ｓｉｎω2 ・ｓｉｎκ2 −ｃｏｓω2 ・ｓｉｎφ2 ・ｃｏｓκ2 ）＋
ｙ2 （ｓｉｎω2 ・ｃｏｓκ2 ＋ｃｏｓω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）−
ｆｃｏｓω2 ・ｃｏｓφ2
【００７２】
従って、得られたｐ１の座標（Ｘ１，Ｙ１，Ｚ１）、ｐ２の座標（Ｘ２，Ｙ２，Ｚ２）に基づき図４で示したと同様にして測定点Ｐの３次元座標を演算することができる。
【００７３】
尚、上記した実施例では、前記位置測定部１７が位置演算用ＣＰＵ２４、第１記憶部２５を具備し、該位置演算用ＣＰＵ２４、第１記憶部２５によって画像処理、地表面４２の３次元測定を行ったが、前記主ＣＰＵ３２、前記第３記憶部３３が前記位置演算用ＣＰＵ２４、前記第１記憶部２５の機能を兼用してもよい。尚、前記位置演算用ＣＰＵ２４及び前記第１記憶部２５が省略された場合は、前記主ＣＰＵ３２、前記第３記憶部３３及び前記ＧＰＳ装置２３、前記鉛直カメラ１３等が前記位置測定部１７を構成する。
【００７４】
上記した様に、本発明によれば、搭載したカメラのみで地表面４２からのヘリコプタ１の高度を測定できると共に前記地表面４２の凹凸等、地表面４２の３次元測定が可能となる。従って、適正な高度で而も適正な位置での地表面４２の撮影が可能であり、又地表面４２の３次元測定の結果と撮像画像を関連付けることで、３次元位置情報付の画像を取得することができる。
【符号の説明】
【００７５】
１ ヘリコプタ
２ 基地制御装置
３ 機体
１３ 鉛直カメラ
１４ 前視カメラ
１６ 制御装置
１７ 位置測定部
１８ 飛行制御部
１９ 主演算制御部
２０ 通信部
２１ 電源部
２３ ＧＰＳ装置
２４ 位置演算用ＣＰＵ
２５ 第１記憶部
２６ モータコントローラ
２７ 飛行制御用ＣＰＵ
２８ 第２記憶部
２９ ジャイロユニット
３０ 傾動機構部
３２ 主ＣＰＵ
３３ 第３記憶部
３４ 入出力制御部
３５ 無線通信部
３６ 情報通信部
４１ 撮像素子
４２ 地表面
【技術分野】
【０００１】
本発明は、飛行体の無人飛行時の飛行高度を適正に制御する飛行体の飛行制御システムに関するものである。
【背景技術】
【０００２】
上空からの写真撮影、或は上空からの測量では、地上からの写真撮影、地上での測量では得られない情報が得られ、或は人の立入れない場所の写真撮影、測量が困難な場所の情報が得られる。又、近年、遠隔操作される小型飛行機、小型ヘリコプタ等の小型飛行体の性能向上、遠隔操作技術の向上、更に撮像装置の性能の向上、小型化の促進等により小型飛行体に撮像装置を搭載し、遠隔操作により上空からの写真撮影が無人で行える様になっている。更に、予め設定した飛行スケジュールに従い、自律飛行も可能となっている。
【０００３】
小型飛行体を遠隔操作により飛行させる場合、或は自律飛行させる場合、飛行中の小型飛行体自体の正確な位置情報が必要となる。
【０００４】
位置情報を取得する手段として、近年ではＧＰＳ位置測定装置が普及しており、簡便に地心座標（平面位置情報）が測定できる様になっている。更に、ＧＰＳ位置測定装置の小型軽量化が進み、飛行体等にも容易に設置することが可能となっている。
【０００５】
ＧＰＳ位置測定装置は、地心座標については高い精度で測定することができるが、地表からの高さについては測定精度が悪い。小型飛行体が飛行する地域は、必ずしも平坦とは限らず、地表の起伏、或は構築物、建造物のある場合では、地表の起伏、或は構築物、建造物に合わせて小型飛行体の高度を制御する必要がある。
【０００６】
この為、高さ測定の精度を上げるには、別途、地表迄の高さを測定する測定装置を用意する必要がある。ところが、小型飛行体の飛行能力から、小型飛行体の搭載能力は、数百グラムと極めて限定されており、種々の測定機器を搭載することは困難である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１０３７６号公報
【特許文献２】特開２００７−１７１０４８号公報
【特許文献３】特開２００４−２４５７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は斯かる実情に鑑み、簡便に而も高精度に飛行体の高さ位置の測定を可能とし、無人飛行時の飛行体の飛行高度を適正に制御可能とした飛行制御システムを提供するものである。
【課題を解決するための手段】
【０００９】
本発明は、飛行体と、該飛行体に設けられた航行手段と、位置測定部と、前記航行手段を制御する飛行制御部と、前記位置測定部と前記飛行制御部とを制御する主演算制御部とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置と、飛行体下方のデジタル画像を撮像する鉛直カメラとを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させる飛行体の飛行制御システムに係るものである。
【００１０】
又本発明は、前記位置測定部は、第１地点から第２地点迄連続して画像を取得し、第１地点で取得した画像から特徴点を抽出し、第１地点から第２地点に至る画像中で画像トラッキングにより第２地点での画像中に第１地点の画像中の特徴点を特定し、第１地点の画像と第２地点の画像に基づき、前記特徴点に対応する地表の測定点の３次元測定を行う飛行体の飛行制御システムに係るものである。
【００１１】
又本発明は、前記主演算制御部には、飛行計画データが設定され、該主演算制御部は前記飛行計画データに基づき前記飛行体の飛行コース、飛行高度を制御する飛行体の飛行制御システムに係るものである。
【００１２】
又本発明は、前記飛行体は鉛直カメラを傾斜させる傾動機構部を具備し、前記飛行体が傾斜面を飛行する場合は、前記傾動機構部が前記鉛直カメラの光軸が傾斜面に対して垂直となる様に前記鉛直カメラを傾斜させる飛行体の飛行制御システムに係るものである。
【００１３】
又本発明は、前記飛行体は前方の画像を取得する前視カメラを具備し、前記主演算制御部は前記前視カメラが取得した画像から前方の障害物を判断し、障害物の回避を行う飛行体の飛行制御システムに係るものである。
【００１４】
又本発明は、前記飛行体は、飛行体の傾斜を検出する姿勢検出器を具備し、該姿勢検出器は前記鉛直カメラの撮像時の前記飛行体の傾斜を検出し、前記位置測定部は、前記飛行体の傾斜に基づき第１地点の画像と第２地点の画像とを絶対標定する飛行体の飛行制御システムに係るものである。
【発明の効果】
【００１５】
本発明によれば、飛行体と、該飛行体に設けられた航行手段と、位置測定部と、前記航行手段を制御する飛行制御部と、前記位置測定部と前記飛行制御部とを制御する主演算制御部とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置と、飛行体下方のデジタル画像を撮像する鉛直カメラとを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させるので、地形の変化がある場所でも適正な自律飛行が可能となる。
【００１６】
又本発明によれば、前記位置測定部は、第１地点から第２地点迄連続して画像を取得し、第１地点で取得した画像から特徴点を抽出し、第１地点から第２地点に至る画像中で画像トラッキングにより第２地点での画像中に第１地点の画像中の特徴点を特定し、第１地点の画像と第２地点の画像に基づき、前記特徴点に対応する地表の測定点の３次元測定を行うので、地表面の画像を適正な状態で撮影できると共に地表面の３次元データを合わせて取得できる。
【００１７】
又本発明によれば、前記飛行体は鉛直カメラを傾斜させる傾動機構部を具備し、前記飛行体が傾斜面を飛行する場合は、前記傾動機構部が前記鉛直カメラの光軸が傾斜面に対して垂直となる様に前記鉛直カメラを傾斜させるので、地表の状態に拘らず、射影歪み（投影歪み）のない鮮明な画像を取得できる。
【００１８】
又本発明によれば、前記飛行体は前方の画像を取得する前視カメラを具備し、前記主演算制御部は前記前視カメラが取得した画像から前方の障害物を判断し、障害物の回避を行うので、障害物のある場所でも、自律飛行が可能である。
【００１９】
又本発明によれば、前記飛行体は、飛行体の傾斜を検出する姿勢検出器を具備し、該姿勢検出器は前記鉛直カメラの撮像時の前記飛行体の傾斜を検出し、前記位置測定部は、前記飛行体の傾斜に基づき第１地点の画像と第２地点の画像とを絶対標定するので、撮影時に飛行体が傾斜していた場合でも、精度の高い高度測定、地表の３次元測定が可能となる等の優れた効果を発揮する。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る飛行体の飛行高度制御システムの概略図である。
【図２】本発明の実施例に係る飛行体に搭載される制御装置のブロック図である。
【図３】該飛行体に搭載された鉛直カメラと地表面との関係を示す説明図である。
【図４】飛行体が２地点で撮影した画像から飛行体の高度、測定点の座標の測定を行う場合の説明図である。
【図５】取得した画像中で抽出した特徴点の画像トラッキングと各特徴点に対応する地表面の無測定点との関係を示す説明図である。
【図６】（Ａ）は飛行体が地表面に沿って所定の高度を維持して飛行する場合の説明図、（Ｂ）は飛行体が水平姿勢でのカメラの状態を示す説明図、（Ｃ）は傾斜面に対するカメラの状態を示す説明図である。
【図７】カメラが傾斜している場合の絶対標定についての説明図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しつつ本発明の実施例を説明する。
【００２２】
先ず、図１に於いて、本発明に係る飛行体の飛行高度制御システムの概略を説明する。
【００２３】
図１中、１は自律飛行する飛行体、２は地上に設置される基地制御装置であり、該基地制御装置２は、前記飛行体１とデータ通信可能であり、前記飛行体１の飛行の制御、飛行計画の設定、変更、前記飛行体１が収集した情報を保存、管理する。
【００２４】
前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（後述）に飛行計画が設定され、飛行計画に従って、自律飛行する。
【００２５】
前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７はそれぞれ個別に第１モータ８、第２モータ９、第３モータ１０、第４モータ１１（後述）に連結され、又後述する様に各第１モータ８、第２モータ９、第３モータ１０、第４モータ１１は独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１等は飛行体の航行手段を構成する。
【００２６】
前記ヘリコプタ１の機体３には、撮像装置及び制御装置が設けられている。撮像装置はデジタル画像を取得する、鉛直カメラ１３と前視カメラ１４から構成される。該鉛直カメラ１３、該前視カメラ１４は、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像するビデオカメラであってもよい。前記鉛直カメラ１３は前記機体３の下面に設けられている。又、撮像装置は、撮像素子として、画素（ピクセル）の集合体であるＣＣＤ、ＣＭＯＳセンサを有しており、各画素は撮像素子上の位置（座標）が特定でき、更に各画素の画角が分る様になっている。
【００２７】
前記鉛直カメラ１３は、前記機体３の基準位置（例えば機械中心）を通過する光軸１５を有し、該光軸１５は、前記ヘリコプタ１が水平姿勢で、鉛直線と合致する。前記鉛直カメラ１３は、角度θの視野角を持っており、航空写真用の画像を取得可能となっている。又、該鉛直カメラ１３で撮像した画像は、後述する様に、位置測定用の画像データとしても使用される。
【００２８】
前記鉛直カメラ１３は、好ましくは、前記光軸１５が前記基準位置を中心として進行・後退方向（以下、前後方向）に傾動する様に支持され、又前記鉛直カメラ１３を前後方向に傾動させる傾動機構部３０（後述）が設けられている。該傾動機構部３０は前記光軸１５が地表に対して常に垂直となる様に前記鉛直カメラ１３の傾きを調整する。
【００２９】
又、前記前視カメラ１４は、前記機体３の前面に設けられ、前方の画像を取得するものであり、前記前視カメラ１４の光軸は、水平であるか、又は水平から下方に所要角度傾斜している。従って、前記前視カメラ１４は、前記ヘリコプタ１が飛行する前方の景色を撮影し、撮影した画像は、前方の地形の変化の判断、或は障害物の認識に供される。
【００３０】
前記鉛直カメラ１３、前記前視カメラ１４で撮像された画像は、撮像した時間、ＧＰＳ装置２３（後述）で測定した地心座標、ジャイロユニット２９（後述）で検出した前記ヘリコプタ１の姿勢状態（飛行体の傾斜）に関連付けられて、後述する第１記憶部２５に格納される。
【００３１】
図２は、前記機体３に設けられる制御装置１６を示している。該制御装置１６は、主に位置測定部１７、飛行制御部１８、主演算制御部１９、通信部２０、電源部２１から構成される。
【００３２】
前記位置測定部１７は、平面位置測定装置としてのＧＰＳ装置２３、位置演算用ＣＰＵ２４、第１記憶部２５、前記鉛直カメラ１３、前記前視カメラ１４等から構成される。
【００３３】
前記ＧＰＳ装置２３は、前記ヘリコプタ１の基準位置、例えば機械中心を測定する様に構成され、又、前記ＧＰＳ装置２３の測定値は地心座標（絶対座標）系から求められる地上座標系を表すので、前記ＧＰＳ装置２３は前記基準位置の地上座標系の座標を測定する。
【００３４】
又、前記ヘリコプタ１が水平姿勢で、前記鉛直カメラ１３が基準姿勢では、前記光軸１５は前記基準位置を通過すると共に鉛直となっている。従って、前記鉛直カメラ１３は、前記ヘリコプタ１直下の所要の画角θの範囲の画像を取得可能であり、更に画像の中心は前記基準位置と合致する様に設定されている。
【００３５】
前記第１記憶部２５には、前記鉛直カメラ１３で取得した画像及び画像を取得した位置、時刻が前記画像に関連付けられて格納される様になっており、更に、画像を取得した時刻に同期させて前記ＧＰＳ装置２３によって前記ヘリコプタ１の地上座標が測定され、測定された地上座標も画像を取得した時刻に関連付けられて前記第１記憶部２５に格納される様になっている。
【００３６】
又、前記第１記憶部２５には、画像処理プログラム、３次元位置測定プログラム、撮像制御プログラム等のプログラムが格納されている。更に、前記第１記憶部２５には、前記鉛直カメラ１３、前記前視カメラ１４で撮像された画像が、撮像時の時間、地上座標、前記ヘリコプタ１の姿勢状態（飛行体の傾斜）に関連付けられて格納される。
【００３７】
前記画像処理プログラムは、前記鉛直カメラ１３で取得した画像から特徴点を抽出する等の画像処理を行い、又前記前視カメラ１４で取得した画像から、前方の地形を判断し、或は前方の障害物の認識を行う。前記３次元位置測定プログラムは、前記鉛直カメラ１３の画像から抽出した特徴点に基づき、前方交会法、後方交会法等の測定方法により前記ヘリコプタ１の高さ距離を演算する。又、前記ＧＰＳ装置２３の測定結果から、地上座標を求め、求めた高さ距離と地上座標により前記機体３の３次元位置を演算する。前記撮像制御プログラムは、前記鉛直カメラ１３、前記前視カメラ１４の撮像状態を制御する。
【００３８】
前記飛行制御部１８は、前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１及びこれらモータを個別に駆動制御するモータコントローラ２６、該モータコントローラ２６を制御する飛行制御用ＣＰＵ２７、第２記憶部２８、前記ヘリコプタ１の水平に対する姿勢状態（傾斜）を検出して姿勢状態信号を発する姿勢検出器、例えばジャイロユニット２９を具備する。
【００３９】
前記第２記憶部２８には、前記位置測定部１７からの飛行誘導データに基づき、飛行速度、上昇速度、降下速度、飛行方向、飛行高度等の飛行状態を演算する飛行制御プログラム、前記ジャイロユニット２９からの前記姿勢状態信号に基づき姿勢制御用の情報を演算する姿勢制御プログラム等が格納されている。前記飛行制御用ＣＰＵ２７は、前記飛行制御プログラムに基づき飛行制御指令を前記モータコントローラ２６に送出して該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１を制御し、所定の飛行を実行し、又前記姿勢制御プログラムに基づき姿勢制御指令を前記モータコントローラ２６に送出して、該モータコントローラ２６を介して前記第１モータ８、第２モータ９、第３モータ１０、第４モータ１１をそれぞれ制御することで、前記ヘリコプタ１の姿勢を所望の状態（例えば水平状態）に制御する。
【００４０】
前記主演算制御部１９は、主ＣＰＵ３２、第３記憶部３３、入出力制御部３４を具備し、該第３記憶部３３には、統合プログラム、飛行制御プログラム、測量画像処理プログラム、通信制御プログラム、撮像部姿勢制御プログラム等のプログラム及び飛行計画データが格納されている。該飛行計画データに格納されているデータとしては、例えば飛行コース、飛行高度、撮影する場所、範囲等である。
【００４１】
前記統合プログラムは、前記位置測定部１７、前記飛行制御部１８を統合して制御する。前記飛行制御プログラムは、飛行計画データに基づき自律飛行する様、前記飛行制御部１８に飛行制御信号を発し、又、前記位置測定部１７からの高度測定結果に基づき、地表に対し所定の高度を維持する様前記飛行制御部１８に飛行制御信号を発する。更に前記飛行制御プログラムは、前記前視カメラ１４からの画像に基づき、前方の地形の変化の判断、或は障害物の認識を行い、危険回避、飛行コース変更の判断を行う。
【００４２】
又、撮像部姿勢制御プログラムは、地形の変化の判断に基づき、前記傾動機構部３０を制御して前記鉛直カメラ１３の光軸１５が地表に対して垂直になる様、前記鉛直カメラ１３の傾きを制御する。
【００４３】
前記通信部２０は、無線通信部３５、情報通信部３６等からなり、前記無線通信部３５は、地上基地からの遠隔飛行制御指令を受信し、又ヘリコプタ１の飛行状態を地上基地に通信する。又、前記情報通信部３６は、無線ＬＡＮ或はブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の通信手段を用いて地上基地とヘリコプタ１間の情報の授受を行うものであり、例えば前記ヘリコプタ１が基地に着陸した状態で、前記飛行計画データが基地から前記ヘリコプタ１に送信され、或は飛行中撮像した画像、位置、時刻情報がヘリコプタ１から基地に送信される。
【００４４】
前記電源部２１は、例えば可充電電池であり、基地に着陸した状態で充電され、飛行中は前記位置測定部１７、前記飛行制御部１８、前記主演算制御部１９、前記通信部２０、前記傾動機構部３０に必要な電力を供給する。
【００４５】
前記鉛直カメラ１３が取得した画像、前記位置測定部１７が測定した位置情報は、前記通信部２０を介して前記基地制御装置２に通信され、該基地制御装置２では、前記画像からステレオ画像を作成し、或はステレオ画像に基づき写真測量を行う。
【００４６】
次に、写真測量の測定精度について、図３を参照して説明する。
【００４７】
図３は、写真測量に用いられる画像が、撮影距離（高さ）Ｈ、撮影基線長Ｂ、カメラの焦点距離ｆ、カメラの画素サイズΔｐで撮像され、この条件での平面精度Δｘｙと高さ精度Δｚとを示している。
【００４８】
平面精度：Δｘｙ＝Ｈ×Δｐ／ｆ
【００４９】
高さ精度：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）となる。
【００５０】
従って、高さ精度ΔｚはＨ2 に比例するので、撮影距離Ｈを正確に維持すること、即ち前記機体３の高度を所定の値に正確に維持することが精度の高い写真測量を実行する条件となる。ここで撮影距離Ｈは、画像中の特徴点について演算した高さ距離であり、更に特徴点の高さ距離の加重平均値であり、或いは画像について得られた３次元座標全体の平均でもよい。
【００５１】
前記機体３の高度を所定の値に維持する為に、前記機体３の高度を測定する測定方法としては、レーザ測量機を搭載し、該レーザ測量機により測定した高度に基づき前記機体３の飛行高度を制御することも考えられるが、レーザ測量機は高価であり、又前記機体３の機器構成が複雑となる。何よりも、前記機体３の搭載能力による制限がある。本実施例では、既に搭載されている鉛直カメラ１３を用いて、機体３の高度をリアルタイムで測定し、更に測定結果を機体３の飛行に反映させ、地表からの高度を一定に保とうとするものである。
【００５２】
先ず、図４により、写真測量による距離測定についての概略を説明する。
【００５３】
図４では、前記鉛直カメラ１３により、既知点Ｏ１地点、既知点Ｏ２地点で測定点Ｐ点を含む画像を取得した場合であり、Ｏ１地点とＯ２地点とは撮影基線長Ｂだけ離れている。又、説明を簡略化する為、Ｏ１地点、Ｏ２地点で撮影した場合の前記鉛直カメラ１３の光軸は平行であるとする。又、前記鉛直カメラ１３は撮像素子４１を有し、図中、４１-1，４１-2は、それぞれＯ１地点、Ｏ２地点で撮像した状態での撮像素子である。
【００５４】
Ｏ１地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ１（ｘ１，ｙ１）、Ｏ２地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ２（ｘ２，ｙ２）となる。撮像素子４１-1の中心０-1（原点）からｐ１迄の距離をｌ１、撮像素子４１-2の中心０-2（原点）からｐ２迄の距離をｌ２とすると、前記撮影基線長ＢからＰ迄の距離Ｚは、３角形Ｏ１，Ｏ２，Ｐと３角形Ｏ１，０-1，ｐ１及び３角形Ｏ２，０-2，ｐ２との相似関係から、Ｚ＝Ｂｆ／（ｌ１＋ｌ２）となる。
【００５５】
ここで、前記Ｏ１地点、Ｏ２地点の地上座標は前記ＧＰＳ装置２３によって測定でき、又前記撮影基線長Ｂは前記Ｏ１地点とＯ２地点の２点間の距離となり、前記ＧＰＳ装置２３の測定結果に基づき前記撮影基線長Ｂを求めることができる。又、測定点Ｐの地心位置（平面座標）も、同様にｐ１（ｘ１，ｙ１）及びｐ２（ｘ２，ｙ２）と前記ＧＰＳ装置２３で測定したＯ１地点、Ｏ２地点の地心位置から求めることができる。
【００５６】
従って、前記ヘリコプタ１が移動する過程で順次撮像した２つの画像から、ヘリコプタ１の高度をリアルタイムで測定（高さ距離測定）することができる。
【００５７】
図５は、飛行中のヘリコプタ１で撮像した画像から順次高度測定を行っている状態を模式化したものである。又、図４では、ヘリコプタ１の高度測定について説明したが、前記鉛直カメラ１３で撮像した画像全体について、画像の任意の部位についての高さ測定、即ち画像の部位に対応する地表面４２の部位の高さ測定を実施することができる。
【００５８】
前記鉛直カメラ１３で撮像した地表面の画像について、画像処理を行い、画像中から特徴点ａ〜ｎを抽出する。特徴点の抽出については、エッジ処理、コントラスト処理等適宜な画像処理により実行される。
【００５９】
又、Ｏ１地点での画像から抽出した特徴点をＯ２地点で撮像した画像中に特定する必要があるが、特定する方法として画像トラッキングがある。画像トラッキングでは、Ｏ１地点からＯ２地点迄連続的に画像を取得し、時間的に隣接する画像に次々に特徴点を特定（画像トラッキング）し、Ｏ１地点の画像の特徴点をＯ２地点の画像中に特定する。
【００６０】
尚、画像トラッキングについては、本出願人が先に出願した特願２００５−３７０８６７（特開２００７−１７１０４８号公報）に示されている。
【００６１】
抽出した特徴点について、又Ｏ１地点の画像とＯ２地点の画像中とに基づき、各特徴点について上記した測定方法を実行し、同様にして各特徴点の高さ距離、平面座標が求められる。特徴点は、画像全体に亘るので、従って、地表面４２の状態、例えば凹凸、傾斜等も測定でき、測定結果を取得した画像に関連付けることで、３次元座標を有する航空写真が得られる。
【００６２】
図６は、地表面４２が隆起している場所をヘリコプタ１が飛行する場合を示している。
【００６３】
前記ヘリコプタ１は、前記鉛直カメラ１３で取得した画像から、高度をリアルタイムで測定しており、測定した高度は前記主演算制御部１９にフィードバックされる。該主演算制御部１９では、入力された高度から地表から前記ヘリコプタ１迄の距離を一定に保つ様に、高度の修正指令を前記飛行制御部１８に出力し、該飛行制御部１８は高度が一定となる様に前記モータコントローラ２６を介して前記第１モータ８〜第４モータ１１の駆動を制御する。
【００６４】
又、低所平面４２ａを飛行していた前記ヘリコプタ１が、傾斜面４２ｂに到達すると（図６（Ａ）中１−３の位置）、前記鉛直カメラ１３で撮像した画像中の、前方側の部位（図６（Ａ）中、右の部位）に存在する特徴点の高さ距離が他の部位の特徴点の高さ距離より小さくなる。従って、画像中の特徴点の高さ距離が部分的に小さくなることで傾斜面４２ｂに達したことが判断できる。又前記傾斜面４２ｂでの測定点が３点以上得られると斜面の状態の情報、例えば傾斜角が演算できる。
【００６５】
前記主演算制御部１９は演算された傾斜角に基づき、前記傾動機構部３０を駆動制御し、光軸１５が前記傾斜面４２ｂと垂直となる様に前記鉛直カメラ１３を傾斜させる。而して、前記傾斜面４２ｂに対して高さ距離が所定の値となる様に前記飛行制御部１８が制御される。
【００６６】
次に、前記ヘリコプタ１が前記傾斜面４２ｂの最高点付近に達すると（図６（Ａ）中１ｎの位置）、前記鉛直カメラ１３で撮像した画像の右の部位に存在する特徴点の高さ距離が他の部位の高さ距離より大きくなる。画像中の部分的な高さ距離の変化で、傾斜面４２ｂから高所平面４２ｃへ移行することが判断できる。
【００６７】
尚、前記ヘリコプタ１の前方は前記前視カメラ１４によって撮像されており、該前視カメラ１４からの映像から、前方に傾斜面が存在することを判断できる。傾斜面の傾斜角が大きくない場合は、上記した様に鉛直カメラ１３の画像からも傾斜が判断できるので、前記前視カメラ１４で取得した画像を飛行に反映させる必要はないが、前記傾斜面４２ｂの傾斜角が大きく、該傾斜面４２ｂの最高点が飛行高度を超える様な場合、或は建築物が垂直に立っている様な場合、ヘリコプタ１が傾斜面４２ｂ、建築物に衝突する危険が生じる。前記主演算制御部１９は前記前視カメラ１４で取得された画像から前方の障害物を判断し、前記飛行制御部１８に対して飛行コースの変更等の指令を発し、障害物と前記ヘリコプタ１とが干渉又は衝突する可能性を回避する。
【００６８】
上記した様に、前記ヘリコプタ１は前記飛行制御部１８によって水平に制御されているが、傾斜面に沿って上昇、或は下降している場合、又傾斜面に光軸が垂直となる様に前記傾動機構部３０によって前記鉛直カメラ１３が傾斜されている場合等では、Ｏ１地点で撮像する鉛直カメラ１３の姿勢と、Ｏ２地点での鉛直カメラ１３の姿勢とが異なる場合がある。図７は、Ｏ１地点で撮像した画像とＯ２地点で撮像した画像の傾きの状態を示す模式図である。画像の傾きは、光軸１５の鉛直（Ｚ軸）を基準とすると、Ｚ軸を中心とする回転角κ、水平第１軸（Ｘ軸）を中心とした回転角ω、水平第２軸（Ｙ軸）を中心とした回転角φによって表され、Ｏ１地点で撮像した画像とＯ２地点で撮像した画像とをκ，ω，φを変数として絶対標定することで、図中破線で示す状態（図４の状態）に変換することができる。又、絶対標定することで、測定点Ｐの３次元座標が演算でき、更にＯ１地点、Ｏ２地点でのヘリコプタ１の高度を測定できる。
【００６９】
ここで、Ｏ１地点、Ｏ２地点での前記３軸の回転角は、前記ジャイロユニット２９によって測定でき、Ｏ１地点での画像中のｐ１の座標（ｘ１，ｙ１）、Ｏ２地点での画像中のｐ２の座標（ｘ２，ｙ２）は、撮像素子の画素の位置から測定できる。従って、絶対標定後の変換座標系でのｐ１の座標を（Ｘ１，Ｙ１，Ｚ１）とし、絶対標定後の変換座標系でのｐ２の座標を（Ｘ２，Ｙ２，Ｚ２）、鉛直カメラ１３の焦点距離ｆとすれば、
【００７０】
変換座標系でのｐ１，ｐ２の座標は以下に表される。
【００７１】
Ｘ１＝ｘ1 ｃｏｓφ1 ・ｃｏｓκ1 −ｙ1 ｃｏｓφ1 ・ｓｉｎκ1 −ｆｓｉｎφ1
Ｙ１＝ｘ1 ｓｉｎκ1 −ｙ1 ｃｏｓκ1
Ｚ１＝−ｘ1 ｓｉｎφ1 ・ｃｏｓκ1 −ｙ1 ｓｉｎφ1 ・ｓｉｎκ1 −ｆｃｏｓφ1
Ｘ２＝ｘ2 ｃｏｓφ2 ・ｃｏｓκ2 −ｙ2 ｃｏｓφ2 ・ｓｉｎκ2 −ｆｓｉｎφ2 ＋１
Ｙ２＝ｘ2 （ｃｏｓω2 ｓｉｎκ2 ＋ｓｉｎω2 ・ｓｉｎφ2 ｃｏｓκ2 ）＋
ｙ2 （ｃｏｓω2 ｃｏｓκ2 −ｓｉｎω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）＋
ｆｓｉｎω2 ・ｃｏｓφ2
Ｚ２＝ｘ2 （ｓｉｎω2 ・ｓｉｎκ2 −ｃｏｓω2 ・ｓｉｎφ2 ・ｃｏｓκ2 ）＋
ｙ2 （ｓｉｎω2 ・ｃｏｓκ2 ＋ｃｏｓω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）−
ｆｃｏｓω2 ・ｃｏｓφ2
【００７２】
従って、得られたｐ１の座標（Ｘ１，Ｙ１，Ｚ１）、ｐ２の座標（Ｘ２，Ｙ２，Ｚ２）に基づき図４で示したと同様にして測定点Ｐの３次元座標を演算することができる。
【００７３】
尚、上記した実施例では、前記位置測定部１７が位置演算用ＣＰＵ２４、第１記憶部２５を具備し、該位置演算用ＣＰＵ２４、第１記憶部２５によって画像処理、地表面４２の３次元測定を行ったが、前記主ＣＰＵ３２、前記第３記憶部３３が前記位置演算用ＣＰＵ２４、前記第１記憶部２５の機能を兼用してもよい。尚、前記位置演算用ＣＰＵ２４及び前記第１記憶部２５が省略された場合は、前記主ＣＰＵ３２、前記第３記憶部３３及び前記ＧＰＳ装置２３、前記鉛直カメラ１３等が前記位置測定部１７を構成する。
【００７４】
上記した様に、本発明によれば、搭載したカメラのみで地表面４２からのヘリコプタ１の高度を測定できると共に前記地表面４２の凹凸等、地表面４２の３次元測定が可能となる。従って、適正な高度で而も適正な位置での地表面４２の撮影が可能であり、又地表面４２の３次元測定の結果と撮像画像を関連付けることで、３次元位置情報付の画像を取得することができる。
【符号の説明】
【００７５】
１ ヘリコプタ
２ 基地制御装置
３ 機体
１３ 鉛直カメラ
１４ 前視カメラ
１６ 制御装置
１７ 位置測定部
１８ 飛行制御部
１９ 主演算制御部
２０ 通信部
２１ 電源部
２３ ＧＰＳ装置
２４ 位置演算用ＣＰＵ
２５ 第１記憶部
２６ モータコントローラ
２７ 飛行制御用ＣＰＵ
２８ 第２記憶部
２９ ジャイロユニット
３０ 傾動機構部
３２ 主ＣＰＵ
３３ 第３記憶部
３４ 入出力制御部
３５ 無線通信部
３６ 情報通信部
４１ 撮像素子
４２ 地表面
【特許請求の範囲】
【請求項１】
飛行体と、該飛行体に設けられた航行手段と、位置測定部と、前記航行手段を制御する飛行制御部と、前記位置測定部と前記飛行制御部とを制御する主演算制御部とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置と、飛行体下方のデジタル画像を撮像する鉛直カメラとを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させることを特徴とする飛行体の飛行制御システム。
【請求項２】
前記位置測定部は、第１地点から第２地点迄連続して画像を取得し、第１地点で取得した画像から特徴点を抽出し、第１地点から第２地点に至る画像中で画像トラッキングにより第２地点での画像中に第１地点の画像中の特徴点を特定し、第１地点の画像と第２地点の画像に基づき、前記特徴点に対応する地表の測定点の３次元測定を行う請求項１の飛行体の飛行制御システム。
【請求項３】
前記主演算制御部には、飛行計画データが設定され、該主演算制御部は前記飛行計画データに基づき前記飛行体の飛行コース、飛行高度を制御する請求項１又は請求項２の飛行体の飛行制御システム。
【請求項４】
前記飛行体は鉛直カメラを傾斜させる傾動機構部を具備し、前記飛行体が傾斜面を飛行する場合は、前記傾動機構部が前記鉛直カメラの光軸が傾斜面に対して垂直となる様に前記鉛直カメラを傾斜させる請求項１の飛行体の飛行制御システム。
【請求項５】
前記飛行体は前方の画像を取得する前視カメラを具備し、前記主演算制御部は前記前視カメラが取得した画像から前方の障害物を判断し、障害物の回避を行う請求項１又は請求項４の飛行体の飛行制御システム。
【請求項６】
前記飛行体は、飛行体の傾斜を検出する姿勢検出器を具備し、該姿勢検出器は前記鉛直カメラの撮像時の前記飛行体の傾斜を検出し、前記位置測定部は、前記飛行体の傾斜に基づき第１地点の画像と第２地点の画像とを絶対標定する請求項１乃至請求項４のいずれか１つの飛行体の飛行制御システム。
【請求項１】
飛行体と、該飛行体に設けられた航行手段と、位置測定部と、前記航行手段を制御する飛行制御部と、前記位置測定部と前記飛行制御部とを制御する主演算制御部とを具備し、前記位置測定部は飛行体の地上座標を測定するＧＰＳ装置と、飛行体下方のデジタル画像を撮像する鉛直カメラとを有し、該鉛直カメラにより撮像した２地点の画像と、前記ＧＰＳ装置により測定した２地点の地上座標と、前記鉛直カメラの焦点距離に基づき前記飛行体の高度を測定し、前記主演算制御部は測定された高度に基づき前記飛行制御部を介して前記航行手段を制御し、前記飛行体を所定の高度で飛行させることを特徴とする飛行体の飛行制御システム。
【請求項２】
前記位置測定部は、第１地点から第２地点迄連続して画像を取得し、第１地点で取得した画像から特徴点を抽出し、第１地点から第２地点に至る画像中で画像トラッキングにより第２地点での画像中に第１地点の画像中の特徴点を特定し、第１地点の画像と第２地点の画像に基づき、前記特徴点に対応する地表の測定点の３次元測定を行う請求項１の飛行体の飛行制御システム。
【請求項３】
前記主演算制御部には、飛行計画データが設定され、該主演算制御部は前記飛行計画データに基づき前記飛行体の飛行コース、飛行高度を制御する請求項１又は請求項２の飛行体の飛行制御システム。
【請求項４】
前記飛行体は鉛直カメラを傾斜させる傾動機構部を具備し、前記飛行体が傾斜面を飛行する場合は、前記傾動機構部が前記鉛直カメラの光軸が傾斜面に対して垂直となる様に前記鉛直カメラを傾斜させる請求項１の飛行体の飛行制御システム。
【請求項５】
前記飛行体は前方の画像を取得する前視カメラを具備し、前記主演算制御部は前記前視カメラが取得した画像から前方の障害物を判断し、障害物の回避を行う請求項１又は請求項４の飛行体の飛行制御システム。
【請求項６】
前記飛行体は、飛行体の傾斜を検出する姿勢検出器を具備し、該姿勢検出器は前記鉛直カメラの撮像時の前記飛行体の傾斜を検出し、前記位置測定部は、前記飛行体の傾斜に基づき第１地点の画像と第２地点の画像とを絶対標定する請求項１乃至請求項４のいずれか１つの飛行体の飛行制御システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１４０１０１（Ｐ２０１２−１４０１０１Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−１８４（Ｐ２０１１−１８４）
【出願日】平成２３年１月４日（２０１１．１．４）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月４日（２０１１．１．４）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]