撮影位置特定装置および撮影位置特定方法
【課題】あらかじめ用意された三次元地勢データを利用することなく、二次元平面地図上に災害現場の位置を高い精度で特定する撮影位置特定装置を提供する。
【解決手段】映像入力装置１０、機体センサ部２０、表示装置３０、入力装置４０および信号処理装置５０を備え、映像入力装置１０はジンバルカメラ部１１およびこのカメラの角度を計測するカメラ姿勢計測部１２を有し、機体センサ部２０は航空機の機体の姿勢、緯度、経度および高さを計測し、表示装置３０はカメラで撮影された画像を表示し、入力装置４０で画像中に表示された目標物をポインタで指定し、信号処理装置５０はカメラ角度と、航空機の機体の姿勢、緯度、経度および高さと、指定された目標物の表示位置に基づいて、カメラレンズの中心から目標物を通る直線を航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算する。
【解決手段】映像入力装置１０、機体センサ部２０、表示装置３０、入力装置４０および信号処理装置５０を備え、映像入力装置１０はジンバルカメラ部１１およびこのカメラの角度を計測するカメラ姿勢計測部１２を有し、機体センサ部２０は航空機の機体の姿勢、緯度、経度および高さを計測し、表示装置３０はカメラで撮影された画像を表示し、入力装置４０で画像中に表示された目標物をポインタで指定し、信号処理装置５０はカメラ角度と、航空機の機体の姿勢、緯度、経度および高さと、指定された目標物の表示位置に基づいて、カメラレンズの中心から目標物を通る直線を航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、災害が発生している目標物などを空中から撮影し、その位置を正確に特定することができる撮影位置特定装置および方法に関するものである。
【背景技術】
【０００２】
従来から、例えば水害や地震などの大規模な災害が発生すると、ヘリコプタなどによって災害現場を撮影し、災害の程度や緊急対策が必要な箇所の有無の確認を行っている。例えば、火災が発生して直ちに消火活動を行わなければならないような場合は、映像から火災現場の地点を特定して消防車両などを急行させている。
災害現場（遭難箇所や火災発生箇所）の特定のためには、その近傍に目標となる建物等が存在する場合は良いが、山間部等で目標物がない地域では、その場所を緯度経度座標で特定する必要がある。しかしながら、映像と二次元地図との照合が困難であり、指示した座標と実際の災害箇所の座標との座標のずれが問題になっていた。
【０００３】
この座標のずれの問題を解決するため、ヘリコプタから地上にフライト情報を伝送して、フライト情報と地表面の起伏についての高度情報を含む三次元な地勢データとから、撮影範囲の中心点の地表面上での位置を特定する方法（特許文献参照）がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２６１９０号公報（３頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の方法では三次元な地勢データをあらかじめ作成しておく必要があるため、地勢データが存在しない地域では利用できないという問題点があった。また、地震や土砂崩れなどにより地形が変形した直後には、変形後の三次元地勢データは利用できないため、正確な位置の特定が困難という問題点もあった。
【０００６】
この発明は上記のような課題を解決するためになされたものであり、あらかじめ用意された三次元地勢データを利用することなく、二次元平面地図上に災害現場の位置（緯度経度）を高い精度で特定する装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る映像位置特定装置は、航空機に搭載された映像入力装置、機体センサ部、表示装置、入力装置および信号処理装置を備え、映像入力装置は、目標物を撮影するカメラおよびこのカメラの角度を計測する計測部とを有するものであり、機体センサ部は、航空機の機体の姿勢、緯度、経度および高さを計測するものであり、表示装置はカメラで撮影された画像を表示するものであり、入力装置は、画像中に表示された目標物にポインタを合わせて表示位置を指定するものであり、信号処理装置は、計測部から受けたカメラ角度と、機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、入力装置から受けた目標物の表示位置とに基づいて、カメラレンズの中心から目標物を通る直線を航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものである。
【発明の効果】
【０００８】
この発明に係る映像位置特定装置は、航空機に搭載された映像入力装置、機体センサ部、表示装置、入力装置および信号処理装置を備え、映像入力装置は、目標物を撮影するカメラおよびこのカメラの角度を計測する計測部とを有するものであり、機体センサ部は、航空機の機体の姿勢、緯度、経度および高さを計測するものであり、表示装置はカメラで撮影された画像を表示するものであり、入力装置は、画像中に表示された目標物にポインタを合わせて表示位置を指定するものであり、信号処理装置は、計測部から受けたカメラ角度と、機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、入力装置から受けた目標物の表示位置とに基づいて、カメラレンズの中心から目標物を通る直線を航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものであるため、三次元の地勢データが存在しない地域においても、正確な位置の特定が可能である。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１の撮影位置特定装置の概略構成図である。
【図２】この発明の実施の形態１の撮影位置特定装置を使用した災害活動状況を示す図である。
【図３】この発明の実施の形態１の撮影位置特定装置に係るヘリコプタ機内の操作状況を示す図である。
【図４】この発明の実施の形態１の撮影位置特定装置の処理を示すフローチャートである。
【図５】この発明の実施の形態１の撮影位置特定装置に係る座標系を説明する図である。
【図６】この発明の実施の形態１の撮影位置特定装置に係る座標系を説明する図である。
【図７】この発明の実施の形態１の撮影位置特定装置に係る画像面を説明する図である。
【図８】この発明の実施の形態１の撮影位置特定装置に係る処理方法を説明する図である。
【図９】この発明の実施の形態１の撮影位置特定装置の処理を示すフローチャートである。
【図１０】この発明の実施の形態１の撮影位置特定装置の係る目標物座標算出方法を説明する概念図である。
【図１１】この発明の実施の形態１の撮影位置特定装置に係る計算方法を説明する図である。
【図１２】この発明の実施の形態２の撮影位置特定装置の概略構成図である。
【図１３】この発明の実施の形態２の撮影位置特定装置の処理を示すフローチャートである。
【図１４】この発明の実施の形態３の撮影位置特定装置の概略構成図である。
【図１５】この発明の実施の形態３の撮影位置特定装置の処理を示すフローチャートである。
【図１６】この発明の実施の形態３の撮影位置特定装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
以下、本願発明の実施の形態について図に基づいて説明する。図１はこの発明の実施の形態１に係る撮影位置特定装置１の概略構成図であり、図２は災害活動状況を示す図、図３はヘリコプタ機内の操作状況を示す図である。
災害活動状況を示す図２において、災害救助用ヘリコプタ１００は、上空からカメラで撮影しながら遭難者１０１を探索する。発見された遭難者１０１の位置を高い精度で特定することが本発明の目的である。
【００１１】
撮影位置特定装置１は、映像を撮影する映像入力装置１０、位置、姿勢情報を出力する機体センサ２０、画像を表示する表示装置３０および映像中の目標物を指定する入力装置４０から構成される。
画像入力装置１０は映像を撮影するジンバルカメラ部１１とカメラ角度（パン角度およびチルト角度）および焦点距離の計測を行うカメラ姿勢計測部１２から構成される。機体センサ部２０は機体姿勢（ピッチ角、ロール角、ヨー角および機体方位）を計測するジャイロ部２１と機体の緯度経度と高度を計測するＧＰＳ装置部２２から構成される。表示装置３０は、ジンバルカメラ部１１で撮影された画像を表示する映像表示部３１とその画像中に映し出された目標物（遭難者等）１０１を指定するポインタ１１０を重畳表示するポインタ重畳表示部３２から構成される。入力装置４０は、カメラの角度や焦点距離を手動操作するカメラ方向操作部４１とポインタ重畳表示部３２によって画面に表示されるポインタ１１０を手動で操作するポインタ操作部４２と、ポインタ１１０の画面上のピクセル位置座標を指定するポインタ座標指定部４３から構成される。データの処理を行う信号処理装置５０は、目標物の位置座標を計算する撮影位置特定部５１と得られた情報の保存を行う記憶装置部５２から構成される。
【００１２】
ポインタ座標指定部４３には操作ボタン等が取り付けられ、操作ボタンを押した時点のポインタ１１０のピクセル位置情報が、操作位置特定部５１に出力される。撮影位置特定部５１は、ポインタ座標指定部４３からポインタ１１０のピクセル位置情報が入力されたとき、そのときのカメラ情報およびヘリコプタの位置姿勢情報（以降、ヘリコプタ情報という）を用いて、目標物１０１の座標（緯度、経度および高度）を計算する。次に撮影位置特定部５１はこのカメラ情報、ヘリコプタ情報およびピクセル位置情報を記憶装置部５２に蓄積する。記憶装置部５２に蓄積された情報は、次のヘリコプタ位置から撮影した状態でのカメラ情報、ヘリコプタ情報およびピクセル位置情報と組み合わせて、目標物１０１の座標を高精度で再計算するために使用される。
【００１３】
次に撮影位置特定装置１の動作について説明する。
機内の操作状況を示す図３において、操作者１１１はカメラ方向操作部４１を操作し、目標物１０１を表示装置３０の画像中に把握する。ポインタ操作部４２を操作してポインタ１１０によって目標物（遭難者）１０１を指定し、その状態でポインタ座標指定部４３の操作ボタンを押し下げると、信号処理装置５０によって目標物１０１の位置の緯度経度が計算される。
【００１４】
撮影位置特定装置１が行う処理を、図４のフローチャートで説明する。
ステップ１（Ｓ１）において、操作者１１１がポインタ１１０によって指定した目標物１０１のピクセル位置情報は、ポインタ座標指定部４３から撮影位置特定部５１に出力される。ステップ２（Ｓ２）において、撮影位置特定部５１はその時点のカメラ角度情報とヘリコプタ情報をカメラ姿勢計測部１２、ジャイロ部２１およびＧＰＳ装置部２２から取得する。ステップ３（Ｓ３）において、ヘリコプタ情報（姿勢、経度、緯度、高さ）をワールド座標系（図５で後述）に変換する。ステップ４（Ｓ４）において、撮影位置特定部５１は取得したカメラ情報、ヘリコプタ情報およびピクセル位置情報から目標物の座標を計算する。ステップ５（Ｓ５）において、撮影位置特定部５１はそれらの情報を記憶装置部５２に蓄積する。ステップ６（Ｓ６）において、ステップ４（Ｓ４）で計算した目標物の座標をワールド座標系から目標物の緯度経度情報に変換する。
【００１５】
以下、上記ステップ４（Ｓ４）における計算手順を説明する。
図５はワールド座標系、図６はカメラ座標系を表した図である。
ワールド座標系ΣＷは地球上に固定された座標系であり、各軸の向きは図５に示すように右手座標系をなし、ＸＷ：北方向（磁方位）、ＹＷ：東方向（磁方位）ＺＷ：鉛直下方とする。カメラ座標系ΣＣはカメラに固定された座標系であり、座標系の原点はカメラの焦点の位置に一致するものとする。各軸の向きは図６に示すように右手座標系をなし、ＵＷ：光軸と一致する軸で、向きはレンズから目標物への方向、ＶＷ：カメラの右手方向、ＷＷ：カメラの下方向とする。
【００１６】
これら座標系ΣＷとΣＣ間の同次変換行列をＷＴＣと置くと、ＷＴＣは一般形として（式１）で表すことができる。なお、ａｎｎはΣＷとΣＣとの幾何学的な関係から一意に決まる値であって、この場合には、機体位置、姿勢、カメラ角度から一意に決まる。
【００１７】
【数１】
【００１８】
さらに空間上の点Ｐの同次座標をΣＷで表したものをＷｒｐ＝（ｘ ｙ ｚ １）Ｔと置き、ΣＣで表したものをＣｒｐ＝（ｕ ｖ ｗ １）Ｔと置くと、以下の（式２）が成り立つ。
【数２】
【００１９】
次に、映像表示部３１に表示された画像中の目標物の位置を表すピクセル座標値（ｉ ｊ）をΣＣで表す方法について説明する。図７はピクセル座標系とカメラ座標系ΣＣとの関係を説明する図である。カメラの結像面は、レンズの中心（＝カメラ座標系ΣＣの原点）から光軸方向（＝Ｕ軸方向）に焦点距離ｆだけ離れた位置にある。そこで、図７に示すとおり、（ｕ ｖ ｗ）＝（ｆ α β）と表すことができる。さらに、映像表示部３１に表示された画像の縦横サイズをＨドット×Ｗドット、結像面の縦横サイズをＦＸ×ＦＹとおくと、（式３）のようにカメラ座標系で表した座標値をピクセル座標値から求めることができる。
【００２０】
【数３】
【００２１】
次に、災害活動において目標物を最初に撮影し、過去の取得情報がない場合に、目標物の座標を計算する方法について説明する。
画像上で指定した点の地表面上での座標とは、レンズの中心から画像中の点を通る直線ｌが、地表面と交差する点の座標として計算することができる。図８は計算方法の説明図である。
三次元空間における直線の一般式は、（式４）で表される。
【００２２】
【数４】
【００２３】
画像上で指定した点をΣＣで表した座標値を（ｕ ｖ ｗ）＝（ｆ α β）とすると、レンズの中心から画像上の点を通る直線ｌは（０ ０ ０）、（ｆ α β）を通るので、（ｕ１ ｖ１ ｗ１）＝（０ ０ ０），（ｕ２ ｖ２ ｗ２）＝（ｆ α β）として（式４）に代入すると、
【００２４】
【数５】
これを整理すると、
【数６】
【００２５】
以上の式を整理すると直線ｌの方程式を求めることができ、
【数７】
【００２６】
ここで目標物の地点での地表面の高さは、ワールド座標系で０おくと、目標物の同次座標は（ｘｇ ｙｇ ０ １）と表すことができ、これは、
【００２７】
【数８】
【００２８】
の連立方程式の解として求められる。
ここでＷＴＣ、ｆ、α、βは既知の取得データから一意に決まるため、Ａｘ、Ａｙ、Ａｚ、ａ１４、ａ２４、ａ３４も一意の値となる。よって、過去の取得データが蓄積されていない場合には、（式８）から目標物の座標を計算することができる。
【００２９】
次に、ヘリコプタが移動後に別の角度から同じ目標物を撮影して、操作者１１１がポインタ１１０によって、画像上で目標物１０１の位置を指定した場合の撮影位置特定装置１の処理を、図９のフローチャートで説明する。
ステップ１１（Ｓ１１）において、操作者１１１がポインタ１１０によって指定した目標物１０１のピクセル位置情報は、ポインタ座標指定部４３から撮影位置特定部５１に出力される。ステップ１２（Ｓ１２）において、撮影位置特定部５１はその時点のカメラ角度情報とヘリコプタ情報をカメラ姿勢計測部１２、ジャイロ部２１およびＧＰＳ装置部２２から取得する。ステップ１３（Ｓ１３）において、ヘリコプタ情報（姿勢、経度、緯度、高さ）をワールド座標系に変換する。ステップ１４（Ｓ１４）において、撮影位置特定部５１は記憶装置部５２内に蓄積された直前に目標物を撮影し処理した情報を取得する。ステップ１５（Ｓ１５）において、撮影位置特定部５１は、ステップ１２（Ｓ１２）のカメラ情報、ステップ１３（Ｓ１３）の情報およびステップ１４（Ｓ１４）で取得した情報から以下に説明する方法で目的物の正確な座標を再計算する。ステップ１６（Ｓ１６）において、撮影位置特定部５１は現在の取得情報を記憶装置部５２に蓄積する。ステップ１７（Ｓ１７）において、ステップ１５（Ｓ１５）で計算した目標物の座標をワールド座標系から緯度経度情報に変換する。
【００３０】
上記ステップ１５（Ｓ１５）での目標物の正確な座標を再計算する方法を説明する。
図１０は、目標物座標を再算出する方法を説明する概念図である。移動前の地点での目標物への視線である直線ｌと、移動後の地点での目標物への視線である直線ｍとの交点を求めることで、三次元地勢データがない場合にも目標物の正確な座標を求めることができる。ただし、センサの誤差や時間方向のズレがある場合には直線ｌと直線ｍは必ずしも交差しない。そこで直線ｌと直線ｍ間の距離が最小となる線分ＰＱを求め、新しい直線ｍ上の点であるＱの座標を目標物の座標とする。図１０は、２直線間の最短距離を求める概念図である。線分ＰＱの方程式は直線ｌと直線ｍの方向ベクトルとＰＱ方向の方向ベクトルが垂直となることを利用して計算可能である。
以下に、その計算方法について具体的に説明する。
【００３１】
移動後のヘリ位置におけるカメラ座標系をΣＣ′とする。ΣＷとΣＣ′間の同次変換行列をＷＴＣ′とおくと、
【００３２】
【数９】
【００３３】
先に説明した場合と同様にして、画像上の点の座標を、画像上で指定した点をΣＣ′で表した座標値を（ｕ ｖ ｗ）＝（ｆ′ α′ β′）とすると、
【００３４】
【数１０】
以上の式を整理すると、
【数１１】
【００３５】
直線ＰＱの傾きは＝（ｘｐ−ｘｑ ｙｐ−ｙｑ ｚｐ−ｚｑ）で表すことができる。
【００３６】
【数１２】
直線ｌ⊥直線ＰＱより、
【数１３】
直線ｍ⊥直線ＰＱより、
【数１４】
【００３７】
ここでＷＴＣ、ｆ、α、β、ＷＴＣ′、ｆ′、α′、β′は既知の取得データから一意に決まるため、Ａｘ、Ａｙ、Ａｚ、ａ１４、ａ２４、ａ３４、Ｂｘ、Ｂｙ、Ｂｚ、ｂ１４、ｂ２４、ｂ３４も一意の値となる。よってこれらの式、（式１３）、（式１４）はｕｐ、ｕｑの２変数に関する連立方程式となる。従って、これらの２式が独立であればｕｐ、ｕｑを求めることができ、点Ｑの座標を求めることができる。
これらが独立とならない条件を以下で整理する。
【００３８】
（１） 直線ｌと直線ｍが平行の場合
（式６）と（式１０）で２直線の傾きを比較する。直線ｌと直線ｍが平行の場合には２直線間の距離は一定となるため、点Ｑの座標を求めることができない。そのため、この場合には過去の取得データがない場合と同様にして目標物の座標を求める。
（２）直線ｌと直線ｍが交差する場合
直線ｌと直線ｍが平行ではなく、（式１３）と（式１４）が独立ではない場合には、これは２直線が１点で交差することを表す。この際にはＷｒｐ＝Ｗｒｑという条件式を追加することにより、点Ｑの座標を求めることができる。
以上説明したように、三次元地勢データを利用できない場合であっても、目標物の正確な座標を求めることができる。
【００３９】
この実施の形態１に係る撮影位置特定装置１は、カメラ情報および機体情報と表示装置の画像上で指定した目標物の表示位置から、信号処理装置で映像入力装置のカメラレンズの中心から画像中の目標物を通る直線ｌを求め、移動後に別の角度から、同一目標物を指定して、カメラレンズの中心から画像中の目標物を通る直線ｍを求め、直線ｌと直線ｍが交差しない場合は、直線ｌと直線ｍの距離が最小となる直線ｍ上の点として、直線ｌと直線ｍが交差する場合は、直線ｌと直線ｍの交点として、目標物の座標を計算するものであるため、三次元の地勢データが存在しない地域や、地震や土砂崩れなどにより地形が変形し三次元地勢データは利用できない場合でも、正確な位置の特定が可能であるという効果がある。
【００４０】
実施の形態２．
実施の形態１では、異なる位置でヘリコプタから目標物を撮影し、操作者１１１が表示装置３０上で目標物１０１を複数回指定する場合について説明したが、撮影位置特定装置が、２回目以降の目標物の指定を自動的に行うことが可能である。
図１２はこの発明の実施の形態２に係る撮影位置特定装置２００の概略構成図である。図において、図１と同一あるいは相当部分には同一符号を付している。
実施の形態１に係る撮影位置特定装置１の構成との相違点は、信号処理装置２５０は実施の形態１で説明した撮影位置特定部２５１および記憶装置部２５２に加えて画像処理部２５３を備えていることである。
映像入力装置１０で撮影された映像は、表示装置３０の映像表示部３１に出力されると共に、信号処理装置２５０内の画像処理部２５３にも出力される。画像処理部２５３は先に操作者１１１が指定した目標物１０１を移動後に撮影した画像中から抽出する機能を有する。
【００４１】
次に、実施の形態２に係る撮影位置特定装置２００の動作について説明する。
最初の目標物の指定は、実施の形態１で説明した内容と同様であり、操作者１１１が表示装置３０の画面上で、目標物１０１をポインタ１１０によって指定する。実施の形態１で説明した図４のフローチャートに基づく処理を行った後に、画像処理部２５３はその映像中の目標物１０１の位置から、画像上の予め指定された大きさ（例えば、大領域、中領域、小領域）のピクセル情報を抽出する。
ヘリコプタ１００が移動後に、この抽出したピクセル情報を用いて、撮影位置特定装置２００が行う処理を、図１３のフローチャートに基づいて説明する。
ステップ２１（Ｓ２１）において、画像処理部２５３は、新しい位置からの撮影した画像と先に抽出したピクセル情報とを照合する。照合の結果、画像処理部２５３は合致する画像部分の位置を目標物１０１の新しい位置として指定する。この画像中のピクセル情報との照合処理は、ＭＥＡＮ−ＳＨＩＦＴ法などの公知技術で実現可能である。ステップ２２（Ｓ２２）において、画像処理部２５３は、ステップ２１（Ｓ２１）の照合の結果得られた新しい目標物１０１の位置のピクセル情報を取得し、撮影位置特定部２５１に出力する。ステップ２３（Ｓ２３）において、撮影位置特定部２５１はその時点のカメラ角度情報とヘリコプタ情報をカメラ姿勢計測部１２、ジャイロ部２１およびＧＰＳ装置部２２から取得する。ステップ２４（Ｓ２４）において、撮影位置特定部２５１はヘリコプタ情報（姿勢、経度、緯度、高さ）をワールド座標系に変換する。ステップ２５（Ｓ２５）において、撮影位置特定部２５１は記憶装置部２５２内に蓄積された直前に目標物を撮影し処理した情報を取得する。
ステップ２６（Ｓ２６）において、撮影位置特定部２５１は、ステップ２３（Ｓ２３）のカメラ情報、ステップ２４（Ｓ２４）の情報およびステップ２５（Ｓ２５）で取得した情報から目的物１０１の正確な座標を計算する。ステップ２７（Ｓ２７）において、撮影位置特定部２５１は現在の取得情報を記憶装置部２５２に蓄積する。ステップ２８（Ｓ２８）において、ステップ２６（Ｓ２６）で計算した目標物のワールド座標系から目標物の緯度経度情報に変換する。
【００４２】
この実施の形態２に係る撮影位置特定装置２００は、一度目標物を操作員が指定すれば、２回目以降は、自動的に目標物の指定が行えるため、操作員の操作が不要となり、災害活動の省力化が図れるという効果がある。
【００４３】
実施の形態３．
映像入力装置として高温部が強調された映像を出力することができる赤外カメラを使用することで、信号処理装置で映像から高温部を抽出し、火災発生地点を目標物として自動的に指定することが可能である
図１４はこの発明の実施の形態３に係る撮影位置特定装置３００の概略構成図である。図において、図１と同一あるいは相当部分には同一符号を付している。
実施の形態１に係る撮影位置特定装置１の構成との相違点は、赤外カメラ装置３１０を備えていることと、信号処理装置３５０は撮影位置特定部３５１および記憶装置部３５２に加えて画像処理部３５３を備えることである。また、表示装置３３０は映像表示部３３１を備え、入力装置部３４０はカメラ方向操作部３４１を備えている。
赤外カメラ装置３１０は赤外映像の撮影及びカメラ角度、焦点距離の取得を行う。こ赤外カメラ装置３１０で撮影された赤外映像は操作者１１１の操作、あるいは画像処理にて赤外カメラのゲイン、レンジは調整され、画像の高温部が強調されている。赤外カメラ装置３１０で撮影された映像は、表示装置３３０の映像表示部３３１に出力されると共に、信号処理装置３５０内の画像処理部３５３にも出力される。画像処理部３５３は赤外画像中から火災発生地点である目標物を抽出する。
【００４４】
次に、実施の形態３に係る撮影位置特定装置３００の動作について説明する。
実施の形態３においては、目標物の指定は操作者１１１の操作ではなく、画像処理部３５３の自動処理により行われる。
まず、画像処理部３５３が行う画像処理部３５３に入力された赤外画像から高温部分を自動的に抽出する処理を説明する。赤外カメラからの画像は、高温部分が強調されており、強調された高温部分のピクセルの色は白色となっている。逆に高温でない部分は黒または灰色となっている。画像処理部３５３は、画像から白色のピクセル部分を取り出し、さらに白色ピクセル群が隣接しており、予め決められた大きさの領域部分を抽出して目標物として指定する。
【００４５】
撮影位置特定装置３００が行う処理を、図１５のフローチャートに示す。
ステップ３１（Ｓ３１）において、画像処理部３５３は、画像中の高温部分を、上記で説明した方法で抽出し、目標物の位置のピクセル座標を取得し、撮影位置特定部３５１へ出力する。ステップ３２（Ｓ３２）以降の処理は、実施の形態１に係るフローチャート（図４）と同様である。
実施の形態１で説明した図４のフローチャートとの違いは、実施の形態１においては目標物の指定を操作者１１１が手動で行っていたが、実施の形態３では画像処理部３５３が自動で行うことである。
【００４６】
ヘリコプタが移動した後で、操作者１１１の指示で、または自動で目標物位置再計算が行われる。撮影位置特定装置３００が行う処理を、図１６のフローチャートに示す。
ステップ４１（Ｓ４１）において、画像処理部３５３は、画像中の高温部分を、上記で説明した方法で抽出し、新しい目標物の位置のピクセル座標を取得し、撮影位置特定部２５１へ出力する。ステップ４２（Ｓ４２）以降の処理は、実施の形態１に係るフローチャート（図９）と同様である。
【００４７】
赤外画像の高温部強調については、赤外カメラから高温部が強調された映像が得られる場合を説明したが、撮影位置特定装置（例えば、映像表示部）内のデータ処理で高温部が強調処理を行っても良い。
【００４８】
この実施の形態３に係る撮影位置特定装置３００は、火災現場の災害活動において、目標物（火災地点）の指定を自動で行えるため、操作員の操作が不要となり、災害活動の省力化が図れるという効果がある。
【符号の説明】
【００４９】
１，２００，３００ 撮影位置特定装置、１０ 画像入力装置、
１１ ジンバルカメラ部、１２ カメラ姿勢計測部、２０ 機体センサ部、
２１ ジャイロ部、２２ ＧＰＳ装置部、３０，３３０ 表示装置、
３１，３３１ 映像表示部、３２ ポインタ重畳表示部、４０，３４０ 入力装置、
４１，３４１ カメラ方向操作部、４２ ポインタ操作部、４３ ポインタ座標指定部、
５０，２５０，３５０ 信号処理装置、５１，２５１，３５１ 撮影位置特定部、
５２，２５１，３５１ 記憶装置部、２５３，３５３ 画像処理部、
１００ ヘリコプタ、１０１ 目標物、１１０ ポインタ、１１１ 操作者。
【技術分野】
【０００１】
この発明は、災害が発生している目標物などを空中から撮影し、その位置を正確に特定することができる撮影位置特定装置および方法に関するものである。
【背景技術】
【０００２】
従来から、例えば水害や地震などの大規模な災害が発生すると、ヘリコプタなどによって災害現場を撮影し、災害の程度や緊急対策が必要な箇所の有無の確認を行っている。例えば、火災が発生して直ちに消火活動を行わなければならないような場合は、映像から火災現場の地点を特定して消防車両などを急行させている。
災害現場（遭難箇所や火災発生箇所）の特定のためには、その近傍に目標となる建物等が存在する場合は良いが、山間部等で目標物がない地域では、その場所を緯度経度座標で特定する必要がある。しかしながら、映像と二次元地図との照合が困難であり、指示した座標と実際の災害箇所の座標との座標のずれが問題になっていた。
【０００３】
この座標のずれの問題を解決するため、ヘリコプタから地上にフライト情報を伝送して、フライト情報と地表面の起伏についての高度情報を含む三次元な地勢データとから、撮影範囲の中心点の地表面上での位置を特定する方法（特許文献参照）がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２６１９０号公報（３頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の方法では三次元な地勢データをあらかじめ作成しておく必要があるため、地勢データが存在しない地域では利用できないという問題点があった。また、地震や土砂崩れなどにより地形が変形した直後には、変形後の三次元地勢データは利用できないため、正確な位置の特定が困難という問題点もあった。
【０００６】
この発明は上記のような課題を解決するためになされたものであり、あらかじめ用意された三次元地勢データを利用することなく、二次元平面地図上に災害現場の位置（緯度経度）を高い精度で特定する装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る映像位置特定装置は、航空機に搭載された映像入力装置、機体センサ部、表示装置、入力装置および信号処理装置を備え、映像入力装置は、目標物を撮影するカメラおよびこのカメラの角度を計測する計測部とを有するものであり、機体センサ部は、航空機の機体の姿勢、緯度、経度および高さを計測するものであり、表示装置はカメラで撮影された画像を表示するものであり、入力装置は、画像中に表示された目標物にポインタを合わせて表示位置を指定するものであり、信号処理装置は、計測部から受けたカメラ角度と、機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、入力装置から受けた目標物の表示位置とに基づいて、カメラレンズの中心から目標物を通る直線を航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものである。
【発明の効果】
【０００８】
この発明に係る映像位置特定装置は、航空機に搭載された映像入力装置、機体センサ部、表示装置、入力装置および信号処理装置を備え、映像入力装置は、目標物を撮影するカメラおよびこのカメラの角度を計測する計測部とを有するものであり、機体センサ部は、航空機の機体の姿勢、緯度、経度および高さを計測するものであり、表示装置はカメラで撮影された画像を表示するものであり、入力装置は、画像中に表示された目標物にポインタを合わせて表示位置を指定するものであり、信号処理装置は、計測部から受けたカメラ角度と、機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、入力装置から受けた目標物の表示位置とに基づいて、カメラレンズの中心から目標物を通る直線を航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものであるため、三次元の地勢データが存在しない地域においても、正確な位置の特定が可能である。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１の撮影位置特定装置の概略構成図である。
【図２】この発明の実施の形態１の撮影位置特定装置を使用した災害活動状況を示す図である。
【図３】この発明の実施の形態１の撮影位置特定装置に係るヘリコプタ機内の操作状況を示す図である。
【図４】この発明の実施の形態１の撮影位置特定装置の処理を示すフローチャートである。
【図５】この発明の実施の形態１の撮影位置特定装置に係る座標系を説明する図である。
【図６】この発明の実施の形態１の撮影位置特定装置に係る座標系を説明する図である。
【図７】この発明の実施の形態１の撮影位置特定装置に係る画像面を説明する図である。
【図８】この発明の実施の形態１の撮影位置特定装置に係る処理方法を説明する図である。
【図９】この発明の実施の形態１の撮影位置特定装置の処理を示すフローチャートである。
【図１０】この発明の実施の形態１の撮影位置特定装置の係る目標物座標算出方法を説明する概念図である。
【図１１】この発明の実施の形態１の撮影位置特定装置に係る計算方法を説明する図である。
【図１２】この発明の実施の形態２の撮影位置特定装置の概略構成図である。
【図１３】この発明の実施の形態２の撮影位置特定装置の処理を示すフローチャートである。
【図１４】この発明の実施の形態３の撮影位置特定装置の概略構成図である。
【図１５】この発明の実施の形態３の撮影位置特定装置の処理を示すフローチャートである。
【図１６】この発明の実施の形態３の撮影位置特定装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
以下、本願発明の実施の形態について図に基づいて説明する。図１はこの発明の実施の形態１に係る撮影位置特定装置１の概略構成図であり、図２は災害活動状況を示す図、図３はヘリコプタ機内の操作状況を示す図である。
災害活動状況を示す図２において、災害救助用ヘリコプタ１００は、上空からカメラで撮影しながら遭難者１０１を探索する。発見された遭難者１０１の位置を高い精度で特定することが本発明の目的である。
【００１１】
撮影位置特定装置１は、映像を撮影する映像入力装置１０、位置、姿勢情報を出力する機体センサ２０、画像を表示する表示装置３０および映像中の目標物を指定する入力装置４０から構成される。
画像入力装置１０は映像を撮影するジンバルカメラ部１１とカメラ角度（パン角度およびチルト角度）および焦点距離の計測を行うカメラ姿勢計測部１２から構成される。機体センサ部２０は機体姿勢（ピッチ角、ロール角、ヨー角および機体方位）を計測するジャイロ部２１と機体の緯度経度と高度を計測するＧＰＳ装置部２２から構成される。表示装置３０は、ジンバルカメラ部１１で撮影された画像を表示する映像表示部３１とその画像中に映し出された目標物（遭難者等）１０１を指定するポインタ１１０を重畳表示するポインタ重畳表示部３２から構成される。入力装置４０は、カメラの角度や焦点距離を手動操作するカメラ方向操作部４１とポインタ重畳表示部３２によって画面に表示されるポインタ１１０を手動で操作するポインタ操作部４２と、ポインタ１１０の画面上のピクセル位置座標を指定するポインタ座標指定部４３から構成される。データの処理を行う信号処理装置５０は、目標物の位置座標を計算する撮影位置特定部５１と得られた情報の保存を行う記憶装置部５２から構成される。
【００１２】
ポインタ座標指定部４３には操作ボタン等が取り付けられ、操作ボタンを押した時点のポインタ１１０のピクセル位置情報が、操作位置特定部５１に出力される。撮影位置特定部５１は、ポインタ座標指定部４３からポインタ１１０のピクセル位置情報が入力されたとき、そのときのカメラ情報およびヘリコプタの位置姿勢情報（以降、ヘリコプタ情報という）を用いて、目標物１０１の座標（緯度、経度および高度）を計算する。次に撮影位置特定部５１はこのカメラ情報、ヘリコプタ情報およびピクセル位置情報を記憶装置部５２に蓄積する。記憶装置部５２に蓄積された情報は、次のヘリコプタ位置から撮影した状態でのカメラ情報、ヘリコプタ情報およびピクセル位置情報と組み合わせて、目標物１０１の座標を高精度で再計算するために使用される。
【００１３】
次に撮影位置特定装置１の動作について説明する。
機内の操作状況を示す図３において、操作者１１１はカメラ方向操作部４１を操作し、目標物１０１を表示装置３０の画像中に把握する。ポインタ操作部４２を操作してポインタ１１０によって目標物（遭難者）１０１を指定し、その状態でポインタ座標指定部４３の操作ボタンを押し下げると、信号処理装置５０によって目標物１０１の位置の緯度経度が計算される。
【００１４】
撮影位置特定装置１が行う処理を、図４のフローチャートで説明する。
ステップ１（Ｓ１）において、操作者１１１がポインタ１１０によって指定した目標物１０１のピクセル位置情報は、ポインタ座標指定部４３から撮影位置特定部５１に出力される。ステップ２（Ｓ２）において、撮影位置特定部５１はその時点のカメラ角度情報とヘリコプタ情報をカメラ姿勢計測部１２、ジャイロ部２１およびＧＰＳ装置部２２から取得する。ステップ３（Ｓ３）において、ヘリコプタ情報（姿勢、経度、緯度、高さ）をワールド座標系（図５で後述）に変換する。ステップ４（Ｓ４）において、撮影位置特定部５１は取得したカメラ情報、ヘリコプタ情報およびピクセル位置情報から目標物の座標を計算する。ステップ５（Ｓ５）において、撮影位置特定部５１はそれらの情報を記憶装置部５２に蓄積する。ステップ６（Ｓ６）において、ステップ４（Ｓ４）で計算した目標物の座標をワールド座標系から目標物の緯度経度情報に変換する。
【００１５】
以下、上記ステップ４（Ｓ４）における計算手順を説明する。
図５はワールド座標系、図６はカメラ座標系を表した図である。
ワールド座標系ΣＷは地球上に固定された座標系であり、各軸の向きは図５に示すように右手座標系をなし、ＸＷ：北方向（磁方位）、ＹＷ：東方向（磁方位）ＺＷ：鉛直下方とする。カメラ座標系ΣＣはカメラに固定された座標系であり、座標系の原点はカメラの焦点の位置に一致するものとする。各軸の向きは図６に示すように右手座標系をなし、ＵＷ：光軸と一致する軸で、向きはレンズから目標物への方向、ＶＷ：カメラの右手方向、ＷＷ：カメラの下方向とする。
【００１６】
これら座標系ΣＷとΣＣ間の同次変換行列をＷＴＣと置くと、ＷＴＣは一般形として（式１）で表すことができる。なお、ａｎｎはΣＷとΣＣとの幾何学的な関係から一意に決まる値であって、この場合には、機体位置、姿勢、カメラ角度から一意に決まる。
【００１７】
【数１】
【００１８】
さらに空間上の点Ｐの同次座標をΣＷで表したものをＷｒｐ＝（ｘ ｙ ｚ １）Ｔと置き、ΣＣで表したものをＣｒｐ＝（ｕ ｖ ｗ １）Ｔと置くと、以下の（式２）が成り立つ。
【数２】
【００１９】
次に、映像表示部３１に表示された画像中の目標物の位置を表すピクセル座標値（ｉ ｊ）をΣＣで表す方法について説明する。図７はピクセル座標系とカメラ座標系ΣＣとの関係を説明する図である。カメラの結像面は、レンズの中心（＝カメラ座標系ΣＣの原点）から光軸方向（＝Ｕ軸方向）に焦点距離ｆだけ離れた位置にある。そこで、図７に示すとおり、（ｕ ｖ ｗ）＝（ｆ α β）と表すことができる。さらに、映像表示部３１に表示された画像の縦横サイズをＨドット×Ｗドット、結像面の縦横サイズをＦＸ×ＦＹとおくと、（式３）のようにカメラ座標系で表した座標値をピクセル座標値から求めることができる。
【００２０】
【数３】
【００２１】
次に、災害活動において目標物を最初に撮影し、過去の取得情報がない場合に、目標物の座標を計算する方法について説明する。
画像上で指定した点の地表面上での座標とは、レンズの中心から画像中の点を通る直線ｌが、地表面と交差する点の座標として計算することができる。図８は計算方法の説明図である。
三次元空間における直線の一般式は、（式４）で表される。
【００２２】
【数４】
【００２３】
画像上で指定した点をΣＣで表した座標値を（ｕ ｖ ｗ）＝（ｆ α β）とすると、レンズの中心から画像上の点を通る直線ｌは（０ ０ ０）、（ｆ α β）を通るので、（ｕ１ ｖ１ ｗ１）＝（０ ０ ０），（ｕ２ ｖ２ ｗ２）＝（ｆ α β）として（式４）に代入すると、
【００２４】
【数５】
これを整理すると、
【数６】
【００２５】
以上の式を整理すると直線ｌの方程式を求めることができ、
【数７】
【００２６】
ここで目標物の地点での地表面の高さは、ワールド座標系で０おくと、目標物の同次座標は（ｘｇ ｙｇ ０ １）と表すことができ、これは、
【００２７】
【数８】
【００２８】
の連立方程式の解として求められる。
ここでＷＴＣ、ｆ、α、βは既知の取得データから一意に決まるため、Ａｘ、Ａｙ、Ａｚ、ａ１４、ａ２４、ａ３４も一意の値となる。よって、過去の取得データが蓄積されていない場合には、（式８）から目標物の座標を計算することができる。
【００２９】
次に、ヘリコプタが移動後に別の角度から同じ目標物を撮影して、操作者１１１がポインタ１１０によって、画像上で目標物１０１の位置を指定した場合の撮影位置特定装置１の処理を、図９のフローチャートで説明する。
ステップ１１（Ｓ１１）において、操作者１１１がポインタ１１０によって指定した目標物１０１のピクセル位置情報は、ポインタ座標指定部４３から撮影位置特定部５１に出力される。ステップ１２（Ｓ１２）において、撮影位置特定部５１はその時点のカメラ角度情報とヘリコプタ情報をカメラ姿勢計測部１２、ジャイロ部２１およびＧＰＳ装置部２２から取得する。ステップ１３（Ｓ１３）において、ヘリコプタ情報（姿勢、経度、緯度、高さ）をワールド座標系に変換する。ステップ１４（Ｓ１４）において、撮影位置特定部５１は記憶装置部５２内に蓄積された直前に目標物を撮影し処理した情報を取得する。ステップ１５（Ｓ１５）において、撮影位置特定部５１は、ステップ１２（Ｓ１２）のカメラ情報、ステップ１３（Ｓ１３）の情報およびステップ１４（Ｓ１４）で取得した情報から以下に説明する方法で目的物の正確な座標を再計算する。ステップ１６（Ｓ１６）において、撮影位置特定部５１は現在の取得情報を記憶装置部５２に蓄積する。ステップ１７（Ｓ１７）において、ステップ１５（Ｓ１５）で計算した目標物の座標をワールド座標系から緯度経度情報に変換する。
【００３０】
上記ステップ１５（Ｓ１５）での目標物の正確な座標を再計算する方法を説明する。
図１０は、目標物座標を再算出する方法を説明する概念図である。移動前の地点での目標物への視線である直線ｌと、移動後の地点での目標物への視線である直線ｍとの交点を求めることで、三次元地勢データがない場合にも目標物の正確な座標を求めることができる。ただし、センサの誤差や時間方向のズレがある場合には直線ｌと直線ｍは必ずしも交差しない。そこで直線ｌと直線ｍ間の距離が最小となる線分ＰＱを求め、新しい直線ｍ上の点であるＱの座標を目標物の座標とする。図１０は、２直線間の最短距離を求める概念図である。線分ＰＱの方程式は直線ｌと直線ｍの方向ベクトルとＰＱ方向の方向ベクトルが垂直となることを利用して計算可能である。
以下に、その計算方法について具体的に説明する。
【００３１】
移動後のヘリ位置におけるカメラ座標系をΣＣ′とする。ΣＷとΣＣ′間の同次変換行列をＷＴＣ′とおくと、
【００３２】
【数９】
【００３３】
先に説明した場合と同様にして、画像上の点の座標を、画像上で指定した点をΣＣ′で表した座標値を（ｕ ｖ ｗ）＝（ｆ′ α′ β′）とすると、
【００３４】
【数１０】
以上の式を整理すると、
【数１１】
【００３５】
直線ＰＱの傾きは＝（ｘｐ−ｘｑ ｙｐ−ｙｑ ｚｐ−ｚｑ）で表すことができる。
【００３６】
【数１２】
直線ｌ⊥直線ＰＱより、
【数１３】
直線ｍ⊥直線ＰＱより、
【数１４】
【００３７】
ここでＷＴＣ、ｆ、α、β、ＷＴＣ′、ｆ′、α′、β′は既知の取得データから一意に決まるため、Ａｘ、Ａｙ、Ａｚ、ａ１４、ａ２４、ａ３４、Ｂｘ、Ｂｙ、Ｂｚ、ｂ１４、ｂ２４、ｂ３４も一意の値となる。よってこれらの式、（式１３）、（式１４）はｕｐ、ｕｑの２変数に関する連立方程式となる。従って、これらの２式が独立であればｕｐ、ｕｑを求めることができ、点Ｑの座標を求めることができる。
これらが独立とならない条件を以下で整理する。
【００３８】
（１） 直線ｌと直線ｍが平行の場合
（式６）と（式１０）で２直線の傾きを比較する。直線ｌと直線ｍが平行の場合には２直線間の距離は一定となるため、点Ｑの座標を求めることができない。そのため、この場合には過去の取得データがない場合と同様にして目標物の座標を求める。
（２）直線ｌと直線ｍが交差する場合
直線ｌと直線ｍが平行ではなく、（式１３）と（式１４）が独立ではない場合には、これは２直線が１点で交差することを表す。この際にはＷｒｐ＝Ｗｒｑという条件式を追加することにより、点Ｑの座標を求めることができる。
以上説明したように、三次元地勢データを利用できない場合であっても、目標物の正確な座標を求めることができる。
【００３９】
この実施の形態１に係る撮影位置特定装置１は、カメラ情報および機体情報と表示装置の画像上で指定した目標物の表示位置から、信号処理装置で映像入力装置のカメラレンズの中心から画像中の目標物を通る直線ｌを求め、移動後に別の角度から、同一目標物を指定して、カメラレンズの中心から画像中の目標物を通る直線ｍを求め、直線ｌと直線ｍが交差しない場合は、直線ｌと直線ｍの距離が最小となる直線ｍ上の点として、直線ｌと直線ｍが交差する場合は、直線ｌと直線ｍの交点として、目標物の座標を計算するものであるため、三次元の地勢データが存在しない地域や、地震や土砂崩れなどにより地形が変形し三次元地勢データは利用できない場合でも、正確な位置の特定が可能であるという効果がある。
【００４０】
実施の形態２．
実施の形態１では、異なる位置でヘリコプタから目標物を撮影し、操作者１１１が表示装置３０上で目標物１０１を複数回指定する場合について説明したが、撮影位置特定装置が、２回目以降の目標物の指定を自動的に行うことが可能である。
図１２はこの発明の実施の形態２に係る撮影位置特定装置２００の概略構成図である。図において、図１と同一あるいは相当部分には同一符号を付している。
実施の形態１に係る撮影位置特定装置１の構成との相違点は、信号処理装置２５０は実施の形態１で説明した撮影位置特定部２５１および記憶装置部２５２に加えて画像処理部２５３を備えていることである。
映像入力装置１０で撮影された映像は、表示装置３０の映像表示部３１に出力されると共に、信号処理装置２５０内の画像処理部２５３にも出力される。画像処理部２５３は先に操作者１１１が指定した目標物１０１を移動後に撮影した画像中から抽出する機能を有する。
【００４１】
次に、実施の形態２に係る撮影位置特定装置２００の動作について説明する。
最初の目標物の指定は、実施の形態１で説明した内容と同様であり、操作者１１１が表示装置３０の画面上で、目標物１０１をポインタ１１０によって指定する。実施の形態１で説明した図４のフローチャートに基づく処理を行った後に、画像処理部２５３はその映像中の目標物１０１の位置から、画像上の予め指定された大きさ（例えば、大領域、中領域、小領域）のピクセル情報を抽出する。
ヘリコプタ１００が移動後に、この抽出したピクセル情報を用いて、撮影位置特定装置２００が行う処理を、図１３のフローチャートに基づいて説明する。
ステップ２１（Ｓ２１）において、画像処理部２５３は、新しい位置からの撮影した画像と先に抽出したピクセル情報とを照合する。照合の結果、画像処理部２５３は合致する画像部分の位置を目標物１０１の新しい位置として指定する。この画像中のピクセル情報との照合処理は、ＭＥＡＮ−ＳＨＩＦＴ法などの公知技術で実現可能である。ステップ２２（Ｓ２２）において、画像処理部２５３は、ステップ２１（Ｓ２１）の照合の結果得られた新しい目標物１０１の位置のピクセル情報を取得し、撮影位置特定部２５１に出力する。ステップ２３（Ｓ２３）において、撮影位置特定部２５１はその時点のカメラ角度情報とヘリコプタ情報をカメラ姿勢計測部１２、ジャイロ部２１およびＧＰＳ装置部２２から取得する。ステップ２４（Ｓ２４）において、撮影位置特定部２５１はヘリコプタ情報（姿勢、経度、緯度、高さ）をワールド座標系に変換する。ステップ２５（Ｓ２５）において、撮影位置特定部２５１は記憶装置部２５２内に蓄積された直前に目標物を撮影し処理した情報を取得する。
ステップ２６（Ｓ２６）において、撮影位置特定部２５１は、ステップ２３（Ｓ２３）のカメラ情報、ステップ２４（Ｓ２４）の情報およびステップ２５（Ｓ２５）で取得した情報から目的物１０１の正確な座標を計算する。ステップ２７（Ｓ２７）において、撮影位置特定部２５１は現在の取得情報を記憶装置部２５２に蓄積する。ステップ２８（Ｓ２８）において、ステップ２６（Ｓ２６）で計算した目標物のワールド座標系から目標物の緯度経度情報に変換する。
【００４２】
この実施の形態２に係る撮影位置特定装置２００は、一度目標物を操作員が指定すれば、２回目以降は、自動的に目標物の指定が行えるため、操作員の操作が不要となり、災害活動の省力化が図れるという効果がある。
【００４３】
実施の形態３．
映像入力装置として高温部が強調された映像を出力することができる赤外カメラを使用することで、信号処理装置で映像から高温部を抽出し、火災発生地点を目標物として自動的に指定することが可能である
図１４はこの発明の実施の形態３に係る撮影位置特定装置３００の概略構成図である。図において、図１と同一あるいは相当部分には同一符号を付している。
実施の形態１に係る撮影位置特定装置１の構成との相違点は、赤外カメラ装置３１０を備えていることと、信号処理装置３５０は撮影位置特定部３５１および記憶装置部３５２に加えて画像処理部３５３を備えることである。また、表示装置３３０は映像表示部３３１を備え、入力装置部３４０はカメラ方向操作部３４１を備えている。
赤外カメラ装置３１０は赤外映像の撮影及びカメラ角度、焦点距離の取得を行う。こ赤外カメラ装置３１０で撮影された赤外映像は操作者１１１の操作、あるいは画像処理にて赤外カメラのゲイン、レンジは調整され、画像の高温部が強調されている。赤外カメラ装置３１０で撮影された映像は、表示装置３３０の映像表示部３３１に出力されると共に、信号処理装置３５０内の画像処理部３５３にも出力される。画像処理部３５３は赤外画像中から火災発生地点である目標物を抽出する。
【００４４】
次に、実施の形態３に係る撮影位置特定装置３００の動作について説明する。
実施の形態３においては、目標物の指定は操作者１１１の操作ではなく、画像処理部３５３の自動処理により行われる。
まず、画像処理部３５３が行う画像処理部３５３に入力された赤外画像から高温部分を自動的に抽出する処理を説明する。赤外カメラからの画像は、高温部分が強調されており、強調された高温部分のピクセルの色は白色となっている。逆に高温でない部分は黒または灰色となっている。画像処理部３５３は、画像から白色のピクセル部分を取り出し、さらに白色ピクセル群が隣接しており、予め決められた大きさの領域部分を抽出して目標物として指定する。
【００４５】
撮影位置特定装置３００が行う処理を、図１５のフローチャートに示す。
ステップ３１（Ｓ３１）において、画像処理部３５３は、画像中の高温部分を、上記で説明した方法で抽出し、目標物の位置のピクセル座標を取得し、撮影位置特定部３５１へ出力する。ステップ３２（Ｓ３２）以降の処理は、実施の形態１に係るフローチャート（図４）と同様である。
実施の形態１で説明した図４のフローチャートとの違いは、実施の形態１においては目標物の指定を操作者１１１が手動で行っていたが、実施の形態３では画像処理部３５３が自動で行うことである。
【００４６】
ヘリコプタが移動した後で、操作者１１１の指示で、または自動で目標物位置再計算が行われる。撮影位置特定装置３００が行う処理を、図１６のフローチャートに示す。
ステップ４１（Ｓ４１）において、画像処理部３５３は、画像中の高温部分を、上記で説明した方法で抽出し、新しい目標物の位置のピクセル座標を取得し、撮影位置特定部２５１へ出力する。ステップ４２（Ｓ４２）以降の処理は、実施の形態１に係るフローチャート（図９）と同様である。
【００４７】
赤外画像の高温部強調については、赤外カメラから高温部が強調された映像が得られる場合を説明したが、撮影位置特定装置（例えば、映像表示部）内のデータ処理で高温部が強調処理を行っても良い。
【００４８】
この実施の形態３に係る撮影位置特定装置３００は、火災現場の災害活動において、目標物（火災地点）の指定を自動で行えるため、操作員の操作が不要となり、災害活動の省力化が図れるという効果がある。
【符号の説明】
【００４９】
１，２００，３００ 撮影位置特定装置、１０ 画像入力装置、
１１ ジンバルカメラ部、１２ カメラ姿勢計測部、２０ 機体センサ部、
２１ ジャイロ部、２２ ＧＰＳ装置部、３０，３３０ 表示装置、
３１，３３１ 映像表示部、３２ ポインタ重畳表示部、４０，３４０ 入力装置、
４１，３４１ カメラ方向操作部、４２ ポインタ操作部、４３ ポインタ座標指定部、
５０，２５０，３５０ 信号処理装置、５１，２５１，３５１ 撮影位置特定部、
５２，２５１，３５１ 記憶装置部、２５３，３５３ 画像処理部、
１００ ヘリコプタ、１０１ 目標物、１１０ ポインタ、１１１ 操作者。
【特許請求の範囲】
【請求項１】
航空機に搭載された映像入力装置、機体センサ部、表示装置、入力装置および信号処理装置とを備え、
前記映像入力装置は、目標物を撮影するカメラおよびこのカメラの角度を計測する計測部とを有するものであり、
前記機体センサ部は、前記航空機の機体の姿勢、緯度、経度および高さを計測するものであり、
前記表示装置は前記カメラで撮影された画像を表示するものであり、
前記入力装置は、前記画像中に表示された目標物にポインタを合わせて表示位置を指定するものであり、
前記信号処理装置は、前記計測部から受けたカメラ角度と、前記機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、前記入力装置から受けた目標物の表示位置とに基づいて、
前記カメラレンズの中心から前記目標物を通る直線を前記航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものである映像位置特定装置。
【請求項２】
前記信号処理装置は、移動前の画像から抽出した目標物の画像情報と、移動後の画像情報を照合することにより、移動後の画像中の目標物の表示位置と指定する請求項１記載の映像位置特定装置。
【請求項３】
航空機に搭載された映像入力装置、機体センサ部、表示装置および信号処理装置とを備え、
前記映像入力装置は、目標物を撮影する赤外カメラおよびこの赤外カメラの角度を計測する計測部とを有するものであり、
前記機体センサ部は、前記航空機の機体の姿勢、緯度、経度および高さを計測するものであり、
前記表示装置は前記赤外カメラで撮影された画像を表示するものであり、
前記信号処理装置は、前記計測部から受けた赤外カメラ角度と、前記機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、前記画像の色に基づき抽出した目標物の表示位置とに基づいて、
前記赤外カメラレンズの中心から前記目標物を通る直線を前記航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものである映像位置特定装置。
【請求項４】
航空機に搭載されたカメラにより、目標物を撮影し、前記航空機に搭載された表示部に画像を表示するステップと、
前記画像中に表示された目標物にポインタを合わせて表示位置を指定するステップと、
前記カメラの角度、前記航空機の機体の姿勢、緯度、経度および高さを計測するステップと、
これらの計測値と前記目標物の表示位置とに基づいて、前記カメラレンズの中心から前記目標物を通る直線を前記航空機の移動前および移動後において求めるステップと、
移動前の直線と移動後の直線との距離が最小となる点の座標を計算するステップとを
備えた映像位置特定方法。
【請求項１】
航空機に搭載された映像入力装置、機体センサ部、表示装置、入力装置および信号処理装置とを備え、
前記映像入力装置は、目標物を撮影するカメラおよびこのカメラの角度を計測する計測部とを有するものであり、
前記機体センサ部は、前記航空機の機体の姿勢、緯度、経度および高さを計測するものであり、
前記表示装置は前記カメラで撮影された画像を表示するものであり、
前記入力装置は、前記画像中に表示された目標物にポインタを合わせて表示位置を指定するものであり、
前記信号処理装置は、前記計測部から受けたカメラ角度と、前記機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、前記入力装置から受けた目標物の表示位置とに基づいて、
前記カメラレンズの中心から前記目標物を通る直線を前記航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものである映像位置特定装置。
【請求項２】
前記信号処理装置は、移動前の画像から抽出した目標物の画像情報と、移動後の画像情報を照合することにより、移動後の画像中の目標物の表示位置と指定する請求項１記載の映像位置特定装置。
【請求項３】
航空機に搭載された映像入力装置、機体センサ部、表示装置および信号処理装置とを備え、
前記映像入力装置は、目標物を撮影する赤外カメラおよびこの赤外カメラの角度を計測する計測部とを有するものであり、
前記機体センサ部は、前記航空機の機体の姿勢、緯度、経度および高さを計測するものであり、
前記表示装置は前記赤外カメラで撮影された画像を表示するものであり、
前記信号処理装置は、前記計測部から受けた赤外カメラ角度と、前記機体センサ部から受けた航空機の機体の姿勢、緯度、経度および高さと、前記画像の色に基づき抽出した目標物の表示位置とに基づいて、
前記赤外カメラレンズの中心から前記目標物を通る直線を前記航空機の移動の前後において求め、移動前の直線と移動後の直線との距離が最小となる点の座標を計算するものである映像位置特定装置。
【請求項４】
航空機に搭載されたカメラにより、目標物を撮影し、前記航空機に搭載された表示部に画像を表示するステップと、
前記画像中に表示された目標物にポインタを合わせて表示位置を指定するステップと、
前記カメラの角度、前記航空機の機体の姿勢、緯度、経度および高さを計測するステップと、
これらの計測値と前記目標物の表示位置とに基づいて、前記カメラレンズの中心から前記目標物を通る直線を前記航空機の移動前および移動後において求めるステップと、
移動前の直線と移動後の直線との距離が最小となる点の座標を計算するステップとを
備えた映像位置特定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１６９６５８（Ｐ２０１１−１６９６５８Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３１９５２（Ｐ２０１０−３１９５２）
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
[ Back to top ]