写真測量装置及び写真測量システム
【課題】写真測量を用いた測定対象の三次元形状の測定において、処理を自動化することによって手間を省略するとともに、より正確に測定する
【解決手段】複数の撮影装置で撮影された撮影画像から測定画像を作成する測定画像作成部３３ｂと、測定画像からそれぞれの撮影装置に対応する対応点座標を抽出する対応点抽出部３３ｃと、前記対応点座標から前記測定対象の三次元形状を求める形状測定部３３ｄと、前記対応点座標に対し前記測定対象の撮影位置と前記設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元形状を補正する位置補正部３３ｅと、前記位置補正部により補正された三次元形状と前記設計データを比較することによって、前記測定対象の変形箇所の位置と変形量とを算出する変形量算出部３３ｆとを備える。
【解決手段】複数の撮影装置で撮影された撮影画像から測定画像を作成する測定画像作成部３３ｂと、測定画像からそれぞれの撮影装置に対応する対応点座標を抽出する対応点抽出部３３ｃと、前記対応点座標から前記測定対象の三次元形状を求める形状測定部３３ｄと、前記対応点座標に対し前記測定対象の撮影位置と前記設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元形状を補正する位置補正部３３ｅと、前記位置補正部により補正された三次元形状と前記設計データを比較することによって、前記測定対象の変形箇所の位置と変形量とを算出する変形量算出部３３ｆとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象の形状を描くための写真測量装置及び写真測量システムに関し、更に詳述すれば鉄鋼業において、コークス炉、高炉、高炉熱風炉、転炉、電気炉、ロータリーキルン、ＡＯＤ炉、ＶＯＤ炉、ＲＨ炉、溶銑鍋、取鍋、トーピード、加熱炉、均熱炉等の機械構造物の内面形状又は外面形状を好適に測量可能な写真測量装置及び写真測量システムに関する。
【背景技術】
【０００２】
鉄鋼業において用いられる高炉、転炉等の内面には、容器本体保護のため耐火煉瓦が内張りされている。この耐火煉瓦は、内部の溶融金属等により徐々に損耗するため、損耗の進行状況に応じて張り替える必要がある。
【０００３】
内張り耐火物の損耗は、全体が均一に摩耗することはまれであり、実際は局部的に損耗することが多い。局部的損耗が所定量以上に進行した場合にも、その部分又は全部の耐火物の張り替え、上張り等の補修が必要となる。
【０００４】
しかしながらこのような耐火物の補修は、容器を一旦冷却し、先に内張りされた耐火物を除去したのち、新しい耐火物を内張りしなければならない。したがって、多大の労力と時間を要し、特に転炉等においては補修作業中、操業停止となるため効率化操業の阻害要因となっている。それ故にこれらの炉においては耐火物の損耗状態を随時観察し、必要な場合には局部的損耗部にセラミック等の耐火材料を吹き付けて補修し、損耗を抑制している。
【０００５】
このような補修を効率的に行うには、高温状態にある炉内の内張り耐火物の損耗状態を把握する必要が生ずるが、炉内は赤熱状態であること、ガスや高温環境のため炉近傍に近寄れないこと等の理由により目視による損耗状態の把握は困難である。このような実情のもと、従来からこれらの炉の内面形状を測定するための方法が種々提案されている。
【０００６】
この方法は耐火物にレーザー光等の光を走査させるレーザー式形状計が主流となっている。これは大きく分けて投光部を炉内に設けたものと炉外に設けたものの２通りがある。前者の代表は光波距離計を用いて複数の波長に変調されたレーザーを照射し、位相差に基づき距離を求める方式やレーザーそのものの耐火物照射時の往復時間を計測する飛行時間方式である。後者の代表は測定器としてレーザーを用いるが、レーザー計本体をプローブに装着して炉内に挿入することで前者の死角も測定可能としている。この装置は例えば、特開昭５４−１１５１６０号公報などに開示されている。
【０００７】
しかし、従来技術に見られるレーザー式形状計はコスト上、操作上更にはレーザー取扱いの安全上、種々の問題があった。例えば、コスト上においては、レーザー式形状計本体そのものが高価であり、更に測定対象設備が回転型の転炉等には高精度かつ高価な角度計を必要とする。また、操作上においては、耐火物残厚の測定は、温度を低下させることにより耐火物亀裂を防止する観点より、操業の合間の短時間を利用することになる。そのため、レーザーによる距離測定は、１点あたり０．３秒程度かかり、測定点数も１０００点未満となり、全体を詳細に把握することが困難となる。従って、レーザーを通常運用する場合、隣り合う測定点の距離が１０ｃｍ程度となり、その結果クラックや局部損耗等の異常部位を発見することはできない致命的な問題が残されている。さらに、レーザー取り扱いにおいては、耐火物残厚の測定用途の場合、高出力レーザーを必要とし、そのための安全対策として遮光メガネの着用、管理区域の設定、レーザービームのストッパが必要となり、コストの増加と操作性の悪化を招いていた。
【０００８】
上記のように多くの問題を備えるレーザー式形状計に変わる非接触による別の計測方法として、写真計測が考えられる。写真計測とは、測定対象が写るように、２箇所以上の場所から撮影した複数枚の画像を用い、同一個所の対応付けを行い、三角測量の原理に基づき、三次元計測する手法である。この手法は従来、航空写真を用いて地形図作成のために利用されていた。近年デジタルカメラの発達により、写真計測は対象物を選ぶことなく計測されるようになってきている。
【特許文献１】特開２００４−７７３７７号公報
【非特許文献１】徐剛著：「３次元ビジョン」、近代科学社、１９９８年４月
【非特許文献２】服部進、秋本圭一、井本治孝：「コード付きターゲットを使った工業画像計測の自動化」、電子情報通信学会論文誌、Vol.J84-D-II,No.9,pp.2011-2019,2001.
【非特許文献３】社団法人 日本写真測量学会：「解析写真測量 改訂版」、社団法人 日本写真測量学会・解析写真測量委員会 責任者 村井利治、昭和５８年６月１５日、ｐ．１２６−１４７
【非特許文献４】秋本 圭一：情報化施工のためのデジタル画像計測法に関する研究，京都大学博士論文，March,2002
【非特許文献５】徐剛著：「写真から作る３次元ＣＧ」、近代科学社、２００１年１月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、従来の写真計測においては、いくつかの問題を含んでいる。一つ目は、カメラの撮影位置を計算するために、２つの画像間で対応付け、撮影位置を算出する作業である。この作業は人の手によって行われるため、精度が不安定になることがある。また作業時間もかかっているのが現状である。二つ目は、測定対象の詳細な形状を得るために、対応点の数を増やす作業である。この作業は、画像相関などの手法により、ある程度自動化されているものの、誤った対応点が発生していた。この誤った対応点は、人の手により、修正をおこなっていたため、非常に多くの時間を費やしていた。
【００１０】
したがって、本発明が解決しようとする技術的課題は、写真測量を用いた測定対象の三次元形状の測定において、処理を自動化することによって手間を省略するとともに、より正確に測定することができる写真測量装置及び写真測量システムを提供することである。
【課題を解決するための手段】
【００１１】
本発明は、上記技術的課題を解決するために、以下の構成の写真測量装置を提供する。
【００１２】
本発明の第１態様によれば、撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象について特定された特徴点の特徴点座標と当該特徴点について他の測定画像上で対応づけられた対応点の対応点座標を抽出する対応点抽出部と、
前記特徴点座標と対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた対応点の三次元位置と前記測定対象の設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部とを備えることを特徴とする、写真測量装置を提供する。
【００１３】
また、本発明の第２態様によれば、撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量し、記憶部に記憶されている前記測量対象の設計データと前記測量対象の三次元形状とを比較して、測量対象と前記設計データとの形状の差を演算する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象の共通の対応点座標を抽出する対応点抽出部と、
前記対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた基準点の三次元位置と前記設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部と、
前記位置補正部により補正された三次元形状と前記設計データを比較することによって、前記測定対象の変形箇所の位置と変形量とを算出する変形量算出部とを備えることを特徴とする、写真測量装置を提供する。
【００１４】
本発明の第３態様によれば、前記撮影制御部は、前記複数の撮影装置を１つのトリガ信号によって同時に撮影制御することを特徴とする、第１又は第２態様の写真測量装置を提供する。
【００１５】
本発明の第４態様によれば、前記撮影制御部は、前記トリガ信号を間欠的に複数回発生させ、前記複数の撮影装置によって同時に連続的に撮影が行われるように撮影制御することを特徴とする、第３態様の写真測量装置を提供する。
【００１６】
本発明の第５態様によれば、前記測定画像作成部は、任意の複数の写真画像を抽出する手段が全ての撮影装置において撮影時刻が同じ１組の撮影画像を選択し、当該撮影画像を測定画像とするように構成されていることを特徴とする、第１から第４態様のいずれか１つの写真測量装置を提供する。
【００１７】
本発明の第６態様によれば、前記測定画像作成部は、個々の撮影装置において前記連続的に撮影された複数の撮影画像について、前記複数の撮影画像を微細領域に分割して撮影画像上の任意の輝度が同一の部分に相当する微細領域の輝度の差分処理を行う差分処理部と、
前記差分処理部により差分処理された部分の輝度差が閾値以内のもののみを用いて、新たな写真画像に編集する画像編集部を備え、
前記それぞれの撮影装置ごとに前記画像編集部によって編集された写真画像を測定画像とすることを特徴とする、第５態様の写真測量装置を提供する。
【００１８】
本発明の第７態様によれば、前記基準点抽出部は、先の測量時に用いられた測定画像において抽出された基準点座標である事前基準点座標の近傍の範囲を走査し、前記測定画像から基準点座標を抽出することを特徴とする、第１から第６態様の写真測量装置を提供する。
【００１９】
本発明の第８態様によれば、前記対応点抽出部は、先の測量時に用いられた測定画像において抽出された対応点座標である前記事前対応点座標の近傍の範囲を走査し、前記測定画像から対応点座標を抽出することを特徴とする、第１から第６態様のいずれか１つの写真測量装置を提供する。
【００２０】
本発明の第９態様によれば、前記形状測定部によって得られた三次元座標を前記設計データと比較し、前記設計データにより特定される三次元形状から所定距離以上離れた点として求められた三次元座標を除いて、前記測定対象の三次元形状を特定することを特徴とする、第２から第８態様のいずれか１つの写真測量装置を提供する。
【００２１】
本発明の第１０態様によれば、対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、 前記誤対応点抽出部は、１つの測定対象について特定された特徴点について対応づけられた対応点から得られる三次元座標と、予め用意された測定対象の三次元形状のデータを比較し、前記対応点から得られる三次元座標が、測定対象の三次元形状の近傍にない対応点を誤りであると判定することを特徴とする、第１から第９態様のいずれか１つの写真測量装置を提供する。
【００２２】
本発明の第１１態様によれば、測定対象の前記三次元形状のデータは、前記測定対象の設計データであることを特徴とする、第１０態様に記載の写真測量装置を提供する。
【００２３】
本発明の第１２態様によれば、測定対象の前記三次元幾何形状のデータは、前記測定対象について、先の測量時に測量された三次元計測データであることを特徴とする、第１０態様の写真測量装置を提供する。
【００２４】
本発明の第１３態様によれば、対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、
前記対応点設定部は、任意の１の測定画像に設定する特徴点を任意に特定された配置となるように設定し、前記設定された特徴点に対応するように他の測定画像上に対応点を設定し、
前記誤対応点抽出部は、対象となる前記対応点の周囲に配置された対応点の配置が、前記特徴点において特定された配置と比較して閾値を越える変化を有するときは、当該対象となる対応点が誤対応点であると判断することを特徴とする、第１から第９態様のいずれかの写真測量装置を提供する。
【００２５】
本発明の第１４態様によれば、前記対応点設定部は、前記任意の１の測定画像に設定する特徴点を格子状配置となるように設定することを特徴とする、第１３態様の写真測量装置を提供する。
【００２６】
本発明の第１５態様によれば、前記誤対応点抽出部は、前記対象となる対応点に隣接する１つの対応点を結ぶ直線と、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線とがなす角度が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、第１３又は第１４態様の写真測量装置を提供する。
【００２７】
本発明の第１６態様によれば、前記誤対応点抽出部は、前記対象となる対応点に隣接する対応点を結ぶ直線Ａと、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線Ｂとの長さの和が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、写真測量システムを提供する。
【００２８】
本発明の第１７態様によれば、第１から第１６態様のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記基準点ユニットは、前記ターゲットを前記撮影装置により撮影される測定対象のＸ、Ｙ、Ｚ軸の各成分別に、測定対象の最大距離の半分以上の距離を置いて配置されることを特徴とする、写真測量システムを提供する。
【００２９】
本発明の第１８態様によれば、第１から第１６態様のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記ターゲットは、発光部を備え、前記写真測量装置は前記発光部からの光を前記基準点して前記撮影装置により撮影することを特徴とする、写真測量システムを提供する。
【００３０】
なお、本発明の説明に用いる用語は、次の意味を有するものとする。
【００３１】
「撮影装置」とは、測定対象及び基準点を被写体として光学撮影可能であり、かつ当該撮影された画像を電子情報として作成可能な装置を意味する。例えば、デジタルカメラなどが例示できるが、銀塩カメラと銀塩カメラにより撮影された写真を画像情報として変換可能なスキャナとを備えるユニットで構成されていてもよい。
【００３２】
「撮影画像」とは、測定対象及び基準点を被写体として撮影装置で撮影された写真画像をいう。撮影画像は、一回の測量に１つの撮影装置について複数枚存在していてもよく、１枚のみであってもよい。また、任意のタイミングの静止画を抽出可能な動画であってもよい。
【００３３】
「測定画像」とは、それぞれの撮影装置につき、測量演算に用いるために撮影画像を用いて測定画像作成部により作成される静止画の画像である。撮影画像が複数である場合は、複数の撮影画像のうちの１枚をそのまま測定画像としてもよいし、複数の撮影画像を部分的に用いて測定画像を画像合成により作成してもよい。測定画像は、それぞれの撮影装置に対応して１枚ずつ作成されるものであり、測定対象の形状を写真測量の原理で測定する場合に用いられる画像となる。
【００３４】
「測定対象の三次元形状」とは、測定対象について写真測量された結果として得られる測定対象の物理的な形状を意味し、当該測定対象上に位置する多数の点の三次元座標値を認識可能なものである。三次元形状のデータは、必ずしも多数の点の三次元座標値の集合として表されている必要はなく、ＣＡＤなどの設計図面データなどで与えられていてもよいが、任意の点の三次元座標値を認識できるものである必要がある。
【００３５】
「特徴点」とは、１組の測定画像のうち基準となる１の測定画像上に配置された点である。特徴点は、測定対象の三次元形状の算出に用いられるものであり、任意に設定することができる。
【００３６】
「対応点」とは、１組の測定画像のうち基準とならなかった他の測定画像上において、特徴点において示される被写体上の同じ点を示す点である。対応点は、測定対象の三次元形状の算出に用いられるものであり、特徴点と同じ被写体上の点を示すものであるから、特徴点と同様の配置で他の画像上に表されることが多い。
【発明の効果】
【００３７】
本発明によれば、測定対象の形状を写真測量によって測定することができるとともに、設計データに合わせて誤差補正を行うことで測定対象の変形箇所の位置と変形量とを確実かつ容易に算出することができる。
【発明を実施するための最良の形態】
【００３８】
次に、本発明の写真測量装置の実施形態にかかる写真測量システムについて説明する。図１Ａ及び図１Ｂは、本発明の写真測量装置の一実施形態にかかる写真測量システムの全体構成を示す模式図である。以下、本システムを製鉄所において用いられる取鍋の内面形状の測定に用いた取鍋用写真測量システムを例にとって説明する。図１Ｂに示すように本実施形態にかかる写真測量システム１は、測定対象である取鍋６を製鉄作業領域１０１から測定領域１０２へ移動させるクレーンを備える。写真測量システム１は、当該測定領域１０２に配置された取鍋を写真測量の原理により測量する。
【００３９】
図１Ａに示すように、取鍋用写真測量システム１は、測定対象となる取鍋６の内面を撮影するための複数のカメラ２をカメラ固定ユニット４に配置している。写真測量の原理によれば、カメラは最低２台があれば、計測することが可能である。なお、精度をあげるために３つ以上カメラを設置してもよい。
【００４０】
また、取鍋用写真測量システム１には、制御ユニット３が設けられている。制御ユニットは、それぞれのカメラで撮影された写真画像を用いて取鍋の形状計測の処理を行う写真測量装置として機能する。当該制御ユニット３の構成及び処理の詳細については後述する。
【００４１】
本実施形態にかかる写真測量システムに用いられるカメラ２は、予め内部標定が行われたものを用いることで測定精度を向上させることができる。内部標定とはカメラ特有のパラメータであり、焦点距離、主点位置、歪み補正値を表すものである。内部標定の方法は公知の方法により行うことができる。なお、内部評定は、複数のカメラ２のそれぞれについて行われる。
【００４２】
図２はカメラ固定ユニットの構成を示す図である。カメラ固定ユニット４は、カメラ固定台２４の上に、２台のデジタルスチルカメラ２１、２２を備える。本実施形態においては、カメラ２１，２２は、それぞれ３０００画素×４０００画素の画像を撮影することができるデジタルカメラが用いられている。それぞれのカメラ２１、２２の相対的な位置関係は、後述する処理によって算出され、制御ユニット３の記憶部に格納される。
【００４３】
また、２台のカメラ２１、２２は、制御ユニット３からの信号を受けて、同じタイミングで撮影可能に構成されている。同じタイミングで撮影することにより、２台のカメラ２１、２２で撮影された取鍋内面の温度変化による測定誤差の影響を受けにくくすることができ、取鍋６の熱による寸法変化などの問題を少なくすることができる。これに対して１台のカメラを用いて撮影場所を異ならせて撮影する場合、その移動中に取鍋内面の温度が変化する。このため、得られた複数の画像は取鍋の温度変化の影響を受け、画像が変化する。よって、後述する複数枚の画像間で行われる対応付けが、温度変化のために困難となる可能性がある。すなわち、複数のカメラを同時に撮影可能とすることにより、それぞれのカメラで撮影された画像の対応付けを容易にすることができる。
【００４４】
また複数のカメラ２１、２２は、高温や粉塵から守るために、ケース２５に入れた状態で固定台２４に設置されることが好ましい。
【００４５】
図３に示すように、測定領域１０２には、取鍋６が配置される。取鍋６は、クレーンによりその取鍋軸部を軸受の備わった軸受台７に搭載させ、開口部分がカメラ２１、２２側に向くように配置される。取鍋６の近傍には、基準点ユニット５が配置される。基準点ユニット５は、複数のレトロターゲット４０を備える部材である。取鍋６は高温であるため、内部にレトロターゲット４０を配置することができない。そこで図３に示すように、基準点ユニット５を取鍋の近傍に配置し、レトロターゲット４０が取鍋６の周囲に位置するように構成されている。本実施形態においては、レトロターゲット４０上の任意の一点を基準点４１として演算に用いる。
【００４６】
レトロターゲット４０は、取鍋６の周囲に配置されるため、高温に対して耐熱性を有する材質で構成されることが好ましい。このため、写真測量で通常用いられる樹脂シートでつくられたレトロターゲットは、耐熱性に劣るため、本実施形態では、セラミック等の耐熱性の高いレトロターゲット４０を用いる。
【００４７】
レトロターゲット４０の具体的な構成としては、図４Ａから図４Ｃに示すようなものが例示できる。図４Ａに示すレトロターゲット４０ａは、基板４３表面にガラスビーズ４２を円形状に配置したターゲット４０ａを用いることができる。ガラスビーズ４２は、カメラ撮影時のフラッシュ等の光に対して逆反射する性質をもつ。このため、カメラで撮影すると同時にフラッシュで発光された光により、レトロターゲット４０ａのビーズ４２の円形が高輝度で撮影される。なお、レトロターゲット４０は円形状である必要はなく、図４Ｂに示すような形状のレトロターゲット４０ｂも用いることができる。具体的には、画像処理のためにその中心が明確に決定できるものであればよい。
【００４８】
また、図４Ｃに示すように、レトロターゲットは、基板４３の中心部に発光する光源４４を配置させた構造としてもよい。図４Ｃに示すレトロターゲット４０ｃに用いられる光源４４としては、電球や発光ダイオードなど光を発することができるものであれば、特にその構成は問わない。この構成のレトロターゲット４０ｃは、後述する撮影時に反射光によって基準点４１が撮像されるのではなく、発光した光源を基準点として特定することができるので、照度が低い環境下においても的確に基準点を特定することができる。
【００４９】
取鍋６は奥行があるため、基準点４１も同様に奥行を持たせることが好ましい。したがって、図３に示すように、レトロターゲット４０も取鍋の奥行方向に位置を変えて配置する。本実施形態においては、複数の基準点４１が取鍋６の奥行に対して少なくとも半分以上の奥行を持つように、レトロターゲット４０を配置する。本実施形態においては、基準点ユニット５は、取鍋６の高さ方向に向かうにつれてカメラから遠ざかるようにレトロターゲット４０を配置する。この構成により、取鍋６の測定の精度を上げることができる。
【００５０】
基準点となるレトロターゲット４０は、粉塵などの異物による反射率の低下をさけるために、一部が開口したケース内に配置することが望ましい。また、レトロターゲット４０の表面が粉塵により汚れるのを防止するため、基準点ユニット５は、異物を吹き飛ばすための圧縮空気を吐出可能なノズルを備えていてもよい。また、カバーの開口は、開閉可能に構成されていてもよく、撮影時にカバーが開き、撮影後に閉じるように構成されていてもよい。
【００５１】
図５は、制御ユニット３の構成を示す図である。制御ユニット３は、上述のようにカメラ２１，２２の動作制御を行うとともに、カメラによって撮影された撮影画像を用いて、取鍋の形状を測定するための演算を行う写真測量装置として機能する。
【００５２】
制御ユニット３は、カメラ２のレリース動作を制御するレリース部３１、キーボードやマウス、ディスプレイなどの入出力装置８と接続するためのインターフェース部３２、制御ユニット３の全体の制御及び各種演算を司る制御演算部３３、解析される写真やデータなどの蓄積領域及び演算領域として機能する記憶部３４、及びプログラムがインストールされることによってシステムプログラムとして機能するシステムプログラム３５を備えている。
【００５３】
制御演算部３３には、後述するように、システムプログラム３５により駆動され測量を実行するための機能ブロック３３ａ〜３３ｆが存在する。これらの各ブロックは、それぞれ単独で、または装置内の他のブロックと協働して、後述する処理を行う。
【００５４】
次に、本実施形態にかかる写真測量システムの制御演算部３３の動作について説明する。制御演算部３３は、測定対象である取鍋を測定するための動作に先立って順備作業を行う。図６は本実施形態にかかる写真測量システムを用いて測量する準備作業の手順について示すフローである。
【００５５】
（部材の設置）
準備作業においては、まず、使用する複数台のカメラの内部標定を行う（＃１０）。次いで、内部評定されたカメラを図２のカメラ固定ユニット４に固定する（＃１１）。そして、レトロターゲット４０を基準点ユニット５に図３に示すように配置する（＃１２）。この基準点の物理的な相対位置関係は、配置された基準点に対して測量機器を利用して測定される（＃１３）。
【００５６】
測定されたレトロターゲット４０の相対位置関係は、入出力装置８を用いて、当該レトロターゲット４０の位置関係を示す座標としてカメラ位置の計算時に利用できるように記憶部３４に保存する（＃１４）。この情報はカメラ校正に用いられる。
【００５７】
（基準点座標の指定）
次いで、レトロターゲット４０をそれぞれのカメラで撮影し（＃１５）、当該撮影された画像からレトロターゲット４０上の基準点４１の各撮影画像上での座標値を入力する（＃１６）。この処理は制御演算部３３の基準点指定部３３ａによって司られる。この基準点座標の座標値の入力は、例えば、入出力装置８を用いて、マウスなどの手段により撮影画像上の各レトロターゲット４０上の基準点座標近傍を手動で選択することにより行うことができる。基準点座標の検出は、入力された座標の近傍領域において、最も明るい部分の座標を検出することによって行われる。抽出された領域は円形となり、その画像重心を求めることにより、基準点座標を自動的に検出することができる。
【００５８】
また、基準点ユニット５のレトロターゲット４０に、コード付きターゲットを用い、服部進、秋本圭一、井本治孝：「コード付きターゲットを使った工業画像計測の自動化」、電子情報通信学会論文誌、Vol.J84-D-II,No.9,pp.2011-2019,2001.に開示されている方法を用いて、各写真における基準点座標を自動的に取得するようにしてもよい。
【００５９】
図７に写真測量システムにおける光学関係を示す。図７では、説明の便宜のために、レトロターゲット４０は１つのみ表示している。図７においては、撮影位置にそれぞれ位置するカメラＡ２１，カメラＢ２２は、上述のように各レトロターゲット４０がそれぞれ撮影される写真画像２１０，２２０に写るように配置される。ここで、レトロターゲット４０の任意のポイントを基準点４１として認定すると、当該基準点４１は、カメラＡの写真画像２１０には、ポイントａに写り、カメラＢの写真画像２２０には、ポイントｂとして写る。当該ポイントａ，ｂの写真画像上の位置をそれぞれ写真画像上の基準点座標とし、ＸＹ座標を用いて特定する。
【００６０】
写真画像上のＸ軸及びＹ軸は、それぞれ、カメラＡ２１，カメラＢ２２の光軸中心に対し、それぞれ直交する方向すなわち写真画像上に存在し、カメラの画角の横軸をＸ軸、カメラの画角の縦軸側をＹ軸とする。したがって、各写真画像上のＸＹ座標は、それぞれ被写体に対して水平方向、鉛直方向と一致するとは限らず、また、カメラＡ及びカメラＢにおいて被写体からみて互いに異なる方向となる。なお、画像上のどの点を原点とするかについては特に限定はしないが、本実施形態においては、各写真画像の左上角を原点として定めている。
【００６１】
複数の基準点４１の座標値の入力は、上述のように、マウスなどの入出力装置８を用いて、画像上の基準点近傍を指定することにより行う。ただし、写真画像毎に複数存在する基準点座標を手動で取得していると作業時間がかかる。そこで、例えば、前回の写真画像について指定された座標データを用い、当該基準点座標の近傍より基準点座標を画像認識などの手段によって検出してもよい。すなわち、基準点の検出方法は、図８に示すように前回の写真画像で指定された基準点座標５１の近傍に基準点４１があるはずである。そこでその近傍の領域５２において画像の明度を調べ、ある一定以上（或いは一定以下）の明るさを持つ領域を抽出し、その重心を計算することにより、新しく撮影された画像の基準点画像座標を求めることができる。これにより、毎回の計測時に基準点画像座標を手動で対応付ける必要がなくなり、効率的に計算することができる。
【００６２】
前記の方法で基準点座標を自動的に取得する場合、基準点４１の近傍に発光体などがあると誤って発光体部を抽出する可能性がある。そこで、前回撮影した写真画像の基準点座標の近傍領域と、対応する新しく撮影された写真画像における前記基準点座標の近傍領域において画像相関を用いて探索することにより、その相関の最も強い領域を基準点座標とすることもできる。これにより基準点座標の正確な座値標を正確に捉えることができる。
【００６３】
なお、基準点座標の座標値の入力は、後述する取鍋６の測量ごとに行うことが望ましい。図２に示すようにカメラ固定ユニット４がカメラ２１，２２を固定する箇所が決められていても取鍋６の周辺の環境によっては振動があり基準点が位置ずれする場合や、カメラ２１，２２を固定できない場合があるためである。したがって、これらの問題が発生しない場合は、取鍋６の測量ごとに基準点座標の入力を行う必要はない。
【００６４】
上記のようにして入力された写真画像上での基準点の座標値は、記憶部３４に保存される（＃１７）。そして、基準点の座標値を用いて、カメラの撮影位置の算出を行う（＃１８）。カメラ撮影位置とは、一方のカメラを基準として、他方のカメラがどの相対位置に存在し、どの方向を向いているかを示す情報である。これは、２つのカメラの物理的な位置及びカメラの光軸方向を三次元的に示す情報として取得される。このときの座標系は、基準となるカメラにおいて用いられる座標系を基準として表すことが好ましい。
【００６５】
（カメラ撮影位置の算出）
カメラ撮影位置の算出（＃１８）は、先に計測された基準点の三次元座標を拘束条件として、公知の方法により行うことができる。たとえば、バンドル法、フリーネット法等で三次元座標を拘束条件として利用することで、カメラの撮影位置の計算精度を上げることができる。なお、本実施形態にかかる取鍋用写真測量システム１においては、取鍋の内面を計測するために２台のカメラの位置は近づけて固定する必要があり、カメラ間の距離が短くなる。よって、例えば、「秋本 圭一：情報化施工のためのデジタル画像計測法に関する研究，京都大学博士論文，March,2002」などに開示されている解法を用いて、カメラの撮影位置の算出を行うことにより計算精度を上げることができる。算出されたカメラ撮影位置の情報は、記憶部３４に記憶される（＃１９）。
【００６６】
カメラの撮影位置が得られたら準備作業は終了する。次いで、測定対象である取鍋の形状測量を図１０Ａに示す以下の手順により行う。
【００６７】
（撮影画像の作成）
図１に示されるようにカメラ固定ユニット４及び基準点ユニット５等が設置されている測定領域に、計測対象である取鍋６を移動させる。取鍋６は、クレーンによりその取鍋軸部を軸受の備わった軸受台７に搭載され、かつ開口部分がカメラ固定ユニット４の方向を向くように傾けて配置される（＃２１）。取鍋６は、軸受台７の上に取鍋軸部を軸受部に載置するように配置するため、概ね同じ位置に配置されることになるが、完全に同じ位置及び同じ向きに取鍋６を配置することは実質的に不可能である。
【００６８】
取鍋６を測定領域１０２に配置した後、取鍋６及び基準点ユニット５が写るようにカメラ２１，２２で撮影を行う（＃２２）。このため、２台のカメラ２１，２２は制御ユニット３のレリース部３１から発信されるトリガ信号によって動作制御され、１つのトリガ信号を受信すると撮像するように構成されている。撮影は、取鍋の温度変化が少ないタイミングで完了するように、比較的短い時間の間に連続して行われる。
【００６９】
図９は、２台のカメラが取鍋を撮影するタイミングの説明図である。レリース部３１から発生されるトリガ信号は、所定時間Ｔの間にｎ回発生される。したがって、所定時間Ｔの間にカメラＡ及びカメラＢそれぞれは、ｎ回の撮影を行って、ｎ枚の写真画像を撮影画像として撮影する。ここで、所定時間Ｔは、例えば、５〜３０秒程度であり、撮影の間の間隔は、１〜３秒程度であることが好ましい。
【００７０】
カメラＡ及びカメラＢは、レリース部３１から発生されるトリガ信号を受けてそれぞれ１枚目の撮影画像ＰＡ１，ＰＢ１を撮影し、その後、所定の間隔で間欠的に発生される信号によって連続して撮影を行う。所定時間Ｔが経過すると、レリース部３からのトリガ信号の発生が停止され、撮影動作が終了する。
【００７１】
（測定画像の作成）
２台のカメラ２１，２２により撮影された撮影画像は、一時的に記憶部３４に記憶される。画像作成部３３ｂは、記憶部３４に記憶された撮影画像を用いて、それぞれのカメラ２１，２２のそれぞれについて測定画像を作成する（＃２３）。
【００７２】
（測定画像の作成例１）
測定画像の作成は、図５の画像作成部３３ｂにより行われる。画像作成部３３ｂは、例えば、それぞれのカメラ２１，２２において連続的に撮影された撮影画像のうち、同じタイミングで撮影された１組の写真画像を測定画像として選択する。このとき、最も輝度が高く、測定対象である取鍋６のコントラストが高い写真画像を測定画像として選択することが好ましい。
【００７３】
（測定画像の作成例２）
なお、対象物である取鍋６は高温であるため、カメラとの間に大気の揺らぎが存在する場合がある。よって、撮影された撮影画像は、その影響を受けることとなる。大気の揺らぎの影響は、写真測量では深刻な問題となる。通常は写真測量の原理によれば、大気の揺らぎがない場合は、カメラのレンズ中心と撮影された画像の一点を結んだ線上に撮影された物体が存在する。しかし、大気の揺らぎがある場合は、光の屈折によりこの原理が成り立たないため、正確な計測をすることが困難になる。そこでこの問題を解決するために画像作成部３３ｂは、測定画像の作成処理において、以下の処理を行うようにしてもよい。
【００７４】
大気の揺らぎの問題を解決するためには、複数のカメラ２１，２２で、同じ測定対象物を複数回撮影された撮影画像を用いる。固定された同一のカメラにおいて撮影時刻の異なる画像では、大気の揺らぎの影響を受けると画像の一部において、２枚の画像間で差がでるはずである。また大気の揺らぎの影響を受けていない場合は２枚の画像ではノイズの差を除いて差がないはずである。そこで、画像作成部３３ｂは、撮影時刻の異なる２枚の撮影画像の輝度差が閾値以内の画像領域のみを抽出し、当該抽出した部分を１枚の写真画像に編集した画像を作成し、当該画像を測量画像とすることで大気の揺らぎの影響を除去した画像を作成することができる。
【００７５】
具体的には、画像作成部３３ｂは、以下の処理を行う。図１０Ｂは、画像作成部３３ｂが測量画像を作成する処理（図１０Ａのステップ＃２３）の詳細処理フロー図である。なお、図１０ＢにおいてはカメラＡについてのみ詳細に説明するが、カメラＢについても同様の処理がなされる。
【００７６】
図１０Ｃに図１０Ｂに示す処理の説明図を示す。上記のように、記憶部３４には、カメラＡによって同じ撮影位置から短時間の間に撮影された複数の撮影画像ＰＡ１〜ＰＡｎが記憶されている。画像作成部３３ｂは、これらの複数の画像を読み出し（＃２３１）、一辺が数十画素程度の微細領域に分割する（＃２３２）。ここで、図１０Ｃにおいては、分割された微細領域として第１領域９０ａ、９０ｂ、９０ｎとし、第２領域９１ａ、９１ｂ、９１ｎとする。そして、微細領域ごとに複数の撮影画像間でこれらの対応する微細領域の輝度値を比較する。具体的には、１コマ目について輝度値を各画像間で比較し（＃２３３）、各画像間の輝度差の絶対値が閾値以上の部分を除外する（＃２３４）。ここで、閾値は、例えば、予め同一条件で撮影できる対象物を複数回撮影し、その比較値の値がカメラの色再現性であることから、比較値の最大の値として定められる。また、閾値は現場の環境によって変更できるように随時、手動で変更できるようにする。そして順次２コマ目、３コマ目というように全ての分割領域の輝度値の偏差を演算する（＃２３５，＃２３６）。図１０Ｃにおいては、第１領域では、撮影画像ＰＡ２の微細領域９０ｂの輝度差が閾値以内のため、正常を示している。また、第２領域では、撮影画像ＰＡ１の微細領域９１ａの輝度値の差が閾値より大きかったため、異常と判断し、削除されている状態を示している。そして、各画像から任意の微細領域のコマを合成して、１枚の画像２３０を作成する（＃２３７）。ここで、合成の対象となる微細領域は、例えば、全ての撮影画像において、対応する微細領域のうち最も輝度値が高いものを選択するようにしてもよい。このようにして各微細領域が１枚に合成された画像２３７は、カメラＡに対する測定画像として記憶部３４に記憶される（＃２３８）。
【００７７】
なお、全てのカメラ２１，２２において同様の手順で各微細領域が合成された画像を作成し、写真計測用の測定画像とすることで大気の揺らぎの影響を除外することが可能となる。
【００７８】
（測定対象の形状算出）
１組の測定画像が得られたら続いて測定対象の取鍋の形状計測を行う（＃２４）。形状測定は図１１に示す手順により行われる。これらの一連の処理は、制御演算部３３の対応点演算部３３ｃ及び形状測定部３３ｄが処理を司る。
【００７９】
写真測量においては、三次元の形状算出を行うには、１つの測定画像から対象となる取鍋部分に対して複数の特徴点を抽出する（＃２４１）。さらに他の測定画像に対して、先に抽出された特徴点と同一場所となる点（以下、２枚の測定画像においてそれぞれ抽出されたこれらの特徴点及び同一場所を示す点を総括して対応点と呼ぶ場合がある）を抽出する（＃２４２）。複数の測定画像に対応付けられた対応点を用いて、三角測量の原理により、三次元座標を得ることができる。
【００８０】
（特徴点の抽出）
上記処理において、問題となるのは、画像認識によって１枚の測定画像から特徴点を選ぶ処理と測定画像間での対応点の取得する場合の処理手法である。もちろん、測定画像から取鍋部分の領域のみを手動で抽出し、その領域を保存しておき、次回以降の撮影ではその領域を入力することにより、取鍋部分の特徴領域を抽出するようにしてもよい。しかし、本実施形態においては、対応点演算部３３ｃ以下の処理により、これらの処理を自動的に行う。
【００８１】
まず１の測定画像から特徴点を抽出する処理（＃２４１）においては、測定対象が取鍋であるという特質を活かして以下のように処理を行う。図１２Ａは、１のカメラに対応する測定画像の画像表示例を示す図である。図１２Ａに示すように、測定画像２３０において、取鍋部分６は通常高熱により赤く発光して撮像されている。対応点演算部３３ｃは、この発光領域を抽出する。すなわち、取鍋６の周縁に対応する部分６１と取鍋の内壁に対応する部分６２は、取鍋の周りに位置する背景部分８０よりも赤く発光している。したがって、特徴領域の抽出としては、撮影された測定画像２３０に対して予め閾値が決められた明度以上の領域を抽出する。この際、他の発光部分も抽出する可能性があるので抽出された領域が一定以上の大きさの領域を取鍋部分の特徴領域とする。
【００８２】
上述の画像認識によって抽出された領域は、発光していない取鍋部分を抽出できない可能性があるため、発光している領域より少し大きめの領域を取鍋の特徴領域としてもよい。このようにして得られた特徴領域内において、任意の複数の点を特徴点１２１として抽出する。
【００８３】
（対応点の抽出）
続いて対応点演算部３３ｃは、１の測定画像において抽出された特徴点１２１が示す測定対象の同一箇所を、他の測定画像上において対応付ける（＃２４２）。カメラの撮影位置が前述によって既知であり、さらに一枚の測定画像２３０において特徴点１２１が得られたので、抽出された特徴点１２１に対応するエピポーラ線１２２を他の画像２４０上に引くことができる。図１２Ｂは他のカメラ２２における撮影画像２４０の例を示す。図１２Ａの特徴点１２１に対応して、公知の方法により図１２Ｂにエピポーラ線１２２を示すことができる。このエピポーラ線１２２上のいずれかの点に特徴点１２１と同一場所である点が存在することがいえるため、特徴点１２１を中心とする小領域の画像とエピポーラ線１２２上より抽出された小領域の画像の正規化相関をとることにより、対応点を抽出することができる。
【００８４】
（誤対応点の削除）
しかし、前記の方法で対応付けられた点は、測定対象の同じ場所に対応付けられるとは限らない場合がある。誤って対応付けられた点を誤対応点と呼ぶが、この誤対応点を削除する必要がある。従来は、この誤対応点の削除は複数の画像を同時に表示し、対応点の位置を目視において確認しながら削除していた。しかしこの方法では時間と労力の両方がかかることになる。そこで、誤対応点の削除を以下に示す処理により自動的に処理する（＃２４３）。
【００８５】
（誤対応点の削除処理例１）
まず、取鍋６のように幾何学形状で表せるような対象物であれば、予め、その対象物の特徴となるプロフィールを設定することができる。ここでいうプロフィールとは、図１３Ａに示すように、取鍋６の正面図を例にとると、開口側の楕円形状を示す短径１４１、長径１４２、その中心座標１４５と底面の短径１４３、長径１４４、その中心座標１４５に関する情報である。また、図１３Ｂに示す取鍋６の側面図を例にとると開口側と底面との長さ１５１及び開口の深さ１５１ａを示す情報である。これらの値は取鍋の製造時に設計データとして取得することができる。これにより、取鍋の製造時（設計時）の三次元形状を表すことができる。
【００８６】
なお、測定領域１０２において取鍋６を測定毎に完全に同じ配置にすることは実質的には困難であり、測定ごとに若干ずれる可能性がある。このため、測定毎にその位置補正を行う必要がある。すなわち、対応点の抽出を行う他のカメラに対する測定画像２４０に撮像されている取鍋の像と設計データのプロフィールが最も重なるように位置補正させて重ね合わせる。
【００８７】
この設計データが配置された三次元形状とエピポーラ線により抽出された測定画像２４０上に抽出された対応点から計算される三次元座標との距離において一定の閾値から離れた三次元点は誤対応点であると判断する。図１４は誤対応点の抽出の処理を説明するための図である。図１４には、三次元形状である取鍋６のプロフィール１８１に対してその近傍領域である外側領域１８２及び内側領域１８３が示されている。この近傍領域である外側領域１８２及び内側領域１８３の中にある計測点１８４は正常な三次元点であり、これらの近傍領域１８２の外側にある三次元点１８５，１８３の内側にある三次元点１８６は誤対応点であると判断する。このように簡単な三次元形状であるプロフィール形状とその位置補正機能を有することで、誤対応点を自動的に削除することができ、時間と労力を削減できる。
【００８８】
また、取鍋の経年変化を調べる目的であれば、測定画像に配置されるプロフィールとしては、毎回取鍋の形状を測定する必要がある。この時、一つ以上前に計測された三次元形状のデータをプロフィールとして誤対応点の削除処理に用いることができる。この場合のプロフィールとしては、取鍋の三次元形状そのものである。新たな計測時には何らかの経年変化が生じているため、プロフィールと対応点の三次元座標との距離において一定の閾値以上離れた三次元点は誤対応点であるとみなすことができる。
【００８９】
（誤対応点の削除処理例２）
次に、誤対応点を削除する処理の別実施形態について説明する。図１５は１のカメラ２１によって撮影された測定画像の表示例である。この測定画像を上述のように特徴領域を特定し、当該特徴領域上に特徴点を格子状に抽出する。図１５の特徴点３０１〜３０５は、格子状に抽出された特徴点の１行分を示している。この特徴点に対して上述したエピポーラ線１２２を用いた方法により、他の測定画像上で対応点を計算する。
【００９０】
この変形例においては、他の測定画像上に対応付けられた対応点の画像座標に基づいて、誤対応点を抽出する。すなわちこの変形例では、対応点演算部３３ｃは、このように１の測定画像上において格子状にとられた特徴点を他の測定画像上で対応付けた場合、連続する特徴点の変化に比べて急激に変化する対応点を、誤対応点であると判断する。
【００９１】
図１５において、１の測定画像２３０上に格子状に配置された特徴点に対して他のカメラで撮影された他の測定画像上に対応付けられた対応点の例を図１６Ａに示す。また、図１６Ｂは、図１６Ａの対応点のみを抽出した図である。図１６Ａにおいては、図１５に示す特徴点３０１〜３０５に対する他の測定画像上の対応点３２１〜３２５を示している。ここで対応付けられた対応点３２１〜３２５は、取鍋６のように内面形状が滑らかに変化する対象物である場合、滑らかに変化するはずである。しかし、図１６Ａ、図１６Ｂの対応点３２４においては、周囲の対応点の画像座標の変化に比べて急激な変化がある。対応点演算部３３ｃは、このような画像座標は誤対応点の結果として抽出されたものであると判断する。このように格子状にとられた特徴点を対応付け、前後の対応点の変化に比べて急激に変化する対応点は誤対応点であると判断することができる。
【００９２】
誤対応点を判断する場合の具体的演算手法としては、隣り合う対応点３２４、３２３が結ぶ線分３３０と反対側に隣り合う対応点３２４、３２５が結ぶ線分３３１がなす角度αがある閾値以下の変化があった場合は、誤った対応点と判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。
また同様に特徴点が等間隔に並んでいることを考慮すると前後の対応点座標もほぼ等間隔に並んでいると考えられるので、隣り合う対応点３２４、３２３が結ぶ線分３３０の長さと反対側に隣り合う対応点３２４、３２５が結ぶ線分３３１の長さの和がある閾値を超えた場合、誤った対応点であると判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。
さらに前述の角度αの閾値以下の値または距離が閾値以上の値をとった場合も誤った対応点としてもよい。
【００９３】
（三次元形状の演算）
前記の方法により、複数の画像に対して、取鍋領域の対応点が自動的に抽出されると三角測量の原理により三次元座標を抽出することができる。形状測定部３３ｄは、取鍋の三次元形状を自動的に演算する（＃２４）。
【００９４】
（誤三次元座標の削除）
演算された三次元座標は、誤りの三次元座標を抽出する作業を行い、これを削除する処理を行う（＃２４５）。図１７は上記処理により計算された測定対象の三次元座標の一部を示している。取鍋６のように内面形状が滑らかに変化する対象物である場合、三次元座標３１１〜３１５は滑らかに変化するはずである。しかし、図１７の三次元座標３１３においては、急激な変化がある。このような三次元座標は、先に行われた誤対応点の削除の処理（＃２４３）において削除されずに残存した誤対応点の結果として計算されたものである。
【００９５】
本実施形態においては、変化量としては、隣り合う測定対象の三次元座標３１３、３１２が結ぶ線分３４０と他方向に隣り合う測定対象の三次元座標３１３、３１４が結ぶ線分３４１がなす角度βがある閾値以下の変化があった場合は、当該角度βをなす三次元座標３１３を誤三次元座標として判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。
【００９６】
さらに、誤対応点の第２の削除処理例において説明したように、特徴点を格子状に抽出した処理を行っている場合は、等間隔に並んでいることを考慮すると隣り合う三次元座標もほぼ等間隔に並んでいると考えられるので、隣り合う三次元座標３１３、３１２が結ぶ線分３４０の長さと他方向に隣り合う三次元座標３１３、３１４が結ぶ線分３４１の長さの和がある閾値を超えた場合、誤った三次元座標であると判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。なお、前述の角度βの閾値以下の値または距離が閾値以上の値をとった場合も誤った対応点としてもよい。
【００９７】
誤った三次元座標を削除したのち、演算された三次元座標を用いて、取鍋の三次元形状を特定する（＃２４６）。測定対象である取鍋の三次元形状が特定されると、残厚計算を行う（＃２５）。残厚計算は、制御演算部３３の位置補正部３３ｅ及び変形量算出部３３ｆが処理を司る。
【００９８】
なお、残厚計算において、取鍋の残厚の位置を特定するために、三次元形状データを設計データと一致させて配置させて比較することが望ましい。このため、測定毎にえられた三次元形状データの位置補正を行う必要がある。位置補正のデータを図１８に示す。図１８は取鍋の平面図、正面図、側面図を示すものであり、位置補正としてＸ軸補正値１６１、Ｙ軸補正値１６２、Ｚ軸補正値１６３を実測する。また、角度補正として、Ｘ軸周りの角度補正値１６４、Ｙ軸周りの角度補正値１６５、Ｚ軸周りの角度補正値１６６を実測する。このように実測された位置補正値及び角度補正値を使って取鍋の三次元形状のデータを取鍋６の設計データに合わせて位置補正し、三次元位置を正確にきめることができる。
【００９９】
設計データの位置補正においては、取鍋６の測定画像に撮像されている特徴部分を基準として行うことが好ましい。以下、位置補正の手順について説明する。ここでは、三次元形状データから設計データを重ねる方法を示すが、逆に設計データから三次元形状データに重ねても同様の結果が得られることを予め付記しておく。位置補正を行う前提として、配置された基準点が測量機器によって実測（＃１３）されているため、三次元形状データは、実測による座標系に合わせられている。
【０１００】
まず、三次元形状データと設計データは同一の座標系にはないため、三次元形状データを設計データに重ねる。その手順を以下に示す。
【０１０１】
図２０は基準点と取鍋の位置関係を含む設計データの一例である。すなわち、設計データには、取鍋の形状に関するデータのみではなく、本来取鍋が配置されるべき位置と基準点の位置との関係が含まれている。設計データ上にある直線上にない基準点を３つ選択する。選択された３つの座標点をそれぞれ、点Ｐ１（Ｘ1、Ｙ1、Ｚ1）点Ｐ２（Ｘ2、Ｙ2、Ｚ2）点Ｐ３（Ｘ3、Ｙ3、Ｚ3）とする。ここでは、基準点を選択したが、選択する三次元座標点は、互いに任意の直線上にない点であれば、どこでもかまわない。例えば、取鍋の軸受け部の両端と取鍋の口部でもかまわない。また、選択する点の数は３点以上でもよい。
【０１０２】
図２１は基準点と取鍋の位置関係を含む三次元形状データの一例である。三次元形状データにある１．で選択された同一箇所の三次元座標点を３つ選択する。選択された３つの座標点をそれぞれ、点Ａ（ＸA、ＹA、ＺA）点Ｂ（ＸB、ＹB、ＺB）点Ｃ（ＸC、ＹC、ＺC）とする。
【０１０３】
三次元形状データを設計データに重ねるには上記のように選択されたお互いの３点の座標から以下の式（１）に示される方程式を解くことで求められる。
ｘ＝ＲＸ＋Ｔ ---（１）
ここで、ｘは設計データの三次元座標ベクトル、Ｒは３×３の回転行列、Ｘは三次元形状データの三次元座標ベクトル、Ｔは平行移動量をあらわす併進ベクトルである。
【０１０４】
上記の式（１）で示される方程式は、金谷 健一著 「画像理解−三次元認識の数理」、森北出版に開示されているように、三次元形状データと設計データの選択された３点の三次元座標点から未知数である回転行列Ｒと併進ベクトルＴを求めることができる。
【０１０５】
上記方程式を用いて未知数が得られたら、（１）式を用いて、三次元形状データを設計データの座標系に変換する。しかし、取鍋６は、設計図どおりの位置に配置することは難しく、このため、図２２に見られるように三次元形状データの取鍋の位置（図２１の点線）は、設計データからずれた位置に座標変換される。ずれた状態では、設計データからどの程度、ずれているかわからないため、変換された三次元形状データの取鍋の位置を設計データの位置に合わせるように補正する必要がある。補正方法は、図１８に示すように実測された移動量であるＸ軸補正値１６１、Ｙ軸補正値１６２、Ｚ軸補正値１６３、および、角度補正である、Ｘ軸周りの角度補正値１６４、Ｙ軸周りの角度補正値１６５、Ｚ軸周りの角度補正値１６６を利用する。
【０１０６】
補正式としては、以下の式（２）で求められる。
ｘ＝ＭＸ＋ΔＴ ---（２）
ここで、ｘは設計データの三次元座標ベクトル、Ｍは３×３の回転行列、Ｘは変換後の三次元形状データの三次元座標ベクトル、Ｔは平行移動量をあらわす併進ベクトルである。
【０１０７】
併進ベクトルＴの三次元座標ベクトルは、Ｘ軸補正値１６１（Δｘ）、Ｙ軸補正値１６２（Δｙ）、Ｚ軸補正値１６３（Δｙ）を利用する。また、回転行列Ｍは、Ｘ軸周りの角度補正値１６４（ω）、Ｙ軸周りの角度補正値１６５（φ）、Ｚ軸周りの角度補正値１６６（κ）を利用する。具体的には、
Ｔ＝（Δｘ、Δｙ、Δｚ）
【数１】
であらわされる。（２）式を用いることにより、三次元形状データを設計データに重ね合わせることができるようになる。
【０１０８】
前記の方法により、三次元形状データを設計図データに重ねることができたため、この情報を用いて座標変換された三次元形状データと設計図データを比較することにより、取鍋の経年変化を調べることができる。この手順は以下の通りである。
【０１０９】
まず、座標変換された三次元形状データは、点群データのため、面的な形状を持っていない。そこでまず、その点群データを利用し、三角網を貼ることを考える。三角網の貼り方としては非特許文献５に挙げられるDelauney法が適している。この方法に三次元の点群データの情報から三角網を貼ることができ、三次元形状データは面的な情報を得ることができる。
【０１１０】
続いて、ある特定点の残厚を計算することを考える。図２３は三次元形状データと設計図データを重ねた鳥瞰図を示している。図２４はその正面図を示している。図２３の一点鎖線は取鍋の中心軸を示している。また、点線は中心軸上のある一点０を通る水平軸方向を示している。この水平軸からある角度θの方向の直線と三次元形状データの三角網との交点をＡ点とする。また同様に、設計図データとの交点をＢとする。距離ＯＢと距離ＯＡの差が残厚となる。
【０１１１】
同様に角度θを０から３６０度まで計算すると中心軸の点Ｏの周りの残厚を計算することができる。また点Ｏを取鍋の口部から底部まで、上記の計算をすると図１９に見られる取鍋の側壁の残厚を計算することができる。
【０１１２】
図１９（ｂ）は、取鍋の側面図である。取鍋の底面部のある一点の距離ＡＢを計測することにより、その点の残厚を計算することができる。また、上記計算を底面全域に対して行うと、図１９（ａ）に見られるように底面の残厚を計算することができる。
【０１１３】
以上説明したように、本実施形態にかかる写真測量システムによれば、測定対象である取鍋の特性により取鍋の残厚を簡単かつ正確に測定することができる。
【０１１４】
また、本発明の従来のレーザー式形状計や写真測量装置に比べての導入効果としては、低コスト、高精度、高速である。
【０１１５】
すなわち、レーザー式形状計は、高出力半導体レーザーヘッドとレーザーヘッド高速駆動装置を備えた、高価な装置である。本発明装置は、汎用のデジタルカメラと例えばパソコン、基準点を主な構成品とするため、極めて安価に仕上がる。
【０１１６】
また、従来のレーザー式形状計は、高温の液体状スラグコーティング面又は溶融金属面に対しては、レーザー光が散乱するため測定不可能であった。本発明装置は複数の時経列写真データより、自動的に高温揺らぎ成分を除去することが可能となり、従来レーザー測量が不可能であった１２００℃以上のスラグコーティング面は勿論のこと、１８００℃を超える溶融金属面の表面測量が可能となった。
【０１１７】
従来のレーザー式形状計は、１点あたり０．３秒程度かかり、炉を対象とした場合温度降下を避けるため、最大測定時間は数分以内となるため測定点数が数百点以内となり、全体を詳細に測量することが困難である。本発明装置は前述の時経列写真データをサンプリングするための総合時間でも１０秒以内と極めて短時間で済むため、炉熱降下が最小限に抑えられるため、耐火物の亀裂を発生させず、更に省エネ効果が生まれる。
【０１１８】
次に、従来の写真測量装置に比べての導入効果は次の通りである。従来の写真測量装置は、コスト的にはレーザー式形状計よりも安価であるが、耐火物の残厚計測に適用する場合、撮影制御部、測定画像作成部、基準点抽出部、対応点抽出部、形状測定部、位置補正部が手動操作のため、数時間のデータ処理を必要としたため、ラボ用途に限られていた。前述の撮影制御部、測定画像作成部、基準点抽出部、対応点抽出部、形状測定部、位置補正部が手動操作のため、耐火物の残厚計測に数時間を要していた。本発明装置は撮影制御部、測定画像作成部、基準点抽出部、対応点抽出部、形状測定部、位置補正部が自動的に処理可能であるため、汎用パソコンを使ってのデータ処理においても１０分以内の高速化処理を達成している。その結果、オンラインでの適用が可能となり、耐火物残厚予測精度が向上し、耐火物補修時期の最適化が図れることにより、耐火物コストミニマム化の効果を得ている。
【０１１９】
また、従来の写真測量装置は、１度の写真撮影より測量処理を実施するために、高温の液体状スラグコーティング面又は溶融金属面の揺らぎ部分において大きな誤差が生じており、測定不可能であった。本発明装置は複数の時経列写真データより、自動的に高温揺らぎ成分を除去することが可能となり、従来の写真測量装置が不可能であった１２００℃以上のスラグコーティング面は勿論のこと、１８００℃を超える溶融金属面の表面測量が可能となった。その結果、従来では耐火物残厚の管理が困難であったＡＯＤ炉等の高温炉が可能となったため、耐火物コストミニマム化の効果を得ている。
【０１２０】
なお、本発明は上記実施形態に限定されるものではなく、鉄鋼業以外でのその他種々の態様で実施可能である。
【図面の簡単な説明】
【０１２１】
【図１Ａ】本発明の写真測量装置の一実施形態にかかる写真測量システムの全体構成を示す模式図である。
【図１Ｂ】本発明の写真測量装置の一実施形態にかかる写真測量システムの全体構成を示す模式図である。
【図２】図１Ａの写真測量システムに用いられるカメラ固定ユニットの構成を示す図である。
【図３】図１Ａの写真測量システムに用いられる基準点ユニットの配置箇所及び構成を示す図である。
【図４Ａ】図１Ａの写真測量システムに用いられるレトロターゲットの構成例を示す図である。
【図４Ｂ】図１Ａの写真測量システムに用いられるレトロターゲットの他の構成例を示す図である。
【図４Ｃ】図１Ａの写真測量システムに用いられるレトロターゲットのさらなる他の構成例を示す図である。
【図５】図１Ａの写真測量システムに用いられる制御ユニットの構成を示すブロック図である。
【図６】図１Ａの写真測量システムを用いて測量する準備作業の手順について示すフローである。
【図７】図１Ａの写真測量システムにおける光学関係を示す図である。
【図８】基準点の検出処理を行う場合の説明図である。
【図９】２台のカメラが取鍋を撮影するタイミングの説明図である。
【図１０Ａ】図１Ａの写真測量システムにおいて三次元形状を測定する処理工程を示すフロー図である。
【図１０Ｂ】画像作成部が測量画像を作成する処理についての処理フロー図である。
【図１０Ｃ】図１０Ｂに示す処理の説明図である。
【図１１】図１０Ａの測定対象の形状算出の処理における詳細フロー図である。
【図１２Ａ】１のカメラに対応する測定画像の画像表示例を示す図である。
【図１２Ｂ】他のカメラに対応する測定画像の画像表示例を示す図である。
【図１３Ａ】取鍋のプロフィールを示す設計データの例を示す正面図である。
【図１３Ｂ】取鍋のプロフィールを示す設計データの例を示す側面図である。
【図１４】誤対応点の抽出の処理を説明する図である。
【図１５】１のカメラによって撮影された測定画像の表示例である。
【図１６Ａ】１の測定画像上に格子状に配置された特徴点に対して他のカメラで撮影された他の測定画像上に対応付けられた対応点の例を示す図である。
【図１６Ｂ】図１６Ａの対応点のみを抽出した図である。
【図１７】計算された測定対象の一部の三次元座標の位置を示す図である。
【図１８】取鍋の平面図、正面図、側面図を示す図である。
【図１９】算出された三次元座標を用いた残厚の展開図である。
【図２０】基準点と取鍋の位置関係を含む設計データの一例である。
【図２１】基準点と取鍋の位置関係を含む三次元形状データの一例である。
【図２２】三次元形状データの取鍋の位置を示す図である。
【図２３】三次元形状データと設計図データを重ねた鳥瞰図を示す図である。
【図２４】図２３の正面図を示す図である。
【符号の説明】
【０１２２】
１ 写真測量システム
２，２１，２２ カメラ
３ 制御ユニット
４ カメラ固定ユニット
５ 基準点ユニット
６ 取鍋
７ 軸受台
３１ レリース部
３２ インターフェース部
３３ 制御演算部
３３ａ 基準点指定部
３３ｂ 画像作成部
３３ｃ 対応点演算部
３３ｄ 形状測定部
３４ 記憶部
３５ システムプログラム記憶部
４０，４０ａ，４０ｂ，４０ｃ レトロターゲット
４１ 基準点
２１０、２２０ 撮影画像
２３０，２４０ 測定画像
【技術分野】
【０００１】
本発明は、測定対象の形状を描くための写真測量装置及び写真測量システムに関し、更に詳述すれば鉄鋼業において、コークス炉、高炉、高炉熱風炉、転炉、電気炉、ロータリーキルン、ＡＯＤ炉、ＶＯＤ炉、ＲＨ炉、溶銑鍋、取鍋、トーピード、加熱炉、均熱炉等の機械構造物の内面形状又は外面形状を好適に測量可能な写真測量装置及び写真測量システムに関する。
【背景技術】
【０００２】
鉄鋼業において用いられる高炉、転炉等の内面には、容器本体保護のため耐火煉瓦が内張りされている。この耐火煉瓦は、内部の溶融金属等により徐々に損耗するため、損耗の進行状況に応じて張り替える必要がある。
【０００３】
内張り耐火物の損耗は、全体が均一に摩耗することはまれであり、実際は局部的に損耗することが多い。局部的損耗が所定量以上に進行した場合にも、その部分又は全部の耐火物の張り替え、上張り等の補修が必要となる。
【０００４】
しかしながらこのような耐火物の補修は、容器を一旦冷却し、先に内張りされた耐火物を除去したのち、新しい耐火物を内張りしなければならない。したがって、多大の労力と時間を要し、特に転炉等においては補修作業中、操業停止となるため効率化操業の阻害要因となっている。それ故にこれらの炉においては耐火物の損耗状態を随時観察し、必要な場合には局部的損耗部にセラミック等の耐火材料を吹き付けて補修し、損耗を抑制している。
【０００５】
このような補修を効率的に行うには、高温状態にある炉内の内張り耐火物の損耗状態を把握する必要が生ずるが、炉内は赤熱状態であること、ガスや高温環境のため炉近傍に近寄れないこと等の理由により目視による損耗状態の把握は困難である。このような実情のもと、従来からこれらの炉の内面形状を測定するための方法が種々提案されている。
【０００６】
この方法は耐火物にレーザー光等の光を走査させるレーザー式形状計が主流となっている。これは大きく分けて投光部を炉内に設けたものと炉外に設けたものの２通りがある。前者の代表は光波距離計を用いて複数の波長に変調されたレーザーを照射し、位相差に基づき距離を求める方式やレーザーそのものの耐火物照射時の往復時間を計測する飛行時間方式である。後者の代表は測定器としてレーザーを用いるが、レーザー計本体をプローブに装着して炉内に挿入することで前者の死角も測定可能としている。この装置は例えば、特開昭５４−１１５１６０号公報などに開示されている。
【０００７】
しかし、従来技術に見られるレーザー式形状計はコスト上、操作上更にはレーザー取扱いの安全上、種々の問題があった。例えば、コスト上においては、レーザー式形状計本体そのものが高価であり、更に測定対象設備が回転型の転炉等には高精度かつ高価な角度計を必要とする。また、操作上においては、耐火物残厚の測定は、温度を低下させることにより耐火物亀裂を防止する観点より、操業の合間の短時間を利用することになる。そのため、レーザーによる距離測定は、１点あたり０．３秒程度かかり、測定点数も１０００点未満となり、全体を詳細に把握することが困難となる。従って、レーザーを通常運用する場合、隣り合う測定点の距離が１０ｃｍ程度となり、その結果クラックや局部損耗等の異常部位を発見することはできない致命的な問題が残されている。さらに、レーザー取り扱いにおいては、耐火物残厚の測定用途の場合、高出力レーザーを必要とし、そのための安全対策として遮光メガネの着用、管理区域の設定、レーザービームのストッパが必要となり、コストの増加と操作性の悪化を招いていた。
【０００８】
上記のように多くの問題を備えるレーザー式形状計に変わる非接触による別の計測方法として、写真計測が考えられる。写真計測とは、測定対象が写るように、２箇所以上の場所から撮影した複数枚の画像を用い、同一個所の対応付けを行い、三角測量の原理に基づき、三次元計測する手法である。この手法は従来、航空写真を用いて地形図作成のために利用されていた。近年デジタルカメラの発達により、写真計測は対象物を選ぶことなく計測されるようになってきている。
【特許文献１】特開２００４−７７３７７号公報
【非特許文献１】徐剛著：「３次元ビジョン」、近代科学社、１９９８年４月
【非特許文献２】服部進、秋本圭一、井本治孝：「コード付きターゲットを使った工業画像計測の自動化」、電子情報通信学会論文誌、Vol.J84-D-II,No.9,pp.2011-2019,2001.
【非特許文献３】社団法人 日本写真測量学会：「解析写真測量 改訂版」、社団法人 日本写真測量学会・解析写真測量委員会 責任者 村井利治、昭和５８年６月１５日、ｐ．１２６−１４７
【非特許文献４】秋本 圭一：情報化施工のためのデジタル画像計測法に関する研究，京都大学博士論文，March,2002
【非特許文献５】徐剛著：「写真から作る３次元ＣＧ」、近代科学社、２００１年１月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、従来の写真計測においては、いくつかの問題を含んでいる。一つ目は、カメラの撮影位置を計算するために、２つの画像間で対応付け、撮影位置を算出する作業である。この作業は人の手によって行われるため、精度が不安定になることがある。また作業時間もかかっているのが現状である。二つ目は、測定対象の詳細な形状を得るために、対応点の数を増やす作業である。この作業は、画像相関などの手法により、ある程度自動化されているものの、誤った対応点が発生していた。この誤った対応点は、人の手により、修正をおこなっていたため、非常に多くの時間を費やしていた。
【００１０】
したがって、本発明が解決しようとする技術的課題は、写真測量を用いた測定対象の三次元形状の測定において、処理を自動化することによって手間を省略するとともに、より正確に測定することができる写真測量装置及び写真測量システムを提供することである。
【課題を解決するための手段】
【００１１】
本発明は、上記技術的課題を解決するために、以下の構成の写真測量装置を提供する。
【００１２】
本発明の第１態様によれば、撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象について特定された特徴点の特徴点座標と当該特徴点について他の測定画像上で対応づけられた対応点の対応点座標を抽出する対応点抽出部と、
前記特徴点座標と対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた対応点の三次元位置と前記測定対象の設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部とを備えることを特徴とする、写真測量装置を提供する。
【００１３】
また、本発明の第２態様によれば、撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量し、記憶部に記憶されている前記測量対象の設計データと前記測量対象の三次元形状とを比較して、測量対象と前記設計データとの形状の差を演算する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象の共通の対応点座標を抽出する対応点抽出部と、
前記対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた基準点の三次元位置と前記設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部と、
前記位置補正部により補正された三次元形状と前記設計データを比較することによって、前記測定対象の変形箇所の位置と変形量とを算出する変形量算出部とを備えることを特徴とする、写真測量装置を提供する。
【００１４】
本発明の第３態様によれば、前記撮影制御部は、前記複数の撮影装置を１つのトリガ信号によって同時に撮影制御することを特徴とする、第１又は第２態様の写真測量装置を提供する。
【００１５】
本発明の第４態様によれば、前記撮影制御部は、前記トリガ信号を間欠的に複数回発生させ、前記複数の撮影装置によって同時に連続的に撮影が行われるように撮影制御することを特徴とする、第３態様の写真測量装置を提供する。
【００１６】
本発明の第５態様によれば、前記測定画像作成部は、任意の複数の写真画像を抽出する手段が全ての撮影装置において撮影時刻が同じ１組の撮影画像を選択し、当該撮影画像を測定画像とするように構成されていることを特徴とする、第１から第４態様のいずれか１つの写真測量装置を提供する。
【００１７】
本発明の第６態様によれば、前記測定画像作成部は、個々の撮影装置において前記連続的に撮影された複数の撮影画像について、前記複数の撮影画像を微細領域に分割して撮影画像上の任意の輝度が同一の部分に相当する微細領域の輝度の差分処理を行う差分処理部と、
前記差分処理部により差分処理された部分の輝度差が閾値以内のもののみを用いて、新たな写真画像に編集する画像編集部を備え、
前記それぞれの撮影装置ごとに前記画像編集部によって編集された写真画像を測定画像とすることを特徴とする、第５態様の写真測量装置を提供する。
【００１８】
本発明の第７態様によれば、前記基準点抽出部は、先の測量時に用いられた測定画像において抽出された基準点座標である事前基準点座標の近傍の範囲を走査し、前記測定画像から基準点座標を抽出することを特徴とする、第１から第６態様の写真測量装置を提供する。
【００１９】
本発明の第８態様によれば、前記対応点抽出部は、先の測量時に用いられた測定画像において抽出された対応点座標である前記事前対応点座標の近傍の範囲を走査し、前記測定画像から対応点座標を抽出することを特徴とする、第１から第６態様のいずれか１つの写真測量装置を提供する。
【００２０】
本発明の第９態様によれば、前記形状測定部によって得られた三次元座標を前記設計データと比較し、前記設計データにより特定される三次元形状から所定距離以上離れた点として求められた三次元座標を除いて、前記測定対象の三次元形状を特定することを特徴とする、第２から第８態様のいずれか１つの写真測量装置を提供する。
【００２１】
本発明の第１０態様によれば、対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、 前記誤対応点抽出部は、１つの測定対象について特定された特徴点について対応づけられた対応点から得られる三次元座標と、予め用意された測定対象の三次元形状のデータを比較し、前記対応点から得られる三次元座標が、測定対象の三次元形状の近傍にない対応点を誤りであると判定することを特徴とする、第１から第９態様のいずれか１つの写真測量装置を提供する。
【００２２】
本発明の第１１態様によれば、測定対象の前記三次元形状のデータは、前記測定対象の設計データであることを特徴とする、第１０態様に記載の写真測量装置を提供する。
【００２３】
本発明の第１２態様によれば、測定対象の前記三次元幾何形状のデータは、前記測定対象について、先の測量時に測量された三次元計測データであることを特徴とする、第１０態様の写真測量装置を提供する。
【００２４】
本発明の第１３態様によれば、対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、
前記対応点設定部は、任意の１の測定画像に設定する特徴点を任意に特定された配置となるように設定し、前記設定された特徴点に対応するように他の測定画像上に対応点を設定し、
前記誤対応点抽出部は、対象となる前記対応点の周囲に配置された対応点の配置が、前記特徴点において特定された配置と比較して閾値を越える変化を有するときは、当該対象となる対応点が誤対応点であると判断することを特徴とする、第１から第９態様のいずれかの写真測量装置を提供する。
【００２５】
本発明の第１４態様によれば、前記対応点設定部は、前記任意の１の測定画像に設定する特徴点を格子状配置となるように設定することを特徴とする、第１３態様の写真測量装置を提供する。
【００２６】
本発明の第１５態様によれば、前記誤対応点抽出部は、前記対象となる対応点に隣接する１つの対応点を結ぶ直線と、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線とがなす角度が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、第１３又は第１４態様の写真測量装置を提供する。
【００２７】
本発明の第１６態様によれば、前記誤対応点抽出部は、前記対象となる対応点に隣接する対応点を結ぶ直線Ａと、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線Ｂとの長さの和が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、写真測量システムを提供する。
【００２８】
本発明の第１７態様によれば、第１から第１６態様のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記基準点ユニットは、前記ターゲットを前記撮影装置により撮影される測定対象のＸ、Ｙ、Ｚ軸の各成分別に、測定対象の最大距離の半分以上の距離を置いて配置されることを特徴とする、写真測量システムを提供する。
【００２９】
本発明の第１８態様によれば、第１から第１６態様のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記ターゲットは、発光部を備え、前記写真測量装置は前記発光部からの光を前記基準点して前記撮影装置により撮影することを特徴とする、写真測量システムを提供する。
【００３０】
なお、本発明の説明に用いる用語は、次の意味を有するものとする。
【００３１】
「撮影装置」とは、測定対象及び基準点を被写体として光学撮影可能であり、かつ当該撮影された画像を電子情報として作成可能な装置を意味する。例えば、デジタルカメラなどが例示できるが、銀塩カメラと銀塩カメラにより撮影された写真を画像情報として変換可能なスキャナとを備えるユニットで構成されていてもよい。
【００３２】
「撮影画像」とは、測定対象及び基準点を被写体として撮影装置で撮影された写真画像をいう。撮影画像は、一回の測量に１つの撮影装置について複数枚存在していてもよく、１枚のみであってもよい。また、任意のタイミングの静止画を抽出可能な動画であってもよい。
【００３３】
「測定画像」とは、それぞれの撮影装置につき、測量演算に用いるために撮影画像を用いて測定画像作成部により作成される静止画の画像である。撮影画像が複数である場合は、複数の撮影画像のうちの１枚をそのまま測定画像としてもよいし、複数の撮影画像を部分的に用いて測定画像を画像合成により作成してもよい。測定画像は、それぞれの撮影装置に対応して１枚ずつ作成されるものであり、測定対象の形状を写真測量の原理で測定する場合に用いられる画像となる。
【００３４】
「測定対象の三次元形状」とは、測定対象について写真測量された結果として得られる測定対象の物理的な形状を意味し、当該測定対象上に位置する多数の点の三次元座標値を認識可能なものである。三次元形状のデータは、必ずしも多数の点の三次元座標値の集合として表されている必要はなく、ＣＡＤなどの設計図面データなどで与えられていてもよいが、任意の点の三次元座標値を認識できるものである必要がある。
【００３５】
「特徴点」とは、１組の測定画像のうち基準となる１の測定画像上に配置された点である。特徴点は、測定対象の三次元形状の算出に用いられるものであり、任意に設定することができる。
【００３６】
「対応点」とは、１組の測定画像のうち基準とならなかった他の測定画像上において、特徴点において示される被写体上の同じ点を示す点である。対応点は、測定対象の三次元形状の算出に用いられるものであり、特徴点と同じ被写体上の点を示すものであるから、特徴点と同様の配置で他の画像上に表されることが多い。
【発明の効果】
【００３７】
本発明によれば、測定対象の形状を写真測量によって測定することができるとともに、設計データに合わせて誤差補正を行うことで測定対象の変形箇所の位置と変形量とを確実かつ容易に算出することができる。
【発明を実施するための最良の形態】
【００３８】
次に、本発明の写真測量装置の実施形態にかかる写真測量システムについて説明する。図１Ａ及び図１Ｂは、本発明の写真測量装置の一実施形態にかかる写真測量システムの全体構成を示す模式図である。以下、本システムを製鉄所において用いられる取鍋の内面形状の測定に用いた取鍋用写真測量システムを例にとって説明する。図１Ｂに示すように本実施形態にかかる写真測量システム１は、測定対象である取鍋６を製鉄作業領域１０１から測定領域１０２へ移動させるクレーンを備える。写真測量システム１は、当該測定領域１０２に配置された取鍋を写真測量の原理により測量する。
【００３９】
図１Ａに示すように、取鍋用写真測量システム１は、測定対象となる取鍋６の内面を撮影するための複数のカメラ２をカメラ固定ユニット４に配置している。写真測量の原理によれば、カメラは最低２台があれば、計測することが可能である。なお、精度をあげるために３つ以上カメラを設置してもよい。
【００４０】
また、取鍋用写真測量システム１には、制御ユニット３が設けられている。制御ユニットは、それぞれのカメラで撮影された写真画像を用いて取鍋の形状計測の処理を行う写真測量装置として機能する。当該制御ユニット３の構成及び処理の詳細については後述する。
【００４１】
本実施形態にかかる写真測量システムに用いられるカメラ２は、予め内部標定が行われたものを用いることで測定精度を向上させることができる。内部標定とはカメラ特有のパラメータであり、焦点距離、主点位置、歪み補正値を表すものである。内部標定の方法は公知の方法により行うことができる。なお、内部評定は、複数のカメラ２のそれぞれについて行われる。
【００４２】
図２はカメラ固定ユニットの構成を示す図である。カメラ固定ユニット４は、カメラ固定台２４の上に、２台のデジタルスチルカメラ２１、２２を備える。本実施形態においては、カメラ２１，２２は、それぞれ３０００画素×４０００画素の画像を撮影することができるデジタルカメラが用いられている。それぞれのカメラ２１、２２の相対的な位置関係は、後述する処理によって算出され、制御ユニット３の記憶部に格納される。
【００４３】
また、２台のカメラ２１、２２は、制御ユニット３からの信号を受けて、同じタイミングで撮影可能に構成されている。同じタイミングで撮影することにより、２台のカメラ２１、２２で撮影された取鍋内面の温度変化による測定誤差の影響を受けにくくすることができ、取鍋６の熱による寸法変化などの問題を少なくすることができる。これに対して１台のカメラを用いて撮影場所を異ならせて撮影する場合、その移動中に取鍋内面の温度が変化する。このため、得られた複数の画像は取鍋の温度変化の影響を受け、画像が変化する。よって、後述する複数枚の画像間で行われる対応付けが、温度変化のために困難となる可能性がある。すなわち、複数のカメラを同時に撮影可能とすることにより、それぞれのカメラで撮影された画像の対応付けを容易にすることができる。
【００４４】
また複数のカメラ２１、２２は、高温や粉塵から守るために、ケース２５に入れた状態で固定台２４に設置されることが好ましい。
【００４５】
図３に示すように、測定領域１０２には、取鍋６が配置される。取鍋６は、クレーンによりその取鍋軸部を軸受の備わった軸受台７に搭載させ、開口部分がカメラ２１、２２側に向くように配置される。取鍋６の近傍には、基準点ユニット５が配置される。基準点ユニット５は、複数のレトロターゲット４０を備える部材である。取鍋６は高温であるため、内部にレトロターゲット４０を配置することができない。そこで図３に示すように、基準点ユニット５を取鍋の近傍に配置し、レトロターゲット４０が取鍋６の周囲に位置するように構成されている。本実施形態においては、レトロターゲット４０上の任意の一点を基準点４１として演算に用いる。
【００４６】
レトロターゲット４０は、取鍋６の周囲に配置されるため、高温に対して耐熱性を有する材質で構成されることが好ましい。このため、写真測量で通常用いられる樹脂シートでつくられたレトロターゲットは、耐熱性に劣るため、本実施形態では、セラミック等の耐熱性の高いレトロターゲット４０を用いる。
【００４７】
レトロターゲット４０の具体的な構成としては、図４Ａから図４Ｃに示すようなものが例示できる。図４Ａに示すレトロターゲット４０ａは、基板４３表面にガラスビーズ４２を円形状に配置したターゲット４０ａを用いることができる。ガラスビーズ４２は、カメラ撮影時のフラッシュ等の光に対して逆反射する性質をもつ。このため、カメラで撮影すると同時にフラッシュで発光された光により、レトロターゲット４０ａのビーズ４２の円形が高輝度で撮影される。なお、レトロターゲット４０は円形状である必要はなく、図４Ｂに示すような形状のレトロターゲット４０ｂも用いることができる。具体的には、画像処理のためにその中心が明確に決定できるものであればよい。
【００４８】
また、図４Ｃに示すように、レトロターゲットは、基板４３の中心部に発光する光源４４を配置させた構造としてもよい。図４Ｃに示すレトロターゲット４０ｃに用いられる光源４４としては、電球や発光ダイオードなど光を発することができるものであれば、特にその構成は問わない。この構成のレトロターゲット４０ｃは、後述する撮影時に反射光によって基準点４１が撮像されるのではなく、発光した光源を基準点として特定することができるので、照度が低い環境下においても的確に基準点を特定することができる。
【００４９】
取鍋６は奥行があるため、基準点４１も同様に奥行を持たせることが好ましい。したがって、図３に示すように、レトロターゲット４０も取鍋の奥行方向に位置を変えて配置する。本実施形態においては、複数の基準点４１が取鍋６の奥行に対して少なくとも半分以上の奥行を持つように、レトロターゲット４０を配置する。本実施形態においては、基準点ユニット５は、取鍋６の高さ方向に向かうにつれてカメラから遠ざかるようにレトロターゲット４０を配置する。この構成により、取鍋６の測定の精度を上げることができる。
【００５０】
基準点となるレトロターゲット４０は、粉塵などの異物による反射率の低下をさけるために、一部が開口したケース内に配置することが望ましい。また、レトロターゲット４０の表面が粉塵により汚れるのを防止するため、基準点ユニット５は、異物を吹き飛ばすための圧縮空気を吐出可能なノズルを備えていてもよい。また、カバーの開口は、開閉可能に構成されていてもよく、撮影時にカバーが開き、撮影後に閉じるように構成されていてもよい。
【００５１】
図５は、制御ユニット３の構成を示す図である。制御ユニット３は、上述のようにカメラ２１，２２の動作制御を行うとともに、カメラによって撮影された撮影画像を用いて、取鍋の形状を測定するための演算を行う写真測量装置として機能する。
【００５２】
制御ユニット３は、カメラ２のレリース動作を制御するレリース部３１、キーボードやマウス、ディスプレイなどの入出力装置８と接続するためのインターフェース部３２、制御ユニット３の全体の制御及び各種演算を司る制御演算部３３、解析される写真やデータなどの蓄積領域及び演算領域として機能する記憶部３４、及びプログラムがインストールされることによってシステムプログラムとして機能するシステムプログラム３５を備えている。
【００５３】
制御演算部３３には、後述するように、システムプログラム３５により駆動され測量を実行するための機能ブロック３３ａ〜３３ｆが存在する。これらの各ブロックは、それぞれ単独で、または装置内の他のブロックと協働して、後述する処理を行う。
【００５４】
次に、本実施形態にかかる写真測量システムの制御演算部３３の動作について説明する。制御演算部３３は、測定対象である取鍋を測定するための動作に先立って順備作業を行う。図６は本実施形態にかかる写真測量システムを用いて測量する準備作業の手順について示すフローである。
【００５５】
（部材の設置）
準備作業においては、まず、使用する複数台のカメラの内部標定を行う（＃１０）。次いで、内部評定されたカメラを図２のカメラ固定ユニット４に固定する（＃１１）。そして、レトロターゲット４０を基準点ユニット５に図３に示すように配置する（＃１２）。この基準点の物理的な相対位置関係は、配置された基準点に対して測量機器を利用して測定される（＃１３）。
【００５６】
測定されたレトロターゲット４０の相対位置関係は、入出力装置８を用いて、当該レトロターゲット４０の位置関係を示す座標としてカメラ位置の計算時に利用できるように記憶部３４に保存する（＃１４）。この情報はカメラ校正に用いられる。
【００５７】
（基準点座標の指定）
次いで、レトロターゲット４０をそれぞれのカメラで撮影し（＃１５）、当該撮影された画像からレトロターゲット４０上の基準点４１の各撮影画像上での座標値を入力する（＃１６）。この処理は制御演算部３３の基準点指定部３３ａによって司られる。この基準点座標の座標値の入力は、例えば、入出力装置８を用いて、マウスなどの手段により撮影画像上の各レトロターゲット４０上の基準点座標近傍を手動で選択することにより行うことができる。基準点座標の検出は、入力された座標の近傍領域において、最も明るい部分の座標を検出することによって行われる。抽出された領域は円形となり、その画像重心を求めることにより、基準点座標を自動的に検出することができる。
【００５８】
また、基準点ユニット５のレトロターゲット４０に、コード付きターゲットを用い、服部進、秋本圭一、井本治孝：「コード付きターゲットを使った工業画像計測の自動化」、電子情報通信学会論文誌、Vol.J84-D-II,No.9,pp.2011-2019,2001.に開示されている方法を用いて、各写真における基準点座標を自動的に取得するようにしてもよい。
【００５９】
図７に写真測量システムにおける光学関係を示す。図７では、説明の便宜のために、レトロターゲット４０は１つのみ表示している。図７においては、撮影位置にそれぞれ位置するカメラＡ２１，カメラＢ２２は、上述のように各レトロターゲット４０がそれぞれ撮影される写真画像２１０，２２０に写るように配置される。ここで、レトロターゲット４０の任意のポイントを基準点４１として認定すると、当該基準点４１は、カメラＡの写真画像２１０には、ポイントａに写り、カメラＢの写真画像２２０には、ポイントｂとして写る。当該ポイントａ，ｂの写真画像上の位置をそれぞれ写真画像上の基準点座標とし、ＸＹ座標を用いて特定する。
【００６０】
写真画像上のＸ軸及びＹ軸は、それぞれ、カメラＡ２１，カメラＢ２２の光軸中心に対し、それぞれ直交する方向すなわち写真画像上に存在し、カメラの画角の横軸をＸ軸、カメラの画角の縦軸側をＹ軸とする。したがって、各写真画像上のＸＹ座標は、それぞれ被写体に対して水平方向、鉛直方向と一致するとは限らず、また、カメラＡ及びカメラＢにおいて被写体からみて互いに異なる方向となる。なお、画像上のどの点を原点とするかについては特に限定はしないが、本実施形態においては、各写真画像の左上角を原点として定めている。
【００６１】
複数の基準点４１の座標値の入力は、上述のように、マウスなどの入出力装置８を用いて、画像上の基準点近傍を指定することにより行う。ただし、写真画像毎に複数存在する基準点座標を手動で取得していると作業時間がかかる。そこで、例えば、前回の写真画像について指定された座標データを用い、当該基準点座標の近傍より基準点座標を画像認識などの手段によって検出してもよい。すなわち、基準点の検出方法は、図８に示すように前回の写真画像で指定された基準点座標５１の近傍に基準点４１があるはずである。そこでその近傍の領域５２において画像の明度を調べ、ある一定以上（或いは一定以下）の明るさを持つ領域を抽出し、その重心を計算することにより、新しく撮影された画像の基準点画像座標を求めることができる。これにより、毎回の計測時に基準点画像座標を手動で対応付ける必要がなくなり、効率的に計算することができる。
【００６２】
前記の方法で基準点座標を自動的に取得する場合、基準点４１の近傍に発光体などがあると誤って発光体部を抽出する可能性がある。そこで、前回撮影した写真画像の基準点座標の近傍領域と、対応する新しく撮影された写真画像における前記基準点座標の近傍領域において画像相関を用いて探索することにより、その相関の最も強い領域を基準点座標とすることもできる。これにより基準点座標の正確な座値標を正確に捉えることができる。
【００６３】
なお、基準点座標の座標値の入力は、後述する取鍋６の測量ごとに行うことが望ましい。図２に示すようにカメラ固定ユニット４がカメラ２１，２２を固定する箇所が決められていても取鍋６の周辺の環境によっては振動があり基準点が位置ずれする場合や、カメラ２１，２２を固定できない場合があるためである。したがって、これらの問題が発生しない場合は、取鍋６の測量ごとに基準点座標の入力を行う必要はない。
【００６４】
上記のようにして入力された写真画像上での基準点の座標値は、記憶部３４に保存される（＃１７）。そして、基準点の座標値を用いて、カメラの撮影位置の算出を行う（＃１８）。カメラ撮影位置とは、一方のカメラを基準として、他方のカメラがどの相対位置に存在し、どの方向を向いているかを示す情報である。これは、２つのカメラの物理的な位置及びカメラの光軸方向を三次元的に示す情報として取得される。このときの座標系は、基準となるカメラにおいて用いられる座標系を基準として表すことが好ましい。
【００６５】
（カメラ撮影位置の算出）
カメラ撮影位置の算出（＃１８）は、先に計測された基準点の三次元座標を拘束条件として、公知の方法により行うことができる。たとえば、バンドル法、フリーネット法等で三次元座標を拘束条件として利用することで、カメラの撮影位置の計算精度を上げることができる。なお、本実施形態にかかる取鍋用写真測量システム１においては、取鍋の内面を計測するために２台のカメラの位置は近づけて固定する必要があり、カメラ間の距離が短くなる。よって、例えば、「秋本 圭一：情報化施工のためのデジタル画像計測法に関する研究，京都大学博士論文，March,2002」などに開示されている解法を用いて、カメラの撮影位置の算出を行うことにより計算精度を上げることができる。算出されたカメラ撮影位置の情報は、記憶部３４に記憶される（＃１９）。
【００６６】
カメラの撮影位置が得られたら準備作業は終了する。次いで、測定対象である取鍋の形状測量を図１０Ａに示す以下の手順により行う。
【００６７】
（撮影画像の作成）
図１に示されるようにカメラ固定ユニット４及び基準点ユニット５等が設置されている測定領域に、計測対象である取鍋６を移動させる。取鍋６は、クレーンによりその取鍋軸部を軸受の備わった軸受台７に搭載され、かつ開口部分がカメラ固定ユニット４の方向を向くように傾けて配置される（＃２１）。取鍋６は、軸受台７の上に取鍋軸部を軸受部に載置するように配置するため、概ね同じ位置に配置されることになるが、完全に同じ位置及び同じ向きに取鍋６を配置することは実質的に不可能である。
【００６８】
取鍋６を測定領域１０２に配置した後、取鍋６及び基準点ユニット５が写るようにカメラ２１，２２で撮影を行う（＃２２）。このため、２台のカメラ２１，２２は制御ユニット３のレリース部３１から発信されるトリガ信号によって動作制御され、１つのトリガ信号を受信すると撮像するように構成されている。撮影は、取鍋の温度変化が少ないタイミングで完了するように、比較的短い時間の間に連続して行われる。
【００６９】
図９は、２台のカメラが取鍋を撮影するタイミングの説明図である。レリース部３１から発生されるトリガ信号は、所定時間Ｔの間にｎ回発生される。したがって、所定時間Ｔの間にカメラＡ及びカメラＢそれぞれは、ｎ回の撮影を行って、ｎ枚の写真画像を撮影画像として撮影する。ここで、所定時間Ｔは、例えば、５〜３０秒程度であり、撮影の間の間隔は、１〜３秒程度であることが好ましい。
【００７０】
カメラＡ及びカメラＢは、レリース部３１から発生されるトリガ信号を受けてそれぞれ１枚目の撮影画像ＰＡ１，ＰＢ１を撮影し、その後、所定の間隔で間欠的に発生される信号によって連続して撮影を行う。所定時間Ｔが経過すると、レリース部３からのトリガ信号の発生が停止され、撮影動作が終了する。
【００７１】
（測定画像の作成）
２台のカメラ２１，２２により撮影された撮影画像は、一時的に記憶部３４に記憶される。画像作成部３３ｂは、記憶部３４に記憶された撮影画像を用いて、それぞれのカメラ２１，２２のそれぞれについて測定画像を作成する（＃２３）。
【００７２】
（測定画像の作成例１）
測定画像の作成は、図５の画像作成部３３ｂにより行われる。画像作成部３３ｂは、例えば、それぞれのカメラ２１，２２において連続的に撮影された撮影画像のうち、同じタイミングで撮影された１組の写真画像を測定画像として選択する。このとき、最も輝度が高く、測定対象である取鍋６のコントラストが高い写真画像を測定画像として選択することが好ましい。
【００７３】
（測定画像の作成例２）
なお、対象物である取鍋６は高温であるため、カメラとの間に大気の揺らぎが存在する場合がある。よって、撮影された撮影画像は、その影響を受けることとなる。大気の揺らぎの影響は、写真測量では深刻な問題となる。通常は写真測量の原理によれば、大気の揺らぎがない場合は、カメラのレンズ中心と撮影された画像の一点を結んだ線上に撮影された物体が存在する。しかし、大気の揺らぎがある場合は、光の屈折によりこの原理が成り立たないため、正確な計測をすることが困難になる。そこでこの問題を解決するために画像作成部３３ｂは、測定画像の作成処理において、以下の処理を行うようにしてもよい。
【００７４】
大気の揺らぎの問題を解決するためには、複数のカメラ２１，２２で、同じ測定対象物を複数回撮影された撮影画像を用いる。固定された同一のカメラにおいて撮影時刻の異なる画像では、大気の揺らぎの影響を受けると画像の一部において、２枚の画像間で差がでるはずである。また大気の揺らぎの影響を受けていない場合は２枚の画像ではノイズの差を除いて差がないはずである。そこで、画像作成部３３ｂは、撮影時刻の異なる２枚の撮影画像の輝度差が閾値以内の画像領域のみを抽出し、当該抽出した部分を１枚の写真画像に編集した画像を作成し、当該画像を測量画像とすることで大気の揺らぎの影響を除去した画像を作成することができる。
【００７５】
具体的には、画像作成部３３ｂは、以下の処理を行う。図１０Ｂは、画像作成部３３ｂが測量画像を作成する処理（図１０Ａのステップ＃２３）の詳細処理フロー図である。なお、図１０ＢにおいてはカメラＡについてのみ詳細に説明するが、カメラＢについても同様の処理がなされる。
【００７６】
図１０Ｃに図１０Ｂに示す処理の説明図を示す。上記のように、記憶部３４には、カメラＡによって同じ撮影位置から短時間の間に撮影された複数の撮影画像ＰＡ１〜ＰＡｎが記憶されている。画像作成部３３ｂは、これらの複数の画像を読み出し（＃２３１）、一辺が数十画素程度の微細領域に分割する（＃２３２）。ここで、図１０Ｃにおいては、分割された微細領域として第１領域９０ａ、９０ｂ、９０ｎとし、第２領域９１ａ、９１ｂ、９１ｎとする。そして、微細領域ごとに複数の撮影画像間でこれらの対応する微細領域の輝度値を比較する。具体的には、１コマ目について輝度値を各画像間で比較し（＃２３３）、各画像間の輝度差の絶対値が閾値以上の部分を除外する（＃２３４）。ここで、閾値は、例えば、予め同一条件で撮影できる対象物を複数回撮影し、その比較値の値がカメラの色再現性であることから、比較値の最大の値として定められる。また、閾値は現場の環境によって変更できるように随時、手動で変更できるようにする。そして順次２コマ目、３コマ目というように全ての分割領域の輝度値の偏差を演算する（＃２３５，＃２３６）。図１０Ｃにおいては、第１領域では、撮影画像ＰＡ２の微細領域９０ｂの輝度差が閾値以内のため、正常を示している。また、第２領域では、撮影画像ＰＡ１の微細領域９１ａの輝度値の差が閾値より大きかったため、異常と判断し、削除されている状態を示している。そして、各画像から任意の微細領域のコマを合成して、１枚の画像２３０を作成する（＃２３７）。ここで、合成の対象となる微細領域は、例えば、全ての撮影画像において、対応する微細領域のうち最も輝度値が高いものを選択するようにしてもよい。このようにして各微細領域が１枚に合成された画像２３７は、カメラＡに対する測定画像として記憶部３４に記憶される（＃２３８）。
【００７７】
なお、全てのカメラ２１，２２において同様の手順で各微細領域が合成された画像を作成し、写真計測用の測定画像とすることで大気の揺らぎの影響を除外することが可能となる。
【００７８】
（測定対象の形状算出）
１組の測定画像が得られたら続いて測定対象の取鍋の形状計測を行う（＃２４）。形状測定は図１１に示す手順により行われる。これらの一連の処理は、制御演算部３３の対応点演算部３３ｃ及び形状測定部３３ｄが処理を司る。
【００７９】
写真測量においては、三次元の形状算出を行うには、１つの測定画像から対象となる取鍋部分に対して複数の特徴点を抽出する（＃２４１）。さらに他の測定画像に対して、先に抽出された特徴点と同一場所となる点（以下、２枚の測定画像においてそれぞれ抽出されたこれらの特徴点及び同一場所を示す点を総括して対応点と呼ぶ場合がある）を抽出する（＃２４２）。複数の測定画像に対応付けられた対応点を用いて、三角測量の原理により、三次元座標を得ることができる。
【００８０】
（特徴点の抽出）
上記処理において、問題となるのは、画像認識によって１枚の測定画像から特徴点を選ぶ処理と測定画像間での対応点の取得する場合の処理手法である。もちろん、測定画像から取鍋部分の領域のみを手動で抽出し、その領域を保存しておき、次回以降の撮影ではその領域を入力することにより、取鍋部分の特徴領域を抽出するようにしてもよい。しかし、本実施形態においては、対応点演算部３３ｃ以下の処理により、これらの処理を自動的に行う。
【００８１】
まず１の測定画像から特徴点を抽出する処理（＃２４１）においては、測定対象が取鍋であるという特質を活かして以下のように処理を行う。図１２Ａは、１のカメラに対応する測定画像の画像表示例を示す図である。図１２Ａに示すように、測定画像２３０において、取鍋部分６は通常高熱により赤く発光して撮像されている。対応点演算部３３ｃは、この発光領域を抽出する。すなわち、取鍋６の周縁に対応する部分６１と取鍋の内壁に対応する部分６２は、取鍋の周りに位置する背景部分８０よりも赤く発光している。したがって、特徴領域の抽出としては、撮影された測定画像２３０に対して予め閾値が決められた明度以上の領域を抽出する。この際、他の発光部分も抽出する可能性があるので抽出された領域が一定以上の大きさの領域を取鍋部分の特徴領域とする。
【００８２】
上述の画像認識によって抽出された領域は、発光していない取鍋部分を抽出できない可能性があるため、発光している領域より少し大きめの領域を取鍋の特徴領域としてもよい。このようにして得られた特徴領域内において、任意の複数の点を特徴点１２１として抽出する。
【００８３】
（対応点の抽出）
続いて対応点演算部３３ｃは、１の測定画像において抽出された特徴点１２１が示す測定対象の同一箇所を、他の測定画像上において対応付ける（＃２４２）。カメラの撮影位置が前述によって既知であり、さらに一枚の測定画像２３０において特徴点１２１が得られたので、抽出された特徴点１２１に対応するエピポーラ線１２２を他の画像２４０上に引くことができる。図１２Ｂは他のカメラ２２における撮影画像２４０の例を示す。図１２Ａの特徴点１２１に対応して、公知の方法により図１２Ｂにエピポーラ線１２２を示すことができる。このエピポーラ線１２２上のいずれかの点に特徴点１２１と同一場所である点が存在することがいえるため、特徴点１２１を中心とする小領域の画像とエピポーラ線１２２上より抽出された小領域の画像の正規化相関をとることにより、対応点を抽出することができる。
【００８４】
（誤対応点の削除）
しかし、前記の方法で対応付けられた点は、測定対象の同じ場所に対応付けられるとは限らない場合がある。誤って対応付けられた点を誤対応点と呼ぶが、この誤対応点を削除する必要がある。従来は、この誤対応点の削除は複数の画像を同時に表示し、対応点の位置を目視において確認しながら削除していた。しかしこの方法では時間と労力の両方がかかることになる。そこで、誤対応点の削除を以下に示す処理により自動的に処理する（＃２４３）。
【００８５】
（誤対応点の削除処理例１）
まず、取鍋６のように幾何学形状で表せるような対象物であれば、予め、その対象物の特徴となるプロフィールを設定することができる。ここでいうプロフィールとは、図１３Ａに示すように、取鍋６の正面図を例にとると、開口側の楕円形状を示す短径１４１、長径１４２、その中心座標１４５と底面の短径１４３、長径１４４、その中心座標１４５に関する情報である。また、図１３Ｂに示す取鍋６の側面図を例にとると開口側と底面との長さ１５１及び開口の深さ１５１ａを示す情報である。これらの値は取鍋の製造時に設計データとして取得することができる。これにより、取鍋の製造時（設計時）の三次元形状を表すことができる。
【００８６】
なお、測定領域１０２において取鍋６を測定毎に完全に同じ配置にすることは実質的には困難であり、測定ごとに若干ずれる可能性がある。このため、測定毎にその位置補正を行う必要がある。すなわち、対応点の抽出を行う他のカメラに対する測定画像２４０に撮像されている取鍋の像と設計データのプロフィールが最も重なるように位置補正させて重ね合わせる。
【００８７】
この設計データが配置された三次元形状とエピポーラ線により抽出された測定画像２４０上に抽出された対応点から計算される三次元座標との距離において一定の閾値から離れた三次元点は誤対応点であると判断する。図１４は誤対応点の抽出の処理を説明するための図である。図１４には、三次元形状である取鍋６のプロフィール１８１に対してその近傍領域である外側領域１８２及び内側領域１８３が示されている。この近傍領域である外側領域１８２及び内側領域１８３の中にある計測点１８４は正常な三次元点であり、これらの近傍領域１８２の外側にある三次元点１８５，１８３の内側にある三次元点１８６は誤対応点であると判断する。このように簡単な三次元形状であるプロフィール形状とその位置補正機能を有することで、誤対応点を自動的に削除することができ、時間と労力を削減できる。
【００８８】
また、取鍋の経年変化を調べる目的であれば、測定画像に配置されるプロフィールとしては、毎回取鍋の形状を測定する必要がある。この時、一つ以上前に計測された三次元形状のデータをプロフィールとして誤対応点の削除処理に用いることができる。この場合のプロフィールとしては、取鍋の三次元形状そのものである。新たな計測時には何らかの経年変化が生じているため、プロフィールと対応点の三次元座標との距離において一定の閾値以上離れた三次元点は誤対応点であるとみなすことができる。
【００８９】
（誤対応点の削除処理例２）
次に、誤対応点を削除する処理の別実施形態について説明する。図１５は１のカメラ２１によって撮影された測定画像の表示例である。この測定画像を上述のように特徴領域を特定し、当該特徴領域上に特徴点を格子状に抽出する。図１５の特徴点３０１〜３０５は、格子状に抽出された特徴点の１行分を示している。この特徴点に対して上述したエピポーラ線１２２を用いた方法により、他の測定画像上で対応点を計算する。
【００９０】
この変形例においては、他の測定画像上に対応付けられた対応点の画像座標に基づいて、誤対応点を抽出する。すなわちこの変形例では、対応点演算部３３ｃは、このように１の測定画像上において格子状にとられた特徴点を他の測定画像上で対応付けた場合、連続する特徴点の変化に比べて急激に変化する対応点を、誤対応点であると判断する。
【００９１】
図１５において、１の測定画像２３０上に格子状に配置された特徴点に対して他のカメラで撮影された他の測定画像上に対応付けられた対応点の例を図１６Ａに示す。また、図１６Ｂは、図１６Ａの対応点のみを抽出した図である。図１６Ａにおいては、図１５に示す特徴点３０１〜３０５に対する他の測定画像上の対応点３２１〜３２５を示している。ここで対応付けられた対応点３２１〜３２５は、取鍋６のように内面形状が滑らかに変化する対象物である場合、滑らかに変化するはずである。しかし、図１６Ａ、図１６Ｂの対応点３２４においては、周囲の対応点の画像座標の変化に比べて急激な変化がある。対応点演算部３３ｃは、このような画像座標は誤対応点の結果として抽出されたものであると判断する。このように格子状にとられた特徴点を対応付け、前後の対応点の変化に比べて急激に変化する対応点は誤対応点であると判断することができる。
【００９２】
誤対応点を判断する場合の具体的演算手法としては、隣り合う対応点３２４、３２３が結ぶ線分３３０と反対側に隣り合う対応点３２４、３２５が結ぶ線分３３１がなす角度αがある閾値以下の変化があった場合は、誤った対応点と判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。
また同様に特徴点が等間隔に並んでいることを考慮すると前後の対応点座標もほぼ等間隔に並んでいると考えられるので、隣り合う対応点３２４、３２３が結ぶ線分３３０の長さと反対側に隣り合う対応点３２４、３２５が結ぶ線分３３１の長さの和がある閾値を超えた場合、誤った対応点であると判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。
さらに前述の角度αの閾値以下の値または距離が閾値以上の値をとった場合も誤った対応点としてもよい。
【００９３】
（三次元形状の演算）
前記の方法により、複数の画像に対して、取鍋領域の対応点が自動的に抽出されると三角測量の原理により三次元座標を抽出することができる。形状測定部３３ｄは、取鍋の三次元形状を自動的に演算する（＃２４）。
【００９４】
（誤三次元座標の削除）
演算された三次元座標は、誤りの三次元座標を抽出する作業を行い、これを削除する処理を行う（＃２４５）。図１７は上記処理により計算された測定対象の三次元座標の一部を示している。取鍋６のように内面形状が滑らかに変化する対象物である場合、三次元座標３１１〜３１５は滑らかに変化するはずである。しかし、図１７の三次元座標３１３においては、急激な変化がある。このような三次元座標は、先に行われた誤対応点の削除の処理（＃２４３）において削除されずに残存した誤対応点の結果として計算されたものである。
【００９５】
本実施形態においては、変化量としては、隣り合う測定対象の三次元座標３１３、３１２が結ぶ線分３４０と他方向に隣り合う測定対象の三次元座標３１３、３１４が結ぶ線分３４１がなす角度βがある閾値以下の変化があった場合は、当該角度βをなす三次元座標３１３を誤三次元座標として判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。
【００９６】
さらに、誤対応点の第２の削除処理例において説明したように、特徴点を格子状に抽出した処理を行っている場合は、等間隔に並んでいることを考慮すると隣り合う三次元座標もほぼ等間隔に並んでいると考えられるので、隣り合う三次元座標３１３、３１２が結ぶ線分３４０の長さと他方向に隣り合う三次元座標３１３、３１４が結ぶ線分３４１の長さの和がある閾値を超えた場合、誤った三次元座標であると判断する。この閾値は、測定対象の形状によって決まるものである。このため、事前の実験により、最適な閾値を手動で設定しておくことが望ましい。なお、前述の角度βの閾値以下の値または距離が閾値以上の値をとった場合も誤った対応点としてもよい。
【００９７】
誤った三次元座標を削除したのち、演算された三次元座標を用いて、取鍋の三次元形状を特定する（＃２４６）。測定対象である取鍋の三次元形状が特定されると、残厚計算を行う（＃２５）。残厚計算は、制御演算部３３の位置補正部３３ｅ及び変形量算出部３３ｆが処理を司る。
【００９８】
なお、残厚計算において、取鍋の残厚の位置を特定するために、三次元形状データを設計データと一致させて配置させて比較することが望ましい。このため、測定毎にえられた三次元形状データの位置補正を行う必要がある。位置補正のデータを図１８に示す。図１８は取鍋の平面図、正面図、側面図を示すものであり、位置補正としてＸ軸補正値１６１、Ｙ軸補正値１６２、Ｚ軸補正値１６３を実測する。また、角度補正として、Ｘ軸周りの角度補正値１６４、Ｙ軸周りの角度補正値１６５、Ｚ軸周りの角度補正値１６６を実測する。このように実測された位置補正値及び角度補正値を使って取鍋の三次元形状のデータを取鍋６の設計データに合わせて位置補正し、三次元位置を正確にきめることができる。
【００９９】
設計データの位置補正においては、取鍋６の測定画像に撮像されている特徴部分を基準として行うことが好ましい。以下、位置補正の手順について説明する。ここでは、三次元形状データから設計データを重ねる方法を示すが、逆に設計データから三次元形状データに重ねても同様の結果が得られることを予め付記しておく。位置補正を行う前提として、配置された基準点が測量機器によって実測（＃１３）されているため、三次元形状データは、実測による座標系に合わせられている。
【０１００】
まず、三次元形状データと設計データは同一の座標系にはないため、三次元形状データを設計データに重ねる。その手順を以下に示す。
【０１０１】
図２０は基準点と取鍋の位置関係を含む設計データの一例である。すなわち、設計データには、取鍋の形状に関するデータのみではなく、本来取鍋が配置されるべき位置と基準点の位置との関係が含まれている。設計データ上にある直線上にない基準点を３つ選択する。選択された３つの座標点をそれぞれ、点Ｐ１（Ｘ1、Ｙ1、Ｚ1）点Ｐ２（Ｘ2、Ｙ2、Ｚ2）点Ｐ３（Ｘ3、Ｙ3、Ｚ3）とする。ここでは、基準点を選択したが、選択する三次元座標点は、互いに任意の直線上にない点であれば、どこでもかまわない。例えば、取鍋の軸受け部の両端と取鍋の口部でもかまわない。また、選択する点の数は３点以上でもよい。
【０１０２】
図２１は基準点と取鍋の位置関係を含む三次元形状データの一例である。三次元形状データにある１．で選択された同一箇所の三次元座標点を３つ選択する。選択された３つの座標点をそれぞれ、点Ａ（ＸA、ＹA、ＺA）点Ｂ（ＸB、ＹB、ＺB）点Ｃ（ＸC、ＹC、ＺC）とする。
【０１０３】
三次元形状データを設計データに重ねるには上記のように選択されたお互いの３点の座標から以下の式（１）に示される方程式を解くことで求められる。
ｘ＝ＲＸ＋Ｔ ---（１）
ここで、ｘは設計データの三次元座標ベクトル、Ｒは３×３の回転行列、Ｘは三次元形状データの三次元座標ベクトル、Ｔは平行移動量をあらわす併進ベクトルである。
【０１０４】
上記の式（１）で示される方程式は、金谷 健一著 「画像理解−三次元認識の数理」、森北出版に開示されているように、三次元形状データと設計データの選択された３点の三次元座標点から未知数である回転行列Ｒと併進ベクトルＴを求めることができる。
【０１０５】
上記方程式を用いて未知数が得られたら、（１）式を用いて、三次元形状データを設計データの座標系に変換する。しかし、取鍋６は、設計図どおりの位置に配置することは難しく、このため、図２２に見られるように三次元形状データの取鍋の位置（図２１の点線）は、設計データからずれた位置に座標変換される。ずれた状態では、設計データからどの程度、ずれているかわからないため、変換された三次元形状データの取鍋の位置を設計データの位置に合わせるように補正する必要がある。補正方法は、図１８に示すように実測された移動量であるＸ軸補正値１６１、Ｙ軸補正値１６２、Ｚ軸補正値１６３、および、角度補正である、Ｘ軸周りの角度補正値１６４、Ｙ軸周りの角度補正値１６５、Ｚ軸周りの角度補正値１６６を利用する。
【０１０６】
補正式としては、以下の式（２）で求められる。
ｘ＝ＭＸ＋ΔＴ ---（２）
ここで、ｘは設計データの三次元座標ベクトル、Ｍは３×３の回転行列、Ｘは変換後の三次元形状データの三次元座標ベクトル、Ｔは平行移動量をあらわす併進ベクトルである。
【０１０７】
併進ベクトルＴの三次元座標ベクトルは、Ｘ軸補正値１６１（Δｘ）、Ｙ軸補正値１６２（Δｙ）、Ｚ軸補正値１６３（Δｙ）を利用する。また、回転行列Ｍは、Ｘ軸周りの角度補正値１６４（ω）、Ｙ軸周りの角度補正値１６５（φ）、Ｚ軸周りの角度補正値１６６（κ）を利用する。具体的には、
Ｔ＝（Δｘ、Δｙ、Δｚ）
【数１】
であらわされる。（２）式を用いることにより、三次元形状データを設計データに重ね合わせることができるようになる。
【０１０８】
前記の方法により、三次元形状データを設計図データに重ねることができたため、この情報を用いて座標変換された三次元形状データと設計図データを比較することにより、取鍋の経年変化を調べることができる。この手順は以下の通りである。
【０１０９】
まず、座標変換された三次元形状データは、点群データのため、面的な形状を持っていない。そこでまず、その点群データを利用し、三角網を貼ることを考える。三角網の貼り方としては非特許文献５に挙げられるDelauney法が適している。この方法に三次元の点群データの情報から三角網を貼ることができ、三次元形状データは面的な情報を得ることができる。
【０１１０】
続いて、ある特定点の残厚を計算することを考える。図２３は三次元形状データと設計図データを重ねた鳥瞰図を示している。図２４はその正面図を示している。図２３の一点鎖線は取鍋の中心軸を示している。また、点線は中心軸上のある一点０を通る水平軸方向を示している。この水平軸からある角度θの方向の直線と三次元形状データの三角網との交点をＡ点とする。また同様に、設計図データとの交点をＢとする。距離ＯＢと距離ＯＡの差が残厚となる。
【０１１１】
同様に角度θを０から３６０度まで計算すると中心軸の点Ｏの周りの残厚を計算することができる。また点Ｏを取鍋の口部から底部まで、上記の計算をすると図１９に見られる取鍋の側壁の残厚を計算することができる。
【０１１２】
図１９（ｂ）は、取鍋の側面図である。取鍋の底面部のある一点の距離ＡＢを計測することにより、その点の残厚を計算することができる。また、上記計算を底面全域に対して行うと、図１９（ａ）に見られるように底面の残厚を計算することができる。
【０１１３】
以上説明したように、本実施形態にかかる写真測量システムによれば、測定対象である取鍋の特性により取鍋の残厚を簡単かつ正確に測定することができる。
【０１１４】
また、本発明の従来のレーザー式形状計や写真測量装置に比べての導入効果としては、低コスト、高精度、高速である。
【０１１５】
すなわち、レーザー式形状計は、高出力半導体レーザーヘッドとレーザーヘッド高速駆動装置を備えた、高価な装置である。本発明装置は、汎用のデジタルカメラと例えばパソコン、基準点を主な構成品とするため、極めて安価に仕上がる。
【０１１６】
また、従来のレーザー式形状計は、高温の液体状スラグコーティング面又は溶融金属面に対しては、レーザー光が散乱するため測定不可能であった。本発明装置は複数の時経列写真データより、自動的に高温揺らぎ成分を除去することが可能となり、従来レーザー測量が不可能であった１２００℃以上のスラグコーティング面は勿論のこと、１８００℃を超える溶融金属面の表面測量が可能となった。
【０１１７】
従来のレーザー式形状計は、１点あたり０．３秒程度かかり、炉を対象とした場合温度降下を避けるため、最大測定時間は数分以内となるため測定点数が数百点以内となり、全体を詳細に測量することが困難である。本発明装置は前述の時経列写真データをサンプリングするための総合時間でも１０秒以内と極めて短時間で済むため、炉熱降下が最小限に抑えられるため、耐火物の亀裂を発生させず、更に省エネ効果が生まれる。
【０１１８】
次に、従来の写真測量装置に比べての導入効果は次の通りである。従来の写真測量装置は、コスト的にはレーザー式形状計よりも安価であるが、耐火物の残厚計測に適用する場合、撮影制御部、測定画像作成部、基準点抽出部、対応点抽出部、形状測定部、位置補正部が手動操作のため、数時間のデータ処理を必要としたため、ラボ用途に限られていた。前述の撮影制御部、測定画像作成部、基準点抽出部、対応点抽出部、形状測定部、位置補正部が手動操作のため、耐火物の残厚計測に数時間を要していた。本発明装置は撮影制御部、測定画像作成部、基準点抽出部、対応点抽出部、形状測定部、位置補正部が自動的に処理可能であるため、汎用パソコンを使ってのデータ処理においても１０分以内の高速化処理を達成している。その結果、オンラインでの適用が可能となり、耐火物残厚予測精度が向上し、耐火物補修時期の最適化が図れることにより、耐火物コストミニマム化の効果を得ている。
【０１１９】
また、従来の写真測量装置は、１度の写真撮影より測量処理を実施するために、高温の液体状スラグコーティング面又は溶融金属面の揺らぎ部分において大きな誤差が生じており、測定不可能であった。本発明装置は複数の時経列写真データより、自動的に高温揺らぎ成分を除去することが可能となり、従来の写真測量装置が不可能であった１２００℃以上のスラグコーティング面は勿論のこと、１８００℃を超える溶融金属面の表面測量が可能となった。その結果、従来では耐火物残厚の管理が困難であったＡＯＤ炉等の高温炉が可能となったため、耐火物コストミニマム化の効果を得ている。
【０１２０】
なお、本発明は上記実施形態に限定されるものではなく、鉄鋼業以外でのその他種々の態様で実施可能である。
【図面の簡単な説明】
【０１２１】
【図１Ａ】本発明の写真測量装置の一実施形態にかかる写真測量システムの全体構成を示す模式図である。
【図１Ｂ】本発明の写真測量装置の一実施形態にかかる写真測量システムの全体構成を示す模式図である。
【図２】図１Ａの写真測量システムに用いられるカメラ固定ユニットの構成を示す図である。
【図３】図１Ａの写真測量システムに用いられる基準点ユニットの配置箇所及び構成を示す図である。
【図４Ａ】図１Ａの写真測量システムに用いられるレトロターゲットの構成例を示す図である。
【図４Ｂ】図１Ａの写真測量システムに用いられるレトロターゲットの他の構成例を示す図である。
【図４Ｃ】図１Ａの写真測量システムに用いられるレトロターゲットのさらなる他の構成例を示す図である。
【図５】図１Ａの写真測量システムに用いられる制御ユニットの構成を示すブロック図である。
【図６】図１Ａの写真測量システムを用いて測量する準備作業の手順について示すフローである。
【図７】図１Ａの写真測量システムにおける光学関係を示す図である。
【図８】基準点の検出処理を行う場合の説明図である。
【図９】２台のカメラが取鍋を撮影するタイミングの説明図である。
【図１０Ａ】図１Ａの写真測量システムにおいて三次元形状を測定する処理工程を示すフロー図である。
【図１０Ｂ】画像作成部が測量画像を作成する処理についての処理フロー図である。
【図１０Ｃ】図１０Ｂに示す処理の説明図である。
【図１１】図１０Ａの測定対象の形状算出の処理における詳細フロー図である。
【図１２Ａ】１のカメラに対応する測定画像の画像表示例を示す図である。
【図１２Ｂ】他のカメラに対応する測定画像の画像表示例を示す図である。
【図１３Ａ】取鍋のプロフィールを示す設計データの例を示す正面図である。
【図１３Ｂ】取鍋のプロフィールを示す設計データの例を示す側面図である。
【図１４】誤対応点の抽出の処理を説明する図である。
【図１５】１のカメラによって撮影された測定画像の表示例である。
【図１６Ａ】１の測定画像上に格子状に配置された特徴点に対して他のカメラで撮影された他の測定画像上に対応付けられた対応点の例を示す図である。
【図１６Ｂ】図１６Ａの対応点のみを抽出した図である。
【図１７】計算された測定対象の一部の三次元座標の位置を示す図である。
【図１８】取鍋の平面図、正面図、側面図を示す図である。
【図１９】算出された三次元座標を用いた残厚の展開図である。
【図２０】基準点と取鍋の位置関係を含む設計データの一例である。
【図２１】基準点と取鍋の位置関係を含む三次元形状データの一例である。
【図２２】三次元形状データの取鍋の位置を示す図である。
【図２３】三次元形状データと設計図データを重ねた鳥瞰図を示す図である。
【図２４】図２３の正面図を示す図である。
【符号の説明】
【０１２２】
１ 写真測量システム
２，２１，２２ カメラ
３ 制御ユニット
４ カメラ固定ユニット
５ 基準点ユニット
６ 取鍋
７ 軸受台
３１ レリース部
３２ インターフェース部
３３ 制御演算部
３３ａ 基準点指定部
３３ｂ 画像作成部
３３ｃ 対応点演算部
３３ｄ 形状測定部
３４ 記憶部
３５ システムプログラム記憶部
４０，４０ａ，４０ｂ，４０ｃ レトロターゲット
４１ 基準点
２１０、２２０ 撮影画像
２３０，２４０ 測定画像
【特許請求の範囲】
【請求項１】
撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象について特定された特徴点の特徴点座標と当該特徴点について他の測定画像上で対応づけられた対応点の対応点座標を抽出する対応点抽出部と、
前記特徴点座標と対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた対応点の三次元位置と前記測定対象の設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部とを備えることを特徴とする、写真測量装置。
【請求項２】
撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量し、記憶部に記憶されている前記測量対象の設計データと前記測量対象の三次元形状とを比較して、測量対象と前記設計データとの形状の差を演算する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象の共通の対応点座標を抽出する対応点抽出部と、
前記対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた基準点の三次元位置と前記設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部と、
前記位置補正部により補正された三次元形状と前記設計データを比較することによって、前記測定対象の変形箇所の位置と変形量とを算出する変形量算出部とを備えることを特徴とする、写真測量装置。
【請求項３】
前記撮影制御部は、前記複数の撮影装置を１つのトリガ信号によって同時に撮影制御することを特徴とする、請求項１又は２記載の写真測量装置。
【請求項４】
前記撮影制御部は、前記トリガ信号を間欠的に複数回発生させ、前記複数の撮影装置によって同時に連続的に撮影が行われるように撮影制御することを特徴とする、請求項３に記載の写真測量装置。
【請求項５】
前記測定画像作成部は、任意の複数の写真画像を抽出する手段が全ての撮影装置において撮影時刻が同じ１組の撮影画像を選択し、当該撮影画像を測定画像とするように構成されていることを特徴とする、請求項１から４のいずれか１つに記載の写真測量装置。
【請求項６】
前記測定画像作成部は、個々の撮影装置において前記連続的に撮影された複数の撮影画像について、前記複数の撮影画像を微細領域に分割して撮影画像上の任意の輝度が同一の部分に相当する微細領域の輝度の差分処理を行う差分処理部と、
前記差分処理部により差分処理された部分の輝度差が閾値以内のもののみを用いて、新たな写真画像に編集する画像編集部を備え、
前記それぞれの撮影装置ごとに前記画像編集部によって編集された写真画像を測定画像とすることを特徴とする、請求項５に記載の写真測量装置。
【請求項７】
前記基準点抽出部は、先の測量時に用いられた測定画像において抽出された基準点座標である事前基準点座標の近傍の範囲を走査し、前記測定画像から基準点座標を抽出することを特徴とする、請求項１から６のいずれか１つに記載の写真測量装置。
【請求項８】
前記対応点抽出部は、先の測量時に用いられた測定画像において抽出された対応点座標である前記事前対応点座標の近傍の範囲を走査し、前記測定画像から対応点座標を抽出することを特徴とする、請求項１から６のいずれか１つに記載の写真測量装置。
【請求項９】
前記形状測定部によって得られた三次元座標を前記設計データと比較し、前記設計データにより特定される三次元形状から所定距離以上離れた点として求められた三次元座標を除いて、前記測定対象の三次元形状を特定することを特徴とする、請求項２から８のいずれか１つに記載の写真測量装置。
【請求項１０】
対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、 前記誤対応点抽出部は、１つの測定対象について特定された特徴点について対応づけられた対応点から得られる三次元座標と、予め用意された測定対象の三次元形状のデータを比較し、前記対応点から得られる三次元座標が、測定対象の三次元形状の近傍にない対応点を誤りであると判定することを特徴とする、請求項１から９のいずれか１つに記載の写真測量装置。
【請求項１１】
測定対象の前記三次元形状のデータは、前記測定対象の設計データであることを特徴とする、請求項１０に記載の写真測量装置。
【請求項１２】
測定対象の前記三次元幾何形状のデータは、前記測定対象について、先の測量時に測量された三次元計測データであることを特徴とする、請求項１０に記載の写真測量装置。
【請求項１３】
対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、
前記対応点設定部は、任意の１の測定画像に設定する特徴点を任意に特定された配置となるように設定し、前記設定された特徴点に対応するように他の測定画像上に対応点を設定し、
前記誤対応点抽出部は、対象となる前記対応点の周囲に配置された対応点の配置が、前記特徴点において特定された配置と比較して閾値を越える変化を有するときは、当該対象となる対応点が誤対応点であると判断することを特徴とする、請求項１から９のいずれか１つに記載の写真測量装置。
【請求項１４】
前記対応点設定部は、前記任意の１の測定画像に設定する特徴点を格子状配置となるように設定することを特徴とする、請求項１３に記載の写真測量装置。
【請求項１５】
前記誤対応点抽出部は、前記対象となる対応点に隣接する１つの対応点を結ぶ直線と、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線とがなす角度が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、請求項１３又は１４に記載の写真測量装置。
【請求項１６】
前記誤対応点抽出部は、前記対象となる対応点に隣接する対応点を結ぶ直線Ａと、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線Ｂとの長さの和が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、請求項１３又は１４に記載の写真測量装置。
【請求項１７】
請求項１から１６のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記基準点ユニットは、前記ターゲットを前記撮影装置により撮影される測定対象のＸ、Ｙ、Ｚ軸の各成分別に、測定対象の最大距離の半分以上の距離を置いて配置されることを特徴とする、写真測量システム。
【請求項１８】
請求項１から１６のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記ターゲットは、発光部を備え、前記写真測量装置は前記発光部からの光を前記基準点して前記撮影装置により撮影することを特徴とする、写真測量システム。
【請求項１】
撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象について特定された特徴点の特徴点座標と当該特徴点について他の測定画像上で対応づけられた対応点の対応点座標を抽出する対応点抽出部と、
前記特徴点座標と対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた対応点の三次元位置と前記測定対象の設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部とを備えることを特徴とする、写真測量装置。
【請求項２】
撮影装置によって異なる複数の位置から撮影した画像を用いて測量対象の三次元形状を測量し、記憶部に記憶されている前記測量対象の設計データと前記測量対象の三次元形状とを比較して、測量対象と前記設計データとの形状の差を演算する写真測量装置であって、
測定対象周辺に配置した複数の基準点を含む空間を撮影する複数の前記撮影装置の撮影動作を制御する撮影制御部と、
前記撮影制御部の動作により前記複数の撮影装置で撮影された撮影画像を用いて、それぞれの撮影装置に対応する測定画像を作成する測定画像作成部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する基準点の対応点座標を抽出する基準点抽出部と、
前記測定画像からそれぞれの撮影装置に対応する測定画像に共通する測定対象の共通の対応点座標を抽出する対応点抽出部と、
前記対応点座標から前記対応点の三次元的な位置情報を求め、前記対応点の位置情報に基づいて、前記測定対象の三次元形状を求める形状測定部と、
前記形状測定部によって求められた基準点の三次元位置と前記設計データによって決定されている前記測定対象の基準位置との誤差補正を行い、前記測定対象の三次元位置を補正する位置補正部と、
前記位置補正部により補正された三次元形状と前記設計データを比較することによって、前記測定対象の変形箇所の位置と変形量とを算出する変形量算出部とを備えることを特徴とする、写真測量装置。
【請求項３】
前記撮影制御部は、前記複数の撮影装置を１つのトリガ信号によって同時に撮影制御することを特徴とする、請求項１又は２記載の写真測量装置。
【請求項４】
前記撮影制御部は、前記トリガ信号を間欠的に複数回発生させ、前記複数の撮影装置によって同時に連続的に撮影が行われるように撮影制御することを特徴とする、請求項３に記載の写真測量装置。
【請求項５】
前記測定画像作成部は、任意の複数の写真画像を抽出する手段が全ての撮影装置において撮影時刻が同じ１組の撮影画像を選択し、当該撮影画像を測定画像とするように構成されていることを特徴とする、請求項１から４のいずれか１つに記載の写真測量装置。
【請求項６】
前記測定画像作成部は、個々の撮影装置において前記連続的に撮影された複数の撮影画像について、前記複数の撮影画像を微細領域に分割して撮影画像上の任意の輝度が同一の部分に相当する微細領域の輝度の差分処理を行う差分処理部と、
前記差分処理部により差分処理された部分の輝度差が閾値以内のもののみを用いて、新たな写真画像に編集する画像編集部を備え、
前記それぞれの撮影装置ごとに前記画像編集部によって編集された写真画像を測定画像とすることを特徴とする、請求項５に記載の写真測量装置。
【請求項７】
前記基準点抽出部は、先の測量時に用いられた測定画像において抽出された基準点座標である事前基準点座標の近傍の範囲を走査し、前記測定画像から基準点座標を抽出することを特徴とする、請求項１から６のいずれか１つに記載の写真測量装置。
【請求項８】
前記対応点抽出部は、先の測量時に用いられた測定画像において抽出された対応点座標である前記事前対応点座標の近傍の範囲を走査し、前記測定画像から対応点座標を抽出することを特徴とする、請求項１から６のいずれか１つに記載の写真測量装置。
【請求項９】
前記形状測定部によって得られた三次元座標を前記設計データと比較し、前記設計データにより特定される三次元形状から所定距離以上離れた点として求められた三次元座標を除いて、前記測定対象の三次元形状を特定することを特徴とする、請求項２から８のいずれか１つに記載の写真測量装置。
【請求項１０】
対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、 前記誤対応点抽出部は、１つの測定対象について特定された特徴点について対応づけられた対応点から得られる三次元座標と、予め用意された測定対象の三次元形状のデータを比較し、前記対応点から得られる三次元座標が、測定対象の三次元形状の近傍にない対応点を誤りであると判定することを特徴とする、請求項１から９のいずれか１つに記載の写真測量装置。
【請求項１１】
測定対象の前記三次元形状のデータは、前記測定対象の設計データであることを特徴とする、請求項１０に記載の写真測量装置。
【請求項１２】
測定対象の前記三次元幾何形状のデータは、前記測定対象について、先の測量時に測量された三次元計測データであることを特徴とする、請求項１０に記載の写真測量装置。
【請求項１３】
対応点抽出部は、複数の測定画像について、測定対象の同じ場所を画像相関により対応付ける対応点設定部と、
前記対応点設定部により対応づけられた点の真偽を判定する誤対応点抽出部とを備え、
前記対応点設定部は、任意の１の測定画像に設定する特徴点を任意に特定された配置となるように設定し、前記設定された特徴点に対応するように他の測定画像上に対応点を設定し、
前記誤対応点抽出部は、対象となる前記対応点の周囲に配置された対応点の配置が、前記特徴点において特定された配置と比較して閾値を越える変化を有するときは、当該対象となる対応点が誤対応点であると判断することを特徴とする、請求項１から９のいずれか１つに記載の写真測量装置。
【請求項１４】
前記対応点設定部は、前記任意の１の測定画像に設定する特徴点を格子状配置となるように設定することを特徴とする、請求項１３に記載の写真測量装置。
【請求項１５】
前記誤対応点抽出部は、前記対象となる対応点に隣接する１つの対応点を結ぶ直線と、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線とがなす角度が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、請求項１３又は１４に記載の写真測量装置。
【請求項１６】
前記誤対応点抽出部は、前記対象となる対応点に隣接する対応点を結ぶ直線Ａと、前記対象となる前記隣接する対応点の反対側に隣接する対応点とを結ぶ直線Ｂとの長さの和が、閾値を越える場合に、前記対象となる対応点が誤対応点であると判断する、請求項１３又は１４に記載の写真測量装置。
【請求項１７】
請求項１から１６のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記基準点ユニットは、前記ターゲットを前記撮影装置により撮影される測定対象のＸ、Ｙ、Ｚ軸の各成分別に、測定対象の最大距離の半分以上の距離を置いて配置されることを特徴とする、写真測量システム。
【請求項１８】
請求項１から１６のいずれか１つに記載の写真測量装置と、前記測定対象の近傍に配置され前記基準点として機能するターゲットを複数固定する基準点ユニットと、前記複数の撮影装置を前記基準点ユニットと前記測定対象が撮影できるような位置に固定可能に構成されたカメラ固定ユニットとを備えた写真測量システムであって、
前記ターゲットは、発光部を備え、前記写真測量装置は前記発光部からの光を前記基準点して前記撮影装置により撮影することを特徴とする、写真測量システム。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００７−２１２４３０（Ｐ２００７−２１２４３０Ａ）
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【公開請求】
【出願番号】特願２００６−２１４８２４（Ｐ２００６−２１４８２４）
【出願日】平成１８年８月７日（２００６．８．７）
【出願人】（０００００１０９６）倉敷紡績株式会社 (296)
【出願人】（０００００２１１８）住友金属工業株式会社 (2,544)
【Ｆターム（参考）】
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願番号】特願２００６−２１４８２４（Ｐ２００６−２１４８２４）
【出願日】平成１８年８月７日（２００６．８．７）
【出願人】（０００００１０９６）倉敷紡績株式会社 (296)
【出願人】（０００００２１１８）住友金属工業株式会社 (2,544)
【Ｆターム（参考）】
[ Back to top ]