遠隔操縦作業機の画像処理システム
【課題】無線により遠隔操縦が可能な遠隔操縦作業機において、簡素な構成で、対象地形と作業機との位置関係を容易かつ正確に把握することができるようにした、遠隔操縦作業機の画像処理システムを提供する。
【解決手段】無線信号で遠隔操縦される作業機の画像処理システムにおいて、該作業機の絶対位置を計測する第１ＧＰＳ受信手段１ａと、該作業機の姿勢を計測する第１姿勢計測手段２ａと、該作業機とは別設され周囲の対象地形の形状を計測する地形計測装置３と、地形計測装置３の絶対位置を計測する第２ＧＰＳ受信手段１ｂと、地形計測装置３の姿勢を計測する第２姿勢計測手段２ｂと、該作業機の絶対位置及び姿勢に基づいて該作業機の三次元形状を演算する作業機演算手段４と、地形計測装置３の絶対位置及び姿勢に基づいて該対象地形の三次元形状を演算する地形演算手段５と、該対象地形及び該作業機の三次元形状を重畳表示する表示手段６とを備える。
【解決手段】無線信号で遠隔操縦される作業機の画像処理システムにおいて、該作業機の絶対位置を計測する第１ＧＰＳ受信手段１ａと、該作業機の姿勢を計測する第１姿勢計測手段２ａと、該作業機とは別設され周囲の対象地形の形状を計測する地形計測装置３と、地形計測装置３の絶対位置を計測する第２ＧＰＳ受信手段１ｂと、地形計測装置３の姿勢を計測する第２姿勢計測手段２ｂと、該作業機の絶対位置及び姿勢に基づいて該作業機の三次元形状を演算する作業機演算手段４と、地形計測装置３の絶対位置及び姿勢に基づいて該対象地形の三次元形状を演算する地形演算手段５と、該対象地形及び該作業機の三次元形状を重畳表示する表示手段６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無線により遠隔操縦される遠隔操縦作業機の画像処理システムに関する。
【背景技術】
【０００２】
従来、災害復旧工事や製鉄所，産業廃棄物処理場等、容易に人の近づけない作業現場において各種作業を行うための作業機として、遠隔操縦作業機が知られている。遠隔操縦作業機とは、油圧ショベルやブルドーザ等に代表される作業機に搭載されたエンジンや油圧アクチュエータを、無線を用いて遠隔操作できるようにしたものである。
例えば、遠隔操縦作業機では、通常の作業機において運転席に配置される操作レバーや操作スイッチ類と同様の各種入力装置が携帯型のコントローラに設けられ、コントローラの操作内容が無線により作業機へと送信されて、その作業機がコントローラの操作内容通りに作動するようになっている。これによりオペレータは、作業機の運転席外部から、つまり、作業機から離れた位置でその作業機の動作を制御できる。上記のような遠隔操縦作業機としては、例えば特許文献１に記載されたものがある。
【０００３】
特許文献１に記載の技術では、遠隔操作が可能な建設機械において、バケット刃先を自動追尾して撮影する作業用カメラを建設機械のキャブ上に搭載するとともに、作業用カメラで撮影された画像信号を無線電波で伝送してディスプレイに表示させる構成が開示されている。つまり、オペレータは、ディスプレイ上の画像を参照しながら建設機械を遠隔操作することで、実際のバケット刃先の状況を把握しつつ作業を進めることができるようになっている。
【０００４】
しかし、特許文献１に記載されたような作業用カメラでは、バケットの動きと地形の形状との対応関係を把握しにくい。例えば、バケットを用いた土面の成形作業では、実際の地形が３次元形状であるのに対し、作業用カメラで捉えられるカメラ映像は平面的な２次元情報であるため、奥行きがわかりにくくなる。つまり、作業用カメラの撮影方向の情報が欠落してしまい、オペレータにとって作業を進めにくい場合がある。
【０００５】
このような課題に対し、作業範囲における奥行き方向の情報を検出する装置を利用した技術が開発されている。例えば、特許文献２には、キャブ頂部にスキャニングレーザを備えるとともに、バケット近傍に反射板を備えた構成の遠隔操作式建設機械が記載されている。スキャニングレーザとは、照射したレーザの反射光を検出して、レーザの行程時間差に基づきレーザを反射した対象物までの距離を測定する装置である。このような装置を用いることで、奥行き方向の情報を把握することが可能となる。なお、この特許文献２に記載の技術では、反射板を用いてバケットからの反射光の強度を高めることで、バケットと地形とを区別して認識している。
【特許文献１】特開平８−７４２９６号公報
【特許文献２】特開２００４−２９４０６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の技術において、スキャニングレーザによって測定される地形の形状は、スキャニングレーザに対する相対的な位置関係における形状でしかない。例えば、スキャニングレーザを搭載した作業機自体が均一な傾斜面に位置している場合には、スキャニングレーザ自体が斜めになり、傾斜面の勾配を測定することができないため、作業機の周囲の地形形状が水平であると見なされてしまう。
【０００７】
このようなスキャニングレーザによる検出情報と実際の地形との差異は、作業機の作業範囲のみの局所的な特徴を把握する分には単なる誤差として許容されるが、作業現場全体を大局的に捉えたいような場合や高度な施工精度を要求される場合には、正確な地形形状の把握を阻害する要因となりかねない。
また、特許文献２に記載の技術では、作業機にスキャニングレーザが搭載されているため、作業機の車体振動によって反射光の検知精度が低下して地形の計測に時間を要する場合や、正確な地形形状の計測ができない場合がある。
【０００８】
本発明は、このような課題に鑑みてなされたもので、無線により遠隔操縦が可能な遠隔操縦作業機において、簡素な構成で、対象地形と作業機との位置関係を容易かつ正確に把握することができるようにした、遠隔操縦作業機の画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１記載の本発明の遠隔操縦作業機の画像処理システムは、無線信号によって遠隔操縦される作業機の画像処理システムにおいて、地球上における該作業機の絶対位置を計測する第１ＧＰＳ受信手段と、該作業機の姿勢を計測する第１姿勢計測手段と、該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、該地球上における該地形計測装置の絶対位置を計測する第２ＧＰＳ受信手段と、該地形計測装置の姿勢を計測する第２姿勢計測手段と、該第１ＧＰＳ受信手段で計測された該作業機の絶対位置及び該第１姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、該第２ＧＰＳ受信手段で計測された該地形計測装置の絶対位置及び該第２姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段とを備えたことを特徴としている。
【００１０】
ここでいう絶対位置とは、準拠楕円体を基準とする座標系（グローバル座標系）における位置であって、例えば緯度，経度及び高度によって規定される位置のことを意味している。また、ここでいう姿勢とは、水平面（準拠楕円体の接平面）に対する傾斜の大きさ及び傾斜方向（方位）のことを意味している。また、ここでいう三次元形状とは、上記のグローバル座標系における座標情報によって構成された三次元形状を意味している。
【００１１】
一方、地形計測装置で計測される該作業機の周囲の対象地形の形状とは、該作業機に対する相対位置によって規定される形状であり、例えば、該作業機に固定された座標系に対する座標情報によって構成された形状を意味する。
また、該第１ＧＰＳ受信手段及び該第２ＧＰＳ受信手段とは、ＧＰＳ衛星から伝播される電波信号を受信し、当該ＧＰＳ衛星までの距離を測定する受信機である。該第１ＧＰＳ受信手段及び該第２ＧＰＳ受信手段は、複数のＧＰＳ衛星からの電波信号を受信することで、地球上における平面位置や標高を測定する。なお、ＧＰＳとは、全地球測位システムの略称である。
【００１２】
また、請求項２記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１記載の構成において、該作業機に搭載され、該作業機による作業範囲を撮影するカメラと、該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、該第１ＧＰＳ受信手段で計測された該作業機の絶対位置，該第１姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、該表示手段が、該地形演算手段で演算された該対象地形の三次元形状，該作業機演算手段で演算された該作業機の三次元形状及び該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示することを特徴としている。
【００１３】
なお、該カメラ姿勢検出手段において検出される該カメラの姿勢とは、該作業機に固定された座標系に対する姿勢を意味する。また、該カメラの姿勢は該カメラの撮影方向に対応する。
また、請求項３記載の本発明の遠隔操縦作業機の画像処理システムは、請求項２記載の構成において、該表示手段が、該対象地形の三次元形状，該作業機の三次元形状及び該撮影範囲の重畳画像と、該カメラで撮影された該作業範囲の映像とを同時に表示することを特徴としている。
【００１４】
また、請求項４記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜３の何れか１項に記載の構成において、該作業機に搭載された作業装置としてのブーム，アーム及びバケットと、該ブーム，該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えたことを特徴としている。
つまり、該回動角センサを、該第１姿勢計測手段として機能させる。
なお、回動角センサで検出される該ブーム，該アーム及び該バケットの各々の回動角は、該作業機に固定された座標系に対する回動角を意味する。例えば、該作業機の上部旋回体に固定された座標系や、該ブームに固定さえた座標系，該アームに固定された座標系等が挙げられる。
【００１５】
また、請求項５記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜４の何れか１項に記載の構成において、該地形計測装置として、複数のカメラからなるステレオカメラを備えたことを特徴としている。
なお、ここでいうステレオカメラとは、該複数のカメラによって撮影された画像間の視差を利用して、該画像中の被写体までの距離を算出するものである。
【００１６】
また、請求項６記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜５の何れか１項に記載の構成において、該作業機の傾斜角を検出するジャイロと、該作業機が傾斜している方位を検出する方位センサとを有することを特徴としている。
なお、該ジャイロで検出される該傾斜角，該方位センサで検出される該方位は、それぞれグローバル座標系に対する傾斜角，グローバル座標系での方位を意味する。
【発明の効果】
【００１７】
本発明の遠隔操縦作業機の画像処理システム（請求項１）によれば、作業機の遠隔操縦において、対象地形と作業機との位置関係を容易かつ正確に把握することができる。また、対象地形が作業機とは別設された地形計測装置によって計測されているため、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。さらに、対象地形及び作業機の重畳表示により、上記の位置関係をオペレータにわかりやすく提供することができる。
【００１８】
また、本発明の遠隔操縦作業機の画像処理システム（請求項２）によれば、作業機の遠隔操縦において、対象地形中におけるカメラの撮影範囲を容易かつ正確に把握することができ、作業性を向上させることができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項３）によれば、演算によって得られた重畳画像と実際の作業範囲の映像とを同時に表示することにより、より正確に作業機の周囲の状況を把握することができる。
【００１９】
また、本発明の遠隔操縦作業機の画像処理システム（請求項４）によれば、作業中における作業機全体の姿勢をより詳細に把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項５）によれば、低コストで作業機の周囲の対象地形の形状を把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項６）によれば、容易かつ安価に作業機の姿勢を把握することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面により、本発明の実施の形態について説明する。
図１〜図３は本発明の一実施形態に係る遠隔操縦作業機の画像処理システムを説明するものであり、図１（ａ）は本画像処理システムが適用された作業機の全体構成を示す模式的な側面図、（ｂ）は本画像処理システムに係るステレオカメラ及び操作室の構成を示す模式図、図２は本画像処理システムの信号処理に係る全体構成を示す制御ブロック図、図３は本画像処理システムによって表示される画像の一例であり、（ａ）は対象地形，作業機及びＴＶカメラの撮影範囲を重畳表示したＣＧ画像、（ｂ）は作業カメラで撮影された作業範囲の映像を示す。
【００２１】
［構成］
〔１．油圧ショベル〕
本遠隔操縦作業機の画像処理システムは、図１（ａ）に示す油圧ショベル２０に適用される。この油圧ショベル２０は、クローラ式の油圧走行装置を装備した下部走行体１３と、下部走行体１３の上に旋回自在に搭載された上部旋回体１４とを備える。
【００２２】
上部旋回体１４は、機体前方へ向けて延出する油圧駆動式の作業装置１１やオペレータ（運転者）が搭乗可能なキャブ１４ａ，エンジンや油圧ポンプが配置されるエンジンルーム１４ｂ，機体の重量バランスを保つためのカウンタウェイト１４ｃ等を備える。
作業装置１１は、ブーム１１ａ，アーム１１ｂ及びバケット１１ｃの三つの部位を有する。これらの各部位間には油圧シリンダが設けられ、各油圧シリンダを作動させることで各部位が独立して駆動される。図１（ａ）中では、ブーム１１ａを駆動するためのブームシリンダ１１Ａ，アーム１１ｂを駆動するためのアームシリンダ１１Ｂ及びバケット１１ｃの角度を制御するためのバケットシリンダ１１Ｃが示されている。
【００２３】
ブーム１１ａは、図１（ａ）に示すように、その下端部を上部旋回体１４に軸支された部材である。ブームシリンダ１１Ａを伸縮作動させることで、ブーム１１ａの先端側が上下方向へ揺動する。ブーム１１ａと上部旋回体１４との軸支部分には、ブーム１１ａの回動角（上部旋回体６に対する回動角度）を検出する角度センサ（回動角センサ）１２ａが設けられる。
【００２４】
アーム１１ｂは、ブーム１１ａの先端に軸支された部材であり、アームシリンダ１１Ｂを伸縮作動させると、アーム１１ｂの前端側が上下方向へ揺動する。アーム１１ｂのブーム１１ａに対する軸支部分には、アーム１１ｂの回動角（ブーム５ａに対する回動角度）を検出する角度センサ（回動角センサ）１２ｂが設けられる。
バケット１１ｃはアーム１１ｂの先端に軸支された部材であり、バケットシリンダ１１Ｃを伸縮作動させることで開閉動作する。バケット１１ｃのアーム１１ｂに対する軸支部分には、バケット１１ｃの回動角（アーム５ｂに対する回動角度）を検出する角度センサ（回動角センサ）１２ｃが設けられる。角度センサ１２ａ〜１２ｃで検出された回動角の情報は、後述する入力処理器１５へ入力される。
【００２５】
キャブ１４ａの後方に配置されたエンジンルーム１４ｂ内には、本油圧ショベル２０の駆動源となるエンジンや油圧装置を駆動するための油圧ポンプ等を配置する。なお、本油圧ショベル２０は、キャブ１４ａ内に装備された操作装置によるエンジン，油圧アクチュエータの操作が可能なだけでなく、携帯型のコントローラを用いた無線での遠隔操作が可能な遠隔操縦作業機である。
【００２６】
キャブ１４ａの上部には、作業範囲を撮影するＴＶカメラ（カメラ）７がキャブ１４ａに対して上下方向へ回動可能に設けられる。ＴＶカメラ７で撮影された映像は、同じくキャブ１４ａ上部に固設されたアンテナ１７から送信される。また、キャブ１４ａ上部には、ＴＶカメラ７の回動角度を検出する角度検出器（カメラ姿勢検出手段）８が併設される。つまり、ＴＶカメラ７は、ＴＶカメラ７の油圧ショベル２０に対する姿勢（つまり撮影方向）を検出する。角度検出器８で検出されたＴＶカメラ７の姿勢の情報は、後述する入力処理器１５へ入力される。
【００２７】
また、上部旋回体１４上には、作業機ＧＰＳ受信機（第１ＧＰＳ受信手段）１ａ及び作業機姿勢検出器（第１姿勢計測手段）２ａが固設される。作業機ＧＰＳ受信機１ａは、複数のＧＰＳ衛星から伝播される電波信号を受信し、当該ＧＰＳ衛星までの距離をそれぞれ計測するものである。これにより、地球上における油圧ショベル２０の絶対位置を計測する。ここでいう絶対位置とは、準拠楕円体を基準とする座標系（グローバル座標系）における位置であって、緯度，経度及び高度によって規定される位置のことを意味する。
【００２８】
作業機姿勢検出器２ａは、油圧ショベル２０の水平面（準拠楕円体の接平面）に対する傾斜の大きさを計測するジャイロと、その傾斜方向（方位）を計測する方位センサとを備えて構成される。ここで検出された油圧ショベル２０の絶対位置及び姿勢の情報は、入力処理器１５へ入力される。
入力処理器１５は、油圧ショベル２０の絶対位置，作業装置１１の各回動角，ＴＶカメラ７の姿勢情報及び油圧ショベル２０の姿勢情報を無線信号の送信データへ変換するものである。ここで変換された無線信号は、エンジンルーム１４ｂ上に固設されたアンテナ１６から送信される。
【００２９】
〔２．ステレオカメラ〕
上記の油圧ショベル２０の作業現場には、油圧ショベル２０の周囲の対象地形の形状を計測するステレオカメラ（地形計測装置）３が設けられる。ステレオカメラ３は、複数のカメラによって撮影された画像間の視差を利用して、画像中の被写体までの距離を算出する。これにより、ステレオカメラ３の撮影範囲内の地形形状が計測される。ただしこれは、ステレオカメラ３の固設位置を基準とした座標系における座標情報によって構成された地形形状である。なお、このステレオカメラ３は、油圧ショベル２０とは別設され、例えば作業現場の建造物に固定される。作業現場が屋内の場合には、ステレオカメラ３を天井から吊り下げてもよい。
【００３０】
図１（ｂ）に示すように、ステレオカメラ３には、ステレオカメラＧＰＳ受信機（第２ＧＰＳ受信手段）１ｂ及びステレオカメラ姿勢検出器（第２姿勢計測装置）２ｂが固設される。ステレオカメラＧＰＳ受信機１ｂは、ステレオカメラ３の地球上における絶対位置を計測する。一方、ステレオカメラ姿勢検出器２ｂは、ステレオカメラ３の姿勢（撮影方向）を計測する。
【００３１】
ステレオカメラ３で計測された地形形状，ステレオカメラＧＰＳ受信機１ｂで計測された絶対位置及びステレオカメラ姿勢検出器２ｂで計測された姿勢の各情報は、ステレオカメラ３に内蔵された信号処理器２１へ入力されて送信データに変換され、ＬＡＮ（有線又は無線）等の情報伝達網を介して送信される。
【００３２】
〔３．操作室〕
図１（ｂ）に示すように、作業現場から離れた場所に操作室２３が設けられる。操作室２３は、油圧ショベル２０の遠隔操縦の操作を行う場所である。この操作室２３には、信号受信器１８，画像受信器１９，信号処理器１０，画像処理演算器２２及びモニタ（表示手段）６が備えられる。
【００３３】
信号受信器１８は、油圧ショベル２０のアンテナ１６から送信される無線信号を受信する。ここで受信された信号は、信号処理器２０へ入力される。一方、画像受信器１９は、油圧ショベル２０のアンテナ１７から送信されたＴＶカメラ７の映像を受信し、モニタ６へ出力する。
信号処理器１０は、信号受信器１８からの信号及び情報伝達網を介して接続された信号処理器２１からの信号に基づく演算を行うものであり、図２に示すように、地形形状演算処理器（地形演算手段）５，機体姿勢演算処理器（作業機演算手段）４及びカメラ撮影範囲演算処理器（撮影範囲演算手段）９を備えて構成される。
【００３４】
地形形状演算処理器５は、ステレオカメラ３で計測された地形形状，ステレオカメラ３の絶対位置及び姿勢から、ステレオカメラ３で撮影された地形の三次元形状を演算する。ここで演算される三次元形状は、グローバル座標系における座標情報によって構成された三次元形状である。ここで演算された油圧ショベル２０の周囲の地形の三次元データは、画像処理演算器２２へ入力される。
【００３５】
機体姿勢演算処理器４は、油圧ショベル２０の絶対位置，姿勢及び作業装置１１の回動角から、油圧ショベル２０のグローバル座標系における座標情報によって構成された三次元形状を演算する。ここで演算された油圧ショベル２０の三次元データは、画像処理演算器２２へ入力される。
カメラ撮影範囲演算処理器９は、ＴＶカメラ７の姿勢，油圧ショベル２０の絶対位置及び姿勢から、ＴＶカメラ７の撮影範囲のグローバル座標系での範囲形状を演算する。なお、ここで油圧ショベル２０の絶対位置及び姿勢が用いられる理由は、ＴＶカメラ７が油圧ショベル２０に設けられているからである。ここで演算された油圧ショベル２０の三次元データは、画像処理演算器２２へ入力される。
【００３６】
画像処理演算器２２は、地形形状演算処理器５，機体姿勢演算処理器４及びカメラ撮影範囲演算処理器９で演算された各三次元形状を合成し、一つのＣＧ画像データを作成してモニタ６へ出力する。つまりここでは、各三次元形状が重畳される。
モニタ６は、画像処理演算器２２で作成された一つの画像データとＴＶカメラ７の映像とを同時に表示する。ここでは、画面を二分割して二つの映像を同時に表示してもよいし、一方の映像に他方の映像をインポーズしてもよい。
【００３７】
［作用］
上記のような構成により、本遠隔操縦作業機の画像処理システムは以下のように作用すれる。
まず、油圧ショベル２０では、作業機ＧＰＳ受信器１ａ，作業機姿勢検出器２ａ，角度センサ１２ａ〜１２ｃ及び角度検出器８のそれぞれにおいて、油圧ショベル２０の絶対位置情報，油圧ショベル２０の姿勢情報，作業装置１１の各回動角及びＴＶカメラ７の姿勢情報が随時計測，検出される。これらの検出情報は、入力処理器１５を介して油圧ショベル２０のアンテナ１６から送信され、操作室２３内の信号受信器１８を介して信号処理器１０へ入力される。油圧ショベル２０のＴＶカメラ７で撮影された映像は、アンテナ１７から送信され、操作室２３内の画像受信器１９で受信される。
【００３８】
一方、ステレオカメラＧＰＳ受信器１ａ，ステレオカメラ姿勢検出器２ｂ及びステレオカメラ３のそれぞれにおいて、ステレオカメラ３の絶対位置情報，ステレオカメラ３の姿勢情報及び油圧ショベル２０の周囲の対象地形の形状情報が随時計測，検出される。これらの検出情報は、信号処理器２１でデータ変換された後、情報伝達網を介して送信され、操作室２３内の信号処理器１０へ入力される。
【００３９】
信号処理器１０において、油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が演算される。これらの演算では、グローバル座標系における座標情報によって構成された形状が算出される。その後、画像処理演算器２２において、これらの形状がＣＧ画像として合成される。
モニタ６では、画像処理演算器２２で合成されたＣＧ画像と画像受信器１９で受信されたＴＶカメラ７の映像とが同時に表示される。なお、これらのＣＧ画像及び映像は、随時更新される。
【００４０】
例えば、モニタ６の表示画面が二分割され、その一方の分割画面に、図３（ａ）に示すように、油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が重畳表示される。また、他方の分割画面には、図３（ｂ）に示すように、実際の作業範囲の状況が表示される。ＴＶカメラ７の表示範囲は、図３（ａ）に破線で表示されているＴＶカメラ７の撮影範囲と略一致することになる。
【００４１】
［効果］
このように、本画像処理システムによれば、油圧ショベル２０とその周囲の地形との位置関係を容易かつ正確に把握することができる。たとえ油圧ショベル２０や地形が傾斜していても、ＧＰＳの利用によりその傾斜を正確に把握できる。すなわち、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。
【００４２】
また、ステレオカメラ３が油圧ショベル２０とは別設されているため、油圧ショベル２０の車体振動が地形の計測に悪影響を与えることがなく、短時間で正確に地形計測を済ませることができる。
また、油圧ショベル２０，周囲の地形及びＴＶカメラ７の撮影範囲形状が一つのＣＧ画像として重畳表示されるため、これらの位置関係が視覚的にわかりやすい。なお、周囲の地形中における理論上の撮影範囲と、実際のＴＶカメラ７で撮影された映像とが同時に表意されるため、オペレータはこれらの対応関係をより明確に把握することができる。また、油圧ショベル２０とその周囲の状況を示すＣＧ画像とＴＶカメラ７の映像とが随時更新されるため、油圧ショベル２０の作業量を把握することもできる。
なお、本画像処理システムは構成が簡素であり、コストを低減させることができる。
【００４３】
［その他］
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述の実施形態では、本発明に係る遠隔操縦作業機の画像処理システムを油圧ショベル２０に適用したものを説明したが、これ以外の車両に適用することも考えられる。遠隔操縦が可能な作業機であれば、例えばブルドーザやホイールローダ等の作業機械全般に広く適用可能である。
【００４４】
また、上述の実施形態では、画像処理演算器２２において油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が合成されているが、ＴＶカメラ７の撮影範囲形状を省いた構成としてもよい。少なくとも油圧ショベル２０とその周囲の地形とが重畳表示されれば、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。
【００４５】
また、上述の実施形態では、図３（ａ），（ｂ）に示すようなＣＧ画像及びＴＶカメラ７の映像が同時に表示されているが、一つのモニタ上において所定の時間間隔で交互に表示する構成としてもよいし、複数のモニタを用意して同時に表示させる構成としてもよい。
また、上述の実施形態では、ブーム，アーム及びバケットの回動状態を検出する回動角センサ１２ａ〜１２ｃを備えた構成となっているが、これらの構成は必須ではない（例えば、ブルドーザやホイールローダに本発明の画像処理システムを適用する場合等）。なお、回動角センサの代わりに各油圧シリンダの作動量を検出するセンサを用いて、作業装置１１の姿勢を把握してもよい。
【００４６】
また、油圧ショベル２０の周囲の地形形状に関しても、ステレオカメラ３以外のセンサを用いることが可能である。例えば、スキャニングレーザ等のレーダ装置を適用してもよい。
なお、上述の実施形態では、ジャイロ及び方位センサを用いて油圧ショベル２０の姿勢を検出しているが、グローバル座標系に対する姿勢を検出できるものであればこれに限定されず、他のセンサ類を用いてもよいことは言うまでもない。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態に係る遠隔操縦作業機の画像処理システムを示す図であり、本画像処理システムが適用された作業機の全体構成を示す模式的な側面図、（ｂ）は本画像処理システムに係るステレオカメラ及び操作室の構成を示す模式図である。
【図２】本画像処理システムの信号処理に係る全体構成を示す制御ブロック図である。
【図３】本画像処理システムによって表示される画像の一例であり、（ａ）は対象地形，作業機及びＴＶカメラの撮影範囲を重畳表示したＣＧ画像、（ｂ）は作業カメラで撮影された作業範囲の映像を示す。
【符号の説明】
【００４８】
１ａ 作業機ＧＰＳ受信器（第１ＧＰＳ受信手段）
１ｂ ステレオカメラＧＰＳ受信機（第２ＧＰＳ受信手段）
２ａ 作業機姿勢検出器（第１姿勢計測手段）
２ｂ ステレオカメラ姿勢検出器（第２姿勢計測装置）
３ ステレオカメラ（地形計測装置）
４ 機体姿勢演算処理器（作業機演算手段）
５ 地形形状演算処理器（地形演算手段）
６ モニタ（表示手段）
７ ＴＶカメラ（カメラ）
８ 角度検出器（カメラ姿勢検出手段）
９ カメラ撮影範囲演算処理器（撮影範囲演算手段）
１０ 信号処理器
１１ 作業装置
１２ａ〜１２ｃ 角度センサ（回動角センサ）
２０ 油圧ショベル（遠隔操縦作業機）
２３ 操作室
【技術分野】
【０００１】
本発明は、無線により遠隔操縦される遠隔操縦作業機の画像処理システムに関する。
【背景技術】
【０００２】
従来、災害復旧工事や製鉄所，産業廃棄物処理場等、容易に人の近づけない作業現場において各種作業を行うための作業機として、遠隔操縦作業機が知られている。遠隔操縦作業機とは、油圧ショベルやブルドーザ等に代表される作業機に搭載されたエンジンや油圧アクチュエータを、無線を用いて遠隔操作できるようにしたものである。
例えば、遠隔操縦作業機では、通常の作業機において運転席に配置される操作レバーや操作スイッチ類と同様の各種入力装置が携帯型のコントローラに設けられ、コントローラの操作内容が無線により作業機へと送信されて、その作業機がコントローラの操作内容通りに作動するようになっている。これによりオペレータは、作業機の運転席外部から、つまり、作業機から離れた位置でその作業機の動作を制御できる。上記のような遠隔操縦作業機としては、例えば特許文献１に記載されたものがある。
【０００３】
特許文献１に記載の技術では、遠隔操作が可能な建設機械において、バケット刃先を自動追尾して撮影する作業用カメラを建設機械のキャブ上に搭載するとともに、作業用カメラで撮影された画像信号を無線電波で伝送してディスプレイに表示させる構成が開示されている。つまり、オペレータは、ディスプレイ上の画像を参照しながら建設機械を遠隔操作することで、実際のバケット刃先の状況を把握しつつ作業を進めることができるようになっている。
【０００４】
しかし、特許文献１に記載されたような作業用カメラでは、バケットの動きと地形の形状との対応関係を把握しにくい。例えば、バケットを用いた土面の成形作業では、実際の地形が３次元形状であるのに対し、作業用カメラで捉えられるカメラ映像は平面的な２次元情報であるため、奥行きがわかりにくくなる。つまり、作業用カメラの撮影方向の情報が欠落してしまい、オペレータにとって作業を進めにくい場合がある。
【０００５】
このような課題に対し、作業範囲における奥行き方向の情報を検出する装置を利用した技術が開発されている。例えば、特許文献２には、キャブ頂部にスキャニングレーザを備えるとともに、バケット近傍に反射板を備えた構成の遠隔操作式建設機械が記載されている。スキャニングレーザとは、照射したレーザの反射光を検出して、レーザの行程時間差に基づきレーザを反射した対象物までの距離を測定する装置である。このような装置を用いることで、奥行き方向の情報を把握することが可能となる。なお、この特許文献２に記載の技術では、反射板を用いてバケットからの反射光の強度を高めることで、バケットと地形とを区別して認識している。
【特許文献１】特開平８−７４２９６号公報
【特許文献２】特開２００４−２９４０６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の技術において、スキャニングレーザによって測定される地形の形状は、スキャニングレーザに対する相対的な位置関係における形状でしかない。例えば、スキャニングレーザを搭載した作業機自体が均一な傾斜面に位置している場合には、スキャニングレーザ自体が斜めになり、傾斜面の勾配を測定することができないため、作業機の周囲の地形形状が水平であると見なされてしまう。
【０００７】
このようなスキャニングレーザによる検出情報と実際の地形との差異は、作業機の作業範囲のみの局所的な特徴を把握する分には単なる誤差として許容されるが、作業現場全体を大局的に捉えたいような場合や高度な施工精度を要求される場合には、正確な地形形状の把握を阻害する要因となりかねない。
また、特許文献２に記載の技術では、作業機にスキャニングレーザが搭載されているため、作業機の車体振動によって反射光の検知精度が低下して地形の計測に時間を要する場合や、正確な地形形状の計測ができない場合がある。
【０００８】
本発明は、このような課題に鑑みてなされたもので、無線により遠隔操縦が可能な遠隔操縦作業機において、簡素な構成で、対象地形と作業機との位置関係を容易かつ正確に把握することができるようにした、遠隔操縦作業機の画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１記載の本発明の遠隔操縦作業機の画像処理システムは、無線信号によって遠隔操縦される作業機の画像処理システムにおいて、地球上における該作業機の絶対位置を計測する第１ＧＰＳ受信手段と、該作業機の姿勢を計測する第１姿勢計測手段と、該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、該地球上における該地形計測装置の絶対位置を計測する第２ＧＰＳ受信手段と、該地形計測装置の姿勢を計測する第２姿勢計測手段と、該第１ＧＰＳ受信手段で計測された該作業機の絶対位置及び該第１姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、該第２ＧＰＳ受信手段で計測された該地形計測装置の絶対位置及び該第２姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段とを備えたことを特徴としている。
【００１０】
ここでいう絶対位置とは、準拠楕円体を基準とする座標系（グローバル座標系）における位置であって、例えば緯度，経度及び高度によって規定される位置のことを意味している。また、ここでいう姿勢とは、水平面（準拠楕円体の接平面）に対する傾斜の大きさ及び傾斜方向（方位）のことを意味している。また、ここでいう三次元形状とは、上記のグローバル座標系における座標情報によって構成された三次元形状を意味している。
【００１１】
一方、地形計測装置で計測される該作業機の周囲の対象地形の形状とは、該作業機に対する相対位置によって規定される形状であり、例えば、該作業機に固定された座標系に対する座標情報によって構成された形状を意味する。
また、該第１ＧＰＳ受信手段及び該第２ＧＰＳ受信手段とは、ＧＰＳ衛星から伝播される電波信号を受信し、当該ＧＰＳ衛星までの距離を測定する受信機である。該第１ＧＰＳ受信手段及び該第２ＧＰＳ受信手段は、複数のＧＰＳ衛星からの電波信号を受信することで、地球上における平面位置や標高を測定する。なお、ＧＰＳとは、全地球測位システムの略称である。
【００１２】
また、請求項２記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１記載の構成において、該作業機に搭載され、該作業機による作業範囲を撮影するカメラと、該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、該第１ＧＰＳ受信手段で計測された該作業機の絶対位置，該第１姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、該表示手段が、該地形演算手段で演算された該対象地形の三次元形状，該作業機演算手段で演算された該作業機の三次元形状及び該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示することを特徴としている。
【００１３】
なお、該カメラ姿勢検出手段において検出される該カメラの姿勢とは、該作業機に固定された座標系に対する姿勢を意味する。また、該カメラの姿勢は該カメラの撮影方向に対応する。
また、請求項３記載の本発明の遠隔操縦作業機の画像処理システムは、請求項２記載の構成において、該表示手段が、該対象地形の三次元形状，該作業機の三次元形状及び該撮影範囲の重畳画像と、該カメラで撮影された該作業範囲の映像とを同時に表示することを特徴としている。
【００１４】
また、請求項４記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜３の何れか１項に記載の構成において、該作業機に搭載された作業装置としてのブーム，アーム及びバケットと、該ブーム，該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えたことを特徴としている。
つまり、該回動角センサを、該第１姿勢計測手段として機能させる。
なお、回動角センサで検出される該ブーム，該アーム及び該バケットの各々の回動角は、該作業機に固定された座標系に対する回動角を意味する。例えば、該作業機の上部旋回体に固定された座標系や、該ブームに固定さえた座標系，該アームに固定された座標系等が挙げられる。
【００１５】
また、請求項５記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜４の何れか１項に記載の構成において、該地形計測装置として、複数のカメラからなるステレオカメラを備えたことを特徴としている。
なお、ここでいうステレオカメラとは、該複数のカメラによって撮影された画像間の視差を利用して、該画像中の被写体までの距離を算出するものである。
【００１６】
また、請求項６記載の本発明の遠隔操縦作業機の画像処理システムは、請求項１〜５の何れか１項に記載の構成において、該作業機の傾斜角を検出するジャイロと、該作業機が傾斜している方位を検出する方位センサとを有することを特徴としている。
なお、該ジャイロで検出される該傾斜角，該方位センサで検出される該方位は、それぞれグローバル座標系に対する傾斜角，グローバル座標系での方位を意味する。
【発明の効果】
【００１７】
本発明の遠隔操縦作業機の画像処理システム（請求項１）によれば、作業機の遠隔操縦において、対象地形と作業機との位置関係を容易かつ正確に把握することができる。また、対象地形が作業機とは別設された地形計測装置によって計測されているため、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。さらに、対象地形及び作業機の重畳表示により、上記の位置関係をオペレータにわかりやすく提供することができる。
【００１８】
また、本発明の遠隔操縦作業機の画像処理システム（請求項２）によれば、作業機の遠隔操縦において、対象地形中におけるカメラの撮影範囲を容易かつ正確に把握することができ、作業性を向上させることができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項３）によれば、演算によって得られた重畳画像と実際の作業範囲の映像とを同時に表示することにより、より正確に作業機の周囲の状況を把握することができる。
【００１９】
また、本発明の遠隔操縦作業機の画像処理システム（請求項４）によれば、作業中における作業機全体の姿勢をより詳細に把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項５）によれば、低コストで作業機の周囲の対象地形の形状を把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム（請求項６）によれば、容易かつ安価に作業機の姿勢を把握することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面により、本発明の実施の形態について説明する。
図１〜図３は本発明の一実施形態に係る遠隔操縦作業機の画像処理システムを説明するものであり、図１（ａ）は本画像処理システムが適用された作業機の全体構成を示す模式的な側面図、（ｂ）は本画像処理システムに係るステレオカメラ及び操作室の構成を示す模式図、図２は本画像処理システムの信号処理に係る全体構成を示す制御ブロック図、図３は本画像処理システムによって表示される画像の一例であり、（ａ）は対象地形，作業機及びＴＶカメラの撮影範囲を重畳表示したＣＧ画像、（ｂ）は作業カメラで撮影された作業範囲の映像を示す。
【００２１】
［構成］
〔１．油圧ショベル〕
本遠隔操縦作業機の画像処理システムは、図１（ａ）に示す油圧ショベル２０に適用される。この油圧ショベル２０は、クローラ式の油圧走行装置を装備した下部走行体１３と、下部走行体１３の上に旋回自在に搭載された上部旋回体１４とを備える。
【００２２】
上部旋回体１４は、機体前方へ向けて延出する油圧駆動式の作業装置１１やオペレータ（運転者）が搭乗可能なキャブ１４ａ，エンジンや油圧ポンプが配置されるエンジンルーム１４ｂ，機体の重量バランスを保つためのカウンタウェイト１４ｃ等を備える。
作業装置１１は、ブーム１１ａ，アーム１１ｂ及びバケット１１ｃの三つの部位を有する。これらの各部位間には油圧シリンダが設けられ、各油圧シリンダを作動させることで各部位が独立して駆動される。図１（ａ）中では、ブーム１１ａを駆動するためのブームシリンダ１１Ａ，アーム１１ｂを駆動するためのアームシリンダ１１Ｂ及びバケット１１ｃの角度を制御するためのバケットシリンダ１１Ｃが示されている。
【００２３】
ブーム１１ａは、図１（ａ）に示すように、その下端部を上部旋回体１４に軸支された部材である。ブームシリンダ１１Ａを伸縮作動させることで、ブーム１１ａの先端側が上下方向へ揺動する。ブーム１１ａと上部旋回体１４との軸支部分には、ブーム１１ａの回動角（上部旋回体６に対する回動角度）を検出する角度センサ（回動角センサ）１２ａが設けられる。
【００２４】
アーム１１ｂは、ブーム１１ａの先端に軸支された部材であり、アームシリンダ１１Ｂを伸縮作動させると、アーム１１ｂの前端側が上下方向へ揺動する。アーム１１ｂのブーム１１ａに対する軸支部分には、アーム１１ｂの回動角（ブーム５ａに対する回動角度）を検出する角度センサ（回動角センサ）１２ｂが設けられる。
バケット１１ｃはアーム１１ｂの先端に軸支された部材であり、バケットシリンダ１１Ｃを伸縮作動させることで開閉動作する。バケット１１ｃのアーム１１ｂに対する軸支部分には、バケット１１ｃの回動角（アーム５ｂに対する回動角度）を検出する角度センサ（回動角センサ）１２ｃが設けられる。角度センサ１２ａ〜１２ｃで検出された回動角の情報は、後述する入力処理器１５へ入力される。
【００２５】
キャブ１４ａの後方に配置されたエンジンルーム１４ｂ内には、本油圧ショベル２０の駆動源となるエンジンや油圧装置を駆動するための油圧ポンプ等を配置する。なお、本油圧ショベル２０は、キャブ１４ａ内に装備された操作装置によるエンジン，油圧アクチュエータの操作が可能なだけでなく、携帯型のコントローラを用いた無線での遠隔操作が可能な遠隔操縦作業機である。
【００２６】
キャブ１４ａの上部には、作業範囲を撮影するＴＶカメラ（カメラ）７がキャブ１４ａに対して上下方向へ回動可能に設けられる。ＴＶカメラ７で撮影された映像は、同じくキャブ１４ａ上部に固設されたアンテナ１７から送信される。また、キャブ１４ａ上部には、ＴＶカメラ７の回動角度を検出する角度検出器（カメラ姿勢検出手段）８が併設される。つまり、ＴＶカメラ７は、ＴＶカメラ７の油圧ショベル２０に対する姿勢（つまり撮影方向）を検出する。角度検出器８で検出されたＴＶカメラ７の姿勢の情報は、後述する入力処理器１５へ入力される。
【００２７】
また、上部旋回体１４上には、作業機ＧＰＳ受信機（第１ＧＰＳ受信手段）１ａ及び作業機姿勢検出器（第１姿勢計測手段）２ａが固設される。作業機ＧＰＳ受信機１ａは、複数のＧＰＳ衛星から伝播される電波信号を受信し、当該ＧＰＳ衛星までの距離をそれぞれ計測するものである。これにより、地球上における油圧ショベル２０の絶対位置を計測する。ここでいう絶対位置とは、準拠楕円体を基準とする座標系（グローバル座標系）における位置であって、緯度，経度及び高度によって規定される位置のことを意味する。
【００２８】
作業機姿勢検出器２ａは、油圧ショベル２０の水平面（準拠楕円体の接平面）に対する傾斜の大きさを計測するジャイロと、その傾斜方向（方位）を計測する方位センサとを備えて構成される。ここで検出された油圧ショベル２０の絶対位置及び姿勢の情報は、入力処理器１５へ入力される。
入力処理器１５は、油圧ショベル２０の絶対位置，作業装置１１の各回動角，ＴＶカメラ７の姿勢情報及び油圧ショベル２０の姿勢情報を無線信号の送信データへ変換するものである。ここで変換された無線信号は、エンジンルーム１４ｂ上に固設されたアンテナ１６から送信される。
【００２９】
〔２．ステレオカメラ〕
上記の油圧ショベル２０の作業現場には、油圧ショベル２０の周囲の対象地形の形状を計測するステレオカメラ（地形計測装置）３が設けられる。ステレオカメラ３は、複数のカメラによって撮影された画像間の視差を利用して、画像中の被写体までの距離を算出する。これにより、ステレオカメラ３の撮影範囲内の地形形状が計測される。ただしこれは、ステレオカメラ３の固設位置を基準とした座標系における座標情報によって構成された地形形状である。なお、このステレオカメラ３は、油圧ショベル２０とは別設され、例えば作業現場の建造物に固定される。作業現場が屋内の場合には、ステレオカメラ３を天井から吊り下げてもよい。
【００３０】
図１（ｂ）に示すように、ステレオカメラ３には、ステレオカメラＧＰＳ受信機（第２ＧＰＳ受信手段）１ｂ及びステレオカメラ姿勢検出器（第２姿勢計測装置）２ｂが固設される。ステレオカメラＧＰＳ受信機１ｂは、ステレオカメラ３の地球上における絶対位置を計測する。一方、ステレオカメラ姿勢検出器２ｂは、ステレオカメラ３の姿勢（撮影方向）を計測する。
【００３１】
ステレオカメラ３で計測された地形形状，ステレオカメラＧＰＳ受信機１ｂで計測された絶対位置及びステレオカメラ姿勢検出器２ｂで計測された姿勢の各情報は、ステレオカメラ３に内蔵された信号処理器２１へ入力されて送信データに変換され、ＬＡＮ（有線又は無線）等の情報伝達網を介して送信される。
【００３２】
〔３．操作室〕
図１（ｂ）に示すように、作業現場から離れた場所に操作室２３が設けられる。操作室２３は、油圧ショベル２０の遠隔操縦の操作を行う場所である。この操作室２３には、信号受信器１８，画像受信器１９，信号処理器１０，画像処理演算器２２及びモニタ（表示手段）６が備えられる。
【００３３】
信号受信器１８は、油圧ショベル２０のアンテナ１６から送信される無線信号を受信する。ここで受信された信号は、信号処理器２０へ入力される。一方、画像受信器１９は、油圧ショベル２０のアンテナ１７から送信されたＴＶカメラ７の映像を受信し、モニタ６へ出力する。
信号処理器１０は、信号受信器１８からの信号及び情報伝達網を介して接続された信号処理器２１からの信号に基づく演算を行うものであり、図２に示すように、地形形状演算処理器（地形演算手段）５，機体姿勢演算処理器（作業機演算手段）４及びカメラ撮影範囲演算処理器（撮影範囲演算手段）９を備えて構成される。
【００３４】
地形形状演算処理器５は、ステレオカメラ３で計測された地形形状，ステレオカメラ３の絶対位置及び姿勢から、ステレオカメラ３で撮影された地形の三次元形状を演算する。ここで演算される三次元形状は、グローバル座標系における座標情報によって構成された三次元形状である。ここで演算された油圧ショベル２０の周囲の地形の三次元データは、画像処理演算器２２へ入力される。
【００３５】
機体姿勢演算処理器４は、油圧ショベル２０の絶対位置，姿勢及び作業装置１１の回動角から、油圧ショベル２０のグローバル座標系における座標情報によって構成された三次元形状を演算する。ここで演算された油圧ショベル２０の三次元データは、画像処理演算器２２へ入力される。
カメラ撮影範囲演算処理器９は、ＴＶカメラ７の姿勢，油圧ショベル２０の絶対位置及び姿勢から、ＴＶカメラ７の撮影範囲のグローバル座標系での範囲形状を演算する。なお、ここで油圧ショベル２０の絶対位置及び姿勢が用いられる理由は、ＴＶカメラ７が油圧ショベル２０に設けられているからである。ここで演算された油圧ショベル２０の三次元データは、画像処理演算器２２へ入力される。
【００３６】
画像処理演算器２２は、地形形状演算処理器５，機体姿勢演算処理器４及びカメラ撮影範囲演算処理器９で演算された各三次元形状を合成し、一つのＣＧ画像データを作成してモニタ６へ出力する。つまりここでは、各三次元形状が重畳される。
モニタ６は、画像処理演算器２２で作成された一つの画像データとＴＶカメラ７の映像とを同時に表示する。ここでは、画面を二分割して二つの映像を同時に表示してもよいし、一方の映像に他方の映像をインポーズしてもよい。
【００３７】
［作用］
上記のような構成により、本遠隔操縦作業機の画像処理システムは以下のように作用すれる。
まず、油圧ショベル２０では、作業機ＧＰＳ受信器１ａ，作業機姿勢検出器２ａ，角度センサ１２ａ〜１２ｃ及び角度検出器８のそれぞれにおいて、油圧ショベル２０の絶対位置情報，油圧ショベル２０の姿勢情報，作業装置１１の各回動角及びＴＶカメラ７の姿勢情報が随時計測，検出される。これらの検出情報は、入力処理器１５を介して油圧ショベル２０のアンテナ１６から送信され、操作室２３内の信号受信器１８を介して信号処理器１０へ入力される。油圧ショベル２０のＴＶカメラ７で撮影された映像は、アンテナ１７から送信され、操作室２３内の画像受信器１９で受信される。
【００３８】
一方、ステレオカメラＧＰＳ受信器１ａ，ステレオカメラ姿勢検出器２ｂ及びステレオカメラ３のそれぞれにおいて、ステレオカメラ３の絶対位置情報，ステレオカメラ３の姿勢情報及び油圧ショベル２０の周囲の対象地形の形状情報が随時計測，検出される。これらの検出情報は、信号処理器２１でデータ変換された後、情報伝達網を介して送信され、操作室２３内の信号処理器１０へ入力される。
【００３９】
信号処理器１０において、油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が演算される。これらの演算では、グローバル座標系における座標情報によって構成された形状が算出される。その後、画像処理演算器２２において、これらの形状がＣＧ画像として合成される。
モニタ６では、画像処理演算器２２で合成されたＣＧ画像と画像受信器１９で受信されたＴＶカメラ７の映像とが同時に表示される。なお、これらのＣＧ画像及び映像は、随時更新される。
【００４０】
例えば、モニタ６の表示画面が二分割され、その一方の分割画面に、図３（ａ）に示すように、油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が重畳表示される。また、他方の分割画面には、図３（ｂ）に示すように、実際の作業範囲の状況が表示される。ＴＶカメラ７の表示範囲は、図３（ａ）に破線で表示されているＴＶカメラ７の撮影範囲と略一致することになる。
【００４１】
［効果］
このように、本画像処理システムによれば、油圧ショベル２０とその周囲の地形との位置関係を容易かつ正確に把握することができる。たとえ油圧ショベル２０や地形が傾斜していても、ＧＰＳの利用によりその傾斜を正確に把握できる。すなわち、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。
【００４２】
また、ステレオカメラ３が油圧ショベル２０とは別設されているため、油圧ショベル２０の車体振動が地形の計測に悪影響を与えることがなく、短時間で正確に地形計測を済ませることができる。
また、油圧ショベル２０，周囲の地形及びＴＶカメラ７の撮影範囲形状が一つのＣＧ画像として重畳表示されるため、これらの位置関係が視覚的にわかりやすい。なお、周囲の地形中における理論上の撮影範囲と、実際のＴＶカメラ７で撮影された映像とが同時に表意されるため、オペレータはこれらの対応関係をより明確に把握することができる。また、油圧ショベル２０とその周囲の状況を示すＣＧ画像とＴＶカメラ７の映像とが随時更新されるため、油圧ショベル２０の作業量を把握することもできる。
なお、本画像処理システムは構成が簡素であり、コストを低減させることができる。
【００４３】
［その他］
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述の実施形態では、本発明に係る遠隔操縦作業機の画像処理システムを油圧ショベル２０に適用したものを説明したが、これ以外の車両に適用することも考えられる。遠隔操縦が可能な作業機であれば、例えばブルドーザやホイールローダ等の作業機械全般に広く適用可能である。
【００４４】
また、上述の実施形態では、画像処理演算器２２において油圧ショベル２０の三次元形状，油圧ショベル２０の周囲の地形の三次元形状及びＴＶカメラ７の撮影範囲形状が合成されているが、ＴＶカメラ７の撮影範囲形状を省いた構成としてもよい。少なくとも油圧ショベル２０とその周囲の地形とが重畳表示されれば、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。
【００４５】
また、上述の実施形態では、図３（ａ），（ｂ）に示すようなＣＧ画像及びＴＶカメラ７の映像が同時に表示されているが、一つのモニタ上において所定の時間間隔で交互に表示する構成としてもよいし、複数のモニタを用意して同時に表示させる構成としてもよい。
また、上述の実施形態では、ブーム，アーム及びバケットの回動状態を検出する回動角センサ１２ａ〜１２ｃを備えた構成となっているが、これらの構成は必須ではない（例えば、ブルドーザやホイールローダに本発明の画像処理システムを適用する場合等）。なお、回動角センサの代わりに各油圧シリンダの作動量を検出するセンサを用いて、作業装置１１の姿勢を把握してもよい。
【００４６】
また、油圧ショベル２０の周囲の地形形状に関しても、ステレオカメラ３以外のセンサを用いることが可能である。例えば、スキャニングレーザ等のレーダ装置を適用してもよい。
なお、上述の実施形態では、ジャイロ及び方位センサを用いて油圧ショベル２０の姿勢を検出しているが、グローバル座標系に対する姿勢を検出できるものであればこれに限定されず、他のセンサ類を用いてもよいことは言うまでもない。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態に係る遠隔操縦作業機の画像処理システムを示す図であり、本画像処理システムが適用された作業機の全体構成を示す模式的な側面図、（ｂ）は本画像処理システムに係るステレオカメラ及び操作室の構成を示す模式図である。
【図２】本画像処理システムの信号処理に係る全体構成を示す制御ブロック図である。
【図３】本画像処理システムによって表示される画像の一例であり、（ａ）は対象地形，作業機及びＴＶカメラの撮影範囲を重畳表示したＣＧ画像、（ｂ）は作業カメラで撮影された作業範囲の映像を示す。
【符号の説明】
【００４８】
１ａ 作業機ＧＰＳ受信器（第１ＧＰＳ受信手段）
１ｂ ステレオカメラＧＰＳ受信機（第２ＧＰＳ受信手段）
２ａ 作業機姿勢検出器（第１姿勢計測手段）
２ｂ ステレオカメラ姿勢検出器（第２姿勢計測装置）
３ ステレオカメラ（地形計測装置）
４ 機体姿勢演算処理器（作業機演算手段）
５ 地形形状演算処理器（地形演算手段）
６ モニタ（表示手段）
７ ＴＶカメラ（カメラ）
８ 角度検出器（カメラ姿勢検出手段）
９ カメラ撮影範囲演算処理器（撮影範囲演算手段）
１０ 信号処理器
１１ 作業装置
１２ａ〜１２ｃ 角度センサ（回動角センサ）
２０ 油圧ショベル（遠隔操縦作業機）
２３ 操作室
【特許請求の範囲】
【請求項１】
無線信号によって遠隔操縦される作業機の画像処理システムにおいて、
地球上における該作業機の絶対位置を計測する第１ＧＰＳ受信手段と、
該作業機の姿勢を計測する第１姿勢計測手段と、
該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、
該地球上における該地形計測装置の絶対位置を計測する第２ＧＰＳ受信手段と、
該地形計測装置の姿勢を計測する第２姿勢計測手段と、
該第１ＧＰＳ受信手段で計測された該作業機の絶対位置及び該第１姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、
該第２ＧＰＳ受信手段で計測された該地形計測装置の絶対位置及び該第２姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、
該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段と
を備えたことを特徴とする、遠隔操縦作業機の画像処理システム。
【請求項２】
該作業機に搭載され、該作業機による作業範囲を撮影するカメラと、
該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、
該第１ＧＰＳ受信手段で計測された該作業機の絶対位置，該第１姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、
該表示手段が、該対象地形の三次元形状及び該作業機の三次元形状に加えて、該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示する
ことを特徴とする、請求項１記載の遠隔操縦作業機の画像処理システム。
【請求項３】
該表示手段が、該対象地形の三次元形状，該作業機の三次元形状及び該撮影範囲の重畳画像と、該カメラで撮影された該作業範囲の映像とを同時に表示する
ことを特徴とする、請求項２記載の遠隔操縦作業機の画像処理システム。
【請求項４】
該作業機に搭載された作業装置としてのブーム，アーム及びバケットと、
該ブーム，該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えた
ことを特徴とする、請求項１〜３の何れか１項に記載の遠隔操縦作業機の画像処理システム。
【請求項５】
該地形計測装置として、複数のカメラからなるステレオカメラを備えた
ことを特徴とする、請求項１〜４の何れか１項に記載の遠隔操縦作業機の画像処理システム。
【請求項６】
該第１姿勢計測手段が、該作業機の傾斜角を検出するジャイロと、該作業機が傾斜している方位を検出する方位センサとを有する
ことを特徴とする、請求項１〜５の何れか１項に記載の遠隔操縦作業機の画像処理システム。
【請求項１】
無線信号によって遠隔操縦される作業機の画像処理システムにおいて、
地球上における該作業機の絶対位置を計測する第１ＧＰＳ受信手段と、
該作業機の姿勢を計測する第１姿勢計測手段と、
該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、
該地球上における該地形計測装置の絶対位置を計測する第２ＧＰＳ受信手段と、
該地形計測装置の姿勢を計測する第２姿勢計測手段と、
該第１ＧＰＳ受信手段で計測された該作業機の絶対位置及び該第１姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、
該第２ＧＰＳ受信手段で計測された該地形計測装置の絶対位置及び該第２姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、
該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段と
を備えたことを特徴とする、遠隔操縦作業機の画像処理システム。
【請求項２】
該作業機に搭載され、該作業機による作業範囲を撮影するカメラと、
該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、
該第１ＧＰＳ受信手段で計測された該作業機の絶対位置，該第１姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、
該表示手段が、該対象地形の三次元形状及び該作業機の三次元形状に加えて、該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示する
ことを特徴とする、請求項１記載の遠隔操縦作業機の画像処理システム。
【請求項３】
該表示手段が、該対象地形の三次元形状，該作業機の三次元形状及び該撮影範囲の重畳画像と、該カメラで撮影された該作業範囲の映像とを同時に表示する
ことを特徴とする、請求項２記載の遠隔操縦作業機の画像処理システム。
【請求項４】
該作業機に搭載された作業装置としてのブーム，アーム及びバケットと、
該ブーム，該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えた
ことを特徴とする、請求項１〜３の何れか１項に記載の遠隔操縦作業機の画像処理システム。
【請求項５】
該地形計測装置として、複数のカメラからなるステレオカメラを備えた
ことを特徴とする、請求項１〜４の何れか１項に記載の遠隔操縦作業機の画像処理システム。
【請求項６】
該第１姿勢計測手段が、該作業機の傾斜角を検出するジャイロと、該作業機が傾斜している方位を検出する方位センサとを有する
ことを特徴とする、請求項１〜５の何れか１項に記載の遠隔操縦作業機の画像処理システム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００８−１４４３７９（Ｐ２００８−１４４３７９Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３２９８８０（Ｐ２００６−３２９８８０）
【出願日】平成１８年１２月６日（２００６．１２．６）
【出願人】（０００１９０２９７）新キャタピラー三菱株式会社 (1,189)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月６日（２００６．１２．６）
【出願人】（０００１９０２９７）新キャタピラー三菱株式会社 (1,189)
【Ｆターム（参考）】
[ Back to top ]