作業機械周辺監視装置
【課題】 作業機械と障害物との位置関係を容易かつ正確に把握でき、フロント作業機の旋回などの適否を瞬時に判断できるようにする作業機械周辺監視装置を提供する。
【解決手段】 作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段３００と、作業機械周辺を撮影するカメラ１３と、作業機械周辺の障害物およびその位置を計測する障害物検出手段７００と、作業機械姿勢取込み手段３００からの情報に基づいて作業機械の姿勢および形状および作業範囲を描画する画像と、前記カメラで撮影された前記作業機械周辺の画像と、前記障害物検出手段７００で検出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段８００と、生成された画像を表示する表示手段９００とからなる作業機械周辺監視装置。
【解決手段】 作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段３００と、作業機械周辺を撮影するカメラ１３と、作業機械周辺の障害物およびその位置を計測する障害物検出手段７００と、作業機械姿勢取込み手段３００からの情報に基づいて作業機械の姿勢および形状および作業範囲を描画する画像と、前記カメラで撮影された前記作業機械周辺の画像と、前記障害物検出手段７００で検出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段８００と、生成された画像を表示する表示手段９００とからなる作業機械周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機械周囲の障害物を監視する作業機械周辺監視装置に係り、特に、作業機械と障害物との位置関係を容易かつ正確に把握でき、フロント作業機の旋回などの適否を瞬時に判断できるようにする周囲情報提示手段に関する。
【背景技術】
【０００２】
油圧ショベルなどの作業機械と周囲の作業員などとの接触事故を防止するために、作業機械の監視カメラシステムが提案されている(例えば、特許文献１参照)。
【０００３】
この監視カメラシステムにおいては、作業機械の側方カメラ画像と後方カメラ画像の鏡像とを運転室内モニタに表示している。表示されるカメラ画像は、運転操作に応じて切り換わる。
【０００４】
しかし、この種装置の場合、運転者が、運転室内でモニタのカメラ画像を見て、危険な状況にあるか否かを判断しなければならず、運転者の負担となる場合があった。
【０００５】
そこで、カメラの他に、近接センサなどの障害物検出手段を搭載し、障害物検出時には、カメラ画像を運転室１ｆ内モニタに表示し、運転者に危険を知らせる監視装置が提案されている(例えば、特許文献２参照)。
【０００６】
この装置は、複数の近接センサに対応して各近接センサの検出エリアを撮像するカメラを設け、いずれかの近接センサにより物体の存在を検出した場合、対応するカメラで撮像した画像を選択的に表示し、運転者に危険を知らせる。
【０００７】
【特許文献１】特開２００１−１４０２８６号公報(第３〜５頁 図１〜図４)
【特許文献２】特開２００２−３２７４７０号公報(第３〜５頁 図１〜図４)
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、物体が検出されたエリアのカメラ画像を選択的に表示する特許文献２の装置では、作業現場に複数の作業員や構造物などが存在する場合、カメラによる画像を表示するだけでは、どの作業員または構造物が障害物として検出されたのかを判別することが困難であり、運転者の注意および判断を要し、作業効率の低下につながるおそれがあった。
【０００９】
また、実際の作業現場においては、作業機械の周囲で比較的危険度の低い位置に作業に必要な構造物が設置されている場合がある。この場合、特許文献２の装置では、特に危険の無い構造物も障害物として検出され、警報が出され、カメラ画像が表示されたままの状態となる。
【００１０】
その状態で作業を継続すると、そこに作業員が侵入してきて、真に危険な状況が発生しても、警報にもカメラ画像表示にも特に変化が生じないので、作業員の侵入を見落としてしまう可能性がある。
【００１１】
さらに、運転者が、運転室内モニタのカメラ画像を見て、危険な状況にあるか否かを判断する場合、カメラ画像を単に表示するだけでは、運転者が作業機械周辺全体を把握することが困難であり、フロント作業機が周囲のどの位置で作業しているか、どの程度の大きさおよび長さであるか、下部走行体がどの方向に位置しているかなどの確認が困難である。
【００１２】
その結果、監視範囲内に障害物が存在する場合、フロント作業機から障害物までの位置関係を瞬時に把握することが困難であり、フロント作業機の旋回可否の判断に時間が掛かり、作業効率の低下につながるおそれがあった。
【００１３】
本発明の目的は、作業機械と障害物との位置関係を容易かつ正確に把握でき、フロント作業機の旋回などの適否を瞬時に判断できるようにする作業機械周辺監視装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明は、上記目的を達成するために、作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、作業機械周辺を撮影するカメラと、作業機械周辺の障害物およびその位置を計測する障害物検出手段と、作業機械姿勢取込み手段からの情報に基づいて作業機械の姿勢および形状および作業範囲を描画する画像と、カメラで撮影された作業機械周辺の画像と、障害物検出手段で検出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、生成された画像を表示する表示手段とからなる作業機械周辺監視装置を提案する。
【００１５】
作業機械姿勢取込み手段からの情報に基づいてカメラで撮影された画像の傾きおよび回転を補正する画像位置補正手段をカメラと表示画像生成手段との間に設けることができる。
【００１６】
カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を表示画像生成手段の前に設ける。
【００１７】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラが死角方向を撮影している画像記憶手段に格納されている現在の画像とを合成する。
【００１８】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラで撮影し画像記憶手段に格納されている過去の画像とカメラが死角方向を撮影している現在の画像とを合成してもよい。
【００１９】
カメラで撮影された画像を作業機械の上方視点からの俯瞰画像に変換する俯瞰変換手段を表示画像生成手段の前に設ける。
【００２０】
カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を俯瞰変換手段と表示画像生成手段との間に設けることも可能である。
【００２１】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラが死角方向を撮影している画像記憶手段に格納されている現在の画像とを合成する。
【００２２】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラで撮影し画像記憶手段に格納されている過去の画像とカメラが死角方向を撮影している現在の画像とを合成してもよい。
【００２３】
本発明は、また、作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、作業機械周辺を撮影するカメラと、カメラで撮影された作業機械周辺の画像から作業機械周辺の障害物およびその位置を抽出する障害物検出手段と、作業機械姿勢取込み手段からの情報に基づいて作業機械の姿勢および形状および作業範囲を描画する画像と、カメラで撮影された作業機械周辺の画像と、障害物検出手段で抽出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、生成された画像を表示する表示手段とからなる作業機械周辺監視装置を提案する。
【発明の効果】
【００２４】
本発明によれば、作業機械周囲の監視範囲における障害物の存否および位置、フロント作業機の作業位置や大きさおよび長さ、下部走行体の位置などを運転者に提示するので、運転者は、作業機械と障害物との位置関係を一目で把握でき、フロント作業機の旋回の適否を的確かつ瞬時に判断でき、作業効率と安全性を高めることが可能になる。
【発明を実施するための最良の形態】
【００２５】
次に、図１〜図２４を参照して、本発明による作業機械周辺監視装置の実施例を説明する。
【実施例１】
【００２６】
図１は、本発明を適用すべき作業機械の一例として油圧ショベルを示す斜視図である。
【００２７】
油圧ショベルは、垂直方向にそれぞれ回動するブーム１ａ，アーム１ｂ，バケット１ｃからなる多関節型のフロント作業機１Ａと、上部旋回体１ｄおよび下部走行体１ｅからなる車体１Ｂとで構成される。上部旋回体１ｄには、運転室１ｆが搭載されている。フロント作業機１Ａのブーム１ａの基部は、上部旋回体１ｄの前部に支持されている。
【００２８】
ブーム１ａ，アーム１ｂ，バケット１ｃ，上部旋回体１ｄ，下部走行体１ｅは、油圧アクチュエータ３ａ，３ｂ，３ｃ，ここでは図示しない旋回モータ３ｄ，左右の走行モータ３ｅ，３ｆなどの各アクチュエータにより、それぞれ駆動される。ブーム１ａ，アーム１ｂ，バケット１ｃ，上部旋回体１ｄには、それぞれの回動角を検出する角度検出器８ａ，８ｂ，８ｃ，８ｄを備える。
【００２９】
図２は、図１の油圧ショベルの平面図である。
【００３０】
上部旋回体１ｄの上部には、車体１Ｂの右側方監視カメラ１３ａ，後方監視カメラ１３ｂが備えられ、監視範囲１２ａ，１２ｂを撮影する。点線１４は、フロント作業機１Ａの作業範囲を示している。作業員がフロント作業機１Ａの作業範囲に進入すると、フロント作業機１Ａと作業員とが衝突するおそれがある。
【００３１】
図３は、図１の油圧ショベルの上部旋回体１ｄが右に９０°旋回した状態を示す平面図である。
【００３２】
車体１Ｂのうち、旋回するのは、上部旋回体１ｄであり、下部走行体１ｅは、そのままの姿勢を保持している。 このように、上部旋回体１ｄが図２から図３の状態に旋回した場合、図２で撮影した映像が過去の情報となり、図３で撮影した映像が最新の情報となる。
【００３３】
図４は、油圧ショベルの作業現場の一例を示す斜視図である。
【００３４】
油圧ショベルには、運転手からは死角となる右側方を撮影するカメラ１３ａ，後方を撮影するカメラ１３ｂを設置し、油圧ショベルのフロント作業機１Ａの稼動範囲およびその周辺を監視する。フロント作業機１Ａは、上部旋回体１ｄの旋回に追随して回転する。また、柵９１〜柵９４の内側には、人物などの障害物４０，障害物４１が存在する。
【００３５】
車体１Ｂの周辺を監視するカメラは、撮影できる範囲が広ければ、後方を撮影するカメラ１３ｂだけでもよい。設置コストに余裕があれば、カメラ１３ａ，カメラ１３ｂに加えて、左側方を撮影するカメラ１３ｃも設置でき
る。油圧ショベルの右側方，後方，左側方前方に４台のカメラ１３ａ〜１３ｄを設置してあれば、現時点の作業現場の周囲全体が一度に撮影できる。
【００３６】
図５は、図４の油圧ショベルの作業現場の俯瞰画像を示す平面図である。
【００３７】
上部旋回体１ｄの上部には、車体１Ｂの右側方監視カメラ１３ａ，後方監視カメラ１３ｂが備えられ、監視範囲１２ａ，１２ｂを撮影する。
【００３８】
図６は、本発明による作業機械周囲監視装置の実施例１の系統構成を示すブロック図である。
【００３９】
本実施例の作業機械周囲監視装置は、画像入力手段１００と、歪み補正手段２００と、作業機械姿勢取込み手段３００と、画像位置補正手段４００と、俯瞰変換手段５００と、パノラマ合成手段６００と、障害物検出手段７００と、表示画像生成手段８００と、表示装置９００とを含む。
【００４０】
画像入力手段１００は、カメラ１３ａが監視対象シーン２０の対象物体４０を撮影した映像信号を格納し、カメラ１３ｂが監視対象シーン２１の対象物体４１を撮影した映像信号３２を格納する。
【００４１】
歪み補正手段２００は、画像周辺に歪が発生している場合、格納画像の歪みを補正する。歪みが無ければ、歪み補正手段２００の処理手順は省略してもよい。歪み補正手段２００は、例えば、特開２００６−５９２７０号の技術を用いると、実現できる。
【００４２】
作業機械姿勢取込み手段３００は、ブーム１ａ，アーム１ｂ，バケット１ｃの回動角を検出する角度検出器８ａ，８ｂ，８ｃ，８ｄからのデータを取り込み、フロント作業機１Ａの大きさおよび長さなどを算出し、上部旋回体１ｄの回動角を検出する角度検出器８ｄから、旋回の方向を算出して、フロント作業機１Ａの大きさおよび長さと上部旋回体１ｄの旋回方向とを決定する。
【００４３】
画像位置補正手段４００は、作業機械が稼動中のカメラ１３ａおよび１３ｂの画像が上部旋回体１ｄの姿勢データに応じて傾きや回転などの影響を受けているので、これらの傾きや回転などを補正した画像を作成する。
【００４４】
俯瞰変換手段５００は、画像位置補正手段４００で補正した画像を俯瞰画像に変換する。俯瞰変換手段５００は、例えば、特開２００６−４８４５１号の技術を用いると、実現できる。
【００４５】
パノラマ合成手段６００は、俯瞰画像を統合処理したパノラマ合成画像を作成する。
【００４６】
障害物検出手段７００は、障害物４０や障害物４１を障害物として検知する。障害物検出手段７００は、例えば、特開平６−３３３０４９号の技術を用いると、実現できる。
【００４７】
表示画像生成手段８００は、パノラマ合成手段６００で俯瞰変換したパノラマ画像に、障害物検出手段７００が検知した障害物の位置および距離と、作業機械姿勢取込み手段３００が算出したフロント作業機１Ａの大きさおよび長さと、下部走行体１ｅからの上部旋回体１ｄの旋回方向を反映した車体１Ｂをパノラマ画像の中央部に重畳させて表示画像を生成し、表示装置９００に出力する。
【００４８】
表示装置９００は、角度検出器８ａなどのデータを用いてフロント作業機１Ａの大きさおよび長さを算出し、車体１Ｂを中央にしてフロント作業機１Ａの算出値を反映させ、障害物４０や障害物４１の出現位置や距離を反映して重畳させたパノラマ画像を表示し、運転室１ｆの運転員１０００に提示する。
【００４９】
作業中の運転者１０００は、障害物存在時に機械と障害物との位置関係を一目で明瞭に把握でき、フロント作業機１Ａの旋回の適否を的確かつ瞬時に判断できるので、障害物を確実に回避し、作業効率を高めることが可能になる。
【００５０】
図７は、実施例１の作業機械姿勢取込み手段３００における処理手順を示すフローチャートである。
【００５１】
作業機械姿勢取込み手段３００は、ステップ３０１で、ブーム１ａの回動角を検出する角度検出器８ａの出力θ１を取り込み、ステップ３０２で、アーム１ｂの回動角を検出する角度検出器８ｂの出力θ２を取り込み、ステップ３０３で、バケット１ｃの回動角を検出する角度検出器８ｃの出力θ３を取り込み、ステップ３０４で、上部旋回体１ｄの回動角を検出する角度検出器８ｄの出力θ４を取り込む。
【００５２】
作業機械姿勢取込み手段３００は、ステップ３０５で、θ１，θ２，θ３，θ４からバケット１ｃの先端座標を算出し、ステップ３０６で、θ１，θ２，θ３を用いてフロント作業機１Ａの大きさおよび長さを算出し、θ４を用いて下部走行体１ｅからの上部旋回体１ｄの旋回方向方向を算出する。
【００５３】
その結果、作業機械姿勢取込み手段３００は、車体１Ｂにおけるフロント作業機１Ａの作業範囲１４、および、上部旋回体１ｄと下部走行体１ｅとの旋回方向の相対関係を算出し、作業機の旋回状態と旋回範囲などを決定する。
【００５４】
図８は、実施例１の画像位置補正手段４００における処理手順を示すフローチャートである。
【００５５】
画像位置補正手段４００は、作業機械姿勢取込み手段３００から取り込んだ上部旋回体１ｄの姿勢データに基づいて、ステップ４０１で、カメラ１３ａの現在の作業機械姿勢から傾き・回転を算出し、ステップ４０２で、カメラ１３ｂの現在の作業機械姿勢から傾き・回転を算出し、ステップ４０３で、カメラ１３ａの過去の作業機械姿勢から傾き・回転を算出し、ステップ４０４で、カメラ１３ａの過去の作業機械姿勢から傾き・回転を算出する。
【００５６】
次に、歪み補正手段２００で作成した画像を用いて、ステップ４０５で、カメラ１３ａの現在の右側方位置補正画像を作成し、ステップ４０６で、カメラ１３ａの現在の右側方位置補正画像を作成し、ステップ４０７で、カメラ１３ａの過去の右側方位置補正画像を作成し、ステップ４０８で、カメラ１３ｂの過去の後方位置補正画像を作成する。
【００５７】
図９は、図４の油圧ショベルの作業現場の全周囲をカメラで撮影した画像を示す図である。
【００５８】
油圧ショベルなどの作業機械を現場に移動させる際には、車体１Ｂの上部旋回体１ｄと下部走行体１ｅとが同一方向を向いて走行する。作業位置に達したら、下部走行体１ｅを固定し、上部旋回体１ｄを旋回させ、目的の作業を遂行する。
【００５９】
作業現場を旋回して一周すれば、上部旋回体１ｄの後方に設置したカメラ１３ｂは、作業現場を一周した映像を撮影できる。旋回体１ｄの後方にカメラ１３ｂのみを設置した場合、旋回体１ｄの後方の画像が現画像であり、それ以外の周辺方向の画像は、カメラ１３ｂが撮影した過去の映像となる。
【００６０】
油圧ショベルがある時刻に作業していた場合、右側方監視カメラ１３ａは右側方シーン２２、後方監視カメラ１３ｂは後方シーン２３を撮影する。次に、油圧ショベルが所定時間経過後に移動３０した場合、右側方監視カメラ１３ａは右側方シーン２０、後方監視カメラ１３ｂは後方シーン２１を撮影する。
【００６１】
シーン２０に障害物４０が存在し、シーン２１に障害物４１が存在する場合、障害物検出手段７００が障害物４０および４１を検出する時点では、撮影シーン２０およびシーン２１が現入力画像である。
【００６２】
したがって、障害物を検出した時点における油圧ショベルの作業現場の周囲全体のシーンは、現在の右側方シーン２０および後方シーン２１と、過去の右側方シーン２２および後方シーン２３を用いて作成できる。
【００６３】
カメラ１３が油圧ショベルの前方，後方，左側方，右側方の四方に設置してあれば、現在の作業現場の周囲全体が撮影される。一方、カメラ１３が油圧ショベルの後方のみ１台であれば、前方シーン，左側方シーン，右側方シーンは、過去の映像を用いて作業現場の周囲全体が作成できる。したがって、作業機械周辺全体の監視が可能になる。
【００６４】
通常、油圧ショベルなどの作業機械は、運転室１ｆで操作している運転員から前方および左側方の視野にある監視シーンの視界は良好であり目視でよく見える。
【００６５】
本実施例においては、運転員から死角にある右側方および後方にカメラ１３ａ，１３ｂを設置し、右側方および後方をカメラ１３で監視し、右側方および後方の現在の撮影シーンを表示する。
【００６６】
本実施例においては、運転員から死角にある右側方および後方にカメラ１３ａ，１３ｂを設置し、右側方および後方をカメラ１３で監視し、右側方および後方は現在の撮影シーンを表示し、前方および左側方の監視シーンには、過去の映像を用いてもよい。
【００６７】
運転員は、右側方および後方シーンを表示装置９００上の現在の画像で確認し、前方および左側方シーンは目視で確認すれば、監視周辺全体をリアルタイムで確認できる。
【００６８】
図１０は、右側方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【００６９】
シーン２０に対し、右側方監視カメラ１３ａを真上に移動した場合を想定すると、シーン２０は俯瞰画像２０ａとなり、障害物４０の監視シーンにおける出現位置が明白になる。
【００７０】
図１１は、後方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【００７１】
シーン２１に対し、後方監視カメラ１３ｂを真上に移動した場合を想定すると、シーン２１は俯瞰画像２１ａとなり、障害物４１の監視シーンにおける出現位置が明白になる。
【００７２】
図１２は、実施例１のパノラマ合成手段６００における処理手順を示すフローチャートである。
【００７３】
パノラマ合成手段６００は、ステップ６０１で、カメラ１３ａの現在の右側方俯瞰画像を読込み、ステップ６０２で、カメラ１３ｂの現在の後方俯瞰画像を読込んで、ステップ６０３で、読込んだ画像間で同一または類似パターンを探索し、その位置を算出する。ステップ６０４で、その位置の映像同士を重ねて現在のパノラマ画像を生成する。
【００７４】
パノラマ合成手段６００は、ステップ６０５で、カメラ１３ａの過去の右側方俯瞰画像を読込み、ステップ６０６で、カメラ１３ｂの過去の後方俯瞰画像を読込んで、ステップ６０７で、読込んだ画像間で同一または類似パターンを探索し、その位置を算出する。ステップ６０８で、その位置の映像同士を重ねて過去のパノラマ画像を生成する。
【００７５】
パノラマ合成手段６００は、ステップ６０９で、ステップ６０４で生成した現在のパノラマ画像とステップ６０８で生成した過去のパノラマ画像間で、同一または類似パターンを探索し、その位置を算出する。ステップ６１０で、ステップ６０９で算出した位置情報から、現在のパノラマ画像と過去のパノラマ画像同士を重ねて表示用パノラマ画像を生成する。
【００７６】
図１３は、パノラマ合成手段６００におけるパノラマ画像合成手順を説明する図である。
【００７７】
カメラ１３ａの右側方俯瞰画像２０とカメラ１３ｂの後方俯瞰画像２１において、画像２０のパターン５２０と画像２１のパターン５２１とは同一または類似のパターンなので、これらを重ね合わせると、現在のパノラマ画像５３０を生成できる。
【００７８】
次に、過去の右側方俯瞰画像２２と過去の後方俯瞰画像２３において、画像２２のパターン５２２と画像２３のパターン５２３とは同一または類似のパターンなので、これらを重ね合わせると、過去のパノラマ画像５３１を生成できる。
【００７９】
最後に、現在のパノラマ画像５３０と過去のパノラマ画像５３１において、パノラマ画像５３０のパターン５２４とパノラマ画像５３１のパターン５２５とは同一または類似のパターンなので、これらを重ね合わせると、表示用パノラマ画像５３２を生成できる。
【００８０】
マッチングの誤りを防止するには、パノラマ画像５３０のパターン５２６とパノラマ画像５３１のパターン５２７とが同一または類似のパターンであることを用いてもよい。
【００８１】
しかし、同一または類似のパターンが存在しない場合は、画像間で重ね合わせができないので、その部分は過去の映像で補間した画像を生成する。または、例えば真っ黒，真っ白などのままにして、その部分の画像が存在しないことを明示してもよい。
【００８２】
図１４は、パノラマ画像から障害物を検出する上記障害物検出手段７００に代えて障害物検出器を外付けする例を示す斜視図である。
【００８３】
パノラマ画像から障害物を検出する上記障害物検出手段７００に代えて、上部旋回体１ｄの右側面および後面に障害物検出器１０ａ，１０ｂを設置し、上部旋回体１ｄの左側面に障害物検出器１０ｃを設置してもよい。
【００８４】
障害物検出器１０ａ，１０ｂ，１０ｃは、周囲の作業員や構造物などの障害物を検出し、その距離と方向から障害物の位置を得る近接センサであり、例えば、レーザレーダなどである。
【００８５】
また、障害物検出器１０ｂ１台のみでもよい。その場合、上部旋回体１ｄの後方監視カメラ１３ｂも設置する。
【００８６】
上記実施例では、障害物検出手段７００として、画像処理装置５０によりカメラの画像から障害物を検出していた。本発明はカメラの画像を用いる方式には限定されない。車体１Ｂ周囲の障害物を検出する手段は、ミリ波レーダ，超音波センサ，赤外線センサなどの近接センサなどであれば利用できる。
【００８７】
上記実施例では、障害物検出器１０とカメラ１３を上部旋回体１ｄ側方と後方に１つずつ備えた例を示した。障害物検出器１０とカメラ１３の位置および数は、この実施例に限定されない。障害物検出器１０とカメラ１３は、側方のみ、後方のみに備えてもよいし、より多くの個所に搭載して、更に広範囲に監視してもよい。その場合は、表示装置９００内にカメラ画像領域を増やしてもよいし、または表示装置９００を複数設けてもよい。
【００８８】
図１５は、実施例１の表示画像生成手段８００における処理手順を示すフローチャートである。
【００８９】
表示画像生成手段８００は、ステップ８０１で、フロント作業機１Ａの大きさおよび長さから作業範囲１４を算出し、ステップ８０２で、フロント作業機１Ａの長さと下部走行体１ｅからの方向を用いて、フロント作業機１Ａを前にして、下部走行体１ｅとの位置関係を決定し、ステップ８０３で、車体１Ｂの描画データである俯瞰画像を作成する。
【００９０】
表示画像生成手段８００は、ステップ８０４で、障害物検知部７００の検出データを用いて、運転室１ｆと障害物４０および４１との距離データから、障害物４０および４１の位置を算出し、位置に描画する。
【００９１】
ステップ８０５で、車体１Ｂのフロント作業機１Ａを上部にして中央部に配置した画像と、監視範囲１２ａ，１２ｂと、障害物４０および４１とを重畳させた表示画像を生成し、表示装置９００に出力する。
【００９２】
運転室１ｆの運転員１０００は、このようにして生成され表示装置９００に表示される俯瞰画像によれば、自分が中心位置で前方を見ている状態で、障害物４０および４１の後方または右側方の存在位置を一目で認識でき、作業機械の旋回の可否を判断できる。
【００９３】
なお、障害物検知部７００が障害物４０および４１を検知した場合、表示装置９００に表示するとともに、運転員に音声で報知してもよい。また、旋回開始時点で、障害物が存在しているなどのアラームを出力したり、障害物の退去を音声で出力してもよい。
【００９４】
図１６は、表示装置９００に表示される作業機械周辺監視装置の画面例で障害物が検出された場合の画面例である。
【００９５】
カメラ１３ａ，１３が、監視対象シーン２０，２１の対象物体４０，４１を撮影すると、俯瞰変換手段５００が、撮影した映像信号を俯瞰変換し、パノラマ合成手段６００が、パノラマ画像を合成し、障害物検出手段７００が、障害物４０または４１を検知し、カメラ１３ａ，１３ｂから障害物４０，４1までの距離を算出する。
【００９６】
表示画像生成手段８００は、フロント作業機１Ａの作業範囲１４内に存在する障害物４０については、巻き込まれてしまうので、危険であることを明示し、作業範囲１４外に存在する障害物４１については、注意するように表示する。
【００９７】
監視カメラ１３ａ，１３ｂによる左側方および後方の映像は、上部旋回体１ｄが旋回した際に撮影した過去の映像である。そこで、前方の映像９１０および左側方の映像９１１が、過去の映像であることを示すように枠で囲み、枠内にｊ秒前の映像およびｉ秒前の映像などを明示する。
【００９８】
フロント作業機１Ａおよび車体１Ｂは、画面中央部に真上から見た俯瞰画像で表示する。上部旋回体１ｄおよびフロント作業機１Ａは、下部走行体１ｅの方向に関係なく、上方向になるように表示する。
【００９９】
すなわち、運転員が作業している車体１Ｂを中央部に配置し、車体１Ｂの周囲を取り囲むようにパノラマ合成した監視シーン，フロント作業機１Ａの作業範囲１４，障害物４０，４１までの距離４０ａ，４１ａを重畳させて表示する。表示装置９００には、これらの表示するとともに、警報音を発する手段を設けてもよい。
【０１００】
何も表示しないと、周辺監視装置が障害物の無いことを正常に検出しているのか、障害物があるにもかかわらず周辺監視装置が故障しているのか判断できないので、障害物が検出されない場合は、「障害物なし」というメッセージを積極的に表示してもよい。
【０１０１】
障害物が検出された場合、その内容を手動で確認できる再生９０２，停止９０３，コマ送り９０４，戻り９０５，拡大９０６，標準９０７の機能を備えてもよい。再生９０２は、映像を再生する機能、停止９０３は映像の再生を停止させる機能、コマ送り９０４は、１フレーム毎に再生させる機能、戻り９０５は、後戻りする機能、拡大９０６は、障害物を拡大表示する機能、標準９０７は、拡大表示した部分を標準表示に戻す機能である。
【０１０２】
これらの機能を駆使すれば、作業中の運転者１０００は、障害物の有無、作業機械と障害物との位置関係を一目で把握し、フロント作業機１Ａの旋回の適否を的確かつ瞬時に判断できるので、障害物を確実に回避し、作業効率および安全性を格段に高めることができる。さらに、拡大機能９０６を用いれば、障害物の詳細を確認ができる。
【０１０３】
図１７は、表示装置９００に表示される作業員周辺監視装置の画面例を示す図である。
【０１０４】
後方の映像および右側方の映像が現在の映像である。そこで、右側カメラ１３ａで撮影した映像９２０を表示し、後方カメラ１３ｂで撮影した映像９２１を表示する。右側カメラ１３ａおよび後方カメラ１３ｂのカメラの画角に起因して、カメラで撮影できない死角９１２が発生する場合がある。その場合は、死角９１２の領域を死角と明示する黒色などで補間したパノラマ画像を生成し、運転員の右側方および後方における映像を表示する。
【０１０５】
また、過去の映像は表示しないので、映像表示がないことがわかるように、空白９２２を表示してもよい。
【０１０６】
図１８は、表示装置９００に表示される作業機械周辺監視装置の画面例を示す図である。
【０１０７】
障害物４０が検知された場合、前方の映像および左側方の映像が過去の映像である。そこで、過去の時間経過に応じて表示画像を変化させ、ｎ秒前映像９１１ｂおよびｍ秒前映像９１０ｂを暗く表示する。ここでは、ｎ秒前映像９１１ｂがｍ秒前映像９１０ｂより時間を経過しているので、暗く表示している。時間経過に伴い信頼性が低下するとして暗く表示するなど、運転員の把握が容易な表示をすればよい。
【０１０８】
右側カメラ１３ａおよび後方カメラ１３ｂのカメラの画角に起因して、カメラで撮影できない死角９１２が発生する場合がある。その場合は、死角９１２の領域を過去に撮影した映像で補間し、死角の無いパノラマ画像を生成し、運転員の全周辺映像を表示する。
【０１０９】
図１９は、表示装置９００に表示される作業機械周辺監視装置の他の画面を示す図である。
【０１１０】
作業開始時には、前方の映像および左側方の映像が過去の映像であるので、この部分には映像を表示しないで、始業点検項目９２０を明示して運転員に点検項目を確認させる。
【０１１１】
図２０は、表示装置９００に表示される作業機械周辺監視装置の別の画面を示す図である。
【０１１２】
障害物検出器１０ｃが、監視範囲１２ａ，１２ｂの中に障害物４２を検出し、距離を計測する。この場合、左側方監視カメラを備えていないので、過去の映像９１１ｃに障害物４２を重畳させて表示する。この方式では、監視カメラの設置台数を削減できる。
【０１１３】
図２１は、表示装置９００に表示される作業機械周辺監視装置の更に他の画面例を示す図である。
【０１１４】
前方の映像および左側方の映像は過去の映像であるから、９１０ｄおよび９１１ｄの部分には映像を表示しないで、車体１Ｂの状態である油圧ポンプ状態９３０などを表示して、運転員に車体１Ｂ状態を把握させる。このとき、車体１Ｂ状態の正常上限９４０も明示してもよい。
【実施例２】
【０１１５】
図２２は、本発明による作業機械周囲監視装置の実施例２の系統構成を示すブロック図である。
【０１１６】
本実施例２においては、車体１Ｂの上部旋回体１ｄに方向センサ８ｅを設置してある方向センサ８ｅは、上部旋回体１ｄの回動角を検出する角度検出器８ｄを備えていない場合に用いるセンサであり、上部旋回体１ｄと下部走行体１ｅとにおいてその方向の回動角の差分を検出する。
【０１１７】
作業機械方向の取込み手段およびフロント作業機の長さ方向決定手段３５０は、方向センサ８ｅが、上部旋回体１ｄの方向を検出する方向データを取り込んで下部走行体１ｅと方向の回動角の差分を検出し、フロント作業機１Ａの最長の大きさおよび長さを決定する。下部走行体１ｅは、常に固定(前方)を向いているとしてもよい。
【０１１８】
表示画像生成手段８００は、パノラマ合成手段６００で俯瞰変換したパノラマ画像に、障害物検出手段７００が検知した障害物の位置と、作業機械方向の取込み手段およびフロント作業機の長さ方向決定手段３５０が決定したフロント作業機１Ａの大きさおよび長さと、下部走行体１ｅからの上部旋回体１ｄの旋回方向を反映した車体１Ｂとをパノラマ画像の中央部に重畳させ、表示画像を生成し、表示装置９００に表示させ、運転室１ｆの運転員１０００に提示する。
【０１１９】
作業中の運転者は、障害物存在時に機械と障害物との位置関係を一目で把握でき、フロント作業機１Ａの旋回の適否判断を的確かつ瞬時に判断できるので、障害物を確実に回避し、作業効率を高めることが可能になる。
【０１２０】
図２３は、実施例２の作業機械方向取込み手段およびフロント作業機の長さ方向決定手段３５０における処理手順を示すフローチャートである。
【０１２１】
作業機械方向取込み手段およびフロント作業機の長さ方向決定手段３５０は、上部旋回体１ｄの方向を検出する方向データ取込み手順とフロント作業機１Ａの大きさおよび長さを決定する手順とを含んでいる。
【０１２２】
ステップ７５１で、上部旋回体１ｄと下部走行体１ｅとにおいてその回動角の差分を検出する方向センサ８ｅのデータθ５を取り込む。ステップ７５２で、下部走行体１ｅの方向を固定(前方方向)として、θ５から上部旋回体１ｄと下部走行体１ｅとの相対角度を算出する。ステップ７５３で、フロント作業機１Ａの長さを最長の固定値として決定する。
【０１２３】
ステップ７５２，７５３の結果に基づいて、ステップ７０４で、フロント作業機１Ａの大きさおよび長さと、下部走行体１ｅから上部旋回体１ｄの旋回方向を算出する。
【０１２４】
したがって、車体１Ｂにおけるフロント作業機１Ａの作業範囲、および、上部旋回体１ｄと下部走行体１ｅの旋回方向の相対関係を算出し、作業機の旋回状態および旋回範囲などを決定できる。
【実施例３】
【０１２５】
図２４は、本発明による作業機械周囲監視装置の実施例３の外観を示す斜視図である。
【０１２６】
本実施例３においては、カメラよりも障害物検出器を多く設置してある。すなわち、上部旋回体１ｄの上部には、車体１Ｂの後方監視カメラ１３ｂに対応して障害物検出器１０ｂが備えられている。また、車体１Ｂの左側方に障害物検出器１０ｃを備えている。障害物検出器１０ｂおよび１０ｃは、ミリ波レーダ，超音波センサ，赤外線センサなどの近接センサである。
【０１２７】
上記実施例では、障害物検出手段７００とカメラとを上部旋回体１ｄの側方および後方に１つずつ備えた例を示した。カメラおよび障害物検出手段７００は、側方のみまたは後方のみに備えてもよいし、より多くの個所に搭載して更に広範囲に監視してもよい。その場合は、１つの表示装置９００内にカメラ画像領域を増やしてもよいし、複数の表示装置９００を設けてもよい。
【０１２８】
また、上記実施例では、障害物検出手段７００が障害物を検出した場合のみカメラ画像を表示する構成とした。小規模な道路工事現場などでは、作業機械の近傍で作業員やその他の機械が何らかの作業に常に従事している場合もある。この場合、障害物検出手段７００による障害物検出によりカメラ画像の表示・非表示が切り替わる構成では、画面が頻繁に変化し、運転者に余計なストレスを感じさせ、安全性の面から逆効果となるおそれもある。このような現場では、障害物検出手段７００による障害物検出の有無にかかわらず、カメラ画像を常時表示してもよい。
【図面の簡単な説明】
【０１２９】
【図１】本発明を適用すべき作業機械の一例として油圧ショベルを示す斜視図である。
【図２】図１の油圧ショベルの平面図である。
【図３】図１の油圧ショベルの上部旋回体１ｄが右に９０°旋回した状態を示す平面図である。
【図４】油圧ショベルの作業現場の一例を示す斜視図である。
【図５】図４の油圧ショベルの作業現場の俯瞰画像を示す平面図である。
【図６】本発明による作業機械周囲監視装置の実施例１の系統構成を示すブロック図である。
【図７】実施例１の作業機械姿勢取込み手段３００における処理手順を示すフローチャートである。
【図８】実施例１の画像位置補正手段４００における処理手順を示すフローチャートである。
【図９】図４の油圧ショベルの作業現場の全周囲をカメラで撮影した画像を示す図である。
【図１０】右側方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【図１１】後方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【図１２】実施例１のパノラマ合成手段６００における処理手順を示すフローチャートである。
【図１３】パノラマ合成手段におけるパノラマ画像合成手順を説明する図である。
【図１４】パノラマ画像から障害物を検出する上記障害物検出手段７００に代えて障害物検出器を外付けする例を示す斜視図である。
【図１５】実施例１の表示画像生成手段８００における処理手順を示すフローチャートである。
【図１６】表示装置９００に表示される作業機械周辺監視装置の画面例で障害物が検出された場合の画面例である。
【図１７】表示装置９００に表示される作業機械周辺監視装置の画面例を示す図である。
【図１８】表示装置９００に表示される作業機械周辺監視装置の画面例を示す図である。
【図１９】表示装置９００に表示される作業機械周辺監視装置の画面例で障害物が検出された場合の画面例である。
【図２０】表示装置９００に表示される作業機械周辺監視装置の別の画面を示す図である。
【図２１】表示装置９００に表示される作業機械周辺監視装置の更に他の画面例を示す図である。
【図２２】本発明による作業機械周囲監視装置の実施例２の系統構成を示すブロック図である。
【図２３】実施例２の作業機械方向取込み手段およびフロント作業機の長さ方向決定手段３５０における処理手順を示すフローチャートである。
【図２４】本発明による作業機械周囲監視装置の実施例３の外観を示す斜視図である。
【符号の説明】
【０１３０】
１Ａ フロント作業機
１Ｂ 車体
１ａ ブーム
１ｂ アーム
１ｃ バケット
１ｄ 上部旋回体
１ｅ 下部走行体
１ｆ 運転室
３ａ，３ｂ，３ｃ 油圧アクチュエータ
３ｅ，３ｆ 走行モータ
８ａ，８ｂ，８ｃ，８ｄ 角度検出器
８ｅ 方向センサ
１０ａ，１０ｂ，１０ｃ 障害物検出器
１２ａ，１２ｂ カメラの監視範囲
１３ａ，１３ｂ カメラ
１４ 作業範囲
２０ 現在の右側方シーン
２１ 現在の後方シーン
２２ 過去の右側方シーン
２３ 過去の後方シーン
４０，４１ 作業員または障害物
５０ 画像処理装置
９１〜９４ 柵
１００ 画像入力手段
２００ 歪み補正手段
３００ 作業機械姿勢取込み手段
３５０ 作業機械方向の取込み手段およびフロント作業機の長さ方向決定手段
４００ 画像位置補正手段
５００ 俯瞰変換手段
６００ パノラマ合成手段
７００ 障害物検出手段
８００ 表示画像生成手段
９００ 表示装置
【技術分野】
【０００１】
本発明は、作業機械周囲の障害物を監視する作業機械周辺監視装置に係り、特に、作業機械と障害物との位置関係を容易かつ正確に把握でき、フロント作業機の旋回などの適否を瞬時に判断できるようにする周囲情報提示手段に関する。
【背景技術】
【０００２】
油圧ショベルなどの作業機械と周囲の作業員などとの接触事故を防止するために、作業機械の監視カメラシステムが提案されている(例えば、特許文献１参照)。
【０００３】
この監視カメラシステムにおいては、作業機械の側方カメラ画像と後方カメラ画像の鏡像とを運転室内モニタに表示している。表示されるカメラ画像は、運転操作に応じて切り換わる。
【０００４】
しかし、この種装置の場合、運転者が、運転室内でモニタのカメラ画像を見て、危険な状況にあるか否かを判断しなければならず、運転者の負担となる場合があった。
【０００５】
そこで、カメラの他に、近接センサなどの障害物検出手段を搭載し、障害物検出時には、カメラ画像を運転室１ｆ内モニタに表示し、運転者に危険を知らせる監視装置が提案されている(例えば、特許文献２参照)。
【０００６】
この装置は、複数の近接センサに対応して各近接センサの検出エリアを撮像するカメラを設け、いずれかの近接センサにより物体の存在を検出した場合、対応するカメラで撮像した画像を選択的に表示し、運転者に危険を知らせる。
【０００７】
【特許文献１】特開２００１−１４０２８６号公報(第３〜５頁 図１〜図４)
【特許文献２】特開２００２−３２７４７０号公報(第３〜５頁 図１〜図４)
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、物体が検出されたエリアのカメラ画像を選択的に表示する特許文献２の装置では、作業現場に複数の作業員や構造物などが存在する場合、カメラによる画像を表示するだけでは、どの作業員または構造物が障害物として検出されたのかを判別することが困難であり、運転者の注意および判断を要し、作業効率の低下につながるおそれがあった。
【０００９】
また、実際の作業現場においては、作業機械の周囲で比較的危険度の低い位置に作業に必要な構造物が設置されている場合がある。この場合、特許文献２の装置では、特に危険の無い構造物も障害物として検出され、警報が出され、カメラ画像が表示されたままの状態となる。
【００１０】
その状態で作業を継続すると、そこに作業員が侵入してきて、真に危険な状況が発生しても、警報にもカメラ画像表示にも特に変化が生じないので、作業員の侵入を見落としてしまう可能性がある。
【００１１】
さらに、運転者が、運転室内モニタのカメラ画像を見て、危険な状況にあるか否かを判断する場合、カメラ画像を単に表示するだけでは、運転者が作業機械周辺全体を把握することが困難であり、フロント作業機が周囲のどの位置で作業しているか、どの程度の大きさおよび長さであるか、下部走行体がどの方向に位置しているかなどの確認が困難である。
【００１２】
その結果、監視範囲内に障害物が存在する場合、フロント作業機から障害物までの位置関係を瞬時に把握することが困難であり、フロント作業機の旋回可否の判断に時間が掛かり、作業効率の低下につながるおそれがあった。
【００１３】
本発明の目的は、作業機械と障害物との位置関係を容易かつ正確に把握でき、フロント作業機の旋回などの適否を瞬時に判断できるようにする作業機械周辺監視装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明は、上記目的を達成するために、作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、作業機械周辺を撮影するカメラと、作業機械周辺の障害物およびその位置を計測する障害物検出手段と、作業機械姿勢取込み手段からの情報に基づいて作業機械の姿勢および形状および作業範囲を描画する画像と、カメラで撮影された作業機械周辺の画像と、障害物検出手段で検出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、生成された画像を表示する表示手段とからなる作業機械周辺監視装置を提案する。
【００１５】
作業機械姿勢取込み手段からの情報に基づいてカメラで撮影された画像の傾きおよび回転を補正する画像位置補正手段をカメラと表示画像生成手段との間に設けることができる。
【００１６】
カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を表示画像生成手段の前に設ける。
【００１７】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラが死角方向を撮影している画像記憶手段に格納されている現在の画像とを合成する。
【００１８】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラで撮影し画像記憶手段に格納されている過去の画像とカメラが死角方向を撮影している現在の画像とを合成してもよい。
【００１９】
カメラで撮影された画像を作業機械の上方視点からの俯瞰画像に変換する俯瞰変換手段を表示画像生成手段の前に設ける。
【００２０】
カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を俯瞰変換手段と表示画像生成手段との間に設けることも可能である。
【００２１】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラが死角方向を撮影している画像記憶手段に格納されている現在の画像とを合成する。
【００２２】
一度に撮影できる範囲が全周に達しないカメラが運転者の死角方向に配置されている場合は、カメラで撮影された画像を格納する画像記憶手段を備え、パノラマ合成手段が、カメラで撮影し画像記憶手段に格納されている過去の画像とカメラが死角方向を撮影している現在の画像とを合成してもよい。
【００２３】
本発明は、また、作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、作業機械周辺を撮影するカメラと、カメラで撮影された作業機械周辺の画像から作業機械周辺の障害物およびその位置を抽出する障害物検出手段と、作業機械姿勢取込み手段からの情報に基づいて作業機械の姿勢および形状および作業範囲を描画する画像と、カメラで撮影された作業機械周辺の画像と、障害物検出手段で抽出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、生成された画像を表示する表示手段とからなる作業機械周辺監視装置を提案する。
【発明の効果】
【００２４】
本発明によれば、作業機械周囲の監視範囲における障害物の存否および位置、フロント作業機の作業位置や大きさおよび長さ、下部走行体の位置などを運転者に提示するので、運転者は、作業機械と障害物との位置関係を一目で把握でき、フロント作業機の旋回の適否を的確かつ瞬時に判断でき、作業効率と安全性を高めることが可能になる。
【発明を実施するための最良の形態】
【００２５】
次に、図１〜図２４を参照して、本発明による作業機械周辺監視装置の実施例を説明する。
【実施例１】
【００２６】
図１は、本発明を適用すべき作業機械の一例として油圧ショベルを示す斜視図である。
【００２７】
油圧ショベルは、垂直方向にそれぞれ回動するブーム１ａ，アーム１ｂ，バケット１ｃからなる多関節型のフロント作業機１Ａと、上部旋回体１ｄおよび下部走行体１ｅからなる車体１Ｂとで構成される。上部旋回体１ｄには、運転室１ｆが搭載されている。フロント作業機１Ａのブーム１ａの基部は、上部旋回体１ｄの前部に支持されている。
【００２８】
ブーム１ａ，アーム１ｂ，バケット１ｃ，上部旋回体１ｄ，下部走行体１ｅは、油圧アクチュエータ３ａ，３ｂ，３ｃ，ここでは図示しない旋回モータ３ｄ，左右の走行モータ３ｅ，３ｆなどの各アクチュエータにより、それぞれ駆動される。ブーム１ａ，アーム１ｂ，バケット１ｃ，上部旋回体１ｄには、それぞれの回動角を検出する角度検出器８ａ，８ｂ，８ｃ，８ｄを備える。
【００２９】
図２は、図１の油圧ショベルの平面図である。
【００３０】
上部旋回体１ｄの上部には、車体１Ｂの右側方監視カメラ１３ａ，後方監視カメラ１３ｂが備えられ、監視範囲１２ａ，１２ｂを撮影する。点線１４は、フロント作業機１Ａの作業範囲を示している。作業員がフロント作業機１Ａの作業範囲に進入すると、フロント作業機１Ａと作業員とが衝突するおそれがある。
【００３１】
図３は、図１の油圧ショベルの上部旋回体１ｄが右に９０°旋回した状態を示す平面図である。
【００３２】
車体１Ｂのうち、旋回するのは、上部旋回体１ｄであり、下部走行体１ｅは、そのままの姿勢を保持している。 このように、上部旋回体１ｄが図２から図３の状態に旋回した場合、図２で撮影した映像が過去の情報となり、図３で撮影した映像が最新の情報となる。
【００３３】
図４は、油圧ショベルの作業現場の一例を示す斜視図である。
【００３４】
油圧ショベルには、運転手からは死角となる右側方を撮影するカメラ１３ａ，後方を撮影するカメラ１３ｂを設置し、油圧ショベルのフロント作業機１Ａの稼動範囲およびその周辺を監視する。フロント作業機１Ａは、上部旋回体１ｄの旋回に追随して回転する。また、柵９１〜柵９４の内側には、人物などの障害物４０，障害物４１が存在する。
【００３５】
車体１Ｂの周辺を監視するカメラは、撮影できる範囲が広ければ、後方を撮影するカメラ１３ｂだけでもよい。設置コストに余裕があれば、カメラ１３ａ，カメラ１３ｂに加えて、左側方を撮影するカメラ１３ｃも設置でき
る。油圧ショベルの右側方，後方，左側方前方に４台のカメラ１３ａ〜１３ｄを設置してあれば、現時点の作業現場の周囲全体が一度に撮影できる。
【００３６】
図５は、図４の油圧ショベルの作業現場の俯瞰画像を示す平面図である。
【００３７】
上部旋回体１ｄの上部には、車体１Ｂの右側方監視カメラ１３ａ，後方監視カメラ１３ｂが備えられ、監視範囲１２ａ，１２ｂを撮影する。
【００３８】
図６は、本発明による作業機械周囲監視装置の実施例１の系統構成を示すブロック図である。
【００３９】
本実施例の作業機械周囲監視装置は、画像入力手段１００と、歪み補正手段２００と、作業機械姿勢取込み手段３００と、画像位置補正手段４００と、俯瞰変換手段５００と、パノラマ合成手段６００と、障害物検出手段７００と、表示画像生成手段８００と、表示装置９００とを含む。
【００４０】
画像入力手段１００は、カメラ１３ａが監視対象シーン２０の対象物体４０を撮影した映像信号を格納し、カメラ１３ｂが監視対象シーン２１の対象物体４１を撮影した映像信号３２を格納する。
【００４１】
歪み補正手段２００は、画像周辺に歪が発生している場合、格納画像の歪みを補正する。歪みが無ければ、歪み補正手段２００の処理手順は省略してもよい。歪み補正手段２００は、例えば、特開２００６−５９２７０号の技術を用いると、実現できる。
【００４２】
作業機械姿勢取込み手段３００は、ブーム１ａ，アーム１ｂ，バケット１ｃの回動角を検出する角度検出器８ａ，８ｂ，８ｃ，８ｄからのデータを取り込み、フロント作業機１Ａの大きさおよび長さなどを算出し、上部旋回体１ｄの回動角を検出する角度検出器８ｄから、旋回の方向を算出して、フロント作業機１Ａの大きさおよび長さと上部旋回体１ｄの旋回方向とを決定する。
【００４３】
画像位置補正手段４００は、作業機械が稼動中のカメラ１３ａおよび１３ｂの画像が上部旋回体１ｄの姿勢データに応じて傾きや回転などの影響を受けているので、これらの傾きや回転などを補正した画像を作成する。
【００４４】
俯瞰変換手段５００は、画像位置補正手段４００で補正した画像を俯瞰画像に変換する。俯瞰変換手段５００は、例えば、特開２００６−４８４５１号の技術を用いると、実現できる。
【００４５】
パノラマ合成手段６００は、俯瞰画像を統合処理したパノラマ合成画像を作成する。
【００４６】
障害物検出手段７００は、障害物４０や障害物４１を障害物として検知する。障害物検出手段７００は、例えば、特開平６−３３３０４９号の技術を用いると、実現できる。
【００４７】
表示画像生成手段８００は、パノラマ合成手段６００で俯瞰変換したパノラマ画像に、障害物検出手段７００が検知した障害物の位置および距離と、作業機械姿勢取込み手段３００が算出したフロント作業機１Ａの大きさおよび長さと、下部走行体１ｅからの上部旋回体１ｄの旋回方向を反映した車体１Ｂをパノラマ画像の中央部に重畳させて表示画像を生成し、表示装置９００に出力する。
【００４８】
表示装置９００は、角度検出器８ａなどのデータを用いてフロント作業機１Ａの大きさおよび長さを算出し、車体１Ｂを中央にしてフロント作業機１Ａの算出値を反映させ、障害物４０や障害物４１の出現位置や距離を反映して重畳させたパノラマ画像を表示し、運転室１ｆの運転員１０００に提示する。
【００４９】
作業中の運転者１０００は、障害物存在時に機械と障害物との位置関係を一目で明瞭に把握でき、フロント作業機１Ａの旋回の適否を的確かつ瞬時に判断できるので、障害物を確実に回避し、作業効率を高めることが可能になる。
【００５０】
図７は、実施例１の作業機械姿勢取込み手段３００における処理手順を示すフローチャートである。
【００５１】
作業機械姿勢取込み手段３００は、ステップ３０１で、ブーム１ａの回動角を検出する角度検出器８ａの出力θ１を取り込み、ステップ３０２で、アーム１ｂの回動角を検出する角度検出器８ｂの出力θ２を取り込み、ステップ３０３で、バケット１ｃの回動角を検出する角度検出器８ｃの出力θ３を取り込み、ステップ３０４で、上部旋回体１ｄの回動角を検出する角度検出器８ｄの出力θ４を取り込む。
【００５２】
作業機械姿勢取込み手段３００は、ステップ３０５で、θ１，θ２，θ３，θ４からバケット１ｃの先端座標を算出し、ステップ３０６で、θ１，θ２，θ３を用いてフロント作業機１Ａの大きさおよび長さを算出し、θ４を用いて下部走行体１ｅからの上部旋回体１ｄの旋回方向方向を算出する。
【００５３】
その結果、作業機械姿勢取込み手段３００は、車体１Ｂにおけるフロント作業機１Ａの作業範囲１４、および、上部旋回体１ｄと下部走行体１ｅとの旋回方向の相対関係を算出し、作業機の旋回状態と旋回範囲などを決定する。
【００５４】
図８は、実施例１の画像位置補正手段４００における処理手順を示すフローチャートである。
【００５５】
画像位置補正手段４００は、作業機械姿勢取込み手段３００から取り込んだ上部旋回体１ｄの姿勢データに基づいて、ステップ４０１で、カメラ１３ａの現在の作業機械姿勢から傾き・回転を算出し、ステップ４０２で、カメラ１３ｂの現在の作業機械姿勢から傾き・回転を算出し、ステップ４０３で、カメラ１３ａの過去の作業機械姿勢から傾き・回転を算出し、ステップ４０４で、カメラ１３ａの過去の作業機械姿勢から傾き・回転を算出する。
【００５６】
次に、歪み補正手段２００で作成した画像を用いて、ステップ４０５で、カメラ１３ａの現在の右側方位置補正画像を作成し、ステップ４０６で、カメラ１３ａの現在の右側方位置補正画像を作成し、ステップ４０７で、カメラ１３ａの過去の右側方位置補正画像を作成し、ステップ４０８で、カメラ１３ｂの過去の後方位置補正画像を作成する。
【００５７】
図９は、図４の油圧ショベルの作業現場の全周囲をカメラで撮影した画像を示す図である。
【００５８】
油圧ショベルなどの作業機械を現場に移動させる際には、車体１Ｂの上部旋回体１ｄと下部走行体１ｅとが同一方向を向いて走行する。作業位置に達したら、下部走行体１ｅを固定し、上部旋回体１ｄを旋回させ、目的の作業を遂行する。
【００５９】
作業現場を旋回して一周すれば、上部旋回体１ｄの後方に設置したカメラ１３ｂは、作業現場を一周した映像を撮影できる。旋回体１ｄの後方にカメラ１３ｂのみを設置した場合、旋回体１ｄの後方の画像が現画像であり、それ以外の周辺方向の画像は、カメラ１３ｂが撮影した過去の映像となる。
【００６０】
油圧ショベルがある時刻に作業していた場合、右側方監視カメラ１３ａは右側方シーン２２、後方監視カメラ１３ｂは後方シーン２３を撮影する。次に、油圧ショベルが所定時間経過後に移動３０した場合、右側方監視カメラ１３ａは右側方シーン２０、後方監視カメラ１３ｂは後方シーン２１を撮影する。
【００６１】
シーン２０に障害物４０が存在し、シーン２１に障害物４１が存在する場合、障害物検出手段７００が障害物４０および４１を検出する時点では、撮影シーン２０およびシーン２１が現入力画像である。
【００６２】
したがって、障害物を検出した時点における油圧ショベルの作業現場の周囲全体のシーンは、現在の右側方シーン２０および後方シーン２１と、過去の右側方シーン２２および後方シーン２３を用いて作成できる。
【００６３】
カメラ１３が油圧ショベルの前方，後方，左側方，右側方の四方に設置してあれば、現在の作業現場の周囲全体が撮影される。一方、カメラ１３が油圧ショベルの後方のみ１台であれば、前方シーン，左側方シーン，右側方シーンは、過去の映像を用いて作業現場の周囲全体が作成できる。したがって、作業機械周辺全体の監視が可能になる。
【００６４】
通常、油圧ショベルなどの作業機械は、運転室１ｆで操作している運転員から前方および左側方の視野にある監視シーンの視界は良好であり目視でよく見える。
【００６５】
本実施例においては、運転員から死角にある右側方および後方にカメラ１３ａ，１３ｂを設置し、右側方および後方をカメラ１３で監視し、右側方および後方の現在の撮影シーンを表示する。
【００６６】
本実施例においては、運転員から死角にある右側方および後方にカメラ１３ａ，１３ｂを設置し、右側方および後方をカメラ１３で監視し、右側方および後方は現在の撮影シーンを表示し、前方および左側方の監視シーンには、過去の映像を用いてもよい。
【００６７】
運転員は、右側方および後方シーンを表示装置９００上の現在の画像で確認し、前方および左側方シーンは目視で確認すれば、監視周辺全体をリアルタイムで確認できる。
【００６８】
図１０は、右側方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【００６９】
シーン２０に対し、右側方監視カメラ１３ａを真上に移動した場合を想定すると、シーン２０は俯瞰画像２０ａとなり、障害物４０の監視シーンにおける出現位置が明白になる。
【００７０】
図１１は、後方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【００７１】
シーン２１に対し、後方監視カメラ１３ｂを真上に移動した場合を想定すると、シーン２１は俯瞰画像２１ａとなり、障害物４１の監視シーンにおける出現位置が明白になる。
【００７２】
図１２は、実施例１のパノラマ合成手段６００における処理手順を示すフローチャートである。
【００７３】
パノラマ合成手段６００は、ステップ６０１で、カメラ１３ａの現在の右側方俯瞰画像を読込み、ステップ６０２で、カメラ１３ｂの現在の後方俯瞰画像を読込んで、ステップ６０３で、読込んだ画像間で同一または類似パターンを探索し、その位置を算出する。ステップ６０４で、その位置の映像同士を重ねて現在のパノラマ画像を生成する。
【００７４】
パノラマ合成手段６００は、ステップ６０５で、カメラ１３ａの過去の右側方俯瞰画像を読込み、ステップ６０６で、カメラ１３ｂの過去の後方俯瞰画像を読込んで、ステップ６０７で、読込んだ画像間で同一または類似パターンを探索し、その位置を算出する。ステップ６０８で、その位置の映像同士を重ねて過去のパノラマ画像を生成する。
【００７５】
パノラマ合成手段６００は、ステップ６０９で、ステップ６０４で生成した現在のパノラマ画像とステップ６０８で生成した過去のパノラマ画像間で、同一または類似パターンを探索し、その位置を算出する。ステップ６１０で、ステップ６０９で算出した位置情報から、現在のパノラマ画像と過去のパノラマ画像同士を重ねて表示用パノラマ画像を生成する。
【００７６】
図１３は、パノラマ合成手段６００におけるパノラマ画像合成手順を説明する図である。
【００７７】
カメラ１３ａの右側方俯瞰画像２０とカメラ１３ｂの後方俯瞰画像２１において、画像２０のパターン５２０と画像２１のパターン５２１とは同一または類似のパターンなので、これらを重ね合わせると、現在のパノラマ画像５３０を生成できる。
【００７８】
次に、過去の右側方俯瞰画像２２と過去の後方俯瞰画像２３において、画像２２のパターン５２２と画像２３のパターン５２３とは同一または類似のパターンなので、これらを重ね合わせると、過去のパノラマ画像５３１を生成できる。
【００７９】
最後に、現在のパノラマ画像５３０と過去のパノラマ画像５３１において、パノラマ画像５３０のパターン５２４とパノラマ画像５３１のパターン５２５とは同一または類似のパターンなので、これらを重ね合わせると、表示用パノラマ画像５３２を生成できる。
【００８０】
マッチングの誤りを防止するには、パノラマ画像５３０のパターン５２６とパノラマ画像５３１のパターン５２７とが同一または類似のパターンであることを用いてもよい。
【００８１】
しかし、同一または類似のパターンが存在しない場合は、画像間で重ね合わせができないので、その部分は過去の映像で補間した画像を生成する。または、例えば真っ黒，真っ白などのままにして、その部分の画像が存在しないことを明示してもよい。
【００８２】
図１４は、パノラマ画像から障害物を検出する上記障害物検出手段７００に代えて障害物検出器を外付けする例を示す斜視図である。
【００８３】
パノラマ画像から障害物を検出する上記障害物検出手段７００に代えて、上部旋回体１ｄの右側面および後面に障害物検出器１０ａ，１０ｂを設置し、上部旋回体１ｄの左側面に障害物検出器１０ｃを設置してもよい。
【００８４】
障害物検出器１０ａ，１０ｂ，１０ｃは、周囲の作業員や構造物などの障害物を検出し、その距離と方向から障害物の位置を得る近接センサであり、例えば、レーザレーダなどである。
【００８５】
また、障害物検出器１０ｂ１台のみでもよい。その場合、上部旋回体１ｄの後方監視カメラ１３ｂも設置する。
【００８６】
上記実施例では、障害物検出手段７００として、画像処理装置５０によりカメラの画像から障害物を検出していた。本発明はカメラの画像を用いる方式には限定されない。車体１Ｂ周囲の障害物を検出する手段は、ミリ波レーダ，超音波センサ，赤外線センサなどの近接センサなどであれば利用できる。
【００８７】
上記実施例では、障害物検出器１０とカメラ１３を上部旋回体１ｄ側方と後方に１つずつ備えた例を示した。障害物検出器１０とカメラ１３の位置および数は、この実施例に限定されない。障害物検出器１０とカメラ１３は、側方のみ、後方のみに備えてもよいし、より多くの個所に搭載して、更に広範囲に監視してもよい。その場合は、表示装置９００内にカメラ画像領域を増やしてもよいし、または表示装置９００を複数設けてもよい。
【００８８】
図１５は、実施例１の表示画像生成手段８００における処理手順を示すフローチャートである。
【００８９】
表示画像生成手段８００は、ステップ８０１で、フロント作業機１Ａの大きさおよび長さから作業範囲１４を算出し、ステップ８０２で、フロント作業機１Ａの長さと下部走行体１ｅからの方向を用いて、フロント作業機１Ａを前にして、下部走行体１ｅとの位置関係を決定し、ステップ８０３で、車体１Ｂの描画データである俯瞰画像を作成する。
【００９０】
表示画像生成手段８００は、ステップ８０４で、障害物検知部７００の検出データを用いて、運転室１ｆと障害物４０および４１との距離データから、障害物４０および４１の位置を算出し、位置に描画する。
【００９１】
ステップ８０５で、車体１Ｂのフロント作業機１Ａを上部にして中央部に配置した画像と、監視範囲１２ａ，１２ｂと、障害物４０および４１とを重畳させた表示画像を生成し、表示装置９００に出力する。
【００９２】
運転室１ｆの運転員１０００は、このようにして生成され表示装置９００に表示される俯瞰画像によれば、自分が中心位置で前方を見ている状態で、障害物４０および４１の後方または右側方の存在位置を一目で認識でき、作業機械の旋回の可否を判断できる。
【００９３】
なお、障害物検知部７００が障害物４０および４１を検知した場合、表示装置９００に表示するとともに、運転員に音声で報知してもよい。また、旋回開始時点で、障害物が存在しているなどのアラームを出力したり、障害物の退去を音声で出力してもよい。
【００９４】
図１６は、表示装置９００に表示される作業機械周辺監視装置の画面例で障害物が検出された場合の画面例である。
【００９５】
カメラ１３ａ，１３が、監視対象シーン２０，２１の対象物体４０，４１を撮影すると、俯瞰変換手段５００が、撮影した映像信号を俯瞰変換し、パノラマ合成手段６００が、パノラマ画像を合成し、障害物検出手段７００が、障害物４０または４１を検知し、カメラ１３ａ，１３ｂから障害物４０，４1までの距離を算出する。
【００９６】
表示画像生成手段８００は、フロント作業機１Ａの作業範囲１４内に存在する障害物４０については、巻き込まれてしまうので、危険であることを明示し、作業範囲１４外に存在する障害物４１については、注意するように表示する。
【００９７】
監視カメラ１３ａ，１３ｂによる左側方および後方の映像は、上部旋回体１ｄが旋回した際に撮影した過去の映像である。そこで、前方の映像９１０および左側方の映像９１１が、過去の映像であることを示すように枠で囲み、枠内にｊ秒前の映像およびｉ秒前の映像などを明示する。
【００９８】
フロント作業機１Ａおよび車体１Ｂは、画面中央部に真上から見た俯瞰画像で表示する。上部旋回体１ｄおよびフロント作業機１Ａは、下部走行体１ｅの方向に関係なく、上方向になるように表示する。
【００９９】
すなわち、運転員が作業している車体１Ｂを中央部に配置し、車体１Ｂの周囲を取り囲むようにパノラマ合成した監視シーン，フロント作業機１Ａの作業範囲１４，障害物４０，４１までの距離４０ａ，４１ａを重畳させて表示する。表示装置９００には、これらの表示するとともに、警報音を発する手段を設けてもよい。
【０１００】
何も表示しないと、周辺監視装置が障害物の無いことを正常に検出しているのか、障害物があるにもかかわらず周辺監視装置が故障しているのか判断できないので、障害物が検出されない場合は、「障害物なし」というメッセージを積極的に表示してもよい。
【０１０１】
障害物が検出された場合、その内容を手動で確認できる再生９０２，停止９０３，コマ送り９０４，戻り９０５，拡大９０６，標準９０７の機能を備えてもよい。再生９０２は、映像を再生する機能、停止９０３は映像の再生を停止させる機能、コマ送り９０４は、１フレーム毎に再生させる機能、戻り９０５は、後戻りする機能、拡大９０６は、障害物を拡大表示する機能、標準９０７は、拡大表示した部分を標準表示に戻す機能である。
【０１０２】
これらの機能を駆使すれば、作業中の運転者１０００は、障害物の有無、作業機械と障害物との位置関係を一目で把握し、フロント作業機１Ａの旋回の適否を的確かつ瞬時に判断できるので、障害物を確実に回避し、作業効率および安全性を格段に高めることができる。さらに、拡大機能９０６を用いれば、障害物の詳細を確認ができる。
【０１０３】
図１７は、表示装置９００に表示される作業員周辺監視装置の画面例を示す図である。
【０１０４】
後方の映像および右側方の映像が現在の映像である。そこで、右側カメラ１３ａで撮影した映像９２０を表示し、後方カメラ１３ｂで撮影した映像９２１を表示する。右側カメラ１３ａおよび後方カメラ１３ｂのカメラの画角に起因して、カメラで撮影できない死角９１２が発生する場合がある。その場合は、死角９１２の領域を死角と明示する黒色などで補間したパノラマ画像を生成し、運転員の右側方および後方における映像を表示する。
【０１０５】
また、過去の映像は表示しないので、映像表示がないことがわかるように、空白９２２を表示してもよい。
【０１０６】
図１８は、表示装置９００に表示される作業機械周辺監視装置の画面例を示す図である。
【０１０７】
障害物４０が検知された場合、前方の映像および左側方の映像が過去の映像である。そこで、過去の時間経過に応じて表示画像を変化させ、ｎ秒前映像９１１ｂおよびｍ秒前映像９１０ｂを暗く表示する。ここでは、ｎ秒前映像９１１ｂがｍ秒前映像９１０ｂより時間を経過しているので、暗く表示している。時間経過に伴い信頼性が低下するとして暗く表示するなど、運転員の把握が容易な表示をすればよい。
【０１０８】
右側カメラ１３ａおよび後方カメラ１３ｂのカメラの画角に起因して、カメラで撮影できない死角９１２が発生する場合がある。その場合は、死角９１２の領域を過去に撮影した映像で補間し、死角の無いパノラマ画像を生成し、運転員の全周辺映像を表示する。
【０１０９】
図１９は、表示装置９００に表示される作業機械周辺監視装置の他の画面を示す図である。
【０１１０】
作業開始時には、前方の映像および左側方の映像が過去の映像であるので、この部分には映像を表示しないで、始業点検項目９２０を明示して運転員に点検項目を確認させる。
【０１１１】
図２０は、表示装置９００に表示される作業機械周辺監視装置の別の画面を示す図である。
【０１１２】
障害物検出器１０ｃが、監視範囲１２ａ，１２ｂの中に障害物４２を検出し、距離を計測する。この場合、左側方監視カメラを備えていないので、過去の映像９１１ｃに障害物４２を重畳させて表示する。この方式では、監視カメラの設置台数を削減できる。
【０１１３】
図２１は、表示装置９００に表示される作業機械周辺監視装置の更に他の画面例を示す図である。
【０１１４】
前方の映像および左側方の映像は過去の映像であるから、９１０ｄおよび９１１ｄの部分には映像を表示しないで、車体１Ｂの状態である油圧ポンプ状態９３０などを表示して、運転員に車体１Ｂ状態を把握させる。このとき、車体１Ｂ状態の正常上限９４０も明示してもよい。
【実施例２】
【０１１５】
図２２は、本発明による作業機械周囲監視装置の実施例２の系統構成を示すブロック図である。
【０１１６】
本実施例２においては、車体１Ｂの上部旋回体１ｄに方向センサ８ｅを設置してある方向センサ８ｅは、上部旋回体１ｄの回動角を検出する角度検出器８ｄを備えていない場合に用いるセンサであり、上部旋回体１ｄと下部走行体１ｅとにおいてその方向の回動角の差分を検出する。
【０１１７】
作業機械方向の取込み手段およびフロント作業機の長さ方向決定手段３５０は、方向センサ８ｅが、上部旋回体１ｄの方向を検出する方向データを取り込んで下部走行体１ｅと方向の回動角の差分を検出し、フロント作業機１Ａの最長の大きさおよび長さを決定する。下部走行体１ｅは、常に固定(前方)を向いているとしてもよい。
【０１１８】
表示画像生成手段８００は、パノラマ合成手段６００で俯瞰変換したパノラマ画像に、障害物検出手段７００が検知した障害物の位置と、作業機械方向の取込み手段およびフロント作業機の長さ方向決定手段３５０が決定したフロント作業機１Ａの大きさおよび長さと、下部走行体１ｅからの上部旋回体１ｄの旋回方向を反映した車体１Ｂとをパノラマ画像の中央部に重畳させ、表示画像を生成し、表示装置９００に表示させ、運転室１ｆの運転員１０００に提示する。
【０１１９】
作業中の運転者は、障害物存在時に機械と障害物との位置関係を一目で把握でき、フロント作業機１Ａの旋回の適否判断を的確かつ瞬時に判断できるので、障害物を確実に回避し、作業効率を高めることが可能になる。
【０１２０】
図２３は、実施例２の作業機械方向取込み手段およびフロント作業機の長さ方向決定手段３５０における処理手順を示すフローチャートである。
【０１２１】
作業機械方向取込み手段およびフロント作業機の長さ方向決定手段３５０は、上部旋回体１ｄの方向を検出する方向データ取込み手順とフロント作業機１Ａの大きさおよび長さを決定する手順とを含んでいる。
【０１２２】
ステップ７５１で、上部旋回体１ｄと下部走行体１ｅとにおいてその回動角の差分を検出する方向センサ８ｅのデータθ５を取り込む。ステップ７５２で、下部走行体１ｅの方向を固定(前方方向)として、θ５から上部旋回体１ｄと下部走行体１ｅとの相対角度を算出する。ステップ７５３で、フロント作業機１Ａの長さを最長の固定値として決定する。
【０１２３】
ステップ７５２，７５３の結果に基づいて、ステップ７０４で、フロント作業機１Ａの大きさおよび長さと、下部走行体１ｅから上部旋回体１ｄの旋回方向を算出する。
【０１２４】
したがって、車体１Ｂにおけるフロント作業機１Ａの作業範囲、および、上部旋回体１ｄと下部走行体１ｅの旋回方向の相対関係を算出し、作業機の旋回状態および旋回範囲などを決定できる。
【実施例３】
【０１２５】
図２４は、本発明による作業機械周囲監視装置の実施例３の外観を示す斜視図である。
【０１２６】
本実施例３においては、カメラよりも障害物検出器を多く設置してある。すなわち、上部旋回体１ｄの上部には、車体１Ｂの後方監視カメラ１３ｂに対応して障害物検出器１０ｂが備えられている。また、車体１Ｂの左側方に障害物検出器１０ｃを備えている。障害物検出器１０ｂおよび１０ｃは、ミリ波レーダ，超音波センサ，赤外線センサなどの近接センサである。
【０１２７】
上記実施例では、障害物検出手段７００とカメラとを上部旋回体１ｄの側方および後方に１つずつ備えた例を示した。カメラおよび障害物検出手段７００は、側方のみまたは後方のみに備えてもよいし、より多くの個所に搭載して更に広範囲に監視してもよい。その場合は、１つの表示装置９００内にカメラ画像領域を増やしてもよいし、複数の表示装置９００を設けてもよい。
【０１２８】
また、上記実施例では、障害物検出手段７００が障害物を検出した場合のみカメラ画像を表示する構成とした。小規模な道路工事現場などでは、作業機械の近傍で作業員やその他の機械が何らかの作業に常に従事している場合もある。この場合、障害物検出手段７００による障害物検出によりカメラ画像の表示・非表示が切り替わる構成では、画面が頻繁に変化し、運転者に余計なストレスを感じさせ、安全性の面から逆効果となるおそれもある。このような現場では、障害物検出手段７００による障害物検出の有無にかかわらず、カメラ画像を常時表示してもよい。
【図面の簡単な説明】
【０１２９】
【図１】本発明を適用すべき作業機械の一例として油圧ショベルを示す斜視図である。
【図２】図１の油圧ショベルの平面図である。
【図３】図１の油圧ショベルの上部旋回体１ｄが右に９０°旋回した状態を示す平面図である。
【図４】油圧ショベルの作業現場の一例を示す斜視図である。
【図５】図４の油圧ショベルの作業現場の俯瞰画像を示す平面図である。
【図６】本発明による作業機械周囲監視装置の実施例１の系統構成を示すブロック図である。
【図７】実施例１の作業機械姿勢取込み手段３００における処理手順を示すフローチャートである。
【図８】実施例１の画像位置補正手段４００における処理手順を示すフローチャートである。
【図９】図４の油圧ショベルの作業現場の全周囲をカメラで撮影した画像を示す図である。
【図１０】右側方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【図１１】後方監視カメラで撮影した画像と俯瞰画像との関係を示す図である。
【図１２】実施例１のパノラマ合成手段６００における処理手順を示すフローチャートである。
【図１３】パノラマ合成手段におけるパノラマ画像合成手順を説明する図である。
【図１４】パノラマ画像から障害物を検出する上記障害物検出手段７００に代えて障害物検出器を外付けする例を示す斜視図である。
【図１５】実施例１の表示画像生成手段８００における処理手順を示すフローチャートである。
【図１６】表示装置９００に表示される作業機械周辺監視装置の画面例で障害物が検出された場合の画面例である。
【図１７】表示装置９００に表示される作業機械周辺監視装置の画面例を示す図である。
【図１８】表示装置９００に表示される作業機械周辺監視装置の画面例を示す図である。
【図１９】表示装置９００に表示される作業機械周辺監視装置の画面例で障害物が検出された場合の画面例である。
【図２０】表示装置９００に表示される作業機械周辺監視装置の別の画面を示す図である。
【図２１】表示装置９００に表示される作業機械周辺監視装置の更に他の画面例を示す図である。
【図２２】本発明による作業機械周囲監視装置の実施例２の系統構成を示すブロック図である。
【図２３】実施例２の作業機械方向取込み手段およびフロント作業機の長さ方向決定手段３５０における処理手順を示すフローチャートである。
【図２４】本発明による作業機械周囲監視装置の実施例３の外観を示す斜視図である。
【符号の説明】
【０１３０】
１Ａ フロント作業機
１Ｂ 車体
１ａ ブーム
１ｂ アーム
１ｃ バケット
１ｄ 上部旋回体
１ｅ 下部走行体
１ｆ 運転室
３ａ，３ｂ，３ｃ 油圧アクチュエータ
３ｅ，３ｆ 走行モータ
８ａ，８ｂ，８ｃ，８ｄ 角度検出器
８ｅ 方向センサ
１０ａ，１０ｂ，１０ｃ 障害物検出器
１２ａ，１２ｂ カメラの監視範囲
１３ａ，１３ｂ カメラ
１４ 作業範囲
２０ 現在の右側方シーン
２１ 現在の後方シーン
２２ 過去の右側方シーン
２３ 過去の後方シーン
４０，４１ 作業員または障害物
５０ 画像処理装置
９１〜９４ 柵
１００ 画像入力手段
２００ 歪み補正手段
３００ 作業機械姿勢取込み手段
３５０ 作業機械方向の取込み手段およびフロント作業機の長さ方向決定手段
４００ 画像位置補正手段
５００ 俯瞰変換手段
６００ パノラマ合成手段
７００ 障害物検出手段
８００ 表示画像生成手段
９００ 表示装置
【特許請求の範囲】
【請求項１】
作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、
前記作業機械周辺を撮影するカメラと、
前記作業機械周辺の障害物およびその位置を計測する障害物検出手段と、
前記作業機械姿勢取込み手段からの情報に基づいて前記作業機械の姿勢および形状および作業範囲を描画する画像と、前記カメラで撮影された前記作業機械周辺の画像と、前記障害物検出手段で検出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、
生成された画像を表示する表示手段とからなる作業機械周辺監視装置。
【請求項２】
請求項１に記載の作業機械周辺監視装置において、
前記作業機械姿勢取込み手段からの情報に基づいて前記カメラで撮影された画像の傾きおよび回転を補正する画像位置補正手段を前記カメラと前記表示画像生成手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項３】
請求項２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項４】
請求項３に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項５】
請求項３に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【請求項６】
請求項２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を前記作業機械の上方視点からの俯瞰画像に変換する俯瞰変換手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項７】
請求項６に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とする前記パノラマ合成手段を前記俯瞰変換手段と前記表示画像生成手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項８】
請求項７に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項９】
請求項７に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【請求項１０】
作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、
前記作業機械周辺を撮影するカメラと、
前記カメラで撮影された前記作業機械周辺の画像から前記作業機械周辺の障害物およびその位置を抽出する障害物検出手段と、
前記作業機械姿勢取込み手段からの情報に基づいて前記作業機械の姿勢および形状および作業範囲を描画する画像と、前記カメラで撮影された前記作業機械周辺の画像と、前記障害物検出手段で抽出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、
生成された画像を表示する表示手段とからなる作業機械周辺監視装置。
【請求項１１】
請求項１０に記載の作業機械周辺監視装置において、
前記作業機械姿勢取込み手段からの情報に基づいて前記カメラで撮影された画像の傾きおよび回転を補正する画像位置補正手段を前記カメラと前記障害物検出手段および前記表示画像生成手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項１２】
請求項１１に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項１３】
請求項１２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項１４】
請求項１２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【請求項１５】
請求項１１に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を前記作業機械の上方視点からの俯瞰画像に変換する俯瞰変換手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項１６】
請求項１５に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とする前記パノラマ合成手段を前記俯瞰変換手段と前記表示画像生成手段との間、並びに、前記俯瞰変換手段と前記障害物検出手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項１７】
請求項１６に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項１８】
請求項１６に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【請求項１】
作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、
前記作業機械周辺を撮影するカメラと、
前記作業機械周辺の障害物およびその位置を計測する障害物検出手段と、
前記作業機械姿勢取込み手段からの情報に基づいて前記作業機械の姿勢および形状および作業範囲を描画する画像と、前記カメラで撮影された前記作業機械周辺の画像と、前記障害物検出手段で検出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、
生成された画像を表示する表示手段とからなる作業機械周辺監視装置。
【請求項２】
請求項１に記載の作業機械周辺監視装置において、
前記作業機械姿勢取込み手段からの情報に基づいて前記カメラで撮影された画像の傾きおよび回転を補正する画像位置補正手段を前記カメラと前記表示画像生成手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項３】
請求項２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項４】
請求項３に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項５】
請求項３に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【請求項６】
請求項２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を前記作業機械の上方視点からの俯瞰画像に変換する俯瞰変換手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項７】
請求項６に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とする前記パノラマ合成手段を前記俯瞰変換手段と前記表示画像生成手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項８】
請求項７に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項９】
請求項７に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【請求項１０】
作業時の作業機械の姿勢および形状を取り込む作業機械姿勢取込み手段と、
前記作業機械周辺を撮影するカメラと、
前記カメラで撮影された前記作業機械周辺の画像から前記作業機械周辺の障害物およびその位置を抽出する障害物検出手段と、
前記作業機械姿勢取込み手段からの情報に基づいて前記作業機械の姿勢および形状および作業範囲を描画する画像と、前記カメラで撮影された前記作業機械周辺の画像と、前記障害物検出手段で抽出された障害物を描画する画像とを合成し表示画像を生成する表示画像生成手段と、
生成された画像を表示する表示手段とからなる作業機械周辺監視装置。
【請求項１１】
請求項１０に記載の作業機械周辺監視装置において、
前記作業機械姿勢取込み手段からの情報に基づいて前記カメラで撮影された画像の傾きおよび回転を補正する画像位置補正手段を前記カメラと前記障害物検出手段および前記表示画像生成手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項１２】
請求項１１に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とするパノラマ合成手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項１３】
請求項１２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項１４】
請求項１２に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【請求項１５】
請求項１１に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を前記作業機械の上方視点からの俯瞰画像に変換する俯瞰変換手段を前記表示画像生成手段の前に設けたことを特徴とする作業機械周辺監視装置。
【請求項１６】
請求項１５に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を統合してパノラマ画像とする前記パノラマ合成手段を前記俯瞰変換手段と前記表示画像生成手段との間、並びに、前記俯瞰変換手段と前記障害物検出手段との間に設けたことを特徴とする作業機械周辺監視装置。
【請求項１７】
請求項１６に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影している現在の画像を合成することを特徴とする作業機械周辺監視装置。
【請求項１８】
請求項１６に記載の作業機械周辺監視装置において、
前記カメラで撮影された画像を格納する画像記憶手段を備え、
一度に撮影できる範囲が全周に達しない前記カメラが、運転者の死角方向に配置され、
前記パノラマ合成手段が、前記カメラで撮影し前記画像記憶手段に格納されている過去の画像と前記カメラが前記死角方向を撮影している現在の画像とを合成することを特徴とする作業機械周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−２４８６１３（Ｐ２００８−２４８６１３Ａ）
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願番号】特願２００７−９２７２６（Ｐ２００７−９２７２６）
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００５５２２）日立建機株式会社 (2,611)
【Ｆターム（参考）】
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００５５２２）日立建機株式会社 (2,611)
【Ｆターム（参考）】
[ Back to top ]