作業機の周囲監視装置
【課題】作業機の周囲の状況を正確且つ良好な視認性で監視して、作業機の安全性や作業効率を向上させることを目的とする。
【解決手段】上部旋回体５に複数台が設けられ、そのうち２台が相互に視野範囲を部分的に重複するように設けた複数台のカメラと、各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像を生成する視点変換部２３と、視点変換部２３が生成した複数の仮想視点画像をそれぞれに対応した表示領域に表示するように合成した合成画像を生成する画像合成部２４と、合成画像を第１の画像として、各カメラのうち何れか１つのカメラが撮影している画像であり仮想視点画像間の境界線を視野内に含む画像を第２の画像として、第１の画像と第２の画像とを含む表示画像を生成する表示画像生成部２５と、表示画像を画面上に表示するモニタ１４と、を備えている。
【解決手段】上部旋回体５に複数台が設けられ、そのうち２台が相互に視野範囲を部分的に重複するように設けた複数台のカメラと、各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像を生成する視点変換部２３と、視点変換部２３が生成した複数の仮想視点画像をそれぞれに対応した表示領域に表示するように合成した合成画像を生成する画像合成部２４と、合成画像を第１の画像として、各カメラのうち何れか１つのカメラが撮影している画像であり仮想視点画像間の境界線を視野内に含む画像を第２の画像として、第１の画像と第２の画像とを含む表示画像を生成する表示画像生成部２５と、表示画像を画面上に表示するモニタ１４と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機の安全確保等のために設けられ、作業機の周囲の状況を監視する作業機の周囲監視装置に関するものである。
【背景技術】
【０００２】
作業機の一例としての油圧ショベルは、自走式の作業機であって、クローラ式またはホイール式の走行手段を有する下部走行体を備えている。下部走行体には旋回装置を介して上部旋回体が設置されている。上部旋回体には土砂の掘削等の作業を行うための作業手段が設けられている。この作業手段は、上部旋回体に俯抑動作可能に連結したブームと、このブームの先端に上下方向に回動可能に連結したアームとを備えており、土砂の掘削等の作業を行うバケットがアタッチメントとして、アームの先端にリンク機構を介して連結されている。これらにより、多関節作業機構を構成している。
【０００３】
油圧ショベル等の自走式作業機において、作業の安全を確保して、作業機の操作性の向上を図るために、旋回体の周囲の状況を監視する周囲監視装置を設けたものが従来から用いられている。この周囲監視装置は、カメラを上部旋回体に装着すると共に、運転室において、オペレータ（運転者）が着座する運転室の前方位置にモニタを設置することにより構成している。このモニタにはカメラが撮影した画像が動画状態の映像として表示される。
【０００４】
ところで、カメラは上部旋回体に固定的に保持されており、その視野範囲は限定されている。作業対象となる前方位置の視野が必要なのは当然のことであるが、上部旋回体の後方および左右の両側方の視野を得るために、上部旋回体には複数のカメラ装着する構成としている。これにより、上部旋回体のほぼ全周に渡る視野を確保することができ、作業の安全確保および作業機の操作性の向上を図っている。
【０００５】
この種の作業機の周囲監視装置が特許文献１に開示されている。この特許文献１の技術では、油圧ショベルの右側方、左側方、後方を撮影する各カメラを設ける構成としており、各カメラの画像に対して、カメラの視点を上方に仮想的に移動したときの仮想視点画像（俯瞰画像）を表示するようにしている。この仮想視点画像を表示することにより、動的或いは固定的な障害物と作業機までの距離を正確に把握することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４８６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で示されるように、作業機の上方に仮想視点をおいた仮想視点画像を生成して表示することで、障害物と作業機までの距離を一見して正確に把握することができる。これにより、作業機の周囲の状況をオペレータが認識できるようになり、作業の安全性を向上させる点で極めて高い効果を奏する。特許文献１では、複数のカメラの仮想視点画像を合成してパノラマ画像を構成し、現在のパノラマ画像と過去のパノラマ画像とを重ね合わせることにより、表示用のパノラマ画像を生成している。
【０００８】
ところで、パノラマ画像は複数の仮想視点画像を合成して生成されるものであるが、各仮想視点画像の元となる画像は異なる視野を撮影しているカメラになる。つまり、作業機の車体の左右側方および後方を視野とするそれぞれのカメラが撮影した画像を上方に仮想視点をおいて水平面に展開した画像が仮想視点画像になる。このとき、後方の仮想視点画像と側方の仮想視点画像との間の境界部は、後方のカメラと側方のカメラとで視野範囲が部分的に重複している。これにより、仮想視点画像で表示されない領域をなくすようにしている。
【０００９】
しかし、仮想視点画像は、斜め上方から撮影しているカメラの視点を上方に仮想的に設置した場合に水平面方向に展開した画像であり、仮想視点画像間の境界部に立体物が存在する場合、その立体物の上部（地面より高い部分）が仮想視点画像から消失する可能性がある。この場合には、仮想視点画像を合成して表示したパノラマ画像において、境界部に位置している立体物の上部が表示されないことになる。従って、実際には作業機の近傍に固定的或いは動的な障害物が存在するにもかかわらず、仮想視点画像から障害物が消失し、オペレータは障害物の存在を認識することができなくなる。これにより、作業機の周囲の状況を的確に監視することができなくなる。
【００１０】
また、仮想視点画像間の境界部に障害物が存在している場合、立体物の全部ではなく一部が仮想視点画像に表示されなくなることもある。この場合には、仮想視点画像から障害物の一部が消失するが、一部は仮想視点画像に出現している状態になる。ただし、仮想視点画像には障害物の一部のみが表示されており、オペレータは仮想視点画像を注意して視認していなければ、やはり障害物の存在を見落としてしまうことがある。これにより、オペレータが直感的に障害物の存在を把握できないことから、作業機の周囲の状況を十分に監視することができなくなる。
【００１１】
そこで、本発明は、作業機の周囲の状況を正確且つ良好な視認性で監視して、作業機の安全性や作業効率を向上させることを目的とする。
【課題を解決するための手段】
【００１２】
以上の課題を解決するため、本発明の作業機の周囲監視装置は、走行体に対して旋回可能な旋回体にフロント作業機を設けた作業機の周囲を監視するための作業機の周囲監視装置であって、前記旋回体に複数台が設けられ、そのうち２台が相互に視野範囲を部分的に重複するように設けた複数台のカメラと、前記各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像を生成する視点変換部と、前記視点変換部が生成した複数の前記仮想視点画像をそれぞれに対応した表示領域に表示するように合成した合成画像を生成する画像合成部と、前記合成画像を第１の画像として、前記各カメラのうち何れか１つのカメラが撮影している画像であり前記仮想視点画像間の境界線を視野内に含む画像を第２の画像として、前記第１の画像と前記第２の画像との両者を含む表示画像を生成する表示画像生成部と、前記表示画像生成部が生成した前記表示画像を画面上に表示するモニタと、を備えていることを特徴とする。
【００１３】
この作業機の周囲監視装置によれば、第１の画像と第２の画像との両者をモニタに表示することで、仮想視点画像の境界部に障害物が存在していることにより仮想視点画像から障害物の一部または全部が消失したとしても、障害物の存在を第２の画像で明確に認識することができる。これにより、オペレータに作業機の周囲の状況を正確且つ良好な視認性で認識させることができ、安全性や作業効率を向上させることができる。
【００１４】
また、前記表示画像生成部は、前記第２の画像の中での前記各仮想視点画像の表示範囲を示す仮想表示範囲を前記第２の画像に対して重畳表示をすることを特徴とする。
【００１５】
第２の画像の表示系で、各仮想視点画像の範囲を仮想表示範囲として重畳表示することで、この仮想表示範囲と障害物との関係で、障害物の消失の可能性をオペレータは明確に認識することができる。これにより、作業機の周囲の状況をより正確且つ良好な視認性で認識でき、安全性や作業効率を向上させることができる。
【００１６】
また、前記表示画像生成部は、前記第２の画像の中での隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示することを特徴とする。
【００１７】
第２の画像の表示系で、隣接する仮想視点画像間の領域のうち立体物が消失する可能性のある範囲を示す消失範囲として重畳表示することで、消失範囲内に障害物が存在しているか否かにより、障害物の消失の可能性をオペレータは明確に認識できる。これにより、作業機の周囲の状況をより正確且つ良好な視認性で認識でき、安全性や作業効率を向上させることができる。
【００１８】
また、前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲および隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示し、前記仮想表示範囲と前記消失範囲とを異なる表示形式で表示させることを特徴とする。
【００１９】
第２の画像に仮想表示範囲と消失範囲との両者を表示することで、仮想範囲および消失範囲と障害物との関係をさらに明確にオペレータは認識することができる。これにより、作業機の周囲の状況を正確且つ良好な視認性で認識でき、安全性や作業効率を向上させることができる。
【００２０】
また、前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲と隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲との何れか一方または両方を前記第２の画像に対して重畳表示することを可能にして、前記仮想表示範囲と前記消失範囲との両者を重畳表示するときにはこれらを異なる表示形式で表示し、前記仮想表示範囲と前記消失範囲との何れか一方を表示するモードと両者を表示するモードと何れも表示しないモードとを切り替え可能に構成したことを特徴とする。
【００２１】
熟練度の低いオペレータであれば、仮想表示範囲と消失範囲との何れか一方または両方を第２の画像に重畳表示することで、障害物の消失の可能性をオペレータに認識させるアシストを行なうことができる。一方、熟練度の高いオペレータであれば、仮想表示範囲と消失範囲とを表示しなくても障害物の消失の可能性を認識することができ、却って第２の画像の視認性を低下させる。このため、オペレータの熟練度によって最適な表示態様を選択することができる。
【００２２】
また、前記カメラが取得した前記カメラ画像に基づいて障害物を検出する障害物検出部を備え、前記表示画像生成部は、前記障害物検出部が検出した前記障害物の周囲に形成するマークを前記第１の画像と前記第２の画像との何れか一方または両方に重畳表示することを特徴とする。
【００２３】
障害物を示すマークを第１の画像、第２の画像に重畳表示することで、仮想視点画像から障害物が部分的に消失しても、マークは表示されているため、このマークに基づいてオペレータは障害物を認識することができる。これにより、オペレータは障害物を確実に認識することができ、作業機の周囲の状況を認識することができる。
【発明の効果】
【００２４】
本発明は、カメラが撮影した仮想視点画像だけでなく、この仮想視点画像を生成するための元となるカメラが撮影した画像をモニタに表示することで、仮想視点画像間の境界に立体物が存在することによって立体物の上部が消失したとしても、カメラの画像からオペレータは障害物を認識することができる。これにより、作業機の周囲の状況を正確且つ良好な視認性でオペレータに認識させることができ、作業の安全性および作業効率を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】作業機の一例としての油圧ショベルを示す外観図である。
【図２】油圧ショベルの正面図である。
【図３】バケット監視カメラの画像が選択されているときのモニタの一例を示す図である。
【図４】表示コントローラおよびこれに接続される各部のブロック図である。
【図５】右方カメラの画像が選択されているときのモニタの一例を示す図である。
【図６】後方カメラの画像が選択されているときのモニタの一例を示す図である。
【図７】左方カメラの画像が選択されているときのモニタの一例を示す図である。
【図８】上部旋回体を旋回したときのモニタの画面例を示す図である。
【図９】各パターンにおけるカメラスルー画像に重畳表示される内容を示す図である。
【図１０】パターンＡにおけるモニタの画面例を示す図である。
【図１１】パターンＢにおけるモニタの画面例を示す図である。
【図１２】パターンＣにおけるモニタの画面例を示す図である。
【図１３】変形例における表示コントローラおよびこれに接続される各部のブロック図である。
【図１４】変形例におけるパターンＤのモニタの画面例を示す図である。
【図１５】変形例におけるパターンＡのモニタの画面例を示す図である。
【図１６】変形例におけるパターンＢのモニタの画面例を示す図である。
【図１７】変形例におけるパターンＣのモニタの画面例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施形態について説明する。以下において、作業機としてクローラ走行手段を有する油圧ショベルを適用した例を説明するが、例えばホイールローダ等の油圧ショベル以外の作業機を適用することもできる。また、油圧ショベルはクローラ式の走行手段ではなく、ホイール式の走行手段を有しているものであってもよい。
【００２７】
図１に示すように、油圧ショベル１は車体２とフロント作業機３とを有して構成している。車体２は下部走行体４と上部旋回体５とを有しており、下部走行体４と上部旋回体５との間には旋回装置が設けられている。上部旋回体５にはオペレータが搭乗して油圧ショベル１を操作するための運転室６が設置されており、また土砂の掘削等の作業を行うフロント作業機３が運転室６の右手において、ほぼ並ぶような位置に上部旋回体５に設けられている。上部旋回体５には、運転室６およびフロント作業機３の後方位置に建屋７等が設けられており、最後端部にはカウンタウェイト８が設置されている。
【００２８】
フロント作業機３はブーム１０とアーム１１とバケット１２とを有して構成される土砂の掘削作業手段である。ブーム１０は、その基端部が上部旋回体５のフレームに連結ピンにより軸支されて俯抑動作可能となっている。ブーム１０の先端にはアーム１１が上下方向に回動可能に連結されており、ブーム１０の先端にはバケット１２が回動可能に連結されている。ブーム１０の俯抑動作は油圧シリンダ１０ａを駆動することにより行われる。また、アーム１１は油圧シリンダ１１ａにより、バケット１２は油圧シリンダ１２ａにより駆動される。
【００２９】
オペレータは、運転室６で前方を向いた状態で操作を行うものであり、上部旋回体５の前方には十分広い視野が確保されている。また、運転室６の左側における斜め前方の視野も確保されている。ただし、左側であっても、斜め後方については、オペレータは振り返るようにしなければ直接視認することができない。また、運転室６の右側においては、フロント作業機３が設置されており、視野のかなり部分がブーム１０により妨げられ、実質的に肉眼による視認を行うことができない。
【００３０】
さらに、上部旋回体５の後方については、建屋７およびカウンタウェイト８が位置しており、オペレータは運転室６の内部で振り返るようにしなければ視野を得ることができない。且つ、建屋７およびカウンタウェイト８の上面は高い位置となっており、オペレータは運転室６の内部で振り返る姿勢を取ったとしても、視野が得られるのは遠い位置であり、上部旋回体５に近い位置を視認することができない。
【００３１】
そこで、上部旋回体５の後方、左側方および右側方の監視を可能にするために、監視用のカメラ１３Ｂ（後方カメラ１３Ｂ）、カメラ１３Ｒ（右方カメラ１３Ｒ）、カメラ１３Ｌ（左方カメラ１３Ｌ）の３台のカメラを、補助的に視野を確保するために設けている。すなわち、カウンタウェイト８の上面において、左右のほぼ中間位置に後方カメラ１３Ｂを設置し、建屋７の左方向の上面には左方カメラ１３Ｌを、上部旋回体５の右側の建屋７またはタンクの上面に右方カメラ１３Ｒを設置している。
【００３２】
後方カメラ１３Ｂは上部旋回体５の後方の広い範囲の画像を取得し、この後方カメラ１３Ｂと左方カメラ１３Ｌと右方カメラ１３Ｒとによって、上部旋回体５の運転室６の内部で、オペレータが無理のない姿勢で得られる前方視野を除くほぼ全周に渡る視野が得られることになる。また、アーム１１の下部にはバケット１２を視野とするカメラ１３Ｆ（バケット監視カメラ１３Ｆ）が設けられている。
【００３３】
各カメラ１３Ｂ、１３Ｒ、１３Ｌのレンズの視野角とそれらの配設位置とによって、少なくとも各レンズの視野範囲の一部がオーバラップするように設定されている。具体的には、後方カメラ１３Ｂの視野角の左右の両側部分が左右のカメラ１３Ｒ、１３Ｌの視野角とが部分的に重複するようにしている。これにより、上部旋回体５の周囲において、ブラインドとなる箇所がなくなる。
【００３４】
そして、運転室６の内部にはモニタ１４が設置されており、各カメラ１３Ｂ、１３Ｒ、１３Ｌから取得した画像がモニタ１４に動画状態にして表示される。モニタ１４には、各カメラ１３Ｂ、１３Ｒ、１３Ｌで取得したカメラ画像がそのままの画像（カメラスルー画像）として表示され、且つ上方視点となるように視点変換された画像（仮想視点画像）としても表示される。カメラスルー画像と仮想視点画像とは１つの画面で両者が同時に表示される。
【００３５】
ここで、後方カメラ１３Ｂを例に取ると、図２に示したように、後方カメラ１３Ｂが上部旋回体５の後方に対して角度θを持った斜め下方に対物レンズの光軸を向けている。このときに、油圧ショベル１の下部走行体４の接地面をＬとし、この接地面Ｌに対して角度θを持ったカメラ画像を得ることができる。この接地面Ｌを仮想平面とした仮想視点ＶＦの光軸が垂直方向（水平面と直交する方向）になるように座標変換した画像が仮想視点画像として生成される。つまり、仮想視点ＶＦから接地面Ｌを見下ろした仮想的な画像が仮想視点画像となる。
【００３６】
これにより、角度θを持った斜め上方からのカメラ画像が仮想視点画像（或いは俯瞰画像）に変換されて、モニタ１４に表示される。また、左右の両側カメラ１３Ｒ、１３Ｌも後方カメラ１３Ｂと同様に、接地面Ｌに対する光軸の傾斜角はθとする。後方カメラ１３Ｂは上部旋回体５の後方に向いているのに対して、左右のカメラ１３Ｒ、１３Ｌは側方に向いている。つまり、仮想平面としての接地面Ｌに対する後方カメラ１３Ｂの方向と左右両側のカメラ１３Ｌ、１３Ｒとでは概ね９０度異なっている。つまり、各カメラ１３Ｂ、１３Ｒ、１３Ｌは撮影する方向がそれぞれ９０度異なるようにしている。
【００３７】
なお、ここでは、カメラ１３Ｂ、１３Ｒ、１３Ｌが撮影する視野の方向は９０度異なるようにしているが、９０度ではなくても、視野の方向が異なれば任意の角度とすることができる。また、各カメラ１３Ｂ、１３Ｒ、１３Ｌは上部旋回体５の任意の位置に設置することができる。
【００３８】
図３はモニタ１４の構成を示している。この図に示すように、モニタ１４は画像が表示される表示部１５とスイッチを設けた入力部１６とを有して構成している。表示部１５は仮想視点画像表示領域１７とカメラスルー画像表示領域１８とを有している。仮想視点画像表示領域１７は仮想視点画像を表示する領域である。仮想視点画像は第１の画像であり、油圧ショベルの平面図を図形化した作業機画像１７Ｍを中央の位置に表示している。作業機画像１７Ｍの周囲の領域には、カメラ１３Ｂ、１３Ｒ、１３Ｌで取得したカメラ画像に基づいて視点変換した仮想視点画像が表示される。
【００３９】
仮想視点画像は、後方カメラ１３Ｂが撮影したカメラ画像に基づく仮想視点画像である仮想視点後方画像１７Ｂと、右方カメラ１３Ｒで撮影したカメラ画像に基づく仮想視点画像である仮想視点右方画像１７Ｒと、左方カメラ１３Ｌで撮影したカメラ画像に基づく仮想視点画像である仮想視点左方画像１７Ｌとを有している。そして、仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとの間には境界部としての境界ライン１９Ｒ、仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとの間には境界部としての境界ライン１９Ｌが形成されている。
【００４０】
一方、カメラスルー画像表示領域１８にはカメラスルー画像が表示される。カメラスルー画像は第２の画像であり、後方カメラ１３Ｂと右方カメラ１３Ｒと左方カメラ１３Ｌとのうち何れか１つのカメラが撮影している画像を仮想視点に変換することなく表示される。従って、カメラスルー画像表示領域１８に表示されているカメラスルー画像はカメラが撮影している画像そのものになる。
【００４１】
従って、モニタ１４には仮想視点画像とカメラスルー画像とが表示される。モニタ１４に表示制御を行うための表示コントローラ２０を図４に示す。この図に示すように、表示コントローラ２０は記憶保持部２１と画像補正部２２と視点変換部２３と画像合成部２４と表示画像生成部２５と画像整形部２６とを有して構成している。表示コントローラ２０は車体制御部３１を備えた車体コントローラ３０と接続されており、車体コントローラ３０から車体情報を取得する。
【００４２】
記憶保持部２１は、カメラ１３Ｂ、１３Ｒ、１３Ｌの撮影画角やレンズ歪み等のカメラ光学系パラメータ、搭載位置・姿勢情報、後述する仮想視点画像に変換する際の仮想視点情報、表示画像用の作業機画像１７Ｍや縮尺値等の各種情報を記憶している。
【００４３】
画像補正部２２は各カメラ１３Ｂ、１３Ｒ、１３Ｌ、１３Ｆと接続されており、各カメラ１３Ｂ、１３Ｒ、１３Ｌ、１３Ｆから取り込んだカメラ画像に対して、記憶保持部２１に記憶されているカメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の画像補正を行う。これにより、取り込んだカメラ画像の画質を向上させている。画像補正部２２が補正処理したカメラ画像は視点変換部２３と画像整形部２６とに出力される。
【００４４】
視点変換部２３は、画像補正部２２が補正処理した各カメラ画像に基づいて、これらのカメラ画像を上方視点となるように視点変換を行う。なお、視点変換を行うのは、後方カメラ１３Ｂ、右方カメラ１３Ｒ、左方カメラ１３Ｌが取得したカメラ画像であり、バケット監視カメラ１３Ｆが取得したカメラ画像は視点変換の処理を行わない。この視点変換処理により、後方および左右の両側方における仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌが生成される。
【００４５】
モニタ１４の仮想視点画像表示領域１７には、これら３方向の仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌのための表示領域が割り当てられ、これらの画像はそれぞれに割り当てられた表示領域に表示する。つまり、作業機画像１７Ｍを中心として後側の領域に仮想視点後方画像１７Ｂを割り当て、左側の領域に仮想視点左方画像１７Ｌを割り当て、右側の領域に仮想視点右方画像１７Ｒを割り当てる。
【００４６】
仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌの割り当ては、画像合成部２４が行う。つまり、画像合成部２４は視点変換部２３により視点変換処理が行われた仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌをそれぞれの領域に割り当てて合成する。これにより、仮想視点画像が生成される。また、前述したように、仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとの境界部を示す境界ライン１９Ｒ、仮想視点後方画像１７Ｂと仮想視点左方画像１７Ｌとの境界部を示す境界ライン１９Ｌを画像上に形成する。
【００４７】
図３に示すように、仮想視点画像表示領域１７に表示される仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒと仮想視点左方画像１７Ｌとを統合表示した仮想視点画像には危険ゾーンＺ１と注意ゾーンＺ２とを形成している。危険ゾーンＺ１は油圧ショベル１との衝突を回避すべき対象である障害物（動的または固定的）と接触するおそれのある円形の領域を示している。この危険ゾーンＺ１は標準的な旋回姿勢でのフロント作業機３のアーム１１の先端旋回範囲に基づいて決定される。
【００４８】
また、注意ゾーンＺ２は危険ゾーンＺ１の外側に形成される円形の領域との間のリング状の領域であり、オペレータに注意を喚起するために設けた領域である。注意ゾーンＺ２の外側の円形の領域は危険ゾーンＺ１の円形のほぼ倍の半径を持つ領域として決定される。ここでは、仮想視点画像表示領域１７の表示範囲は危険ゾーンＺ１の範囲とほぼ等しくしているが、危険ゾーンＺ１よりもさらに余裕を持たせた範囲を表示してもよい。
【００４９】
図４に示すように、画像補正部２２が補正処理したカメラ画像は画像整形部２６に出力される。画像整形部２６には４枚の補正処理されたカメラ画像（後方カメラ１３Ｂ、左方カメラ１３Ｌ、右方カメラ１３Ｒおよびバケット監視カメラ１３Ｆのカメラ画像）が入力されており、４枚のカメラ画像のうち何れか１枚のカメラ画像が選択される。この選択作業は、モニタ１４に設けた入力部１６により行われる。
【００５０】
すなわち、図３に示すように、入力部１６は４つのスイッチ１６ａ、１７Ｂ、１６ｃ、１６ｄ、１６ｅを有して構成されており、このうちスイッチ１６ａは後述するパターンを選択するためのスイッチになる。また、スイッチ１７Ｂは左方カメラ１３Lのカメラ画像を選択するためのスイッチであり、スイッチ１６ｃは後方カメラ１３Bのカメラ画像を選択するためのスイッチであり、スイッチ１６ｄは右方カメラ１３Rのカメラ画像を選択するためのスイッチであり、スイッチ１６ｅはバケット監視カメラ１３Ｆのカメラ画像を選択するためのスイッチである。
【００５１】
これらのスイッチ１７Ｂ〜１６ｅの入力を受けて、画像整形部２６は各カメラ画像のうち何れか１枚のカメラ画像を選択する。画像整形部２６は選択したカメラ画像に対して後述する仮想視点範囲と消失範囲との何れか一方または両方を重畳表示する画像処理を行う。仮想視点範囲と消失範囲とは選択されたカメラ画像に対してガイドシンボルとして重畳表示される。このガイドシンボルのパターンはスイッチ１６ａにより選択される。画像整形部２６が処理したカメラ画像はカメラスルー画像として表示画像生成部２５に出力される。
【００５２】
図４に示すように、表示画像生成部２５には画像合成部２４が合成処理した仮想視点画像および画像整形部２６が処理したカメラスルー画像との２つの画像が入力される。表示画像生成部２５は、画像合成部２４が３枚の画像（仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌ）を合成した仮想視点画像の中心に作業機画像１７Ｍを配置して仮想視点画像を作成する。この仮想視点画像を表示部１５の仮想視点画像表示領域１７に表示する。
【００５３】
且つ、画像整形部２６から入力したカメラスルー画像をカメラスルー画像表示領域１８に表示する。これにより、モニタ１４の表示部１５（表示画面）の上部と下部とに仮想視点画像とカメラスルー画像とが同時に表示される。これら仮想視点画像とカメラスルー画像とを有する画像を表示画像としてモニタ１４の表示部１５に出力する。表示部１５はこの表示画像を表示するように制御する。
【００５４】
また、図４に示すように、表示コントローラ２０は車体コントローラ３０に接続されており、車体コントローラ３０の車体制御部３１から各種車体情報を入力している。油圧ショベル１にはブーム１０、アーム１１およびバケット１２の各油圧シリンダ１０ａ、１１ａ、１２ａが設けられており、下部走行体４を構成する左右の走行手段を駆動するための油圧モータと上部旋回体５を旋回駆動する旋回モータとが設けられている。これら油圧シリンダ、油圧モータおよび旋回モータは油圧アクチュエータとして総称されるものであり、図４ではこれらを油圧アクチュエータ群３２として示している。
【００５５】
また、運転室６の内部には複数の操作レバーを有する操作レバー群３３が設けられており、オペレータが操作レバー群３３を構成する何れかの操作レバーを操作すると、その上方が車体制御部３１に取り込まれて、車体制御部３１からの指令により油圧アクチュエータ群３２を構成する各油圧アクチュエータが駆動される。なお、操作レバー群３３からの知れは電気信号で直接的に油圧アクチュエータ群３２に伝達する構成を採用することもできるが、指令は油圧信号となし、車体制御部３１には操作レバーの操作量に関する信号のみが取り込まれるように構成してもよい。
【００５６】
さらに、車体制御部３１にはブーム１０、アーム１１およびバケット１２の相対角度および上部旋回体５の下部走行体４に対する旋回角度を検出する角度検出器３４ａ、３４ｂ、３４ｃ、３４ｄが角度検出器群３４として設けられている。角度検出器３４ａはブーム１０の回動角度を、角度検出器３４ｂはアーム１１の回動角度を、角度検出器３４ｃはバケット１２の回動角度を、角度検出器３４ｄは下部走行体４に対する上部旋回体５の旋回角度を検出している。また、速度検出器３５ａ、３５が速度検出器群３５として設けられており、下部走行体４の左右の走行モータ５ａ、５ｂの回転速度を検出している。
【００５７】
車体制御部３１はこれら油圧アクチュエータ群３２、操作レバー群３３、角度検出器群３４、速度検出器群３５から各種情報を取得しており、これらは車体情報として表示コントローラ２０に出力される。表示コントローラ２０は車体情報に基づいて、作業機の姿勢情報や速度情報、操作情報といった各種情報を認識する。
【００５８】
以上が構成である。次に、動作について説明する。運転室６に搭乗するオペレータは、図３に示すモニタ１４の入力部１６のスイッチ１６ａ〜１６ｅのうち何れかのスイッチを押下する。前述したように、スイッチ１７Ｂ〜１６ｅは、各カメラ１３Ｌ、１３Ｂ、１３Ｒ、１３Ｆが撮影しているカメラ画像のうち何れか１つをカメラスルー画像表示領域１８に表示するために設けている。このために、スイッチ１７Ｂ〜１６ｅは、カメラ１３Ｌ、１３Ｂ、１３Ｒ、１３Ｆとの対応関係を視覚的に明示している。
【００５９】
ここでは、スイッチ１７Ｂ〜１６ｅは自身が選択されていることを点灯により示す中心の領域が設けられており、この領域を中心として上下左右方向に４つの領域に分割している。そして、各領域の方向はカメラ１３Ｌ、１３Ｂ、１３Ｒ、１３Ｆが撮影している画像を選択していることを示している。スイッチ１７Ｂは左側の領域が強調されており、これにより左方カメラ１３Ｌが撮影しているカメラ画像が選択されていることを示している。スイッチ１６ｃは下側の領域が強調されており、これにより後方カメラ１３Ｂが撮影しているカメラ画像が選択されていることを示している。スイッチ１６ｄは右側の領域が強調されており、これにより右方カメラ１３Ｒが撮影しているカメラ画像が選択されていることを示している。スイッチ１６ｅは上側の領域が強調されており、これによりバケット監視カメラ１３Ｆが撮影しているカメラ画像が選択されていることを示している。
【００６０】
前述したように、スイッチ１７Ｂ〜１６ｅの中央は点灯可能になっており、オペレータにより何れのスイッチ１７Ｂ〜１６ｅが選択されたかを、点灯することにより明示している。なお、スイッチ１７Ｂ〜１６ｅが対応するカメラ画像を明示する方法は、前述したものに限らず、スイッチ１７Ｂ〜１６ｅとカメラ１３Ｂ、１３Ｌ、１３Ｒ、１３Ｆが撮影している画像との関連性が分かるものであれば、任意の表示態様を採用することができる。
【００６１】
図３の例では、オペレータはスイッチ１６ｅを押下している。よって、バケット監視カメラ１３Ｆが選択されていることが明示され、且つスイッチ１６ｅが選択されていることが中央部分を点灯することにより認識される。このスイッチ１６ｅが選択されたことは画像整形部２６に出力される。
【００６２】
表示コントローラの画像補正部２２では、各カメラ１３Ｂ、１３Ｒ、１３Ｌ、１３Ｆが撮影しているカメラ画像をデータとして入力しており、このカメラ画像に対して補正処理を行う。補正処理されたカメラ１３Ｂ、１３Ｒ、１３Ｆのカメラ画像に対して、視点変換部２３が視点変換処理を行って、仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌを生成する。そして、画像合成部２４はこれら仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌを合成処理して、統合された仮想視点画像を生成する。この統合処理された仮想視点画像に対して表示画像生成部２５は中央に作業機画像１７Ｍを追加する。
【００６３】
一方、画像整形部２６は画像補正部２２が補正処理したカメラ画像のうち、スイッチ１６ｅにより特定されるバケット監視カメラ１３Ｆのカメラ画像を選択して、このカメラ画像を表示画像生成部２５に出力する。なお、後述するように、画像整形部２６はカメラ画像に対して仮想視点範囲と消失範囲との何れか一方または両方をガイドシンボルとして重畳表示することが可能になっているが、バケット監視カメラ１３Ｆのカメラ画像が選択されているときには、当該重畳表示の処理は行わない。
【００６４】
表示画像生成部２５は、画像合成部２４が統合して作業機画像１７Ｍを追加した仮想視点画像および画像整形部２６が処理したカメラ画像を入力する。そして、仮想視点画像が仮想視点画像表示領域１７に表示される。つまり、作業機画像１７Ｍを中心として仮想視点左方画像１７Ｌと仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとを合成した仮想視点画像が仮想視点画像表示領域１７に表示される。
【００６５】
一方、カメラスルー画像表示領域１８にはバケット監視カメラ１３Ｆが撮影しているカメラスルー画像が表示される。このカメラスルー画像は仮想視点変換を行っていない、バケット監視カメラ１３Ｆが撮影している画像になる。表示画像生成部２５は仮想視点画像およびカメラスルー画像を表示画像として表示部１５に出力する。表示部１５はこの表示画像を表示することで、図３に示すような画像が画面上に表示される。
【００６６】
このとき、入力部１６を構成する各スイッチ１６ａ〜１６ｅのうち、スイッチ１６ｅが選択されていることが視覚的に明示される。そして、このスイッチ１６ｅはバケット監視カメラ１３Ｆの画像を選択していることを示しており、これによりオペレータは直感的にカメラスルー画像表示領域１８に表示されているカメラスルー画像はバケット監視カメラ１３Ｆが撮影している画像であることを認識することができる。
【００６７】
次に、オペレータがスイッチ１６ｄを押下したときには、このスイッチ１６ｄに対応するカメラスルー画像、すなわち右方カメラ１３Ｒが撮影しているカメラ画像がカメラスルー画像表示領域１８に表示されることが認識される。スイッチ１６ｄが押下されたときのモニタ１４を図５に示す。図６は、オペレータがスイッチ１６ｃを押下したときのモニタ１４を示している。この場合は、スイッチ１６ｃに対応するカメラスルー画像、すなわち後方カメラ１３Ｂが撮影しているカメラ画像がカメラスルー画像表示領域１８に表示される。また、図７は、オペレータがスイッチ１７Ｂを押下したときにモニタ１４を示している。この場合は、スイッチ１７Ｂに対応するカメラスルー画像、すなわち左方カメラ１３Ｌが撮影しているカメラ画像がカメラスルー画像表示領域１８に表示される。
【００６８】
図５乃至図７の仮想視点画像および図６のカメラスルー画像には、固定的或いは動的な障害物として、作業員Ｍを示している。ここでは、オペレータは後方カメラ１３Ｂを選択するスイッチ１６ｃを押下しており、図６に示すように後方カメラ１３Ｂのカメラスルー画像がカメラスルー画像表示領域１８に表示されている。この図に示すように、油圧ショベル１の後方に作業員Ｍが立地しており、カメラスルー画像には作業員Ｍが映し出されている。
【００６９】
仮想視点画像は後方カメラ１３Ｂおよび左右のカメラ１３Ｒ、１３Ｌの視点を仮想的に上方に設置したときに水平面で展開した画像である。図６の場合は、作業員Ｍは後方カメラ１３Ｂの中央寄りに立地しており、このため仮想視点後方画像１７Ｂに作業員Ｍが水平面で展開された形で表示されている。
【００７０】
この状態で、オペレータは操作レバー群３３を操作して、下部走行体４に対して上部旋回体５を旋回させる。上部旋回体５を旋回させると、各カメラ１３Ｂ、１３Ｒ、１３Ｌが撮影する視野が変化する。図８ａ）は最初の旋回していない状態（つまり、図６の状態）を示しているが、上部旋回体５を旋回することによって、カメラスルー画像および仮想視点画像が変化する。
【００７１】
同図ａ）の状態から旋回して、同図ｂ）の状態になり、さらに旋回すると同図ｃ）の状態になる。これにより、カメラスルー画像では作業員Ｍの立地位置が中央寄りの位置から左端部に向けて移動する。仮想視点画像も旋回と共に変化する。図７ａ）の状態では、作業員Ｍは後方カメラ１３Ｂの範囲内に完全に入っているため、仮想視点後方画像１７Ｂにも作業員Ｍの像は表示されている。
【００７２】
一方、旋回を行うと共に、作業員Ｍの像は境界ライン１９Ｌに侵入し、仮想視点後方画像１７Ｂから部分的に退出する。これにより、仮想視点画像からは作業員Ｍの像が部分的に消失することになる。仮想視点画像は視点を仮想的に上方に設置したときに水平面方向に展開した画像になる。そうすると、後方カメラ１３Ｂと左方カメラ１３Ｌとの視野範囲の境界部に作業員Ｍが位置すると、仮想視点画像としては、その上部が消失して映し出されなくなる。このために、図８ｂ）の仮想視点画像に示されるように、境界ライン１９Ｌに位置している作業員Ｍは殆ど見えなくなっている。
【００７３】
図８ｃ）は同図ｂ）からさらに旋回した場合であり、仮想視点後方画像１７Ｂから作業員Ｍの像は完全に退出しているが、仮想視点左方画像１７Ｌに作業員Ｍの像の一部が出現している。ただし、この場合でも作業員Ｍの像は一部が境界ライン１９Ｌに掛かっており、その一部は消失している。従って、作業員Ｍの位置によっては、その像の一部または全部が仮想視点画像から消失する。このため、モニタ１４に仮想視点画像のみが表示されている場合には、作業員Ｍの位置によって、その像を仮想視点画像では認識できなくなる。
【００７４】
なお、ここでは、上部旋回体５を旋回することによって、各カメラ１３Ｂ、１３Ｒ、１３Ｆの視野に対して作業員Ｍが移動する場合を示したが、上部旋回体５を旋回させることなく、作業員Ｍが移動した場合でも同様に仮想視点画像から作業員Ｍの像が一部または全部が消失することがある。
【００７５】
従って、仮想視点画像のみによっては、作業員Ｍを認識できない場合がある。そこで、モニタ１４には仮想視点画像だけでなく、仮想視点変換を行っていない後方カメラ１３Ｂが撮影しているカメラスルー画像を表示している。作業員Ｍが境界ライン１９Ｌ、１９Ｒに位置することで、仮想視点画像からは作業員Ｍの像が一部または全部が消失することがあるが、カメラスルー画像は仮想視点変換を行っていない生の画像になる。このカメラスルー画像には、後方カメラ１３Ｂの視野の範囲内であれば、作業員Ｍが明確に映し出されている。よって、仮想視点画像では作業員Ｍの像を認識できなくても、カメラスルー画像で作業員Ｍを明確に認識できる。
【００７６】
仮想視点画像表示領域１７には仮想視点画像を表示する。これにより、油圧ショベル１の周囲を上部から見下ろした画像が得られるため、油圧ショベル１と障害物（固定部や作業員Ｍ等）との位置関係を明示的に認識することができる。このため、油圧ショベル１の周囲の状況を的確に把握することができるため、作業の安全性を良好に確保することができる。
【００７７】
このときに、仮想視点画像では境界ライン１９Ｌ、１９Ｒに障害物が位置すると、その立体物の上部が仮想視点画像から消失して、認識できなくなるおそれがある。このために、仮想視点画像を生成するためのカメラ画像をそのままカメラスルー画像として仮想視点画像と同時に表示することで、障害物の消失が発生したとしても、カメラスルー画像で明確に障害物の存在を認識することができる。これにより、作業機の周囲の状況を正確且つ良好な視認性でオペレータに認識させることができ、作業の安全性および作業効率を向上させることができる。
【００７８】
次に、モニタ１４の入力部１６を構成する各スイッチのうちスイッチ１６ａを押下した場合について説明する。スイッチ１６ａはカメラスルー画像に重畳表示する仮想視点範囲と消失範囲とを表示させるか否かを選択するためのスイッチである。オペレータはこのスイッチ１６ａを押下することにより、仮想視点範囲および消失範囲のガイドパターンの表示態様を選択する。スイッチ１６ａを押下すると、自身のスイッチが押下されたことを示すためにスイッチ１６ａは点灯する。そして、スイッチ１６ａを押下する毎にパターンの切り替えを行う。
【００７９】
図９はガイドパターンと表示内容との関係を示している。スイッチ１６ａを１回押下する毎に、パターンＡ、パターンＢ、パターンＣ、パターンＤと変化し、パターンＤのときにスイッチ１６ａを押下すると、パターンＡに戻る。なお、パターンＤが選択されたときには、スイッチ１６ａを点灯させないようにしている。
【００８０】
スイッチ１６ａの押下によりパターンＡが選択されたときには仮想視点範囲のみがカメラスルー画像に重畳表示され、パターンＢが選択されたときには消失範囲のみがカメラスルー画像に重畳表示され、パターンＣが選択されたときには仮想視点範囲および消失範囲の両者がカメラスルー画像に重畳表示され、パターンＤが選択されたときには仮想視点範囲と消失範囲との何れもがカメラスルー画像に重畳表示されない。
【００８１】
スイッチ１６が１回押下されると、パターンＡが選択される。つまり、仮想視点範囲のみがカメラスルー画像に重畳表示される。表示コントローラ２０の画像整形部２６は入力部１６のスイッチ１６ａの押下により、パターンＡが選択されたことを認識する。画像整形部２６は、これにより画像補正部２２から送られる後方カメラ１３Ｂの画像をカメラスルー画像として、このカメラスルー画像に仮想視点範囲を重畳表示する。
【００８２】
図１０に示すように、仮想視点範囲４１は、カメラスルー画像の表示内容のうち、仮想視点左方画像１７Ｌ、仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒの範囲を示している。仮想視点画像は視点を上方に仮想的に設置したときにおける水平面に展開した画像であり、カメラスルー画像の表示系に変換すると、仮想視点左方画像１７Ｌ、仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒが後方カメラ１３Ｂのカメラスルー画像に映し出される。そこで、カメラスルー画像における仮想視点範囲４１は、仮想視点左方画像１７Ｌの範囲（仮想視点左方範囲４１Ｌ）と仮想視点後方画像１７Ｂの範囲（仮想視点後方範囲４１Ｂ）と仮想視点右方画像１７Ｒ（仮想視点右方範囲４１Ｒ）とを有している
【００８３】
図１０はカメラスルー画像に後方カメラ１３Ｂが撮影しているカメラ画像を示しており、このカメラスルー画像の中央に仮想視点後方範囲４１Ｂが形成されており、その左右の仮想視点左方範囲４１Ｌおよび仮想視点右方範囲４１Ｒの一部が形成されている。このカメラスルー画像と各仮想視点範囲４１とは一定の関係にあり、予め得ることができる。
【００８４】
そこで、画像整形部２６は、カメラスルー画像に仮想視点後方範囲４１Ｂ、仮想視点右方範囲４１Ｒ、仮想視点左方範囲４１Ｌをガイドパターンとして表示する。図１０では破線で示した領域がガイドパターンになる。これにより、オペレータはガイドパターンを視認することにより、カメラスルー画像における仮想視点後方範囲４１Ｂ、仮想視点右方範囲４１Ｒ、仮想視点左方範囲４１Ｌを視覚的に認識することができる。
【００８５】
このとき、作業員Ｍが仮想視点画像間の境界ライン１９Ｌ、１９Ｒに位置すると、仮想視点画像からは立体物の上部が消失し、仮想視点画像から作業員Ｍが部分的或いは全部が消失することがある。このときに、ガイドパターンの境界、つまり仮想視点後方範囲４１Ｂと仮想視点右方範囲４１Ｒとの間、或いは仮想視点後方範囲４１Ｂと仮想視点左方範囲４１Ｌとの間の境界に作業員Ｍが位置していることが、カメラスルー画像を視認することにより把握することができる。図１０ａ）では作業員Ｍはカメラスルー画像の仮想視点後方範囲４１Ｂに入っていることがガイドパターンを視認することにより、認識できる。
【００８６】
一方、上部旋回体５を旋回させることにより、図１０ｂ）に示すように、作業員Ｍは仮想視点後方範囲４１Ｂから退出しつつある。オペレータはカメラスルー画像の仮想視点後方範囲４１Ｂを示すガイドパターンを視認することにより、作業員Ｍの消失の可能性を視覚的に認識することができる。つまり、仮想視点画像では作業員Ｍの像は殆ど消失しているが、カメラスルー画像に基づいて、作業員Ｍが境界ライン１９Ｌに位置していることから、部分的に作業員Ｍの像が消失していることがオペレータに認識される。
【００８７】
図１０ｃ）では、作業員Ｍが仮想視点後方範囲４１Ｂから完全に外れているが、仮想視点左方範囲４１Ｌには一部が出現していることをカメラスルー画像のガイドパターンを視認することにより、認識することができる。従って、仮想視点後方画像１７Ｂと仮想視点左方画像１７Ｌとの境界ライン１９Ｌに作業員Ｍが位置しており、仮想視点画像から作業員Ｍが消失するおそれがあることをオペレータに認識させることができる。
【００８８】
次に、スイッチ１６ａを押下したときに、パターンＢに移行する。パターンＢでは消失範囲のみが表示される。消失範囲４２は、仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲であり、図１１では消失範囲４２に作業員Ｍが位置したときには、仮想視点画像から作業員Ｍの像の一部が消失する。消失範囲４２は仮想視点範囲４１と同じく、カメラスルー画像の中で決まった範囲になり、画像整形部２６はカメラスルー画像に消失範囲４２を重畳表示する。
【００８９】
図１１ａ）に示すように、カメラスルー画像において、作業員Ｍが消失範囲４２に位置していない場合には、仮想視点画像にも作業員Ｍが消失することなく表示されている。一方、上部旋回体５を旋回することにより、カメラスルー画像における作業員Ｍの位置が変化して、作業員Ｍはカメラスルー画像の中央寄りの位置から左端部に向けて移動する。このとき、仮想視点画像では作業員Ｍの像は境界ライン１９Ｌに位置している。これにより、図１１ｂ）に示すように、仮想視点画像では作業員Ｍの殆どが消失している。
【００９０】
この状態からさらに上部旋回体５を旋回すると、カメラスルー画像はさらに左端部に移動する。このとき、仮想視点後方画像１７Ｂからは作業員Ｍは完全に消失しているが、仮想視点左方画像１７Ｌに作業員Ｍが出現している。カメラスルー画像においては、作業員Ｍが消失範囲４２に位置しており、仮想視点左方画像１７Ｌに作業員Ｍの像が部分的に表示されている。従って、カメラスルー画像に消失範囲４２を重畳表示することで、仮想視点画像から障害物（作業員Ｍ）が消失する可能性があることを、オペレータは視覚的に認識することができる。
【００９１】
図１０に示した仮想視点範囲４１のガイドパターンと図１１に示した消失範囲４２のガイドパターンとは表示態様を変化させている。図１０および図１１では、仮想視点範囲４１のガイドパターンを破線で示し、消失範囲４２のガイドパターンを破線の中に網掛けで示している。仮想視点範囲４１は障害物が仮想視点画像の中に入っているか否かを示しており、消失範囲４２は障害物が消失する可能性がある範囲を示している。従って、両者の範囲は異なるものであり、これらを区別するために表示態様を変化している。勿論、ガイドパターンの表示態様を変化させる手法は、図１０および図１１の態様に限らず、任意の手法を用いることができる。
【００９２】
次に、オペレータがスイッチ１６ａを押下すると、パターンＣに移行する。パターンＣでは仮想視点範囲４１と消失範囲４２との両者をカメラスルー画像に重畳表示している。画像整形部２６は仮想視点範囲４１と消失範囲４２との両者をカメラスルー画像に重畳表示する。消失範囲４２は仮想視点左方範囲４１Ｌと仮想視点後方範囲４１Ｂとの間の領域であり、また仮想視点後方範囲４１Ｂと仮想視点右方範囲４１Ｒとの間の領域である。よって、仮想視点範囲４１と消失範囲４２とにより連続的な領域が形成される。
【００９３】
前述した場合と同様に、ここでも仮想視点範囲４１と消失範囲４２とでガイドパターンの表示態様を変化させている。これにより、カメラスルー画像において、仮想視点範囲４１と消失範囲４２とのそれぞれの領域を視覚的に区別して表示することができる。仮想視点範囲４１と消失範囲４２とを異なるガイドパターンで表示することで、仮想視点画像の範囲および障害物が消失する範囲を視覚的に認識できる。
【００９４】
仮想視点範囲４１と消失範囲４２との両者を表示することで、仮想視点範囲４１の障害物が消失しない範囲と消失範囲４２の障害物が消失する可能性のある範囲とを視覚的にオペレータに認識させることができる。これにより、オペレータは多くの情報を得ることができ、より正確に油圧ショベル１の周囲の状況を認識することができる。
【００９５】
次に、オペレータがスイッチ１６ａを押下すると、パターンＤに移行する。このとき、スイッチ１６ａは点灯しなくなる。パターンＤは仮想視点範囲４１と消失範囲４２との両者をカメラスルー画像に表示しないモードになる。従って、パターンＤの場合は、画像整形部２６はガイドパターンを重畳表示することなく、そのままのカメラ画像を表示画像生成部２５に出力する。従って、この場合は、仮想視点範囲４１と消失範囲４２との両者がカメラスルー画像に表示されないため、ガイドパターンによる作業員Ｍの消失の可能性は明示的には表示されない。
【００９６】
ただし、熟練度（習熟度）の高いオペレータであれば、仮想視点画像およびカメラスルー画像に基づいて、作業員Ｍの消失の可能性があるかを判断できる。この場合には、カメラスルー画像にガイドパターンを表示することは、熟練度の高いオペレータにとっては却って視認性を低下させる要因となる。このために、パターンＤを選択することにより、ガイドパターンを表示させずに、後方カメラ１３Ｂのカメラ画像そのものを表示させる。
【００９７】
一方、熟練度の低いオペレータは、パターンＡ、Ｂ或いはＣを選択することで、カメラスルー画像に仮想視点範囲４１、消失範囲４２といったガイドパターンを表示することで、油圧ショベル１の周囲の状況を正確且つ良好な視認性で認識できるようになる。従って、熟練度に応じて、表示させる態様（パターン）を選択可能に構成することで、オペレータの技量或いは志向に応じた表示態様を選択することができる。
【００９８】
次に、変形例について説明する。本変形例の表示コントローラ２０を図１３に示す。本変形例の表示コントローラ２０は、図４で示した表示コントローラ２０に障害物検出部５１を追加している。その他の構成は図４の表示コントローラ２０と同じである。障害物検出部５１は画像補正部２２の後段に設けており、障害物検出部５１で障害検出処理を行ったカメラ画像が視点変換部２３および画像整形部２６に出力される。
【００９９】
障害物検出部５１は画像補正部２２が補正処理したカメラ画像から障害物（作業員や車両等）といった特徴点を検出して、検出した障害物の周囲にマーク５２を重畳表示する。図１４はパターンＤにおける仮想視点画像およびカメラスルー画像に表示されている作業員Ｍに楕円形のマーク５２を重畳表示している。マーク５２は障害物の周囲に形成されるものであれば、楕円形ではなく、円形或いは四角形であってもよい。
【０１００】
図１４ａ）に示すように、仮想視点画像およびカメラスルー画像の作業員Ｍの周囲に楕円形のマーク５２を重畳表示している。この状態から、上部旋回体５が旋回すると、図１４ｂ）に示すように、仮想視点画像では作業員Ｍの像が境界ライン１９Ｌに位置し、カメラスルー画像では作業員Ｍが画面中央から端部に移動する。このとき、仮想視点画像では作業員Ｍの像の殆どが消失しているため、作業員Ｍの像自体は認識することが困難になっている。しかし、作業員Ｍの像の周囲にはマーク５２が表示されており、作業員Ｍの像が見えなくなったとしても、マーク５２は表示されているため、このマーク５２に基づいて作業員Ｍの存在をオペレータは認識することができる。また、カメラスルー画像にも作業員Ｍの周囲にマーク５２を形成しており、オペレータは作業員Ｍの存在を認識することができる。
【０１０１】
図１４ｃ）の場合も同様であり、仮想視点後方画像１７Ｂからは作業員Ｍの像は完全に退出しており、仮想視点左方画像１７Ｌの一部に作業員Ｍの像が出現している。従って、仮想視点左方画像１７Ｌには作業員Ｍの像が部分的に表示されており、作業員Ｍの像自体ではその存在を認識することは困難である。このとき、マーク５２を表示していることで、作業員Ｍの存在をオペレータが容易に認識することができる。また、カメラスルー画像にも作業員Ｍの周囲にマーク５２を形成していることから、オペレータはその存在を認識することができる。
【０１０２】
また、図１５のパターンＡのときの仮想視点画像およびカメラスルー画像、そして図１６のパターンＢのときの仮想視点画像およびカメラスルー画像、さらに図１７のパターンＣのときの仮想視点画像およびカメラスルー画像に、作業員Ｍの周囲にマーク５２を形成することで、オペレータはその存在を容易に認識することができる。且つ、マーク５２と仮想視点範囲４１、消失範囲４２とに基づいて、作業員Ｍが消失する可能性を容易に認識することができる。これにより、オペレータは油圧ショベル１の周囲の状況を明確に認識することができ、作業の安全性確保および作業の安全性の向上を図ることができる。
【符号の説明】
【０１０３】
１ 油圧ショベル
３ フロント作業機
４ 下部走行体
５ 上部旋回体
６ 運転室
１０ ブーム
１１ アーム
１２ バケット
１３B 後方カメラ
１３L 左方カメラ
１３R 右方カメラ
１３Ｆ バケット監視カメラ
１４ モニタ
１５ 表示部
１６ 入力部
１７Ｂ 仮想視点後方画像
１７Ｌ 仮想視点左方画像
１７Ｒ 仮想視点右方画像
１６ａ〜１６ｅ スイッチ
１７ 仮想視点画像表示領域
１８ カメラスルー画像表示領域
１９Ｌ、１９Ｒ 境界ライン
２０ 表示コントローラ
２１ 記憶保持部
２２ 画像補正部
２３ 視点変換部
２４ 画像合成部
２５ 表示画像生成部
２６ 画像整形部
４１ 仮想視点範囲
４１Ｂ 仮想視点後方範囲
４１Ｌ 仮想視点左方範囲
４１Ｒ 仮想視点右方範囲
４２ 消失範囲
５１ 障害物検出部
５２ マーク
【技術分野】
【０００１】
本発明は、作業機の安全確保等のために設けられ、作業機の周囲の状況を監視する作業機の周囲監視装置に関するものである。
【背景技術】
【０００２】
作業機の一例としての油圧ショベルは、自走式の作業機であって、クローラ式またはホイール式の走行手段を有する下部走行体を備えている。下部走行体には旋回装置を介して上部旋回体が設置されている。上部旋回体には土砂の掘削等の作業を行うための作業手段が設けられている。この作業手段は、上部旋回体に俯抑動作可能に連結したブームと、このブームの先端に上下方向に回動可能に連結したアームとを備えており、土砂の掘削等の作業を行うバケットがアタッチメントとして、アームの先端にリンク機構を介して連結されている。これらにより、多関節作業機構を構成している。
【０００３】
油圧ショベル等の自走式作業機において、作業の安全を確保して、作業機の操作性の向上を図るために、旋回体の周囲の状況を監視する周囲監視装置を設けたものが従来から用いられている。この周囲監視装置は、カメラを上部旋回体に装着すると共に、運転室において、オペレータ（運転者）が着座する運転室の前方位置にモニタを設置することにより構成している。このモニタにはカメラが撮影した画像が動画状態の映像として表示される。
【０００４】
ところで、カメラは上部旋回体に固定的に保持されており、その視野範囲は限定されている。作業対象となる前方位置の視野が必要なのは当然のことであるが、上部旋回体の後方および左右の両側方の視野を得るために、上部旋回体には複数のカメラ装着する構成としている。これにより、上部旋回体のほぼ全周に渡る視野を確保することができ、作業の安全確保および作業機の操作性の向上を図っている。
【０００５】
この種の作業機の周囲監視装置が特許文献１に開示されている。この特許文献１の技術では、油圧ショベルの右側方、左側方、後方を撮影する各カメラを設ける構成としており、各カメラの画像に対して、カメラの視点を上方に仮想的に移動したときの仮想視点画像（俯瞰画像）を表示するようにしている。この仮想視点画像を表示することにより、動的或いは固定的な障害物と作業機までの距離を正確に把握することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４８６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で示されるように、作業機の上方に仮想視点をおいた仮想視点画像を生成して表示することで、障害物と作業機までの距離を一見して正確に把握することができる。これにより、作業機の周囲の状況をオペレータが認識できるようになり、作業の安全性を向上させる点で極めて高い効果を奏する。特許文献１では、複数のカメラの仮想視点画像を合成してパノラマ画像を構成し、現在のパノラマ画像と過去のパノラマ画像とを重ね合わせることにより、表示用のパノラマ画像を生成している。
【０００８】
ところで、パノラマ画像は複数の仮想視点画像を合成して生成されるものであるが、各仮想視点画像の元となる画像は異なる視野を撮影しているカメラになる。つまり、作業機の車体の左右側方および後方を視野とするそれぞれのカメラが撮影した画像を上方に仮想視点をおいて水平面に展開した画像が仮想視点画像になる。このとき、後方の仮想視点画像と側方の仮想視点画像との間の境界部は、後方のカメラと側方のカメラとで視野範囲が部分的に重複している。これにより、仮想視点画像で表示されない領域をなくすようにしている。
【０００９】
しかし、仮想視点画像は、斜め上方から撮影しているカメラの視点を上方に仮想的に設置した場合に水平面方向に展開した画像であり、仮想視点画像間の境界部に立体物が存在する場合、その立体物の上部（地面より高い部分）が仮想視点画像から消失する可能性がある。この場合には、仮想視点画像を合成して表示したパノラマ画像において、境界部に位置している立体物の上部が表示されないことになる。従って、実際には作業機の近傍に固定的或いは動的な障害物が存在するにもかかわらず、仮想視点画像から障害物が消失し、オペレータは障害物の存在を認識することができなくなる。これにより、作業機の周囲の状況を的確に監視することができなくなる。
【００１０】
また、仮想視点画像間の境界部に障害物が存在している場合、立体物の全部ではなく一部が仮想視点画像に表示されなくなることもある。この場合には、仮想視点画像から障害物の一部が消失するが、一部は仮想視点画像に出現している状態になる。ただし、仮想視点画像には障害物の一部のみが表示されており、オペレータは仮想視点画像を注意して視認していなければ、やはり障害物の存在を見落としてしまうことがある。これにより、オペレータが直感的に障害物の存在を把握できないことから、作業機の周囲の状況を十分に監視することができなくなる。
【００１１】
そこで、本発明は、作業機の周囲の状況を正確且つ良好な視認性で監視して、作業機の安全性や作業効率を向上させることを目的とする。
【課題を解決するための手段】
【００１２】
以上の課題を解決するため、本発明の作業機の周囲監視装置は、走行体に対して旋回可能な旋回体にフロント作業機を設けた作業機の周囲を監視するための作業機の周囲監視装置であって、前記旋回体に複数台が設けられ、そのうち２台が相互に視野範囲を部分的に重複するように設けた複数台のカメラと、前記各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像を生成する視点変換部と、前記視点変換部が生成した複数の前記仮想視点画像をそれぞれに対応した表示領域に表示するように合成した合成画像を生成する画像合成部と、前記合成画像を第１の画像として、前記各カメラのうち何れか１つのカメラが撮影している画像であり前記仮想視点画像間の境界線を視野内に含む画像を第２の画像として、前記第１の画像と前記第２の画像との両者を含む表示画像を生成する表示画像生成部と、前記表示画像生成部が生成した前記表示画像を画面上に表示するモニタと、を備えていることを特徴とする。
【００１３】
この作業機の周囲監視装置によれば、第１の画像と第２の画像との両者をモニタに表示することで、仮想視点画像の境界部に障害物が存在していることにより仮想視点画像から障害物の一部または全部が消失したとしても、障害物の存在を第２の画像で明確に認識することができる。これにより、オペレータに作業機の周囲の状況を正確且つ良好な視認性で認識させることができ、安全性や作業効率を向上させることができる。
【００１４】
また、前記表示画像生成部は、前記第２の画像の中での前記各仮想視点画像の表示範囲を示す仮想表示範囲を前記第２の画像に対して重畳表示をすることを特徴とする。
【００１５】
第２の画像の表示系で、各仮想視点画像の範囲を仮想表示範囲として重畳表示することで、この仮想表示範囲と障害物との関係で、障害物の消失の可能性をオペレータは明確に認識することができる。これにより、作業機の周囲の状況をより正確且つ良好な視認性で認識でき、安全性や作業効率を向上させることができる。
【００１６】
また、前記表示画像生成部は、前記第２の画像の中での隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示することを特徴とする。
【００１７】
第２の画像の表示系で、隣接する仮想視点画像間の領域のうち立体物が消失する可能性のある範囲を示す消失範囲として重畳表示することで、消失範囲内に障害物が存在しているか否かにより、障害物の消失の可能性をオペレータは明確に認識できる。これにより、作業機の周囲の状況をより正確且つ良好な視認性で認識でき、安全性や作業効率を向上させることができる。
【００１８】
また、前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲および隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示し、前記仮想表示範囲と前記消失範囲とを異なる表示形式で表示させることを特徴とする。
【００１９】
第２の画像に仮想表示範囲と消失範囲との両者を表示することで、仮想範囲および消失範囲と障害物との関係をさらに明確にオペレータは認識することができる。これにより、作業機の周囲の状況を正確且つ良好な視認性で認識でき、安全性や作業効率を向上させることができる。
【００２０】
また、前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲と隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲との何れか一方または両方を前記第２の画像に対して重畳表示することを可能にして、前記仮想表示範囲と前記消失範囲との両者を重畳表示するときにはこれらを異なる表示形式で表示し、前記仮想表示範囲と前記消失範囲との何れか一方を表示するモードと両者を表示するモードと何れも表示しないモードとを切り替え可能に構成したことを特徴とする。
【００２１】
熟練度の低いオペレータであれば、仮想表示範囲と消失範囲との何れか一方または両方を第２の画像に重畳表示することで、障害物の消失の可能性をオペレータに認識させるアシストを行なうことができる。一方、熟練度の高いオペレータであれば、仮想表示範囲と消失範囲とを表示しなくても障害物の消失の可能性を認識することができ、却って第２の画像の視認性を低下させる。このため、オペレータの熟練度によって最適な表示態様を選択することができる。
【００２２】
また、前記カメラが取得した前記カメラ画像に基づいて障害物を検出する障害物検出部を備え、前記表示画像生成部は、前記障害物検出部が検出した前記障害物の周囲に形成するマークを前記第１の画像と前記第２の画像との何れか一方または両方に重畳表示することを特徴とする。
【００２３】
障害物を示すマークを第１の画像、第２の画像に重畳表示することで、仮想視点画像から障害物が部分的に消失しても、マークは表示されているため、このマークに基づいてオペレータは障害物を認識することができる。これにより、オペレータは障害物を確実に認識することができ、作業機の周囲の状況を認識することができる。
【発明の効果】
【００２４】
本発明は、カメラが撮影した仮想視点画像だけでなく、この仮想視点画像を生成するための元となるカメラが撮影した画像をモニタに表示することで、仮想視点画像間の境界に立体物が存在することによって立体物の上部が消失したとしても、カメラの画像からオペレータは障害物を認識することができる。これにより、作業機の周囲の状況を正確且つ良好な視認性でオペレータに認識させることができ、作業の安全性および作業効率を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】作業機の一例としての油圧ショベルを示す外観図である。
【図２】油圧ショベルの正面図である。
【図３】バケット監視カメラの画像が選択されているときのモニタの一例を示す図である。
【図４】表示コントローラおよびこれに接続される各部のブロック図である。
【図５】右方カメラの画像が選択されているときのモニタの一例を示す図である。
【図６】後方カメラの画像が選択されているときのモニタの一例を示す図である。
【図７】左方カメラの画像が選択されているときのモニタの一例を示す図である。
【図８】上部旋回体を旋回したときのモニタの画面例を示す図である。
【図９】各パターンにおけるカメラスルー画像に重畳表示される内容を示す図である。
【図１０】パターンＡにおけるモニタの画面例を示す図である。
【図１１】パターンＢにおけるモニタの画面例を示す図である。
【図１２】パターンＣにおけるモニタの画面例を示す図である。
【図１３】変形例における表示コントローラおよびこれに接続される各部のブロック図である。
【図１４】変形例におけるパターンＤのモニタの画面例を示す図である。
【図１５】変形例におけるパターンＡのモニタの画面例を示す図である。
【図１６】変形例におけるパターンＢのモニタの画面例を示す図である。
【図１７】変形例におけるパターンＣのモニタの画面例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施形態について説明する。以下において、作業機としてクローラ走行手段を有する油圧ショベルを適用した例を説明するが、例えばホイールローダ等の油圧ショベル以外の作業機を適用することもできる。また、油圧ショベルはクローラ式の走行手段ではなく、ホイール式の走行手段を有しているものであってもよい。
【００２７】
図１に示すように、油圧ショベル１は車体２とフロント作業機３とを有して構成している。車体２は下部走行体４と上部旋回体５とを有しており、下部走行体４と上部旋回体５との間には旋回装置が設けられている。上部旋回体５にはオペレータが搭乗して油圧ショベル１を操作するための運転室６が設置されており、また土砂の掘削等の作業を行うフロント作業機３が運転室６の右手において、ほぼ並ぶような位置に上部旋回体５に設けられている。上部旋回体５には、運転室６およびフロント作業機３の後方位置に建屋７等が設けられており、最後端部にはカウンタウェイト８が設置されている。
【００２８】
フロント作業機３はブーム１０とアーム１１とバケット１２とを有して構成される土砂の掘削作業手段である。ブーム１０は、その基端部が上部旋回体５のフレームに連結ピンにより軸支されて俯抑動作可能となっている。ブーム１０の先端にはアーム１１が上下方向に回動可能に連結されており、ブーム１０の先端にはバケット１２が回動可能に連結されている。ブーム１０の俯抑動作は油圧シリンダ１０ａを駆動することにより行われる。また、アーム１１は油圧シリンダ１１ａにより、バケット１２は油圧シリンダ１２ａにより駆動される。
【００２９】
オペレータは、運転室６で前方を向いた状態で操作を行うものであり、上部旋回体５の前方には十分広い視野が確保されている。また、運転室６の左側における斜め前方の視野も確保されている。ただし、左側であっても、斜め後方については、オペレータは振り返るようにしなければ直接視認することができない。また、運転室６の右側においては、フロント作業機３が設置されており、視野のかなり部分がブーム１０により妨げられ、実質的に肉眼による視認を行うことができない。
【００３０】
さらに、上部旋回体５の後方については、建屋７およびカウンタウェイト８が位置しており、オペレータは運転室６の内部で振り返るようにしなければ視野を得ることができない。且つ、建屋７およびカウンタウェイト８の上面は高い位置となっており、オペレータは運転室６の内部で振り返る姿勢を取ったとしても、視野が得られるのは遠い位置であり、上部旋回体５に近い位置を視認することができない。
【００３１】
そこで、上部旋回体５の後方、左側方および右側方の監視を可能にするために、監視用のカメラ１３Ｂ（後方カメラ１３Ｂ）、カメラ１３Ｒ（右方カメラ１３Ｒ）、カメラ１３Ｌ（左方カメラ１３Ｌ）の３台のカメラを、補助的に視野を確保するために設けている。すなわち、カウンタウェイト８の上面において、左右のほぼ中間位置に後方カメラ１３Ｂを設置し、建屋７の左方向の上面には左方カメラ１３Ｌを、上部旋回体５の右側の建屋７またはタンクの上面に右方カメラ１３Ｒを設置している。
【００３２】
後方カメラ１３Ｂは上部旋回体５の後方の広い範囲の画像を取得し、この後方カメラ１３Ｂと左方カメラ１３Ｌと右方カメラ１３Ｒとによって、上部旋回体５の運転室６の内部で、オペレータが無理のない姿勢で得られる前方視野を除くほぼ全周に渡る視野が得られることになる。また、アーム１１の下部にはバケット１２を視野とするカメラ１３Ｆ（バケット監視カメラ１３Ｆ）が設けられている。
【００３３】
各カメラ１３Ｂ、１３Ｒ、１３Ｌのレンズの視野角とそれらの配設位置とによって、少なくとも各レンズの視野範囲の一部がオーバラップするように設定されている。具体的には、後方カメラ１３Ｂの視野角の左右の両側部分が左右のカメラ１３Ｒ、１３Ｌの視野角とが部分的に重複するようにしている。これにより、上部旋回体５の周囲において、ブラインドとなる箇所がなくなる。
【００３４】
そして、運転室６の内部にはモニタ１４が設置されており、各カメラ１３Ｂ、１３Ｒ、１３Ｌから取得した画像がモニタ１４に動画状態にして表示される。モニタ１４には、各カメラ１３Ｂ、１３Ｒ、１３Ｌで取得したカメラ画像がそのままの画像（カメラスルー画像）として表示され、且つ上方視点となるように視点変換された画像（仮想視点画像）としても表示される。カメラスルー画像と仮想視点画像とは１つの画面で両者が同時に表示される。
【００３５】
ここで、後方カメラ１３Ｂを例に取ると、図２に示したように、後方カメラ１３Ｂが上部旋回体５の後方に対して角度θを持った斜め下方に対物レンズの光軸を向けている。このときに、油圧ショベル１の下部走行体４の接地面をＬとし、この接地面Ｌに対して角度θを持ったカメラ画像を得ることができる。この接地面Ｌを仮想平面とした仮想視点ＶＦの光軸が垂直方向（水平面と直交する方向）になるように座標変換した画像が仮想視点画像として生成される。つまり、仮想視点ＶＦから接地面Ｌを見下ろした仮想的な画像が仮想視点画像となる。
【００３６】
これにより、角度θを持った斜め上方からのカメラ画像が仮想視点画像（或いは俯瞰画像）に変換されて、モニタ１４に表示される。また、左右の両側カメラ１３Ｒ、１３Ｌも後方カメラ１３Ｂと同様に、接地面Ｌに対する光軸の傾斜角はθとする。後方カメラ１３Ｂは上部旋回体５の後方に向いているのに対して、左右のカメラ１３Ｒ、１３Ｌは側方に向いている。つまり、仮想平面としての接地面Ｌに対する後方カメラ１３Ｂの方向と左右両側のカメラ１３Ｌ、１３Ｒとでは概ね９０度異なっている。つまり、各カメラ１３Ｂ、１３Ｒ、１３Ｌは撮影する方向がそれぞれ９０度異なるようにしている。
【００３７】
なお、ここでは、カメラ１３Ｂ、１３Ｒ、１３Ｌが撮影する視野の方向は９０度異なるようにしているが、９０度ではなくても、視野の方向が異なれば任意の角度とすることができる。また、各カメラ１３Ｂ、１３Ｒ、１３Ｌは上部旋回体５の任意の位置に設置することができる。
【００３８】
図３はモニタ１４の構成を示している。この図に示すように、モニタ１４は画像が表示される表示部１５とスイッチを設けた入力部１６とを有して構成している。表示部１５は仮想視点画像表示領域１７とカメラスルー画像表示領域１８とを有している。仮想視点画像表示領域１７は仮想視点画像を表示する領域である。仮想視点画像は第１の画像であり、油圧ショベルの平面図を図形化した作業機画像１７Ｍを中央の位置に表示している。作業機画像１７Ｍの周囲の領域には、カメラ１３Ｂ、１３Ｒ、１３Ｌで取得したカメラ画像に基づいて視点変換した仮想視点画像が表示される。
【００３９】
仮想視点画像は、後方カメラ１３Ｂが撮影したカメラ画像に基づく仮想視点画像である仮想視点後方画像１７Ｂと、右方カメラ１３Ｒで撮影したカメラ画像に基づく仮想視点画像である仮想視点右方画像１７Ｒと、左方カメラ１３Ｌで撮影したカメラ画像に基づく仮想視点画像である仮想視点左方画像１７Ｌとを有している。そして、仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとの間には境界部としての境界ライン１９Ｒ、仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとの間には境界部としての境界ライン１９Ｌが形成されている。
【００４０】
一方、カメラスルー画像表示領域１８にはカメラスルー画像が表示される。カメラスルー画像は第２の画像であり、後方カメラ１３Ｂと右方カメラ１３Ｒと左方カメラ１３Ｌとのうち何れか１つのカメラが撮影している画像を仮想視点に変換することなく表示される。従って、カメラスルー画像表示領域１８に表示されているカメラスルー画像はカメラが撮影している画像そのものになる。
【００４１】
従って、モニタ１４には仮想視点画像とカメラスルー画像とが表示される。モニタ１４に表示制御を行うための表示コントローラ２０を図４に示す。この図に示すように、表示コントローラ２０は記憶保持部２１と画像補正部２２と視点変換部２３と画像合成部２４と表示画像生成部２５と画像整形部２６とを有して構成している。表示コントローラ２０は車体制御部３１を備えた車体コントローラ３０と接続されており、車体コントローラ３０から車体情報を取得する。
【００４２】
記憶保持部２１は、カメラ１３Ｂ、１３Ｒ、１３Ｌの撮影画角やレンズ歪み等のカメラ光学系パラメータ、搭載位置・姿勢情報、後述する仮想視点画像に変換する際の仮想視点情報、表示画像用の作業機画像１７Ｍや縮尺値等の各種情報を記憶している。
【００４３】
画像補正部２２は各カメラ１３Ｂ、１３Ｒ、１３Ｌ、１３Ｆと接続されており、各カメラ１３Ｂ、１３Ｒ、１３Ｌ、１３Ｆから取り込んだカメラ画像に対して、記憶保持部２１に記憶されているカメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の画像補正を行う。これにより、取り込んだカメラ画像の画質を向上させている。画像補正部２２が補正処理したカメラ画像は視点変換部２３と画像整形部２６とに出力される。
【００４４】
視点変換部２３は、画像補正部２２が補正処理した各カメラ画像に基づいて、これらのカメラ画像を上方視点となるように視点変換を行う。なお、視点変換を行うのは、後方カメラ１３Ｂ、右方カメラ１３Ｒ、左方カメラ１３Ｌが取得したカメラ画像であり、バケット監視カメラ１３Ｆが取得したカメラ画像は視点変換の処理を行わない。この視点変換処理により、後方および左右の両側方における仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌが生成される。
【００４５】
モニタ１４の仮想視点画像表示領域１７には、これら３方向の仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌのための表示領域が割り当てられ、これらの画像はそれぞれに割り当てられた表示領域に表示する。つまり、作業機画像１７Ｍを中心として後側の領域に仮想視点後方画像１７Ｂを割り当て、左側の領域に仮想視点左方画像１７Ｌを割り当て、右側の領域に仮想視点右方画像１７Ｒを割り当てる。
【００４６】
仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌの割り当ては、画像合成部２４が行う。つまり、画像合成部２４は視点変換部２３により視点変換処理が行われた仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌをそれぞれの領域に割り当てて合成する。これにより、仮想視点画像が生成される。また、前述したように、仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとの境界部を示す境界ライン１９Ｒ、仮想視点後方画像１７Ｂと仮想視点左方画像１７Ｌとの境界部を示す境界ライン１９Ｌを画像上に形成する。
【００４７】
図３に示すように、仮想視点画像表示領域１７に表示される仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒと仮想視点左方画像１７Ｌとを統合表示した仮想視点画像には危険ゾーンＺ１と注意ゾーンＺ２とを形成している。危険ゾーンＺ１は油圧ショベル１との衝突を回避すべき対象である障害物（動的または固定的）と接触するおそれのある円形の領域を示している。この危険ゾーンＺ１は標準的な旋回姿勢でのフロント作業機３のアーム１１の先端旋回範囲に基づいて決定される。
【００４８】
また、注意ゾーンＺ２は危険ゾーンＺ１の外側に形成される円形の領域との間のリング状の領域であり、オペレータに注意を喚起するために設けた領域である。注意ゾーンＺ２の外側の円形の領域は危険ゾーンＺ１の円形のほぼ倍の半径を持つ領域として決定される。ここでは、仮想視点画像表示領域１７の表示範囲は危険ゾーンＺ１の範囲とほぼ等しくしているが、危険ゾーンＺ１よりもさらに余裕を持たせた範囲を表示してもよい。
【００４９】
図４に示すように、画像補正部２２が補正処理したカメラ画像は画像整形部２６に出力される。画像整形部２６には４枚の補正処理されたカメラ画像（後方カメラ１３Ｂ、左方カメラ１３Ｌ、右方カメラ１３Ｒおよびバケット監視カメラ１３Ｆのカメラ画像）が入力されており、４枚のカメラ画像のうち何れか１枚のカメラ画像が選択される。この選択作業は、モニタ１４に設けた入力部１６により行われる。
【００５０】
すなわち、図３に示すように、入力部１６は４つのスイッチ１６ａ、１７Ｂ、１６ｃ、１６ｄ、１６ｅを有して構成されており、このうちスイッチ１６ａは後述するパターンを選択するためのスイッチになる。また、スイッチ１７Ｂは左方カメラ１３Lのカメラ画像を選択するためのスイッチであり、スイッチ１６ｃは後方カメラ１３Bのカメラ画像を選択するためのスイッチであり、スイッチ１６ｄは右方カメラ１３Rのカメラ画像を選択するためのスイッチであり、スイッチ１６ｅはバケット監視カメラ１３Ｆのカメラ画像を選択するためのスイッチである。
【００５１】
これらのスイッチ１７Ｂ〜１６ｅの入力を受けて、画像整形部２６は各カメラ画像のうち何れか１枚のカメラ画像を選択する。画像整形部２６は選択したカメラ画像に対して後述する仮想視点範囲と消失範囲との何れか一方または両方を重畳表示する画像処理を行う。仮想視点範囲と消失範囲とは選択されたカメラ画像に対してガイドシンボルとして重畳表示される。このガイドシンボルのパターンはスイッチ１６ａにより選択される。画像整形部２６が処理したカメラ画像はカメラスルー画像として表示画像生成部２５に出力される。
【００５２】
図４に示すように、表示画像生成部２５には画像合成部２４が合成処理した仮想視点画像および画像整形部２６が処理したカメラスルー画像との２つの画像が入力される。表示画像生成部２５は、画像合成部２４が３枚の画像（仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌ）を合成した仮想視点画像の中心に作業機画像１７Ｍを配置して仮想視点画像を作成する。この仮想視点画像を表示部１５の仮想視点画像表示領域１７に表示する。
【００５３】
且つ、画像整形部２６から入力したカメラスルー画像をカメラスルー画像表示領域１８に表示する。これにより、モニタ１４の表示部１５（表示画面）の上部と下部とに仮想視点画像とカメラスルー画像とが同時に表示される。これら仮想視点画像とカメラスルー画像とを有する画像を表示画像としてモニタ１４の表示部１５に出力する。表示部１５はこの表示画像を表示するように制御する。
【００５４】
また、図４に示すように、表示コントローラ２０は車体コントローラ３０に接続されており、車体コントローラ３０の車体制御部３１から各種車体情報を入力している。油圧ショベル１にはブーム１０、アーム１１およびバケット１２の各油圧シリンダ１０ａ、１１ａ、１２ａが設けられており、下部走行体４を構成する左右の走行手段を駆動するための油圧モータと上部旋回体５を旋回駆動する旋回モータとが設けられている。これら油圧シリンダ、油圧モータおよび旋回モータは油圧アクチュエータとして総称されるものであり、図４ではこれらを油圧アクチュエータ群３２として示している。
【００５５】
また、運転室６の内部には複数の操作レバーを有する操作レバー群３３が設けられており、オペレータが操作レバー群３３を構成する何れかの操作レバーを操作すると、その上方が車体制御部３１に取り込まれて、車体制御部３１からの指令により油圧アクチュエータ群３２を構成する各油圧アクチュエータが駆動される。なお、操作レバー群３３からの知れは電気信号で直接的に油圧アクチュエータ群３２に伝達する構成を採用することもできるが、指令は油圧信号となし、車体制御部３１には操作レバーの操作量に関する信号のみが取り込まれるように構成してもよい。
【００５６】
さらに、車体制御部３１にはブーム１０、アーム１１およびバケット１２の相対角度および上部旋回体５の下部走行体４に対する旋回角度を検出する角度検出器３４ａ、３４ｂ、３４ｃ、３４ｄが角度検出器群３４として設けられている。角度検出器３４ａはブーム１０の回動角度を、角度検出器３４ｂはアーム１１の回動角度を、角度検出器３４ｃはバケット１２の回動角度を、角度検出器３４ｄは下部走行体４に対する上部旋回体５の旋回角度を検出している。また、速度検出器３５ａ、３５が速度検出器群３５として設けられており、下部走行体４の左右の走行モータ５ａ、５ｂの回転速度を検出している。
【００５７】
車体制御部３１はこれら油圧アクチュエータ群３２、操作レバー群３３、角度検出器群３４、速度検出器群３５から各種情報を取得しており、これらは車体情報として表示コントローラ２０に出力される。表示コントローラ２０は車体情報に基づいて、作業機の姿勢情報や速度情報、操作情報といった各種情報を認識する。
【００５８】
以上が構成である。次に、動作について説明する。運転室６に搭乗するオペレータは、図３に示すモニタ１４の入力部１６のスイッチ１６ａ〜１６ｅのうち何れかのスイッチを押下する。前述したように、スイッチ１７Ｂ〜１６ｅは、各カメラ１３Ｌ、１３Ｂ、１３Ｒ、１３Ｆが撮影しているカメラ画像のうち何れか１つをカメラスルー画像表示領域１８に表示するために設けている。このために、スイッチ１７Ｂ〜１６ｅは、カメラ１３Ｌ、１３Ｂ、１３Ｒ、１３Ｆとの対応関係を視覚的に明示している。
【００５９】
ここでは、スイッチ１７Ｂ〜１６ｅは自身が選択されていることを点灯により示す中心の領域が設けられており、この領域を中心として上下左右方向に４つの領域に分割している。そして、各領域の方向はカメラ１３Ｌ、１３Ｂ、１３Ｒ、１３Ｆが撮影している画像を選択していることを示している。スイッチ１７Ｂは左側の領域が強調されており、これにより左方カメラ１３Ｌが撮影しているカメラ画像が選択されていることを示している。スイッチ１６ｃは下側の領域が強調されており、これにより後方カメラ１３Ｂが撮影しているカメラ画像が選択されていることを示している。スイッチ１６ｄは右側の領域が強調されており、これにより右方カメラ１３Ｒが撮影しているカメラ画像が選択されていることを示している。スイッチ１６ｅは上側の領域が強調されており、これによりバケット監視カメラ１３Ｆが撮影しているカメラ画像が選択されていることを示している。
【００６０】
前述したように、スイッチ１７Ｂ〜１６ｅの中央は点灯可能になっており、オペレータにより何れのスイッチ１７Ｂ〜１６ｅが選択されたかを、点灯することにより明示している。なお、スイッチ１７Ｂ〜１６ｅが対応するカメラ画像を明示する方法は、前述したものに限らず、スイッチ１７Ｂ〜１６ｅとカメラ１３Ｂ、１３Ｌ、１３Ｒ、１３Ｆが撮影している画像との関連性が分かるものであれば、任意の表示態様を採用することができる。
【００６１】
図３の例では、オペレータはスイッチ１６ｅを押下している。よって、バケット監視カメラ１３Ｆが選択されていることが明示され、且つスイッチ１６ｅが選択されていることが中央部分を点灯することにより認識される。このスイッチ１６ｅが選択されたことは画像整形部２６に出力される。
【００６２】
表示コントローラの画像補正部２２では、各カメラ１３Ｂ、１３Ｒ、１３Ｌ、１３Ｆが撮影しているカメラ画像をデータとして入力しており、このカメラ画像に対して補正処理を行う。補正処理されたカメラ１３Ｂ、１３Ｒ、１３Ｆのカメラ画像に対して、視点変換部２３が視点変換処理を行って、仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌを生成する。そして、画像合成部２４はこれら仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒ、仮想視点左方画像１７Ｌを合成処理して、統合された仮想視点画像を生成する。この統合処理された仮想視点画像に対して表示画像生成部２５は中央に作業機画像１７Ｍを追加する。
【００６３】
一方、画像整形部２６は画像補正部２２が補正処理したカメラ画像のうち、スイッチ１６ｅにより特定されるバケット監視カメラ１３Ｆのカメラ画像を選択して、このカメラ画像を表示画像生成部２５に出力する。なお、後述するように、画像整形部２６はカメラ画像に対して仮想視点範囲と消失範囲との何れか一方または両方をガイドシンボルとして重畳表示することが可能になっているが、バケット監視カメラ１３Ｆのカメラ画像が選択されているときには、当該重畳表示の処理は行わない。
【００６４】
表示画像生成部２５は、画像合成部２４が統合して作業機画像１７Ｍを追加した仮想視点画像および画像整形部２６が処理したカメラ画像を入力する。そして、仮想視点画像が仮想視点画像表示領域１７に表示される。つまり、作業機画像１７Ｍを中心として仮想視点左方画像１７Ｌと仮想視点後方画像１７Ｂと仮想視点右方画像１７Ｒとを合成した仮想視点画像が仮想視点画像表示領域１７に表示される。
【００６５】
一方、カメラスルー画像表示領域１８にはバケット監視カメラ１３Ｆが撮影しているカメラスルー画像が表示される。このカメラスルー画像は仮想視点変換を行っていない、バケット監視カメラ１３Ｆが撮影している画像になる。表示画像生成部２５は仮想視点画像およびカメラスルー画像を表示画像として表示部１５に出力する。表示部１５はこの表示画像を表示することで、図３に示すような画像が画面上に表示される。
【００６６】
このとき、入力部１６を構成する各スイッチ１６ａ〜１６ｅのうち、スイッチ１６ｅが選択されていることが視覚的に明示される。そして、このスイッチ１６ｅはバケット監視カメラ１３Ｆの画像を選択していることを示しており、これによりオペレータは直感的にカメラスルー画像表示領域１８に表示されているカメラスルー画像はバケット監視カメラ１３Ｆが撮影している画像であることを認識することができる。
【００６７】
次に、オペレータがスイッチ１６ｄを押下したときには、このスイッチ１６ｄに対応するカメラスルー画像、すなわち右方カメラ１３Ｒが撮影しているカメラ画像がカメラスルー画像表示領域１８に表示されることが認識される。スイッチ１６ｄが押下されたときのモニタ１４を図５に示す。図６は、オペレータがスイッチ１６ｃを押下したときのモニタ１４を示している。この場合は、スイッチ１６ｃに対応するカメラスルー画像、すなわち後方カメラ１３Ｂが撮影しているカメラ画像がカメラスルー画像表示領域１８に表示される。また、図７は、オペレータがスイッチ１７Ｂを押下したときにモニタ１４を示している。この場合は、スイッチ１７Ｂに対応するカメラスルー画像、すなわち左方カメラ１３Ｌが撮影しているカメラ画像がカメラスルー画像表示領域１８に表示される。
【００６８】
図５乃至図７の仮想視点画像および図６のカメラスルー画像には、固定的或いは動的な障害物として、作業員Ｍを示している。ここでは、オペレータは後方カメラ１３Ｂを選択するスイッチ１６ｃを押下しており、図６に示すように後方カメラ１３Ｂのカメラスルー画像がカメラスルー画像表示領域１８に表示されている。この図に示すように、油圧ショベル１の後方に作業員Ｍが立地しており、カメラスルー画像には作業員Ｍが映し出されている。
【００６９】
仮想視点画像は後方カメラ１３Ｂおよび左右のカメラ１３Ｒ、１３Ｌの視点を仮想的に上方に設置したときに水平面で展開した画像である。図６の場合は、作業員Ｍは後方カメラ１３Ｂの中央寄りに立地しており、このため仮想視点後方画像１７Ｂに作業員Ｍが水平面で展開された形で表示されている。
【００７０】
この状態で、オペレータは操作レバー群３３を操作して、下部走行体４に対して上部旋回体５を旋回させる。上部旋回体５を旋回させると、各カメラ１３Ｂ、１３Ｒ、１３Ｌが撮影する視野が変化する。図８ａ）は最初の旋回していない状態（つまり、図６の状態）を示しているが、上部旋回体５を旋回することによって、カメラスルー画像および仮想視点画像が変化する。
【００７１】
同図ａ）の状態から旋回して、同図ｂ）の状態になり、さらに旋回すると同図ｃ）の状態になる。これにより、カメラスルー画像では作業員Ｍの立地位置が中央寄りの位置から左端部に向けて移動する。仮想視点画像も旋回と共に変化する。図７ａ）の状態では、作業員Ｍは後方カメラ１３Ｂの範囲内に完全に入っているため、仮想視点後方画像１７Ｂにも作業員Ｍの像は表示されている。
【００７２】
一方、旋回を行うと共に、作業員Ｍの像は境界ライン１９Ｌに侵入し、仮想視点後方画像１７Ｂから部分的に退出する。これにより、仮想視点画像からは作業員Ｍの像が部分的に消失することになる。仮想視点画像は視点を仮想的に上方に設置したときに水平面方向に展開した画像になる。そうすると、後方カメラ１３Ｂと左方カメラ１３Ｌとの視野範囲の境界部に作業員Ｍが位置すると、仮想視点画像としては、その上部が消失して映し出されなくなる。このために、図８ｂ）の仮想視点画像に示されるように、境界ライン１９Ｌに位置している作業員Ｍは殆ど見えなくなっている。
【００７３】
図８ｃ）は同図ｂ）からさらに旋回した場合であり、仮想視点後方画像１７Ｂから作業員Ｍの像は完全に退出しているが、仮想視点左方画像１７Ｌに作業員Ｍの像の一部が出現している。ただし、この場合でも作業員Ｍの像は一部が境界ライン１９Ｌに掛かっており、その一部は消失している。従って、作業員Ｍの位置によっては、その像の一部または全部が仮想視点画像から消失する。このため、モニタ１４に仮想視点画像のみが表示されている場合には、作業員Ｍの位置によって、その像を仮想視点画像では認識できなくなる。
【００７４】
なお、ここでは、上部旋回体５を旋回することによって、各カメラ１３Ｂ、１３Ｒ、１３Ｆの視野に対して作業員Ｍが移動する場合を示したが、上部旋回体５を旋回させることなく、作業員Ｍが移動した場合でも同様に仮想視点画像から作業員Ｍの像が一部または全部が消失することがある。
【００７５】
従って、仮想視点画像のみによっては、作業員Ｍを認識できない場合がある。そこで、モニタ１４には仮想視点画像だけでなく、仮想視点変換を行っていない後方カメラ１３Ｂが撮影しているカメラスルー画像を表示している。作業員Ｍが境界ライン１９Ｌ、１９Ｒに位置することで、仮想視点画像からは作業員Ｍの像が一部または全部が消失することがあるが、カメラスルー画像は仮想視点変換を行っていない生の画像になる。このカメラスルー画像には、後方カメラ１３Ｂの視野の範囲内であれば、作業員Ｍが明確に映し出されている。よって、仮想視点画像では作業員Ｍの像を認識できなくても、カメラスルー画像で作業員Ｍを明確に認識できる。
【００７６】
仮想視点画像表示領域１７には仮想視点画像を表示する。これにより、油圧ショベル１の周囲を上部から見下ろした画像が得られるため、油圧ショベル１と障害物（固定部や作業員Ｍ等）との位置関係を明示的に認識することができる。このため、油圧ショベル１の周囲の状況を的確に把握することができるため、作業の安全性を良好に確保することができる。
【００７７】
このときに、仮想視点画像では境界ライン１９Ｌ、１９Ｒに障害物が位置すると、その立体物の上部が仮想視点画像から消失して、認識できなくなるおそれがある。このために、仮想視点画像を生成するためのカメラ画像をそのままカメラスルー画像として仮想視点画像と同時に表示することで、障害物の消失が発生したとしても、カメラスルー画像で明確に障害物の存在を認識することができる。これにより、作業機の周囲の状況を正確且つ良好な視認性でオペレータに認識させることができ、作業の安全性および作業効率を向上させることができる。
【００７８】
次に、モニタ１４の入力部１６を構成する各スイッチのうちスイッチ１６ａを押下した場合について説明する。スイッチ１６ａはカメラスルー画像に重畳表示する仮想視点範囲と消失範囲とを表示させるか否かを選択するためのスイッチである。オペレータはこのスイッチ１６ａを押下することにより、仮想視点範囲および消失範囲のガイドパターンの表示態様を選択する。スイッチ１６ａを押下すると、自身のスイッチが押下されたことを示すためにスイッチ１６ａは点灯する。そして、スイッチ１６ａを押下する毎にパターンの切り替えを行う。
【００７９】
図９はガイドパターンと表示内容との関係を示している。スイッチ１６ａを１回押下する毎に、パターンＡ、パターンＢ、パターンＣ、パターンＤと変化し、パターンＤのときにスイッチ１６ａを押下すると、パターンＡに戻る。なお、パターンＤが選択されたときには、スイッチ１６ａを点灯させないようにしている。
【００８０】
スイッチ１６ａの押下によりパターンＡが選択されたときには仮想視点範囲のみがカメラスルー画像に重畳表示され、パターンＢが選択されたときには消失範囲のみがカメラスルー画像に重畳表示され、パターンＣが選択されたときには仮想視点範囲および消失範囲の両者がカメラスルー画像に重畳表示され、パターンＤが選択されたときには仮想視点範囲と消失範囲との何れもがカメラスルー画像に重畳表示されない。
【００８１】
スイッチ１６が１回押下されると、パターンＡが選択される。つまり、仮想視点範囲のみがカメラスルー画像に重畳表示される。表示コントローラ２０の画像整形部２６は入力部１６のスイッチ１６ａの押下により、パターンＡが選択されたことを認識する。画像整形部２６は、これにより画像補正部２２から送られる後方カメラ１３Ｂの画像をカメラスルー画像として、このカメラスルー画像に仮想視点範囲を重畳表示する。
【００８２】
図１０に示すように、仮想視点範囲４１は、カメラスルー画像の表示内容のうち、仮想視点左方画像１７Ｌ、仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒの範囲を示している。仮想視点画像は視点を上方に仮想的に設置したときにおける水平面に展開した画像であり、カメラスルー画像の表示系に変換すると、仮想視点左方画像１７Ｌ、仮想視点後方画像１７Ｂ、仮想視点右方画像１７Ｒが後方カメラ１３Ｂのカメラスルー画像に映し出される。そこで、カメラスルー画像における仮想視点範囲４１は、仮想視点左方画像１７Ｌの範囲（仮想視点左方範囲４１Ｌ）と仮想視点後方画像１７Ｂの範囲（仮想視点後方範囲４１Ｂ）と仮想視点右方画像１７Ｒ（仮想視点右方範囲４１Ｒ）とを有している
【００８３】
図１０はカメラスルー画像に後方カメラ１３Ｂが撮影しているカメラ画像を示しており、このカメラスルー画像の中央に仮想視点後方範囲４１Ｂが形成されており、その左右の仮想視点左方範囲４１Ｌおよび仮想視点右方範囲４１Ｒの一部が形成されている。このカメラスルー画像と各仮想視点範囲４１とは一定の関係にあり、予め得ることができる。
【００８４】
そこで、画像整形部２６は、カメラスルー画像に仮想視点後方範囲４１Ｂ、仮想視点右方範囲４１Ｒ、仮想視点左方範囲４１Ｌをガイドパターンとして表示する。図１０では破線で示した領域がガイドパターンになる。これにより、オペレータはガイドパターンを視認することにより、カメラスルー画像における仮想視点後方範囲４１Ｂ、仮想視点右方範囲４１Ｒ、仮想視点左方範囲４１Ｌを視覚的に認識することができる。
【００８５】
このとき、作業員Ｍが仮想視点画像間の境界ライン１９Ｌ、１９Ｒに位置すると、仮想視点画像からは立体物の上部が消失し、仮想視点画像から作業員Ｍが部分的或いは全部が消失することがある。このときに、ガイドパターンの境界、つまり仮想視点後方範囲４１Ｂと仮想視点右方範囲４１Ｒとの間、或いは仮想視点後方範囲４１Ｂと仮想視点左方範囲４１Ｌとの間の境界に作業員Ｍが位置していることが、カメラスルー画像を視認することにより把握することができる。図１０ａ）では作業員Ｍはカメラスルー画像の仮想視点後方範囲４１Ｂに入っていることがガイドパターンを視認することにより、認識できる。
【００８６】
一方、上部旋回体５を旋回させることにより、図１０ｂ）に示すように、作業員Ｍは仮想視点後方範囲４１Ｂから退出しつつある。オペレータはカメラスルー画像の仮想視点後方範囲４１Ｂを示すガイドパターンを視認することにより、作業員Ｍの消失の可能性を視覚的に認識することができる。つまり、仮想視点画像では作業員Ｍの像は殆ど消失しているが、カメラスルー画像に基づいて、作業員Ｍが境界ライン１９Ｌに位置していることから、部分的に作業員Ｍの像が消失していることがオペレータに認識される。
【００８７】
図１０ｃ）では、作業員Ｍが仮想視点後方範囲４１Ｂから完全に外れているが、仮想視点左方範囲４１Ｌには一部が出現していることをカメラスルー画像のガイドパターンを視認することにより、認識することができる。従って、仮想視点後方画像１７Ｂと仮想視点左方画像１７Ｌとの境界ライン１９Ｌに作業員Ｍが位置しており、仮想視点画像から作業員Ｍが消失するおそれがあることをオペレータに認識させることができる。
【００８８】
次に、スイッチ１６ａを押下したときに、パターンＢに移行する。パターンＢでは消失範囲のみが表示される。消失範囲４２は、仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲であり、図１１では消失範囲４２に作業員Ｍが位置したときには、仮想視点画像から作業員Ｍの像の一部が消失する。消失範囲４２は仮想視点範囲４１と同じく、カメラスルー画像の中で決まった範囲になり、画像整形部２６はカメラスルー画像に消失範囲４２を重畳表示する。
【００８９】
図１１ａ）に示すように、カメラスルー画像において、作業員Ｍが消失範囲４２に位置していない場合には、仮想視点画像にも作業員Ｍが消失することなく表示されている。一方、上部旋回体５を旋回することにより、カメラスルー画像における作業員Ｍの位置が変化して、作業員Ｍはカメラスルー画像の中央寄りの位置から左端部に向けて移動する。このとき、仮想視点画像では作業員Ｍの像は境界ライン１９Ｌに位置している。これにより、図１１ｂ）に示すように、仮想視点画像では作業員Ｍの殆どが消失している。
【００９０】
この状態からさらに上部旋回体５を旋回すると、カメラスルー画像はさらに左端部に移動する。このとき、仮想視点後方画像１７Ｂからは作業員Ｍは完全に消失しているが、仮想視点左方画像１７Ｌに作業員Ｍが出現している。カメラスルー画像においては、作業員Ｍが消失範囲４２に位置しており、仮想視点左方画像１７Ｌに作業員Ｍの像が部分的に表示されている。従って、カメラスルー画像に消失範囲４２を重畳表示することで、仮想視点画像から障害物（作業員Ｍ）が消失する可能性があることを、オペレータは視覚的に認識することができる。
【００９１】
図１０に示した仮想視点範囲４１のガイドパターンと図１１に示した消失範囲４２のガイドパターンとは表示態様を変化させている。図１０および図１１では、仮想視点範囲４１のガイドパターンを破線で示し、消失範囲４２のガイドパターンを破線の中に網掛けで示している。仮想視点範囲４１は障害物が仮想視点画像の中に入っているか否かを示しており、消失範囲４２は障害物が消失する可能性がある範囲を示している。従って、両者の範囲は異なるものであり、これらを区別するために表示態様を変化している。勿論、ガイドパターンの表示態様を変化させる手法は、図１０および図１１の態様に限らず、任意の手法を用いることができる。
【００９２】
次に、オペレータがスイッチ１６ａを押下すると、パターンＣに移行する。パターンＣでは仮想視点範囲４１と消失範囲４２との両者をカメラスルー画像に重畳表示している。画像整形部２６は仮想視点範囲４１と消失範囲４２との両者をカメラスルー画像に重畳表示する。消失範囲４２は仮想視点左方範囲４１Ｌと仮想視点後方範囲４１Ｂとの間の領域であり、また仮想視点後方範囲４１Ｂと仮想視点右方範囲４１Ｒとの間の領域である。よって、仮想視点範囲４１と消失範囲４２とにより連続的な領域が形成される。
【００９３】
前述した場合と同様に、ここでも仮想視点範囲４１と消失範囲４２とでガイドパターンの表示態様を変化させている。これにより、カメラスルー画像において、仮想視点範囲４１と消失範囲４２とのそれぞれの領域を視覚的に区別して表示することができる。仮想視点範囲４１と消失範囲４２とを異なるガイドパターンで表示することで、仮想視点画像の範囲および障害物が消失する範囲を視覚的に認識できる。
【００９４】
仮想視点範囲４１と消失範囲４２との両者を表示することで、仮想視点範囲４１の障害物が消失しない範囲と消失範囲４２の障害物が消失する可能性のある範囲とを視覚的にオペレータに認識させることができる。これにより、オペレータは多くの情報を得ることができ、より正確に油圧ショベル１の周囲の状況を認識することができる。
【００９５】
次に、オペレータがスイッチ１６ａを押下すると、パターンＤに移行する。このとき、スイッチ１６ａは点灯しなくなる。パターンＤは仮想視点範囲４１と消失範囲４２との両者をカメラスルー画像に表示しないモードになる。従って、パターンＤの場合は、画像整形部２６はガイドパターンを重畳表示することなく、そのままのカメラ画像を表示画像生成部２５に出力する。従って、この場合は、仮想視点範囲４１と消失範囲４２との両者がカメラスルー画像に表示されないため、ガイドパターンによる作業員Ｍの消失の可能性は明示的には表示されない。
【００９６】
ただし、熟練度（習熟度）の高いオペレータであれば、仮想視点画像およびカメラスルー画像に基づいて、作業員Ｍの消失の可能性があるかを判断できる。この場合には、カメラスルー画像にガイドパターンを表示することは、熟練度の高いオペレータにとっては却って視認性を低下させる要因となる。このために、パターンＤを選択することにより、ガイドパターンを表示させずに、後方カメラ１３Ｂのカメラ画像そのものを表示させる。
【００９７】
一方、熟練度の低いオペレータは、パターンＡ、Ｂ或いはＣを選択することで、カメラスルー画像に仮想視点範囲４１、消失範囲４２といったガイドパターンを表示することで、油圧ショベル１の周囲の状況を正確且つ良好な視認性で認識できるようになる。従って、熟練度に応じて、表示させる態様（パターン）を選択可能に構成することで、オペレータの技量或いは志向に応じた表示態様を選択することができる。
【００９８】
次に、変形例について説明する。本変形例の表示コントローラ２０を図１３に示す。本変形例の表示コントローラ２０は、図４で示した表示コントローラ２０に障害物検出部５１を追加している。その他の構成は図４の表示コントローラ２０と同じである。障害物検出部５１は画像補正部２２の後段に設けており、障害物検出部５１で障害検出処理を行ったカメラ画像が視点変換部２３および画像整形部２６に出力される。
【００９９】
障害物検出部５１は画像補正部２２が補正処理したカメラ画像から障害物（作業員や車両等）といった特徴点を検出して、検出した障害物の周囲にマーク５２を重畳表示する。図１４はパターンＤにおける仮想視点画像およびカメラスルー画像に表示されている作業員Ｍに楕円形のマーク５２を重畳表示している。マーク５２は障害物の周囲に形成されるものであれば、楕円形ではなく、円形或いは四角形であってもよい。
【０１００】
図１４ａ）に示すように、仮想視点画像およびカメラスルー画像の作業員Ｍの周囲に楕円形のマーク５２を重畳表示している。この状態から、上部旋回体５が旋回すると、図１４ｂ）に示すように、仮想視点画像では作業員Ｍの像が境界ライン１９Ｌに位置し、カメラスルー画像では作業員Ｍが画面中央から端部に移動する。このとき、仮想視点画像では作業員Ｍの像の殆どが消失しているため、作業員Ｍの像自体は認識することが困難になっている。しかし、作業員Ｍの像の周囲にはマーク５２が表示されており、作業員Ｍの像が見えなくなったとしても、マーク５２は表示されているため、このマーク５２に基づいて作業員Ｍの存在をオペレータは認識することができる。また、カメラスルー画像にも作業員Ｍの周囲にマーク５２を形成しており、オペレータは作業員Ｍの存在を認識することができる。
【０１０１】
図１４ｃ）の場合も同様であり、仮想視点後方画像１７Ｂからは作業員Ｍの像は完全に退出しており、仮想視点左方画像１７Ｌの一部に作業員Ｍの像が出現している。従って、仮想視点左方画像１７Ｌには作業員Ｍの像が部分的に表示されており、作業員Ｍの像自体ではその存在を認識することは困難である。このとき、マーク５２を表示していることで、作業員Ｍの存在をオペレータが容易に認識することができる。また、カメラスルー画像にも作業員Ｍの周囲にマーク５２を形成していることから、オペレータはその存在を認識することができる。
【０１０２】
また、図１５のパターンＡのときの仮想視点画像およびカメラスルー画像、そして図１６のパターンＢのときの仮想視点画像およびカメラスルー画像、さらに図１７のパターンＣのときの仮想視点画像およびカメラスルー画像に、作業員Ｍの周囲にマーク５２を形成することで、オペレータはその存在を容易に認識することができる。且つ、マーク５２と仮想視点範囲４１、消失範囲４２とに基づいて、作業員Ｍが消失する可能性を容易に認識することができる。これにより、オペレータは油圧ショベル１の周囲の状況を明確に認識することができ、作業の安全性確保および作業の安全性の向上を図ることができる。
【符号の説明】
【０１０３】
１ 油圧ショベル
３ フロント作業機
４ 下部走行体
５ 上部旋回体
６ 運転室
１０ ブーム
１１ アーム
１２ バケット
１３B 後方カメラ
１３L 左方カメラ
１３R 右方カメラ
１３Ｆ バケット監視カメラ
１４ モニタ
１５ 表示部
１６ 入力部
１７Ｂ 仮想視点後方画像
１７Ｌ 仮想視点左方画像
１７Ｒ 仮想視点右方画像
１６ａ〜１６ｅ スイッチ
１７ 仮想視点画像表示領域
１８ カメラスルー画像表示領域
１９Ｌ、１９Ｒ 境界ライン
２０ 表示コントローラ
２１ 記憶保持部
２２ 画像補正部
２３ 視点変換部
２４ 画像合成部
２５ 表示画像生成部
２６ 画像整形部
４１ 仮想視点範囲
４１Ｂ 仮想視点後方範囲
４１Ｌ 仮想視点左方範囲
４１Ｒ 仮想視点右方範囲
４２ 消失範囲
５１ 障害物検出部
５２ マーク
【特許請求の範囲】
【請求項１】
走行体に対して旋回可能な旋回体にフロント作業機を設けた作業機の周囲を監視するための作業機の周囲監視装置であって、
前記旋回体に複数台が設けられ、そのうち２台が相互に視野範囲を部分的に重複するように設けた複数台のカメラと、
前記各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像を生成する視点変換部と、
前記視点変換部が生成した複数の前記仮想視点画像をそれぞれに対応した表示領域に表示するように合成した合成画像を生成する画像合成部と、
前記合成画像を第１の画像として、前記各カメラのうち何れか１つのカメラが撮影している画像であり前記仮想視点画像間の境界線を視野内に含む画像を第２の画像として、前記第１の画像と前記第２の画像との両者を含む表示画像を生成する表示画像生成部と、
前記表示画像生成部が生成した前記表示画像を画面上に表示するモニタと、
を備えていることを特徴とする作業機の周囲監視装置。
【請求項２】
前記表示画像生成部は、前記第２の画像の中での前記各仮想視点画像の表示範囲を示す仮想表示範囲を前記第２の画像に対して重畳表示をすること
を特徴とする請求項１記載の作業機の周囲監視装置。
【請求項３】
前記表示画像生成部は、前記第２の画像の中での隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示すること
を特徴とする請求項１記載の作業機の周囲監視装置。
【請求項４】
前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲および隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示し、前記仮想表示範囲と前記消失範囲とを異なる表示形式で表示させること
を特徴とする請求項２記載の作業機の周囲監視装置。
【請求項５】
前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲と隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲との何れか一方または両方を前記第２の画像に対して重畳表示することを可能にして、前記仮想表示範囲と前記消失範囲との両者を重畳表示するときにはこれらを異なる表示形式で表示し、
前記仮想表示範囲と前記消失範囲との何れか一方を表示するモードと両者を表示するモードと何れも表示しないモードとを切り替え可能に構成したこと
を特徴とする請求項２記載の作業機の周囲監視装置。
【請求項６】
前記カメラが取得した前記カメラ画像に基づいて障害物を検出する障害物検出部を備え、
前記表示画像生成部は、前記障害物検出部が検出した前記障害物の周囲に形成するマークを前記第１の画像と前記第２の画像との何れか一方または両方に重畳表示すること
を特徴とする請求項１乃至５の何れか１項に記載の作業機の周囲監視装置。
【請求項１】
走行体に対して旋回可能な旋回体にフロント作業機を設けた作業機の周囲を監視するための作業機の周囲監視装置であって、
前記旋回体に複数台が設けられ、そのうち２台が相互に視野範囲を部分的に重複するように設けた複数台のカメラと、
前記各カメラで取得したカメラ画像に基づいて上方視点となるように視点変換した仮想視点画像を生成する視点変換部と、
前記視点変換部が生成した複数の前記仮想視点画像をそれぞれに対応した表示領域に表示するように合成した合成画像を生成する画像合成部と、
前記合成画像を第１の画像として、前記各カメラのうち何れか１つのカメラが撮影している画像であり前記仮想視点画像間の境界線を視野内に含む画像を第２の画像として、前記第１の画像と前記第２の画像との両者を含む表示画像を生成する表示画像生成部と、
前記表示画像生成部が生成した前記表示画像を画面上に表示するモニタと、
を備えていることを特徴とする作業機の周囲監視装置。
【請求項２】
前記表示画像生成部は、前記第２の画像の中での前記各仮想視点画像の表示範囲を示す仮想表示範囲を前記第２の画像に対して重畳表示をすること
を特徴とする請求項１記載の作業機の周囲監視装置。
【請求項３】
前記表示画像生成部は、前記第２の画像の中での隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示すること
を特徴とする請求項１記載の作業機の周囲監視装置。
【請求項４】
前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲および隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲を前記第２の画像に対して重畳表示し、前記仮想表示範囲と前記消失範囲とを異なる表示形式で表示させること
を特徴とする請求項２記載の作業機の周囲監視装置。
【請求項５】
前記表示画像生成部は、前記第２の画像の中での前記仮想表示範囲と隣接する前記仮想視点画像間の領域のうち立体物の上部が消失する可能性のある範囲を示す消失範囲との何れか一方または両方を前記第２の画像に対して重畳表示することを可能にして、前記仮想表示範囲と前記消失範囲との両者を重畳表示するときにはこれらを異なる表示形式で表示し、
前記仮想表示範囲と前記消失範囲との何れか一方を表示するモードと両者を表示するモードと何れも表示しないモードとを切り替え可能に構成したこと
を特徴とする請求項２記載の作業機の周囲監視装置。
【請求項６】
前記カメラが取得した前記カメラ画像に基づいて障害物を検出する障害物検出部を備え、
前記表示画像生成部は、前記障害物検出部が検出した前記障害物の周囲に形成するマークを前記第１の画像と前記第２の画像との何れか一方または両方に重畳表示すること
を特徴とする請求項１乃至５の何れか１項に記載の作業機の周囲監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−６６０１０（Ｐ２０１３−６６０１０Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２８５２（Ｐ２０１１−２０２８５２）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００５５２２）日立建機株式会社 (2,611)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００５５２２）日立建機株式会社 (2,611)
【Ｆターム（参考）】
[ Back to top ]