建設機械用モニタシステム
【課題】建設機械のアタッチメントの状態をオペレータがより直感的に理解可能な画像を提示する建設機械用モニタシステムを提供すること。
【解決手段】掘削アタッチメントを備えるショベル５０に搭載される撮像装置３１であり、アタッチメント画像を含む前方画像を取得する撮像装置３１と、掘削アタッチメントの状態を検出するアタッチメント状態検出装置３３と、掘削アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部３００と、前方画像上にアタッチメント関連情報を重畳させ、且つ、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させて表示装置３５に表示する表示制御部３０２とを有する制御装置３０とを備える。
【解決手段】掘削アタッチメントを備えるショベル５０に搭載される撮像装置３１であり、アタッチメント画像を含む前方画像を取得する撮像装置３１と、掘削アタッチメントの状態を検出するアタッチメント状態検出装置３３と、掘削アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部３００と、前方画像上にアタッチメント関連情報を重畳させ、且つ、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させて表示装置３５に表示する表示制御部３０２とを有する制御装置３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建設機械に搭載されるモニタシステムに関し、特に、建設機械に搭載されるカメラが撮像するその建設機械のアタッチメントの実写画像を含むカメラ画像を表示するモニタシステムに関する。
【背景技術】
【０００２】
従来、油圧ショベルに搭載される掘削状況表示パネルが知られている（例えば、特許文献１参照。）。
【０００３】
この掘削状況表示パネルは、油圧ショベルのキャビン上部に取り付けられたカメラであり、掘削作業対象点近傍の状態を撮像するカメラの撮像画像を表示する表示モニタを備える。そのカメラの撮像画像には、Ｘ−Ｙ座標を重畳表示するための画像処理が施され、さらに、油圧ショベルの要部平面形状（図形画像）が重畳表示される。また、掘削状況表示パネルは、油圧ショベル本体と掘削作業対象点との間の距離、及び、掘削作業領域を規定する掘削境界線と掘削作業対象点との間の距離を数値表示する掘削距離表示部を備える。なお、表示モニタと掘削距離表示部とは互いに隣接して配置されている。
【０００４】
上述の構成により、掘削状況表示パネルは、現在のバケット位置と所要の掘削可能範囲とをオペレータが読み取れるようにして掘削作業を効率的に実行させるようにする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２１２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の掘削状況表示パネルは、カメラ画像に油圧ショベルの要部平面形状（上面視のＣＧ画像）を重畳表示させる。そのため、掘削状況表示パネルの表示は、キャビンのフロントウィンドウを通じてオペレータが実際に視認するショベル外部の状況とはかけ離れた表示となり、オペレータが表示内容を直感的に理解できないおそれがある。
【０００７】
上述の点に鑑み、本発明は、建設機械のアタッチメントの状態をオペレータがより直感的に理解できるようにする画像を提示する建設機械用モニタシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的を達成するために、本発明の実施例に係る建設機械用モニタシステムは、アタッチメントを備える建設機械に搭載され、アタッチメント画像を含む前方画像を取得する撮像装置と、前記アタッチメントの状態を検出するアタッチメント状態検出装置と、前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部と、前記前方画像上に前記アタッチメント関連情報を重畳させ、且つ、前記前方画像における前記アタッチメント画像の表示位置と前記アタッチメント関連情報の表示位置とを連動させて表示装置に表示する表示制御部と、を有する制御装置と、を備えることを特徴とする。
【発明の効果】
【０００９】
上述の手段により、本発明は、建設機械のアタッチメントの状態をオペレータがより直感的に理解できるようにする画像を提示する建設機械用モニタシステムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明が適用されるショベルの構成例を示す概略側面図である。
【図２】図１のショベルにおけるキャビンの内部を示す概略図である。
【図３】図１のショベルに搭載されるモニタシステムの構成例を示す概略図である。
【図４】掘削角度の例を示す概略図である。
【図５】表示装置の画面に重畳表示されるアタッチメント関連情報の例を示す図（その１）である。
【図６】表示装置の画面に重畳表示されるアタッチメント関連情報の例を示す図（その２）である。
【図７】表示画像生成処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本発明の実施例について説明する。
【００１２】
図１は、本発明が適用される建設機械としてのショベル５０の構成例を示す概略側面図である。ショベル５０の下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられ、ブーム４の先端には、アーム５が取り付けられ、アーム５の先端には、バケット６が取り付けられる。ブーム４、アーム５、及びバケット６は、掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。さらに、上部旋回体３には、ショベル５０の水平面に対する傾きを検出する傾き検出装置３２が搭載される。掘削アタッチメントには、掘削アタッチメントの状態を検出するアタッチメント状態検出装置３３が搭載される。
【００１３】
図２は、ショベル５０におけるキャビン１０の内部を示す概略図である。キャビン１０の内部には、制御装置３０、入力装置３４、及び表示装置３５が設置される。また、キャビン１０の天井部には、ショベル５０の前方を撮像する撮像装置３１が搭載される。表示装置３５は、例えば、キャビン１０の右前方のピラーに取り付けられ、オペレータがキャビン１０のフロントウィンドウ１１を通して視認する外部の光景とほぼ同じ光景を映し出す。この取り付け位置により、オペレータは、視線を大きく動かすことなく、フロントウィンドウ１１を通じて視認する外部の光景と、表示装置３５に表示される光景とを見比べることができ、表示装置３５に表示される光景を直感的に理解することができる。
【００１４】
図３は、ショベル５０に搭載されるモニタシステム１００の構成例を示す概略図である。モニタシステム１００は、主に、制御装置３０、撮像装置３１、傾き検出装置３２、アタッチメント状態検出装置３３、入力装置３４、及び表示装置３５で構成される。
【００１５】
制御装置３０は、モニタシステム１００の動作を制御する装置であり、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えるコンピュータである。具体的には、制御装置３０は、アタッチメント関連情報生成部３００、作業量推定部３０１、及び表示制御部３０２の各機能要素に対応するプログラムをＲＯＭから読み出してＲＡＭにロードし、各機能要素に対応する処理をＣＰＵに実行させる。
【００１６】
撮像装置３１は、建設機械の前方を撮像する装置である。本実施例では、撮像装置３１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたカメラである。具体的には、撮像装置３１は、ショベル５０の前方を撮像して掘削アタッチメントの画像（以下、「アタッチメント画像」とする。）を含む前方画像を取得し、取得した前方画像を制御装置３０に対して出力する。
【００１７】
傾き検出装置３２は、建設機械の傾きを検出する装置である。本実施例では、傾き検出装置３２は、ショベル５０の水平面に対する２軸方向（前後方向及び左右方向）の傾斜角を検出する傾斜センサであり、検出した傾斜角を制御装置３０に対して出力する。
【００１８】
アタッチメント状態検出装置３３は、建設機械のアタッチメントの状態を検出する装置である。アタッチメント状態検出装置３３は、例えば、ショベル５０の掘削アタッチメントの状態に関する情報を取得するためのセンサである。本実施例では、掘削アタッチメント状態検出装置３３は、上部旋回体３に対するブーム４の傾きを検出するブーム角度センサ３３ａ、ブーム４に対するアーム５の傾きを検出するアーム角度センサ３３ｂ、及び、アーム５に対するバケット６の傾きを検出するバケット角度センサ３３ｃを含む。また、アタッチメント状態検出装置３３は、取得した情報を制御装置３０に対して出力する。これらの掘削アタッチメント状態検出装置３３の出力により、制御装置３０は、バケット６の先端位置、ショベル５０が位置する平面（以下、「設置面」とする。）とバケット６の基準面とが形成する掘削角度等を導き出すことができる。なお、バケット６の基準面は、バケット６の構成要素が形成する面の何れかであり、例えば、バケット６の背面である。
【００１９】
図４は、掘削角度の例を示す概略図であり、図４（Ａ）は、ショベル５０に接近する方向に高くなる４５度の角度の法面を形成する際の掘削角度を示し、図４（Ｂ）は、ショベル５０から遠ざかる方向に高くなる３０度の法面を形成する際の掘削角度を示す。ここでは、ショベル５０に接近する方向に高くなる法面を形成する際の掘削角度を正値で示し、ショベル５０から遠ざかる方向に高くなる法面を形成する際の掘削角度を負値で示す。
【００２０】
また、掘削アタッチメント状態検出装置３３は、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のそれぞれにおける作動油の圧力を検出する圧力センサを含み得る。
【００２１】
また、掘削アタッチメント状態検出装置３３は、ブーム４、アーム５、バケット６のそれぞれに対応する操作レバー（図示せず。）の操作量を検出するレバー操作量センサを含み得る。
【００２２】
また、掘削アタッチメント状態検出装置３３は、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のそれぞれに作動油を供給する油圧ポンプ（図示せず。）の吐出圧を検出する吐出圧センサ、油圧ポンプの吐出流量を検出する流量センサ等を含み得る。
【００２３】
入力装置３４は、制御装置３０に対して各種情報を入力する装置である。具体的には、キャビン１０内に配置されるボタン、スイッチ、ダイヤル、タッチパネル等である。
【００２４】
表示装置３５は、各種情報を表示する装置である。本実施例では、表示装置３５は、例えば、液晶ディスプレイである。
【００２５】
次に、制御装置３０における各種機能要素について説明する。
【００２６】
アタッチメント関連情報生成部３００は、アタッチメント関連情報を生成するための機能要素である。
【００２７】
「アタッチメント関連情報」とは、建設機械のアタッチメントに関連する情報であり、テキスト、図形、写真等、前方画像上に重畳表示できるものであれば何れの形態であってもよい。本実施例において、アタッチメント関連情報は、掘削アタッチメントの先端とショベル５０の基準位置との間の水平距離に関する情報、設置面から掘削アタッチメントの先端までの垂直距離に関する情報、設置面とバケット６の基準面とが形成する掘削角度に関する情報、掘削アタッチメントの先端と予め設定された目標掘削深さとの間の差に関する情報、掘削アタッチメントの輪郭に関する情報等を含む。なお、ショベル５０の基準位置は、例えば、ショベル５０の旋回中心上の一点、キャビン１０の前端面上の一点等である。
【００２８】
本実施例では、アタッチメント関連情報生成部３００は、例えば、アタッチメント状態検出装置３３の出力に基づいてアタッチメント関連情報を生成する。
【００２９】
作業量推定部３０１は、建設機械の作業量を推定するための機能要素である。本実施例では、作業量推定部３０１は、アタッチメント状態検出装置３３の出力に基づいてショベル５０の掘削アタッチメントによる作業量を推定する。
【００３０】
掘削アタッチメントによる作業量は、例えば、バケット６によって持ち上げられる土砂の体積や重量である。具体的には、作業量推定部３０１は、ブーム角度センサ３３ａ、アーム角度センサ３３ｂ、及びバケット角度センサ３３ｃのそれぞれの検出値に基づいて掘削アタッチメントの姿勢を導き出す。そして、作業量推定部３０１は、ブームシリンダ７の作動油の圧力を検出する圧力センサの検出値に基づいて、バケット６によって持ち上げられた土砂の重量を掘削アタッチメントの作業量として推定する。掘削アタッチメントの姿勢を考慮するのは、バケット６が同じ重量の土砂を持ち上げる場合であっても、ショベル５０とバケット６との間の水平距離が大きくなるにつれて、ブームシリンダ７の作動油の圧力が増大するためである。
【００３１】
表示制御部３０２は、表示装置３５に表示される画面の内容を制御するための機能要素である。本実施例では、表示制御部３０２は、撮像装置３１が撮像した前方画像上にアタッチメント関連情報生成部３００が生成したアタッチメント関連情報を重畳表示させる。また、表示制御部３０２は、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させる。具体的には、表示制御部３０２は、アタッチメント状態検出装置３３の出力に基づいてアタッチメント画像の表示位置を導き出し、導き出したアタッチメント画像の表示位置に基づいて、アタッチメント関連情報の表示位置を決定する。そして、表示制御部３０２は、前方画面上の、決定した表示位置にアタッチメント関連情報を重畳表示させる。なお、表示制御部３０２は、掘削アタッチメントの姿勢が決まれば、アタッチメント画像の表示位置を一意に決定することができる。撮像装置３１がキャビン１０に固定的に取り付けられているためである。
【００３２】
図５及び図６は、表示装置３５の画面Ｇに重畳表示されるアタッチメント関連情報の例を示す。図５及び図６のそれぞれにおいて、実線は、前方画像に含まれる実写画像を示し、破線は、前方画像に重畳表示される情報を示す。
【００３３】
図５において、情報（線分）Ｇ１は、ショベル５０が位置する平面（設置面）を表す線分であり、線分Ｇ１ａ及び線分Ｇ１ｂで構成される。線分Ｇ１ａは、例えば、下部走行体１の左側のクローラの前方への延長線を示し、線分Ｇ１ｂは、例えば、設置面へ投影された掘削アタッチメントの投影線及びその延長線を示す。
【００３４】
情報（線分）Ｇ２は、情報Ｇ１と同様、設置面を表す線分であり、例えば、線分Ｇ１ａ及び線分Ｇ１ｂに垂直な線分である。また、線分Ｇ２は、バケット６の先端の鉛直下方の点を通過する。
【００３５】
情報Ｇ３は、バケット６の先端位置を表す情報であり、先端中心点Ｇ３ａ、垂直補助線Ｇ３ｂ、及び水平補助線Ｇ３ｃで構成される。先端中心点Ｇ３ａは、例えば、バケット６の先端にある爪部の幅方向の中点に相当する。また、垂直補助線Ｇ３ｂは、先端中心点Ｇ３ａから画面Ｇの鉛直下方に延びる垂直線である。したがって、垂直補助線Ｇ３ｂは、線分Ｇ１ｂ及び線分Ｇ２の双方と直交する。水平補助線Ｇ３ｃは、先端中心点Ｇ３ａから画面Ｇの左右に延びる水平線である。したがって、水平補助線Ｇ３ｃは、線分Ｇ２に平行に延びる。
【００３６】
情報Ｇ４は、目標掘削深さを表す情報であり、水平補助線Ｇ４ａ及び矢印Ｇ４ｂで構成される。目標掘削深さは、入力装置３４を通じて設定される値である。水平補助線Ｇ４ａは、目標掘削深さにおいて、垂直補助線Ｇ３ｂとの交点から画面Ｇの左右に延びる水平線である。したがって、水平補助線Ｇ４ａは、線分Ｇ２及び水平補助線Ｇ３ｃのそれぞれに平行に延びる。矢印Ｇ４ｂは、目標掘削深さのレベルを強調して提示するための画像であり、矢印の先端が水平補助線Ｇ４ａと一致する。
【００３７】
情報Ｇ５は、バケット６の先端から目標掘削深さまでの垂直距離を表す情報であり、双方向矢印Ｇ５ａ及び数値表示Ｇ５ｂで構成される。双方向矢印Ｇ５ａは、水平補助線Ｇ３ｃと水平補助線Ｇ４ａとの間に、垂直補助線Ｇ３ｂに平行に配置される。数値表示Ｇ５ｂは、バケット６の先端から目標掘削深さまでの垂直距離を表す数値表示であり、双方矢印Ｇ５ａに隣接して配置される。図５は、バケット６の先端から目標掘削深さまでの垂直距離が１．３メートルであることを示す。
【００３８】
情報Ｇ６は、バケット６の先端から設置面までの垂直距離を表す情報であり、双方向矢印Ｇ６ａ及び数値表示Ｇ６ｂで構成される。双方矢印Ｇ６ａは、線分Ｇ２と水平補助線Ｇ３ｃと間に、垂直補助線Ｇ３ｂに平行に配置される。数値表示Ｇ６ｂは、バケット６の先端から設置面までの垂直距離を表す数値表示であり、双方矢印Ｇ６ａに隣接して配置される。図５は、バケット６の先端から設置面までの垂直距離が０．５メートルであることを示す。
【００３９】
情報Ｇ７は、バケット６の先端とショベル５０の基準位置との間の水平距離を表す情報であり、片方向矢印Ｇ７ａ及び数値表示Ｇ７ｂで構成される。片方向矢印Ｇ７ａは、線分Ｇ１ｂに平行に配置される。数値表示Ｇ７ｂは、バケット６の先端とショベル５０の基準位置との間の水平距離を表す数値表示であり、片方矢印Ｇ７ａに隣接して配置される。図５は、バケット６の先端とショベル５０の基準位置との間の水平距離が２．３メートルであることを示す。
【００４０】
情報Ｇ８は、バケット６によって掘削された土砂の重量を表す情報であり、片方向矢印Ｇ８ａ及び数値表示Ｇ８ｂで構成される。片方向矢印Ｇ８ａは、バケット６によって掘削された土砂に関する情報であることを強調して提示するためにバケット６の実画像から側方に引き出される水平線である。数値表示Ｇ８ｂは、バケット６によって掘削された土砂の重量を表す数値表示であり、片方向矢印Ｇ８ａに隣接して配置される。図５は、バケット６によって掘削された土砂の重量が０ｋｇであることを示す。
【００４１】
情報Ｇ９は、設置面とバケット６の基準面とが形成する掘削角度を表す情報であり、補助線Ｇ９ａ、補助線Ｇ９ｂ、及び数値表示Ｇ９ｃで構成される。補助線Ｇ９ａは、バケット６の基準面である背面に沿って延びる線分である。補助線Ｇ９ｂは、設置面と補助線Ｇ９ａとの間に形成される角度であることを強調して提示するために設置面と補助線Ｇ９ａとの間に配置される曲線である。数値表示Ｇ９ｃは、掘削角度を表す数値表示であり、補助線Ｇ９ｂに隣接して配置される。図５は、掘削角度が−１８度であることを示す。
【００４２】
情報Ｇ１０は、ショベル５０の前後方向及び左右方向の傾きを表す情報であり、中心点Ｇ１０ａ、左右傾斜度目盛りＧ１０ｂ、左右傾斜度指示矢印Ｇ１０ｃ、前後傾斜度目盛りＧ１０ｄ、前後傾斜度指示矢印Ｇ１０ｅで構成される。中心点Ｇ１０ａは、ショベル５０の中心を表す点である。左右傾斜度目盛りＧ１０ｂは、ショベル５０の左右方向の傾き（ロール角）に対応する目盛りであり、図５において０°より下に位置する目盛りが右方向への傾きに対応し、０°より上に位置する目盛りが左方向への傾きに対応する。左右傾斜度指示矢印Ｇ１０ｃは、傾き検出装置３２の出力に基づいて左右傾斜度目盛りＧ１０ｂにおけるロール角の値を指示する矢印である。図５は、ショベル５０が右方向に約５°傾斜している状態を示す。前後傾斜度目盛りＧ１０ｄは、ショベル５０の前後方向の傾き（ピッチ角）に対応する目盛りであり、図５において０°より下に位置する目盛りが後方への傾きに対応し、０°より上に位置する目盛りが前方への傾きに対応する。前後傾斜度指示矢印Ｇ１０ｅは、傾き検出装置３２の出力に基づいて前後傾斜度目盛りＧ１０ｄにおけるピッチ角の値を指示する矢印である。図５は、ショベル５０が後方に約１０°傾斜している状態を示す。
【００４３】
また、図６の情報Ｇ１１は、バケット６の存在位置を表す情報であり、バケット６の輪郭画像である。輪郭画像Ｇ１１は、前方画像における実際のバケット６の画像が可視であるか不可視であるかにかかわらず、画面Ｇにおける実際のバケット６と同じ位置に、実際のバケット６と同じ姿勢で重畳表示される。図６は、実際のバケット６が土砂に埋没して不可視となっているが、バケット６の輪郭画像により土砂内のバケット６の位置及び姿勢が認識可能となっている状態を示す。
【００４４】
上述の情報Ｇ１〜情報Ｇ１１のそれぞれは、赤色、緑色、黄色等の視認し易い色で前方画像上に重畳表示され、任意の組み合わせで表示・非表示が設定される。
【００４５】
また、情報Ｇ３〜情報Ｇ９、及び情報Ｇ１１のそれぞれは、表示制御部３０２により、前方画像における実際の掘削アタッチメントの画像（アタッチメント画像）の表示位置の変化に連動してその表示位置が変更される。
【００４６】
次に、図７を参照しながら、モニタシステム１００が表示装置３５に表示させる表示画像を生成する処理（以下、「表示画像生成処理」とする。）について説明する。なお、図７は、表示画像生成処理の流れを示すフローチャートであり、モニタシステム１００は、所定周期で繰り返しこの表示画像生成処理を実行する。
【００４７】
最初に、モニタシステム１００は、撮像装置３１を用いてショベル５０の前方を撮像して前方画像を取得する（ステップＳ１）。
【００４８】
その後、モニタシステム１００は、アタッチメント状態検出装置３３を用いてショベル５０の掘削アタッチメントの状態を検出する（ステップＳ２）。具体的には、モニタシステム１００は、ブーム角度センサ３３ａ、アーム角度センサ３３ｂ、バケット角度センサ３３ｃ、並びに、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のそれぞれにおける圧力を検出する圧力センサの出力を取得する。
【００４９】
その後、モニタシステム１００は、制御装置３０におけるアタッチメント関連情報生成部３００により、検出した掘削アタッチメントの状態に基づいて、アタッチメント関連情報を生成する（ステップＳ３）。具体的には、モニタシステム１００は、掘削アタッチメントの先端とショベル５０の基準位置との間の水平距離に関する情報、設置面から掘削アタッチメントの先端までの距離に関する情報、設置面とバケット６の基準面とが形成する掘削角度に関する情報、掘削アタッチメントの先端と予め設定された目標掘削深さとの間の差に関する情報、バケット６の輪郭に関する情報等を作成する。
【００５０】
また、モニタシステム１００は、制御装置３０における作業量推定部３０１により、検出した掘削アタッチメントの状態に基づいて、バケット６によって掘削された土砂の重量をアタッチメント関連情報として推定する。
【００５１】
その後、モニタシステム１００は、制御装置３０における表示制御部３０２により、検出した掘削アタッチメントの状態に基づいて、前方画像における実際のバケット６の先端の表示位置を導き出し、アタッチメント関連情報のそれぞれの表示位置を決定する（ステップＳ４）。なお、アタッチメント関連情報のそれぞれの表示位置は、前方画像における実際のバケット６の先端の表示位置に予め関連付けられている。但し、アタッチメント関連情報のそれぞれの表示位置は、前方画像における実際のバケット６の先端の表示位置以外の位置に関連付けられていてもよい。また、ステップＳ３とステップＳ４とは順不同であり、アタッチメント関連情報の表示位置を決定した後でアタッチメント関連情報の内容（例えば掘削角度の値である。）を生成してもよい。
【００５２】
その後、モニタシステム１００は、表示制御部３０２により、前方画像上の決定した表示位置にアタッチメント関連情報を重畳表示させる（ステップＳ５）。
【００５３】
また、モニタシステム１００は、表示制御部３０２により、設置面を表す線分Ｇ１ａ、Ｇ１ｂ、Ｇ２（図５参照。）を前方画像上に重畳表示させる（ステップＳ６）。
【００５４】
さらに、モニタシステム１００は、表示制御部３０２により、ショベル５０の前後方向及び左右方向の傾きを表す傾斜情報を前方画像上に重畳表示させる（ステップＳ７）。
【００５５】
なお、ステップＳ５、ステップＳ６、及びステップＳ７は順不同である。また、設置面を表す線分、アタッチメント関連情報、傾斜情報は同じ色で表示されてもよく、異なる色で表示されてもよい。同様に、複数のアタッチメント関連情報のそれぞれは、同じ色で表示されてもよく、異なる色で表示されてもよい。
【００５６】
以上の構成により、モニタシステム１００は、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させて表示することで、ショベル５０の掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００５７】
また、モニタシステム１００は、バケット６の先端と設置面との間の垂直距離、及び、バケット６の先端とショベル５０との間の水平距離を同時に表示することで、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００５８】
また、モニタシステム１００は、バケット６の実写画像の周辺の所定位置にそのバケット６の掘削角度を表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
【００５９】
また、モニタシステム１００は、バケット６の実写画像の周辺の所定位置にそのバケット６により掘削された土砂の重量を表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
【００６０】
また、モニタシステム１００は、バケット６の実写画像上にバケット６の輪郭画像を重畳表示するので、バケット６が土砂に埋没したり、水中に潜没したり、或いは、物陰に隠れたりして不可視となる場合であっても、バケット６の位置及び姿勢をオペレータに提示することができる。その結果、モニタシステム１００は、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
【００６１】
また、モニタシステム１００は、バケット６の実写画像の周辺の所定位置に、バケット６の先端と目標掘削深さとの間の距離を重畳表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００６２】
また、モニタシステム１００は、ショベル５０の前後方向及び左右方向の傾きに関する情報等、掘削アタッチメントの状態に直接的には関係しない情報をも前方画像上に重畳表示させることができる。その結果、モニタシステム１００は、掘削アタッチメントの状態をオペレータに直感的に理解させると同時に、ショベル５０の周囲の状況をオペレータに分かり易く提示することができ、作業性を向上させることができる。
【００６３】
また、モニタシステム１００は、フロントウィンドウの横に表示装置３５を取り付けたことにより、フロントウィンドウを通じた実際のショベル外部の状況と表示装置３５に表示される画像とをほぼ同時にオペレータに視認させることができる。その結果、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００６４】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００６５】
例えば、上述の実施例では、本発明がショベル５０に適用された場合を説明する。しかしながら、本発明は、これに限定されることはない。本発明は、例えば、リフティングマグネット、グラップル、破砕機等を備えた他の建設機械にも適用可能である。
【００６６】
具体的には、リフティングマグネットを備える建設機械に適用される場合、アタッチメント関連情報は、リフティングマグネットの持ち上げ重量に関する情報を含む。
【００６７】
また、グラップル、破砕機等を備える建設機械に適用される場合、アタッチメント関連情報は、グラップル、破砕機等の輪郭画像を含む。これにより、オペレータは、実際のグラップル、破砕機等が物陰に隠れて不可視となっていても、その位置や開閉具合を認識することができる。
【００６８】
また、上述の実施例では、バケット６は、前後方向に回動（開閉）可能な構成を採用するが、チルトバケットのように左右方向にも回動可能な構成を採用してもよい。この場合、アタッチメント関連情報は、設置面とバケット６の背面とが形成する前後方向掘削角度に関する情報に加え、或いはその前後方向掘削角度に関する情報に代えて、設置面とバケット６の左右の側面とが形成する左右方向掘削角度に関する情報を含む。
【符号の説明】
【００６９】
１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １１・・・フロントウィンドウ ３０・・・制御装置 ３１・・・撮像装置 ３２・・・傾き検出装置 ３３・・・アタッチメント状態検出装置 ３３ａ・・・ブーム角度センサ ３３ｂ・・・アーム角度センサ ３３ｃ・・・バケット角度センサ ３４・・・入力装置 ３５・・・表示装置 ５０・・・ショベル １００・・・モニタシステム ３００・・・アタッチメント関連画像生成部 ３０１・・・作業量推定部 ３０２・・・表示制御部
【技術分野】
【０００１】
本発明は、建設機械に搭載されるモニタシステムに関し、特に、建設機械に搭載されるカメラが撮像するその建設機械のアタッチメントの実写画像を含むカメラ画像を表示するモニタシステムに関する。
【背景技術】
【０００２】
従来、油圧ショベルに搭載される掘削状況表示パネルが知られている（例えば、特許文献１参照。）。
【０００３】
この掘削状況表示パネルは、油圧ショベルのキャビン上部に取り付けられたカメラであり、掘削作業対象点近傍の状態を撮像するカメラの撮像画像を表示する表示モニタを備える。そのカメラの撮像画像には、Ｘ−Ｙ座標を重畳表示するための画像処理が施され、さらに、油圧ショベルの要部平面形状（図形画像）が重畳表示される。また、掘削状況表示パネルは、油圧ショベル本体と掘削作業対象点との間の距離、及び、掘削作業領域を規定する掘削境界線と掘削作業対象点との間の距離を数値表示する掘削距離表示部を備える。なお、表示モニタと掘削距離表示部とは互いに隣接して配置されている。
【０００４】
上述の構成により、掘削状況表示パネルは、現在のバケット位置と所要の掘削可能範囲とをオペレータが読み取れるようにして掘削作業を効率的に実行させるようにする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２１２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の掘削状況表示パネルは、カメラ画像に油圧ショベルの要部平面形状（上面視のＣＧ画像）を重畳表示させる。そのため、掘削状況表示パネルの表示は、キャビンのフロントウィンドウを通じてオペレータが実際に視認するショベル外部の状況とはかけ離れた表示となり、オペレータが表示内容を直感的に理解できないおそれがある。
【０００７】
上述の点に鑑み、本発明は、建設機械のアタッチメントの状態をオペレータがより直感的に理解できるようにする画像を提示する建設機械用モニタシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的を達成するために、本発明の実施例に係る建設機械用モニタシステムは、アタッチメントを備える建設機械に搭載され、アタッチメント画像を含む前方画像を取得する撮像装置と、前記アタッチメントの状態を検出するアタッチメント状態検出装置と、前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部と、前記前方画像上に前記アタッチメント関連情報を重畳させ、且つ、前記前方画像における前記アタッチメント画像の表示位置と前記アタッチメント関連情報の表示位置とを連動させて表示装置に表示する表示制御部と、を有する制御装置と、を備えることを特徴とする。
【発明の効果】
【０００９】
上述の手段により、本発明は、建設機械のアタッチメントの状態をオペレータがより直感的に理解できるようにする画像を提示する建設機械用モニタシステムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明が適用されるショベルの構成例を示す概略側面図である。
【図２】図１のショベルにおけるキャビンの内部を示す概略図である。
【図３】図１のショベルに搭載されるモニタシステムの構成例を示す概略図である。
【図４】掘削角度の例を示す概略図である。
【図５】表示装置の画面に重畳表示されるアタッチメント関連情報の例を示す図（その１）である。
【図６】表示装置の画面に重畳表示されるアタッチメント関連情報の例を示す図（その２）である。
【図７】表示画像生成処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本発明の実施例について説明する。
【００１２】
図１は、本発明が適用される建設機械としてのショベル５０の構成例を示す概略側面図である。ショベル５０の下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられ、ブーム４の先端には、アーム５が取り付けられ、アーム５の先端には、バケット６が取り付けられる。ブーム４、アーム５、及びバケット６は、掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。さらに、上部旋回体３には、ショベル５０の水平面に対する傾きを検出する傾き検出装置３２が搭載される。掘削アタッチメントには、掘削アタッチメントの状態を検出するアタッチメント状態検出装置３３が搭載される。
【００１３】
図２は、ショベル５０におけるキャビン１０の内部を示す概略図である。キャビン１０の内部には、制御装置３０、入力装置３４、及び表示装置３５が設置される。また、キャビン１０の天井部には、ショベル５０の前方を撮像する撮像装置３１が搭載される。表示装置３５は、例えば、キャビン１０の右前方のピラーに取り付けられ、オペレータがキャビン１０のフロントウィンドウ１１を通して視認する外部の光景とほぼ同じ光景を映し出す。この取り付け位置により、オペレータは、視線を大きく動かすことなく、フロントウィンドウ１１を通じて視認する外部の光景と、表示装置３５に表示される光景とを見比べることができ、表示装置３５に表示される光景を直感的に理解することができる。
【００１４】
図３は、ショベル５０に搭載されるモニタシステム１００の構成例を示す概略図である。モニタシステム１００は、主に、制御装置３０、撮像装置３１、傾き検出装置３２、アタッチメント状態検出装置３３、入力装置３４、及び表示装置３５で構成される。
【００１５】
制御装置３０は、モニタシステム１００の動作を制御する装置であり、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えるコンピュータである。具体的には、制御装置３０は、アタッチメント関連情報生成部３００、作業量推定部３０１、及び表示制御部３０２の各機能要素に対応するプログラムをＲＯＭから読み出してＲＡＭにロードし、各機能要素に対応する処理をＣＰＵに実行させる。
【００１６】
撮像装置３１は、建設機械の前方を撮像する装置である。本実施例では、撮像装置３１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたカメラである。具体的には、撮像装置３１は、ショベル５０の前方を撮像して掘削アタッチメントの画像（以下、「アタッチメント画像」とする。）を含む前方画像を取得し、取得した前方画像を制御装置３０に対して出力する。
【００１７】
傾き検出装置３２は、建設機械の傾きを検出する装置である。本実施例では、傾き検出装置３２は、ショベル５０の水平面に対する２軸方向（前後方向及び左右方向）の傾斜角を検出する傾斜センサであり、検出した傾斜角を制御装置３０に対して出力する。
【００１８】
アタッチメント状態検出装置３３は、建設機械のアタッチメントの状態を検出する装置である。アタッチメント状態検出装置３３は、例えば、ショベル５０の掘削アタッチメントの状態に関する情報を取得するためのセンサである。本実施例では、掘削アタッチメント状態検出装置３３は、上部旋回体３に対するブーム４の傾きを検出するブーム角度センサ３３ａ、ブーム４に対するアーム５の傾きを検出するアーム角度センサ３３ｂ、及び、アーム５に対するバケット６の傾きを検出するバケット角度センサ３３ｃを含む。また、アタッチメント状態検出装置３３は、取得した情報を制御装置３０に対して出力する。これらの掘削アタッチメント状態検出装置３３の出力により、制御装置３０は、バケット６の先端位置、ショベル５０が位置する平面（以下、「設置面」とする。）とバケット６の基準面とが形成する掘削角度等を導き出すことができる。なお、バケット６の基準面は、バケット６の構成要素が形成する面の何れかであり、例えば、バケット６の背面である。
【００１９】
図４は、掘削角度の例を示す概略図であり、図４（Ａ）は、ショベル５０に接近する方向に高くなる４５度の角度の法面を形成する際の掘削角度を示し、図４（Ｂ）は、ショベル５０から遠ざかる方向に高くなる３０度の法面を形成する際の掘削角度を示す。ここでは、ショベル５０に接近する方向に高くなる法面を形成する際の掘削角度を正値で示し、ショベル５０から遠ざかる方向に高くなる法面を形成する際の掘削角度を負値で示す。
【００２０】
また、掘削アタッチメント状態検出装置３３は、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のそれぞれにおける作動油の圧力を検出する圧力センサを含み得る。
【００２１】
また、掘削アタッチメント状態検出装置３３は、ブーム４、アーム５、バケット６のそれぞれに対応する操作レバー（図示せず。）の操作量を検出するレバー操作量センサを含み得る。
【００２２】
また、掘削アタッチメント状態検出装置３３は、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のそれぞれに作動油を供給する油圧ポンプ（図示せず。）の吐出圧を検出する吐出圧センサ、油圧ポンプの吐出流量を検出する流量センサ等を含み得る。
【００２３】
入力装置３４は、制御装置３０に対して各種情報を入力する装置である。具体的には、キャビン１０内に配置されるボタン、スイッチ、ダイヤル、タッチパネル等である。
【００２４】
表示装置３５は、各種情報を表示する装置である。本実施例では、表示装置３５は、例えば、液晶ディスプレイである。
【００２５】
次に、制御装置３０における各種機能要素について説明する。
【００２６】
アタッチメント関連情報生成部３００は、アタッチメント関連情報を生成するための機能要素である。
【００２７】
「アタッチメント関連情報」とは、建設機械のアタッチメントに関連する情報であり、テキスト、図形、写真等、前方画像上に重畳表示できるものであれば何れの形態であってもよい。本実施例において、アタッチメント関連情報は、掘削アタッチメントの先端とショベル５０の基準位置との間の水平距離に関する情報、設置面から掘削アタッチメントの先端までの垂直距離に関する情報、設置面とバケット６の基準面とが形成する掘削角度に関する情報、掘削アタッチメントの先端と予め設定された目標掘削深さとの間の差に関する情報、掘削アタッチメントの輪郭に関する情報等を含む。なお、ショベル５０の基準位置は、例えば、ショベル５０の旋回中心上の一点、キャビン１０の前端面上の一点等である。
【００２８】
本実施例では、アタッチメント関連情報生成部３００は、例えば、アタッチメント状態検出装置３３の出力に基づいてアタッチメント関連情報を生成する。
【００２９】
作業量推定部３０１は、建設機械の作業量を推定するための機能要素である。本実施例では、作業量推定部３０１は、アタッチメント状態検出装置３３の出力に基づいてショベル５０の掘削アタッチメントによる作業量を推定する。
【００３０】
掘削アタッチメントによる作業量は、例えば、バケット６によって持ち上げられる土砂の体積や重量である。具体的には、作業量推定部３０１は、ブーム角度センサ３３ａ、アーム角度センサ３３ｂ、及びバケット角度センサ３３ｃのそれぞれの検出値に基づいて掘削アタッチメントの姿勢を導き出す。そして、作業量推定部３０１は、ブームシリンダ７の作動油の圧力を検出する圧力センサの検出値に基づいて、バケット６によって持ち上げられた土砂の重量を掘削アタッチメントの作業量として推定する。掘削アタッチメントの姿勢を考慮するのは、バケット６が同じ重量の土砂を持ち上げる場合であっても、ショベル５０とバケット６との間の水平距離が大きくなるにつれて、ブームシリンダ７の作動油の圧力が増大するためである。
【００３１】
表示制御部３０２は、表示装置３５に表示される画面の内容を制御するための機能要素である。本実施例では、表示制御部３０２は、撮像装置３１が撮像した前方画像上にアタッチメント関連情報生成部３００が生成したアタッチメント関連情報を重畳表示させる。また、表示制御部３０２は、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させる。具体的には、表示制御部３０２は、アタッチメント状態検出装置３３の出力に基づいてアタッチメント画像の表示位置を導き出し、導き出したアタッチメント画像の表示位置に基づいて、アタッチメント関連情報の表示位置を決定する。そして、表示制御部３０２は、前方画面上の、決定した表示位置にアタッチメント関連情報を重畳表示させる。なお、表示制御部３０２は、掘削アタッチメントの姿勢が決まれば、アタッチメント画像の表示位置を一意に決定することができる。撮像装置３１がキャビン１０に固定的に取り付けられているためである。
【００３２】
図５及び図６は、表示装置３５の画面Ｇに重畳表示されるアタッチメント関連情報の例を示す。図５及び図６のそれぞれにおいて、実線は、前方画像に含まれる実写画像を示し、破線は、前方画像に重畳表示される情報を示す。
【００３３】
図５において、情報（線分）Ｇ１は、ショベル５０が位置する平面（設置面）を表す線分であり、線分Ｇ１ａ及び線分Ｇ１ｂで構成される。線分Ｇ１ａは、例えば、下部走行体１の左側のクローラの前方への延長線を示し、線分Ｇ１ｂは、例えば、設置面へ投影された掘削アタッチメントの投影線及びその延長線を示す。
【００３４】
情報（線分）Ｇ２は、情報Ｇ１と同様、設置面を表す線分であり、例えば、線分Ｇ１ａ及び線分Ｇ１ｂに垂直な線分である。また、線分Ｇ２は、バケット６の先端の鉛直下方の点を通過する。
【００３５】
情報Ｇ３は、バケット６の先端位置を表す情報であり、先端中心点Ｇ３ａ、垂直補助線Ｇ３ｂ、及び水平補助線Ｇ３ｃで構成される。先端中心点Ｇ３ａは、例えば、バケット６の先端にある爪部の幅方向の中点に相当する。また、垂直補助線Ｇ３ｂは、先端中心点Ｇ３ａから画面Ｇの鉛直下方に延びる垂直線である。したがって、垂直補助線Ｇ３ｂは、線分Ｇ１ｂ及び線分Ｇ２の双方と直交する。水平補助線Ｇ３ｃは、先端中心点Ｇ３ａから画面Ｇの左右に延びる水平線である。したがって、水平補助線Ｇ３ｃは、線分Ｇ２に平行に延びる。
【００３６】
情報Ｇ４は、目標掘削深さを表す情報であり、水平補助線Ｇ４ａ及び矢印Ｇ４ｂで構成される。目標掘削深さは、入力装置３４を通じて設定される値である。水平補助線Ｇ４ａは、目標掘削深さにおいて、垂直補助線Ｇ３ｂとの交点から画面Ｇの左右に延びる水平線である。したがって、水平補助線Ｇ４ａは、線分Ｇ２及び水平補助線Ｇ３ｃのそれぞれに平行に延びる。矢印Ｇ４ｂは、目標掘削深さのレベルを強調して提示するための画像であり、矢印の先端が水平補助線Ｇ４ａと一致する。
【００３７】
情報Ｇ５は、バケット６の先端から目標掘削深さまでの垂直距離を表す情報であり、双方向矢印Ｇ５ａ及び数値表示Ｇ５ｂで構成される。双方向矢印Ｇ５ａは、水平補助線Ｇ３ｃと水平補助線Ｇ４ａとの間に、垂直補助線Ｇ３ｂに平行に配置される。数値表示Ｇ５ｂは、バケット６の先端から目標掘削深さまでの垂直距離を表す数値表示であり、双方矢印Ｇ５ａに隣接して配置される。図５は、バケット６の先端から目標掘削深さまでの垂直距離が１．３メートルであることを示す。
【００３８】
情報Ｇ６は、バケット６の先端から設置面までの垂直距離を表す情報であり、双方向矢印Ｇ６ａ及び数値表示Ｇ６ｂで構成される。双方矢印Ｇ６ａは、線分Ｇ２と水平補助線Ｇ３ｃと間に、垂直補助線Ｇ３ｂに平行に配置される。数値表示Ｇ６ｂは、バケット６の先端から設置面までの垂直距離を表す数値表示であり、双方矢印Ｇ６ａに隣接して配置される。図５は、バケット６の先端から設置面までの垂直距離が０．５メートルであることを示す。
【００３９】
情報Ｇ７は、バケット６の先端とショベル５０の基準位置との間の水平距離を表す情報であり、片方向矢印Ｇ７ａ及び数値表示Ｇ７ｂで構成される。片方向矢印Ｇ７ａは、線分Ｇ１ｂに平行に配置される。数値表示Ｇ７ｂは、バケット６の先端とショベル５０の基準位置との間の水平距離を表す数値表示であり、片方矢印Ｇ７ａに隣接して配置される。図５は、バケット６の先端とショベル５０の基準位置との間の水平距離が２．３メートルであることを示す。
【００４０】
情報Ｇ８は、バケット６によって掘削された土砂の重量を表す情報であり、片方向矢印Ｇ８ａ及び数値表示Ｇ８ｂで構成される。片方向矢印Ｇ８ａは、バケット６によって掘削された土砂に関する情報であることを強調して提示するためにバケット６の実画像から側方に引き出される水平線である。数値表示Ｇ８ｂは、バケット６によって掘削された土砂の重量を表す数値表示であり、片方向矢印Ｇ８ａに隣接して配置される。図５は、バケット６によって掘削された土砂の重量が０ｋｇであることを示す。
【００４１】
情報Ｇ９は、設置面とバケット６の基準面とが形成する掘削角度を表す情報であり、補助線Ｇ９ａ、補助線Ｇ９ｂ、及び数値表示Ｇ９ｃで構成される。補助線Ｇ９ａは、バケット６の基準面である背面に沿って延びる線分である。補助線Ｇ９ｂは、設置面と補助線Ｇ９ａとの間に形成される角度であることを強調して提示するために設置面と補助線Ｇ９ａとの間に配置される曲線である。数値表示Ｇ９ｃは、掘削角度を表す数値表示であり、補助線Ｇ９ｂに隣接して配置される。図５は、掘削角度が−１８度であることを示す。
【００４２】
情報Ｇ１０は、ショベル５０の前後方向及び左右方向の傾きを表す情報であり、中心点Ｇ１０ａ、左右傾斜度目盛りＧ１０ｂ、左右傾斜度指示矢印Ｇ１０ｃ、前後傾斜度目盛りＧ１０ｄ、前後傾斜度指示矢印Ｇ１０ｅで構成される。中心点Ｇ１０ａは、ショベル５０の中心を表す点である。左右傾斜度目盛りＧ１０ｂは、ショベル５０の左右方向の傾き（ロール角）に対応する目盛りであり、図５において０°より下に位置する目盛りが右方向への傾きに対応し、０°より上に位置する目盛りが左方向への傾きに対応する。左右傾斜度指示矢印Ｇ１０ｃは、傾き検出装置３２の出力に基づいて左右傾斜度目盛りＧ１０ｂにおけるロール角の値を指示する矢印である。図５は、ショベル５０が右方向に約５°傾斜している状態を示す。前後傾斜度目盛りＧ１０ｄは、ショベル５０の前後方向の傾き（ピッチ角）に対応する目盛りであり、図５において０°より下に位置する目盛りが後方への傾きに対応し、０°より上に位置する目盛りが前方への傾きに対応する。前後傾斜度指示矢印Ｇ１０ｅは、傾き検出装置３２の出力に基づいて前後傾斜度目盛りＧ１０ｄにおけるピッチ角の値を指示する矢印である。図５は、ショベル５０が後方に約１０°傾斜している状態を示す。
【００４３】
また、図６の情報Ｇ１１は、バケット６の存在位置を表す情報であり、バケット６の輪郭画像である。輪郭画像Ｇ１１は、前方画像における実際のバケット６の画像が可視であるか不可視であるかにかかわらず、画面Ｇにおける実際のバケット６と同じ位置に、実際のバケット６と同じ姿勢で重畳表示される。図６は、実際のバケット６が土砂に埋没して不可視となっているが、バケット６の輪郭画像により土砂内のバケット６の位置及び姿勢が認識可能となっている状態を示す。
【００４４】
上述の情報Ｇ１〜情報Ｇ１１のそれぞれは、赤色、緑色、黄色等の視認し易い色で前方画像上に重畳表示され、任意の組み合わせで表示・非表示が設定される。
【００４５】
また、情報Ｇ３〜情報Ｇ９、及び情報Ｇ１１のそれぞれは、表示制御部３０２により、前方画像における実際の掘削アタッチメントの画像（アタッチメント画像）の表示位置の変化に連動してその表示位置が変更される。
【００４６】
次に、図７を参照しながら、モニタシステム１００が表示装置３５に表示させる表示画像を生成する処理（以下、「表示画像生成処理」とする。）について説明する。なお、図７は、表示画像生成処理の流れを示すフローチャートであり、モニタシステム１００は、所定周期で繰り返しこの表示画像生成処理を実行する。
【００４７】
最初に、モニタシステム１００は、撮像装置３１を用いてショベル５０の前方を撮像して前方画像を取得する（ステップＳ１）。
【００４８】
その後、モニタシステム１００は、アタッチメント状態検出装置３３を用いてショベル５０の掘削アタッチメントの状態を検出する（ステップＳ２）。具体的には、モニタシステム１００は、ブーム角度センサ３３ａ、アーム角度センサ３３ｂ、バケット角度センサ３３ｃ、並びに、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のそれぞれにおける圧力を検出する圧力センサの出力を取得する。
【００４９】
その後、モニタシステム１００は、制御装置３０におけるアタッチメント関連情報生成部３００により、検出した掘削アタッチメントの状態に基づいて、アタッチメント関連情報を生成する（ステップＳ３）。具体的には、モニタシステム１００は、掘削アタッチメントの先端とショベル５０の基準位置との間の水平距離に関する情報、設置面から掘削アタッチメントの先端までの距離に関する情報、設置面とバケット６の基準面とが形成する掘削角度に関する情報、掘削アタッチメントの先端と予め設定された目標掘削深さとの間の差に関する情報、バケット６の輪郭に関する情報等を作成する。
【００５０】
また、モニタシステム１００は、制御装置３０における作業量推定部３０１により、検出した掘削アタッチメントの状態に基づいて、バケット６によって掘削された土砂の重量をアタッチメント関連情報として推定する。
【００５１】
その後、モニタシステム１００は、制御装置３０における表示制御部３０２により、検出した掘削アタッチメントの状態に基づいて、前方画像における実際のバケット６の先端の表示位置を導き出し、アタッチメント関連情報のそれぞれの表示位置を決定する（ステップＳ４）。なお、アタッチメント関連情報のそれぞれの表示位置は、前方画像における実際のバケット６の先端の表示位置に予め関連付けられている。但し、アタッチメント関連情報のそれぞれの表示位置は、前方画像における実際のバケット６の先端の表示位置以外の位置に関連付けられていてもよい。また、ステップＳ３とステップＳ４とは順不同であり、アタッチメント関連情報の表示位置を決定した後でアタッチメント関連情報の内容（例えば掘削角度の値である。）を生成してもよい。
【００５２】
その後、モニタシステム１００は、表示制御部３０２により、前方画像上の決定した表示位置にアタッチメント関連情報を重畳表示させる（ステップＳ５）。
【００５３】
また、モニタシステム１００は、表示制御部３０２により、設置面を表す線分Ｇ１ａ、Ｇ１ｂ、Ｇ２（図５参照。）を前方画像上に重畳表示させる（ステップＳ６）。
【００５４】
さらに、モニタシステム１００は、表示制御部３０２により、ショベル５０の前後方向及び左右方向の傾きを表す傾斜情報を前方画像上に重畳表示させる（ステップＳ７）。
【００５５】
なお、ステップＳ５、ステップＳ６、及びステップＳ７は順不同である。また、設置面を表す線分、アタッチメント関連情報、傾斜情報は同じ色で表示されてもよく、異なる色で表示されてもよい。同様に、複数のアタッチメント関連情報のそれぞれは、同じ色で表示されてもよく、異なる色で表示されてもよい。
【００５６】
以上の構成により、モニタシステム１００は、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させて表示することで、ショベル５０の掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００５７】
また、モニタシステム１００は、バケット６の先端と設置面との間の垂直距離、及び、バケット６の先端とショベル５０との間の水平距離を同時に表示することで、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００５８】
また、モニタシステム１００は、バケット６の実写画像の周辺の所定位置にそのバケット６の掘削角度を表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
【００５９】
また、モニタシステム１００は、バケット６の実写画像の周辺の所定位置にそのバケット６により掘削された土砂の重量を表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
【００６０】
また、モニタシステム１００は、バケット６の実写画像上にバケット６の輪郭画像を重畳表示するので、バケット６が土砂に埋没したり、水中に潜没したり、或いは、物陰に隠れたりして不可視となる場合であっても、バケット６の位置及び姿勢をオペレータに提示することができる。その結果、モニタシステム１００は、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
【００６１】
また、モニタシステム１００は、バケット６の実写画像の周辺の所定位置に、バケット６の先端と目標掘削深さとの間の距離を重畳表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００６２】
また、モニタシステム１００は、ショベル５０の前後方向及び左右方向の傾きに関する情報等、掘削アタッチメントの状態に直接的には関係しない情報をも前方画像上に重畳表示させることができる。その結果、モニタシステム１００は、掘削アタッチメントの状態をオペレータに直感的に理解させると同時に、ショベル５０の周囲の状況をオペレータに分かり易く提示することができ、作業性を向上させることができる。
【００６３】
また、モニタシステム１００は、フロントウィンドウの横に表示装置３５を取り付けたことにより、フロントウィンドウを通じた実際のショベル外部の状況と表示装置３５に表示される画像とをほぼ同時にオペレータに視認させることができる。その結果、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
【００６４】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００６５】
例えば、上述の実施例では、本発明がショベル５０に適用された場合を説明する。しかしながら、本発明は、これに限定されることはない。本発明は、例えば、リフティングマグネット、グラップル、破砕機等を備えた他の建設機械にも適用可能である。
【００６６】
具体的には、リフティングマグネットを備える建設機械に適用される場合、アタッチメント関連情報は、リフティングマグネットの持ち上げ重量に関する情報を含む。
【００６７】
また、グラップル、破砕機等を備える建設機械に適用される場合、アタッチメント関連情報は、グラップル、破砕機等の輪郭画像を含む。これにより、オペレータは、実際のグラップル、破砕機等が物陰に隠れて不可視となっていても、その位置や開閉具合を認識することができる。
【００６８】
また、上述の実施例では、バケット６は、前後方向に回動（開閉）可能な構成を採用するが、チルトバケットのように左右方向にも回動可能な構成を採用してもよい。この場合、アタッチメント関連情報は、設置面とバケット６の背面とが形成する前後方向掘削角度に関する情報に加え、或いはその前後方向掘削角度に関する情報に代えて、設置面とバケット６の左右の側面とが形成する左右方向掘削角度に関する情報を含む。
【符号の説明】
【００６９】
１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １１・・・フロントウィンドウ ３０・・・制御装置 ３１・・・撮像装置 ３２・・・傾き検出装置 ３３・・・アタッチメント状態検出装置 ３３ａ・・・ブーム角度センサ ３３ｂ・・・アーム角度センサ ３３ｃ・・・バケット角度センサ ３４・・・入力装置 ３５・・・表示装置 ５０・・・ショベル １００・・・モニタシステム ３００・・・アタッチメント関連画像生成部 ３０１・・・作業量推定部 ３０２・・・表示制御部
【特許請求の範囲】
【請求項１】
アタッチメントを備える建設機械に搭載され、アタッチメント画像を含む前方画像を取得する撮像装置と、
前記アタッチメントの状態を検出するアタッチメント状態検出装置と、
前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部と、前記前方画像上に前記アタッチメント関連情報を重畳させ、且つ、前記前方画像における前記アタッチメント画像の表示位置と前記アタッチメント関連情報の表示位置とを連動させて表示装置に表示する表示制御部と、を有する制御装置と、
を備えることを特徴とする建設機械用モニタシステム。
【請求項２】
前記アタッチメント関連情報は、前記アタッチメントの先端と前記建設機械の基準位置との間の水平距離に関する情報、前記建設機械が位置する平面から前記アタッチメントの先端までの垂直距離に関する情報、前記アタッチメントの先端と予め設定された目標位置との間の差に関する情報、及び、前記アタッチメントの輪郭に関する情報のうちの少なくとも１つを含む、
ことを特徴とする請求項１に記載の建設機械用モニタシステム。
【請求項３】
前記建設機械の水平面に対する傾きを検出する傾き検出装置を更に備え、
前記表示制御部は、前記傾き検出装置が検出した前記建設機械の水平面に対する傾きに関する情報を前記前方画像上に重畳表示する、
ことを特徴とする請求項１又は２に記載の建設機械用モニタシステム。
【請求項４】
前記制御装置は、前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいて前記アタッチメントの作業量を推定する作業量推定部を更に備え、
前記表示制御部は、前記作業量推定部が推定した前記アタッチメントの作業量を前記前方画像上に重畳表示する、
ことを特徴とする請求項１乃至３の何れか一項に記載の建設機械用モニタシステム。
【請求項５】
前記建設機械は、バケットを含む掘削アタッチメントを備えたショベルであり、
前記アタッチメント関連情報は、前記ショベルが位置する平面と前記バケットの基準面とが形成する掘削角度に関する画像を含む、
ことを特徴とする請求項１乃至４の何れか一項に記載の建設機械用モニタシステム。
【請求項１】
アタッチメントを備える建設機械に搭載され、アタッチメント画像を含む前方画像を取得する撮像装置と、
前記アタッチメントの状態を検出するアタッチメント状態検出装置と、
前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部と、前記前方画像上に前記アタッチメント関連情報を重畳させ、且つ、前記前方画像における前記アタッチメント画像の表示位置と前記アタッチメント関連情報の表示位置とを連動させて表示装置に表示する表示制御部と、を有する制御装置と、
を備えることを特徴とする建設機械用モニタシステム。
【請求項２】
前記アタッチメント関連情報は、前記アタッチメントの先端と前記建設機械の基準位置との間の水平距離に関する情報、前記建設機械が位置する平面から前記アタッチメントの先端までの垂直距離に関する情報、前記アタッチメントの先端と予め設定された目標位置との間の差に関する情報、及び、前記アタッチメントの輪郭に関する情報のうちの少なくとも１つを含む、
ことを特徴とする請求項１に記載の建設機械用モニタシステム。
【請求項３】
前記建設機械の水平面に対する傾きを検出する傾き検出装置を更に備え、
前記表示制御部は、前記傾き検出装置が検出した前記建設機械の水平面に対する傾きに関する情報を前記前方画像上に重畳表示する、
ことを特徴とする請求項１又は２に記載の建設機械用モニタシステム。
【請求項４】
前記制御装置は、前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいて前記アタッチメントの作業量を推定する作業量推定部を更に備え、
前記表示制御部は、前記作業量推定部が推定した前記アタッチメントの作業量を前記前方画像上に重畳表示する、
ことを特徴とする請求項１乃至３の何れか一項に記載の建設機械用モニタシステム。
【請求項５】
前記建設機械は、バケットを含む掘削アタッチメントを備えたショベルであり、
前記アタッチメント関連情報は、前記ショベルが位置する平面と前記バケットの基準面とが形成する掘削角度に関する画像を含む、
ことを特徴とする請求項１乃至４の何れか一項に記載の建設機械用モニタシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１１３０４４（Ｐ２０１３−１１３０４４Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２２８７（Ｐ２０１１−２６２２８７）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（５０２２４６５２８）住友建機株式会社 (346)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（５０２２４６５２８）住友建機株式会社 (346)
【Ｆターム（参考）】
[ Back to top ]