建設機械および建設機械の後進移動ガイダンス方法
【課題】1台のカメラを利用するだけで簡単かつ適正に後進移動時のガイダンスを行うことができ、後進移動時の安全性の向上を図ること。
【解決手段】上部旋回体3の後部側に設置されて履帯2と後部旋回体3の後方とを撮影可能な広視野角のカメラ9を用い、履帯2と上部旋回体3の後方とをカメラ9で同時に撮影し、カメラ9で撮影された広角画像から履帯2と上部旋回体3との相対角度を演算することで、旋回角センサを追加することなく、1台の広視野角のカメラ9を用いるだけで履帯2と上部旋回体3との相対角度αの計測を可能とした。また、演算された相対角度αに基づき油圧ショベル1の後進時の進行方向を予測し、カメラ9で撮影された後方画像と予測された進行方向を示す画像とを、モニタ上に重ね合わせて表示するようにした。
【解決手段】上部旋回体3の後部側に設置されて履帯2と後部旋回体3の後方とを撮影可能な広視野角のカメラ9を用い、履帯2と上部旋回体3の後方とをカメラ9で同時に撮影し、カメラ9で撮影された広角画像から履帯2と上部旋回体3との相対角度を演算することで、旋回角センサを追加することなく、1台の広視野角のカメラ9を用いるだけで履帯2と上部旋回体3との相対角度αの計測を可能とした。また、演算された相対角度αに基づき油圧ショベル1の後進時の進行方向を予測し、カメラ9で撮影された後方画像と予測された進行方向を示す画像とを、モニタ上に重ね合わせて表示するようにした。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、油圧ショベル等の履帯および旋回体を有する建設機械および建設機械の後進移動ガイダンス方法に関するものである。
【背景技術】
【0002】
従来、油圧ショベル等の建設機械に関しては、建設機械の後方をカメラで撮影し、撮影された後方視野画像をモニタ上に表示可能とするが、機械の動作によってモニタ上に表示する画像を切り替えるようにした提案例がある(例えば、特許文献1参照)。
【0003】
一方、自動車に関しては、後方カメラで撮影した後方画像をバックモニタ上に表示させる際に、自動車の後進時の予測進路を重ねて表示させるパーキングガイダンスがあり、実用化されている。
【0004】
【特許文献1】特開2006−336275号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載のものは、単に後方視野画像をモニタ上に表示可能としているだけであり、建設機械の後進時に予測される進行方向はモニタ画面上からは判らず、後進移動ガイダンスとして不十分である。
【0006】
この点、自動車の場合のパーキングガイダンスによれば、後進時の予測進路が併せて表示されるので、後進移動時の安全性を確保できる。しかしながら、自動車の場合にはステアリング角だけで自動車の後進移動時の進行方向を予測し得るが、油圧ショベル等の建設機械にあっては履帯上に上部旋回体を有するため、上部旋回体の後方方向が後進移動時の進行方向に一致するとは限らず、進行方向を予測するには、走行レバーの操作情報だけでなく、上部旋回体と履帯との相対位置関係の情報が必要であり、自動車のパーキングガイダンスの技術をそのまま適用することはできない。
【0007】
ここで、上部旋回体と履帯との相対位置関係の情報は、エンコーダ、ポテンショメータ等の旋回角センサを追加することで計測可能ではあるが、コストアップの要因となる。また、後方視野を撮影するカメラに加えて、履帯と上部旋回体との相対角度を計測するためのカメラを備えることで履帯と上部旋回体との相対角度を求めて進行方向を予測し、後方視野画像に重ね合せることも考えられるが、一般に、複数台のカメラを使用する場合、カメラ間のキャリブレーションが必要となり、正確に角度を求めるのが困難である。結果として進行方向のガイダンスの適正さに欠けるものとなってしまう。
【0008】
本発明は、上記に鑑みてなされたものであって、1台のカメラを利用するだけで簡単かつ適正に後進移動時のガイダンスを行うことができ、後進移動時の安全性の向上を図ることができる建設機械および建設機械の後進移動ガイダンス方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した課題を解決し、目的を達成するために、本発明にかかる建設機械の後進移動ガイダンス方法は、履帯および旋回体を有する建設機械の後進移動ガイダンス方法であって、前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラで撮影する工程と、前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する工程と、演算された前記相対角度に基づき前記建設機械の後進時の進行方向を予測し、前記カメラで撮影された後方画像と予測された進行方向を示す画像とを、前記旋回体に搭載されたモニタ上に重ね合わせて表示する工程と、を備えたことを特徴とする。
【0010】
また、本発明にかかる建設機械の後進移動ガイダンス方法は、上記発明において、前記進行方向は、操作レバーの操作内容を加味して予測することを特徴とする。
【0011】
また、本発明にかかる建設機械の後進移動ガイダンス方法は、上記発明において、前記表示する工程では、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示することを特徴とする。
【0012】
また、本発明にかかる建設機械は、履帯および旋回体を有する建設機械であって、前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラと、前記旋回体に搭載されたモニタと、前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する演算手段と、演算された前記相対角度に基づき当該建設機械の後進時の進行方向を予測する予測手段と、前記カメラで撮影された後方画像と予測した進行方向を示す画像とを、前記モニタ上に重ね合わせて表示させる後進移動ガイダンス表示手段と、を備えたことを特徴とする。
【0013】
また、本発明にかかる建設機械は、上記発明において、前記予測手段は、操作レバーの操作内容を加味して当該建設機械の後進時の進行方向を予測することを特徴とする。
【0014】
また、本発明にかかる建設機械は、上記発明において、前記後進移動ガイダンス表示手段は、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示させることを特徴とする。
【発明の効果】
【0015】
本発明にかかる建設機械および建設機械の後進移動ガイダンス方法は、旋回体の後部側に設置されて履帯と旋回体の後方とを撮影可能な広視野角のカメラを用い、履帯と旋回体の後方とをカメラで撮影し、カメラで撮影された画像から履帯と旋回体との相対角度を演算し、演算された相対角度に基づき建設機械の後進時の進行方向を予測するので、旋回角センサを追加することなく、1台の広視野角のカメラを用いるだけで履帯と旋回体との相対角度の計測が可能となり、また、カメラで撮影された後方画像と予測された進行方向を示す画像とをモニタ上に重ね合わせて表示するので、後進移動時のガイダンスを適正に行うことができ、後進移動時の安全性を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態について図面を参照して説明する。なお、本実施の形態は、建設機械として油圧ショベルへの適用例を示す。本発明は、実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
【0017】
図1は、本実施の形態の後進移動ガイダンス方法が適用される油圧ショベルの構成例を示す概略側面図であり、図2は、油圧ショベルの構成例を示す概略ブロック図である。本実施の形態の油圧ショベル1は、下部走行体をなす左右一対の履帯2上に操縦室3a等を含む上部旋回体3を備え、上部旋回体3の車体部分には、ブーム4、アーム5およびバケット6からなる作業機7が取り付けられている。ブーム4、アーム5およびバケット6は、図1では図示しないが、各々ブーム用、アーム用、バケット用の油圧シリンダ等の油圧アクチュエータ8(図2参照)が駆動することにより作動し、掘削等の所望の作業を実行する。また、上部旋回体3は、油圧アクチュエータ8中の旋回モータ8aが駆動することにより、履帯2に対して水平面内で回転移動し、作業機7の方向を任意の方向に設定可能としている。さらに、左右一対の履帯2は、油圧アクチュエータ8中の右走行モータ8b、左走行モータ8cが駆動することにより作動し、直進状態または旋回しながら、前進または後進移動する。
【0018】
ここで、本実施の形態の油圧ショベル1は、上部旋回体3の後部側位置、例えばカウンタウエイト3bの下部位置に、撮影方向を下向きとしたカメラ9を備える。このカメラ9は、CCD、CMOSセンサ等の固体撮像素子を用いて被写体を撮影するもので、本実施の形態では、図1中の視野線に示す如く、履帯2の後部側一部と旋回体3の後方の所定範囲とを同時に撮影可能な広視野角カメラが用いられている。広視野角カメラとしては、全方位カメラや魚眼カメラ等が適用可能であるが、本実施の形態では、カメラ9として、双曲線ミラーを利用した全方位カメラが用いられている。
【0019】
また、本実施の形態の油圧ショベル1は、図2に示すように、制御系として、車体コントローラ10と画像処理コントローラ20とを備え、通信バス31により接続されている。車体コントローラ10は、油圧ショベル1の大半の制御を司るもので、例えばエンジン11の回転数を燃料噴射指令値によって制御することで、エンジン駆動の油圧ポンプ12を制御し、操作弁13を介して油圧シリンダ、油圧モータ(旋回モータ8a、右走行モータ8b、左走行モータ8c)等の油圧アクチュエータ8を駆動制御し、所望の作業、動作を行わせる。また、車体コントローラ10は、操作弁13をパイロット油圧で制御して対応する油圧アクチュエータ8を駆動させるための操作レバー14の操作レバー信号を取り込み、操作レバー14の操作量に応じた燃料噴射指令値を算出する。ここで、操作レバー14中には、旋回レバー14a、右走行レバー14b、左走行レバー14c、図示しないブーム用操作レバー、アーム用操作レバー、バケット用操作レバー等が含まれる。
【0020】
また、画像処理コントローラ20は、油圧ショベル1が後進移動する際のバックモニタ時に、カメラ9で撮影された画像情報を取り込んで後進移動ガイダンスのための画像処理を行うためのものであり、カメラ9の他、モニタ21、バックモニタ表示釦22、変換テーブル23等が接続されている。モニタ21は、例えば操縦室3a内の前方位置等に搭載されたバックモニタ用であり、バックモニタ表示釦22は、オペレータがモニタ21に表示を要する場合にモニタ表示を指示するためのものである。画像処理コントローラ20は、バックモニタ表示釦22によりモニタ表示が指示された場合に動作し、演算手段、予測手段、後進移動ガイダンス表示手段等の機能を実現する。
【0021】
本実施の形態の画像処理コントローラ20の動作制御例を、図3に示す概略フローチャートを参照して説明する。まず、バックモニタ表示釦22によりモニタ表示が指示されると、カメラ9は撮影動作を実行し、履帯2の後部側一部と上部旋回体3の後方とを含む広範囲を撮影し、画像処理コントローラ20に対して出力する。図4は、カメラ9で撮影された広角画像40の一例を模式的に示すものであり、履帯画像41と後方画像42とが含まれている。
【0022】
画像処理コントローラ20は、カメラ9から広角画像40が入力されると(ステップS1)、広角画像40中から特徴点抽出等の画像処理によって履帯領域を抽出し(ステップS2)、さらに、履帯領域の各エッジ部分を、図5中に破線で示すようにエッジ線分51として抽出する(ステップS3)。そして、図5中に示すように、履帯領域の各エッジ線分51の撮影画面座標上での履帯2の傾きを求め、その平均をとることで、画面上での履帯2の傾きθを計算する(ステップS4)。
【0023】
ついで、履帯2と上部旋回体3との相対角度を計算する(ステップS5)。すなわち、カメラ9は、上部旋回体3の一部に固定されているので、撮影画面上では、上部旋回体3の位置は固定であり、実際の上部旋回体3と履帯2との相対角度αは、画面上での履帯2の傾きθとの対応関係を規定した変換テーブル23を参照することで求めることができる。変換テーブル23には、図6(a)に示す撮影画面上での履帯2の傾き角θと、図6(b)に示す実際の上部旋回体3と履帯2との相対角度αとの対応関係を、設計時に予め規定したものであり、例えば図7に示すような対応関係が設定されている。
【0024】
一方、上述の画像処理に並行して、後進移動に際しての操作レバー14中の右走行レバー14b、左走行レバー14cに関する走行レバー入力値を取得する(ステップS11)。この走行レバー値は、操作レバー14の操作に伴い生ずるパイロット油圧の油圧値でもよく、あるいは、レバー操作に伴う電気的なレバー入力信号であってもよい。そして、左右の右走行レバー14b、左走行レバー14cのレバー入力値(操作内容)を加味して、図8に示すように、履帯2の向きから見た座標系での進行方向を予測進路61として予測する演算を行う(ステップS12)。図8に示す例であれば、履帯2の駆動輪の半径をrとし、右、左の駆動輪の角速度をdθR/dt,dθL/dtとし、左右の履帯2の間隔を2aとすると、以下の数1で求められる。
【数1】
【0025】
ここで、右走行レバー14b、左走行レバー14cのレバー入力値が同じであれば、予測進路61は履帯2の方向に沿った直進方向となるが、右走行レバー14b、左走行レバー14cのレバー入力値が異なる場合には、その大小関係に応じた程度に右旋回または左旋回するように曲がる方向となる。
【0026】
ついで、図9(a)に示すようなステップS12で算出した予測進路61を、図9(b)に示すように、ステップS5で求めた履帯2と上部旋回体3との相対角α分だけ回転させることで、図9(c)に示すように、上部旋回体3から見た予測進路61に変換する(ステップS21)。
【0027】
一方、これらの画像処理や進路予測処理に並行して、カメラ9で撮影されて入力された広角画像40に関して、後方画像42部分をモニタ21上に表示させるために後方視点画像に変換する処理を行う(ステップS31)。すなわち、カメラ9で撮影された広角画像40は、図10(a)に示すように全方位の画像を含む周囲パノラマ画像であり、これを図10(b)に示すようなパノラマ画像にパノラマ展開し、展開されたパノラマ画像中から所望の後方画像42が含まれる後方監視エリア43に相当する部分を切り出すことで、モニタ21上に表示する後方表示画像44を作成する。この際、全方位の広角画像40の半径をrとし、広角画像40上の任意の点を(x,y)とし、中心座標を(x0,y0)とした場合、後方表示画像44上での対応する点(X,Y)は、
X=rtan-1{(y0−y)/(x0−x)}
Y=r−√{(x0−x)2+(y0−y)2}
により算出される。
【0028】
ついで、ステップS21で、上部旋回体3の座標系に変換された予測進路61を、地面を平面と仮定して、周知の透視投影法によって、後方視点座標系に透視投影する(ステップS22)。すなわち、図11に示すようなXYZ座標系において、地面に相当するXY表面上で表現された予測進路61の関数f(X,Y)を、例えばモニタ21の画面に相当するXZ平面上に透視投影された関数g(x,y)として求めるものである。
【0029】
この処理は、透視投影法によって処理される。まず、図12に示すようなワールド座標系で定義された注視点Pw(xw,yw,zw)を視点座標系の視点Pf(xf,yf,zf)に変換する。ここで、図12の場合、
a=√{(xf−xa)2+(yf−ya)2}
b=√{a2+(zf−za)2}
sinθ=(yf−ya)/a
cosθ=(xf−xa)/a
sinφ=(zf−za)/b
cosφ=a/b
とした場合、以下の数2で視点座標系に変換される。
【数2】
【0030】
このようにして求められた視点座標系の座標を、
xa´=xa/za
ya´=ya/za
なる変換式を用いて、モニタ21の画面上の座標(xa´,ya´)に変換する。
【0031】
最後に、モニタ21の画面上に、図13(a)に示すような後方表示画像44を表示する際に、このようにして座標変換された予測進路61を、進行方向を示す画像であるガイダンス線45として図13(b)に示すように重ね合わせてオーバレイ表示させる(ステップS41)。この際、図13(b)中に示すように、履帯2間の間隔2aの情報を用いて、進行方向への進行に伴い履帯2が通過すると予測される履帯幅を示す破線のような画像46を同時に表示させる。
【0032】
このように、本実施の形態によれば、上部旋回体3の後部側に設置されて履帯2と後部旋回体3の後方とを撮影可能な広視野角のカメラ9を用い、履帯2と上部旋回体3の後方とをカメラ9で同時に撮影し、カメラ9で撮影された広角画像40から履帯2と上部旋回体3との相対角度αを演算するようにしたので、旋回角センサを追加することなく、1台の広視野角のカメラ9を用いるだけで履帯2と上部旋回体3との相対角度αの計測が可能となり、また、演算された相対角度αに基づき油圧ショベル1の後進時の進行方向を予測し、カメラ9で撮影された後方画像42に基づく後方表示画像44と予測された進行方向を示す画像であるガイダンス線45とを、モニタ21上に重ね合わせて表示するようにしたので、オペレータが操縦室3aでモニタ21の画面を見ながら後進移動しようとする際に後方画像42に対する移動方向が判りやすく、後進移動時のガイダンスを適正に行うことができ、後進移動時の安全性を向上させることができる。特に、進行方向を示すガイダンス線45の表示に加えて、履帯2が通過すると予測される履帯幅を示す画像46を併せて表示するので、オペレータにとって後進移動時の危険範囲における物体の有無を把握しやすく、安全性を一層向上させることができる。
【0033】
なお、本実施の形態では、オペレータによってバックモニタ表示釦22が押された場合に後進移動ガイダンスのための処理を行わせることで、後進移動に先立つ所望のタイミングでの後進移動ガイダンス表示を可能としたが、右走行レバー14bまたは左走行レバー14c等によって後進移動操作が行われた時点から、後進移動ガイダンスのための処理を行わせるようにしてもよい。
【0034】
また、本実施の形態では、操作レバー14の操作内容によって油圧ショベル1の進行方向を予測するようにしたが、後進移動に先立つバックモニタ釦22の操作に基づく場合のように操作レバー14が操作されていない時点であれば、右走行レバー14b、左走行レバー14cのレバー入力値が同じであるとして(直進するとして)、相対角度αの方向によって進行方向を予測するようにしてもよい。
【0035】
さらには、建設機械としては、油圧ショベル1に限らず、履帯と旋回体とを備えるものであれば、同様に適用可能である。また、油圧ショベルとしても、発電電動機および蓄電器を備えるハイブリッド型であってもよい。
【図面の簡単な説明】
【0036】
【図1】本発明の実施の形態の後進移動ガイダンス方法が適用される油圧ショベルの構成例を示す概略側面図である。
【図2】油圧ショベルの構成例を示す概略ブロック図である。
【図3】画像処理コントローラによる処理制御例を示す概略フローチャートである。
【図4】カメラで撮影された広角画像の一例を模式的に示す図である。
【図5】履帯のエッジ線分の抽出例および傾き角を示す説明図である。
【図6】履帯と上部旋回体との相対角度を求めるための説明図である。
【図7】変換テーブルの内容を示す説明図である。
【図8】履帯の進行方向を算出するための説明図である。
【図9】上部旋回体から見た予測進路への変換処理を示す説明図である。
【図10】全方位の広角画像からパノラマ展開されたパノラマ画像への変換処理を示す説明図である。
【図11】予測進路のモニタ画面上への透視投影処理例を示す説明図である。
【図12】ワールド座標系から視点座標系への変換処理例を説明するための図である。
【図13】後方表示画像へのガイダンス線のオーバレイ表示処理例を示す説明図である。
【符号の説明】
【0037】
1 油圧ショベル
2 履帯
3 上部旋回体
9 カメラ
14 操作レバー
21 モニタ
【技術分野】
【0001】
本発明は、油圧ショベル等の履帯および旋回体を有する建設機械および建設機械の後進移動ガイダンス方法に関するものである。
【背景技術】
【0002】
従来、油圧ショベル等の建設機械に関しては、建設機械の後方をカメラで撮影し、撮影された後方視野画像をモニタ上に表示可能とするが、機械の動作によってモニタ上に表示する画像を切り替えるようにした提案例がある(例えば、特許文献1参照)。
【0003】
一方、自動車に関しては、後方カメラで撮影した後方画像をバックモニタ上に表示させる際に、自動車の後進時の予測進路を重ねて表示させるパーキングガイダンスがあり、実用化されている。
【0004】
【特許文献1】特開2006−336275号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載のものは、単に後方視野画像をモニタ上に表示可能としているだけであり、建設機械の後進時に予測される進行方向はモニタ画面上からは判らず、後進移動ガイダンスとして不十分である。
【0006】
この点、自動車の場合のパーキングガイダンスによれば、後進時の予測進路が併せて表示されるので、後進移動時の安全性を確保できる。しかしながら、自動車の場合にはステアリング角だけで自動車の後進移動時の進行方向を予測し得るが、油圧ショベル等の建設機械にあっては履帯上に上部旋回体を有するため、上部旋回体の後方方向が後進移動時の進行方向に一致するとは限らず、進行方向を予測するには、走行レバーの操作情報だけでなく、上部旋回体と履帯との相対位置関係の情報が必要であり、自動車のパーキングガイダンスの技術をそのまま適用することはできない。
【0007】
ここで、上部旋回体と履帯との相対位置関係の情報は、エンコーダ、ポテンショメータ等の旋回角センサを追加することで計測可能ではあるが、コストアップの要因となる。また、後方視野を撮影するカメラに加えて、履帯と上部旋回体との相対角度を計測するためのカメラを備えることで履帯と上部旋回体との相対角度を求めて進行方向を予測し、後方視野画像に重ね合せることも考えられるが、一般に、複数台のカメラを使用する場合、カメラ間のキャリブレーションが必要となり、正確に角度を求めるのが困難である。結果として進行方向のガイダンスの適正さに欠けるものとなってしまう。
【0008】
本発明は、上記に鑑みてなされたものであって、1台のカメラを利用するだけで簡単かつ適正に後進移動時のガイダンスを行うことができ、後進移動時の安全性の向上を図ることができる建設機械および建設機械の後進移動ガイダンス方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した課題を解決し、目的を達成するために、本発明にかかる建設機械の後進移動ガイダンス方法は、履帯および旋回体を有する建設機械の後進移動ガイダンス方法であって、前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラで撮影する工程と、前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する工程と、演算された前記相対角度に基づき前記建設機械の後進時の進行方向を予測し、前記カメラで撮影された後方画像と予測された進行方向を示す画像とを、前記旋回体に搭載されたモニタ上に重ね合わせて表示する工程と、を備えたことを特徴とする。
【0010】
また、本発明にかかる建設機械の後進移動ガイダンス方法は、上記発明において、前記進行方向は、操作レバーの操作内容を加味して予測することを特徴とする。
【0011】
また、本発明にかかる建設機械の後進移動ガイダンス方法は、上記発明において、前記表示する工程では、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示することを特徴とする。
【0012】
また、本発明にかかる建設機械は、履帯および旋回体を有する建設機械であって、前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラと、前記旋回体に搭載されたモニタと、前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する演算手段と、演算された前記相対角度に基づき当該建設機械の後進時の進行方向を予測する予測手段と、前記カメラで撮影された後方画像と予測した進行方向を示す画像とを、前記モニタ上に重ね合わせて表示させる後進移動ガイダンス表示手段と、を備えたことを特徴とする。
【0013】
また、本発明にかかる建設機械は、上記発明において、前記予測手段は、操作レバーの操作内容を加味して当該建設機械の後進時の進行方向を予測することを特徴とする。
【0014】
また、本発明にかかる建設機械は、上記発明において、前記後進移動ガイダンス表示手段は、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示させることを特徴とする。
【発明の効果】
【0015】
本発明にかかる建設機械および建設機械の後進移動ガイダンス方法は、旋回体の後部側に設置されて履帯と旋回体の後方とを撮影可能な広視野角のカメラを用い、履帯と旋回体の後方とをカメラで撮影し、カメラで撮影された画像から履帯と旋回体との相対角度を演算し、演算された相対角度に基づき建設機械の後進時の進行方向を予測するので、旋回角センサを追加することなく、1台の広視野角のカメラを用いるだけで履帯と旋回体との相対角度の計測が可能となり、また、カメラで撮影された後方画像と予測された進行方向を示す画像とをモニタ上に重ね合わせて表示するので、後進移動時のガイダンスを適正に行うことができ、後進移動時の安全性を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態について図面を参照して説明する。なお、本実施の形態は、建設機械として油圧ショベルへの適用例を示す。本発明は、実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
【0017】
図1は、本実施の形態の後進移動ガイダンス方法が適用される油圧ショベルの構成例を示す概略側面図であり、図2は、油圧ショベルの構成例を示す概略ブロック図である。本実施の形態の油圧ショベル1は、下部走行体をなす左右一対の履帯2上に操縦室3a等を含む上部旋回体3を備え、上部旋回体3の車体部分には、ブーム4、アーム5およびバケット6からなる作業機7が取り付けられている。ブーム4、アーム5およびバケット6は、図1では図示しないが、各々ブーム用、アーム用、バケット用の油圧シリンダ等の油圧アクチュエータ8(図2参照)が駆動することにより作動し、掘削等の所望の作業を実行する。また、上部旋回体3は、油圧アクチュエータ8中の旋回モータ8aが駆動することにより、履帯2に対して水平面内で回転移動し、作業機7の方向を任意の方向に設定可能としている。さらに、左右一対の履帯2は、油圧アクチュエータ8中の右走行モータ8b、左走行モータ8cが駆動することにより作動し、直進状態または旋回しながら、前進または後進移動する。
【0018】
ここで、本実施の形態の油圧ショベル1は、上部旋回体3の後部側位置、例えばカウンタウエイト3bの下部位置に、撮影方向を下向きとしたカメラ9を備える。このカメラ9は、CCD、CMOSセンサ等の固体撮像素子を用いて被写体を撮影するもので、本実施の形態では、図1中の視野線に示す如く、履帯2の後部側一部と旋回体3の後方の所定範囲とを同時に撮影可能な広視野角カメラが用いられている。広視野角カメラとしては、全方位カメラや魚眼カメラ等が適用可能であるが、本実施の形態では、カメラ9として、双曲線ミラーを利用した全方位カメラが用いられている。
【0019】
また、本実施の形態の油圧ショベル1は、図2に示すように、制御系として、車体コントローラ10と画像処理コントローラ20とを備え、通信バス31により接続されている。車体コントローラ10は、油圧ショベル1の大半の制御を司るもので、例えばエンジン11の回転数を燃料噴射指令値によって制御することで、エンジン駆動の油圧ポンプ12を制御し、操作弁13を介して油圧シリンダ、油圧モータ(旋回モータ8a、右走行モータ8b、左走行モータ8c)等の油圧アクチュエータ8を駆動制御し、所望の作業、動作を行わせる。また、車体コントローラ10は、操作弁13をパイロット油圧で制御して対応する油圧アクチュエータ8を駆動させるための操作レバー14の操作レバー信号を取り込み、操作レバー14の操作量に応じた燃料噴射指令値を算出する。ここで、操作レバー14中には、旋回レバー14a、右走行レバー14b、左走行レバー14c、図示しないブーム用操作レバー、アーム用操作レバー、バケット用操作レバー等が含まれる。
【0020】
また、画像処理コントローラ20は、油圧ショベル1が後進移動する際のバックモニタ時に、カメラ9で撮影された画像情報を取り込んで後進移動ガイダンスのための画像処理を行うためのものであり、カメラ9の他、モニタ21、バックモニタ表示釦22、変換テーブル23等が接続されている。モニタ21は、例えば操縦室3a内の前方位置等に搭載されたバックモニタ用であり、バックモニタ表示釦22は、オペレータがモニタ21に表示を要する場合にモニタ表示を指示するためのものである。画像処理コントローラ20は、バックモニタ表示釦22によりモニタ表示が指示された場合に動作し、演算手段、予測手段、後進移動ガイダンス表示手段等の機能を実現する。
【0021】
本実施の形態の画像処理コントローラ20の動作制御例を、図3に示す概略フローチャートを参照して説明する。まず、バックモニタ表示釦22によりモニタ表示が指示されると、カメラ9は撮影動作を実行し、履帯2の後部側一部と上部旋回体3の後方とを含む広範囲を撮影し、画像処理コントローラ20に対して出力する。図4は、カメラ9で撮影された広角画像40の一例を模式的に示すものであり、履帯画像41と後方画像42とが含まれている。
【0022】
画像処理コントローラ20は、カメラ9から広角画像40が入力されると(ステップS1)、広角画像40中から特徴点抽出等の画像処理によって履帯領域を抽出し(ステップS2)、さらに、履帯領域の各エッジ部分を、図5中に破線で示すようにエッジ線分51として抽出する(ステップS3)。そして、図5中に示すように、履帯領域の各エッジ線分51の撮影画面座標上での履帯2の傾きを求め、その平均をとることで、画面上での履帯2の傾きθを計算する(ステップS4)。
【0023】
ついで、履帯2と上部旋回体3との相対角度を計算する(ステップS5)。すなわち、カメラ9は、上部旋回体3の一部に固定されているので、撮影画面上では、上部旋回体3の位置は固定であり、実際の上部旋回体3と履帯2との相対角度αは、画面上での履帯2の傾きθとの対応関係を規定した変換テーブル23を参照することで求めることができる。変換テーブル23には、図6(a)に示す撮影画面上での履帯2の傾き角θと、図6(b)に示す実際の上部旋回体3と履帯2との相対角度αとの対応関係を、設計時に予め規定したものであり、例えば図7に示すような対応関係が設定されている。
【0024】
一方、上述の画像処理に並行して、後進移動に際しての操作レバー14中の右走行レバー14b、左走行レバー14cに関する走行レバー入力値を取得する(ステップS11)。この走行レバー値は、操作レバー14の操作に伴い生ずるパイロット油圧の油圧値でもよく、あるいは、レバー操作に伴う電気的なレバー入力信号であってもよい。そして、左右の右走行レバー14b、左走行レバー14cのレバー入力値(操作内容)を加味して、図8に示すように、履帯2の向きから見た座標系での進行方向を予測進路61として予測する演算を行う(ステップS12)。図8に示す例であれば、履帯2の駆動輪の半径をrとし、右、左の駆動輪の角速度をdθR/dt,dθL/dtとし、左右の履帯2の間隔を2aとすると、以下の数1で求められる。
【数1】
【0025】
ここで、右走行レバー14b、左走行レバー14cのレバー入力値が同じであれば、予測進路61は履帯2の方向に沿った直進方向となるが、右走行レバー14b、左走行レバー14cのレバー入力値が異なる場合には、その大小関係に応じた程度に右旋回または左旋回するように曲がる方向となる。
【0026】
ついで、図9(a)に示すようなステップS12で算出した予測進路61を、図9(b)に示すように、ステップS5で求めた履帯2と上部旋回体3との相対角α分だけ回転させることで、図9(c)に示すように、上部旋回体3から見た予測進路61に変換する(ステップS21)。
【0027】
一方、これらの画像処理や進路予測処理に並行して、カメラ9で撮影されて入力された広角画像40に関して、後方画像42部分をモニタ21上に表示させるために後方視点画像に変換する処理を行う(ステップS31)。すなわち、カメラ9で撮影された広角画像40は、図10(a)に示すように全方位の画像を含む周囲パノラマ画像であり、これを図10(b)に示すようなパノラマ画像にパノラマ展開し、展開されたパノラマ画像中から所望の後方画像42が含まれる後方監視エリア43に相当する部分を切り出すことで、モニタ21上に表示する後方表示画像44を作成する。この際、全方位の広角画像40の半径をrとし、広角画像40上の任意の点を(x,y)とし、中心座標を(x0,y0)とした場合、後方表示画像44上での対応する点(X,Y)は、
X=rtan-1{(y0−y)/(x0−x)}
Y=r−√{(x0−x)2+(y0−y)2}
により算出される。
【0028】
ついで、ステップS21で、上部旋回体3の座標系に変換された予測進路61を、地面を平面と仮定して、周知の透視投影法によって、後方視点座標系に透視投影する(ステップS22)。すなわち、図11に示すようなXYZ座標系において、地面に相当するXY表面上で表現された予測進路61の関数f(X,Y)を、例えばモニタ21の画面に相当するXZ平面上に透視投影された関数g(x,y)として求めるものである。
【0029】
この処理は、透視投影法によって処理される。まず、図12に示すようなワールド座標系で定義された注視点Pw(xw,yw,zw)を視点座標系の視点Pf(xf,yf,zf)に変換する。ここで、図12の場合、
a=√{(xf−xa)2+(yf−ya)2}
b=√{a2+(zf−za)2}
sinθ=(yf−ya)/a
cosθ=(xf−xa)/a
sinφ=(zf−za)/b
cosφ=a/b
とした場合、以下の数2で視点座標系に変換される。
【数2】
【0030】
このようにして求められた視点座標系の座標を、
xa´=xa/za
ya´=ya/za
なる変換式を用いて、モニタ21の画面上の座標(xa´,ya´)に変換する。
【0031】
最後に、モニタ21の画面上に、図13(a)に示すような後方表示画像44を表示する際に、このようにして座標変換された予測進路61を、進行方向を示す画像であるガイダンス線45として図13(b)に示すように重ね合わせてオーバレイ表示させる(ステップS41)。この際、図13(b)中に示すように、履帯2間の間隔2aの情報を用いて、進行方向への進行に伴い履帯2が通過すると予測される履帯幅を示す破線のような画像46を同時に表示させる。
【0032】
このように、本実施の形態によれば、上部旋回体3の後部側に設置されて履帯2と後部旋回体3の後方とを撮影可能な広視野角のカメラ9を用い、履帯2と上部旋回体3の後方とをカメラ9で同時に撮影し、カメラ9で撮影された広角画像40から履帯2と上部旋回体3との相対角度αを演算するようにしたので、旋回角センサを追加することなく、1台の広視野角のカメラ9を用いるだけで履帯2と上部旋回体3との相対角度αの計測が可能となり、また、演算された相対角度αに基づき油圧ショベル1の後進時の進行方向を予測し、カメラ9で撮影された後方画像42に基づく後方表示画像44と予測された進行方向を示す画像であるガイダンス線45とを、モニタ21上に重ね合わせて表示するようにしたので、オペレータが操縦室3aでモニタ21の画面を見ながら後進移動しようとする際に後方画像42に対する移動方向が判りやすく、後進移動時のガイダンスを適正に行うことができ、後進移動時の安全性を向上させることができる。特に、進行方向を示すガイダンス線45の表示に加えて、履帯2が通過すると予測される履帯幅を示す画像46を併せて表示するので、オペレータにとって後進移動時の危険範囲における物体の有無を把握しやすく、安全性を一層向上させることができる。
【0033】
なお、本実施の形態では、オペレータによってバックモニタ表示釦22が押された場合に後進移動ガイダンスのための処理を行わせることで、後進移動に先立つ所望のタイミングでの後進移動ガイダンス表示を可能としたが、右走行レバー14bまたは左走行レバー14c等によって後進移動操作が行われた時点から、後進移動ガイダンスのための処理を行わせるようにしてもよい。
【0034】
また、本実施の形態では、操作レバー14の操作内容によって油圧ショベル1の進行方向を予測するようにしたが、後進移動に先立つバックモニタ釦22の操作に基づく場合のように操作レバー14が操作されていない時点であれば、右走行レバー14b、左走行レバー14cのレバー入力値が同じであるとして(直進するとして)、相対角度αの方向によって進行方向を予測するようにしてもよい。
【0035】
さらには、建設機械としては、油圧ショベル1に限らず、履帯と旋回体とを備えるものであれば、同様に適用可能である。また、油圧ショベルとしても、発電電動機および蓄電器を備えるハイブリッド型であってもよい。
【図面の簡単な説明】
【0036】
【図1】本発明の実施の形態の後進移動ガイダンス方法が適用される油圧ショベルの構成例を示す概略側面図である。
【図2】油圧ショベルの構成例を示す概略ブロック図である。
【図3】画像処理コントローラによる処理制御例を示す概略フローチャートである。
【図4】カメラで撮影された広角画像の一例を模式的に示す図である。
【図5】履帯のエッジ線分の抽出例および傾き角を示す説明図である。
【図6】履帯と上部旋回体との相対角度を求めるための説明図である。
【図7】変換テーブルの内容を示す説明図である。
【図8】履帯の進行方向を算出するための説明図である。
【図9】上部旋回体から見た予測進路への変換処理を示す説明図である。
【図10】全方位の広角画像からパノラマ展開されたパノラマ画像への変換処理を示す説明図である。
【図11】予測進路のモニタ画面上への透視投影処理例を示す説明図である。
【図12】ワールド座標系から視点座標系への変換処理例を説明するための図である。
【図13】後方表示画像へのガイダンス線のオーバレイ表示処理例を示す説明図である。
【符号の説明】
【0037】
1 油圧ショベル
2 履帯
3 上部旋回体
9 カメラ
14 操作レバー
21 モニタ
【特許請求の範囲】
【請求項1】
履帯および旋回体を有する建設機械の後進移動ガイダンス方法であって、
前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラで撮影する工程と、
前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する工程と、
演算された前記相対角度に基づき前記建設機械の後進時の進行方向を予測し、前記カメラで撮影された後方画像と予測された進行方向を示す画像とを、前記旋回体に搭載されたモニタ上に重ね合わせて表示する工程と、
を備えたことを特徴とする建設機械の後進移動ガイダンス方法。
【請求項2】
前記進行方向は、操作レバーの操作内容を加味して予測することを特徴とする請求項1に記載の建設機械の後進移動ガイダンス方法。
【請求項3】
前記表示する工程では、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示することを特徴とする請求項1または2に記載の建設機械の後進移動ガイダンス方法。
【請求項4】
履帯および旋回体を有する建設機械であって、
前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラと、
前記旋回体に搭載されたモニタと、
前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する演算手段と、
演算された前記相対角度に基づき当該建設機械の後進時の進行方向を予測する予測手段と、
前記カメラで撮影された後方画像と予測した進行方向を示す画像とを、前記モニタ上に重ね合わせて表示させる後進移動ガイダンス表示手段と、
を備えたことを特徴とする建設機械。
【請求項5】
前記予測手段は、操作レバーの操作内容を加味して当該建設機械の後進時の進行方向を予測することを特徴とする請求項4に記載の建設機械。
【請求項6】
前記後進移動ガイダンス表示手段は、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示させることを特徴とする請求項4または5に記載の建設機械。
【請求項1】
履帯および旋回体を有する建設機械の後進移動ガイダンス方法であって、
前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラで撮影する工程と、
前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する工程と、
演算された前記相対角度に基づき前記建設機械の後進時の進行方向を予測し、前記カメラで撮影された後方画像と予測された進行方向を示す画像とを、前記旋回体に搭載されたモニタ上に重ね合わせて表示する工程と、
を備えたことを特徴とする建設機械の後進移動ガイダンス方法。
【請求項2】
前記進行方向は、操作レバーの操作内容を加味して予測することを特徴とする請求項1に記載の建設機械の後進移動ガイダンス方法。
【請求項3】
前記表示する工程では、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示することを特徴とする請求項1または2に記載の建設機械の後進移動ガイダンス方法。
【請求項4】
履帯および旋回体を有する建設機械であって、
前記旋回体の後部側に設置されて前記履帯と前記旋回体の後方とを撮影可能な広視野角のカメラと、
前記旋回体に搭載されたモニタと、
前記カメラで撮影された画像から前記履帯と前記旋回体との相対角度を演算する演算手段と、
演算された前記相対角度に基づき当該建設機械の後進時の進行方向を予測する予測手段と、
前記カメラで撮影された後方画像と予測した進行方向を示す画像とを、前記モニタ上に重ね合わせて表示させる後進移動ガイダンス表示手段と、
を備えたことを特徴とする建設機械。
【請求項5】
前記予測手段は、操作レバーの操作内容を加味して当該建設機械の後進時の進行方向を予測することを特徴とする請求項4に記載の建設機械。
【請求項6】
前記後進移動ガイダンス表示手段は、進行方向を示す画像に加えて前記履帯が通過する履帯幅を前記モニタ上に表示させることを特徴とする請求項4または5に記載の建設機械。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2008−240362(P2008−240362A)
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願番号】特願2007−82507(P2007−82507)
【出願日】平成19年3月27日(2007.3.27)
【出願人】(000001236)株式会社小松製作所 (1,686)
【Fターム(参考)】
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願日】平成19年3月27日(2007.3.27)
【出願人】(000001236)株式会社小松製作所 (1,686)
【Fターム(参考)】
[ Back to top ]