説明

作業車両の周辺監視装置

【課題】車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供する。
【解決手段】周辺監視装置10は、カメラ画像と、カメラ画像上の地面に垂直投影される車体(ベッセル4を含む)の外縁を示す車体外縁線BLと、をモニタ30に表示させる表示制御部40を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周辺監視装置、特に、作業車両の周囲のカメラ画像を表示装置に表示する周辺監視装置に関する。
【背景技術】
【0002】
超大型の作業車両として、鉱山等で砕石を運搬するために用いられるダンプトラックが知られている。この種のダンプトラックは、一般的なトラック等の車両に比較して著しく車幅が広く、また前後長が長いために、サイドミラー等によって周囲の状況を運転者が把握することは困難である。
【0003】
そこで、非特許文献1では、周辺の状況を運転者に簡便に把握させることを目的として、車両前方及び左右の俯瞰画像と車両後方のカメラ画像とを表示装置に表示させる周辺監視装置が提案されている。具体的に、非特許文献1の周辺監視装置は、車両前方及び左右を撮影する3つのカメラと、車両後方を撮影する後方カメラとを備えている。後方カメラは車体(ベッセルを含む)下に配置されており、カメラ画像には車体後方の地面が写されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】日立建機プレスリリース、“「オーバービューモニターシステム」をクラリオンと共同開発”、[online]、2011年1月24日、[2011年6月1日検索]、インターネット〈URL:http://www.hitachi-kenki.co.jp/news/press/PR20110121113934973.html〉
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献1のカメラ画像では、後方カメラより上方に車体が存在するので、車体と車体周辺の物体(例えば、人、車、建物など)との位置関係を把握することは容易ではない。すなわち、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像において判断することは困難である。
【0006】
本発明は、上述の状況に鑑みてなされたものであり、車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
第1発明に係る作業車両の周辺監視装置は、作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、作業車両の車体下方に配置され、作業車両の周囲のカメラ画像を取得するカメラと、カメラによって取得されるカメラ画像と、カメラ画像上の地面に垂直投影される車体の外縁を示す車体外縁線と、を表示装置に表示させる表示制御部と、を備える。
【0008】
第1発明に係る作業車両の周辺監視装置によれば、運転者は、カメラ上方に位置する車体と車体周辺の物体(例えば、人、車、建物など)との位置関係を車体外縁線を基準として容易に把握することができる。そのため、例えば、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像上で容易に判断することができる。その結果、作業車両周辺の状況を運転者に簡便に把握させることができる。
【0009】
第2発明に係る作業車両の周辺監視装置は、第1発明に係り、表示制御部は、カメラ画像の地面上において車体外縁線から所定距離の位置を示す警告線を、車体外縁線の外側に表示させる。
【0010】
第2発明に係る作業車両の周辺監視装置によれば、車体周辺の物体が車体からどの程度離れているかを車体外縁線とともに段階的に示すことができるので、車体と車体周辺の物体との位置関係をより容易に運転者に把握させることができる。
【0011】
第3発明に係る作業車両の周辺監視装置は、第1又は第2発明に係り、車体は、フレームと、フレーム上に配置されるベッセルと、を有し、カメラの撮像範囲には、ベッセルの後端部を含んでいる。
【0012】
第3発明に係る作業車両の周辺監視装置によれば、ベッセルの後端部をカメラ画像上において直接確認することができるので、ベッセルとベッセル周辺の物体との位置関係をより明確に運転者に把握させることができる。
【0013】
第4発明に係る作業車両の周辺監視装置は、作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、作業車両の車体に装着され、作業車両の周囲のカメラ画像をそれぞれ取得する複数のカメラと、複数のカメラによって取得される複数のカメラ画像に基づく作業車両の周囲の俯瞰画像と、複数のカメラ画像のうち特定のカメラ画像と、を並べて表示するとともに、カメラ画像上の地面に垂直投影される車体の外縁を示す車体外縁線をカメラ画像上に表示させる表示制御部と、を備える。
【発明の効果】
【0014】
本発明によれば、車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供することができる。
【図面の簡単な説明】
【0015】
【図1】ダンプトラックの全体構成を示す斜視図
【図2】周辺監視装置の構成を示すブロック図
【図3】6台のカメラの装着位置と2次元撮影範囲とを示すダンプトラックの平面図
【図4】6台のカメラによる3次元撮像範囲を示すダンプトラックの斜視図
【図5】第6カメラの取付け状態を示す斜視図
【図6】モニタの構成を示す模式図
【図7】モニタの構成を示す模式図
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前、後、左、右」とは、運転席に着座したオペレータを基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
【0017】
[ダンプトラックの全体構成]
図1は、本発明の一実施形態による周辺監視装置を備えたダンプトラック1の全体構成を示す斜視図である。ダンプトラック1は、鉱山作業などに用いられる自走式の超大型作業車両である。
【0018】
ダンプトラック1は主に、車体フレーム2と、キャブ3と、ベッセル4と、それぞれ2つの前輪5、後輪6及びベース7を備える。また、このダンプトラック1は、車両の周囲の画像をモニタに表示させる周辺監視装置10を備える。周辺監視装置10の構成については後述する。
【0019】
車体フレーム2は、図示しないディーゼルエンジンやトランスミッション等の動力機構やその他の補機類を支持している。また、車体フレーム2の前部左右に前輪5(図1では右前輪のみ図示)が支持され、後部左右に後輪6(図1では右後輪のみ図示)が支持されている。車体フレーム2は、地面に近い側にロアデッキ2Aを有し、ロアデッキ2Aの上方にアッパデッキ2Bを有している。ロアデッキ2Aと地面との間には例えば可動式ラダー2Cが2つ設けられ、ロアデッキ2Aとアッパデッキ2Bとの間には斜めラダー2Dが設けられている。アッパデッキ2B上には、前部の左右、側部、及び後部の一部に柵状の手すりが固定されている。
【0020】
キャブ3は、アッパデッキ2B上において、車幅方向の中央から左側に偏倚して配置されている。このキャブ3内には、運転席、シフトレバー、コントローラ、モニタ、ハンドル、アクセルペダル、ブレーキペダル等が設けられている。後述するように、コントローラ、表示部およびシフトレバーは周辺監視装置10の一部を構成する。
【0021】
ベッセル4は、砕石等の重量物を積載するための容器である。ベッセル4の後側の底部は、回動ピン(図示せず)を介して、車体フレーム2の後端部に回動可能に連結されている。これにより、ベッセル4は、図示しない油圧シリンダ等のアクチュエータによって、前部が上方に回動して積載物を排出する起立姿勢と、図1に示すように前部がキャブの上部に位置する積載姿勢と、を取り得る。
【0022】
ベース7は、アッパデッキ2B上に配置される。ベース7は、トロリー用の架線から電力を受電するパンタグラフを設置するための給電装置である。
【0023】
なお、本実施形態において、車体フレーム2およびベッセル4は、ダンプトラック1の「車体」を構成している。
【0024】
[周辺監視装置の構成]
図2は、ダンプトラック1が備える周辺監視装置10の構成を示すブロック図である。
【0025】
周辺監視装置10は、6台のカメラ11〜16と、6つのフレームメモリ11A〜16Aと、オペレータスイッチ20と、モニタ30と、表示制御部40と、を有する。
【0026】
<カメラ>
図3は、6台のカメラ11〜16の装着位置と2次元撮影範囲とを示すダンプトラック1の平面図である。図4は、6台のカメラ11〜16による3次元撮像範囲を示すダンプトラック1の斜視図である。図5は、第6カメラ16の取付け状態を示す斜視図である。6台のカメラ11〜16は、ダンプトラック1の外周に装着され、ダンプトラック1の周囲の画像を取得する。
【0027】
第1カメラ11は、斜めラダー2Dの上端部に配置され、車両前方に向かって固定されている。第1カメラ11の第1撮影範囲11Rは車両前方である。
【0028】
第2カメラ12は、アッパデッキ2Bの前側面右端部に配置され、車両右斜め前方に向かって固定されている。第2カメラ12の第2撮影範囲12Rは車両右斜め前方である。
【0029】
第3カメラ13は、第2カメラ12と左右対称位置、すなわちアッパデッキ2Bの前側面左端部に配置され、車両左斜め前方に向かって固定されている。第3カメラ13の第3撮影範囲13Rは左斜め前方である。
【0030】
第4カメラ14は、アッパデッキ2Bの右側面前端部に配置され、車両右斜め後方に向かって固定されている。第4カメラ14の第4撮影範囲14Rは右斜め後方である。
【0031】
第5カメラ15は、第4カメラと左右対称位置、すなわちアッパデッキ2Bの左側面前端部に配置され、車両左斜め後方に向かって固定されている。第5カメラ15の第5撮影範囲15Rは左斜め後方である。
【0032】
第6カメラ16は、図5に示すように、ベッセル4の下方に潜り込むように配置されており、車両後方に向かって固定されている。具体的に、第6カメラ16は、リヤアクスル8の上方において、クロスバー9に取り付けられたブラケット9aに固定されている。第6カメラ16は後方斜め下向きに固定されており、後方カメラ16の撮像範囲16Rはベッセル4下方と車両後方である。ここで、本実施形態において、第6カメラ16の撮像範囲16Rには、他のカメラの撮像範囲画像とは異なり、車体自体(ベッセル4の後端部)を含んでいる(図6参照)。
【0033】
以上の6台のカメラ11〜16によってダンプトラック1のほぼ全周囲の画像が取得される。6台のカメラ11〜16のそれぞれは、自装置が撮影したカメラ画像を示すカメラ画像データを、フレームメモリ11A〜16Aのそれぞれに送信する。
【0034】
<フレームメモリ>
6つのフレームメモリ11A〜16Aは、6台のカメラ11〜16に接続されている。6台のカメラ11〜16は、6台のカメラ11〜16から受信するカメラ画像データを一旦記憶する。6つのフレームメモリ11A〜16Aは、記憶したカメラ画像データを表示制御部40に送信する。
【0035】
<オペレータスイッチ>
オペレータスイッチ20は、6台のカメラ11〜16それぞれのカメラ画像のうちモニタ30に表示すべきカメラ画像を指定するための操作具である。運転者は、オペレータスイッチ20を操作することによって、所望のカメラ画像をモニタ30に表示させることができる。オペレータスイッチ20は、いずれのカメラ画像が選択されたかを表示制御部40に通知する。
【0036】
<モニタ>
図6及び図7は、モニタ30の構成を示す模式図である。
【0037】
モニタ30は、キャブ3内において運転席の前方に配置される。モニタ30は、図6及び図7に示すように、カメラ画像を表示する表示領域30aを有する。なお、図6は、第6カメラ16のカメラ画像16Gと俯瞰画像Fとが表示領域30aに表示された様子を示している。図7は、第5カメラ15のカメラ画像15Gと俯瞰画像Fとが表示領域30aに表示された様子を示している。
【0038】
なお、表示領域30aには、複数のカメラ画像が表示されてもよいし、俯瞰画像Fだけが表示されてもよい。このようなモニタ30の表示は、ダンプトラック1の走行状態に応じて自動的に切り換えることとしてもよい。例えば、前進時及び停止時には第1カメラ11のカメラ画像と俯瞰画像Fとを表示し、後進時には第6カメラ16のカメラ画像16Gのみを表示することができる。さらに、後進時には、カメラ画像16Gと俯瞰画像Fとを表示してもよいし、カメラ画像16Gと他のカメラ画像とを表示してもよい。
【0039】
<表示制御部>
表示制御部40は、オペレータスイッチ20からの通知に基づいて、選択されたカメラ画像に対応するカメラ画像データを選択する。また、表示制御部40は、6台のカメラ11〜16のカメラ画像データを座標変換することによって、複数の画像が所定の投影面上に投影されダンプトラック1の全周囲を囲む俯瞰画像Fを示す俯瞰画像データを生成する。表示制御部40は、カメラ画像データと俯瞰画像データとを合成することによって、選択されたカメラ画像と俯瞰画像Fとが並んだ2画面画像に対応する2画面データを生成する。
【0040】
また、表示制御部40は、選択されたカメラ画像において地面に垂直投影される車体(車体フレーム2およびベッセル4を含む。)の外縁を示す車体外縁線BLに対応する車体外縁線データを生成する。表示制御部40は、次に説明する手順に従って、対象カメラのカメラ画像の歪みに応じた車体外縁線データを生成する。
【0041】
まず、表示制御部40は、次式(1)〜(3)に基づいて、対象カメラの向きを示す3つの行列Ra、Rb、Rcを定義する。
【0042】
【数1】

但し、
ca=cos(roll),sa=sin(roll)
cb=cos(pitch),sb=sin(pitch)
cc=cos(yaw),sc=sin(yaw)
rollは、前後方向に平行な軸周りにおける対象カメラの振れ角
pitchは、車幅方向に平行な軸周りにおける対象カメラの振れ角
yawは、鉛直方向に平行な軸周りにおける対象カメラの振れ角
pitch,roll,yawは、表示制御部40が内蔵するメモリに格納されている
次に、表示制御部40は、次式(4)に基づいて、地面に垂直投影された車体の外縁上の1点の物理座標系での3次元座標( Xr, Yr, Zr )を鉛直方向-前後方向-車幅方向のオイラー角として、対象カメラの向きおよび位置を基準とするカメラ座標系での3次元座標( x , y , z )に変換する。
【0043】
【数2】

但し、( tx, ty, tz )は、対象カメラの物理座標系における座標
次に、表示制御部40は、次式(5)〜(11)に基づいて、カメラ座標系における3次元座標( x , y , z )を、モニタ30の表示領域30a上における2次元座標(u , v)に変換する。
【0044】
【数3】

但し、
k1,k2.k3は、半径方向歪係数
p1,p2は、せん断方向歪係数
fx、fyは、カメラ焦点距離
cx、cyは、カメラの焦点方向をZ軸,撮像面方向をX軸,Y軸とするカメラ座標系
このように、表示制御部40は、地面に垂直投影された車体の外縁上の1点の表示領域30a上における2次元座標( u , v )を取得する。表示制御部40は、車体の外縁上の複数点について同様に2次元座標を取得することによって、所望の形状(破線や鎖線など)の車体外縁線BLに対応する車体外縁線データを生成する。
【0045】
また、表示制御部40は、上記式(1)〜(11)を同様に用いて、車体外縁線BLから外側に所定距離の位置を示す第1〜第3警告線L1〜L3に対応する警告線データを生成する。本実施形態において、第1警告線L1は車体外縁線BLの外側3mラインであり、第2警告線L2は車体外縁線BLの外側5mラインであり、第3警告線L3は車体外縁線BLの外側7mラインである。
【0046】
表示制御部40は、生成した2画面データと、生成した車体外縁線データと、生成した警告線データとを重畳させることによって、表示用画像データを生成する。表示制御部40は、生成した表示用画像データをモニタ30に送信する。これによって、モニタ30には、図6及び図7に示すように、地面に垂直投影される車体の外縁を示す車体外縁線BLと、車体外縁線BLより車体の外側3,5,7mラインを示す第1〜第3警告線L1〜L3とが、カメラ画像15G,16Gとともに表示される。
【0047】
[作用及び効果]
(1)周辺監視装置10は、カメラ画像と、カメラ画像上の地面に垂直投影される車体(ベッセル4を含む)の外縁を示す車体外縁線BLと、をモニタ30に表示させる表示制御部40を備える。
【0048】
従って、運転者は、カメラ上方に位置する車体と車体周辺の物体(例えば、人、車、建物など)との位置関係を車体外縁線を基準として容易に把握することができる。そのため、例えば、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像上で容易に判断することができる。その結果、ダンプトラック1周辺の状況を運転者に簡便に把握させることができる。
【0049】
(2)表示制御部40は、車体外縁線BLから所定距離の位置を示す第1〜第3警告線L1〜L3をモニタ30に表示させる。
【0050】
従って、車体周辺の物体が車体からどの程度離れているかを車体外縁線BLとともに段階的に示すことができるので、車体と車体周辺の物体との位置関係をより容易に運転者に把握させることができる。
【0051】
(3)第6カメラ16の撮像範囲16Rには、図6に示すように、画面下方には地面が含まれており、地面に対向する画面上方には車体の一部を構成するベッセル4の後端部下面側が含まれている。従って、ベッセル4の後端部をカメラ画像16G上において直接確認することができるので、ベッセルとベッセル周辺の物体との位置関係をより明確に運転者に把握させることができる。
【0052】
[他の実施形態]
本発明は以上のような実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
【0053】
(A)上記実施形態において、表示制御部40は、第1〜第3警告線L1〜L3をモニタ30に表示させることとしたが、これに限られるものではない。表示制御部40は、第1〜第3警告線L1〜L3のいずれかを表示させなくてもよいし、また、4本以上の警告線を表示させてもよい。
【0054】
(B)上記実施形態において、表示制御部40は、車体外縁線BLおよび第1〜第3警告線L1〜L3を破線で示すこととしたが、これに限られるものではない。表示制御部40は、車体外縁線BLおよび第1〜第3警告線L1〜L3を実線や鎖線などで示してもよい。また、表示制御部40は、車体外縁線BLおよび第1〜第3警告線L1〜L3をそれぞれ異なる色で示してもよい。
【0055】
(C)上記実施形態では、図6及び図7を用いて、車体外縁線BLが、第6カメラ16のカメラ画像16G又は第5カメラ15のカメラ画像15Gと共に表示されるケースについて説明したが、これに限られるものではない。運転者が第1〜第4カメラのいずれかを指定した場合、車体外縁線BLは、第1〜第4カメラのカメラ画像と共に表示されることになる。
【0056】
(D)上記実施形態において、ダンプトラック1は、ベース7を備えることとしたが備えていなくてもよい。
【0057】
(E)上記実施形態において、ダンプトラック1は、6台のカメラ11〜16を備えることとしたが、これに限られるものではない。ダンプトラック1は、1台〜5台のカメラを備えていてもよいし、7台以上のカメラを備えていてもよい。
【符号の説明】
【0058】
1 ダンプトラック
2 車体フレーム
3 キャブ
4 ベッセル
10 周辺監視装置
11〜16 カメラ
11A〜16A フレームメモリ
20 オペレータスイッチ
30 モニタ
30a 表示領域
40 表示用制御部
BL 車体外縁線
L1 第1警告線
L2 第2警告線
L3 第3警告線

【特許請求の範囲】
【請求項1】
作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、
前記作業車両の車体下方に配置され、前記作業車両の周囲のカメラ画像を取得するカメラと、
前記カメラによって取得される前記カメラ画像と、前記カメラ画像上の地面に垂直投影される前記車体の外縁を示す車体外縁線と、を前記表示装置に表示させる表示制御部と、
を備える作業車両の周辺監視装置。
【請求項2】
前記表示制御部は、前記カメラ画像の地面上において前記車体外縁線から所定距離の位置を示す警告線を、前記車体外縁線の外側に表示させる、
請求項1に記載の作業車両の周辺監視装置。
【請求項3】
前記車体は、フレームと、フレーム上に配置されるベッセルと、を有し、
前記カメラの撮像範囲には、前記ベッセルの後端部を含んでいる、
請求項1又は2に記載の作業車両の周辺監視装置。
【請求項4】
作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、
前記作業車両の車体に装着され、前記作業車両の周囲のカメラ画像をそれぞれ取得する複数のカメラと、
前記複数のカメラによって取得される複数のカメラ画像に基づく前記作業車両の周囲の俯瞰画像と、前記複数のカメラ画像のうち特定のカメラ画像と、を並べて表示するとともに、前記カメラ画像上の地面に垂直投影される前記車体の外縁を示す車体外縁線を前記カメラ画像上に表示させる表示制御部と、
を備える作業車両の周辺監視装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−254660(P2012−254660A)
【公開日】平成24年12月27日(2012.12.27)
【国際特許分類】
【出願番号】特願2011−127478(P2011−127478)
【出願日】平成23年6月7日(2011.6.7)
【出願人】(000001236)株式会社小松製作所 (1,686)
【Fターム(参考)】