作業車両の周辺監視装置
【課題】俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる作業車両の周辺監視装置を提供する。
【解決手段】作業車両の周辺監視装置において、第１撮像部は、作業車両の周囲の第１領域を撮像して第１画像データを得る。俯瞰画像作成部は、第１画像データを所定の仮想投影面３１に投影することにより、作業車両の周囲の俯瞰画像を作成する。仮想投影面３１は、作業車両に近づくほど地面からの高さが高くなる形状を含む。
【解決手段】作業車両の周辺監視装置において、第１撮像部は、作業車両の周囲の第１領域を撮像して第１画像データを得る。俯瞰画像作成部は、第１画像データを所定の仮想投影面３１に投影することにより、作業車両の周囲の俯瞰画像を作成する。仮想投影面３１は、作業車両に近づくほど地面からの高さが高くなる形状を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業車両の周辺監視装置に関する。
【背景技術】
【０００２】
従来、超大型の作業車両として、鉱山等で砕石を運搬するためのダンプトラックが広く用いられている。このようなダンプトラックは、一般的な車両に比較して著しく車幅が広く、また前後長が長いため、サイドミラー等によって作業車両周辺の状況を運転者が把握することは困難である。
【０００３】
一方、車両周辺の状況を運転者に簡便に把握させることを目的として、周辺監視装置が提案されている。周辺監視装置は、車両に装着されたカメラなどの撮像部を含む。周辺監視装置は、撮像部によって撮像された画像を合成することにより、作業車両の周囲を示す俯瞰画像を作成する。例えば、特許文献１に示されている自動車の周辺監視装置では、俯瞰画像は、撮像部によって撮像された画像を仮想投影面上に投影することにより作成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０３−０９９９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
俯瞰画像は、画像を仮想投影面上に投影することにより作成される。このため、車両の近くに位置する物体が俯瞰画像において小さく表示されるという問題がある。例えば、図１７に示すように、物体ＯＢ１と物体ＯＢ２とが車両１００の周囲に位置しているものとする。物体ＯＢ２は、物体ＯＢ１よりも車両１００の近くに位置している。撮像部１０１によって物体ＯＢ１，ＯＢ２を撮像した画像が、仮想投影面３００に投影されることにより、仮想視点１０３から見た俯瞰画像が作成される。仮想投影面３００は、地面上に位置している。この場合、撮像部１０１から物体ＯＢ２への視線の角度θ２は、物体ＯＢ１への視線の角度θ１よりも急角度となる。このため、俯瞰画像において、物体ＯＢ１は、大きさＬ１０に相当するサイズで表示されるが、物体ＯＢ２は、Ｌ１０よりも小さいＬ２０に相当するサイズで表示される。このように、車両の近くに位置する物体が俯瞰画像において小さく表示されると、運転者が俯瞰画像において物体を発見することが困難になる。特に、一般的な自動車と異なり、車体サイズが非常に大きい作業車両では、作業車両の周囲に運転者にとって死角となる領域が多く存在する。このため、作業車両の近くに位置する物体を容易に認識できることが重要である。
【０００６】
本発明の課題は、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる作業車両の周辺監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係る作業車両の周辺監視装置は、第１撮像部と、俯瞰画像作成部と、表示部とを備える。第１撮像部は、作業車両に装着される。第１撮像部は、作業車両の周囲の第１領域を撮像して第１画像データを得る。俯瞰画像作成部は、第１画像データを所定の仮想投影面に投影することにより、作業車両の周囲の俯瞰画像を作成する。表示部は、俯瞰画像を表示する。仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。
【０００８】
本発明の第２の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、仮想投影面は、変化部と、平坦部とを含む。変化部は、作業車両に近づくほど地面からの高さが高くなる。平坦部は、変化部よりも作業車両から離れた位置において変化部に連続的に繋がっている。平坦部の地面からの高さは一定である。また、変化部は、作業車両と平坦部との間に位置する。
【０００９】
本発明の第３の態様に係る作業車両の周辺監視装置は、第２の態様の作業車両の周辺監視装置であって、変化部と平坦部との接続部分は、地面上に位置する。
【００１０】
本発明の第４の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、仮想投影面は、第１変化部と、平坦部と、第２変化部とを含む。第１変化部の地面からの高さは、作業車両に近づくほど高くなる。平坦部は、第１変化部よりも作業車両から離れた位置において第１変化部に連続的に繋がっている。平坦部の地面からの高さは一定である。第２変化部は、平坦部よりも作業車両から離れた位置において、平坦部に連続的に繋がっている。第２変化部の地面からの高さは、作業車両から遠ざかるほど高くなる。
【００１１】
本発明の第５の態様に係る作業車両の周辺監視装置は、第４の態様の作業車両の周辺監視装置であって、第２変化部と平坦部との接続部分は、地面上に位置する。
【００１２】
本発明の第６の態様に係る作業車両の周辺監視装置は、第１から第５の態様のいずれかの作業車両の周辺監視装置であって、第２撮像部をさらに備える。第２撮像部は、作業車両に装着される。第２撮像部は、第２領域を撮像して第２画像データを得る。第２領域は、第１領域と部分的に重複する作業車両の周囲の領域である。俯瞰画像作成部は、俯瞰画像において、第１領域と第２領域との重複領域における第１画像データの画像と、重複領域における第２画像データの画像とを重ねて表示する。
【００１３】
本発明の第７の態様に係る作業車両は、第１から第６の態様のいずれかの周辺監視装置を備える。
【発明の効果】
【００１４】
本発明の第１の態様に係る作業車両の周辺監視装置では、仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。このため、作業車両の近くに位置する物体が、俯瞰画像において大きく表示される。これにより、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる。
【００１５】
本発明の第２の態様に係る作業車両の周辺監視装置では、変化部と平坦部とは連続的に繋がっているため、俯瞰画像上において物体が滑らかに表示される。これにより、オペレータにとって違和感の少ない俯瞰画像を作成することができる。また、平坦部が、変化部よりも作業車両から離れた位置に存在するため、作業車両から離れた位置では、俯瞰画像での物体の変形が抑えられる。
【００１６】
本発明の第３の態様に係る作業車両の周辺監視装置では、変化部と平坦部との接続部分は、地面上に位置する。すなわち、平坦部は地面上の平面である。このため、オペレータにとって地面を撮影しているかのように自然な俯瞰画像を作成することができる。
【００１７】
本発明の第４の態様に係る作業車両の周辺監視装置では、仮想投影面の第１変化部によって、俯瞰画像において作業車両の近くの物体が大きく表示される。平坦部が変化部よりも作業車両から離れた位置に存在するため、平坦部に投影された物体は、俯瞰画像において大きく表示される。また、平坦部では、作業車両から離れるほど物体が大きく表示されるが、平坦部よりも作業車両から離れた位置には第２変化部が設けられている。第２変化部の地面からの高さは作業車両から遠ざかるほど高くなるため、物体は作業車両から離れるほど小さく表示される。このため、俯瞰画像によって作業車両と物体との間の距離感を容易に把握することができる。さらに、第１変化部と平坦部とは、連続的に繋がっている。また、平坦部と第２変化部とは、連続的に繋がっている。このため、俯瞰画像上において物体が滑らかに表示される。これにより、オペレータに違和感を与え難い俯瞰画像を作成することができる。
【００１８】
本発明の第５の態様に係る作業車両の周辺監視装置では、第２変化部と平坦部との接続部分は、地面上に位置する。すなわち、平坦部は地面上の平面である。このため、オペレータにとって地面を撮影しているかのように自然な俯瞰画像を作成することができる。また、第１変化部の地面からの高さは、地面上から作業車両に近づくほど高くなる。このため、仮想投影面が全て地面上の平面である場合よりも、俯瞰画像において作業車両近傍の物体が大きく表示される。さらに、第２変化部の地面からの高さは、地面上から作業車両から遠ざかるほど高くなる。このため、仮想投影面が全て地面上の平面である場合よりも、作業車両と物体との間の距離感を容易に把握することができる。
【００１９】
本発明の第６の態様に係る作業車両の周辺監視装置では、俯瞰画像作成部は、重複領域において第１画像データの画像と第２画像データの画像とを重ねて表示する。このため、俯瞰画像において重複領域での物体の消失を抑えることができる。また、仮想投影面が作業車両に近づくほど地面からの高さが高くなる形状を含むことにより、重複領域において作業車両の近傍に位置する物体が俯瞰画像において大きく表示される。これにより、俯瞰画像において撮像部の重複領域において作業車両の近くに位置する物体を容易に認識することができる。
【００２０】
本発明の第７の態様に係る作業車両では、仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。このため、作業車両の近くに位置する物体が、俯瞰画像において大きく表示される。これにより、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る作業車両の全体構成を示す斜視図。
【図２】本発明の一実施形態に係る周辺監視装置の構成を示すブロック図。
【図３】周辺監視装置の複数の撮像部の装着位置を示す作業車両の斜視図。
【図４】周辺監視装置の複数の撮像部の装着位置と撮像範囲とを示す上面図。
【図５】仮想投影面を用いた画像変換の手法を示す図。
【図６】第１仮想投影面の一例を示す模式図。
【図７】第２仮想投影面の一例を示す模式図。
【図８】仮想投影面に含まれる第１〜近接範囲の位置を示す上面図。
【図９】周辺監視装置のコントローラが実行する処理を示すフローチャート。
【図１０】停止状態での俯瞰画像の例を示す模式図。
【図１１】走行状態での俯瞰画像の例を示す模式図。
【図１２】本実施形態に係る周辺監視装置の効果を説明するための模式図。
【図１３】従来の周辺監視装置における物体の消失の発生原因を説明するための模式図。
【図１４】本実施形態に係る周辺監視装置の効果を説明するための模式図。
【図１５】本実施形態に係る周辺監視装置の効果を説明するための模式図。
【図１６】他の実施形態に係る第１仮想投影面の一例を示す模式図。
【図１７】従来の周辺監視装置における課題を説明するための模式図。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前」「後」「左」「右」とは、運転席に着座した運転者を基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
【００２３】
図１は、本発明の一実施形態に係る作業車両１を示す斜視図である。作業車両１は、鉱山作業などに用いられる自走式の超大型のダンプトラックである。
【００２４】
作業車両１は主に、車体フレーム２と、キャブ３と、ベッセル４と、前輪５と、後輪６とを備える。また、作業車両１は、作業車両１の周囲を監視して、その結果を表示する周辺監視装置１０（図２参照）を備える。周辺監視装置１０の詳細については後述する。
【００２５】
車体フレーム２は、図示しないディーゼルエンジンやトランスミッション等の動力機構と、その他の補機類とを支持している。また、車体フレーム２の前部には、左右の前輪５（図１では右前輪のみ図示）が支持されている。車体フレーム２の後部に左右の後輪６（図１では右後輪のみ図示）が支持されている。車体フレーム２は、ロアデッキ２ａと、アッパデッキ２ｂとを有する。ロアデッキ２ａは、車体フレーム２の前面の下部に取り付けられている。アッパデッキ２ｂは、ロアデッキ２ａの上方に配置されている。ロアデッキ２ａと地面との間には例えば可動式ラダー２ｃが配置されている。また、ロアデッキ２ａとアッパデッキ２ｂとの間には斜めラダー２ｄが配置されている。アッパデッキ２ｂ上には、柵状の手すり２ｅが配置されている。
【００２６】
キャブ３は、アッパデッキ２ｂ上に配置されている。キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも車幅方向における一方側に偏っては位置されている。具体的には、キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも左側方に位置している。キャブ３内には、運転席、ハンドル、シフトレバー、アクセルペダル、ブレーキペダル等の操作部材（図示せず）が配置されている。
【００２７】
ベッセル４は、砕石等の重量物を積載するための容器である。ベッセル４の底面の後部は、回動ピン（図示せず）を介して、車体フレーム２の後部に回動可能に連結されている。ベッセル４は、図示しない油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取り得る。積載姿勢は、図１に示すようにベッセル４の前部がキャブ３の上部に位置する姿勢である。起立姿勢は、積載物を排出する姿勢であり、ベッセル４が後方且つ下方へ向かった傾斜した状態となる。ベッセル４の前部が上方に回動することにより、ベッセル４は積載姿勢から起立姿勢に変化する。
【００２８】
図２は、作業車両１が備える周辺監視装置１０の構成を示すブロック図である。周辺監視装置１０は、複数の撮像部１１−１６と、車速検知部１７と、表示部１８と、コントローラ１９と、を有する。
【００２９】
撮像部１１−１６は、作業車両１に装着される。撮像部１１−１６は、作業車両１の周囲の領域を撮像して画像データを取得する。撮像部１１−１６は、それぞれカメラ１１ａ−１６ａとフレームメモリ１１ｂ−１６ｂとを有する。フレームメモリ１１ｂ−１６ｂはカメラ１１ａ−１６ａによって撮像された画像データを一時的に保存する。複数の撮像部１１−１６は、第１〜第６撮像部１１−１６を有する。図３は、第１〜第６撮像部１１−１６の装着位置を示す作業車両１の斜視図である。図４は、第１〜第６撮像部１１−１６の装着位置と撮像範囲とを示す作業車両１の上面図である。
【００３０】
図３に示すように、第１撮像部１１は、作業車両１の前面に取り付けられる。具体的には、第１撮像部１１は、斜めラダー２ｄの上端部に配置される。図４に示すように、第１撮像部１１は、作業車両１の周囲の第１領域１１Ｒを撮像して第１画像データを得る。第１領域１１Ｒは、作業車両１の前方に位置する。
【００３１】
図３に示すように、第２撮像部１２は、作業車両１の前面の一方の側部に取り付けられる。具体的には、第２撮像部１２は、アッパデッキ２ｂの前面の左側部に配置される。図４に示すように、第２撮像部１２は、作業車両１の周囲の第２領域１２Ｒを撮像して第２画像データを得る。第２領域１２Ｒは、作業車両１の左斜め前方に位置する。図３に示すように、第３撮像部１３は、作業車両１の前面の他方の側部に取り付けられる。具体的には、第３撮像部１３は、第２撮像部１２と左右対称位置に配置される。すなわち、第３撮像部１３は、アッパデッキ２ｂの前面の右側部に配置される。図４に示すように、第３撮像部１３は、作業車両１の周囲の第３領域１３Ｒを撮像して第３画像データを得る。第３領域１３Ｒは、作業車両１の右斜め前方に位置する。
【００３２】
図３に示すように、第４撮像部１４は、作業車両１の一方の側面に取り付けられる。具体的には、第４撮像部１４は、アッパデッキ２ｂの左側面の前部に配置される。図４に示すように、第４撮像部１４は、作業車両１の周囲の第４領域１４Ｒを撮像して、第４画像データを得る。第４領域１４Ｒは、作業車両１の左斜め後方に位置する。図３に示すように、第５撮像部１５は、作業車両１の他方の側面に取り付けられる。具体的には、第５撮像部１５は、第４撮像部１４と左右対称位置に配置される。すなわち、第５撮像部１５は、アッパデッキ２ｂの右側面の前部に配置される。図４に示すように、第５撮像部１５は、作業車両１の周囲の第５領域１５Ｒを撮像して第５画像データを得る。第５領域１５Ｒは、作業車両１の右斜め後方に位置する。
【００３３】
図３に示すように、第６撮像部１６は、作業車両１の後部に取り付けられる。具体的には、第６撮像部１６は、２つの後輪６を連結するアクスル軸（図示せず）の上方であって、ベッセル４の回動軸付近に配置される。図４に示すように、第６撮像部１６は、作業車両１の周囲の第６領域１６Ｒを撮像して第６画像データを得る。第６領域１６Ｒは、作業車両１の後方に位置する。
【００３４】
以上の６台の撮像部１１−１６によれば、図４の中央図に示すように、作業車両１のほぼ全周囲の画像を取得することができる。図４の中央図に示すように、第１〜第６領域１６Ｒのうち隣接する２つの領域は、部分的に互いに重なっている。具体的には、第１領域１１Ｒは、第１重複領域ＯＡ１において第２領域１２Ｒと部分的に重なっている。また、第１領域１１Ｒは、第２重複領域ＯＡ２において第３領域１３Ｒと部分的に重なっている。第２領域１２Ｒは、第３重複領域ＯＡ３において第４領域１４Ｒと部分的に重なっている。第３領域１３Ｒは、第４重複領域ＯＡ４において第５領域１５Ｒと部分的に重なっている。第４領域１４Ｒは、第５重複領域ＯＡ５において第６領域１６Ｒと部分的に重なっている。また、第５領域１５Ｒは、第６重複領域ＯＡ６において第６領域１６Ｒと部分的に重なっている。第１〜第６撮像部１１−１６は、それぞれ撮像した画像を示す画像データをコントローラ１９に送信する。
【００３５】
車速検知部１７は、作業車両１の車速を検知する。車速検知部１７は、例えばトランスミッションの出力軸の回転速度などに基づいて作業車両１の車速を検知する。車速検知部１７は、検知した車速を示す車速データをコントローラ１９に送信する。
【００３６】
表示部１８は、キャブ３内に配置されるモニタである。表示部１８は、キャブ３内において運転席の前方に配置される。表示部１８は、コントローラ１９の制御に応じて画像を表示する。
【００３７】
コントローラ１９は、撮像部１１−１６からの画像データに基づき、作業車両１の周囲を示す俯瞰画像を作成する。コントローラ１９は、作成した俯瞰画像を示す出力信号を表示部１８に出力する。表示部１８は、コントローラ１９からの出力信号により俯瞰画像を表示する。図２に示すように、コントローラ１９は、走行状態判定部２１と、記憶部２２と、俯瞰画像作成部２３とを有する。
【００３８】
走行状態判定部２１は、車速検知部１７からの車速データに基づいて、作業車両１の走行状態を判定する。走行状態判定部２１は、車速が所定の閾値以上であるときには、作業車両１が走行状態であると判定する。走行状態判定部２１は、車速が所定の閾値より小さいときには、作業車両１が停止状態であると判定する。従って、車速がゼロであるときだけではなく、車速の小さい低速走行状態も上記の停止状態に含まれる。
【００３９】
記憶部２２は、コントローラ１９が俯瞰画像を作成するために必要な各種の情報を記憶している。具体的には、記憶部２２は、後述する第１変換情報と第２変換情報と合成比率とを記憶している。
【００４０】
俯瞰画像作成部２３は、撮像部１１−１６のそれぞれから画像データを受信する。俯瞰画像作成部２３は、複数の画像データによって示される複数の画像に基づいて、作業車両１の周囲の俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、記憶部２２に保存されている変換情報を用いて画像データの座標変換を行う。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。ここで、入力画像は、各撮像部１１−１６によって撮像された画像である。また、出力画像は、表示部１８に表示される俯瞰画像である。俯瞰画像作成部２３は、変換情報を用いて、撮像部１１−１６によって撮像された画像を、作業車両１の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図５に示すように、撮像部１１−１６によって撮像された画像は、所定の仮想投影面３０上に投影されることにより、作業車両１の上方に位置する仮想視点２０から見た画像に変換される。変換情報は、この仮想投影面３０を表している。俯瞰画像作成部２３は、複数の撮像部１１−１６からの画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。すなわち、第１〜第６画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。
【００４１】
上述したように、各撮像部１１−１６が撮像する作業車両１の周囲の領域は、第１〜第６重複領域ＯＡ１−ＯＡ６において重複している。俯瞰画像作成部２３は、俯瞰画像において、各重複領域ＯＡ１−ＯＡ６において互いに隣接する２つの撮像部１１−１６からの画像データの画像を重ねて表示する。具体的には、俯瞰画像作成部２３は、第１重複領域ＯＡ１では、第１撮像部１１からの第１画像データの画像と、第２撮像部１２からの第２画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第２重複領域ＯＡ２では、第１撮像部１１からの第１画像データの画像と、第３撮像部１３からの第３画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第３重複領域ＯＡ３では、第２撮像部１２からの第２画像データの画像と、第４撮像部１４からの第４画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第４重複領域ＯＡ４では、第３撮像部１３からの第３画像データの画像と、第５撮像部１５からの第５画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第５重複領域ＯＡ５では、第４撮像部１４からの第４画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第６重複領域ＯＡ６では、第５撮像部１５からの第５画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。このように重複領域ＯＡ１−ＯＡ６において２つの画像データを重ねて合成する場合には、各画像データの値に合成比率を乗じた値が足し合わされる。合成比率は、各画像データに対応した値であり、記憶部２２に記憶されている。例えば、第１画像データの合成比率が０．５であり、第２画像データの合成比率が０．５であるなど、画像データごとに合成比率が定められている。このように合成比率が用いられることにより、重複領域ＯＡ１−ＯＡ６において複数の画像データが平均化されて表示される。これにより、色やコントラストの急激な変化が抑えられ、自然な俯瞰画像を作成することができる。俯瞰画像作成部２３は、上記のように合成された俯瞰画像を示す俯瞰画像データを生成して、俯瞰画像データを表示部１８に送信する。
【００４２】
俯瞰画像作成部２３は、複数の仮想投影面を選択的に用いて、俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１と、図７に示す第２仮想投影面３２とを用いて俯瞰画像を作成する。図６（ａ）は、第１仮想投影面３１の斜視図である。図６（ｂ）は、図６（ａ）における第１仮想投影面３１のＡ１−Ａ１断面図である。図６（ｃ）は、図６（ａ）における第１仮想投影面３１のＢ１−Ｂ１断面図である。図７（ａ）は、第２仮想投影面３２の斜視図である。図７（ｂ）は、図７（ａ）における第２仮想投影面３２のＡ２−Ａ２断面図である。図７（ｃ）は、図７（ａ）における第２仮想投影面３２のＢ２−Ｂ２断面図である。上述したように、記憶部２２は、第１変換情報と第２変換情報とを記憶している。第１変換情報は、第１仮想投影面３１を示すデータである。第２変換情報は、第２仮想投影面３２を示すデータである。俯瞰画像作成部２３は、第１変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１−１６が撮像した画像を第１仮想投影面３１に投影した俯瞰画像を作成する。俯瞰画像作成部２３は、第２変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１−１６が撮像した画像を第２仮想投影面３２に投影した俯瞰画像を作成する。
【００４３】
図６に示すように、第１仮想投影面３１は、作業車両１に近づくほど地面からの高さが高くなる形状を含む。第１仮想投影面３１の中央部は、作業車両１に近づくほど地面からの高さが高くなる形状である。第１仮想投影面３１の外縁部は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。ここで、図８に示すように、仮想投影面３１，３２上において、作業車両１の前後方向及び車幅方向の中心Ｃ１（以下、「車両中心Ｃ１」と呼ぶ）から作業車両１の前方、左側方、右側方、後方にそれぞれ所定距離、離れた位置までの範囲を近接範囲Ｒ０と規定する。近接範囲Ｒ０に隣接して近接範囲Ｒ０よりも作業車両１から離れた範囲を第１範囲Ｒ１と規定する。また、第１範囲Ｒ１に隣接して第１範囲Ｒ１よりも作業車両１から離れた範囲を第２範囲Ｒ２と規定する。第２範囲Ｒ２は、各仮想投影面３１，３２の外縁部を含む。
【００４４】
図６に示すように、第１仮想投影面３１は、第１変化部３３と、平坦部３４と、第２変化部３５とを含む。第１変化部３３は、図８に示す近接範囲Ｒ０に位置する。第１変化部３３の地面からの高さは、車両中心Ｃ１に近づくほど高くなる。すなわち、第１変化部３３の地面からの高さは、作業車両１に近づくほど高くなる。従って、第１仮想投影面３１の近接範囲Ｒ０は、地面からの高さが作業車両１に近づくほど高くなる形状である。第１変化部３３は、車両中心Ｃ１に向かって上方に傾斜した形状である。第１変化部３３の頂点は、作業車両１の内部に相当する位置に位置している。第１変化部３３は、複数の撮像部１１−１６のうち最も低い位置に設置されている撮像部よりも下方に位置している。平坦部３４は、第１仮想投影面３１の第１範囲Ｒ１に位置する。平坦部３４は、第１変化部３３よりも作業車両１から離れた位置において第１変化部３３に連続的に繋がっている。第１変化部３３と平坦部３４との接続部分は、地面上に位置する。平坦部３４の地面からの高さは一定である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面からの高さが一定の平坦な形状である。具体的には、平坦部３４は、地面と同じ高さの平面である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面と同じ高さの平坦な形状である。第２変化部３５は、第１仮想投影面３１の第２範囲Ｒ２に位置している。第２変化部３５は、平坦部３４よりも作業車両１から離れた位置において、平坦部３４に連続的に繋がっている。第２変化部３５の地面からの高さは、作業車両１から遠ざかるほど高くなる。従って、第１仮想投影面３１の第２範囲Ｒ２は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。第２変化部３５は、作業車両１から離れる方向に向かって上方に傾斜した形状である。第２変化部３５と平坦部３４との接続部分は、地面上に位置する。
【００４５】
第１仮想投影面３１の第２範囲Ｒ２すなわち第２変化部３５は、複数の湾曲面３５ａ−３５ｄと、複数の球面３５ｅ−３５ｈとを含む。湾曲面３５ａ−３５ｄは、作業車両１の外形に対応する矩形の各辺に平行な仮想軸を中心に湾曲している。球面３５ｅ−３５ｈは、隣接する一対の湾曲面３５ａ−３５ｄの間にそれぞれ配置されている。球面３５ｅ−３５ｈは、隣接する一対の湾曲面３５ａ−３５ｄと連続的につながっている。具体的には、第２変化部３５は、第１〜第４湾曲面３５ａ−３５ｄと、第１〜第４球面３５ｅ−３５ｈとを含む。第１湾曲面３５ａは、作業車両１の前方に位置する。図６（ａ）に示すように、第１湾曲面３５ａは、仮想軸Ｃ２を中心に湾曲している。仮想軸Ｃ２は、作業車両１の外形に対応する矩形の前面の辺に平行な軸線である。第２湾曲面３５ｂは、作業車両１の後方に位置する。図６（ａ）に示すように、第２湾曲面３５ｂは、仮想軸Ｃ３を中心に湾曲している。仮想軸Ｃ３は、作業車両１の外形に対応する矩形の後面の辺に平行な軸線である。第３湾曲面３５ｃは、作業車両１の左側方に位置する。図６（ｂ）に示すように、第３湾曲面３５ｃは、仮想軸Ｃ４を中心に湾曲している。仮想軸Ｃ４は、作業車両１の外形に対応する矩形の左側面の辺に平行な軸線である。第４湾曲面３５ｄは、作業車両１の右側方に位置する。図６（ｂ）に示すように、第４湾曲面３５ｄは、仮想軸Ｃ５を中心に湾曲している。仮想軸Ｃ５は、作業車両１の外形に対応する矩形の右側面の辺に平行な軸線である。
【００４６】
第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとの間に配置されている。第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとに連続的につながっている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとの間に配置されている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとに連続的につながっている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとの間に配置されている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとに連続的につながっている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとの間に配置されている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとに連続的につながっている。
【００４７】
図７に示すように、第２仮想投影面３２は平坦な形状を有する。詳細には、第２仮想投影面３２の外縁部を含む全体が、地面からの高さが一定の平坦な形状である。従って、第２仮想投影面３２の第１範囲Ｒ１と第２範囲Ｒ２と近接範囲Ｒ０は、地面からの高さが一定の平坦な形状である。具体的には、第２仮想投影面３２の全体が、地面と同じ高さに位置する平坦な形状を有する。
【００４８】
図９は、周辺監視装置１０のコントローラ１９によって実行される処理を示すフローチャートである。以下、図９に基づいて、周辺監視装置１０が俯瞰画像を表示するための処理について説明する。
【００４９】
まず、ステップＳ１において、画像の取り込みが実行される。ここでは、各撮像部１１−１６のカメラ１１ａ−１６ａによって画像が撮像され、画像データが各撮像部１１−１６のフレームメモリ１１ｂ−１６ｂに保存される。
【００５０】
ステップＳ２では、作業車両１が走行状態であるのか否かが判定される。ここでは、走行状態判定部２１が、車速に基づいて作業車両１が走行状態であるのか否かを判定する。上述したように、走行状態判定部２１は、車速が所定の閾値以上であるときに、作業車両１が走行状態であると判定する。また、走行状態判定部２１は、車速が所定の閾値より小さいときに、作業車両１が停止状態であると判定する。作業車両１が走行状態ではないときにはステップＳ３に進む。すなわち、作業車両１が停止状態であるときには、ステップＳ３に進む。
【００５１】
ステップＳ３では、第１仮想投影面３１にて俯瞰画像が作成される。ここでは、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１を用いて、俯瞰画像を作成する。具体的には、各撮像部１１−１６からの画像データを第１仮想投影面３１上に投影して合成することにより、俯瞰画像を作成する。図１０は、第１仮想投影面３１を用いて作成された俯瞰画像（以下、「第１俯瞰画像４１」と呼ぶ）の一例である。第１俯瞰画像４１の外枠は長方形の形状を有する。第１俯瞰画像４１は、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第１俯瞰画像４１は、作業車両１からの距離を示す複数の基準線５２−５４を含む。基準線５２−５４は、第１基準線５２と第２基準線５３と第３基準線５４とを含む。例えば、第１基準線５２は、作業車両１から３ｍ離れた位置を示す。第２基準線５３は、作業車両１から５ｍ離れた位置を示す。第３基準線５４は、作業車両１から７ｍ離れた位置を示す。上述したように、第１仮想投影面３１の外縁部を含む第２範囲Ｒ２は湾曲面３５ａ−３５ｄ及び球面３５ｅ−３５ｈによって構成されている。このため、第１俯瞰画像４１の外枠に近い部分では、画像５１が湾曲して表示される。
【００５２】
ステップＳ２において、作業車両１が走行状態であると判定されたときには、ステップＳ４に進む。すなわち、車速の所定の閾値以上であるときには、ステップＳ４に進む。ステップＳ４では、第２仮想投影面３２にて俯瞰画像が作成される。図１１は、第２仮想投影面３２を用いて作成された俯瞰画像（以下、「第２俯瞰画像４２」と呼ぶ）の一例である。第２俯瞰画像４２は、第１俯瞰画像４１と同様に、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第２俯瞰画像４２は、第１俯瞰画像４１と同様に、複数の基準線５２−５４を含む。上述したように、第２仮想投影面３２は全体的に平坦な形状である。このため、第２俯瞰画像４２では、外枠に近い部分であっても、第１俯瞰画像４１のように、画像５１が湾曲して表示されることが防止される。
【００５３】
ステップＳ５では、俯瞰画像が表示部１８に表示される。ここでは、上述した第１俯瞰画像４１又は第２俯瞰画像４２が表示部１８に表示される。具体的には、作業車両１が停止状態であるときには、第１俯瞰画像４１が表示部１８に表示される。作業車両２が走行状態であるときには、第２俯瞰画像４２が表示部１８に表示される。
【００５４】
次に、本実施形態に係る作業車両１の周辺監視装置１０の特徴について説明する。
【００５５】
本実施形態の第１仮想投影面３１の第１変化部３３に投影された物体ＯＢの大きさＬ３（図１２（ｂ）参照）は、地面Ｇに配置された仮想投影面３００に投影された物体ＯＢの大きさＬ１（図１２（ａ）参照）よりも大きい。このため、物体ＯＢが作業車両１の近くに位置していても、第１俯瞰画像４１において物体ＯＢが大きく表示される。これにより、運転者は、作業車両１の近くに位置する物体ＯＢを容易に認識することができる。
【００５６】
一般的に、俯瞰画像が、複数の撮像部によって撮像された画像から合成される場合、俯瞰画像において、各撮像部の撮像範囲の境界部分に位置する物体が消失するという問題がある。例えば、図１３（ａ）に示すように、地面と同じ高さに位置する仮想投影面３００を用いて俯瞰画像を作成する例について説明する。この例では、仮想投影面３００は、複数の撮像部１０１，１０２が撮像する領域ごとに分割されている。周辺監視装置は、各撮像部１０１，１０２によって撮像された画像を仮想投影面３００上に投影することにより、作業車両１００の上方に位置する仮想視点１０３から見た俯瞰画像に変換する。この場合、仮想投影面３００上に投影された画像の画素３００の値は、当該画素３００が含まれる領域を担当する撮像部１０１から当該画素３００を見た値である。従って、物体ＯＢが、仮想投影面３００において、隣接する２つの撮像部１０１，１０２の領域の境界ＢＬ上に位置していると、物体ＯＢの上部を貫く撮像部１０１，１０２の視線が存在しない。この場合、撮像部１０１，１０２は、地面上の物体ＯＢの設置部Ｐ１のみしか撮像していない。このため、図１３（ｂ）に示すように、俯瞰画像４００において物体ＯＢを示す像４０１は、極小さな点でしか示されないか、或いは、俯瞰画像４００において物体が消失する。このような物体の消失の問題は、撮像範囲の重複領域において、各撮像範囲の画像データを足し合わせることによって解決することができる。この場合、図１４（ａ）に示すように、重複領域ＯＡにおいて物体ＯＢの上部を貫く撮像部１０１の視線ＬＳ１と撮像部１０２の視線ＬＳ２とが存在する。このため、図１６（ｂ）に示すように、俯瞰画像４００の重複領域ＯＡにおいて、撮像部１０１が撮像した像４０２と撮像部１０２が撮像した像４０３とが共に表示される。これにより、重複領域ＯＡ内の物体ＯＢの消失が防止される。
【００５７】
しかし、図１４（ａ）に示すように、撮像範囲の重複領域ＯＢは、作業車両１００に近づくほど狭くなる。このため、物体ＯＢが作業車両１００に近い位置にある場合、物体ＯＡを表示できる範囲が狭くなる。このため、俯瞰画像４００物体ＯＢの一部しか表示されないことがある。そこで、図１５（ａ）に示すように、地面Ｇより高い位置に配置される仮想投影面３０１に物体ＯＢを投影することが考えられる。この場合、物体ＯＢの地面上の設置部Ｐ１と仮想投影面３０１との間の部分に対しては、仮想投影面３０を通過する視線ＬＳ３，ＬＳ４が存在する。また、物体ＯＢの頂上部Ｐ２を通る視線ＬＳ５が存在する。これにより、図１５（ｂ）に示すように、俯瞰画像４００において、物体ＯＢの広い範囲を表示することができる。俯瞰画像４００においては、撮像部１０１が撮像した像４０４と撮像部１０２が撮像した像４０５とが共に表示される。しかし、この場合、物体ＯＢの広い範囲を俯瞰画像４００に表示することができるが、俯瞰画像４００において物体ＯＢの大きさが小さくなるという問題がある。例えば、図１２（ａ）に示すように、地面Ｇより高い位置に配置された仮想投影面３０１に投影された物体ＯＢの大きさＬ２は、地面Ｇ上に配置された仮想投影面３００に投影された物体ＯＢの大きさＬ１よりも小さくなってしまう。上述したように、作業車両１の近くでは、俯瞰画像において物体OBが小さく表示される。このため、地面Ｇより高い位置に配置された仮想投影面３０１が用いられると、作業車両１の近くに位置する物体ＯＢは、俯瞰画像においてさらに小さく表示されてしまう。
【００５８】
以上のような問題に対して、本実施形態に係る作業車両１の周辺監視装置１０では、第１変化部３３は、作業車両１に近づくほど地面からの高さが高くなるように傾斜している。このため、図１２（ｂ）に示すように、俯瞰画像での物体ＯＢの大きさＬ３を、地面Ｇより高い位置に配置される仮想投影面３０１に投影される物体ＯＢの大きさＬ２よりも大きくすることができる。これにより、俯瞰画像における物体の消失の問題と、物体が表示される範囲が狭くなる問題と、物体が小さく表示される問題とを同時に解決することができる。
【００５９】
第１仮想投影面３１の平坦部３４が、第１変化部３３よりも作業車両１から離れた位置に存在する。また、作業車両１から離れた位置では、作業車両１の近傍よりも俯瞰画像において物体ＯＢが大きく表示される。これにより、物体の消失の問題を解消される。
【００６０】
平坦部３４では、作業車両１から離れるほど物体ＯＢが大きく表示されるが、第１仮想投影面３１において平坦部３４よりも作業車両１から離れた位置には第２変化部３５が設けられている。第２変化部３５の地面からの高さは作業車両１から遠ざかるほど高くなるため、物体ＯＢは作業車両１から離れるほど小さく表示される。このため、第１俯瞰画像４１によって作業車両１と物体ＯＢとの間の距離感を容易に把握することができる。
【００６１】
第１変化部３３と平坦部３４とは、連続的に繋がっている。また、平坦部３４と第２変化部３５とは、連続的に繋がっている。このため、俯瞰画像上において物体ＯＢが滑らかに表示される。これにより、オペレータに与える違和感が少ない俯瞰画像を作成することができる。
【００６２】
第１変化部３３と平坦部３４との接続部分は、地面上に位置する。また、第２変化部３５と平坦部３４との接続部分は、地面上に位置する。すなわち、平坦部３４は地面上の平面である。このため、オペレータにとって地面を撮像しているかのように自然な俯瞰画像を作成することができる。
【００６３】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
【００６４】
上記の実施形態では、作業車両１の一例としてダンプトラックが挙げられているが、本発明は、例えばブルドーザーなどの他の種類の作業車両にも適用することができる。
【００６５】
第１仮想投影面３１において第２変化部３５が省略されてもよい。すなわち、図１６に示す第１仮想投影面３１のように、変化部６１と平坦部６２とによって構成されてもよい。変化部６１は、上記の実施形態の第１変化部３３と同様である。従って、変化部６１は、作業車両１に近づくほど地面からの高さが高くなる形状である。変化部６１は、近接範囲Ｒ０に位置する。平坦部３４は、変化部６１よりも作業車両１から離れており、第１仮想投影面３１の外枠まで延びている。すなわち、平坦部３４は、第１範囲Ｒ１と第２範囲Ｒ２とを合わせた範囲に位置する。
【００６６】
本発明の撮像部の数は上記の実施形態のように６台に限られない。また、本発明の撮像部の配置は上記の実施形態の撮像部１１−１６の配置に限られない。上記の実施形態では、第１仮想投影面３１の第１変化部３３は、地面からの高さが連続的に変化する傾斜面であるが、第１変化部３３の地面からの高さが階段状に変化してもよい。同様に、第２変化部３５の地面からの高さが階段状に変化してもよい。ただし、違和感の少ない自然な俯瞰画像を形成する観点からは、第１変化部３３は、地面からの高さが連続的に変化する傾斜面であることが好ましい。同様に、違和感の少ない自然な俯瞰画像を形成する観点からは、第２変化部３５は、地面からの高さが連続的に変化する傾斜面であることが好ましい。また、第１変化部３３の傾斜面は、直線状であっても、曲線状であってもよい。同様に、第２変化部３５の傾斜面は、直線状であっても、曲線状であってもよい。また、第１仮想投影面３１の平坦部３４は、地面と同じ高さに限らず、地面と異なる高さに位置してもよい。
【産業上の利用可能性】
【００６７】
本発明は、俯瞰画像において物体の消失を抑えることができる作業車両の周辺監視装置を提供することができる。
【符号の説明】
【００６８】
１ 作業車両
１０ 周辺監視装置
１１ 第１撮像部
１２ 第２撮像部
１８ 表示部
２３ 俯瞰画像作成部
３１ 第１仮想投影面
３３ 第１変化部
３４ 平坦部
３５ 第２変化部
【技術分野】
【０００１】
本発明は、作業車両の周辺監視装置に関する。
【背景技術】
【０００２】
従来、超大型の作業車両として、鉱山等で砕石を運搬するためのダンプトラックが広く用いられている。このようなダンプトラックは、一般的な車両に比較して著しく車幅が広く、また前後長が長いため、サイドミラー等によって作業車両周辺の状況を運転者が把握することは困難である。
【０００３】
一方、車両周辺の状況を運転者に簡便に把握させることを目的として、周辺監視装置が提案されている。周辺監視装置は、車両に装着されたカメラなどの撮像部を含む。周辺監視装置は、撮像部によって撮像された画像を合成することにより、作業車両の周囲を示す俯瞰画像を作成する。例えば、特許文献１に示されている自動車の周辺監視装置では、俯瞰画像は、撮像部によって撮像された画像を仮想投影面上に投影することにより作成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０３−０９９９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
俯瞰画像は、画像を仮想投影面上に投影することにより作成される。このため、車両の近くに位置する物体が俯瞰画像において小さく表示されるという問題がある。例えば、図１７に示すように、物体ＯＢ１と物体ＯＢ２とが車両１００の周囲に位置しているものとする。物体ＯＢ２は、物体ＯＢ１よりも車両１００の近くに位置している。撮像部１０１によって物体ＯＢ１，ＯＢ２を撮像した画像が、仮想投影面３００に投影されることにより、仮想視点１０３から見た俯瞰画像が作成される。仮想投影面３００は、地面上に位置している。この場合、撮像部１０１から物体ＯＢ２への視線の角度θ２は、物体ＯＢ１への視線の角度θ１よりも急角度となる。このため、俯瞰画像において、物体ＯＢ１は、大きさＬ１０に相当するサイズで表示されるが、物体ＯＢ２は、Ｌ１０よりも小さいＬ２０に相当するサイズで表示される。このように、車両の近くに位置する物体が俯瞰画像において小さく表示されると、運転者が俯瞰画像において物体を発見することが困難になる。特に、一般的な自動車と異なり、車体サイズが非常に大きい作業車両では、作業車両の周囲に運転者にとって死角となる領域が多く存在する。このため、作業車両の近くに位置する物体を容易に認識できることが重要である。
【０００６】
本発明の課題は、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる作業車両の周辺監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係る作業車両の周辺監視装置は、第１撮像部と、俯瞰画像作成部と、表示部とを備える。第１撮像部は、作業車両に装着される。第１撮像部は、作業車両の周囲の第１領域を撮像して第１画像データを得る。俯瞰画像作成部は、第１画像データを所定の仮想投影面に投影することにより、作業車両の周囲の俯瞰画像を作成する。表示部は、俯瞰画像を表示する。仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。
【０００８】
本発明の第２の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、仮想投影面は、変化部と、平坦部とを含む。変化部は、作業車両に近づくほど地面からの高さが高くなる。平坦部は、変化部よりも作業車両から離れた位置において変化部に連続的に繋がっている。平坦部の地面からの高さは一定である。また、変化部は、作業車両と平坦部との間に位置する。
【０００９】
本発明の第３の態様に係る作業車両の周辺監視装置は、第２の態様の作業車両の周辺監視装置であって、変化部と平坦部との接続部分は、地面上に位置する。
【００１０】
本発明の第４の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、仮想投影面は、第１変化部と、平坦部と、第２変化部とを含む。第１変化部の地面からの高さは、作業車両に近づくほど高くなる。平坦部は、第１変化部よりも作業車両から離れた位置において第１変化部に連続的に繋がっている。平坦部の地面からの高さは一定である。第２変化部は、平坦部よりも作業車両から離れた位置において、平坦部に連続的に繋がっている。第２変化部の地面からの高さは、作業車両から遠ざかるほど高くなる。
【００１１】
本発明の第５の態様に係る作業車両の周辺監視装置は、第４の態様の作業車両の周辺監視装置であって、第２変化部と平坦部との接続部分は、地面上に位置する。
【００１２】
本発明の第６の態様に係る作業車両の周辺監視装置は、第１から第５の態様のいずれかの作業車両の周辺監視装置であって、第２撮像部をさらに備える。第２撮像部は、作業車両に装着される。第２撮像部は、第２領域を撮像して第２画像データを得る。第２領域は、第１領域と部分的に重複する作業車両の周囲の領域である。俯瞰画像作成部は、俯瞰画像において、第１領域と第２領域との重複領域における第１画像データの画像と、重複領域における第２画像データの画像とを重ねて表示する。
【００１３】
本発明の第７の態様に係る作業車両は、第１から第６の態様のいずれかの周辺監視装置を備える。
【発明の効果】
【００１４】
本発明の第１の態様に係る作業車両の周辺監視装置では、仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。このため、作業車両の近くに位置する物体が、俯瞰画像において大きく表示される。これにより、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる。
【００１５】
本発明の第２の態様に係る作業車両の周辺監視装置では、変化部と平坦部とは連続的に繋がっているため、俯瞰画像上において物体が滑らかに表示される。これにより、オペレータにとって違和感の少ない俯瞰画像を作成することができる。また、平坦部が、変化部よりも作業車両から離れた位置に存在するため、作業車両から離れた位置では、俯瞰画像での物体の変形が抑えられる。
【００１６】
本発明の第３の態様に係る作業車両の周辺監視装置では、変化部と平坦部との接続部分は、地面上に位置する。すなわち、平坦部は地面上の平面である。このため、オペレータにとって地面を撮影しているかのように自然な俯瞰画像を作成することができる。
【００１７】
本発明の第４の態様に係る作業車両の周辺監視装置では、仮想投影面の第１変化部によって、俯瞰画像において作業車両の近くの物体が大きく表示される。平坦部が変化部よりも作業車両から離れた位置に存在するため、平坦部に投影された物体は、俯瞰画像において大きく表示される。また、平坦部では、作業車両から離れるほど物体が大きく表示されるが、平坦部よりも作業車両から離れた位置には第２変化部が設けられている。第２変化部の地面からの高さは作業車両から遠ざかるほど高くなるため、物体は作業車両から離れるほど小さく表示される。このため、俯瞰画像によって作業車両と物体との間の距離感を容易に把握することができる。さらに、第１変化部と平坦部とは、連続的に繋がっている。また、平坦部と第２変化部とは、連続的に繋がっている。このため、俯瞰画像上において物体が滑らかに表示される。これにより、オペレータに違和感を与え難い俯瞰画像を作成することができる。
【００１８】
本発明の第５の態様に係る作業車両の周辺監視装置では、第２変化部と平坦部との接続部分は、地面上に位置する。すなわち、平坦部は地面上の平面である。このため、オペレータにとって地面を撮影しているかのように自然な俯瞰画像を作成することができる。また、第１変化部の地面からの高さは、地面上から作業車両に近づくほど高くなる。このため、仮想投影面が全て地面上の平面である場合よりも、俯瞰画像において作業車両近傍の物体が大きく表示される。さらに、第２変化部の地面からの高さは、地面上から作業車両から遠ざかるほど高くなる。このため、仮想投影面が全て地面上の平面である場合よりも、作業車両と物体との間の距離感を容易に把握することができる。
【００１９】
本発明の第６の態様に係る作業車両の周辺監視装置では、俯瞰画像作成部は、重複領域において第１画像データの画像と第２画像データの画像とを重ねて表示する。このため、俯瞰画像において重複領域での物体の消失を抑えることができる。また、仮想投影面が作業車両に近づくほど地面からの高さが高くなる形状を含むことにより、重複領域において作業車両の近傍に位置する物体が俯瞰画像において大きく表示される。これにより、俯瞰画像において撮像部の重複領域において作業車両の近くに位置する物体を容易に認識することができる。
【００２０】
本発明の第７の態様に係る作業車両では、仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。このため、作業車両の近くに位置する物体が、俯瞰画像において大きく表示される。これにより、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る作業車両の全体構成を示す斜視図。
【図２】本発明の一実施形態に係る周辺監視装置の構成を示すブロック図。
【図３】周辺監視装置の複数の撮像部の装着位置を示す作業車両の斜視図。
【図４】周辺監視装置の複数の撮像部の装着位置と撮像範囲とを示す上面図。
【図５】仮想投影面を用いた画像変換の手法を示す図。
【図６】第１仮想投影面の一例を示す模式図。
【図７】第２仮想投影面の一例を示す模式図。
【図８】仮想投影面に含まれる第１〜近接範囲の位置を示す上面図。
【図９】周辺監視装置のコントローラが実行する処理を示すフローチャート。
【図１０】停止状態での俯瞰画像の例を示す模式図。
【図１１】走行状態での俯瞰画像の例を示す模式図。
【図１２】本実施形態に係る周辺監視装置の効果を説明するための模式図。
【図１３】従来の周辺監視装置における物体の消失の発生原因を説明するための模式図。
【図１４】本実施形態に係る周辺監視装置の効果を説明するための模式図。
【図１５】本実施形態に係る周辺監視装置の効果を説明するための模式図。
【図１６】他の実施形態に係る第１仮想投影面の一例を示す模式図。
【図１７】従来の周辺監視装置における課題を説明するための模式図。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前」「後」「左」「右」とは、運転席に着座した運転者を基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
【００２３】
図１は、本発明の一実施形態に係る作業車両１を示す斜視図である。作業車両１は、鉱山作業などに用いられる自走式の超大型のダンプトラックである。
【００２４】
作業車両１は主に、車体フレーム２と、キャブ３と、ベッセル４と、前輪５と、後輪６とを備える。また、作業車両１は、作業車両１の周囲を監視して、その結果を表示する周辺監視装置１０（図２参照）を備える。周辺監視装置１０の詳細については後述する。
【００２５】
車体フレーム２は、図示しないディーゼルエンジンやトランスミッション等の動力機構と、その他の補機類とを支持している。また、車体フレーム２の前部には、左右の前輪５（図１では右前輪のみ図示）が支持されている。車体フレーム２の後部に左右の後輪６（図１では右後輪のみ図示）が支持されている。車体フレーム２は、ロアデッキ２ａと、アッパデッキ２ｂとを有する。ロアデッキ２ａは、車体フレーム２の前面の下部に取り付けられている。アッパデッキ２ｂは、ロアデッキ２ａの上方に配置されている。ロアデッキ２ａと地面との間には例えば可動式ラダー２ｃが配置されている。また、ロアデッキ２ａとアッパデッキ２ｂとの間には斜めラダー２ｄが配置されている。アッパデッキ２ｂ上には、柵状の手すり２ｅが配置されている。
【００２６】
キャブ３は、アッパデッキ２ｂ上に配置されている。キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも車幅方向における一方側に偏っては位置されている。具体的には、キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも左側方に位置している。キャブ３内には、運転席、ハンドル、シフトレバー、アクセルペダル、ブレーキペダル等の操作部材（図示せず）が配置されている。
【００２７】
ベッセル４は、砕石等の重量物を積載するための容器である。ベッセル４の底面の後部は、回動ピン（図示せず）を介して、車体フレーム２の後部に回動可能に連結されている。ベッセル４は、図示しない油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取り得る。積載姿勢は、図１に示すようにベッセル４の前部がキャブ３の上部に位置する姿勢である。起立姿勢は、積載物を排出する姿勢であり、ベッセル４が後方且つ下方へ向かった傾斜した状態となる。ベッセル４の前部が上方に回動することにより、ベッセル４は積載姿勢から起立姿勢に変化する。
【００２８】
図２は、作業車両１が備える周辺監視装置１０の構成を示すブロック図である。周辺監視装置１０は、複数の撮像部１１−１６と、車速検知部１７と、表示部１８と、コントローラ１９と、を有する。
【００２９】
撮像部１１−１６は、作業車両１に装着される。撮像部１１−１６は、作業車両１の周囲の領域を撮像して画像データを取得する。撮像部１１−１６は、それぞれカメラ１１ａ−１６ａとフレームメモリ１１ｂ−１６ｂとを有する。フレームメモリ１１ｂ−１６ｂはカメラ１１ａ−１６ａによって撮像された画像データを一時的に保存する。複数の撮像部１１−１６は、第１〜第６撮像部１１−１６を有する。図３は、第１〜第６撮像部１１−１６の装着位置を示す作業車両１の斜視図である。図４は、第１〜第６撮像部１１−１６の装着位置と撮像範囲とを示す作業車両１の上面図である。
【００３０】
図３に示すように、第１撮像部１１は、作業車両１の前面に取り付けられる。具体的には、第１撮像部１１は、斜めラダー２ｄの上端部に配置される。図４に示すように、第１撮像部１１は、作業車両１の周囲の第１領域１１Ｒを撮像して第１画像データを得る。第１領域１１Ｒは、作業車両１の前方に位置する。
【００３１】
図３に示すように、第２撮像部１２は、作業車両１の前面の一方の側部に取り付けられる。具体的には、第２撮像部１２は、アッパデッキ２ｂの前面の左側部に配置される。図４に示すように、第２撮像部１２は、作業車両１の周囲の第２領域１２Ｒを撮像して第２画像データを得る。第２領域１２Ｒは、作業車両１の左斜め前方に位置する。図３に示すように、第３撮像部１３は、作業車両１の前面の他方の側部に取り付けられる。具体的には、第３撮像部１３は、第２撮像部１２と左右対称位置に配置される。すなわち、第３撮像部１３は、アッパデッキ２ｂの前面の右側部に配置される。図４に示すように、第３撮像部１３は、作業車両１の周囲の第３領域１３Ｒを撮像して第３画像データを得る。第３領域１３Ｒは、作業車両１の右斜め前方に位置する。
【００３２】
図３に示すように、第４撮像部１４は、作業車両１の一方の側面に取り付けられる。具体的には、第４撮像部１４は、アッパデッキ２ｂの左側面の前部に配置される。図４に示すように、第４撮像部１４は、作業車両１の周囲の第４領域１４Ｒを撮像して、第４画像データを得る。第４領域１４Ｒは、作業車両１の左斜め後方に位置する。図３に示すように、第５撮像部１５は、作業車両１の他方の側面に取り付けられる。具体的には、第５撮像部１５は、第４撮像部１４と左右対称位置に配置される。すなわち、第５撮像部１５は、アッパデッキ２ｂの右側面の前部に配置される。図４に示すように、第５撮像部１５は、作業車両１の周囲の第５領域１５Ｒを撮像して第５画像データを得る。第５領域１５Ｒは、作業車両１の右斜め後方に位置する。
【００３３】
図３に示すように、第６撮像部１６は、作業車両１の後部に取り付けられる。具体的には、第６撮像部１６は、２つの後輪６を連結するアクスル軸（図示せず）の上方であって、ベッセル４の回動軸付近に配置される。図４に示すように、第６撮像部１６は、作業車両１の周囲の第６領域１６Ｒを撮像して第６画像データを得る。第６領域１６Ｒは、作業車両１の後方に位置する。
【００３４】
以上の６台の撮像部１１−１６によれば、図４の中央図に示すように、作業車両１のほぼ全周囲の画像を取得することができる。図４の中央図に示すように、第１〜第６領域１６Ｒのうち隣接する２つの領域は、部分的に互いに重なっている。具体的には、第１領域１１Ｒは、第１重複領域ＯＡ１において第２領域１２Ｒと部分的に重なっている。また、第１領域１１Ｒは、第２重複領域ＯＡ２において第３領域１３Ｒと部分的に重なっている。第２領域１２Ｒは、第３重複領域ＯＡ３において第４領域１４Ｒと部分的に重なっている。第３領域１３Ｒは、第４重複領域ＯＡ４において第５領域１５Ｒと部分的に重なっている。第４領域１４Ｒは、第５重複領域ＯＡ５において第６領域１６Ｒと部分的に重なっている。また、第５領域１５Ｒは、第６重複領域ＯＡ６において第６領域１６Ｒと部分的に重なっている。第１〜第６撮像部１１−１６は、それぞれ撮像した画像を示す画像データをコントローラ１９に送信する。
【００３５】
車速検知部１７は、作業車両１の車速を検知する。車速検知部１７は、例えばトランスミッションの出力軸の回転速度などに基づいて作業車両１の車速を検知する。車速検知部１７は、検知した車速を示す車速データをコントローラ１９に送信する。
【００３６】
表示部１８は、キャブ３内に配置されるモニタである。表示部１８は、キャブ３内において運転席の前方に配置される。表示部１８は、コントローラ１９の制御に応じて画像を表示する。
【００３７】
コントローラ１９は、撮像部１１−１６からの画像データに基づき、作業車両１の周囲を示す俯瞰画像を作成する。コントローラ１９は、作成した俯瞰画像を示す出力信号を表示部１８に出力する。表示部１８は、コントローラ１９からの出力信号により俯瞰画像を表示する。図２に示すように、コントローラ１９は、走行状態判定部２１と、記憶部２２と、俯瞰画像作成部２３とを有する。
【００３８】
走行状態判定部２１は、車速検知部１７からの車速データに基づいて、作業車両１の走行状態を判定する。走行状態判定部２１は、車速が所定の閾値以上であるときには、作業車両１が走行状態であると判定する。走行状態判定部２１は、車速が所定の閾値より小さいときには、作業車両１が停止状態であると判定する。従って、車速がゼロであるときだけではなく、車速の小さい低速走行状態も上記の停止状態に含まれる。
【００３９】
記憶部２２は、コントローラ１９が俯瞰画像を作成するために必要な各種の情報を記憶している。具体的には、記憶部２２は、後述する第１変換情報と第２変換情報と合成比率とを記憶している。
【００４０】
俯瞰画像作成部２３は、撮像部１１−１６のそれぞれから画像データを受信する。俯瞰画像作成部２３は、複数の画像データによって示される複数の画像に基づいて、作業車両１の周囲の俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、記憶部２２に保存されている変換情報を用いて画像データの座標変換を行う。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。ここで、入力画像は、各撮像部１１−１６によって撮像された画像である。また、出力画像は、表示部１８に表示される俯瞰画像である。俯瞰画像作成部２３は、変換情報を用いて、撮像部１１−１６によって撮像された画像を、作業車両１の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図５に示すように、撮像部１１−１６によって撮像された画像は、所定の仮想投影面３０上に投影されることにより、作業車両１の上方に位置する仮想視点２０から見た画像に変換される。変換情報は、この仮想投影面３０を表している。俯瞰画像作成部２３は、複数の撮像部１１−１６からの画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。すなわち、第１〜第６画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。
【００４１】
上述したように、各撮像部１１−１６が撮像する作業車両１の周囲の領域は、第１〜第６重複領域ＯＡ１−ＯＡ６において重複している。俯瞰画像作成部２３は、俯瞰画像において、各重複領域ＯＡ１−ＯＡ６において互いに隣接する２つの撮像部１１−１６からの画像データの画像を重ねて表示する。具体的には、俯瞰画像作成部２３は、第１重複領域ＯＡ１では、第１撮像部１１からの第１画像データの画像と、第２撮像部１２からの第２画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第２重複領域ＯＡ２では、第１撮像部１１からの第１画像データの画像と、第３撮像部１３からの第３画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第３重複領域ＯＡ３では、第２撮像部１２からの第２画像データの画像と、第４撮像部１４からの第４画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第４重複領域ＯＡ４では、第３撮像部１３からの第３画像データの画像と、第５撮像部１５からの第５画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第５重複領域ＯＡ５では、第４撮像部１４からの第４画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第６重複領域ＯＡ６では、第５撮像部１５からの第５画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。このように重複領域ＯＡ１−ＯＡ６において２つの画像データを重ねて合成する場合には、各画像データの値に合成比率を乗じた値が足し合わされる。合成比率は、各画像データに対応した値であり、記憶部２２に記憶されている。例えば、第１画像データの合成比率が０．５であり、第２画像データの合成比率が０．５であるなど、画像データごとに合成比率が定められている。このように合成比率が用いられることにより、重複領域ＯＡ１−ＯＡ６において複数の画像データが平均化されて表示される。これにより、色やコントラストの急激な変化が抑えられ、自然な俯瞰画像を作成することができる。俯瞰画像作成部２３は、上記のように合成された俯瞰画像を示す俯瞰画像データを生成して、俯瞰画像データを表示部１８に送信する。
【００４２】
俯瞰画像作成部２３は、複数の仮想投影面を選択的に用いて、俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１と、図７に示す第２仮想投影面３２とを用いて俯瞰画像を作成する。図６（ａ）は、第１仮想投影面３１の斜視図である。図６（ｂ）は、図６（ａ）における第１仮想投影面３１のＡ１−Ａ１断面図である。図６（ｃ）は、図６（ａ）における第１仮想投影面３１のＢ１−Ｂ１断面図である。図７（ａ）は、第２仮想投影面３２の斜視図である。図７（ｂ）は、図７（ａ）における第２仮想投影面３２のＡ２−Ａ２断面図である。図７（ｃ）は、図７（ａ）における第２仮想投影面３２のＢ２−Ｂ２断面図である。上述したように、記憶部２２は、第１変換情報と第２変換情報とを記憶している。第１変換情報は、第１仮想投影面３１を示すデータである。第２変換情報は、第２仮想投影面３２を示すデータである。俯瞰画像作成部２３は、第１変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１−１６が撮像した画像を第１仮想投影面３１に投影した俯瞰画像を作成する。俯瞰画像作成部２３は、第２変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１−１６が撮像した画像を第２仮想投影面３２に投影した俯瞰画像を作成する。
【００４３】
図６に示すように、第１仮想投影面３１は、作業車両１に近づくほど地面からの高さが高くなる形状を含む。第１仮想投影面３１の中央部は、作業車両１に近づくほど地面からの高さが高くなる形状である。第１仮想投影面３１の外縁部は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。ここで、図８に示すように、仮想投影面３１，３２上において、作業車両１の前後方向及び車幅方向の中心Ｃ１（以下、「車両中心Ｃ１」と呼ぶ）から作業車両１の前方、左側方、右側方、後方にそれぞれ所定距離、離れた位置までの範囲を近接範囲Ｒ０と規定する。近接範囲Ｒ０に隣接して近接範囲Ｒ０よりも作業車両１から離れた範囲を第１範囲Ｒ１と規定する。また、第１範囲Ｒ１に隣接して第１範囲Ｒ１よりも作業車両１から離れた範囲を第２範囲Ｒ２と規定する。第２範囲Ｒ２は、各仮想投影面３１，３２の外縁部を含む。
【００４４】
図６に示すように、第１仮想投影面３１は、第１変化部３３と、平坦部３４と、第２変化部３５とを含む。第１変化部３３は、図８に示す近接範囲Ｒ０に位置する。第１変化部３３の地面からの高さは、車両中心Ｃ１に近づくほど高くなる。すなわち、第１変化部３３の地面からの高さは、作業車両１に近づくほど高くなる。従って、第１仮想投影面３１の近接範囲Ｒ０は、地面からの高さが作業車両１に近づくほど高くなる形状である。第１変化部３３は、車両中心Ｃ１に向かって上方に傾斜した形状である。第１変化部３３の頂点は、作業車両１の内部に相当する位置に位置している。第１変化部３３は、複数の撮像部１１−１６のうち最も低い位置に設置されている撮像部よりも下方に位置している。平坦部３４は、第１仮想投影面３１の第１範囲Ｒ１に位置する。平坦部３４は、第１変化部３３よりも作業車両１から離れた位置において第１変化部３３に連続的に繋がっている。第１変化部３３と平坦部３４との接続部分は、地面上に位置する。平坦部３４の地面からの高さは一定である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面からの高さが一定の平坦な形状である。具体的には、平坦部３４は、地面と同じ高さの平面である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面と同じ高さの平坦な形状である。第２変化部３５は、第１仮想投影面３１の第２範囲Ｒ２に位置している。第２変化部３５は、平坦部３４よりも作業車両１から離れた位置において、平坦部３４に連続的に繋がっている。第２変化部３５の地面からの高さは、作業車両１から遠ざかるほど高くなる。従って、第１仮想投影面３１の第２範囲Ｒ２は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。第２変化部３５は、作業車両１から離れる方向に向かって上方に傾斜した形状である。第２変化部３５と平坦部３４との接続部分は、地面上に位置する。
【００４５】
第１仮想投影面３１の第２範囲Ｒ２すなわち第２変化部３５は、複数の湾曲面３５ａ−３５ｄと、複数の球面３５ｅ−３５ｈとを含む。湾曲面３５ａ−３５ｄは、作業車両１の外形に対応する矩形の各辺に平行な仮想軸を中心に湾曲している。球面３５ｅ−３５ｈは、隣接する一対の湾曲面３５ａ−３５ｄの間にそれぞれ配置されている。球面３５ｅ−３５ｈは、隣接する一対の湾曲面３５ａ−３５ｄと連続的につながっている。具体的には、第２変化部３５は、第１〜第４湾曲面３５ａ−３５ｄと、第１〜第４球面３５ｅ−３５ｈとを含む。第１湾曲面３５ａは、作業車両１の前方に位置する。図６（ａ）に示すように、第１湾曲面３５ａは、仮想軸Ｃ２を中心に湾曲している。仮想軸Ｃ２は、作業車両１の外形に対応する矩形の前面の辺に平行な軸線である。第２湾曲面３５ｂは、作業車両１の後方に位置する。図６（ａ）に示すように、第２湾曲面３５ｂは、仮想軸Ｃ３を中心に湾曲している。仮想軸Ｃ３は、作業車両１の外形に対応する矩形の後面の辺に平行な軸線である。第３湾曲面３５ｃは、作業車両１の左側方に位置する。図６（ｂ）に示すように、第３湾曲面３５ｃは、仮想軸Ｃ４を中心に湾曲している。仮想軸Ｃ４は、作業車両１の外形に対応する矩形の左側面の辺に平行な軸線である。第４湾曲面３５ｄは、作業車両１の右側方に位置する。図６（ｂ）に示すように、第４湾曲面３５ｄは、仮想軸Ｃ５を中心に湾曲している。仮想軸Ｃ５は、作業車両１の外形に対応する矩形の右側面の辺に平行な軸線である。
【００４６】
第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとの間に配置されている。第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとに連続的につながっている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとの間に配置されている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとに連続的につながっている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとの間に配置されている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとに連続的につながっている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとの間に配置されている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとに連続的につながっている。
【００４７】
図７に示すように、第２仮想投影面３２は平坦な形状を有する。詳細には、第２仮想投影面３２の外縁部を含む全体が、地面からの高さが一定の平坦な形状である。従って、第２仮想投影面３２の第１範囲Ｒ１と第２範囲Ｒ２と近接範囲Ｒ０は、地面からの高さが一定の平坦な形状である。具体的には、第２仮想投影面３２の全体が、地面と同じ高さに位置する平坦な形状を有する。
【００４８】
図９は、周辺監視装置１０のコントローラ１９によって実行される処理を示すフローチャートである。以下、図９に基づいて、周辺監視装置１０が俯瞰画像を表示するための処理について説明する。
【００４９】
まず、ステップＳ１において、画像の取り込みが実行される。ここでは、各撮像部１１−１６のカメラ１１ａ−１６ａによって画像が撮像され、画像データが各撮像部１１−１６のフレームメモリ１１ｂ−１６ｂに保存される。
【００５０】
ステップＳ２では、作業車両１が走行状態であるのか否かが判定される。ここでは、走行状態判定部２１が、車速に基づいて作業車両１が走行状態であるのか否かを判定する。上述したように、走行状態判定部２１は、車速が所定の閾値以上であるときに、作業車両１が走行状態であると判定する。また、走行状態判定部２１は、車速が所定の閾値より小さいときに、作業車両１が停止状態であると判定する。作業車両１が走行状態ではないときにはステップＳ３に進む。すなわち、作業車両１が停止状態であるときには、ステップＳ３に進む。
【００５１】
ステップＳ３では、第１仮想投影面３１にて俯瞰画像が作成される。ここでは、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１を用いて、俯瞰画像を作成する。具体的には、各撮像部１１−１６からの画像データを第１仮想投影面３１上に投影して合成することにより、俯瞰画像を作成する。図１０は、第１仮想投影面３１を用いて作成された俯瞰画像（以下、「第１俯瞰画像４１」と呼ぶ）の一例である。第１俯瞰画像４１の外枠は長方形の形状を有する。第１俯瞰画像４１は、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第１俯瞰画像４１は、作業車両１からの距離を示す複数の基準線５２−５４を含む。基準線５２−５４は、第１基準線５２と第２基準線５３と第３基準線５４とを含む。例えば、第１基準線５２は、作業車両１から３ｍ離れた位置を示す。第２基準線５３は、作業車両１から５ｍ離れた位置を示す。第３基準線５４は、作業車両１から７ｍ離れた位置を示す。上述したように、第１仮想投影面３１の外縁部を含む第２範囲Ｒ２は湾曲面３５ａ−３５ｄ及び球面３５ｅ−３５ｈによって構成されている。このため、第１俯瞰画像４１の外枠に近い部分では、画像５１が湾曲して表示される。
【００５２】
ステップＳ２において、作業車両１が走行状態であると判定されたときには、ステップＳ４に進む。すなわち、車速の所定の閾値以上であるときには、ステップＳ４に進む。ステップＳ４では、第２仮想投影面３２にて俯瞰画像が作成される。図１１は、第２仮想投影面３２を用いて作成された俯瞰画像（以下、「第２俯瞰画像４２」と呼ぶ）の一例である。第２俯瞰画像４２は、第１俯瞰画像４１と同様に、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第２俯瞰画像４２は、第１俯瞰画像４１と同様に、複数の基準線５２−５４を含む。上述したように、第２仮想投影面３２は全体的に平坦な形状である。このため、第２俯瞰画像４２では、外枠に近い部分であっても、第１俯瞰画像４１のように、画像５１が湾曲して表示されることが防止される。
【００５３】
ステップＳ５では、俯瞰画像が表示部１８に表示される。ここでは、上述した第１俯瞰画像４１又は第２俯瞰画像４２が表示部１８に表示される。具体的には、作業車両１が停止状態であるときには、第１俯瞰画像４１が表示部１８に表示される。作業車両２が走行状態であるときには、第２俯瞰画像４２が表示部１８に表示される。
【００５４】
次に、本実施形態に係る作業車両１の周辺監視装置１０の特徴について説明する。
【００５５】
本実施形態の第１仮想投影面３１の第１変化部３３に投影された物体ＯＢの大きさＬ３（図１２（ｂ）参照）は、地面Ｇに配置された仮想投影面３００に投影された物体ＯＢの大きさＬ１（図１２（ａ）参照）よりも大きい。このため、物体ＯＢが作業車両１の近くに位置していても、第１俯瞰画像４１において物体ＯＢが大きく表示される。これにより、運転者は、作業車両１の近くに位置する物体ＯＢを容易に認識することができる。
【００５６】
一般的に、俯瞰画像が、複数の撮像部によって撮像された画像から合成される場合、俯瞰画像において、各撮像部の撮像範囲の境界部分に位置する物体が消失するという問題がある。例えば、図１３（ａ）に示すように、地面と同じ高さに位置する仮想投影面３００を用いて俯瞰画像を作成する例について説明する。この例では、仮想投影面３００は、複数の撮像部１０１，１０２が撮像する領域ごとに分割されている。周辺監視装置は、各撮像部１０１，１０２によって撮像された画像を仮想投影面３００上に投影することにより、作業車両１００の上方に位置する仮想視点１０３から見た俯瞰画像に変換する。この場合、仮想投影面３００上に投影された画像の画素３００の値は、当該画素３００が含まれる領域を担当する撮像部１０１から当該画素３００を見た値である。従って、物体ＯＢが、仮想投影面３００において、隣接する２つの撮像部１０１，１０２の領域の境界ＢＬ上に位置していると、物体ＯＢの上部を貫く撮像部１０１，１０２の視線が存在しない。この場合、撮像部１０１，１０２は、地面上の物体ＯＢの設置部Ｐ１のみしか撮像していない。このため、図１３（ｂ）に示すように、俯瞰画像４００において物体ＯＢを示す像４０１は、極小さな点でしか示されないか、或いは、俯瞰画像４００において物体が消失する。このような物体の消失の問題は、撮像範囲の重複領域において、各撮像範囲の画像データを足し合わせることによって解決することができる。この場合、図１４（ａ）に示すように、重複領域ＯＡにおいて物体ＯＢの上部を貫く撮像部１０１の視線ＬＳ１と撮像部１０２の視線ＬＳ２とが存在する。このため、図１６（ｂ）に示すように、俯瞰画像４００の重複領域ＯＡにおいて、撮像部１０１が撮像した像４０２と撮像部１０２が撮像した像４０３とが共に表示される。これにより、重複領域ＯＡ内の物体ＯＢの消失が防止される。
【００５７】
しかし、図１４（ａ）に示すように、撮像範囲の重複領域ＯＢは、作業車両１００に近づくほど狭くなる。このため、物体ＯＢが作業車両１００に近い位置にある場合、物体ＯＡを表示できる範囲が狭くなる。このため、俯瞰画像４００物体ＯＢの一部しか表示されないことがある。そこで、図１５（ａ）に示すように、地面Ｇより高い位置に配置される仮想投影面３０１に物体ＯＢを投影することが考えられる。この場合、物体ＯＢの地面上の設置部Ｐ１と仮想投影面３０１との間の部分に対しては、仮想投影面３０を通過する視線ＬＳ３，ＬＳ４が存在する。また、物体ＯＢの頂上部Ｐ２を通る視線ＬＳ５が存在する。これにより、図１５（ｂ）に示すように、俯瞰画像４００において、物体ＯＢの広い範囲を表示することができる。俯瞰画像４００においては、撮像部１０１が撮像した像４０４と撮像部１０２が撮像した像４０５とが共に表示される。しかし、この場合、物体ＯＢの広い範囲を俯瞰画像４００に表示することができるが、俯瞰画像４００において物体ＯＢの大きさが小さくなるという問題がある。例えば、図１２（ａ）に示すように、地面Ｇより高い位置に配置された仮想投影面３０１に投影された物体ＯＢの大きさＬ２は、地面Ｇ上に配置された仮想投影面３００に投影された物体ＯＢの大きさＬ１よりも小さくなってしまう。上述したように、作業車両１の近くでは、俯瞰画像において物体OBが小さく表示される。このため、地面Ｇより高い位置に配置された仮想投影面３０１が用いられると、作業車両１の近くに位置する物体ＯＢは、俯瞰画像においてさらに小さく表示されてしまう。
【００５８】
以上のような問題に対して、本実施形態に係る作業車両１の周辺監視装置１０では、第１変化部３３は、作業車両１に近づくほど地面からの高さが高くなるように傾斜している。このため、図１２（ｂ）に示すように、俯瞰画像での物体ＯＢの大きさＬ３を、地面Ｇより高い位置に配置される仮想投影面３０１に投影される物体ＯＢの大きさＬ２よりも大きくすることができる。これにより、俯瞰画像における物体の消失の問題と、物体が表示される範囲が狭くなる問題と、物体が小さく表示される問題とを同時に解決することができる。
【００５９】
第１仮想投影面３１の平坦部３４が、第１変化部３３よりも作業車両１から離れた位置に存在する。また、作業車両１から離れた位置では、作業車両１の近傍よりも俯瞰画像において物体ＯＢが大きく表示される。これにより、物体の消失の問題を解消される。
【００６０】
平坦部３４では、作業車両１から離れるほど物体ＯＢが大きく表示されるが、第１仮想投影面３１において平坦部３４よりも作業車両１から離れた位置には第２変化部３５が設けられている。第２変化部３５の地面からの高さは作業車両１から遠ざかるほど高くなるため、物体ＯＢは作業車両１から離れるほど小さく表示される。このため、第１俯瞰画像４１によって作業車両１と物体ＯＢとの間の距離感を容易に把握することができる。
【００６１】
第１変化部３３と平坦部３４とは、連続的に繋がっている。また、平坦部３４と第２変化部３５とは、連続的に繋がっている。このため、俯瞰画像上において物体ＯＢが滑らかに表示される。これにより、オペレータに与える違和感が少ない俯瞰画像を作成することができる。
【００６２】
第１変化部３３と平坦部３４との接続部分は、地面上に位置する。また、第２変化部３５と平坦部３４との接続部分は、地面上に位置する。すなわち、平坦部３４は地面上の平面である。このため、オペレータにとって地面を撮像しているかのように自然な俯瞰画像を作成することができる。
【００６３】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
【００６４】
上記の実施形態では、作業車両１の一例としてダンプトラックが挙げられているが、本発明は、例えばブルドーザーなどの他の種類の作業車両にも適用することができる。
【００６５】
第１仮想投影面３１において第２変化部３５が省略されてもよい。すなわち、図１６に示す第１仮想投影面３１のように、変化部６１と平坦部６２とによって構成されてもよい。変化部６１は、上記の実施形態の第１変化部３３と同様である。従って、変化部６１は、作業車両１に近づくほど地面からの高さが高くなる形状である。変化部６１は、近接範囲Ｒ０に位置する。平坦部３４は、変化部６１よりも作業車両１から離れており、第１仮想投影面３１の外枠まで延びている。すなわち、平坦部３４は、第１範囲Ｒ１と第２範囲Ｒ２とを合わせた範囲に位置する。
【００６６】
本発明の撮像部の数は上記の実施形態のように６台に限られない。また、本発明の撮像部の配置は上記の実施形態の撮像部１１−１６の配置に限られない。上記の実施形態では、第１仮想投影面３１の第１変化部３３は、地面からの高さが連続的に変化する傾斜面であるが、第１変化部３３の地面からの高さが階段状に変化してもよい。同様に、第２変化部３５の地面からの高さが階段状に変化してもよい。ただし、違和感の少ない自然な俯瞰画像を形成する観点からは、第１変化部３３は、地面からの高さが連続的に変化する傾斜面であることが好ましい。同様に、違和感の少ない自然な俯瞰画像を形成する観点からは、第２変化部３５は、地面からの高さが連続的に変化する傾斜面であることが好ましい。また、第１変化部３３の傾斜面は、直線状であっても、曲線状であってもよい。同様に、第２変化部３５の傾斜面は、直線状であっても、曲線状であってもよい。また、第１仮想投影面３１の平坦部３４は、地面と同じ高さに限らず、地面と異なる高さに位置してもよい。
【産業上の利用可能性】
【００６７】
本発明は、俯瞰画像において物体の消失を抑えることができる作業車両の周辺監視装置を提供することができる。
【符号の説明】
【００６８】
１ 作業車両
１０ 周辺監視装置
１１ 第１撮像部
１２ 第２撮像部
１８ 表示部
２３ 俯瞰画像作成部
３１ 第１仮想投影面
３３ 第１変化部
３４ 平坦部
３５ 第２変化部
【特許請求の範囲】
【請求項１】
作業車両に装着され、前記作業車両の周囲の第１領域を撮像して第１画像データを得る第１撮像部と、
前記第１画像データを所定の仮想投影面に投影することにより、前記作業車両の周囲の俯瞰画像を作成する俯瞰画像作成部と、
前記俯瞰画像を表示する表示部と、
を備え、
前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる形状を含む、
作業車両の周辺監視装置。
【請求項２】
前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる変化部と、前記変化部よりも前記作業車両から離れた位置において前記変化部に連続的に繋がっており地面からの高さが一定の平坦部とを含み、
前記変化部は、前記作業車両と前記平坦部との間に位置する、
請求項１に記載の作業車両の周辺監視装置。
【請求項３】
前記変化部と前記平坦部との接続部分は、地面上に位置する、
請求項２に記載の作業車両の周辺監視装置。
【請求項４】
前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる第１変化部と、前記第１変化部よりも前記作業車両から離れた位置において前記第１変化部に連続的に繋がっており地面からの高さが一定の平坦部と、前記平坦部よりも前記作業車両から離れた位置において前記平坦部に連続的に繋がっており前記作業車両から遠ざかるほど地面からの高さが高くなる第２変化部とを含む、
請求項１に記載の作業車両の周辺監視装置。
【請求項５】
前記第２変化部と前記平坦部との接続部分は、地面上に位置する、
請求項４に記載の作業車両の周辺監視装置。
【請求項６】
前記作業車両に装着され、前記第１領域と部分的に重複する前記作業車両の周囲の第２領域を撮像して第２画像データを得る第２撮像部をさらに備え、
前記俯瞰画像作成部は、前記俯瞰画像において、前記第１領域と前記第２領域との重複領域における前記第１画像データの画像と、前記重複領域における前記第２画像データの画像とを重ねて表示する、
請求項１から５のいずれかに記載の作業車両の周辺監視装置。
【請求項７】
請求項１から６のいずれかに記載の周辺監視装置を備える作業車両。
【請求項１】
作業車両に装着され、前記作業車両の周囲の第１領域を撮像して第１画像データを得る第１撮像部と、
前記第１画像データを所定の仮想投影面に投影することにより、前記作業車両の周囲の俯瞰画像を作成する俯瞰画像作成部と、
前記俯瞰画像を表示する表示部と、
を備え、
前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる形状を含む、
作業車両の周辺監視装置。
【請求項２】
前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる変化部と、前記変化部よりも前記作業車両から離れた位置において前記変化部に連続的に繋がっており地面からの高さが一定の平坦部とを含み、
前記変化部は、前記作業車両と前記平坦部との間に位置する、
請求項１に記載の作業車両の周辺監視装置。
【請求項３】
前記変化部と前記平坦部との接続部分は、地面上に位置する、
請求項２に記載の作業車両の周辺監視装置。
【請求項４】
前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる第１変化部と、前記第１変化部よりも前記作業車両から離れた位置において前記第１変化部に連続的に繋がっており地面からの高さが一定の平坦部と、前記平坦部よりも前記作業車両から離れた位置において前記平坦部に連続的に繋がっており前記作業車両から遠ざかるほど地面からの高さが高くなる第２変化部とを含む、
請求項１に記載の作業車両の周辺監視装置。
【請求項５】
前記第２変化部と前記平坦部との接続部分は、地面上に位置する、
請求項４に記載の作業車両の周辺監視装置。
【請求項６】
前記作業車両に装着され、前記第１領域と部分的に重複する前記作業車両の周囲の第２領域を撮像して第２画像データを得る第２撮像部をさらに備え、
前記俯瞰画像作成部は、前記俯瞰画像において、前記第１領域と前記第２領域との重複領域における前記第１画像データの画像と、前記重複領域における前記第２画像データの画像とを重ねて表示する、
請求項１から５のいずれかに記載の作業車両の周辺監視装置。
【請求項７】
請求項１から６のいずれかに記載の周辺監視装置を備える作業車両。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２５４６５０（Ｐ２０１２−２５４６５０Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２７３０６（Ｐ２０１１−１２７３０６）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００１２３６）株式会社小松製作所 (1,686)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００１２３６）株式会社小松製作所 (1,686)
【Ｆターム（参考）】
[ Back to top ]