周辺画像表示装置
【課題】
撮像される画像同士の位置関係と、さらに、撮像される物体と建設用機械の上部旋回体の方向または下部走行体の前進方向との位置関係と、に関する情報を的確に得ることができる周辺画像表示装置を提供することを目的とする。
【解決手段】
建設用機械の周囲を撮像し、表示手段３は、建設用機械を基準とした環状画像３１と、パノラマ画像３２と、パノラマ画像３２の一部分を切り出した切出し画像３３とを同時に表示し、切出し画像３３の切出し位置を定める枠状画像Ａ１，Ａ２を環状画像３１上及びパノラマ画像３２上に重ねて表示させ、建設用機械の上部旋回体の方向を指示する上部旋回体指示画像３１１，３２１，３３１と、下部走行体の前進方向を示す前進方向指示画像３１３，３２３，３３３と、を少なくとも環状画像３１またはパノラマ画像３２または切出し画像３３のいずれかに表示させる。
撮像される画像同士の位置関係と、さらに、撮像される物体と建設用機械の上部旋回体の方向または下部走行体の前進方向との位置関係と、に関する情報を的確に得ることができる周辺画像表示装置を提供することを目的とする。
【解決手段】
建設用機械の周囲を撮像し、表示手段３は、建設用機械を基準とした環状画像３１と、パノラマ画像３２と、パノラマ画像３２の一部分を切り出した切出し画像３３とを同時に表示し、切出し画像３３の切出し位置を定める枠状画像Ａ１，Ａ２を環状画像３１上及びパノラマ画像３２上に重ねて表示させ、建設用機械の上部旋回体の方向を指示する上部旋回体指示画像３１１，３２１，３３１と、下部走行体の前進方向を示す前進方向指示画像３１３，３２３，３３３と、を少なくとも環状画像３１またはパノラマ画像３２または切出し画像３３のいずれかに表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ショベルカー等の建設用機械に搭載され、建設用機械の周囲の画像を撮像し、周辺画像を表示する周辺画像表示装置に関するものである。
【背景技術】
【０００２】
本願発明の周辺画像表示装置が搭載されるような建設用機械は、無限軌道（以下、クローラと記す）等によって走行可能な下部走行体を有し、その下部走行体上に上部旋回体が旋回可能なように設置されている。上部旋回体は、操縦者が搭乗する運転室と、掘削作業などを行うフロント作業機とを備えている。運転室には、操縦者が周囲を確認できるように、大きな窓を設けているが、操縦者からの死角となる範囲が存在する。そこで、死角となる範囲の確認を行うため、上部旋回体に撮像カメラを設置し、この撮像カメラで撮像した画像を運転室内の表示器に表示させ、作業の障害となる物体を監視できるようにした画像表示装置が特許文献１に開示されている。
【０００３】
しかしながら、上部旋回体の旋回角度に関係なく、下部走行体の前進／後進が操作されるため、操縦者が建設用機械内で作業していると、上部旋回体と下部走行体との相対的な位置関係がわからなくなり、例えば、下部走行体の前進方向に対して上部旋回体が１８０度旋回している場合、下部走行体を前進させるつもりが、実際は建設用機械が後進してしまうおそれがあった。
【０００４】
このような問題を鑑み、本願出願人は、特許文献２の監視装置を開示している。この監視装置は、建設用機械の周辺を撮像する撮像手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記上部旋回体に対する前記下部走行体の角度を検出し、角度データを出力する角度検出手段と、前記角度データに基づいて前記下部走行体を模した画像を前記表示器に表示させる制御手段と、を有し、前記制御手段は、前記下部走行体の前進方向を示すマークを前記表示器に表示させるものである。
【０００５】
また、本願出願人は、全方位撮像手段の撮像素子が出力した環状画像からなる撮像画像を画像処理回路によって、全方位を示すパノラマ画像や全方位の一部を切り出してなる切出し画像等に変換し、表示器に表示させる全方位撮像装置を提案している（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１６３３７０号公報
【特許文献２】特開２００９−１９７４５６号公報
【特許文献３】特開２００７−８１９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、建設用機械の全周囲の画像である環状画像またはパノラマ画像を表示し、その一部を切出し画像として表示する場合、切出し画像が環状画像またはパノラマ画像のどの方位のどの部分にあたるか認識できず、さらには切出し画像の方向と上部旋回体の向いている方向または下部走行体の前進方向との相対関係が認識しづらく、操縦者が得たい情報を直感的に得ることができなかった。
【０００８】
そこで本発明は、前述の問題点に着目し、撮像される画像同士の位置関係と、さらに、撮像される物体と建設用機械の上部旋回体の方向または下部走行体の前進方向との位置関係と、に関する情報を的確に得ることができる周辺画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決するため、以下の手段を採用した。
すなわち、本発明は、建設用機械の周囲を撮像し、前記建設用機械を基準とした環状画像と、パノラマ画像と、前記パノラマ画像の一部分を切り出した切出し画像と、を同時に表示手段に表示し、切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させ、建設用機械の上部旋回体の方向を指示する上部旋回体指示画像と、前記下部走行体の前進方向を示す前進方向指示画像と、を前記環状画像または前記パノラマ画像または前記切出し画像のいずれかに表示させること、をその要旨とする。
【００１０】
本発明は、前述した課題を解決するため、第１の発明は、下部走行体及び上部旋回体を有する建設用機械に搭載され、前記建設用機械の周囲を撮像する撮像手段と、前記撮像手段により撮像された撮像データを前記建設用機械を基準とした環状画像及びパノラマ画像並びに前記パノラマ画像の一部分を切り出した切出し画像に変換する制御手段と、前記環状画像と前記パノラマ画像と前記切出し画像とを同時に表示する表示手段と、前記制御手段に操作信号を出力する操作手段と、を備え、前記制御手段は、前記切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させるとともに、前記操作手段の操作に基づいて、前記枠状画像を前記環状画像及び前記パノラマ画像の範囲内にて移動可能とし、前記枠状画像の移動に連動し、前記切出し画像を切替えるものであり、斯かる構成により、切出し画像が環状画像とパノラマ画像のどの部分に位置するのか認識でき、建設用機械と撮像される物体との位置関係に関する情報を的確に得ることができる。
【００１１】
また、第２の発明では、前記制御手段は、前記上部旋回体の旋回角度情報を入力し、前記環状画像に前記下部走行体の前進方向を示す第１前進方向指示画像を表示させる、または前記パノラマ画像に前記下部走行体の前進方向を示す第２前進方向指示画像を表示させる、または前記枠状画像が前記下部走行体の前進方向にあったとき、前記切出し画像に前記下部走行体の前進方向を示す第３前進方向指示画像を表示させるものであり、斯かる構成により、建設用機械の下部走行体の前進方向と切出し画像との位置関係に関する情報を的確に得ることができる。
【００１２】
また、第３の発明では、前記制御手段は、前記上部旋回体の方向を示す第１上部旋回体指示画像を前記環状画像に表示させるものであり、斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とを環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００１３】
また、第４の発明では、前記制御手段は、前記上部旋回体の方向を示す第２上部旋回体指示画像を前記パノラマ画像に表示させるものであり、斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とをパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係や距離関係に関する情報を的確に得ることができる。
【００１４】
また、第５の発明では、前記制御手段は、前記枠状画像が前記上部旋回体の方向にあったとき、前記切出し画像に前記上部旋回体の方向を示す第３上部旋回体指示画像を表示させるものであり、斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とを切出し画像にて詳細に認識することができ、建設用機械と切出し画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００１５】
また、第６の発明では、前記第２前進方向指示画像は、前記下部走行体の幅に基づく、奥行きのある画像からなるものであり、斯かる構成により、建設用機械とパノラマ画像に表示される物体との方位関係に加え、表示される物体との距離に関する情報を的確に得ることができ、下部走行体の幅に関連づけることで、物体の大きさや、物体同士の間隔の広さを認識することができる。
【００１６】
また、第７の発明では、前記第１上部旋回体指示画像は、前記環状画像の中心部に前記建設用機械を示す車両画像で表示されるものであり、斯かる構成により、建設用機械の上部旋回体の方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００１７】
また、第８の発明では、前記撮像手段は、全方位カメラであり、前記制御手段は、前記全方位カメラからの撮像データに基づいて、前記環状画像を生成するものである。
【００１８】
また、第９の発明では、前記撮像手段は、複数のカメラであり、前記制御手段は、前記複数のカメラからの撮像データに基づいて、前記環状画像を生成するものであり、第８，９の発明の構成により、建設用機械の周囲の画像を容易に撮像することができる。
【００１９】
また、第１０の発明では、前記制御手段は、前記枠上画像の内部もしくは前記枠状画像の周辺に上下左右のカーソル表示を表示し、前記操作手段にて前記枠状画像が移動されるとき、前記操作手段にて操作された方向の前記カーソル表示の色彩を変化させるものであり、斯かる構成により、操作が実行されたか、または操作がなされた方向を容易に認識することができ、枠状画像の移動操作性を向上させることができる。
【００２０】
また、第１１の発明では、前記操作手段は、タッチパネル式入力手段からなるものであり、斯かる構成により、表示手段に同時に表示される環状画像やパノラマ画像に触れることで容易に枠状画像を移動することができる。
【発明の効果】
【００２１】
撮像される画像同士の位置関係と、さらに、撮像される物体と建設用機械の上部旋回体の方向または下部走行体の前進方向との位置関係と、に関する情報を的確に得ることができる周辺画像表示装置を提供する。
【図面の簡単な説明】
【００２２】
【図１】本発明における周辺画像表示装置のブロック図である。
【図２】上記発明における全方位カメラの構成図である。
【図３】上記発明の周辺画像表示装置における表示手段の表示例を示す図である。
【図４】上記発明の周辺画像表示装置における表示の変形例を表した図であり、（ａ），（ｂ）は、枠状画像の変形例を表す図であり、（ｃ），（ｄ）は、上部旋回体指示画像の変形例を表す図である。
【図５】上記発明の周辺画像表示装置における第２前進方向指示画像の変形例を示す図である。
【図６】上記発明の周辺画像表示装置における中心画像の変形例を示す図である。
【図７】上記発明の周辺画像表示装置における切出し画像の説明図であり、（ａ）は第３前進方向画像を表す図であり、（ｂ）は上部旋回体方位情報画像と前進方向情報画像との表示例を示す図である。
【図８】上記発明の環状画像上を（ａ１）（ａ２）タッチ操作した際の枠状画像の移動を時系列に説明した図であり、（ｂ１）（ｂ２）はフリック操作した際の枠状画像の移動を時系列に説明した図である。
【図９】上記発明のパノラマ画像上を（ａ１）（ａ２）タッチ操作した際の枠状画像の移動を時系列に説明した図であり、（ｂ１）（ｂ２）はピンチアウト操作した際の枠状画像の移動を時系列に説明した図である。
【図１０】上記発明の切出し画像上をフリック操作した際の枠状画像の移動を時系列に説明した図である。
【図１１】上記発明の切出し画像上をピンチアウト操作した際の切出し画像の拡大を時系列に説明した図である。
【図１２】上記発明の表示手段における（ａ）各画像周縁部のカーソル表示の表示例を表す画像であり、（ｂ）カーソル表示を操作した際のカーソル表示の色彩の変化を説明した図である。
【図１３】上記発明の撮像手段が複数のカメラで行われた際の表示手段の画像表示例である。
【発明を実施するための形態】
【００２３】
以下に、本発明の周辺画像表示装置１００の実施形態を図を用いて説明する。図１は、本実施形態における周辺画像表示装置１００のブロック図である。本発明の周辺画像表示装置１００は、撮像手段１と、制御手段２と、表示手段３と、操作手段４と、により構成され、建設用機械の上部旋回体と下部走行体のの旋回角度情報を示す角度データを、建設用機械に備えられた角度センサ５から入力するものである。
【００２４】
撮像手段１は、例えば図２に示すような全方位カメラである。このような全方位カメラ（撮像手段）１は、反射ミラー１１と、レンズ１２と、撮像素子１３と、全方位カメラ１の配設方向を指示する方向指示マークを有するケース体１４と、を備え、反射ミラー１１を中心とした全方位を撮像するものであり、建設用機械の上部旋回体の下部に方向指示マークが上部旋回体の方向に一致するように配設され、下部走行体のクローラが写り込む位置に配設される。
【００２５】
反射ミラー１１は、双曲面形状の光学部材であり、双曲面形状の頂点を下にして配置されており、反射ミラー１１の頂点を中心とした全方位の周囲光Ｌを下方のレンズ１３側に反射させるものである。
レンズ１２は、反射ミラー１１により反射された周囲光Ｌを集光し、集光した周囲光Ｌを撮像素子１３側へ出射する。
撮像素子１３は、ＣＣＤ若しくはＣＭＯＳからなるものであり、レンズ１２により集光された周囲光Ｌを受光し、制御手段２に全方位の撮像画像を撮像データＤとして出力する。
ケース体１４は、上面に周囲光Ｌを通す円形の開口部を有し、反射ミラー１１とレンズ１２と撮像素子１３とを収納するものである。
【００２６】
制御手段２は、撮像手段１から出力された撮像データＤに基づき、後述する環状画像３１、パノラマ画像３２、切出し画像３３等の表示画像データを生成し、表示手段３に各画像を表示させるものである。
また、制御手段２は、操作手段４からの操作信号を入力し、周辺画像表示装置１００の操作の処理を行うものである。
また、前述のように撮像手段１の方向指示マークを、上部旋回体の方向に一致するように配設しているため、建設用機械の角度センサ５から上部旋回体に対する下部走行体の角度情報を入力することで、制御手段２は、表示画像データと上部旋回体の方向と下部走行体の前進方向とを関連づけるものである。
このように、周辺画像表示装置１００の設置時に、周辺画像表示装置１００の方向指示マークを、上部旋回体に位置合わせすることで、表示画像データと上部旋回体の方向を関連づける以外に、周辺画像表示装置１００の設置後に、表示される画像を見ながら、上部旋回体の方向と表示画像データとを関連づけてもよい。
【００２７】
表示手段３は、液晶ディスプレイ若しくは有機ＥＬディスプレイ等であり、制御手段２にて生成された画像データに基づき、図３に示すように表示画面上に、環状画像３１とパノラマ画像３２と切出し画像３３とを表示する。
【００２８】
操作手段４は、例えば表示手段３の表示画面上に配置されるタッチパネルからなり、表示手段３に表示される表示画像に対するタッチ操作を検出して、制御手段３に操作信号を出力するものである。
【００２９】
以上が、本発明における周辺画像表示装置１００の構成である。次に、表示手段３に表示される各画像（環状画像３１、パノラマ画像３２、切出し画像３３）の生成方法について説明する。
【００３０】
（画像生成方法）
撮像データＤは、全方位を撮像した外円画像と、反射ミラー１１に投影された撮像素子１３自身を撮像した内円画像と、により構成される。
環状画像３１は、図３（ａ）に示すように、全方位を撮像した外円画像を表示する外円領域Ｓ１ａと、内円画像を取り除いた、或いは他画像等により内円画像を覆い隠した内円領域Ｓ１ｂと、により分類され、全方位の画像が外円領域Ｓ１ａに環状に表示されるものである。
外円領域Ｓ１ａは、全方位を撮像した外円画像に、後述する切出し画像３３の切出し領域を示す第１枠状画像Ａ１と、建設用機械の上部旋回体の方向を示す第１上部旋回体指示画像３１１と、建設用機械の上部旋回体の左右，背面方向を示す第１上部旋回体補助画像３１２と、建設用機械の下部走行体の前進方向を示す第１前進方向指示画像３１３と、を重畳させて表示した領域である。
【００３１】
第１枠状画像Ａ１は、切出し画像３３に対応する領域を囲む扇状の枠として表示される。斯かる構成により、切出し画像３３が環状画像３１のどの部分を切り出したものか容易に認識することができる。
また、第１枠状画像Ａ１は、切出し画像３３の切出し位置が撮像画像の中心点に対し、どの方向であるかがわかればいいので、切出し画像３３に厳密に対応する領域として扇状の枠を表示するのではなく、図４（ａ），（ｂ）に示すように、四角形の枠（Ａ１ａ）や、中心から伸びた扇状の枠（Ａ１ｂ）として表示してもよい。
【００３２】
第１上部旋回体指示画像３１１は、図３（ａ）に示すように、上部旋回体の向く方向を指し示す矢印で表示される。制御手段２は、撮像手段１の方向指定マークの方向が上部旋回体の方向であると認識することから、この方向指示マークの方向に基づき、第１上部旋回体指示画像３１１は、環状画像３１の外円領域Ｓ１ａに表示される。
斯かる構成により、建設用機械の上部旋回体の方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００３３】
また、第１上部旋回体指示画像３１１は、図４（ｃ）に示すように、外円領域Ｓ１ａではなく、内円領域Ｓ１ｂに建設用機械を模した第１上部旋回体指示機械画像３１１ａを表示することにより、上部旋回体の指示する方向を認識させてもよい。
また、図４（ｄ）に示すように、外円画像Ｓ１ａや内円画像Ｓ１ｂ以外の環状画像３１の周縁部に、第１上部旋回体指示周縁画像３１１ｂを表示させてもよい。
また、上部旋回体体の指示方向のみではなく、この上部旋回体の指示方向を基準とした、上部旋回体の左右方向や背面方向を表す第１上部旋回体補助画像３１２を表示する。斯かる構成により、環状画像３１にて、建設用機械の上部旋回体と周辺画像との位置関係をより認識しやすい。
これら、第１上部旋回体指示画像３１１と、第１上部旋回体指示機械画像３１１ａと、第１上部旋回体周縁画像３１１ｂと、第１上部旋回体補助画像３１２とは、表示手段３に表示されるものではなく、表示手段３の表面ガラスなどに予め印刷されたものでもよい。
【００３４】
第１前進方向指示画像３１３は、下部走行体の前進方向を示す画像であり、図３に示すように、外円領域Ｓ１ａや内円領域Ｓ１ｂに矢印などの方向指示画像でより表示されるものである。
斯かる構成により、建設用機械の下部走行体の前進方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００３５】
内円領域Ｓ１ｂは、撮像素子１３自身を撮像した内円画像をそのまま表示する、もしくは内円画像を取り除く、或いは他画像等により内円画像を覆い隠した領域であり、例えば、図５（ａ）に示すように、クローラの模擬図（３１４ａ）を表示してもよく、図５（ｂ）に示すように、下部走行体の旋回角度情報等の車両情報を、文字表示（３１４ｂ）として表示してもよい。
【００３６】
パノラマ画像３２は、全方位を示す画像であり、撮像データＤの外円画像を所定の切断線によって切り開き、歪みを補正した矩形画像であり、第２枠状画像Ａ２と、第２上部旋回体指示画像３２１と、第２上部旋回体補助画像３２２と、第２前進方向指示画像３２３と、を全方位を示す矩形画像に重畳して表示させたものである。
【００３７】
第２枠状画像Ａ２は、切出し画像３３に対応する領域を囲む矩形の枠として表示される。斯かる構成により、切出し画像３３がパノラマ画像３２のどの部分を切り出したものか容易に認識することができる。
【００３８】
第２上部旋回体指示画像３２１は、図３（ａ）に示すように、上部旋回体の向く方向を指し示す矢印で表示される。
斯かる構成により、建設用機械の上部旋回体の方向をパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係に関する情報を的確に得ることができる。また、第２枠状画像Ａ２と、第２上部旋回体指示画像３２１とにより、切出し画像３３と、第２上部旋回体指示画像３２１との位置関係を的確に得ることが出来る。
また、第２上部旋回体指示画像３２１は、方向がわかればいいので矢印ではない、目印となる画像などでもよい。
第２上部旋回体指示画像３２１は、表示手段３の表面ガラスなどに予め印刷されたものであってもよい。
【００３９】
また、パノラマ画像３２は、上部旋回体の左右方向や背面方向を表す第２上部旋回体補助画像３２２を表示する。斯かる構成により、パノラマ画像３２にて、建設用機械の上部旋回体と周辺画像との位置関係をより認識しやすい。
【００４０】
第２前進方向指示画像３２３は、下部走行体の前進方向を示す画像であり、図３に示すように、矢印などの方向指示画像でより表示されるものである。
斯かる構成により、建設用機械の下部走行体の前進方向をパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００４１】
また、第２前進方向指示画像３２３は、図６（ａ）に示すように、奥行きのある矢印である第２前進方向指示奥行き矢印画像３２３ａでもよい。
また、図６（ｂ）に示すように、下部走行体の幅を考慮した、第２前進方向指示走行体画像３２３ｂとしてもよい。斯かる構成により、建設用機械とパノラマ画像に表示される物体との方位関係に加え、表示される物体との距離に関する情報を的確に得ることができ、下部走行体の幅に関連づけることで、物体の大きさや、物体同士の間隔の広さを認識することができる。
【００４２】
切出し画像３３は、環状画像３１に重畳表示される第１枠状画像Ａ１とパノラマ画像３２に重畳表示される第２枠状画像Ａ２に対応する位置が切り出された画像で、歪みが補正された拡大画像であり、全方位のうち注視したい一部分を詳細に把握することができる。
また、切出し画像３３は、上部旋回体の指示方向を示す第３上部旋回体指示画像３３１又は、この上部旋回体の指示方向を基準とした、上部旋回体の左右方向や背面方向を表す第３上部旋回体補助画像３３２又は、下部走行体の進行方向を示す第３前進方向指示画像３３３を、図７（ａ）に示すように、切出し画像３３の切出し位置（第１枠状画像Ａ１と第２枠状画像Ａ２の位置）に応じて表示する。
斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とを切出し画像にて認識することができ、建設用機械と切出し画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００４３】
また、切出し画像３３は、図７（ｂ）に示すように、現在切出し画像３３に表示している方向に対し、上部先行体の指示方向がどの位置にあるかを角度表示する上部旋回体方位情報画像Ｂを表示する。
また、切出し画像３３は、現在切出し画像３３に表示している方向に対し、下部走行体の前進方向はどの位置にあるかを角度表示する前進方向情報画像Ｃを表示する。
斯かる構成により、切出し画像３３を視認するだけで、切出し画像３３と、上部旋回体の指示方向又は下部走行体の前進方向と、の位置関係を容易に認識することができる。
上記の上部旋回体方位情報画像Ｂや前進方向情報画像Ｃは、切出し画像３３の画像内でもよいが、切出し画像３３の周縁外側に表示してもよい。
【００４４】
以上が、表示手段３に表示される環状画像３１とパノラマ画像３２と切出し画像３３についての説明であるが、本願発明の周辺画像表示装置１００は、斯かる構成により、撮像される環状画像３１とパノラマ画像３２と切出し画像３３とのそれぞれの位置関係を明確にし、さらに、撮像される物体と建設用機械（下部走行体の前進方向または上部旋回体の指示方向）との位置関係に関する情報を的確に得ることができる。
【００４５】
次に、本願発明の周辺画像表示装置１００の操作方法について、操作手段４がタッチパネルである場合を実施例として、図８乃至１２を用いて説明する。
【００４６】
図８（ａ）は、環状画像３１上を操作者Ｘがタッチした際の第１枠状画像Ａ１の移動を時系列で表した図である。操作者Ｘが所望する箇所をタッチすることで、第１枠状画像Ａ１の位置が移動し、この第１枠状画像Ａ１に同期する切出し画像３３を素早く切替えることができる。
図８（ｂ）は、環状画像３１上を操作者Ｘがフリック操作した際の第１枠状画像Ａ１の移動を時系列で表した図である。操作者Ｘが環状画像３１上をなぞるフリック操作をすることによって、操作者Ｘの動きに対応して、第１枠状画像Ａ１が滑らかに移動し、それにより、第１枠状画像Ａ１に同期する切出し画像３３も滑らかにその表示領域を切替えることができる。
【００４７】
図９（ａ）は、パノラマ画像３２上を操作者Ｘがタッチした際の第２枠状画像Ａ２の移動を時系列で表した図である。操作者Ｘが所望の箇所をタッチすることで、第２枠状画像Ａ２の位置が移動し、この第２枠状画像Ａ２に同期する切出し画像３３を素早く切替えることができる。
図９（ｂ）は、パノラマ画像３２上を操作者Ｘが２点以上操作点をピンチアウト操作した際の第２枠状画像Ａ２の大きさ変更を時系列で表した図である。操作者Ｘが、第２枠状画像Ａ２付近で、２点の接点を広げるようにピンチアウト操作した場合、第２枠状画像Ａ２が拡がり、これにより切出し画像３３の切出し領域が大きくなるため、切出し画像３３は縮小表示される。また、操作者Ｘが第２枠状画像Ａ２付近で、２点の接点を狭めるようにピンチイン操作した場合、第２枠状画像Ａ２は狭まり、これにより切出し画像３３の切出し領域が小さくなるため、切出し画像３３は拡大表示される。
【００４８】
図１０は、切出し画像３３上を操作者Ｘがフリック操作した際の切出し位置の移動を時系列で表した図である。操作者Ｘが、図のように左から右方向へフリック操作すると、切出し画像３３も左から右方向へスライドし、切出し位置が変更される。これに従い、第１枠状画像Ａ１と第２枠状画像Ａ２も切出し画像３３に同期し、移動する。
【００４９】
図１１は、切出し画像３３上を操作者Ｘが２点以上操作点をピンチアウト操作した際の切出し画像３３の拡大を時系列で表した図である。操作者Ｘが、切出し画像３３付近で、２点の接点を広げるようにピンチアウト操作した場合、切出し画像３３は拡大表示され、切出し画像３３の表示領域に同期し、第１枠状画像Ａ１と第２枠状画像Ａ２を変更させる。また、操作者Ｘが切出し画像３３付近で、２点の接点を狭めるようにピンチイン操作した場合、切出し画像３３縮小表示され、切出し画像３３の表示領域に同期し、第１枠状画像Ａ１と第２枠状画像Ａ２を変更させる。
【００５０】
また、図１２（ａ）に示すように、第１枠状画像Ａ１または第２枠状画像Ａ２または切出し画像３３の周縁部に上下左右などのカーソル表示Ｅを表示し、このカーソル表示Ｅ上を操作してもよい。
また、図１２（ｂ）のように、操作された方向のカーソル表示Ｅの色彩を一時的に変えることで、その方向の操作が行われたことを操作者Ｘに報知してもよい。
【００５１】
また、操作手段４は、直感的な操作が可能なマウス、ジョイスティック、タッチパッド、ペンタブレットあるいはトラックボールなどを用いてもよい。
【００５２】
このように、環状画像３１と、パノラマ画像３２と、切出し画像３３と、を同時に表示させ、その画面上をタッチパネルで操作することにより、環状画像３１上の操作では、特に方位を意識した第１枠状画像Ａ１の移動ができ、パノラマ画像３２上の操作では、特に上下（奥行き）方向を意識した第２枠状画像Ａ２の移動ができ、切出し画像３３上の操作では、拡大画像により、切出し画像３３の詳細な切出し位置を微調整することができ、それぞれの画像を活かした直感的な操作ができる。
【００５３】
次に図１３を用いて、撮像手段１が全方位カメラではなく、複数のカメラで構成された一実施形態を説明する。
具体的に例えば、撮像手段１は、ＣＣＤもしくはＣＭＯＳからなる撮像素子を有する第１，第２撮像カメラ１ａ，１ｂであり、ぞれぞれ視野角が重ならず、視野角同士に間ができない位置に設置される。第１，第２撮像カメラ１ａ，１ｂは視野角１２０°とすると、２つのカメラで２４０°の視野角を撮影することができ、それぞれ撮像した画像を環状画像３１とパノラマ画像３２および切出し画像３３に表示する。
環状画像３１は、第１撮像カメラ１ａにより撮像された第１撮像カメラ画像Ｕ１ａと、第２撮像カメラ１ｂにより撮像された第２撮像カメラ画像Ｕ１ｂと、複数の撮像カメラで撮像されない死角となる第１デッドスペースＵ１ｃにより構成されている。この第１デッドスペースＵ１ｃは、黒塗りや車両情報を文字などで表示するエリアである。
また、パノラマ画像３２にも、環状画像３１の第１デッドスペースＵ１ｃに対応する位置に第２デッドスペースＵ２ｃを設ける。
斯かる構成により、撮像手段１が全方位カメラではなく、複数のカメラであった場合も、撮像される画像同士の位置関係と、さらに撮像される物体と建設用機械との位置関係とに関する情報を的確に得ることができる。
【符号の説明】
【００５４】
１００ 周辺画像表示装置
１ 撮像手段
２ 制御手段
３ 表示手段
４ 操作手段
５ 角度センサ
１ａ 第１撮像カメラ
１ｂ 第２撮像カメラ
１１ 反射ミラー
１２ レンズ
１３ 撮像素子
１４ ケース体
３１ 環状画像
３１１ 第１上部旋回体指示画像
３１２ 第１上部旋回体補助画像
３１３ 第１前進方向指示画像
３２ パノラマ画像
３２１ 第２上部旋回体指示画像
３２２ 第２上部旋回体補助画像
３２３ 第２前進方向指示画像
３３ 切出し画像
３３１ 第３上部旋回体指示画像
３３２ 第３上部旋回体補助画像
３３３ 第３前進方向指示画像
Ａ１ 第１枠状画像
Ａ２ 第２枠状画像
Ｂ 上部旋回体方位情報画像
Ｃ 前進方向情報画像
Ｅ カーソル表示
Ｌ 周囲光
Ｓ１ａ 外円領域
Ｓ１ｂ 内円領域
Ｕ１ａ 第１カメラ画像
Ｕ１ｂ 第２カメラ画像
Ｕ１ｃ 第１デッドスペース
Ｕ２ｃ 第２デッドスペース
【技術分野】
【０００１】
本発明は、ショベルカー等の建設用機械に搭載され、建設用機械の周囲の画像を撮像し、周辺画像を表示する周辺画像表示装置に関するものである。
【背景技術】
【０００２】
本願発明の周辺画像表示装置が搭載されるような建設用機械は、無限軌道（以下、クローラと記す）等によって走行可能な下部走行体を有し、その下部走行体上に上部旋回体が旋回可能なように設置されている。上部旋回体は、操縦者が搭乗する運転室と、掘削作業などを行うフロント作業機とを備えている。運転室には、操縦者が周囲を確認できるように、大きな窓を設けているが、操縦者からの死角となる範囲が存在する。そこで、死角となる範囲の確認を行うため、上部旋回体に撮像カメラを設置し、この撮像カメラで撮像した画像を運転室内の表示器に表示させ、作業の障害となる物体を監視できるようにした画像表示装置が特許文献１に開示されている。
【０００３】
しかしながら、上部旋回体の旋回角度に関係なく、下部走行体の前進／後進が操作されるため、操縦者が建設用機械内で作業していると、上部旋回体と下部走行体との相対的な位置関係がわからなくなり、例えば、下部走行体の前進方向に対して上部旋回体が１８０度旋回している場合、下部走行体を前進させるつもりが、実際は建設用機械が後進してしまうおそれがあった。
【０００４】
このような問題を鑑み、本願出願人は、特許文献２の監視装置を開示している。この監視装置は、建設用機械の周辺を撮像する撮像手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記上部旋回体に対する前記下部走行体の角度を検出し、角度データを出力する角度検出手段と、前記角度データに基づいて前記下部走行体を模した画像を前記表示器に表示させる制御手段と、を有し、前記制御手段は、前記下部走行体の前進方向を示すマークを前記表示器に表示させるものである。
【０００５】
また、本願出願人は、全方位撮像手段の撮像素子が出力した環状画像からなる撮像画像を画像処理回路によって、全方位を示すパノラマ画像や全方位の一部を切り出してなる切出し画像等に変換し、表示器に表示させる全方位撮像装置を提案している（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１６３３７０号公報
【特許文献２】特開２００９−１９７４５６号公報
【特許文献３】特開２００７−８１９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、建設用機械の全周囲の画像である環状画像またはパノラマ画像を表示し、その一部を切出し画像として表示する場合、切出し画像が環状画像またはパノラマ画像のどの方位のどの部分にあたるか認識できず、さらには切出し画像の方向と上部旋回体の向いている方向または下部走行体の前進方向との相対関係が認識しづらく、操縦者が得たい情報を直感的に得ることができなかった。
【０００８】
そこで本発明は、前述の問題点に着目し、撮像される画像同士の位置関係と、さらに、撮像される物体と建設用機械の上部旋回体の方向または下部走行体の前進方向との位置関係と、に関する情報を的確に得ることができる周辺画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決するため、以下の手段を採用した。
すなわち、本発明は、建設用機械の周囲を撮像し、前記建設用機械を基準とした環状画像と、パノラマ画像と、前記パノラマ画像の一部分を切り出した切出し画像と、を同時に表示手段に表示し、切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させ、建設用機械の上部旋回体の方向を指示する上部旋回体指示画像と、前記下部走行体の前進方向を示す前進方向指示画像と、を前記環状画像または前記パノラマ画像または前記切出し画像のいずれかに表示させること、をその要旨とする。
【００１０】
本発明は、前述した課題を解決するため、第１の発明は、下部走行体及び上部旋回体を有する建設用機械に搭載され、前記建設用機械の周囲を撮像する撮像手段と、前記撮像手段により撮像された撮像データを前記建設用機械を基準とした環状画像及びパノラマ画像並びに前記パノラマ画像の一部分を切り出した切出し画像に変換する制御手段と、前記環状画像と前記パノラマ画像と前記切出し画像とを同時に表示する表示手段と、前記制御手段に操作信号を出力する操作手段と、を備え、前記制御手段は、前記切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させるとともに、前記操作手段の操作に基づいて、前記枠状画像を前記環状画像及び前記パノラマ画像の範囲内にて移動可能とし、前記枠状画像の移動に連動し、前記切出し画像を切替えるものであり、斯かる構成により、切出し画像が環状画像とパノラマ画像のどの部分に位置するのか認識でき、建設用機械と撮像される物体との位置関係に関する情報を的確に得ることができる。
【００１１】
また、第２の発明では、前記制御手段は、前記上部旋回体の旋回角度情報を入力し、前記環状画像に前記下部走行体の前進方向を示す第１前進方向指示画像を表示させる、または前記パノラマ画像に前記下部走行体の前進方向を示す第２前進方向指示画像を表示させる、または前記枠状画像が前記下部走行体の前進方向にあったとき、前記切出し画像に前記下部走行体の前進方向を示す第３前進方向指示画像を表示させるものであり、斯かる構成により、建設用機械の下部走行体の前進方向と切出し画像との位置関係に関する情報を的確に得ることができる。
【００１２】
また、第３の発明では、前記制御手段は、前記上部旋回体の方向を示す第１上部旋回体指示画像を前記環状画像に表示させるものであり、斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とを環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００１３】
また、第４の発明では、前記制御手段は、前記上部旋回体の方向を示す第２上部旋回体指示画像を前記パノラマ画像に表示させるものであり、斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とをパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係や距離関係に関する情報を的確に得ることができる。
【００１４】
また、第５の発明では、前記制御手段は、前記枠状画像が前記上部旋回体の方向にあったとき、前記切出し画像に前記上部旋回体の方向を示す第３上部旋回体指示画像を表示させるものであり、斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とを切出し画像にて詳細に認識することができ、建設用機械と切出し画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００１５】
また、第６の発明では、前記第２前進方向指示画像は、前記下部走行体の幅に基づく、奥行きのある画像からなるものであり、斯かる構成により、建設用機械とパノラマ画像に表示される物体との方位関係に加え、表示される物体との距離に関する情報を的確に得ることができ、下部走行体の幅に関連づけることで、物体の大きさや、物体同士の間隔の広さを認識することができる。
【００１６】
また、第７の発明では、前記第１上部旋回体指示画像は、前記環状画像の中心部に前記建設用機械を示す車両画像で表示されるものであり、斯かる構成により、建設用機械の上部旋回体の方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００１７】
また、第８の発明では、前記撮像手段は、全方位カメラであり、前記制御手段は、前記全方位カメラからの撮像データに基づいて、前記環状画像を生成するものである。
【００１８】
また、第９の発明では、前記撮像手段は、複数のカメラであり、前記制御手段は、前記複数のカメラからの撮像データに基づいて、前記環状画像を生成するものであり、第８，９の発明の構成により、建設用機械の周囲の画像を容易に撮像することができる。
【００１９】
また、第１０の発明では、前記制御手段は、前記枠上画像の内部もしくは前記枠状画像の周辺に上下左右のカーソル表示を表示し、前記操作手段にて前記枠状画像が移動されるとき、前記操作手段にて操作された方向の前記カーソル表示の色彩を変化させるものであり、斯かる構成により、操作が実行されたか、または操作がなされた方向を容易に認識することができ、枠状画像の移動操作性を向上させることができる。
【００２０】
また、第１１の発明では、前記操作手段は、タッチパネル式入力手段からなるものであり、斯かる構成により、表示手段に同時に表示される環状画像やパノラマ画像に触れることで容易に枠状画像を移動することができる。
【発明の効果】
【００２１】
撮像される画像同士の位置関係と、さらに、撮像される物体と建設用機械の上部旋回体の方向または下部走行体の前進方向との位置関係と、に関する情報を的確に得ることができる周辺画像表示装置を提供する。
【図面の簡単な説明】
【００２２】
【図１】本発明における周辺画像表示装置のブロック図である。
【図２】上記発明における全方位カメラの構成図である。
【図３】上記発明の周辺画像表示装置における表示手段の表示例を示す図である。
【図４】上記発明の周辺画像表示装置における表示の変形例を表した図であり、（ａ），（ｂ）は、枠状画像の変形例を表す図であり、（ｃ），（ｄ）は、上部旋回体指示画像の変形例を表す図である。
【図５】上記発明の周辺画像表示装置における第２前進方向指示画像の変形例を示す図である。
【図６】上記発明の周辺画像表示装置における中心画像の変形例を示す図である。
【図７】上記発明の周辺画像表示装置における切出し画像の説明図であり、（ａ）は第３前進方向画像を表す図であり、（ｂ）は上部旋回体方位情報画像と前進方向情報画像との表示例を示す図である。
【図８】上記発明の環状画像上を（ａ１）（ａ２）タッチ操作した際の枠状画像の移動を時系列に説明した図であり、（ｂ１）（ｂ２）はフリック操作した際の枠状画像の移動を時系列に説明した図である。
【図９】上記発明のパノラマ画像上を（ａ１）（ａ２）タッチ操作した際の枠状画像の移動を時系列に説明した図であり、（ｂ１）（ｂ２）はピンチアウト操作した際の枠状画像の移動を時系列に説明した図である。
【図１０】上記発明の切出し画像上をフリック操作した際の枠状画像の移動を時系列に説明した図である。
【図１１】上記発明の切出し画像上をピンチアウト操作した際の切出し画像の拡大を時系列に説明した図である。
【図１２】上記発明の表示手段における（ａ）各画像周縁部のカーソル表示の表示例を表す画像であり、（ｂ）カーソル表示を操作した際のカーソル表示の色彩の変化を説明した図である。
【図１３】上記発明の撮像手段が複数のカメラで行われた際の表示手段の画像表示例である。
【発明を実施するための形態】
【００２３】
以下に、本発明の周辺画像表示装置１００の実施形態を図を用いて説明する。図１は、本実施形態における周辺画像表示装置１００のブロック図である。本発明の周辺画像表示装置１００は、撮像手段１と、制御手段２と、表示手段３と、操作手段４と、により構成され、建設用機械の上部旋回体と下部走行体のの旋回角度情報を示す角度データを、建設用機械に備えられた角度センサ５から入力するものである。
【００２４】
撮像手段１は、例えば図２に示すような全方位カメラである。このような全方位カメラ（撮像手段）１は、反射ミラー１１と、レンズ１２と、撮像素子１３と、全方位カメラ１の配設方向を指示する方向指示マークを有するケース体１４と、を備え、反射ミラー１１を中心とした全方位を撮像するものであり、建設用機械の上部旋回体の下部に方向指示マークが上部旋回体の方向に一致するように配設され、下部走行体のクローラが写り込む位置に配設される。
【００２５】
反射ミラー１１は、双曲面形状の光学部材であり、双曲面形状の頂点を下にして配置されており、反射ミラー１１の頂点を中心とした全方位の周囲光Ｌを下方のレンズ１３側に反射させるものである。
レンズ１２は、反射ミラー１１により反射された周囲光Ｌを集光し、集光した周囲光Ｌを撮像素子１３側へ出射する。
撮像素子１３は、ＣＣＤ若しくはＣＭＯＳからなるものであり、レンズ１２により集光された周囲光Ｌを受光し、制御手段２に全方位の撮像画像を撮像データＤとして出力する。
ケース体１４は、上面に周囲光Ｌを通す円形の開口部を有し、反射ミラー１１とレンズ１２と撮像素子１３とを収納するものである。
【００２６】
制御手段２は、撮像手段１から出力された撮像データＤに基づき、後述する環状画像３１、パノラマ画像３２、切出し画像３３等の表示画像データを生成し、表示手段３に各画像を表示させるものである。
また、制御手段２は、操作手段４からの操作信号を入力し、周辺画像表示装置１００の操作の処理を行うものである。
また、前述のように撮像手段１の方向指示マークを、上部旋回体の方向に一致するように配設しているため、建設用機械の角度センサ５から上部旋回体に対する下部走行体の角度情報を入力することで、制御手段２は、表示画像データと上部旋回体の方向と下部走行体の前進方向とを関連づけるものである。
このように、周辺画像表示装置１００の設置時に、周辺画像表示装置１００の方向指示マークを、上部旋回体に位置合わせすることで、表示画像データと上部旋回体の方向を関連づける以外に、周辺画像表示装置１００の設置後に、表示される画像を見ながら、上部旋回体の方向と表示画像データとを関連づけてもよい。
【００２７】
表示手段３は、液晶ディスプレイ若しくは有機ＥＬディスプレイ等であり、制御手段２にて生成された画像データに基づき、図３に示すように表示画面上に、環状画像３１とパノラマ画像３２と切出し画像３３とを表示する。
【００２８】
操作手段４は、例えば表示手段３の表示画面上に配置されるタッチパネルからなり、表示手段３に表示される表示画像に対するタッチ操作を検出して、制御手段３に操作信号を出力するものである。
【００２９】
以上が、本発明における周辺画像表示装置１００の構成である。次に、表示手段３に表示される各画像（環状画像３１、パノラマ画像３２、切出し画像３３）の生成方法について説明する。
【００３０】
（画像生成方法）
撮像データＤは、全方位を撮像した外円画像と、反射ミラー１１に投影された撮像素子１３自身を撮像した内円画像と、により構成される。
環状画像３１は、図３（ａ）に示すように、全方位を撮像した外円画像を表示する外円領域Ｓ１ａと、内円画像を取り除いた、或いは他画像等により内円画像を覆い隠した内円領域Ｓ１ｂと、により分類され、全方位の画像が外円領域Ｓ１ａに環状に表示されるものである。
外円領域Ｓ１ａは、全方位を撮像した外円画像に、後述する切出し画像３３の切出し領域を示す第１枠状画像Ａ１と、建設用機械の上部旋回体の方向を示す第１上部旋回体指示画像３１１と、建設用機械の上部旋回体の左右，背面方向を示す第１上部旋回体補助画像３１２と、建設用機械の下部走行体の前進方向を示す第１前進方向指示画像３１３と、を重畳させて表示した領域である。
【００３１】
第１枠状画像Ａ１は、切出し画像３３に対応する領域を囲む扇状の枠として表示される。斯かる構成により、切出し画像３３が環状画像３１のどの部分を切り出したものか容易に認識することができる。
また、第１枠状画像Ａ１は、切出し画像３３の切出し位置が撮像画像の中心点に対し、どの方向であるかがわかればいいので、切出し画像３３に厳密に対応する領域として扇状の枠を表示するのではなく、図４（ａ），（ｂ）に示すように、四角形の枠（Ａ１ａ）や、中心から伸びた扇状の枠（Ａ１ｂ）として表示してもよい。
【００３２】
第１上部旋回体指示画像３１１は、図３（ａ）に示すように、上部旋回体の向く方向を指し示す矢印で表示される。制御手段２は、撮像手段１の方向指定マークの方向が上部旋回体の方向であると認識することから、この方向指示マークの方向に基づき、第１上部旋回体指示画像３１１は、環状画像３１の外円領域Ｓ１ａに表示される。
斯かる構成により、建設用機械の上部旋回体の方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００３３】
また、第１上部旋回体指示画像３１１は、図４（ｃ）に示すように、外円領域Ｓ１ａではなく、内円領域Ｓ１ｂに建設用機械を模した第１上部旋回体指示機械画像３１１ａを表示することにより、上部旋回体の指示する方向を認識させてもよい。
また、図４（ｄ）に示すように、外円画像Ｓ１ａや内円画像Ｓ１ｂ以外の環状画像３１の周縁部に、第１上部旋回体指示周縁画像３１１ｂを表示させてもよい。
また、上部旋回体体の指示方向のみではなく、この上部旋回体の指示方向を基準とした、上部旋回体の左右方向や背面方向を表す第１上部旋回体補助画像３１２を表示する。斯かる構成により、環状画像３１にて、建設用機械の上部旋回体と周辺画像との位置関係をより認識しやすい。
これら、第１上部旋回体指示画像３１１と、第１上部旋回体指示機械画像３１１ａと、第１上部旋回体周縁画像３１１ｂと、第１上部旋回体補助画像３１２とは、表示手段３に表示されるものではなく、表示手段３の表面ガラスなどに予め印刷されたものでもよい。
【００３４】
第１前進方向指示画像３１３は、下部走行体の前進方向を示す画像であり、図３に示すように、外円領域Ｓ１ａや内円領域Ｓ１ｂに矢印などの方向指示画像でより表示されるものである。
斯かる構成により、建設用機械の下部走行体の前進方向を環状画像にて認識することができ、建設用機械と環状画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００３５】
内円領域Ｓ１ｂは、撮像素子１３自身を撮像した内円画像をそのまま表示する、もしくは内円画像を取り除く、或いは他画像等により内円画像を覆い隠した領域であり、例えば、図５（ａ）に示すように、クローラの模擬図（３１４ａ）を表示してもよく、図５（ｂ）に示すように、下部走行体の旋回角度情報等の車両情報を、文字表示（３１４ｂ）として表示してもよい。
【００３６】
パノラマ画像３２は、全方位を示す画像であり、撮像データＤの外円画像を所定の切断線によって切り開き、歪みを補正した矩形画像であり、第２枠状画像Ａ２と、第２上部旋回体指示画像３２１と、第２上部旋回体補助画像３２２と、第２前進方向指示画像３２３と、を全方位を示す矩形画像に重畳して表示させたものである。
【００３７】
第２枠状画像Ａ２は、切出し画像３３に対応する領域を囲む矩形の枠として表示される。斯かる構成により、切出し画像３３がパノラマ画像３２のどの部分を切り出したものか容易に認識することができる。
【００３８】
第２上部旋回体指示画像３２１は、図３（ａ）に示すように、上部旋回体の向く方向を指し示す矢印で表示される。
斯かる構成により、建設用機械の上部旋回体の方向をパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係に関する情報を的確に得ることができる。また、第２枠状画像Ａ２と、第２上部旋回体指示画像３２１とにより、切出し画像３３と、第２上部旋回体指示画像３２１との位置関係を的確に得ることが出来る。
また、第２上部旋回体指示画像３２１は、方向がわかればいいので矢印ではない、目印となる画像などでもよい。
第２上部旋回体指示画像３２１は、表示手段３の表面ガラスなどに予め印刷されたものであってもよい。
【００３９】
また、パノラマ画像３２は、上部旋回体の左右方向や背面方向を表す第２上部旋回体補助画像３２２を表示する。斯かる構成により、パノラマ画像３２にて、建設用機械の上部旋回体と周辺画像との位置関係をより認識しやすい。
【００４０】
第２前進方向指示画像３２３は、下部走行体の前進方向を示す画像であり、図３に示すように、矢印などの方向指示画像でより表示されるものである。
斯かる構成により、建設用機械の下部走行体の前進方向をパノラマ画像にて認識することができ、建設用機械とパノラマ画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００４１】
また、第２前進方向指示画像３２３は、図６（ａ）に示すように、奥行きのある矢印である第２前進方向指示奥行き矢印画像３２３ａでもよい。
また、図６（ｂ）に示すように、下部走行体の幅を考慮した、第２前進方向指示走行体画像３２３ｂとしてもよい。斯かる構成により、建設用機械とパノラマ画像に表示される物体との方位関係に加え、表示される物体との距離に関する情報を的確に得ることができ、下部走行体の幅に関連づけることで、物体の大きさや、物体同士の間隔の広さを認識することができる。
【００４２】
切出し画像３３は、環状画像３１に重畳表示される第１枠状画像Ａ１とパノラマ画像３２に重畳表示される第２枠状画像Ａ２に対応する位置が切り出された画像で、歪みが補正された拡大画像であり、全方位のうち注視したい一部分を詳細に把握することができる。
また、切出し画像３３は、上部旋回体の指示方向を示す第３上部旋回体指示画像３３１又は、この上部旋回体の指示方向を基準とした、上部旋回体の左右方向や背面方向を表す第３上部旋回体補助画像３３２又は、下部走行体の進行方向を示す第３前進方向指示画像３３３を、図７（ａ）に示すように、切出し画像３３の切出し位置（第１枠状画像Ａ１と第２枠状画像Ａ２の位置）に応じて表示する。
斯かる構成により、建設用機械の下部走行体の方向と上部旋回体の方向とを切出し画像にて認識することができ、建設用機械と切出し画像に表示される物体との方位関係に関する情報を的確に得ることができる。
【００４３】
また、切出し画像３３は、図７（ｂ）に示すように、現在切出し画像３３に表示している方向に対し、上部先行体の指示方向がどの位置にあるかを角度表示する上部旋回体方位情報画像Ｂを表示する。
また、切出し画像３３は、現在切出し画像３３に表示している方向に対し、下部走行体の前進方向はどの位置にあるかを角度表示する前進方向情報画像Ｃを表示する。
斯かる構成により、切出し画像３３を視認するだけで、切出し画像３３と、上部旋回体の指示方向又は下部走行体の前進方向と、の位置関係を容易に認識することができる。
上記の上部旋回体方位情報画像Ｂや前進方向情報画像Ｃは、切出し画像３３の画像内でもよいが、切出し画像３３の周縁外側に表示してもよい。
【００４４】
以上が、表示手段３に表示される環状画像３１とパノラマ画像３２と切出し画像３３についての説明であるが、本願発明の周辺画像表示装置１００は、斯かる構成により、撮像される環状画像３１とパノラマ画像３２と切出し画像３３とのそれぞれの位置関係を明確にし、さらに、撮像される物体と建設用機械（下部走行体の前進方向または上部旋回体の指示方向）との位置関係に関する情報を的確に得ることができる。
【００４５】
次に、本願発明の周辺画像表示装置１００の操作方法について、操作手段４がタッチパネルである場合を実施例として、図８乃至１２を用いて説明する。
【００４６】
図８（ａ）は、環状画像３１上を操作者Ｘがタッチした際の第１枠状画像Ａ１の移動を時系列で表した図である。操作者Ｘが所望する箇所をタッチすることで、第１枠状画像Ａ１の位置が移動し、この第１枠状画像Ａ１に同期する切出し画像３３を素早く切替えることができる。
図８（ｂ）は、環状画像３１上を操作者Ｘがフリック操作した際の第１枠状画像Ａ１の移動を時系列で表した図である。操作者Ｘが環状画像３１上をなぞるフリック操作をすることによって、操作者Ｘの動きに対応して、第１枠状画像Ａ１が滑らかに移動し、それにより、第１枠状画像Ａ１に同期する切出し画像３３も滑らかにその表示領域を切替えることができる。
【００４７】
図９（ａ）は、パノラマ画像３２上を操作者Ｘがタッチした際の第２枠状画像Ａ２の移動を時系列で表した図である。操作者Ｘが所望の箇所をタッチすることで、第２枠状画像Ａ２の位置が移動し、この第２枠状画像Ａ２に同期する切出し画像３３を素早く切替えることができる。
図９（ｂ）は、パノラマ画像３２上を操作者Ｘが２点以上操作点をピンチアウト操作した際の第２枠状画像Ａ２の大きさ変更を時系列で表した図である。操作者Ｘが、第２枠状画像Ａ２付近で、２点の接点を広げるようにピンチアウト操作した場合、第２枠状画像Ａ２が拡がり、これにより切出し画像３３の切出し領域が大きくなるため、切出し画像３３は縮小表示される。また、操作者Ｘが第２枠状画像Ａ２付近で、２点の接点を狭めるようにピンチイン操作した場合、第２枠状画像Ａ２は狭まり、これにより切出し画像３３の切出し領域が小さくなるため、切出し画像３３は拡大表示される。
【００４８】
図１０は、切出し画像３３上を操作者Ｘがフリック操作した際の切出し位置の移動を時系列で表した図である。操作者Ｘが、図のように左から右方向へフリック操作すると、切出し画像３３も左から右方向へスライドし、切出し位置が変更される。これに従い、第１枠状画像Ａ１と第２枠状画像Ａ２も切出し画像３３に同期し、移動する。
【００４９】
図１１は、切出し画像３３上を操作者Ｘが２点以上操作点をピンチアウト操作した際の切出し画像３３の拡大を時系列で表した図である。操作者Ｘが、切出し画像３３付近で、２点の接点を広げるようにピンチアウト操作した場合、切出し画像３３は拡大表示され、切出し画像３３の表示領域に同期し、第１枠状画像Ａ１と第２枠状画像Ａ２を変更させる。また、操作者Ｘが切出し画像３３付近で、２点の接点を狭めるようにピンチイン操作した場合、切出し画像３３縮小表示され、切出し画像３３の表示領域に同期し、第１枠状画像Ａ１と第２枠状画像Ａ２を変更させる。
【００５０】
また、図１２（ａ）に示すように、第１枠状画像Ａ１または第２枠状画像Ａ２または切出し画像３３の周縁部に上下左右などのカーソル表示Ｅを表示し、このカーソル表示Ｅ上を操作してもよい。
また、図１２（ｂ）のように、操作された方向のカーソル表示Ｅの色彩を一時的に変えることで、その方向の操作が行われたことを操作者Ｘに報知してもよい。
【００５１】
また、操作手段４は、直感的な操作が可能なマウス、ジョイスティック、タッチパッド、ペンタブレットあるいはトラックボールなどを用いてもよい。
【００５２】
このように、環状画像３１と、パノラマ画像３２と、切出し画像３３と、を同時に表示させ、その画面上をタッチパネルで操作することにより、環状画像３１上の操作では、特に方位を意識した第１枠状画像Ａ１の移動ができ、パノラマ画像３２上の操作では、特に上下（奥行き）方向を意識した第２枠状画像Ａ２の移動ができ、切出し画像３３上の操作では、拡大画像により、切出し画像３３の詳細な切出し位置を微調整することができ、それぞれの画像を活かした直感的な操作ができる。
【００５３】
次に図１３を用いて、撮像手段１が全方位カメラではなく、複数のカメラで構成された一実施形態を説明する。
具体的に例えば、撮像手段１は、ＣＣＤもしくはＣＭＯＳからなる撮像素子を有する第１，第２撮像カメラ１ａ，１ｂであり、ぞれぞれ視野角が重ならず、視野角同士に間ができない位置に設置される。第１，第２撮像カメラ１ａ，１ｂは視野角１２０°とすると、２つのカメラで２４０°の視野角を撮影することができ、それぞれ撮像した画像を環状画像３１とパノラマ画像３２および切出し画像３３に表示する。
環状画像３１は、第１撮像カメラ１ａにより撮像された第１撮像カメラ画像Ｕ１ａと、第２撮像カメラ１ｂにより撮像された第２撮像カメラ画像Ｕ１ｂと、複数の撮像カメラで撮像されない死角となる第１デッドスペースＵ１ｃにより構成されている。この第１デッドスペースＵ１ｃは、黒塗りや車両情報を文字などで表示するエリアである。
また、パノラマ画像３２にも、環状画像３１の第１デッドスペースＵ１ｃに対応する位置に第２デッドスペースＵ２ｃを設ける。
斯かる構成により、撮像手段１が全方位カメラではなく、複数のカメラであった場合も、撮像される画像同士の位置関係と、さらに撮像される物体と建設用機械との位置関係とに関する情報を的確に得ることができる。
【符号の説明】
【００５４】
１００ 周辺画像表示装置
１ 撮像手段
２ 制御手段
３ 表示手段
４ 操作手段
５ 角度センサ
１ａ 第１撮像カメラ
１ｂ 第２撮像カメラ
１１ 反射ミラー
１２ レンズ
１３ 撮像素子
１４ ケース体
３１ 環状画像
３１１ 第１上部旋回体指示画像
３１２ 第１上部旋回体補助画像
３１３ 第１前進方向指示画像
３２ パノラマ画像
３２１ 第２上部旋回体指示画像
３２２ 第２上部旋回体補助画像
３２３ 第２前進方向指示画像
３３ 切出し画像
３３１ 第３上部旋回体指示画像
３３２ 第３上部旋回体補助画像
３３３ 第３前進方向指示画像
Ａ１ 第１枠状画像
Ａ２ 第２枠状画像
Ｂ 上部旋回体方位情報画像
Ｃ 前進方向情報画像
Ｅ カーソル表示
Ｌ 周囲光
Ｓ１ａ 外円領域
Ｓ１ｂ 内円領域
Ｕ１ａ 第１カメラ画像
Ｕ１ｂ 第２カメラ画像
Ｕ１ｃ 第１デッドスペース
Ｕ２ｃ 第２デッドスペース
【特許請求の範囲】
【請求項１】
下部走行体及び上部旋回体を有する建設用機械に搭載され、
前記建設用機械の周囲を撮像する撮像手段と、
前記撮像手段により撮像された撮像データを前記建設用機械を基準とした環状画像及びパノラマ画像並びに前記パノラマ画像の一部分を切り出した切出し画像に変換する制御手段と、
前記環状画像と前記パノラマ画像と前記切出し画像とを同時に表示する表示手段と、
前記制御手段に操作信号を出力する操作手段と、を備え、
前記制御手段は、前記切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させるとともに、
前記操作手段の操作に基づいて、前記枠状画像を前記環状画像及び前記パノラマ画像の範囲内にて移動可能とし、前記枠状画像の移動に連動し、前記切出し画像を切替えること、を特徴とする周辺画像表示装置。
【請求項２】
前記制御手段は、前記上部旋回体の旋回角度情報を入力し、
前記環状画像に前記下部走行体の前進方向を示す第１前進方向指示画像を表示させる、
または前記パノラマ画像に前記下部走行体の前進方向を示す第２前進方向指示画像を表示させる、
または前記枠状画像が前記下部走行体の前進方向にあったとき、前記切出し画像に前記下部走行体の前進方向を示す第３前進方向指示画像を表示させること、を特徴とする請求項１に記載の周辺画像表示装置。
【請求項３】
前記制御手段は、前記上部旋回体の方向を示す第１上部旋回体指示画像を前記環状画像に表示させること、を特徴とする請求項１または請求項２に記載の周辺画像表示装置。
【請求項４】
前記制御手段は、前記上部旋回体の方向を示す第２上部旋回体指示画像を前記パノラマ画像に表示させること、を特徴とする請求項１乃至３のいずれかに記載の周辺画像表示装置。
【請求項５】
前記制御手段は、前記枠状画像が前記上部旋回体の方向にあったとき、前記切出し画像に前記上部旋回体の方向を示す第３上部旋回体指示画像を表示させるものこと、を特徴とする請求項１乃至４のいずれかに記載の周辺画像表示装置。
【請求項６】
前記第２前進方向指示画像は、前記下部走行体の幅に基づく、奥行きのある画像からなること、を特徴とする請求項２乃至５のいずれかに記載の周辺画像表示装置。
【請求項７】
前記第１上部旋回体指示画像は、前記環状画像の中心部に前記建設用機械を示す車両画像で表示されること、を特徴とする請求項１乃至６のいずれかに記載の周辺画像表示装置。
【請求項８】
前記撮像手段は、全方位カメラであり、前記制御手段は、前記全方位カメラからの撮像データに基づいて、前記環状画像を生成すること、を特徴とする請求項１乃至７のいずれかに記載の周辺画像表示装置。
【請求項９】
前記撮像手段は、複数のカメラであり、前記制御手段は、前記複数のカメラからの撮像データに基づいて、前記環状画像を生成すること、を特徴とする請求項１乃至７のいずれかに記載の周辺画像表示装置。
【請求項１０】
前記制御手段は、前記枠上画像の内部もしくは前記枠状画像の周辺に上下左右のカーソル表示を表示し、前記操作手段にて前記枠状画像が移動されるとき、前記操作手段にて操作された方向の前記カーソル表示の色彩を変化させること、を特徴とする請求項１乃至９のいずれかに記載の周辺画像表示装置。
【請求項１１】
前記操作手段は、タッチパネル式入力手段からなること、を特徴とする請求項１乃至１０のいずれかに記載の周辺画像表示装置。
【請求項１】
下部走行体及び上部旋回体を有する建設用機械に搭載され、
前記建設用機械の周囲を撮像する撮像手段と、
前記撮像手段により撮像された撮像データを前記建設用機械を基準とした環状画像及びパノラマ画像並びに前記パノラマ画像の一部分を切り出した切出し画像に変換する制御手段と、
前記環状画像と前記パノラマ画像と前記切出し画像とを同時に表示する表示手段と、
前記制御手段に操作信号を出力する操作手段と、を備え、
前記制御手段は、前記切出し画像の切出し位置を定める枠状画像を前記環状画像上及び前記パノラマ画像上に重ねて表示させるとともに、
前記操作手段の操作に基づいて、前記枠状画像を前記環状画像及び前記パノラマ画像の範囲内にて移動可能とし、前記枠状画像の移動に連動し、前記切出し画像を切替えること、を特徴とする周辺画像表示装置。
【請求項２】
前記制御手段は、前記上部旋回体の旋回角度情報を入力し、
前記環状画像に前記下部走行体の前進方向を示す第１前進方向指示画像を表示させる、
または前記パノラマ画像に前記下部走行体の前進方向を示す第２前進方向指示画像を表示させる、
または前記枠状画像が前記下部走行体の前進方向にあったとき、前記切出し画像に前記下部走行体の前進方向を示す第３前進方向指示画像を表示させること、を特徴とする請求項１に記載の周辺画像表示装置。
【請求項３】
前記制御手段は、前記上部旋回体の方向を示す第１上部旋回体指示画像を前記環状画像に表示させること、を特徴とする請求項１または請求項２に記載の周辺画像表示装置。
【請求項４】
前記制御手段は、前記上部旋回体の方向を示す第２上部旋回体指示画像を前記パノラマ画像に表示させること、を特徴とする請求項１乃至３のいずれかに記載の周辺画像表示装置。
【請求項５】
前記制御手段は、前記枠状画像が前記上部旋回体の方向にあったとき、前記切出し画像に前記上部旋回体の方向を示す第３上部旋回体指示画像を表示させるものこと、を特徴とする請求項１乃至４のいずれかに記載の周辺画像表示装置。
【請求項６】
前記第２前進方向指示画像は、前記下部走行体の幅に基づく、奥行きのある画像からなること、を特徴とする請求項２乃至５のいずれかに記載の周辺画像表示装置。
【請求項７】
前記第１上部旋回体指示画像は、前記環状画像の中心部に前記建設用機械を示す車両画像で表示されること、を特徴とする請求項１乃至６のいずれかに記載の周辺画像表示装置。
【請求項８】
前記撮像手段は、全方位カメラであり、前記制御手段は、前記全方位カメラからの撮像データに基づいて、前記環状画像を生成すること、を特徴とする請求項１乃至７のいずれかに記載の周辺画像表示装置。
【請求項９】
前記撮像手段は、複数のカメラであり、前記制御手段は、前記複数のカメラからの撮像データに基づいて、前記環状画像を生成すること、を特徴とする請求項１乃至７のいずれかに記載の周辺画像表示装置。
【請求項１０】
前記制御手段は、前記枠上画像の内部もしくは前記枠状画像の周辺に上下左右のカーソル表示を表示し、前記操作手段にて前記枠状画像が移動されるとき、前記操作手段にて操作された方向の前記カーソル表示の色彩を変化させること、を特徴とする請求項１乃至９のいずれかに記載の周辺画像表示装置。
【請求項１１】
前記操作手段は、タッチパネル式入力手段からなること、を特徴とする請求項１乃至１０のいずれかに記載の周辺画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−３４１４２（Ｐ２０１３−３４１４２Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６９８１９（Ｐ２０１１−１６９８１９）
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
[ Back to top ]