周囲監視装置
【課題】 作業機械の周囲で作業する各作業者に送受信器を所持させることなく、作業機械の操作者に作業者を容易に認識させることができる安価な周囲監視装置を提供するものである。
【解決手段】 周囲監視装置１００は、ヘルメット３００の表面に付されるマーカ１０と、油圧ショベル２００の周囲を撮影する撮影手段２０と、撮影手段２０により撮影された撮影領域を撮影画像として表示する表示手段３０と、表示手段３０に表示される撮影画像における、撮影手段２０から所定の距離内にあるマーカ１０に対して、仮想物体１を重畳して合成画像を生成する合成画像生成手段４０と、を備える。
【解決手段】 周囲監視装置１００は、ヘルメット３００の表面に付されるマーカ１０と、油圧ショベル２００の周囲を撮影する撮影手段２０と、撮影手段２０により撮影された撮影領域を撮影画像として表示する表示手段３０と、表示手段３０に表示される撮影画像における、撮影手段２０から所定の距離内にあるマーカ１０に対して、仮想物体１を重畳して合成画像を生成する合成画像生成手段４０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感（Augmented Reality：ＡＲ）技術を利用して、作業機械の周囲を監視する周囲監視装置に関する。
【背景技術】
【０００２】
従来の土木工事現場における作業安全監視システムは、各作業員の通信状態から危険領域に入っているか否かを判定，監視しており、作業員が危険領域に入っていると判定した場合、その作業員に対してブザーなどの警報手段に対して警告を発する。同時にバックホウの動作は制動される（例えば、特許文献１参照）。
【０００３】
また、従来の建設・土木作業車両の作業安全監視システムは、油圧ショベルに搭載され、作業車両周囲のカメラ映像データを取得するカメラと、油圧ショベルに搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、油圧ショベルの操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、を備える（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１３８５１８号公報
【特許文献２】特開２００９−１２１０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の土木工事現場における作業安全監視システムは、各作業員に送受信器をそれぞれ携帯させる必要があり、システムの低コスト化が図れないと共に、送受信器が電池切れを起こした場合に、その送受信器を携帯する作業員に対して警告を発することができず、作業員の安全性を確保することができないという課題がある。
【０００６】
また、従来の建設・土木作業車両の作業安全監視システムは、操作者の画像モニター上で、危険エリアに居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がり、これを利用した画像認識処理により、作業者が危険エリアに存在するか否かを判断する。このため、従来の建設・土木作業車両の作業安全監視システムは、近赤外線レーザービームを照射する投光器が必要であり、システムが複雑になり、低コスト化が図れないという課題がある。
【０００７】
本発明は、前述のような課題を解決するためになされたもので、作業機械の周囲で作業する各作業員に送受信器を所持させることなく、作業機械の操作者に作業員を容易に認識させることができる安価な周囲監視装置を提供するものである。
【課題を解決するための手段】
【０００８】
本発明に係る周囲監視装置においては、監視対象の表面に付されるマーカと、作業機械の周囲を撮影する撮影手段と、撮影手段により撮影された撮影領域を撮影画像として表示する表示手段と、表示手段に表示される撮影画像における、撮影手段から所定の距離内にあるマーカに対して、仮想物体を重畳して合成画像を生成する合成画像生成手段と、を備えるものである。
【発明の効果】
【０００９】
本発明に係る周囲監視装置においては、所定の領域に侵入した監視対象を作業機械の操作者に容易に認識させることができる。
【図面の簡単な説明】
【００１０】
【図１】（ａ）は第１の実施形態に係る周囲監視装置の概略構成を示すブロック図であり、（ｂ）はマーカの一例を示す説明図であり、（ｃ）は図１（ｂ）に示すマーカに対応する仮想物体の一例を示す説明図である。
【図２】（ａ）は図１（ａ）に示す周囲監視装置を備えた油圧ショベルの一例を示す左側面図であり、（ｂ）は図１（ａ）に示す周囲監視装置を備えた油圧ショベルの一例を示す平面図であり、（ｃ）は監視対象であるヘルメットの一例を示す正面図であり、（ｄ）は監視対象であるヘルメットの一例を示す平面図である。
【図３】図１に示す周囲監視装置による処理の一例を示すフローチャート図である。
【図４】（ａ）は図１に示す表示手段に表示される撮影画像の一例を示す説明図であり、（ｂ）は図１に示す表示手段に表示される合成画像の一例を示す説明図である。
【図５】（ａ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す左側面図であり、（ｂ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す平面図である。
【図６】第２の実施形態に係る周囲監視装置による処理の一例を示すフローチャート図である。
【図７】（ａ）はマーカの他の例を示す説明図であり、（ｂ）は図７（ａ）に示すマーカに対応する仮想物体の一例を示す説明図であり、（ｃ）は図１に示す表示手段に表示される撮影画像の他の例を示す説明図であり、（ｄ）は図１に示す表示手段に表示される合成画像の他の例を示す説明図である。
【図８】第２の実施形態に係る他の周囲監視装置による処理の一例を示すフローチャート図である。
【発明を実施するための形態】
【００１１】
（本発明の第１の実施形態）
周囲監視装置１００は、図１に示すように、監視対象の表面に付されるマーカ１０と、作業機械の周囲を撮影する撮影手段２０と、撮影手段２０により撮影された撮影領域を撮影画像として表示する表示手段３０と、表示手段３０に表示される撮影画像における、撮影手段２０から所定の距離（範囲）内にあるマーカ１０に対して、仮想物体（ＣＧ：computer graphics）１を重畳して合成画像を生成する合成画像生成手段４０と、を備える。
【００１２】
なお、本実施形態に係る作業機械は、図２（ａ）及び図２（ｂ）に示すように、長い腕を持つ作業部機構２１０（ブーム２１１、アーム２１２、バケット２１３）と、前進及び後進可能な足回りの下部機構２２０（走行体）と、下部機構２２０に対して旋回可能であり、運転室２３１やエンジンなどの主要装置のある上部機構２３０（旋回体）と、を備える油圧ショベル２００を例に挙げて説明するが、操作者が搭乗して操作する作業機械であれば、油圧ショベル２００に限られるものではない。
また、本実施形態に係る監視対象は、図２（ｃ）及び図２（ｄ）に示すように、作業機械（油圧ショベル２００）の周囲で作業する作業者４００が被るヘルメット３００を例に挙げて説明するが、作業者４００が着用する作業服や作業靴であってもよいし、他の作業機械や、建物、塀又は電柱などの地上に設置された工作物５００であってもよい。
【００１３】
マーカ１０は、例えば、図１（ｂ）に示すように、正方形の黒枠（以下、「マーカ枠１１」と称す）と、マーカ枠１１内に配置した文字、図形、記号又はこれらの結合である絵柄（以下、「内部パターン１２」と称す）とからなる。
なお、マーカ枠１１は、正方形の形状である必要はなく、三角形又は五角形などの多角形や円形などであってもよい。また、マーカ枠１１は、一重枠である必要はなく、二重枠や三重枠などの複数枠であってもよく、黒枠に限られるものでもない。
さらに、図１（ｂ）に示す内部パターン１２は、数字の「１」であるが、このパターンに限られるものではなく、白黒又はカラーの図案であれば、任意のパターンを設定することができる。
【００１４】
また、本実施形態においては、マーカ１０を印刷した紙をシールとして、ヘルメット３００の正面３０１、背面３０２、左側面３０３、右側面３０４及び上面３０５に貼着しているが、監視対象の表面にマーカ１０を付すのであれば、貼着に限られるものではなく、例えば、ヘルメット３００の表面にマーカ１０を印刷してもよい。
【００１５】
撮影手段２０は、動画を撮影するビデオカメラであり、少なくとも操作者の死角となる領域を撮影できるように１台又は複数台のビデオカメラが作業機械（油圧ショベル２００）に設置される。
なお、本実施形態に係る撮影手段２０は、油圧ショベル２００（下部機構２２０）の後進時に後方の安全確認を行うために、上部機構２３０の後方に１台のビデオカメラが設置され、油圧ショベル２００の後方を撮影する。しかしながら、撮影手段２０は、必要に応じて（操作者が肉眼で確認できるのであるが）、油圧ショベル２００（下部機構２２０）の前進時に前方の安全確認を行うために、上部機構２３０の前方にビデオカメラが設置され、油圧ショベル２００の前方を撮影してもよい。また、撮影手段２０は、必要に応じて（操作者が肉眼で確認できるのであるが）、油圧ショベル２００（上部機構２３０）の旋回時に側方（特に、作業部機構２１０により操作者の視野が遮られる右方）の安全確認を行うために、上部機構２３０の側方にビデオカメラが設置され、油圧ショベル２００の側方を撮影してもよい。
【００１６】
表示手段３０は、油圧ショベル２００の運転室２３１内に設置される液晶ディスプレイなどの出力表示装置であり、運転室２３１にある運転席に操作者が着座した状態で、操作者の前方の視野を遮らない位置に設置される。
【００１７】
合成画像生成手段４０は、マーカ１０の情報（内部パターン１２のパターン情報、マーカ１０を特定の方向から撮影した数千枚程度の静止画像、マーカ１０の三次元位置を特定するための情報）、当該マーカ１０に対応する仮想物体１の情報及び後述する所定の距離（範囲）の情報を格納する記憶部４１を備える。
【００１８】
また、合成画像生成手段４０は、撮影手段２０から入力された撮影画像（撮影データ）を二値化処理する二値化処理部４２と、二値化処理部４２により二値化処理された撮影画像（二値化データ）からマーカ１０を検出するマーカ検出部４３と、を備える。
特に、マーカ検出部４３は、二値化された撮影画像（二値化データ）をラベリング処理するラベリング処理部４３ａと、ラベリング処理部４３ａによりラベリング処理された撮影画像（ラベリングデータ）から正方形領域を抽出する正方形領域抽出部４３ｂと、正方形領域抽出部４３ｂにより抽出された正方形領域内にある内部パターン１２を記憶部４１に格納されたマーカ１０の情報に基づいて識別するパターン識別部４３ｃと、を備える。
【００１９】
また、合成画像生成手段４０は、マーカ検出部４３により検出されたマーカ１０の４頂点の画像中での座標値（マーカ座標系）と撮影手段２０のパラメータ（カメラ座標系）とに基づいて撮影手段２０に対する当該マーカ１０の位置（距離）及び姿勢を計算する位置姿勢計算部４４と、位置姿勢計算部４４により計算されたマーカ１０の位置（距離）に基づいて当該マーカ１０が撮影手段２０に対して所定の距離（範囲）内にあるか否かを判断する接近判断部４５と、を備える。
【００２０】
ここで、所定の距離（範囲）は、任意に設定可能な距離であり、例えば、油圧ショベル２００の作業部機構２１０の最大可動域における上部機構２３０の旋回並びに／又は下部機構２２０の後進に伴う油圧ショベル２００の加速度及び／若しくは移動量に基づき、適宜設定する。
【００２１】
また、合成画像生成手段４０は、接近判断部４５によりマーカ１０が撮影手段２０に対して所定の距離（範囲）内にあると判断された場合に、当該マーカ１０の位置（距離）及び姿勢の情報に基づいて、当該マーカ１０に対応する仮想物体１を記憶部４１から読み出して撮影画像上に描画する仮想物体描画部４６を備える。
【００２２】
つぎに、周囲監視装置１００の処理について、図３及び図４を用いて説明する。
なお、以下の説明においては、油圧ショベル２００（下部機構２２０）の後進時について説明するが、油圧ショベル２００（下部機構２２０）の前進時及び油圧ショベル２００（上部機構２３０）の旋回時については、撮影手段２０により油圧ショベル２００の前方又は側方を撮影する処理以外は同様の処理となるので、説明を省略する。また、周囲監視装置１００の合成画像生成手段４０の記憶部４１には、図１（ｂ）に示すマーカ１０の情報と、当該マーカ１０に対応する図１（ｃ）に示す仮想物体１の情報と、所定の距離（範囲）の情報とが予め格納されているものとする。
【００２３】
まず、油圧ショベル２００の操作者は、周囲監視装置１００を起動させる（ステップＳ１）。なお、周囲監視装置１００の起動は、例えば、油圧ショベル２００の下部機構２２０の操作用レバー（足元から出ている２本のレバー）で後進を指示する操作（２本の操作用レバーを後方に倒す）を行うことをトリガーとすることが考えられる。
【００２４】
周囲監視装置１００の撮影手段２０は、油圧ショベル２００の後方の撮影を開始し、合成画像生成手段４０の二値化処理部４２に撮影データを入力する（ステップＳ２、図４（ａ））。
二値化処理部４２は、入力された撮影データの第１フレームを抽出し（ステップＳ３）、抽出したフレームに対して二値化処理を行ない、マーカ検出部４３のラベリング処理部４３ａに二値化データを出力する（ステップＳ４）。
【００２５】
ラベリング処理部４３ａは、入力された二値化データに対してラベリング処理を行ない、正方形領域抽出部４３ｂにラベリングデータを出力する（ステップＳ５）。
正方形領域抽出部４３ｂは、入力されたラベリングデータから正方形領域を抽出し、パターン識別部４３ｃに抽出データを出力する（ステップＳ６）。
【００２６】
パターン識別部４３ｃは、正方形領域抽出部４３ｂから抽出データが入力されると、記憶部４１に格納されたマーカ１０の情報を参照し、抽出データの正方形領域内にある内部パターン１２が、記憶部４１に格納されたマーカ１０の正方形内部パターンに一致するか否かを判断する（ステップＳ７）。なお、本実施形態においては、作業者４００のヘルメット３００に付された図１（ｂ）に示すマーカ１０が撮影領域に含まれる場合に、パターン識別部４３ｃは、記憶部４１に格納された図１（ｂ）に示すマーカ１０の情報に基づいて、抽出データの正方形領域内にある内部パターン１２が記憶部４１に格納されたマーカ１０の正方形内部パターンに一致すると判断する。
【００２７】
パターン識別部４３ｃは、ステップＳ７で、抽出データの正方形領域内にある内部パターン１２が記憶部４１に格納されたマーカ１０の正方形内部パターンに一致しないと判断した場合に、判断結果を仮想物体描画部４６に出力する（ステップＳ８）。
【００２８】
仮想物体描画部４６は、入力された判断結果に基づき、撮影手段２０により撮影された撮影画像（抽出フレーム）に仮想物体１を重畳（合成画像を生成）することなく、表示手段３０に撮影画像（抽出フレーム）を表示する（ステップＳ９）。
【００２９】
そして、二値化処理部４２は、撮影手段２０から入力された撮影データに、表示手段３０に表示された抽出フレームの次フレームがあるか否かを判断する（ステップＳ１０）。
二値化処理部４２は、ステップＳ１０で、撮影データに次フレームがないと判断した場合に、周囲監視装置１００の処理を終了する。なお、撮影データに次フレームがない場合とは、撮影手段２０による撮影を終了した場合であり、撮影の終了は、例えば、油圧ショベル２００の下部機構２２０の操作用レバーを元の位置に戻した（前方に倒した）ことをトリガーとすることが考えられる。
また、二値化処理部４２は、ステップＳ１０で、撮影データに次フレームがあると判断した場合に、次フレームを抽出し（ステップＳ１１）、前述したステップＳ４に進む。
【００３０】
また、パターン識別部４３ｃは、ステップＳ７で、抽出データの正方形領域内にある内部パターン１２が記憶部４１に格納されたマーカ１０の正方形内部パターンに一致すると判断した場合に、判断（検出）結果を位置姿勢計算部４４に出力する（ステップＳ１２）。
【００３１】
位置姿勢計算部４４は、検出されたマーカ１０の４頂点の画像中での座標値（マーカ座標系）と撮影手段２０のパラメータ（カメラ座標系）とに基づいて、撮影手段２０に対する当該マーカ１０の位置（距離）及び姿勢を計算し、計算結果を接近判断部４５に出力する（ステップＳ１３）。
【００３２】
接近判断部４５は、位置姿勢計算部４４から計算結果が入力されると、記憶部４１に格納された所定の距離（範囲）の情報を参照し、計算結果であるマーカ１０の位置に基づいて、当該マーカ１０が撮影手段２０に対して所定の距離（範囲）内にあるか否かを判断する（ステップＳ１４）。
【００３３】
接近判断部４５は、ステップＳ１４で、マーカ１０が撮影手段２０に対して所定の距離（範囲）内にないと判断した場合に、判断結果を仮想物体描画部４６に出力し（ステップＳ１５）、前述したステップＳ９に進む。
【００３４】
また、接近判断部４５は、ステップＳ１４で、マーカ１０が撮影手段２０に対して所定の距離（範囲）内にあると判断した場合に、判断（検出）結果を仮想物体描画部４６に出力する（ステップＳ１６）。
【００３５】
仮想物体描画部４６は、位置姿勢計算部４４により計算されたマーカ１０の位置（距離）及び姿勢の情報に基づいて、当該マーカ１０に対応する仮想物体１を記憶部４１から読み出し、撮影画像中のマーカ１０の位置（距離）に姿勢を反映した仮想物体１を重畳して合成画像（フレーム）を生成し、表示手段３０に合成画像（フレーム）を出力する（ステップＳ１７）。
【００３６】
表示手段３０は、入力された合成画像（フレーム）を表示し（ステップＳ１８、図４（ｂ））、ステップＳ１０に進む。
【００３７】
以上のように、本実施形態に係る周囲監視装置１００は、表示手段３０に表示された撮影画像における監視対象（マーカ１０）に、撮影画像に対して強調される仮想物体１を重畳させるため、作業機械の操作者は、監視対象を容易に認識することができるという作用効果を奏する。
【００３８】
特に、本実施形態に係る周囲監視装置１００は、マーカ枠１１及び内部パターン１２を紙に印刷するだけでマーカ１０を作成することができるため、作業員に送受信器を携帯させることや近赤外線レーザービームを用いることなどの従来技術と比較して、システムの導入コストを大幅に抑制することができるという作用効果を奏する。
【００３９】
なお、本実施形態に係る周囲監視装置１００は、マーカ１０が撮影手段２０に対して所定の距離（範囲）内にある場合に、表示手段３０に合成画像を表示することで、作業機械の操作者に作業者４００を視認させる構成であるが、作業者４００が作業機械の周囲にいることを警報により操作者に報知してもよいし、作業機械を停止することで操作者に報知してもよい。
【００４０】
また、本実施形態においては、ヘルメット３００の正面３０１、背面３０２、左側面３０３、右側面３０４及び上面３０５に同一のマーカ１０（内部パターン１２）をそれぞれ付した場合について説明したが、ヘルメット３００の各面に同一のマーカ１０を付す必要はなく、例えば、正面３０１に付されるマーカ１０と、ヘルメット３００の背面３０２、左側面３０３、右側面３０４及び上面３０５に付されるマーカ１０とを異ならせてもよい。
【００４１】
そして、表示手段３０に表示される撮影画像における、撮影手段２０から所定の距離（範囲）内にあるマーカ１０のうち、ヘルメット３００の正面３０１に付されたマーカ１０に重畳される仮想物体１と、ヘルメット３００の背面３０２、左側面３０３、右側面３０４及び上面３０５に付されたマーカ１０に重畳される仮想物体１とを異ならせる。
【００４２】
これにより、操作者は、ヘルメット３００の正面３０１に重畳される仮想物体１で、作業者４００が作業機械（油圧ショベル２００）に正対していることがわかり、作業者４００が作業機械の存在に気付いている可能性が高いと判断でき、危険度が低いと考えることができる。これに対し、操作者は、ヘルメット３００の背面３０２、左側面３０３、右側面３０４又は上面３０５に重畳される仮想物体１で、作業者４００が作業機械に正対していないことがわかり、作業者４００が作業機械の存在に気付いていない可能性が高いと判断できるため、作業者４００に対して警告音を発するなどの措置を取ることができる。
【００４３】
なお、ヘルメット３００の各面に対して、全て異なるマーカ１０をそれぞれ付して、作業機械に対する作業者４００の向きを特定してもよい。しかしながら、マーカ１０の種類を増加するということは、記憶部４１に格納する情報（各マーカ１０の情報、各仮想物体１の情報）の情報量が多くなり、マーカ１０の検出処理並びにマーカ１０の位置及び姿勢の計算処理に時間を要する。このため、作業者４００と作業機械とが正対していることのみを判断できればよいのであれば、記憶部４１に格納する情報の情報量を必要最低限に抑制するために、ヘルメット３００の正面３０１に付されたマーカ１０と、それ以外の面に付されたマーカ１０とを異ならせることが好ましい。
【００４４】
（本発明の第２の実施形態）
図５（ａ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す左側面図であり、図５（ｂ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す平面図である。図６は第２の実施形態に係る周囲監視装置による処理の一例を示すフローチャート図である。図７（ａ）はマーカの他の例を示す説明図であり、図７（ｂ）は図７（ａ）に示すマーカに対応する仮想物体の一例を示す説明図であり、図７（ｃ）は図１に示す表示手段に表示される撮影画像の他の例を示す説明図であり、図７（ｄ）は図１に示す表示手段に表示される合成画像の他の例を示す説明図である。図８は第２の実施形態に係る他の周囲監視装置による処理の一例を示すフローチャート図である。図５乃至図８において、図１乃至図４と同じ符号は、同一または相当部分を示し、その説明を省略する。
【００４５】
本実施形態に係る周囲監視装置１００は、第１の実施形態の構成に加え、監視対象（例えば、ヘルメット３００）の表面（例えば、正面３０１、背面３０２、左側面３０３、右側面３０４、上面３０５）に付されるマーカ１０（以下、「第１のマーカ１０ａ」と称す）に換えて又は監視対象の表面に第１のマーカ１０ａを付したうえで、当該第１のマーカ１０ａと同一の又は異なるマーカ１０（以下、「第２のマーカ１０ｂ」と称す）を映す投影光５１を作業機械（例えば、油圧ショベル２００）の周囲に投射する投影手段５０を備える構成である。
【００４６】
なお、投影手段５０による投影光５１を投射する投影範囲は、撮影手段２０による撮影領域を包含する範囲であればよいが、撮影手段２０による撮影領域に一致する範囲にすることが、撮影領域外への無駄な投影光５１の投射を省略するうえで好ましく、地上からの高さが作業者４００の背丈を越える範囲（例えば、２ｍ以上）を対象外にするにすることが、作業者４００の存在しない撮影領域を監視対象外にするうえでより好ましい。
また、投影手段５０による投影光５１の投影方法は、投影範囲に対して、投影光５１を一時（放射状）に投射してもよいし、投影光５１を走査により順次投射してもよいし、投影光５１をランダムに投射してもよい。
【００４７】
なお、本実施形態に係る投影手段５０は、図５（ｂ）に示すように、横方向の投影範囲として撮影手段２０による横方向の撮影領域（例えば、油圧ショベル２００の中心軸を中心に左右４５度）に一致させ、図５（ａ）に示すように、縦方向の投影範囲として地上から所定の高さ（例えば、１ｍ）に設定しているが、この投影範囲に限られるものではない。
また、本実施形態に係る投影手段５０は、投影方法として、投影手段５０から撮影領域の横方向に等角度で（例えば、前述した所定の距離（範囲）で、５０ｃｍの等間隔になるように）、一時に投影光５１を投射しているが、この投影方法に限られるものではない。
【００４８】
つぎに、周囲監視装置１００の処理について、図６を用いて説明する。
なお、図６に示すフローチャートのうち、投影手段５０による処理に対応するステップ（ステップＳ１ａ、ステップＳ１０ａ）以外のステップについては、図３に示すフローチャートにおける同一符号のステップと同様の処理となるので、説明を省略する。また、以下の説明においては、油圧ショベル２００（下部機構２２０）の後進時について説明するが、油圧ショベル２００（下部機構２２０）の前進時及び油圧ショベル２００（上部機構２３０）の旋回時については、撮影手段２０により油圧ショベル２００の前方又は側方を撮影する処理及び投影手段５０により油圧ショベル２００の前方又は側方に投影光５１を投射する処理以外は同様の処理となるので、説明を省略する。
【００４９】
また、投影手段５０は、図１（ｂ）に示すマーカ１０（第１のマーカ１０ａ）とは異なる図７（ａ）に示すマーカ１０（第２のマーカ１０ｂ）を映す投影光５１を、前述した投影範囲及び投影方法にて投射するものとする。また、周囲監視装置１００の合成画像生成手段４０の記憶部４１には、図１（ｂ）に示すマーカ１０（第１のマーカ１０ａ）の情報及び当該第１のマーカ１０ａに対応する図１（ｃ）に示す仮想物体１（以下、「第１の仮想物体１ａ」と称す）の情報と、図７（ａ）に示すマーカ１０（第２のマーカ１０ｂ）の情報及び当該第２のマーカ１０ｂに対応する図７（ｂ）に示す仮想物体１（以下、「第２の仮想物体１ｂ」と称す）の情報と、所定の距離（範囲）の情報とが予め格納されているものとする。
【００５０】
まず、油圧ショベル２００の操作者は、周囲監視装置１００を起動させると（ステップＳ１）、周囲監視装置１００の投影手段５０は、前述した投影範囲及び投影方法にて、投影光５１の投射を開始し（ステップＳ１ａ）、撮影手段２０は、油圧ショベル２００の後方の撮影を開始し、合成画像生成手段４０の二値化処理部４２に撮影データを入力する（ステップＳ２、図７（ｃ））。
【００５１】
そして、ステップＳ３からステップＳ９（ステップＳ１８（図７（ｄ）））までのステップを経て、二値化処理部４２は、撮影手段２０から入力された撮影データに、表示手段３０に表示された抽出フレームの次フレームがあるか否かを判断する（ステップＳ１０）。
二値化処理部４２は、ステップＳ１０で、撮影データに次フレームがないと判断した場合に、周囲監視装置１００の投影手段５０は、投影光５１の投射を終了し（ステップＳ１０ａ）、周囲監視装置１００の処理を終了する。
【００５２】
なお、この第２の実施形態においては、投影手段５０を備えるところのみが第１の実施形態と異なるところであり、後述する投影手段５０による作用効果以外は、第１の実施形態と同様の作用効果を奏する。
【００５３】
本実施形態に係る周囲監視装置１００は、マーカ１０（第２のマーカ１０ｂ）を映す投影光５１を作業機械の周囲に投射することで、マーカ１０（第１のマーカ１０ａ）が付された監視対象（ヘルメット３００）を所持していない者、他の作業機械及び工作物５００の表面にマーカ１０（第２のマーカ１０ｂ）が投影され、監視対象（ヘルメット３００）を所持することと同様に、拡張現実感技術を用いて、作業機械への接近を監視することができるという作用効果を奏する。
【００５４】
ここで、地上に設置された工作物５００は、工作物５００自身が移動しないため、作業機械に接触する危険性が低い。このため、工作物５００を監視対象から外し、人や動物や他の作業機械などの移動体のみを監視対象にすることが、適切な情報（仮想物体１）のみを表示手段３０に表示するうえで好ましい。
【００５５】
このため、合成画像生成手段４０は、撮影手段２０の撮影位置及び撮影方向に変化がない状態で撮影手段２０により撮影され表示手段３０に表示される撮影画像における、当該撮影手段２０から所定の距離（範囲）内にあるマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）のうち、当該撮影手段２０に対する距離又は姿勢が変化したマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）のみに対して、仮想物体１（第１の仮想物体１ａ、第２の仮想物体１ｂ）を重畳して合成画像を生成する。
【００５６】
この場合の周囲監視装置１００の処理について、図８を用いて説明する。
なお、図８に示すフローチャートのうち、合成画像生成手段４０の接近判断部４５による処理に対応するステップ（ステップＳ１４ａ）以外のステップについては、図６に示すフローチャートにおける同一符号のステップと同様の処理となるので、説明を省略する。
【００５７】
接近判断部４５は、ステップＳ１４で、マーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）が撮影手段２０に対して所定の距離（範囲）内にあると判断した場合に、抽出フレームにおけるマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）が前フレームにおける対応するマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）から距離又は姿勢が変化した否かを判断する（ステップＳ１４ａ）。
【００５８】
そして、接近判断部４５は、ステップＳ１４ａで、抽出フレームにおけるマーカ１０が前フレームにおける対応するマーカ１０から距離又は姿勢が変化したと判断した場合に、判断（検出）結果を仮想物体描画部４６に出力する（ステップＳ１６）。
【００５９】
また、接近判断部４５は、ステップＳ１４ａで、抽出フレームにおけるマーカ１０が前フレームにおける対応するマーカ１０から距離又は姿勢が変化していないと判断した場合に、判断結果を仮想物体描画部４６に出力する（ステップＳ１５）。
【００６０】
なお、地上に設置された工作物５００に第１のマーカ１０ａを付さないのであれば、第１のマーカ１０ａが付される監視対象は移動体であるので、第１のマーカ１０ａをステップＳ１４ａの処理対象から外してもよい（第１の仮想物体１ａを撮影画像に常に重畳させてもよい）。
【００６１】
この場合に、合成画像生成手段４０は、撮影手段２０の撮影位置及び撮影方向に変化がない状態で撮影手段２０により撮影され表示手段３０に表示される撮影画像における、当該撮影手段２０から所定の距離（範囲）内にある第２のマーカ１０ｂのうち、当該撮影手段２０に対する距離又は姿勢が変化した第２のマーカ１０ｂのみに対して、仮想物体１（第１の仮想物体１ａ、第２の仮想物体１ｂ）を重畳して合成画像を生成する。
【符号の説明】
【００６２】
１ 仮想物体
１ａ 第１の仮想物体
１ｂ 第２の仮想物体
１０ マーカ
１０ａ 第１のマーカ
１０ｂ 第２のマーカ
１１ マーカ枠
１２ 内部パターン
２０ 撮影手段
３０ 表示手段
４０ 合成画像生成手段
４１ 記憶部
４２ 二値化処理部
４３ マーカ検出部
４３ａ ラベリング処理部
４３ｂ 正方形領域抽出部
４３ｃ パターン識別部
４４ 位置姿勢計算部
４５ 接近判断部
４６ 仮想物体描画部
５０ 投影手段
５１ 投影光
１００ 周囲監視装置
２００ 油圧ショベル
２１０ 作業部機構
２１１ ブーム
２１２ アーム
２１３ バケット
２２０ 下部機構
２３０ 上部機構
２３１ 運転室
３００ ヘルメット
３０１ 正面
３０２ 背面
３０３ 左側面
３０４ 右側面
３０５ 上面
４００ 作業者
５００ 工作物
【技術分野】
【０００１】
本発明は、拡張現実感（Augmented Reality：ＡＲ）技術を利用して、作業機械の周囲を監視する周囲監視装置に関する。
【背景技術】
【０００２】
従来の土木工事現場における作業安全監視システムは、各作業員の通信状態から危険領域に入っているか否かを判定，監視しており、作業員が危険領域に入っていると判定した場合、その作業員に対してブザーなどの警報手段に対して警告を発する。同時にバックホウの動作は制動される（例えば、特許文献１参照）。
【０００３】
また、従来の建設・土木作業車両の作業安全監視システムは、油圧ショベルに搭載され、作業車両周囲のカメラ映像データを取得するカメラと、油圧ショベルに搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、油圧ショベルの操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、を備える（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１３８５１８号公報
【特許文献２】特開２００９−１２１０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の土木工事現場における作業安全監視システムは、各作業員に送受信器をそれぞれ携帯させる必要があり、システムの低コスト化が図れないと共に、送受信器が電池切れを起こした場合に、その送受信器を携帯する作業員に対して警告を発することができず、作業員の安全性を確保することができないという課題がある。
【０００６】
また、従来の建設・土木作業車両の作業安全監視システムは、操作者の画像モニター上で、危険エリアに居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がり、これを利用した画像認識処理により、作業者が危険エリアに存在するか否かを判断する。このため、従来の建設・土木作業車両の作業安全監視システムは、近赤外線レーザービームを照射する投光器が必要であり、システムが複雑になり、低コスト化が図れないという課題がある。
【０００７】
本発明は、前述のような課題を解決するためになされたもので、作業機械の周囲で作業する各作業員に送受信器を所持させることなく、作業機械の操作者に作業員を容易に認識させることができる安価な周囲監視装置を提供するものである。
【課題を解決するための手段】
【０００８】
本発明に係る周囲監視装置においては、監視対象の表面に付されるマーカと、作業機械の周囲を撮影する撮影手段と、撮影手段により撮影された撮影領域を撮影画像として表示する表示手段と、表示手段に表示される撮影画像における、撮影手段から所定の距離内にあるマーカに対して、仮想物体を重畳して合成画像を生成する合成画像生成手段と、を備えるものである。
【発明の効果】
【０００９】
本発明に係る周囲監視装置においては、所定の領域に侵入した監視対象を作業機械の操作者に容易に認識させることができる。
【図面の簡単な説明】
【００１０】
【図１】（ａ）は第１の実施形態に係る周囲監視装置の概略構成を示すブロック図であり、（ｂ）はマーカの一例を示す説明図であり、（ｃ）は図１（ｂ）に示すマーカに対応する仮想物体の一例を示す説明図である。
【図２】（ａ）は図１（ａ）に示す周囲監視装置を備えた油圧ショベルの一例を示す左側面図であり、（ｂ）は図１（ａ）に示す周囲監視装置を備えた油圧ショベルの一例を示す平面図であり、（ｃ）は監視対象であるヘルメットの一例を示す正面図であり、（ｄ）は監視対象であるヘルメットの一例を示す平面図である。
【図３】図１に示す周囲監視装置による処理の一例を示すフローチャート図である。
【図４】（ａ）は図１に示す表示手段に表示される撮影画像の一例を示す説明図であり、（ｂ）は図１に示す表示手段に表示される合成画像の一例を示す説明図である。
【図５】（ａ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す左側面図であり、（ｂ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す平面図である。
【図６】第２の実施形態に係る周囲監視装置による処理の一例を示すフローチャート図である。
【図７】（ａ）はマーカの他の例を示す説明図であり、（ｂ）は図７（ａ）に示すマーカに対応する仮想物体の一例を示す説明図であり、（ｃ）は図１に示す表示手段に表示される撮影画像の他の例を示す説明図であり、（ｄ）は図１に示す表示手段に表示される合成画像の他の例を示す説明図である。
【図８】第２の実施形態に係る他の周囲監視装置による処理の一例を示すフローチャート図である。
【発明を実施するための形態】
【００１１】
（本発明の第１の実施形態）
周囲監視装置１００は、図１に示すように、監視対象の表面に付されるマーカ１０と、作業機械の周囲を撮影する撮影手段２０と、撮影手段２０により撮影された撮影領域を撮影画像として表示する表示手段３０と、表示手段３０に表示される撮影画像における、撮影手段２０から所定の距離（範囲）内にあるマーカ１０に対して、仮想物体（ＣＧ：computer graphics）１を重畳して合成画像を生成する合成画像生成手段４０と、を備える。
【００１２】
なお、本実施形態に係る作業機械は、図２（ａ）及び図２（ｂ）に示すように、長い腕を持つ作業部機構２１０（ブーム２１１、アーム２１２、バケット２１３）と、前進及び後進可能な足回りの下部機構２２０（走行体）と、下部機構２２０に対して旋回可能であり、運転室２３１やエンジンなどの主要装置のある上部機構２３０（旋回体）と、を備える油圧ショベル２００を例に挙げて説明するが、操作者が搭乗して操作する作業機械であれば、油圧ショベル２００に限られるものではない。
また、本実施形態に係る監視対象は、図２（ｃ）及び図２（ｄ）に示すように、作業機械（油圧ショベル２００）の周囲で作業する作業者４００が被るヘルメット３００を例に挙げて説明するが、作業者４００が着用する作業服や作業靴であってもよいし、他の作業機械や、建物、塀又は電柱などの地上に設置された工作物５００であってもよい。
【００１３】
マーカ１０は、例えば、図１（ｂ）に示すように、正方形の黒枠（以下、「マーカ枠１１」と称す）と、マーカ枠１１内に配置した文字、図形、記号又はこれらの結合である絵柄（以下、「内部パターン１２」と称す）とからなる。
なお、マーカ枠１１は、正方形の形状である必要はなく、三角形又は五角形などの多角形や円形などであってもよい。また、マーカ枠１１は、一重枠である必要はなく、二重枠や三重枠などの複数枠であってもよく、黒枠に限られるものでもない。
さらに、図１（ｂ）に示す内部パターン１２は、数字の「１」であるが、このパターンに限られるものではなく、白黒又はカラーの図案であれば、任意のパターンを設定することができる。
【００１４】
また、本実施形態においては、マーカ１０を印刷した紙をシールとして、ヘルメット３００の正面３０１、背面３０２、左側面３０３、右側面３０４及び上面３０５に貼着しているが、監視対象の表面にマーカ１０を付すのであれば、貼着に限られるものではなく、例えば、ヘルメット３００の表面にマーカ１０を印刷してもよい。
【００１５】
撮影手段２０は、動画を撮影するビデオカメラであり、少なくとも操作者の死角となる領域を撮影できるように１台又は複数台のビデオカメラが作業機械（油圧ショベル２００）に設置される。
なお、本実施形態に係る撮影手段２０は、油圧ショベル２００（下部機構２２０）の後進時に後方の安全確認を行うために、上部機構２３０の後方に１台のビデオカメラが設置され、油圧ショベル２００の後方を撮影する。しかしながら、撮影手段２０は、必要に応じて（操作者が肉眼で確認できるのであるが）、油圧ショベル２００（下部機構２２０）の前進時に前方の安全確認を行うために、上部機構２３０の前方にビデオカメラが設置され、油圧ショベル２００の前方を撮影してもよい。また、撮影手段２０は、必要に応じて（操作者が肉眼で確認できるのであるが）、油圧ショベル２００（上部機構２３０）の旋回時に側方（特に、作業部機構２１０により操作者の視野が遮られる右方）の安全確認を行うために、上部機構２３０の側方にビデオカメラが設置され、油圧ショベル２００の側方を撮影してもよい。
【００１６】
表示手段３０は、油圧ショベル２００の運転室２３１内に設置される液晶ディスプレイなどの出力表示装置であり、運転室２３１にある運転席に操作者が着座した状態で、操作者の前方の視野を遮らない位置に設置される。
【００１７】
合成画像生成手段４０は、マーカ１０の情報（内部パターン１２のパターン情報、マーカ１０を特定の方向から撮影した数千枚程度の静止画像、マーカ１０の三次元位置を特定するための情報）、当該マーカ１０に対応する仮想物体１の情報及び後述する所定の距離（範囲）の情報を格納する記憶部４１を備える。
【００１８】
また、合成画像生成手段４０は、撮影手段２０から入力された撮影画像（撮影データ）を二値化処理する二値化処理部４２と、二値化処理部４２により二値化処理された撮影画像（二値化データ）からマーカ１０を検出するマーカ検出部４３と、を備える。
特に、マーカ検出部４３は、二値化された撮影画像（二値化データ）をラベリング処理するラベリング処理部４３ａと、ラベリング処理部４３ａによりラベリング処理された撮影画像（ラベリングデータ）から正方形領域を抽出する正方形領域抽出部４３ｂと、正方形領域抽出部４３ｂにより抽出された正方形領域内にある内部パターン１２を記憶部４１に格納されたマーカ１０の情報に基づいて識別するパターン識別部４３ｃと、を備える。
【００１９】
また、合成画像生成手段４０は、マーカ検出部４３により検出されたマーカ１０の４頂点の画像中での座標値（マーカ座標系）と撮影手段２０のパラメータ（カメラ座標系）とに基づいて撮影手段２０に対する当該マーカ１０の位置（距離）及び姿勢を計算する位置姿勢計算部４４と、位置姿勢計算部４４により計算されたマーカ１０の位置（距離）に基づいて当該マーカ１０が撮影手段２０に対して所定の距離（範囲）内にあるか否かを判断する接近判断部４５と、を備える。
【００２０】
ここで、所定の距離（範囲）は、任意に設定可能な距離であり、例えば、油圧ショベル２００の作業部機構２１０の最大可動域における上部機構２３０の旋回並びに／又は下部機構２２０の後進に伴う油圧ショベル２００の加速度及び／若しくは移動量に基づき、適宜設定する。
【００２１】
また、合成画像生成手段４０は、接近判断部４５によりマーカ１０が撮影手段２０に対して所定の距離（範囲）内にあると判断された場合に、当該マーカ１０の位置（距離）及び姿勢の情報に基づいて、当該マーカ１０に対応する仮想物体１を記憶部４１から読み出して撮影画像上に描画する仮想物体描画部４６を備える。
【００２２】
つぎに、周囲監視装置１００の処理について、図３及び図４を用いて説明する。
なお、以下の説明においては、油圧ショベル２００（下部機構２２０）の後進時について説明するが、油圧ショベル２００（下部機構２２０）の前進時及び油圧ショベル２００（上部機構２３０）の旋回時については、撮影手段２０により油圧ショベル２００の前方又は側方を撮影する処理以外は同様の処理となるので、説明を省略する。また、周囲監視装置１００の合成画像生成手段４０の記憶部４１には、図１（ｂ）に示すマーカ１０の情報と、当該マーカ１０に対応する図１（ｃ）に示す仮想物体１の情報と、所定の距離（範囲）の情報とが予め格納されているものとする。
【００２３】
まず、油圧ショベル２００の操作者は、周囲監視装置１００を起動させる（ステップＳ１）。なお、周囲監視装置１００の起動は、例えば、油圧ショベル２００の下部機構２２０の操作用レバー（足元から出ている２本のレバー）で後進を指示する操作（２本の操作用レバーを後方に倒す）を行うことをトリガーとすることが考えられる。
【００２４】
周囲監視装置１００の撮影手段２０は、油圧ショベル２００の後方の撮影を開始し、合成画像生成手段４０の二値化処理部４２に撮影データを入力する（ステップＳ２、図４（ａ））。
二値化処理部４２は、入力された撮影データの第１フレームを抽出し（ステップＳ３）、抽出したフレームに対して二値化処理を行ない、マーカ検出部４３のラベリング処理部４３ａに二値化データを出力する（ステップＳ４）。
【００２５】
ラベリング処理部４３ａは、入力された二値化データに対してラベリング処理を行ない、正方形領域抽出部４３ｂにラベリングデータを出力する（ステップＳ５）。
正方形領域抽出部４３ｂは、入力されたラベリングデータから正方形領域を抽出し、パターン識別部４３ｃに抽出データを出力する（ステップＳ６）。
【００２６】
パターン識別部４３ｃは、正方形領域抽出部４３ｂから抽出データが入力されると、記憶部４１に格納されたマーカ１０の情報を参照し、抽出データの正方形領域内にある内部パターン１２が、記憶部４１に格納されたマーカ１０の正方形内部パターンに一致するか否かを判断する（ステップＳ７）。なお、本実施形態においては、作業者４００のヘルメット３００に付された図１（ｂ）に示すマーカ１０が撮影領域に含まれる場合に、パターン識別部４３ｃは、記憶部４１に格納された図１（ｂ）に示すマーカ１０の情報に基づいて、抽出データの正方形領域内にある内部パターン１２が記憶部４１に格納されたマーカ１０の正方形内部パターンに一致すると判断する。
【００２７】
パターン識別部４３ｃは、ステップＳ７で、抽出データの正方形領域内にある内部パターン１２が記憶部４１に格納されたマーカ１０の正方形内部パターンに一致しないと判断した場合に、判断結果を仮想物体描画部４６に出力する（ステップＳ８）。
【００２８】
仮想物体描画部４６は、入力された判断結果に基づき、撮影手段２０により撮影された撮影画像（抽出フレーム）に仮想物体１を重畳（合成画像を生成）することなく、表示手段３０に撮影画像（抽出フレーム）を表示する（ステップＳ９）。
【００２９】
そして、二値化処理部４２は、撮影手段２０から入力された撮影データに、表示手段３０に表示された抽出フレームの次フレームがあるか否かを判断する（ステップＳ１０）。
二値化処理部４２は、ステップＳ１０で、撮影データに次フレームがないと判断した場合に、周囲監視装置１００の処理を終了する。なお、撮影データに次フレームがない場合とは、撮影手段２０による撮影を終了した場合であり、撮影の終了は、例えば、油圧ショベル２００の下部機構２２０の操作用レバーを元の位置に戻した（前方に倒した）ことをトリガーとすることが考えられる。
また、二値化処理部４２は、ステップＳ１０で、撮影データに次フレームがあると判断した場合に、次フレームを抽出し（ステップＳ１１）、前述したステップＳ４に進む。
【００３０】
また、パターン識別部４３ｃは、ステップＳ７で、抽出データの正方形領域内にある内部パターン１２が記憶部４１に格納されたマーカ１０の正方形内部パターンに一致すると判断した場合に、判断（検出）結果を位置姿勢計算部４４に出力する（ステップＳ１２）。
【００３１】
位置姿勢計算部４４は、検出されたマーカ１０の４頂点の画像中での座標値（マーカ座標系）と撮影手段２０のパラメータ（カメラ座標系）とに基づいて、撮影手段２０に対する当該マーカ１０の位置（距離）及び姿勢を計算し、計算結果を接近判断部４５に出力する（ステップＳ１３）。
【００３２】
接近判断部４５は、位置姿勢計算部４４から計算結果が入力されると、記憶部４１に格納された所定の距離（範囲）の情報を参照し、計算結果であるマーカ１０の位置に基づいて、当該マーカ１０が撮影手段２０に対して所定の距離（範囲）内にあるか否かを判断する（ステップＳ１４）。
【００３３】
接近判断部４５は、ステップＳ１４で、マーカ１０が撮影手段２０に対して所定の距離（範囲）内にないと判断した場合に、判断結果を仮想物体描画部４６に出力し（ステップＳ１５）、前述したステップＳ９に進む。
【００３４】
また、接近判断部４５は、ステップＳ１４で、マーカ１０が撮影手段２０に対して所定の距離（範囲）内にあると判断した場合に、判断（検出）結果を仮想物体描画部４６に出力する（ステップＳ１６）。
【００３５】
仮想物体描画部４６は、位置姿勢計算部４４により計算されたマーカ１０の位置（距離）及び姿勢の情報に基づいて、当該マーカ１０に対応する仮想物体１を記憶部４１から読み出し、撮影画像中のマーカ１０の位置（距離）に姿勢を反映した仮想物体１を重畳して合成画像（フレーム）を生成し、表示手段３０に合成画像（フレーム）を出力する（ステップＳ１７）。
【００３６】
表示手段３０は、入力された合成画像（フレーム）を表示し（ステップＳ１８、図４（ｂ））、ステップＳ１０に進む。
【００３７】
以上のように、本実施形態に係る周囲監視装置１００は、表示手段３０に表示された撮影画像における監視対象（マーカ１０）に、撮影画像に対して強調される仮想物体１を重畳させるため、作業機械の操作者は、監視対象を容易に認識することができるという作用効果を奏する。
【００３８】
特に、本実施形態に係る周囲監視装置１００は、マーカ枠１１及び内部パターン１２を紙に印刷するだけでマーカ１０を作成することができるため、作業員に送受信器を携帯させることや近赤外線レーザービームを用いることなどの従来技術と比較して、システムの導入コストを大幅に抑制することができるという作用効果を奏する。
【００３９】
なお、本実施形態に係る周囲監視装置１００は、マーカ１０が撮影手段２０に対して所定の距離（範囲）内にある場合に、表示手段３０に合成画像を表示することで、作業機械の操作者に作業者４００を視認させる構成であるが、作業者４００が作業機械の周囲にいることを警報により操作者に報知してもよいし、作業機械を停止することで操作者に報知してもよい。
【００４０】
また、本実施形態においては、ヘルメット３００の正面３０１、背面３０２、左側面３０３、右側面３０４及び上面３０５に同一のマーカ１０（内部パターン１２）をそれぞれ付した場合について説明したが、ヘルメット３００の各面に同一のマーカ１０を付す必要はなく、例えば、正面３０１に付されるマーカ１０と、ヘルメット３００の背面３０２、左側面３０３、右側面３０４及び上面３０５に付されるマーカ１０とを異ならせてもよい。
【００４１】
そして、表示手段３０に表示される撮影画像における、撮影手段２０から所定の距離（範囲）内にあるマーカ１０のうち、ヘルメット３００の正面３０１に付されたマーカ１０に重畳される仮想物体１と、ヘルメット３００の背面３０２、左側面３０３、右側面３０４及び上面３０５に付されたマーカ１０に重畳される仮想物体１とを異ならせる。
【００４２】
これにより、操作者は、ヘルメット３００の正面３０１に重畳される仮想物体１で、作業者４００が作業機械（油圧ショベル２００）に正対していることがわかり、作業者４００が作業機械の存在に気付いている可能性が高いと判断でき、危険度が低いと考えることができる。これに対し、操作者は、ヘルメット３００の背面３０２、左側面３０３、右側面３０４又は上面３０５に重畳される仮想物体１で、作業者４００が作業機械に正対していないことがわかり、作業者４００が作業機械の存在に気付いていない可能性が高いと判断できるため、作業者４００に対して警告音を発するなどの措置を取ることができる。
【００４３】
なお、ヘルメット３００の各面に対して、全て異なるマーカ１０をそれぞれ付して、作業機械に対する作業者４００の向きを特定してもよい。しかしながら、マーカ１０の種類を増加するということは、記憶部４１に格納する情報（各マーカ１０の情報、各仮想物体１の情報）の情報量が多くなり、マーカ１０の検出処理並びにマーカ１０の位置及び姿勢の計算処理に時間を要する。このため、作業者４００と作業機械とが正対していることのみを判断できればよいのであれば、記憶部４１に格納する情報の情報量を必要最低限に抑制するために、ヘルメット３００の正面３０１に付されたマーカ１０と、それ以外の面に付されたマーカ１０とを異ならせることが好ましい。
【００４４】
（本発明の第２の実施形態）
図５（ａ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す左側面図であり、図５（ｂ）は第２の実施形態に係る周囲監視装置を備えた油圧ショベルの一例を示す平面図である。図６は第２の実施形態に係る周囲監視装置による処理の一例を示すフローチャート図である。図７（ａ）はマーカの他の例を示す説明図であり、図７（ｂ）は図７（ａ）に示すマーカに対応する仮想物体の一例を示す説明図であり、図７（ｃ）は図１に示す表示手段に表示される撮影画像の他の例を示す説明図であり、図７（ｄ）は図１に示す表示手段に表示される合成画像の他の例を示す説明図である。図８は第２の実施形態に係る他の周囲監視装置による処理の一例を示すフローチャート図である。図５乃至図８において、図１乃至図４と同じ符号は、同一または相当部分を示し、その説明を省略する。
【００４５】
本実施形態に係る周囲監視装置１００は、第１の実施形態の構成に加え、監視対象（例えば、ヘルメット３００）の表面（例えば、正面３０１、背面３０２、左側面３０３、右側面３０４、上面３０５）に付されるマーカ１０（以下、「第１のマーカ１０ａ」と称す）に換えて又は監視対象の表面に第１のマーカ１０ａを付したうえで、当該第１のマーカ１０ａと同一の又は異なるマーカ１０（以下、「第２のマーカ１０ｂ」と称す）を映す投影光５１を作業機械（例えば、油圧ショベル２００）の周囲に投射する投影手段５０を備える構成である。
【００４６】
なお、投影手段５０による投影光５１を投射する投影範囲は、撮影手段２０による撮影領域を包含する範囲であればよいが、撮影手段２０による撮影領域に一致する範囲にすることが、撮影領域外への無駄な投影光５１の投射を省略するうえで好ましく、地上からの高さが作業者４００の背丈を越える範囲（例えば、２ｍ以上）を対象外にするにすることが、作業者４００の存在しない撮影領域を監視対象外にするうえでより好ましい。
また、投影手段５０による投影光５１の投影方法は、投影範囲に対して、投影光５１を一時（放射状）に投射してもよいし、投影光５１を走査により順次投射してもよいし、投影光５１をランダムに投射してもよい。
【００４７】
なお、本実施形態に係る投影手段５０は、図５（ｂ）に示すように、横方向の投影範囲として撮影手段２０による横方向の撮影領域（例えば、油圧ショベル２００の中心軸を中心に左右４５度）に一致させ、図５（ａ）に示すように、縦方向の投影範囲として地上から所定の高さ（例えば、１ｍ）に設定しているが、この投影範囲に限られるものではない。
また、本実施形態に係る投影手段５０は、投影方法として、投影手段５０から撮影領域の横方向に等角度で（例えば、前述した所定の距離（範囲）で、５０ｃｍの等間隔になるように）、一時に投影光５１を投射しているが、この投影方法に限られるものではない。
【００４８】
つぎに、周囲監視装置１００の処理について、図６を用いて説明する。
なお、図６に示すフローチャートのうち、投影手段５０による処理に対応するステップ（ステップＳ１ａ、ステップＳ１０ａ）以外のステップについては、図３に示すフローチャートにおける同一符号のステップと同様の処理となるので、説明を省略する。また、以下の説明においては、油圧ショベル２００（下部機構２２０）の後進時について説明するが、油圧ショベル２００（下部機構２２０）の前進時及び油圧ショベル２００（上部機構２３０）の旋回時については、撮影手段２０により油圧ショベル２００の前方又は側方を撮影する処理及び投影手段５０により油圧ショベル２００の前方又は側方に投影光５１を投射する処理以外は同様の処理となるので、説明を省略する。
【００４９】
また、投影手段５０は、図１（ｂ）に示すマーカ１０（第１のマーカ１０ａ）とは異なる図７（ａ）に示すマーカ１０（第２のマーカ１０ｂ）を映す投影光５１を、前述した投影範囲及び投影方法にて投射するものとする。また、周囲監視装置１００の合成画像生成手段４０の記憶部４１には、図１（ｂ）に示すマーカ１０（第１のマーカ１０ａ）の情報及び当該第１のマーカ１０ａに対応する図１（ｃ）に示す仮想物体１（以下、「第１の仮想物体１ａ」と称す）の情報と、図７（ａ）に示すマーカ１０（第２のマーカ１０ｂ）の情報及び当該第２のマーカ１０ｂに対応する図７（ｂ）に示す仮想物体１（以下、「第２の仮想物体１ｂ」と称す）の情報と、所定の距離（範囲）の情報とが予め格納されているものとする。
【００５０】
まず、油圧ショベル２００の操作者は、周囲監視装置１００を起動させると（ステップＳ１）、周囲監視装置１００の投影手段５０は、前述した投影範囲及び投影方法にて、投影光５１の投射を開始し（ステップＳ１ａ）、撮影手段２０は、油圧ショベル２００の後方の撮影を開始し、合成画像生成手段４０の二値化処理部４２に撮影データを入力する（ステップＳ２、図７（ｃ））。
【００５１】
そして、ステップＳ３からステップＳ９（ステップＳ１８（図７（ｄ）））までのステップを経て、二値化処理部４２は、撮影手段２０から入力された撮影データに、表示手段３０に表示された抽出フレームの次フレームがあるか否かを判断する（ステップＳ１０）。
二値化処理部４２は、ステップＳ１０で、撮影データに次フレームがないと判断した場合に、周囲監視装置１００の投影手段５０は、投影光５１の投射を終了し（ステップＳ１０ａ）、周囲監視装置１００の処理を終了する。
【００５２】
なお、この第２の実施形態においては、投影手段５０を備えるところのみが第１の実施形態と異なるところであり、後述する投影手段５０による作用効果以外は、第１の実施形態と同様の作用効果を奏する。
【００５３】
本実施形態に係る周囲監視装置１００は、マーカ１０（第２のマーカ１０ｂ）を映す投影光５１を作業機械の周囲に投射することで、マーカ１０（第１のマーカ１０ａ）が付された監視対象（ヘルメット３００）を所持していない者、他の作業機械及び工作物５００の表面にマーカ１０（第２のマーカ１０ｂ）が投影され、監視対象（ヘルメット３００）を所持することと同様に、拡張現実感技術を用いて、作業機械への接近を監視することができるという作用効果を奏する。
【００５４】
ここで、地上に設置された工作物５００は、工作物５００自身が移動しないため、作業機械に接触する危険性が低い。このため、工作物５００を監視対象から外し、人や動物や他の作業機械などの移動体のみを監視対象にすることが、適切な情報（仮想物体１）のみを表示手段３０に表示するうえで好ましい。
【００５５】
このため、合成画像生成手段４０は、撮影手段２０の撮影位置及び撮影方向に変化がない状態で撮影手段２０により撮影され表示手段３０に表示される撮影画像における、当該撮影手段２０から所定の距離（範囲）内にあるマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）のうち、当該撮影手段２０に対する距離又は姿勢が変化したマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）のみに対して、仮想物体１（第１の仮想物体１ａ、第２の仮想物体１ｂ）を重畳して合成画像を生成する。
【００５６】
この場合の周囲監視装置１００の処理について、図８を用いて説明する。
なお、図８に示すフローチャートのうち、合成画像生成手段４０の接近判断部４５による処理に対応するステップ（ステップＳ１４ａ）以外のステップについては、図６に示すフローチャートにおける同一符号のステップと同様の処理となるので、説明を省略する。
【００５７】
接近判断部４５は、ステップＳ１４で、マーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）が撮影手段２０に対して所定の距離（範囲）内にあると判断した場合に、抽出フレームにおけるマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）が前フレームにおける対応するマーカ１０（第１のマーカ１０ａ、第２のマーカ１０ｂ）から距離又は姿勢が変化した否かを判断する（ステップＳ１４ａ）。
【００５８】
そして、接近判断部４５は、ステップＳ１４ａで、抽出フレームにおけるマーカ１０が前フレームにおける対応するマーカ１０から距離又は姿勢が変化したと判断した場合に、判断（検出）結果を仮想物体描画部４６に出力する（ステップＳ１６）。
【００５９】
また、接近判断部４５は、ステップＳ１４ａで、抽出フレームにおけるマーカ１０が前フレームにおける対応するマーカ１０から距離又は姿勢が変化していないと判断した場合に、判断結果を仮想物体描画部４６に出力する（ステップＳ１５）。
【００６０】
なお、地上に設置された工作物５００に第１のマーカ１０ａを付さないのであれば、第１のマーカ１０ａが付される監視対象は移動体であるので、第１のマーカ１０ａをステップＳ１４ａの処理対象から外してもよい（第１の仮想物体１ａを撮影画像に常に重畳させてもよい）。
【００６１】
この場合に、合成画像生成手段４０は、撮影手段２０の撮影位置及び撮影方向に変化がない状態で撮影手段２０により撮影され表示手段３０に表示される撮影画像における、当該撮影手段２０から所定の距離（範囲）内にある第２のマーカ１０ｂのうち、当該撮影手段２０に対する距離又は姿勢が変化した第２のマーカ１０ｂのみに対して、仮想物体１（第１の仮想物体１ａ、第２の仮想物体１ｂ）を重畳して合成画像を生成する。
【符号の説明】
【００６２】
１ 仮想物体
１ａ 第１の仮想物体
１ｂ 第２の仮想物体
１０ マーカ
１０ａ 第１のマーカ
１０ｂ 第２のマーカ
１１ マーカ枠
１２ 内部パターン
２０ 撮影手段
３０ 表示手段
４０ 合成画像生成手段
４１ 記憶部
４２ 二値化処理部
４３ マーカ検出部
４３ａ ラベリング処理部
４３ｂ 正方形領域抽出部
４３ｃ パターン識別部
４４ 位置姿勢計算部
４５ 接近判断部
４６ 仮想物体描画部
５０ 投影手段
５１ 投影光
１００ 周囲監視装置
２００ 油圧ショベル
２１０ 作業部機構
２１１ ブーム
２１２ アーム
２１３ バケット
２２０ 下部機構
２３０ 上部機構
２３１ 運転室
３００ ヘルメット
３０１ 正面
３０２ 背面
３０３ 左側面
３０４ 右側面
３０５ 上面
４００ 作業者
５００ 工作物
【特許請求の範囲】
【請求項１】
監視対象の表面に付されるマーカと、
作業機械の周囲を撮影する撮影手段と、
前記撮影手段により撮影された撮影領域を撮影画像として表示する表示手段と、
前記表示手段に表示される撮影画像における、前記撮影手段から所定の距離内にある前記マーカに対して、仮想物体を重畳して合成画像を生成する合成画像生成手段と、
を備えることを特徴とする周囲監視装置。
【請求項２】
前記請求項１に記載の周囲監視装置において、
前記監視対象が、ヘルメットであり、
前記マーカが、前記ヘルメットの正面、背面、左側面、右側面及び上面に付され、
前記ヘルメットの正面に付されたマーカが、前記ヘルメットの背面、左側面、右側面及び上面に付されたマーカと異なり、
前記表示手段に表示される撮影画像における、前記撮影手段から所定の距離内にある前記マーカのうち、前記ヘルメットの正面に付されたマーカに重畳される仮想物体と、前記ヘルメットの背面、左側面、右側面及び上面に付されたマーカに重畳される仮想物体とが異なることを特徴とする周囲監視装置。
【請求項３】
前記請求項１又は２に記載の周囲監視装置において、
前記監視対象の表面に付されるマーカに換えて又は前記監視対象の表面にマーカを付したうえで、当該マーカと同一の又は異なるマーカを映す投影光を前記作業機械の周囲に投射する投影手段を備えることを特徴とする周囲監視装置。
【請求項４】
前記請求項１乃至３のいずれかに記載の周囲監視装置において、
前記合成画像生成手段が、前記撮影手段の撮影位置及び撮影方向に変化がない状態で当該撮影手段により撮影され前記表示手段に表示される撮影画像における、当該撮影手段から所定の距離内にある前記マーカのうち、当該撮影手段に対する距離又は姿勢が変化したマーカのみに対して、仮想物体を重畳して合成画像を生成することを特徴とする周囲監視装置。
【請求項１】
監視対象の表面に付されるマーカと、
作業機械の周囲を撮影する撮影手段と、
前記撮影手段により撮影された撮影領域を撮影画像として表示する表示手段と、
前記表示手段に表示される撮影画像における、前記撮影手段から所定の距離内にある前記マーカに対して、仮想物体を重畳して合成画像を生成する合成画像生成手段と、
を備えることを特徴とする周囲監視装置。
【請求項２】
前記請求項１に記載の周囲監視装置において、
前記監視対象が、ヘルメットであり、
前記マーカが、前記ヘルメットの正面、背面、左側面、右側面及び上面に付され、
前記ヘルメットの正面に付されたマーカが、前記ヘルメットの背面、左側面、右側面及び上面に付されたマーカと異なり、
前記表示手段に表示される撮影画像における、前記撮影手段から所定の距離内にある前記マーカのうち、前記ヘルメットの正面に付されたマーカに重畳される仮想物体と、前記ヘルメットの背面、左側面、右側面及び上面に付されたマーカに重畳される仮想物体とが異なることを特徴とする周囲監視装置。
【請求項３】
前記請求項１又は２に記載の周囲監視装置において、
前記監視対象の表面に付されるマーカに換えて又は前記監視対象の表面にマーカを付したうえで、当該マーカと同一の又は異なるマーカを映す投影光を前記作業機械の周囲に投射する投影手段を備えることを特徴とする周囲監視装置。
【請求項４】
前記請求項１乃至３のいずれかに記載の周囲監視装置において、
前記合成画像生成手段が、前記撮影手段の撮影位置及び撮影方向に変化がない状態で当該撮影手段により撮影され前記表示手段に表示される撮影画像における、当該撮影手段から所定の距離内にある前記マーカのうち、当該撮影手段に対する距離又は姿勢が変化したマーカのみに対して、仮想物体を重畳して合成画像を生成することを特徴とする周囲監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−９２６７（Ｐ２０１３−９２６７Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４２１３７（Ｐ２０１１−１４２１３７）
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００１６４４３８）九州電力株式会社 (245)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００１６４４３８）九州電力株式会社 (245)
【Ｆターム（参考）】
[ Back to top ]