情報提供装置、情報提供方法、及びプログラム
【課題】危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することを目的とする。
【解決手段】危険対象の状態毎の危険な範囲を示す危険範囲情報、及び危険対象の位置を示す危険対象位置情報を読み込み、当該情報提供装置の位置を示す情報から算出された装置位置情報と、当該情報提供装置の方位を示す情報から算出された方位情報と、当該情報提供装置の姿勢を示す情報から算出された姿勢情報と、を取得し、取得した装置位置情報、方位情報、及び姿勢情報、並びに、予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定し、装置位置情報、方位情報、姿勢情報、並びに、読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して表示部に表示することで課題を解決する。
【解決手段】危険対象の状態毎の危険な範囲を示す危険範囲情報、及び危険対象の位置を示す危険対象位置情報を読み込み、当該情報提供装置の位置を示す情報から算出された装置位置情報と、当該情報提供装置の方位を示す情報から算出された方位情報と、当該情報提供装置の姿勢を示す情報から算出された姿勢情報と、を取得し、取得した装置位置情報、方位情報、及び姿勢情報、並びに、予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定し、装置位置情報、方位情報、姿勢情報、並びに、読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して表示部に表示することで課題を解決する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提供装置、情報提供方法、及びプログラムに関する。
【背景技術】
【0002】
工場や工事現場など、作業員が作業を行う上で危険な個所には、ペンキ等で危険な領域が示されていたり、看板などが掲示されていたりする。これらの危険な個所の表示(危険個所表示)は、固定的であるため、危険がおよび得る範囲に網羅的に表示や掲示がされているのが通常である。
ところで、危険な個所は、常に危険である場合と、時間的に見て特定な時期だけ危険である場合とがある。例えば、工場内のクレーン作業が行われるような場所は、クレーンが稼働しているときだけ吊荷の下が危険な個所となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−7703号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、固定式のクレーンアーム等の従来の危険個所表示においては、例えば、クレーンアームの可動範囲の全てが危険な個所とみなされ、地面に危険個所表示(ハッチング表示など)がなされる。よって、従来の危険個所表示では、必要以上に危険な個所を特定しすぎて、危険な個所が不明確になる問題がある。また、従来の危険個所表示では、粉塵や油分などで汚れてしまい、表示そのものが見えなくなってしまったり、汚れたときに清掃や再塗装などのメンテナンスを要したりする問題もある。
一方、移動式のクレーン車などの従来の危険個所表示においては、その使用される場所が固定されていないので、クレーン車に「半径10m以内立ち入り禁止」などを表示するが、危険な個所が視認できず、危険な個所が不明確になる問題がある。また、パイロン等で物理的に立ち入れないようにすることもあるが、その準備には手間がかかる問題がある。
【0005】
本発明はこのような問題点に鑑みなされたもので、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することを目的とする。
【課題を解決するための手段】
【0006】
そこで、本発明に係る情報提供装置は、表示部を有し、記憶部と通信可能に接続された情報提供装置であって、前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、位置検出装置で検出された当該情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、方位検出装置で検出された当該情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得手段と、姿勢検出装置で検出された当該情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定する特定手段と、前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、を有する。
【0007】
ここで、「読込手段」は、例えば、後述する取込部55に対応する。「位置情報取得手段」は、例えば、後述する計測部40に対応する。「方位情報取得手段」は、例えば、方位情報取得部45に対応する。「姿勢情報取得手段」は、例えば、姿勢情報取得部50に対応する。「特定手段」は、例えば、後述する視野特定部60に対応する。「表示制御手段」は、例えば、後述する表示制御部65に対応する。
【発明の効果】
【0008】
本発明によれば、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することができる。
【図面の簡単な説明】
【0009】
【図1】情報提供システムの構成の一例を示す図である。
【図2】AR提供装置のハードウェア構成の一例を示す図である。
【図3】AR提供装置の機能構成の一例を示す図である。
【図4】情報処理装置のハードウェア構成の一例を示す図である。
【図5】危険物に関する情報を格納するテーブルの一例を示す図である。
【図6】危険物に関する情報を格納するテーブルの一例を示す図である。
【図7】稼働状態設定処理に係るフローチャートの一例を示す図である。
【図8】稼働状態設定処理に係るフローチャートの一例を示す図である。
【図9】位置情報設定処理に係るフローチャートの一例を示す図である。
【図10】表示処理に係るフローチャートの一例を示す図である。
【図11】AR視野の一例を示す図である。
【図12A】三次元の拡張画像が表示されたときの一例を示す図である。
【図12B】二次元の拡張画像が表示されたときの一例を示す図である。
【図12C】拡張画像が表示されたときの一例を示す図である。
【図12D】拡張画像が表示されたときの一例を示す図である。
【図13】表示処理に係るフローチャートの一例を示す図である。
【図14】危険物が接近しているときの表示の一例を示す図である。
【図15】表示処理に係るフローチャートの一例を示す図である。
【図16】危険物に関する情報を格納するテーブルの一例を示す図である。
【図17】表示処理に係るフローチャートの一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面に基づいて説明する。
【0011】
(第1の実施形態)
図1は、本実施形態に係る情報提供システムの構成の一例を示す図である。情報提供システムは、AR提供装置100と情報処理装置200とを有する。AR提供装置100と情報処理装置200とは、ネットワークを介して通信可能に接続されている。
AR提供装置100は、情報提供装置(コンピュータ)の一例であり、HMD(Head Mounted Display)等であり、AR提供装置100を介して知覚できる現実空間に整合する位置に、AR提供装置100で生成した画像(コンピュータグラフィックス画像)を表示することにより、拡張された現実感(AR:Augmented Reality)を提供する。AR提供装置100は、例えば、現実空間のクレーン車300に、クレーン車300による危険な範囲を示す危険範囲画像310を重畳して表示する。なお、情報処理装置200は、例えばサーバコンピュータであり、クレーン車300等の危険物(危険対象の一例である。)に関する各種の情報を管理する。付言するならば、危険対象は、危険物そのものに限られるものではなく、不特定多数の危険物が頻繁に通る道路など、危険に係る場所や空間を含むものである。
【0012】
図2は、AR提供装置100のハードウェア構成の一例を示す図である。
AR提供装置100は、制御装置5、記憶装置10、通信装置15、表示装置20、方位検出装置25、姿勢検出装置30、及び撮影装置35を有する。
制御装置5は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置10よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、AR提供装置100における後述の機能、及び後述のフローチャートに係る処理が実現される。
【0013】
記憶装置10は、ROM(Read Only Memory)、RAM(Random Access Memory)、HD(Hard Disk)等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置10(ROM)は、AR提供装置100の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置10(RAM)は、AR提供装置100のメインメモリとして機能する。また、記憶装置10(HD)は、プログラム以外に制御装置5により算出された数値データ等を記憶する。なお、AR提供装置100は、記憶装置10に記憶される各種の情報を、CD−ROM等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
通信装置15は、情報処理装置200と有線又は無線で通信を行い、危険物に関する各種の情報を取得する。また、通信装置15は、位置検出装置の一例である衛星と通信を行い、軌道情報を取得する。
表示装置20は、表示部の一例であり、透過型の液晶ディスプレイ等であり、各種の画像を表示する。
【0014】
方位検出装置25は、例えば電子コンパスであり、微弱な地磁気(例えば前後方向の地磁気及び左右方向の地磁気)を検知し、地磁気の強さから北の方向を計算してAR提供装置100の方位(方位情報)を算出する。
姿勢検出装置30は、例えばジャイロセンサであり、物体の角速度を検知し、角速度を積分などして角度(AR提供装置100の姿勢(姿勢情報))を算出する。
撮影装置35は、現実空間の撮影を行う。
【0015】
なお、AR提供装置100のハードウェア構成は、これに限られるものではない。例えば、方位検出装置25及び姿勢検出装置30に代えて、方位検出装置25及び姿勢検出装置30の機能を一体とした機能を有する方位姿勢検出装置を採用してもよい。
【0016】
図3は、AR提供装置100の機能構成の一例を示す図である。
AR提供装置100は、計測部40、方位情報取得部45、姿勢情報取得部50、取込部55、視野特定部60、表示制御部65、及び映像取得部70を有する。
計測部40は、位置情報取得手段の一例であり、通信装置15を介して衛星から取得された軌道情報から、AR提供装置100の現在の位置を示す情報(装置位置情報の一例であるAR位置情報)を計測(算出して取得)する。
方位情報取得部45は、方位検出装置25で算出された方位情報を取得する。なお、方位情報取得部45は、方位検出装置25から地磁気などの検出された情報を受け取り、方位情報を算出してもよい。
姿勢情報取得部50は、姿勢検出装置30で算出された姿勢情報を取得する。なお、姿勢情報取得部50は、姿勢検出装置30から角速度などの検出された情報を受け取り、姿勢情報を算出してもよい。
【0017】
取込部55は、情報処理装置200が有する後述の記憶装置80から、危険物に関する各種の情報として、危険物による危険な範囲を示す危険範囲画像を生成するときに用いる情報が格納されたテーブル(後述の位置固定対象テーブル、後述の移動対象テーブル等)から必要な情報を取り込む(読込む)。
視野特定部60は、方位情報取得部45で取得された方位情報、及び姿勢情報取得部50で取得された姿勢情報などに基づいて、AR提供装置100を装着しているユーザの視野(AR視野)を特定(推定)する。
【0018】
表示制御部65は、方位情報取得部45で取得された方位情報、姿勢情報取得部50で取得された姿勢情報、及び取込部55で取り込まれた情報などに基づいて、拡張画像を生成して表示装置20に表示する。このとき、表示制御部65は、現実空間の危険物に拡張画像を整合させて表示装置20に表示するために、座標合わせを行う。
現実空間と表示空間(仮想空間)との間の座標合わせ(幾何位置合わせ)を正確に行うためには、仮想空間の拡張画像を生成するためのパラメータ(内部パラメータ及び外部パラメータ)を、表示装置20のパラメータと一致させる必要がある。表示装置20の内部パラメータが既知であるので、幾何位置合わせの問題は、表示装置20の外部パラメータ(即ち、AR提供装置100の位置及び姿勢)を求める問題に帰結される。
【0019】
ここで、AR提供装置100の位置及び姿勢を求めるには、方位検出装置25(磁気センサ)、姿勢検出装置30(ジャイロセンサ)、制御装置5(GPS)、及び表示装置20を適宜組み合わせて、様々な手法を採用することができる。換言するならば、センサによる計測結果(AR位置情報、方位情報、及び姿勢情報)を用いる手法、表示装置20により撮影された画像を用いる手法、表示装置20とセンサとを組み合わせて位置合わせのずれを補完する手法に大別できる。
本実施形態では、表示装置20の内部パラメータ(焦点距離、レンズ歪み、アスペクト比など)が事前にキャリブレーションされていることを前提として、表示制御部65は、計測されたAR提供装置100のAR位置情報、方位情報、及び姿勢情報を取得することで、仮想環境を表す仮想座標系と予め与えられた現実空間の基準座標系との間の幾何変換行列(仮想座標系と基準座標系との変換が対応付けられた変換情報)を求める方法を採用して説明を行う。
なお、上述したように、表示制御部65は、例えば、撮影された画像中に存在する何らかの指標を用いて表示装置20の外部パラメータ(位置及び姿勢)を実時間で推定することで、幾何変換行列を求めてもよい。このとき、AR提供装置100の位置及び姿勢を推定するための指標としては、意図的に付されたマーカなどの指標を用いていてもよいし、輪郭情報、輝度エッジ、特徴点などの自然特徴を用いてもよい。
映像取得部70は、撮影装置35で撮影された現実空間の映像データを取得する。
【0020】
図4は、情報処理装置200のハードウェア構成の一例を示す図である。
情報処理装置200は、制御装置75、記憶装置80、通信装置85、表示装置90、及び入力装置95を有する。
制御装置75は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置80よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、情報処理装置200における後述の機能、及び後述のフローチャートに係る処理が実現される。
【0021】
記憶装置80は、記憶部の一例であり、ROM(Read Only Memory)、RAM(Random Access Memory)、HD(Hard Disk)等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置10(ROM)は、情報処理装置200の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置80(RAM)は、情報処理装置200のメインメモリとして機能する。また、記憶装置80(HD)は、プログラム以外に制御装置75により算出された数値データ等を記憶する。なお、情報処理装置200は、記憶装置80に記憶される各種の情報を、CD−ROM等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
通信装置85は、危険物が稼働している状態(稼働状態)を検出する稼働状態検出センサと通信を行い、稼働状態検出センサから危険物の現在の位置を示す情報(危険対象位置情報の一例である危険物位置情報)等を取得する。
表示装置90は、液晶ディスプレイ等であり、各種の情報を表示する。
入力装置95は、ユーザが操作するキーボード及びマウス等であり、情報処理装置200に各種の情報を入力する。
【0022】
図5は、危険物に関する情報を格納するテーブルの一例(位置固定対象テーブル210)を示す図である。
位置固定対象テーブル210は、危険物ID、危険物名、危険種別、基準位置、状態、状態ごとの危険範囲、現状の情報を含んで構成される。現状の情報を除いた各種の情報は、例えば管理者により入力装置95等を介して設定されている。現状の情報についての設定については後述する。
危険物IDの情報は、危険物を識別するための識別情報である。危険物名の情報は、危険物の名称を示す情報である。危険種別の情報は、危険物による危険の種別を示す情報である。
基準位置の情報は、危険物が設置されている位置(緯度及び経度)を示す情報(設置位置情報)である。なお、設置位置情報は、固定されている危険物の位置を示す情報であり、危険物の現在の位置を示しているので、危険物位置情報と等価である。また、設置位置情報は、危険範囲画像を表示する位置を特定する情報(表示位置情報)としても用いられることがある。ここで、例えば、緯度が「35.354417」であり、経度が「139.867623」である位置情報の場合は、位置情報「35.354417,139.867623」として表すものとする。本実施形態では、説明の便宜上、危険物の高度については「0」であるものとして取り扱う。
【0023】
状態の情報は、危険物の稼働状態を識別するための情報(状態識別情報)である。図5には、状態識別情報が2種類、示されている。1つ目は、現在の時刻に基づいて危険物が稼働しているか否かを識別するための状態識別情報(「9:00〜17:00」、稼働時など)である。2つ目は、危険物が稼働するとき(稼働しているとき)の態様に基づいて危険物が何れの態様で稼働しているかを識別するための状態識別情報(フル稼働時、東側のみ稼働時など)である。
状態ごとの危険範囲の情報は、危険範囲情報の一例であり、危険物の状態に対応した危険範囲を示す情報である。現状の情報は、危険物が稼働しているか否かを示す情報である。本実施形態では、危険物が稼働しているときは、情報処理装置200により、「○」が設定され、危険物が稼働していないときは何も設定されない(クリアされている)ものとする。
【0024】
図6は、危険物に関する情報を格納するテーブルの一例(移動対象テーブル220)を示す図である。
移動対象テーブル220は、危険物ID、危険物名、危険種別、測位基準、状態、状態ごとの危険範囲、現状、現在位置の情報を含んで構成される。現状の情報及び現在位置の情報を除いた各種の情報は、例えば管理者により入力装置95等を介して設定されている。現状の情報及び現在位置の情報の設定については後述する。
測位基準の情報は、危険範囲画像を表示する位置を示す情報(表示位置情報)である。現在位置の情報は、危険物の現在の位置を示す情報(危険物位置情報)である。なお、図5で示した項目と同一の項目については、説明を省略する。
ここで、本実施形態では、危険物に関する情報が、テーブルの形式で、かつ危険物の種類(固定された危険物であるか、移動する危険物であるか等)に応じて複数のテーブルに格納されているが、この構成に限られるものではない。例えば、危険物に関する情報を一又は複数のファイルとして格納する構成を採用してもよい。また、例えば、危険物に関する情報を一のテーブルとして格納する構成を採用してもよい。
【0025】
図7は、情報処理装置200の機能の一例である稼働状態設定部により行われる「現状」の設定を行う処理(稼働状態設定処理)に係るフローチャートの一例を示す図である。なお、図7に示すフローチャートの処理は、一定間隔(例えば、1分)ごとに行われる。
はじめに、稼働状態設定部は、現在の時刻を取得する(ステップS5)。
次に、稼働状態設定部は、記憶装置80から危険物に関する情報を読み出す(ステップS10)。
次に、稼働状態設定部は、現在の時刻と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS15)、稼働状態設定処理を終了する。
より具体的には、稼働状態設定部は、危険物に関する情報を順次読み出し、状態の情報が、現在の時刻に基づいて危険物が稼働しているか否かを識別するための状態識別情報(時間帯)である場合は、現在の時刻がこの時間帯に含まれているか否かを判定する。このとき、稼働状態設定部は、現在の時刻がこの時間帯に含まれていると判定した場合は、「現状」に「○」を設定する。他方、稼働状態設定部は、現在の時刻がこの時間帯に含まれていないと判定した場合は、「現状」をクリアする。
【0026】
ここで、現在の時刻が「15:00」であるときに、図7に示すフローチャートの処理が行われる場合を例に挙げて説明する。
まず、ステップS5では、稼働状態設定部は、現在の時刻「15:00」を取得する。
次に、ステップS10では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、状態の情報を読み出す。
次に、ステップS15では、稼働状態設定部は、状態の情報に対応する「現状」を1件ずつ設定するが、例えば状態の情報として時間帯「9:00〜17:00」が読み出されたときは、現在の時刻「15:00」が時間帯「9:00〜17:00」に含まれているか否かを判定する。そして、稼働状態設定部は、現在の時刻「15:00」が時間帯「9:00〜17:00」に含まれていると判定し、状態の情報(時間帯「9:00〜17:00」)に対応する「現状」に「○」を設定する。
【0027】
なお、「現状」を設定する処理は、上述の処理に限られるものではない。例えば、ステップS5〜ステップS15の処理に代えて、稼働状態設定部は、稼働状態検出センサより危険物の稼働の有無を示す情報を受信し、実際に危険物が稼働しているか否かを判定し、危険物が稼働していると判断したときには「現状」に「○」を設定し、危険物が稼働していないと判断したときには「現状」をクリアする処理を行ってもよい。
【0028】
図8は、情報処理装置200の機能の一例である稼働状態設定部により行われる「現状」の設定を行う処理(稼働状態設定処理)に係るフローチャートの一例を示す図である。なお、図8に示すフローチャートの処理は、稼働状態検出センサより危険物状態情報を受信したことを契機に行われる。
【0029】
はじめに、稼働状態設定部は、稼働状態検出センサより、危険物状態情報を受信する(ステップS20)。危険物状態情報には、危険物IDの情報、及び危険物の稼働の態様を示す情報(稼働態様情報)が含まれる。例えば、稼働態様情報としては、危険物が稼働していないときは「0」、危険物が第1の態様で稼働しているときは「1」、危険物が第2の態様で稼働しているときは「2」等が設定されている。
次に、稼働状態設定部は、記憶装置80から危険物に関する情報を読み出す(ステップS25)。より具体的には、稼働状態設定部は、危険物状態情報に含まれる危険物IDの情報に対応する危険物に関する情報を読み出す。
次に、稼働状態設定部は、受信した危険物状態情報と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS30)、稼働状態設定処理を終了する。
より具体的には、稼働状態設定部は、読み出した危険物に関する情報から危険物状態情報に含まれる稼働態様情報に対応する「状態」を特定できた場合は、特定した「状態」に対応する「現状」に「○」を設定する。他方、稼働状態設定部は、特定できなかった場合(稼働態様情報が、危険物が稼働していないことを示す情報であった場合)は、読み出した全ての「現状」をクリアする。
【0030】
ここで、危険物ID「001」の稼働状態を検出する稼働状態検出センサより危険物状態情報(危険物ID「001」、稼働態様情報「2」)を受信したときに、図8に示すフローチャートの処理が行われる場合を例に挙げて説明する。
まず、ステップS20では、稼働状態設定部は、危険物ID「001」の危険物「クレーン」の稼働状態を検出する稼働状態検出センサより危険物状態情報を受信する。
次に、ステップS25では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、危険物ID「001」に対応する状態「フル稼働時」及び「東側のみ稼働時」を読み出す。本実施形態では、状態「フル稼働時」としては、第1の態様での稼働として「1」が規定され、状態「東側のみ稼働時」としては、第2の態様での稼働として「2」が規定されているものとする。
次に、ステップS30では、稼働状態設定部は、読み出した状態「フル稼働時:1」及び「東側のみ稼働時:2」から危険物状態情報に含まれる稼働態様情報「2」に対応する状態「東側のみ稼働時」を特定し、特定した状態「東側のみ稼働時」に対応する「現状」に「○」を設定する。
【0031】
図9は、情報処理装置200の機能の一例である位置情報設定部により行われる危険物の現在の位置情報を設定する処理(位置情報設定処理)に係るフローチャートの一例を示す図である。
はじめに、位置情報設定部は、危険物の位置を計測する計測器(或いは、計測器を有する危険物)より、危険物特定情報を受信する(ステップS35)。危険物特定情報には、危険物の現在の位置情報(危険物位置情報)と危険物IDの情報とが含まれる。なお、危険物位置情報に代えて、危険物位置情報を算出するための軌道情報等を受信し、位置情報設定部が危険物位置情報を算出する構成を採用してもよい。
次に、位置情報設定部は、受信した危険物位置情報と危険物に関する情報とに基づいて「現在位置」を設定(更新)し(ステップS40)、位置情報設定処理を終了する。
例えば、ステップS40では、位置情報設定部は、危険物ID「010」、危険物位置情報「35.355187,139.874618」が含まれる危険物特定情報を受信したときは、位置固定対象テーブル210及び移動対象テーブル220を参照し、危険物ID「010」に対応する「現在位置」に危険物位置情報「35.355187,139.874618」を設定する。
【0032】
図10は、AR提供装置100における各機能により行われる表示処理に係るフローチャートの一例を示す図である。表示処理は、AR機能の利用の有無を識別するモード(ARモード)がONであるときに、繰り返して行われるものとする。なお、ユーザは、ARモードを切り替えるスイッチ(図示せず)を押下することで、ARモードのON/OFFを切り替える。
はじめに、ステップS45では、取込部55は、位置固定対象テーブル210及び移動対象テーブル220から現状「○」となっている対象データを情報処理装置200から取り込む(抽出する)。なお、位置固定対象テーブル210から抽出される対象データには、危険物ID、基準位置、及び状態ごとの危険範囲の情報が含まれる。また、移動対象テーブル220から抽出される対象データには、危険物ID、測位基準、状態ごとの危険範囲、現在位置の情報が含まれる。
本実施形態では、図5及び図6に示すように、現状「○」となっている対象データとして、4つ読み込まれる。例えば、危険物ID「001」の状態「2(東側のみ稼働)」により特定される対象データが読み込まれ、この対象データには、危険物ID「001」、基準位置「35.354417,139.867623」、及び状態ごとの危険範囲「半径15m、高さ20m、方位0°〜180°」が含まれる。
【0033】
次に、ステップS50では、映像取得部70は、撮影装置35で撮影された現実空間の映像データを取得する。
次に、ステップS55では、計測部40は、通信装置15を介して衛星から取得された軌道情報から、AR提供装置100の現在の位置を示す情報(AR位置情報)を計測する。
次に、ステップS60では、向き特定部(方位情報取得部45及び姿勢情報取得部50)は、AR提供装置100の向き(方位及び姿勢)を特定する。すなわち、方位情報取得部45は、方位検出装置25で算出された方位情報を取得し、姿勢情報取得部50は、姿勢検出装置30で算出された姿勢情報を取得する。
【0034】
次に、ステップS65では、視野特定部60は、計測結果(ステップS50及びステップS55で取得された情報)等に基づいて、表示装置20を装着したユーザのAR視野を特定する。
ここで、図11に、ユーザ400のAR視野Uの一例を示す。本実施形態では、危険物の高度は「0」と設定しているので、AR視野は平面的に(二次元で)特定されている。しかしながら、危険物位置情報に高度を加味する場合は、AR視野は立体的に(三次元で)特定されてもよい。
また、本実施形態では、ユーザ400の視界として、例えば、左右方向160°(高度を加味する場合は例えば上下方向120°)の範囲の情報(視界情報)が予め設定され、記憶装置10に格納されている。
例えば、視野特定部60は、AR位置情報410を基準とした予め定められた範囲(例えば、半径100m)内であって、方位情報420を中心とした視界をAR視野Uとして特定する。
【0035】
次に、ステップS70では、表示制御部65は、映像データと計測結果と対象データとに基づいてAR視野に含まれる危険物の危険範囲画像(拡張画像)を生成する。
より具体的には、まず、表示制御部65は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。例えば、図11では、危険物位置情報430は、AR視野Uに含まれているので、危険物位置情報430に位置する危険物は、AR視野Uに含まれていると特定される。なお、危険物位置情報440は、AR視野Uに含まれていないので、危険物位置情報440に位置する危険物は、AR視野Uに含まれていないと特定される。
【0036】
そして、表示制御部65は、AR位置情報、方位情報、及び姿勢情報に基づいて幾何変換行列を求める。
このとき、表示制御部65は、危険物が固定されている場合は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する座標(範囲座標)を算出し、算出した範囲座標に幾何変換行列を適用して危険範囲画像(拡張画像)を生成する。
【0037】
他方、危険物が移動する場合は、表示制御部65は、映像データ(映像データを構成する画像データ)を解析して、特定した危険物に付された測位基準を示すマーカの基準座標系における座標を特定し、特定した座標を起点として状態ごとの危険範囲に対応する範囲座標を算出し、算出した範囲座標に幾何変換行列を適用して拡張画像を生成する。
【0038】
なお、拡張画像を生成する方法は、上述した構成に限られるものではない。例えば、表示制御部65は、仮想座標系における、危険物位置情報に対応する点とAR位置情報に対応する点とを映像データに基づいて算出し、これらの点の距離(相対距離)、及び、基準座標系における、危険物位置情報とAR位置情報との距離(絶対距離)から倍率を算出して拡張画像を生成してもよい。
このとき、表示制御部65は、危険物が固定されている場合は、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
他方、危険物が移動する場合は、表示制御部65は、映像データ(映像データを構成する画像データ)を解析して、特定した危険物に付された測位基準を示すマーカの基準座標系における座標を特定し、特定した座標に幾何変換行列を適用して仮想座標系における座標(表示座標)を算出し、算出した表示座標を基点として、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
【0039】
ステップS75では、表示制御部65は、拡張画像が現実空間の危険物に重畳されるように、表示装置20を透過制御し(危険物を視認可能にし)、拡張画像を表示する。
付言するならば、表示制御部65は、AR視野に含まれる危険物を複数、特定した場合は、複数の危険物の各々について拡張画像を生成して表示する。なお、表示制御部65は、生成した拡張画像を映像データに重畳して表示装置20に表示してもよい。
また、拡張画像を表示する方法は、上述した構成に限られるものではない。例えば、予め登録されている危険物を特定するための情報(特徴量など)が情報処理装置200から危険物IDに基づいて取得され、表示制御部65は、特徴量などを用いて映像データについて認識処理を行って危険物を特定し、特定した危険物の座標に危険範囲画像(拡張画像)を表示してもよい。この構成によれば、拡張画像を表示する位置を現実空間により適した位置に補正することができる。
【0040】
図12Aに、危険物が固定されている場合の表示例として、クレーン(危険物ID「001」、状態「東側のみ稼動時」)500に拡張画像510が重畳して表示されたときの一例を示す。この例では、状態ごとの危険範囲において高さが「20m」に設定されているので立体的な(三次元の)拡張画像510が表示される。なお、高さが「0m」に設定されている場合は、平面的な(二次元の)拡張画像520が表示される。図12Bに、二次元の拡張画像520が表示されたときの一例を示す。
また、図12Cに、危険物が移動する場合の表示例として、測位基準を示すマーカ620が付されたクレーン車(危険物ID「011」、状態「移動」)600に拡張画像610が重畳して表示されたときの一例を示す。
【0041】
本実施形態では、危険範囲画像を生成して表示する構成を説明したが、この構成に限られるものではない。例えば、安全表示機能の利用の有無を識別するモード(安全表示モード)を設け、表示制御部65は、安全表示モードがONであるときは、危険範囲画像に加えて又は代えて、安全に関する画像(退避経路画像、或いは安全地帯画像)を表示装置20に表示してもよい。
例えば、表示制御部65は、危険範囲画像を解析して危険範囲画像でない部分(危険範囲とされていない範囲)を安全な範囲として特定し、安全な範囲を示す画像(安全地帯画像)を生成する。また、例えば、表示制御部65は、予め設定された工場の出口の位置を示す位置情報とAR位置情報とに基づいて退避経路を算出し、算出した退避経路を示す画像(退避経路画像)を生成する。図12Dに、安全に関する画像が表示されたときの一例(退避経路画像700)を示す。
なお、ユーザは、安全表示モードを切り替えるスイッチ(図示せず)を押下することで、安全表示モードのON/OFFを切り替える。
【0042】
ステップS80では、表示制御部65は、表示を中止するか否かを判断する。このとき、ARモードがONであるときは、表示制御部65により表示を中止しないと判断され、続いて、ステップS45の処理が行われる。他方、ARモードがOFFであるときは、表示制御部65により表示を中止すると判断され、表示処理が終了される。
【0043】
図13は、AR提供装置100における各機能により行われる表示処理に係るフローチャートの一例を示す図である。本表示処理は、ステップS75の処理に続いて、或いは、ステップS70及びステップS75の処理に代えて行われる。
はじめに、取込部55は、危険物の移動の予定を示す移動予定情報の一例である運行計画情報を情報処理装置200から取り込む(ステップS85)。運行計画情報には、危険物の運行予定の位置を示す運行位置情報とそのときの時刻を示す運行時刻情報とが含まれている。
次に、ステップS90では、表示制御部65は、危険予定範囲を特定する。より具体的には、表示制御部65は、危険物位置情報を中心に予め定められた範囲(例えば、半径50mの円の内側)を危険予定範囲として特定する。
【0044】
次に、ステップS95では、表示制御部65は、取得された運行計画情報と現在の時刻とに基づいて、危険予定範囲に危険物が進入するか否かを判定する。より具体的には、表示制御部65は、現在の時刻から一定の時間内(例えば、5分以内)の運行位置情報を運行計画情報から取得し、取得した運行位置情報が危険予定範囲に含まれるか否かを判定する。このとき、表示制御部65は、含まれる(危険予定範囲に危険物が進入する)と判定した場合は、続いて、ステップS100の処理を行い、他方、含まれない(危険予定範囲に危険物が進入しない)と判定した場合は、表示処理を終了する。なお、危険物位置情報がAR視野に含まれている場合、表示制御部65は、含まれないと判定する。
ステップS100では、表示制御部65は、危険物が接近している旨の画像を表示装置20に表示する。より具体的には、表示制御部65は、取得した運行予定位置及び計測結果より、危険物が接近してくる方向を特定し、特定した方向から危険物が接近していることを報知する画像を表示装置20に表示する。図14に、ユーザの左側から危険物(AGV:Automatic Guided Vehicle)が接近しているときの表示の一例(警告表示画像800)を示す。
【0045】
なお、表示制御部65は、危険予定範囲に危険物が進入するか否かを判定しているが、この構成に限られるものではない。例えば、現在の時刻、運行計画情報、及び計測結果に基づいて、AR提供装置100に危険物が接近しているか否かを判定してもよい。
【0046】
(第2の実施形態)
第1の実施形態では、AR提供装置100が撮影装置35を有する構成を採用したが、第2の実施形態に係るAR提供装置100は、撮影装置35を有していないことを特徴とする。以下では、第1の実施形態と異なる主な構成について説明する。
図15は、AR提供装置100における各機能により行われる表示処理に係るフローチャートの一例を示す図である。第1の実施形態の図10で示した処理と同一の処理については同一の符号を付し、説明を省略する。なお、AR提供装置100は、撮影装置35を有していないので、図10に示すステップS50の処理は行われない。
【0047】
ステップS205では、表示制御部65は、計測結果と対象データとに基づいてAR視野に含まれる危険物の危険範囲画像(拡張画像)を生成する。
より具体的には、まず、表示制御部65は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。
そして、表示制御部65は、AR位置情報、方位情報、及び姿勢情報に基づいて幾何変換行列を求める。
そして、表示制御部65は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する範囲座標を算出し、算出した範囲座標に幾何変換行列を適用して拡張画像を生成する。なお、第1の実施形態では、危険物が固定されているか否かに応じて、異なる拡張画像の生成方法を採用したが、第2の実施形態では、マーカを撮影できないので、危険物が固定されているか否かに拘わらず、上述した方法で拡張画像を生成する。
【0048】
(その他の実施形態)
上述したAR提供装置は、情報処理装置から危険物に関する情報などを取得して拡張画像を生成するが、これに限られるものではない。例えば、AR提供装置は、危険物を特定するための情報(特徴量、危険物の画像データなど)を記憶装置10に記憶し、撮影装置35で撮影した映像データを解析して、映像データに含まれる危険物を認識処理により特定し、特定した危険物が反復動作(回転運動、往復運動など)をしていると判断したときは、特定した危険物による危険範囲を想定して危険範囲画像(拡張画像)を生成してもよい。
また、AR提供装置としては、様々な形態のものを採用することができる。例えば、携帯端末型のAR提供装置を採用してもよい。この場合、透過型の液晶ディスプレイに代えて、非透過型の液晶ディスプレイを採用してもよい。また、例えば、光学的に透過して映し出される現実空間の対象物に拡張画像を合成表示するヘッドアップディスプレイ型のAR提供装置を採用してもよい。
更に、上述した実施形態では、AR提供装置100と情報処理装置200とで、それぞれ機能分担させたが、これらは1つの装置で行ってもよく、或いは、拡張画像をAR提供装置100ではなく情報処理装置200が生成するなど、本実施形態で示した装置とは別の装置が同様の機能を司るようにしてもよい。
【0049】
また、上述した実施形態では、固定された危険物として、クレーン、ガス管、旋盤を例示しているが、これらに限られるものではない。例えば、危険物として電力を送るための送電線を採用してもよい。このとき、稼働状態検出センサは、電圧が規定値(規定ボルト)に達したときに、稼働している(危険である)と検出する。また、例えば、危険物として流体を送るための配管を採用してもよい。このとき、稼働状態検出センサは、流体の温度が規定値(規定温度)に達したときに、稼働していると検出する。また、例えば、危険物として砥石車を回転して工作物の面を研削仕上げする研削盤(グラインダ)を採用してもよい。このとき、稼働状態検出センサは、作動状況信号や作動予定信号を検知して、稼働していると検出する。
【0050】
また、上述した実施形態では、危険物がAR提供装置100によって認識された場合には、当該危険物の危険範囲の拡張画像を生成して表示する構成であったが、必ずしもAR提供装置100によって認識された全ての危険物について危険範囲の拡張画像を生成して表示する必要はない。
例えば、AR提供装置100の視界に複数の危険物が捉えられたときに、それら全ての危険物について危険範囲が一斉に提示された場合、どこに注意するべきかユーザは混乱する可能性がある。より具体的には、現時点ではまだそれほどユーザにとって危険ではないような遠方にある危険物に対してまで危険範囲の拡張画像を生成して提示する必要はない。むしろ、そのようなあまり危険性のない危険物についてまで拡張画像を提示することで、ユーザは本当に注意する必要がある近くにある危険物についての拡張画像を見落としてしまう可能性もある。
【0051】
そこで、ユーザに対して現時点で危険範囲を表示する必要がある危険物についてのみ、危険範囲を示す拡張画像を提示する構成を採用してもよい。この構成について、より具体的に説明すれば以下のとおりである。
この構成では、AR提供装置100は、例えばユーザの位置が危険物から所定の距離以下(予め定められた閾値以下)となった場合にのみ、ユーザに対して危険物の危険範囲の拡張画像を生成する。図16は、危険物に関する情報を格納するテーブルの一例(位置固定対象テーブル910)を示す図である。なお、図16に示すテーブルでは、図5に示すテーブルと比べて、表示条件の項目が追加されている。
位置固定対象テーブル910を用いる構成では、例えば、危険物ID「001」のクレーンの表示条件が30m以内となっているので、AR提供装置100は、危険物ID「001」のクレーンまでの距離が30m以内の場合のみ拡張画像を生成してユーザに提示する。その他の項目については、図5に示すテーブルと同じであるので、説明を省略する。
【0052】
図17は、表示処理に係るフローチャートの一例を示す図である。なお、図17に示すフローチャートでは、図10に示すフローチャートと比べて、AR提供装置100と危険物との距離を判定するステップS305が追加されている。
ステップS305では、表示制御部65は、AR視野に含まれる危険物を特定すると、危険物までの距離を取得する。
AR提供装置100と危険物との間の距離については、表示制御部65がAR提供装置100の現在の位置を示す情報(AR位置情報)と図16に示す危険物の基準位置とに基づいて算出する構成とすることができる。或いは、AR提供装置100に計測部を設けておき、計測部が対象の危険物に対してレーザーを発射し、発射されたレーザーが危険物で反射して計測部に戻ってくるまでの時間から距離を計測部が計測する構成であってもよい。なお、ステップS305以外のステップについては、図10に示すフローチャートと同じであるので、説明を省略する。
【0053】
また、表示制御部65は、位置固定対象テーブル910から表示条件として格納されている距離を読み出し、危険物からの距離の測定結果と比較する。そして、危険物からの距離の測定結果が、位置固定対象テーブル910に格納されている表示条件を満たしている場合、処理はステップS70に遷移する。
例えば、危険物ID「001」のクレーンである場合、表示制御部65は、AR視野に含まれるクレーンを特定すると、クレーンまでの距離を取得する。また、表示制御部65は、位置固定対象テーブル910から、危険物ID「001」のクレーンに対応する表示条件「30m以内」を読み出す。そして、表示制御部65は、取得したクレーンまでの距離が表示条件の「30m以内」であるか否かを判定する。判定の結果、30m以内の場合には、処理はステップS70に移り、表示制御部65は、危険物に対して危険範囲を表す拡張画像を生成し、重畳して表示する。一方、30mを超える場合には、処理はステップS45に戻ることになる。
【0054】
なお、上述の例では、図5に示す位置固定対象テーブルに表示条件の項目を追加した例について説明したが、図6に示す移動対象テーブルに表示条件の項目を追加し、移動する危険物に対して図17に示すフローチャートを適用する構成であってもよく、特に限定はされない。
また、上述した実施形態では、作業員に対して危険物に関する情報などを提示する構成であるが、作業員のほかにも作業現場を巡回する警備員に対して危険物に関する情報を提供する構成であってもよく、特に限定はされない。
上述した実施形態の構成によれば、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することができる。
【0055】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0056】
100 AR提供装置
200 情報処理装置
【技術分野】
【0001】
本発明は、情報提供装置、情報提供方法、及びプログラムに関する。
【背景技術】
【0002】
工場や工事現場など、作業員が作業を行う上で危険な個所には、ペンキ等で危険な領域が示されていたり、看板などが掲示されていたりする。これらの危険な個所の表示(危険個所表示)は、固定的であるため、危険がおよび得る範囲に網羅的に表示や掲示がされているのが通常である。
ところで、危険な個所は、常に危険である場合と、時間的に見て特定な時期だけ危険である場合とがある。例えば、工場内のクレーン作業が行われるような場所は、クレーンが稼働しているときだけ吊荷の下が危険な個所となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−7703号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、固定式のクレーンアーム等の従来の危険個所表示においては、例えば、クレーンアームの可動範囲の全てが危険な個所とみなされ、地面に危険個所表示(ハッチング表示など)がなされる。よって、従来の危険個所表示では、必要以上に危険な個所を特定しすぎて、危険な個所が不明確になる問題がある。また、従来の危険個所表示では、粉塵や油分などで汚れてしまい、表示そのものが見えなくなってしまったり、汚れたときに清掃や再塗装などのメンテナンスを要したりする問題もある。
一方、移動式のクレーン車などの従来の危険個所表示においては、その使用される場所が固定されていないので、クレーン車に「半径10m以内立ち入り禁止」などを表示するが、危険な個所が視認できず、危険な個所が不明確になる問題がある。また、パイロン等で物理的に立ち入れないようにすることもあるが、その準備には手間がかかる問題がある。
【0005】
本発明はこのような問題点に鑑みなされたもので、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することを目的とする。
【課題を解決するための手段】
【0006】
そこで、本発明に係る情報提供装置は、表示部を有し、記憶部と通信可能に接続された情報提供装置であって、前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、位置検出装置で検出された当該情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、方位検出装置で検出された当該情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得手段と、姿勢検出装置で検出された当該情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定する特定手段と、前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、を有する。
【0007】
ここで、「読込手段」は、例えば、後述する取込部55に対応する。「位置情報取得手段」は、例えば、後述する計測部40に対応する。「方位情報取得手段」は、例えば、方位情報取得部45に対応する。「姿勢情報取得手段」は、例えば、姿勢情報取得部50に対応する。「特定手段」は、例えば、後述する視野特定部60に対応する。「表示制御手段」は、例えば、後述する表示制御部65に対応する。
【発明の効果】
【0008】
本発明によれば、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することができる。
【図面の簡単な説明】
【0009】
【図1】情報提供システムの構成の一例を示す図である。
【図2】AR提供装置のハードウェア構成の一例を示す図である。
【図3】AR提供装置の機能構成の一例を示す図である。
【図4】情報処理装置のハードウェア構成の一例を示す図である。
【図5】危険物に関する情報を格納するテーブルの一例を示す図である。
【図6】危険物に関する情報を格納するテーブルの一例を示す図である。
【図7】稼働状態設定処理に係るフローチャートの一例を示す図である。
【図8】稼働状態設定処理に係るフローチャートの一例を示す図である。
【図9】位置情報設定処理に係るフローチャートの一例を示す図である。
【図10】表示処理に係るフローチャートの一例を示す図である。
【図11】AR視野の一例を示す図である。
【図12A】三次元の拡張画像が表示されたときの一例を示す図である。
【図12B】二次元の拡張画像が表示されたときの一例を示す図である。
【図12C】拡張画像が表示されたときの一例を示す図である。
【図12D】拡張画像が表示されたときの一例を示す図である。
【図13】表示処理に係るフローチャートの一例を示す図である。
【図14】危険物が接近しているときの表示の一例を示す図である。
【図15】表示処理に係るフローチャートの一例を示す図である。
【図16】危険物に関する情報を格納するテーブルの一例を示す図である。
【図17】表示処理に係るフローチャートの一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面に基づいて説明する。
【0011】
(第1の実施形態)
図1は、本実施形態に係る情報提供システムの構成の一例を示す図である。情報提供システムは、AR提供装置100と情報処理装置200とを有する。AR提供装置100と情報処理装置200とは、ネットワークを介して通信可能に接続されている。
AR提供装置100は、情報提供装置(コンピュータ)の一例であり、HMD(Head Mounted Display)等であり、AR提供装置100を介して知覚できる現実空間に整合する位置に、AR提供装置100で生成した画像(コンピュータグラフィックス画像)を表示することにより、拡張された現実感(AR:Augmented Reality)を提供する。AR提供装置100は、例えば、現実空間のクレーン車300に、クレーン車300による危険な範囲を示す危険範囲画像310を重畳して表示する。なお、情報処理装置200は、例えばサーバコンピュータであり、クレーン車300等の危険物(危険対象の一例である。)に関する各種の情報を管理する。付言するならば、危険対象は、危険物そのものに限られるものではなく、不特定多数の危険物が頻繁に通る道路など、危険に係る場所や空間を含むものである。
【0012】
図2は、AR提供装置100のハードウェア構成の一例を示す図である。
AR提供装置100は、制御装置5、記憶装置10、通信装置15、表示装置20、方位検出装置25、姿勢検出装置30、及び撮影装置35を有する。
制御装置5は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置10よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、AR提供装置100における後述の機能、及び後述のフローチャートに係る処理が実現される。
【0013】
記憶装置10は、ROM(Read Only Memory)、RAM(Random Access Memory)、HD(Hard Disk)等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置10(ROM)は、AR提供装置100の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置10(RAM)は、AR提供装置100のメインメモリとして機能する。また、記憶装置10(HD)は、プログラム以外に制御装置5により算出された数値データ等を記憶する。なお、AR提供装置100は、記憶装置10に記憶される各種の情報を、CD−ROM等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
通信装置15は、情報処理装置200と有線又は無線で通信を行い、危険物に関する各種の情報を取得する。また、通信装置15は、位置検出装置の一例である衛星と通信を行い、軌道情報を取得する。
表示装置20は、表示部の一例であり、透過型の液晶ディスプレイ等であり、各種の画像を表示する。
【0014】
方位検出装置25は、例えば電子コンパスであり、微弱な地磁気(例えば前後方向の地磁気及び左右方向の地磁気)を検知し、地磁気の強さから北の方向を計算してAR提供装置100の方位(方位情報)を算出する。
姿勢検出装置30は、例えばジャイロセンサであり、物体の角速度を検知し、角速度を積分などして角度(AR提供装置100の姿勢(姿勢情報))を算出する。
撮影装置35は、現実空間の撮影を行う。
【0015】
なお、AR提供装置100のハードウェア構成は、これに限られるものではない。例えば、方位検出装置25及び姿勢検出装置30に代えて、方位検出装置25及び姿勢検出装置30の機能を一体とした機能を有する方位姿勢検出装置を採用してもよい。
【0016】
図3は、AR提供装置100の機能構成の一例を示す図である。
AR提供装置100は、計測部40、方位情報取得部45、姿勢情報取得部50、取込部55、視野特定部60、表示制御部65、及び映像取得部70を有する。
計測部40は、位置情報取得手段の一例であり、通信装置15を介して衛星から取得された軌道情報から、AR提供装置100の現在の位置を示す情報(装置位置情報の一例であるAR位置情報)を計測(算出して取得)する。
方位情報取得部45は、方位検出装置25で算出された方位情報を取得する。なお、方位情報取得部45は、方位検出装置25から地磁気などの検出された情報を受け取り、方位情報を算出してもよい。
姿勢情報取得部50は、姿勢検出装置30で算出された姿勢情報を取得する。なお、姿勢情報取得部50は、姿勢検出装置30から角速度などの検出された情報を受け取り、姿勢情報を算出してもよい。
【0017】
取込部55は、情報処理装置200が有する後述の記憶装置80から、危険物に関する各種の情報として、危険物による危険な範囲を示す危険範囲画像を生成するときに用いる情報が格納されたテーブル(後述の位置固定対象テーブル、後述の移動対象テーブル等)から必要な情報を取り込む(読込む)。
視野特定部60は、方位情報取得部45で取得された方位情報、及び姿勢情報取得部50で取得された姿勢情報などに基づいて、AR提供装置100を装着しているユーザの視野(AR視野)を特定(推定)する。
【0018】
表示制御部65は、方位情報取得部45で取得された方位情報、姿勢情報取得部50で取得された姿勢情報、及び取込部55で取り込まれた情報などに基づいて、拡張画像を生成して表示装置20に表示する。このとき、表示制御部65は、現実空間の危険物に拡張画像を整合させて表示装置20に表示するために、座標合わせを行う。
現実空間と表示空間(仮想空間)との間の座標合わせ(幾何位置合わせ)を正確に行うためには、仮想空間の拡張画像を生成するためのパラメータ(内部パラメータ及び外部パラメータ)を、表示装置20のパラメータと一致させる必要がある。表示装置20の内部パラメータが既知であるので、幾何位置合わせの問題は、表示装置20の外部パラメータ(即ち、AR提供装置100の位置及び姿勢)を求める問題に帰結される。
【0019】
ここで、AR提供装置100の位置及び姿勢を求めるには、方位検出装置25(磁気センサ)、姿勢検出装置30(ジャイロセンサ)、制御装置5(GPS)、及び表示装置20を適宜組み合わせて、様々な手法を採用することができる。換言するならば、センサによる計測結果(AR位置情報、方位情報、及び姿勢情報)を用いる手法、表示装置20により撮影された画像を用いる手法、表示装置20とセンサとを組み合わせて位置合わせのずれを補完する手法に大別できる。
本実施形態では、表示装置20の内部パラメータ(焦点距離、レンズ歪み、アスペクト比など)が事前にキャリブレーションされていることを前提として、表示制御部65は、計測されたAR提供装置100のAR位置情報、方位情報、及び姿勢情報を取得することで、仮想環境を表す仮想座標系と予め与えられた現実空間の基準座標系との間の幾何変換行列(仮想座標系と基準座標系との変換が対応付けられた変換情報)を求める方法を採用して説明を行う。
なお、上述したように、表示制御部65は、例えば、撮影された画像中に存在する何らかの指標を用いて表示装置20の外部パラメータ(位置及び姿勢)を実時間で推定することで、幾何変換行列を求めてもよい。このとき、AR提供装置100の位置及び姿勢を推定するための指標としては、意図的に付されたマーカなどの指標を用いていてもよいし、輪郭情報、輝度エッジ、特徴点などの自然特徴を用いてもよい。
映像取得部70は、撮影装置35で撮影された現実空間の映像データを取得する。
【0020】
図4は、情報処理装置200のハードウェア構成の一例を示す図である。
情報処理装置200は、制御装置75、記憶装置80、通信装置85、表示装置90、及び入力装置95を有する。
制御装置75は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置80よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、情報処理装置200における後述の機能、及び後述のフローチャートに係る処理が実現される。
【0021】
記憶装置80は、記憶部の一例であり、ROM(Read Only Memory)、RAM(Random Access Memory)、HD(Hard Disk)等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置10(ROM)は、情報処理装置200の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置80(RAM)は、情報処理装置200のメインメモリとして機能する。また、記憶装置80(HD)は、プログラム以外に制御装置75により算出された数値データ等を記憶する。なお、情報処理装置200は、記憶装置80に記憶される各種の情報を、CD−ROM等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
通信装置85は、危険物が稼働している状態(稼働状態)を検出する稼働状態検出センサと通信を行い、稼働状態検出センサから危険物の現在の位置を示す情報(危険対象位置情報の一例である危険物位置情報)等を取得する。
表示装置90は、液晶ディスプレイ等であり、各種の情報を表示する。
入力装置95は、ユーザが操作するキーボード及びマウス等であり、情報処理装置200に各種の情報を入力する。
【0022】
図5は、危険物に関する情報を格納するテーブルの一例(位置固定対象テーブル210)を示す図である。
位置固定対象テーブル210は、危険物ID、危険物名、危険種別、基準位置、状態、状態ごとの危険範囲、現状の情報を含んで構成される。現状の情報を除いた各種の情報は、例えば管理者により入力装置95等を介して設定されている。現状の情報についての設定については後述する。
危険物IDの情報は、危険物を識別するための識別情報である。危険物名の情報は、危険物の名称を示す情報である。危険種別の情報は、危険物による危険の種別を示す情報である。
基準位置の情報は、危険物が設置されている位置(緯度及び経度)を示す情報(設置位置情報)である。なお、設置位置情報は、固定されている危険物の位置を示す情報であり、危険物の現在の位置を示しているので、危険物位置情報と等価である。また、設置位置情報は、危険範囲画像を表示する位置を特定する情報(表示位置情報)としても用いられることがある。ここで、例えば、緯度が「35.354417」であり、経度が「139.867623」である位置情報の場合は、位置情報「35.354417,139.867623」として表すものとする。本実施形態では、説明の便宜上、危険物の高度については「0」であるものとして取り扱う。
【0023】
状態の情報は、危険物の稼働状態を識別するための情報(状態識別情報)である。図5には、状態識別情報が2種類、示されている。1つ目は、現在の時刻に基づいて危険物が稼働しているか否かを識別するための状態識別情報(「9:00〜17:00」、稼働時など)である。2つ目は、危険物が稼働するとき(稼働しているとき)の態様に基づいて危険物が何れの態様で稼働しているかを識別するための状態識別情報(フル稼働時、東側のみ稼働時など)である。
状態ごとの危険範囲の情報は、危険範囲情報の一例であり、危険物の状態に対応した危険範囲を示す情報である。現状の情報は、危険物が稼働しているか否かを示す情報である。本実施形態では、危険物が稼働しているときは、情報処理装置200により、「○」が設定され、危険物が稼働していないときは何も設定されない(クリアされている)ものとする。
【0024】
図6は、危険物に関する情報を格納するテーブルの一例(移動対象テーブル220)を示す図である。
移動対象テーブル220は、危険物ID、危険物名、危険種別、測位基準、状態、状態ごとの危険範囲、現状、現在位置の情報を含んで構成される。現状の情報及び現在位置の情報を除いた各種の情報は、例えば管理者により入力装置95等を介して設定されている。現状の情報及び現在位置の情報の設定については後述する。
測位基準の情報は、危険範囲画像を表示する位置を示す情報(表示位置情報)である。現在位置の情報は、危険物の現在の位置を示す情報(危険物位置情報)である。なお、図5で示した項目と同一の項目については、説明を省略する。
ここで、本実施形態では、危険物に関する情報が、テーブルの形式で、かつ危険物の種類(固定された危険物であるか、移動する危険物であるか等)に応じて複数のテーブルに格納されているが、この構成に限られるものではない。例えば、危険物に関する情報を一又は複数のファイルとして格納する構成を採用してもよい。また、例えば、危険物に関する情報を一のテーブルとして格納する構成を採用してもよい。
【0025】
図7は、情報処理装置200の機能の一例である稼働状態設定部により行われる「現状」の設定を行う処理(稼働状態設定処理)に係るフローチャートの一例を示す図である。なお、図7に示すフローチャートの処理は、一定間隔(例えば、1分)ごとに行われる。
はじめに、稼働状態設定部は、現在の時刻を取得する(ステップS5)。
次に、稼働状態設定部は、記憶装置80から危険物に関する情報を読み出す(ステップS10)。
次に、稼働状態設定部は、現在の時刻と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS15)、稼働状態設定処理を終了する。
より具体的には、稼働状態設定部は、危険物に関する情報を順次読み出し、状態の情報が、現在の時刻に基づいて危険物が稼働しているか否かを識別するための状態識別情報(時間帯)である場合は、現在の時刻がこの時間帯に含まれているか否かを判定する。このとき、稼働状態設定部は、現在の時刻がこの時間帯に含まれていると判定した場合は、「現状」に「○」を設定する。他方、稼働状態設定部は、現在の時刻がこの時間帯に含まれていないと判定した場合は、「現状」をクリアする。
【0026】
ここで、現在の時刻が「15:00」であるときに、図7に示すフローチャートの処理が行われる場合を例に挙げて説明する。
まず、ステップS5では、稼働状態設定部は、現在の時刻「15:00」を取得する。
次に、ステップS10では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、状態の情報を読み出す。
次に、ステップS15では、稼働状態設定部は、状態の情報に対応する「現状」を1件ずつ設定するが、例えば状態の情報として時間帯「9:00〜17:00」が読み出されたときは、現在の時刻「15:00」が時間帯「9:00〜17:00」に含まれているか否かを判定する。そして、稼働状態設定部は、現在の時刻「15:00」が時間帯「9:00〜17:00」に含まれていると判定し、状態の情報(時間帯「9:00〜17:00」)に対応する「現状」に「○」を設定する。
【0027】
なお、「現状」を設定する処理は、上述の処理に限られるものではない。例えば、ステップS5〜ステップS15の処理に代えて、稼働状態設定部は、稼働状態検出センサより危険物の稼働の有無を示す情報を受信し、実際に危険物が稼働しているか否かを判定し、危険物が稼働していると判断したときには「現状」に「○」を設定し、危険物が稼働していないと判断したときには「現状」をクリアする処理を行ってもよい。
【0028】
図8は、情報処理装置200の機能の一例である稼働状態設定部により行われる「現状」の設定を行う処理(稼働状態設定処理)に係るフローチャートの一例を示す図である。なお、図8に示すフローチャートの処理は、稼働状態検出センサより危険物状態情報を受信したことを契機に行われる。
【0029】
はじめに、稼働状態設定部は、稼働状態検出センサより、危険物状態情報を受信する(ステップS20)。危険物状態情報には、危険物IDの情報、及び危険物の稼働の態様を示す情報(稼働態様情報)が含まれる。例えば、稼働態様情報としては、危険物が稼働していないときは「0」、危険物が第1の態様で稼働しているときは「1」、危険物が第2の態様で稼働しているときは「2」等が設定されている。
次に、稼働状態設定部は、記憶装置80から危険物に関する情報を読み出す(ステップS25)。より具体的には、稼働状態設定部は、危険物状態情報に含まれる危険物IDの情報に対応する危険物に関する情報を読み出す。
次に、稼働状態設定部は、受信した危険物状態情報と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS30)、稼働状態設定処理を終了する。
より具体的には、稼働状態設定部は、読み出した危険物に関する情報から危険物状態情報に含まれる稼働態様情報に対応する「状態」を特定できた場合は、特定した「状態」に対応する「現状」に「○」を設定する。他方、稼働状態設定部は、特定できなかった場合(稼働態様情報が、危険物が稼働していないことを示す情報であった場合)は、読み出した全ての「現状」をクリアする。
【0030】
ここで、危険物ID「001」の稼働状態を検出する稼働状態検出センサより危険物状態情報(危険物ID「001」、稼働態様情報「2」)を受信したときに、図8に示すフローチャートの処理が行われる場合を例に挙げて説明する。
まず、ステップS20では、稼働状態設定部は、危険物ID「001」の危険物「クレーン」の稼働状態を検出する稼働状態検出センサより危険物状態情報を受信する。
次に、ステップS25では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、危険物ID「001」に対応する状態「フル稼働時」及び「東側のみ稼働時」を読み出す。本実施形態では、状態「フル稼働時」としては、第1の態様での稼働として「1」が規定され、状態「東側のみ稼働時」としては、第2の態様での稼働として「2」が規定されているものとする。
次に、ステップS30では、稼働状態設定部は、読み出した状態「フル稼働時:1」及び「東側のみ稼働時:2」から危険物状態情報に含まれる稼働態様情報「2」に対応する状態「東側のみ稼働時」を特定し、特定した状態「東側のみ稼働時」に対応する「現状」に「○」を設定する。
【0031】
図9は、情報処理装置200の機能の一例である位置情報設定部により行われる危険物の現在の位置情報を設定する処理(位置情報設定処理)に係るフローチャートの一例を示す図である。
はじめに、位置情報設定部は、危険物の位置を計測する計測器(或いは、計測器を有する危険物)より、危険物特定情報を受信する(ステップS35)。危険物特定情報には、危険物の現在の位置情報(危険物位置情報)と危険物IDの情報とが含まれる。なお、危険物位置情報に代えて、危険物位置情報を算出するための軌道情報等を受信し、位置情報設定部が危険物位置情報を算出する構成を採用してもよい。
次に、位置情報設定部は、受信した危険物位置情報と危険物に関する情報とに基づいて「現在位置」を設定(更新)し(ステップS40)、位置情報設定処理を終了する。
例えば、ステップS40では、位置情報設定部は、危険物ID「010」、危険物位置情報「35.355187,139.874618」が含まれる危険物特定情報を受信したときは、位置固定対象テーブル210及び移動対象テーブル220を参照し、危険物ID「010」に対応する「現在位置」に危険物位置情報「35.355187,139.874618」を設定する。
【0032】
図10は、AR提供装置100における各機能により行われる表示処理に係るフローチャートの一例を示す図である。表示処理は、AR機能の利用の有無を識別するモード(ARモード)がONであるときに、繰り返して行われるものとする。なお、ユーザは、ARモードを切り替えるスイッチ(図示せず)を押下することで、ARモードのON/OFFを切り替える。
はじめに、ステップS45では、取込部55は、位置固定対象テーブル210及び移動対象テーブル220から現状「○」となっている対象データを情報処理装置200から取り込む(抽出する)。なお、位置固定対象テーブル210から抽出される対象データには、危険物ID、基準位置、及び状態ごとの危険範囲の情報が含まれる。また、移動対象テーブル220から抽出される対象データには、危険物ID、測位基準、状態ごとの危険範囲、現在位置の情報が含まれる。
本実施形態では、図5及び図6に示すように、現状「○」となっている対象データとして、4つ読み込まれる。例えば、危険物ID「001」の状態「2(東側のみ稼働)」により特定される対象データが読み込まれ、この対象データには、危険物ID「001」、基準位置「35.354417,139.867623」、及び状態ごとの危険範囲「半径15m、高さ20m、方位0°〜180°」が含まれる。
【0033】
次に、ステップS50では、映像取得部70は、撮影装置35で撮影された現実空間の映像データを取得する。
次に、ステップS55では、計測部40は、通信装置15を介して衛星から取得された軌道情報から、AR提供装置100の現在の位置を示す情報(AR位置情報)を計測する。
次に、ステップS60では、向き特定部(方位情報取得部45及び姿勢情報取得部50)は、AR提供装置100の向き(方位及び姿勢)を特定する。すなわち、方位情報取得部45は、方位検出装置25で算出された方位情報を取得し、姿勢情報取得部50は、姿勢検出装置30で算出された姿勢情報を取得する。
【0034】
次に、ステップS65では、視野特定部60は、計測結果(ステップS50及びステップS55で取得された情報)等に基づいて、表示装置20を装着したユーザのAR視野を特定する。
ここで、図11に、ユーザ400のAR視野Uの一例を示す。本実施形態では、危険物の高度は「0」と設定しているので、AR視野は平面的に(二次元で)特定されている。しかしながら、危険物位置情報に高度を加味する場合は、AR視野は立体的に(三次元で)特定されてもよい。
また、本実施形態では、ユーザ400の視界として、例えば、左右方向160°(高度を加味する場合は例えば上下方向120°)の範囲の情報(視界情報)が予め設定され、記憶装置10に格納されている。
例えば、視野特定部60は、AR位置情報410を基準とした予め定められた範囲(例えば、半径100m)内であって、方位情報420を中心とした視界をAR視野Uとして特定する。
【0035】
次に、ステップS70では、表示制御部65は、映像データと計測結果と対象データとに基づいてAR視野に含まれる危険物の危険範囲画像(拡張画像)を生成する。
より具体的には、まず、表示制御部65は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。例えば、図11では、危険物位置情報430は、AR視野Uに含まれているので、危険物位置情報430に位置する危険物は、AR視野Uに含まれていると特定される。なお、危険物位置情報440は、AR視野Uに含まれていないので、危険物位置情報440に位置する危険物は、AR視野Uに含まれていないと特定される。
【0036】
そして、表示制御部65は、AR位置情報、方位情報、及び姿勢情報に基づいて幾何変換行列を求める。
このとき、表示制御部65は、危険物が固定されている場合は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する座標(範囲座標)を算出し、算出した範囲座標に幾何変換行列を適用して危険範囲画像(拡張画像)を生成する。
【0037】
他方、危険物が移動する場合は、表示制御部65は、映像データ(映像データを構成する画像データ)を解析して、特定した危険物に付された測位基準を示すマーカの基準座標系における座標を特定し、特定した座標を起点として状態ごとの危険範囲に対応する範囲座標を算出し、算出した範囲座標に幾何変換行列を適用して拡張画像を生成する。
【0038】
なお、拡張画像を生成する方法は、上述した構成に限られるものではない。例えば、表示制御部65は、仮想座標系における、危険物位置情報に対応する点とAR位置情報に対応する点とを映像データに基づいて算出し、これらの点の距離(相対距離)、及び、基準座標系における、危険物位置情報とAR位置情報との距離(絶対距離)から倍率を算出して拡張画像を生成してもよい。
このとき、表示制御部65は、危険物が固定されている場合は、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
他方、危険物が移動する場合は、表示制御部65は、映像データ(映像データを構成する画像データ)を解析して、特定した危険物に付された測位基準を示すマーカの基準座標系における座標を特定し、特定した座標に幾何変換行列を適用して仮想座標系における座標(表示座標)を算出し、算出した表示座標を基点として、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
【0039】
ステップS75では、表示制御部65は、拡張画像が現実空間の危険物に重畳されるように、表示装置20を透過制御し(危険物を視認可能にし)、拡張画像を表示する。
付言するならば、表示制御部65は、AR視野に含まれる危険物を複数、特定した場合は、複数の危険物の各々について拡張画像を生成して表示する。なお、表示制御部65は、生成した拡張画像を映像データに重畳して表示装置20に表示してもよい。
また、拡張画像を表示する方法は、上述した構成に限られるものではない。例えば、予め登録されている危険物を特定するための情報(特徴量など)が情報処理装置200から危険物IDに基づいて取得され、表示制御部65は、特徴量などを用いて映像データについて認識処理を行って危険物を特定し、特定した危険物の座標に危険範囲画像(拡張画像)を表示してもよい。この構成によれば、拡張画像を表示する位置を現実空間により適した位置に補正することができる。
【0040】
図12Aに、危険物が固定されている場合の表示例として、クレーン(危険物ID「001」、状態「東側のみ稼動時」)500に拡張画像510が重畳して表示されたときの一例を示す。この例では、状態ごとの危険範囲において高さが「20m」に設定されているので立体的な(三次元の)拡張画像510が表示される。なお、高さが「0m」に設定されている場合は、平面的な(二次元の)拡張画像520が表示される。図12Bに、二次元の拡張画像520が表示されたときの一例を示す。
また、図12Cに、危険物が移動する場合の表示例として、測位基準を示すマーカ620が付されたクレーン車(危険物ID「011」、状態「移動」)600に拡張画像610が重畳して表示されたときの一例を示す。
【0041】
本実施形態では、危険範囲画像を生成して表示する構成を説明したが、この構成に限られるものではない。例えば、安全表示機能の利用の有無を識別するモード(安全表示モード)を設け、表示制御部65は、安全表示モードがONであるときは、危険範囲画像に加えて又は代えて、安全に関する画像(退避経路画像、或いは安全地帯画像)を表示装置20に表示してもよい。
例えば、表示制御部65は、危険範囲画像を解析して危険範囲画像でない部分(危険範囲とされていない範囲)を安全な範囲として特定し、安全な範囲を示す画像(安全地帯画像)を生成する。また、例えば、表示制御部65は、予め設定された工場の出口の位置を示す位置情報とAR位置情報とに基づいて退避経路を算出し、算出した退避経路を示す画像(退避経路画像)を生成する。図12Dに、安全に関する画像が表示されたときの一例(退避経路画像700)を示す。
なお、ユーザは、安全表示モードを切り替えるスイッチ(図示せず)を押下することで、安全表示モードのON/OFFを切り替える。
【0042】
ステップS80では、表示制御部65は、表示を中止するか否かを判断する。このとき、ARモードがONであるときは、表示制御部65により表示を中止しないと判断され、続いて、ステップS45の処理が行われる。他方、ARモードがOFFであるときは、表示制御部65により表示を中止すると判断され、表示処理が終了される。
【0043】
図13は、AR提供装置100における各機能により行われる表示処理に係るフローチャートの一例を示す図である。本表示処理は、ステップS75の処理に続いて、或いは、ステップS70及びステップS75の処理に代えて行われる。
はじめに、取込部55は、危険物の移動の予定を示す移動予定情報の一例である運行計画情報を情報処理装置200から取り込む(ステップS85)。運行計画情報には、危険物の運行予定の位置を示す運行位置情報とそのときの時刻を示す運行時刻情報とが含まれている。
次に、ステップS90では、表示制御部65は、危険予定範囲を特定する。より具体的には、表示制御部65は、危険物位置情報を中心に予め定められた範囲(例えば、半径50mの円の内側)を危険予定範囲として特定する。
【0044】
次に、ステップS95では、表示制御部65は、取得された運行計画情報と現在の時刻とに基づいて、危険予定範囲に危険物が進入するか否かを判定する。より具体的には、表示制御部65は、現在の時刻から一定の時間内(例えば、5分以内)の運行位置情報を運行計画情報から取得し、取得した運行位置情報が危険予定範囲に含まれるか否かを判定する。このとき、表示制御部65は、含まれる(危険予定範囲に危険物が進入する)と判定した場合は、続いて、ステップS100の処理を行い、他方、含まれない(危険予定範囲に危険物が進入しない)と判定した場合は、表示処理を終了する。なお、危険物位置情報がAR視野に含まれている場合、表示制御部65は、含まれないと判定する。
ステップS100では、表示制御部65は、危険物が接近している旨の画像を表示装置20に表示する。より具体的には、表示制御部65は、取得した運行予定位置及び計測結果より、危険物が接近してくる方向を特定し、特定した方向から危険物が接近していることを報知する画像を表示装置20に表示する。図14に、ユーザの左側から危険物(AGV:Automatic Guided Vehicle)が接近しているときの表示の一例(警告表示画像800)を示す。
【0045】
なお、表示制御部65は、危険予定範囲に危険物が進入するか否かを判定しているが、この構成に限られるものではない。例えば、現在の時刻、運行計画情報、及び計測結果に基づいて、AR提供装置100に危険物が接近しているか否かを判定してもよい。
【0046】
(第2の実施形態)
第1の実施形態では、AR提供装置100が撮影装置35を有する構成を採用したが、第2の実施形態に係るAR提供装置100は、撮影装置35を有していないことを特徴とする。以下では、第1の実施形態と異なる主な構成について説明する。
図15は、AR提供装置100における各機能により行われる表示処理に係るフローチャートの一例を示す図である。第1の実施形態の図10で示した処理と同一の処理については同一の符号を付し、説明を省略する。なお、AR提供装置100は、撮影装置35を有していないので、図10に示すステップS50の処理は行われない。
【0047】
ステップS205では、表示制御部65は、計測結果と対象データとに基づいてAR視野に含まれる危険物の危険範囲画像(拡張画像)を生成する。
より具体的には、まず、表示制御部65は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。
そして、表示制御部65は、AR位置情報、方位情報、及び姿勢情報に基づいて幾何変換行列を求める。
そして、表示制御部65は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する範囲座標を算出し、算出した範囲座標に幾何変換行列を適用して拡張画像を生成する。なお、第1の実施形態では、危険物が固定されているか否かに応じて、異なる拡張画像の生成方法を採用したが、第2の実施形態では、マーカを撮影できないので、危険物が固定されているか否かに拘わらず、上述した方法で拡張画像を生成する。
【0048】
(その他の実施形態)
上述したAR提供装置は、情報処理装置から危険物に関する情報などを取得して拡張画像を生成するが、これに限られるものではない。例えば、AR提供装置は、危険物を特定するための情報(特徴量、危険物の画像データなど)を記憶装置10に記憶し、撮影装置35で撮影した映像データを解析して、映像データに含まれる危険物を認識処理により特定し、特定した危険物が反復動作(回転運動、往復運動など)をしていると判断したときは、特定した危険物による危険範囲を想定して危険範囲画像(拡張画像)を生成してもよい。
また、AR提供装置としては、様々な形態のものを採用することができる。例えば、携帯端末型のAR提供装置を採用してもよい。この場合、透過型の液晶ディスプレイに代えて、非透過型の液晶ディスプレイを採用してもよい。また、例えば、光学的に透過して映し出される現実空間の対象物に拡張画像を合成表示するヘッドアップディスプレイ型のAR提供装置を採用してもよい。
更に、上述した実施形態では、AR提供装置100と情報処理装置200とで、それぞれ機能分担させたが、これらは1つの装置で行ってもよく、或いは、拡張画像をAR提供装置100ではなく情報処理装置200が生成するなど、本実施形態で示した装置とは別の装置が同様の機能を司るようにしてもよい。
【0049】
また、上述した実施形態では、固定された危険物として、クレーン、ガス管、旋盤を例示しているが、これらに限られるものではない。例えば、危険物として電力を送るための送電線を採用してもよい。このとき、稼働状態検出センサは、電圧が規定値(規定ボルト)に達したときに、稼働している(危険である)と検出する。また、例えば、危険物として流体を送るための配管を採用してもよい。このとき、稼働状態検出センサは、流体の温度が規定値(規定温度)に達したときに、稼働していると検出する。また、例えば、危険物として砥石車を回転して工作物の面を研削仕上げする研削盤(グラインダ)を採用してもよい。このとき、稼働状態検出センサは、作動状況信号や作動予定信号を検知して、稼働していると検出する。
【0050】
また、上述した実施形態では、危険物がAR提供装置100によって認識された場合には、当該危険物の危険範囲の拡張画像を生成して表示する構成であったが、必ずしもAR提供装置100によって認識された全ての危険物について危険範囲の拡張画像を生成して表示する必要はない。
例えば、AR提供装置100の視界に複数の危険物が捉えられたときに、それら全ての危険物について危険範囲が一斉に提示された場合、どこに注意するべきかユーザは混乱する可能性がある。より具体的には、現時点ではまだそれほどユーザにとって危険ではないような遠方にある危険物に対してまで危険範囲の拡張画像を生成して提示する必要はない。むしろ、そのようなあまり危険性のない危険物についてまで拡張画像を提示することで、ユーザは本当に注意する必要がある近くにある危険物についての拡張画像を見落としてしまう可能性もある。
【0051】
そこで、ユーザに対して現時点で危険範囲を表示する必要がある危険物についてのみ、危険範囲を示す拡張画像を提示する構成を採用してもよい。この構成について、より具体的に説明すれば以下のとおりである。
この構成では、AR提供装置100は、例えばユーザの位置が危険物から所定の距離以下(予め定められた閾値以下)となった場合にのみ、ユーザに対して危険物の危険範囲の拡張画像を生成する。図16は、危険物に関する情報を格納するテーブルの一例(位置固定対象テーブル910)を示す図である。なお、図16に示すテーブルでは、図5に示すテーブルと比べて、表示条件の項目が追加されている。
位置固定対象テーブル910を用いる構成では、例えば、危険物ID「001」のクレーンの表示条件が30m以内となっているので、AR提供装置100は、危険物ID「001」のクレーンまでの距離が30m以内の場合のみ拡張画像を生成してユーザに提示する。その他の項目については、図5に示すテーブルと同じであるので、説明を省略する。
【0052】
図17は、表示処理に係るフローチャートの一例を示す図である。なお、図17に示すフローチャートでは、図10に示すフローチャートと比べて、AR提供装置100と危険物との距離を判定するステップS305が追加されている。
ステップS305では、表示制御部65は、AR視野に含まれる危険物を特定すると、危険物までの距離を取得する。
AR提供装置100と危険物との間の距離については、表示制御部65がAR提供装置100の現在の位置を示す情報(AR位置情報)と図16に示す危険物の基準位置とに基づいて算出する構成とすることができる。或いは、AR提供装置100に計測部を設けておき、計測部が対象の危険物に対してレーザーを発射し、発射されたレーザーが危険物で反射して計測部に戻ってくるまでの時間から距離を計測部が計測する構成であってもよい。なお、ステップS305以外のステップについては、図10に示すフローチャートと同じであるので、説明を省略する。
【0053】
また、表示制御部65は、位置固定対象テーブル910から表示条件として格納されている距離を読み出し、危険物からの距離の測定結果と比較する。そして、危険物からの距離の測定結果が、位置固定対象テーブル910に格納されている表示条件を満たしている場合、処理はステップS70に遷移する。
例えば、危険物ID「001」のクレーンである場合、表示制御部65は、AR視野に含まれるクレーンを特定すると、クレーンまでの距離を取得する。また、表示制御部65は、位置固定対象テーブル910から、危険物ID「001」のクレーンに対応する表示条件「30m以内」を読み出す。そして、表示制御部65は、取得したクレーンまでの距離が表示条件の「30m以内」であるか否かを判定する。判定の結果、30m以内の場合には、処理はステップS70に移り、表示制御部65は、危険物に対して危険範囲を表す拡張画像を生成し、重畳して表示する。一方、30mを超える場合には、処理はステップS45に戻ることになる。
【0054】
なお、上述の例では、図5に示す位置固定対象テーブルに表示条件の項目を追加した例について説明したが、図6に示す移動対象テーブルに表示条件の項目を追加し、移動する危険物に対して図17に示すフローチャートを適用する構成であってもよく、特に限定はされない。
また、上述した実施形態では、作業員に対して危険物に関する情報などを提示する構成であるが、作業員のほかにも作業現場を巡回する警備員に対して危険物に関する情報を提供する構成であってもよく、特に限定はされない。
上述した実施形態の構成によれば、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することができる。
【0055】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0056】
100 AR提供装置
200 情報処理装置
【特許請求の範囲】
【請求項1】
表示部を有し、記憶部と通信可能に接続された情報提供装置であって、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
位置検出装置で検出された当該情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
方位検出装置で検出された当該情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
姿勢検出装置で検出された当該情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定する特定手段と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
を有する情報提供装置。
【請求項2】
前記表示制御手段は、前記装置位置情報、前記方位情報、及び前記姿勢情報に基づいて現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。
【請求項3】
撮影装置により撮影された映像を入力する入力手段を更に有し、
前記表示制御手段は、前記入力手段で入力された映像を解析して現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。
【請求項4】
撮影装置により撮影された映像を入力する入力手段を更に有し、
前記表示制御手段は、前記入力手段で入力された映像を解析して、現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出すると共に、前記特定した危険対象に付された基準位置を示すマーカの現実空間の座標系における座標を特定し、特定した座標を起点として前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。
【請求項5】
前記表示制御手段は、前記表示部を透過制御して前記表示部を介して前記危険対象を視認可能にすると共に、前記危険範囲画像を表示する請求項2乃至4の何れか1項に記載の情報提供装置。
【請求項6】
前記表示制御手段は、前記入力手段で入力された映像に前記危険範囲画像を重畳して表示する請求項3又は4に記載の情報提供装置。
【請求項7】
前記読込手段は、前記記憶部に記憶された、前記危険対象が移動する予定を示す移動予定情報を更に読み込み、
前記表示制御手段は、前記視野に前記危険対象が存在しないと判断した場合、前記読込手段で読み込まれた移動予定情報、及び前記装置位置情報、並びに、現在の時刻に基づいて、前記危険対象が当該情報提供装置に接近していると判断したときは、前記危険対象による危険を報知する画像を生成して前記表示部に表示する請求項1乃至6の何れか1項に記載の情報提供装置。
【請求項8】
前記表示制御手段は、複数の危険対象について危険範囲画像を生成する場合、前記複数の危険対象の各々について危険範囲画像を生成し、生成した複数の危険範囲画像を解析して前記複数の危険対象による危険が及ばない安全地帯、或いは退避経路を特定し、特定した安全地帯、或いは退避経路を示す画像を更に生成して前記表示部に表示する請求項1乃至7の何れか1項に記載の情報提供装置。
【請求項9】
前記表示制御手段は、前記危険範囲画像を平面的または立体的に生成する請求項1乃至8の何れか1項に記載の情報提供装置。
【請求項10】
前記表示制御手段は、前記危険対象までの距離が予め定められた閾値以下である場合、前記危険範囲画像を生成して前記表示部に表示する請求項1乃至9の何れか1項に記載の情報提供装置。
【請求項11】
表示部を有し、記憶部と通信可能に接続された情報提供装置が実行する情報提供方法であって、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込工程と、
位置検出装置で検出された前記情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得工程と、
方位検出装置で検出された前記情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得工程と、
姿勢検出装置で検出された前記情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得工程と、
前記位置情報取得工程で取得された装置位置情報、前記方位情報取得工程で取得された方位情報、前記姿勢情報取得工程で取得された姿勢情報、及び予め規定された前記情報提供装置の視界情報に基づいて、前記情報提供装置の視野を特定する特定工程と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込工程で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御工程と、
を有する情報提供方法。
【請求項12】
表示部を有し、記憶部と通信可能に接続されたコンピュータを、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
位置検出装置で検出された前記コンピュータの位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
方位検出装置で検出された前記コンピュータの方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
姿勢検出装置で検出された前記コンピュータの姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された前記コンピュータの視界情報に基づいて、前記コンピュータの視野を特定する特定手段と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
して機能させるプログラム。
【請求項1】
表示部を有し、記憶部と通信可能に接続された情報提供装置であって、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
位置検出装置で検出された当該情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
方位検出装置で検出された当該情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
姿勢検出装置で検出された当該情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定する特定手段と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
を有する情報提供装置。
【請求項2】
前記表示制御手段は、前記装置位置情報、前記方位情報、及び前記姿勢情報に基づいて現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。
【請求項3】
撮影装置により撮影された映像を入力する入力手段を更に有し、
前記表示制御手段は、前記入力手段で入力された映像を解析して現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。
【請求項4】
撮影装置により撮影された映像を入力する入力手段を更に有し、
前記表示制御手段は、前記入力手段で入力された映像を解析して、現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出すると共に、前記特定した危険対象に付された基準位置を示すマーカの現実空間の座標系における座標を特定し、特定した座標を起点として前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。
【請求項5】
前記表示制御手段は、前記表示部を透過制御して前記表示部を介して前記危険対象を視認可能にすると共に、前記危険範囲画像を表示する請求項2乃至4の何れか1項に記載の情報提供装置。
【請求項6】
前記表示制御手段は、前記入力手段で入力された映像に前記危険範囲画像を重畳して表示する請求項3又は4に記載の情報提供装置。
【請求項7】
前記読込手段は、前記記憶部に記憶された、前記危険対象が移動する予定を示す移動予定情報を更に読み込み、
前記表示制御手段は、前記視野に前記危険対象が存在しないと判断した場合、前記読込手段で読み込まれた移動予定情報、及び前記装置位置情報、並びに、現在の時刻に基づいて、前記危険対象が当該情報提供装置に接近していると判断したときは、前記危険対象による危険を報知する画像を生成して前記表示部に表示する請求項1乃至6の何れか1項に記載の情報提供装置。
【請求項8】
前記表示制御手段は、複数の危険対象について危険範囲画像を生成する場合、前記複数の危険対象の各々について危険範囲画像を生成し、生成した複数の危険範囲画像を解析して前記複数の危険対象による危険が及ばない安全地帯、或いは退避経路を特定し、特定した安全地帯、或いは退避経路を示す画像を更に生成して前記表示部に表示する請求項1乃至7の何れか1項に記載の情報提供装置。
【請求項9】
前記表示制御手段は、前記危険範囲画像を平面的または立体的に生成する請求項1乃至8の何れか1項に記載の情報提供装置。
【請求項10】
前記表示制御手段は、前記危険対象までの距離が予め定められた閾値以下である場合、前記危険範囲画像を生成して前記表示部に表示する請求項1乃至9の何れか1項に記載の情報提供装置。
【請求項11】
表示部を有し、記憶部と通信可能に接続された情報提供装置が実行する情報提供方法であって、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込工程と、
位置検出装置で検出された前記情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得工程と、
方位検出装置で検出された前記情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得工程と、
姿勢検出装置で検出された前記情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得工程と、
前記位置情報取得工程で取得された装置位置情報、前記方位情報取得工程で取得された方位情報、前記姿勢情報取得工程で取得された姿勢情報、及び予め規定された前記情報提供装置の視界情報に基づいて、前記情報提供装置の視野を特定する特定工程と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込工程で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御工程と、
を有する情報提供方法。
【請求項12】
表示部を有し、記憶部と通信可能に接続されたコンピュータを、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
位置検出装置で検出された前記コンピュータの位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
方位検出装置で検出された前記コンピュータの方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
姿勢検出装置で検出された前記コンピュータの姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された前記コンピュータの視界情報に基づいて、前記コンピュータの視野を特定する特定手段と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
して機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−227879(P2011−227879A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2011−66594(P2011−66594)
【出願日】平成23年3月24日(2011.3.24)
【出願人】(000191076)新日鉄ソリューションズ株式会社 (136)
【Fターム(参考)】
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願日】平成23年3月24日(2011.3.24)
【出願人】(000191076)新日鉄ソリューションズ株式会社 (136)
【Fターム(参考)】
[ Back to top ]