情報処理装置、情報処理方法及びプログラム
【課題】施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることを目的とする。
【解決手段】撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、設備に設けられたセンサからセンサが計測した計測情報を入力する計測情報入力手段と、計測情報入力手段で入力された計測情報に基づき、設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、表示装置から表示装置の位置を表す位置情報と表示装置の向きを表す向き情報とを取得し、位置情報及び向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、作成手段で作成された仮想画像と、撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する表示制御手段と、を有することによって課題を解決する。
【解決手段】撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、設備に設けられたセンサからセンサが計測した計測情報を入力する計測情報入力手段と、計測情報入力手段で入力された計測情報に基づき、設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、表示装置から表示装置の位置を表す位置情報と表示装置の向きを表す向き情報とを取得し、位置情報及び向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、作成手段で作成された仮想画像と、撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する表示制御手段と、を有することによって課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、施設や工場等の見学は、見学者が実際の施設や設備をみたり、用意されたパネルやビデオをみたりすることが多かった。これに対して、例えば、特許文献１では、見学者の移動にあわせてその場にあった要素情報を携帯端末等で撮影した実景画像に重畳表示する仕組みが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１０２８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
施設や工場によっては、危険性があり、見学者が設備に近寄れない場合がある。また、近寄ったとしても設備の内部まで見られない場合もある。
例えば、特許文献１の技術を施設や工場の見学に適用しても、設備の名称等が仮想画像として見える程度であり、見学者にとって実感が湧かないという問題があった。
また、工場では、設備の稼働状況をシミュレーションにより予測することがあるが、シミュレーション結果としては、計算機端末の画面に２次元の断面図として表示されるに過ぎなかった。そのため、オペレータとしてはシミュレーション結果の把握が容易ではないという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、施設や工場の見学者や作業員に対して設備等の稼働状況やシミュレーションの結果を、臨場感をもって伝えることを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明の情報処理装置は、撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して前記表示装置に表示する表示制御手段と、を有する。
かかる構成とすることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
なお、情報処理装置は、例えば、後述するＡＲサーバに対応する。
【０００７】
また、本発明の情報処理装置は、設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、を有する。
かかる構成とすることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
なお、情報処理装置は、例えば、後述するＡＲサーバに対応する。
【発明の効果】
【０００８】
本発明によれば、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態１の設備案内システムのシステム構成の一例を示す図である。
【図２】図２は、ＡＲサーバのハードウェア構成の一例を示す図である。
【図３】図３は、実施形態１のＡＲサーバのソフトウェア構成の一例を示す図である。
【図４】図４は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。
【図５】図５は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その２）である。
【図６】図６は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その３）である。
【図７】図７は、実施形態１のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図８】図８は、実施形態２の設備案内システムのシステム構成の一例を示す図である。
【図９】図９は、実施形態２のＡＲサーバのソフトウェア構成の一例を示す図である。
【図１０】図１０は、実施形態２の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。
【図１１】図１１は、実施形態２のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図１２】図１２は、実施形態３のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図１３Ａ】図１３Ａは、表示レイヤごとの設備の表示の一例を示す図（その１）である。
【図１３Ｂ】図１３Ｂは、表示レイヤごとの設備の表示の一例を示す図（その２）である。
【図１３Ｃ】図１３Ｃは、表示レイヤごとの設備の表示の一例を示す図（その３）である。
【図１３Ｄ】図１３Ｄは、表示レイヤごとの設備の表示の一例を示す図（その４）である。
【図１４】図１４は、実施形態５の設備案内システムのシステム構成の一例を示す図である。
【図１５】図１５は、実施形態５のＡＲサーバのソフトウェア構成の一例を示す図である。
【図１６】図１６は、実施形態５のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図１７】図１７は、実施形態６の作業支援システムのシステム構成の一例を示す図である。
【図１８】図１８は、実施形態６の作業支援システムのソフトウェア構成の一例を示す図である。
【図１９】図１９は、実施形態６の作業支援システムにおける処理の一例を示すフローチャートである。
【図２０】図２０は、実施形態７の作業支援システムのシステム構成の一例を示す図である。
【図２１】図２１は、設備マーカー対応テーブルの一例を示す図である。
【図２２】図２２は、設備利用状況テーブルの一例を示す図である。
【図２３】図２３は、カメラ付きＨＭＤのソフトウェア構成の一例を示す図である。
【図２４】図２４は、実施形態７の作業支援システムにおける処理の一例を示すフローチャートである。
【図２５】図２５は、実施形態７の作業支援システムのシステム構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、実施形態１の設備案内システムのシステム構成の一例を示す図である。図１に示されるように、設備案内システムは、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）サーバ１と、カメラ２と、センサ３1〜３5と、表示装置４と、がネットワークを介して接続されている。
ＡＲサーバ１は、カメラ２で撮像された工場内の設備（図１の例では高炉）の撮像画像をカメラ２より入力する。なお、本実施形態を含む以下の実施形態では工場の設備の一例として、製鉄所内の設備を例に説明を行う。なお、このことは本実施形態を含む以下の実施形態を限定するものではない。
また、ＡＲサーバ１は、センサ３1〜３5で計測された計測情報（例えば、高炉の内部の温度情報等）をセンサ３1〜３5より入力する。なお、図１では、センサの数を５として示しているが、本実施の形態はこのことに限定されるものではなく、５より少なくてもよいし、５より多くてもよい。なお、本実施形態では、センサ３は、設備の外部及び内部に設けられているものとするが、例えば、設備に応じて、設備の内部だけに設けられていてもよいし、設備の外部だけに設けられていてもよい。例えば、高炉の場合、センサ３は、高炉の外部及び内部に設けられているものとする。また、後述する転炉の場合、センサ３は、転炉の内部に設けられているものとする。また、後述する連続鋳造機の場合、センサ３は、連続鋳造機の外部に設けられているものとする。また、センサは、温度情報を計測する温度センサに限定されるものでなく、例えば、気圧情報を計測する気圧センサ、又は圧力情報を計測する圧力センサ、ガスの種類及び濃度を計測するガスセンサ等であってもよい。センサ３1〜３5は、全て同じ種類のセンサ（例えば、温度センサ等）であってもよいし、違う種類のセンサ（例えば、温度センサ、ガスセンサ、圧力センサ等）であってもよい。
なお、以下では、説明の簡略化のため、特に言及しない限り、これら複数のセンサを単にセンサという。
ＡＲサーバ１は、入力した計測情報に基づき設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像と、カメラ２より入力した撮像画像と、を重畳して表示装置４に表示するよう制御する。
工場の見学者は、表示装置４を目視することによって、危険で立ち入れない領域にある設備の稼働状況や、設備内部の稼働状況等を、臨場感をもって把握することができる。
【００１２】
図２は、ＡＲサーバ１のハードウェア構成の一例を示す図である。
図２に示されるように、ＡＲサーバ１は、ハードウェア構成として、ＣＰＵ１１と、記憶装置１２と、通信装置１３と、を含む。ＣＰＵ１１は、記憶装置１２に記憶されているプログラムに基づき、ＡＲサーバ１を制御する処理等を実行する。記憶装置１２は、プログラムやＣＰＵ１１が処理を実行する際に利用するデータ等を記憶する。通信装置１３は、ＡＲサーバ１と他の装置（例えば、センサ３やカメラ２、表示装置４等）との通信を制御する。
ＣＰＵ１１が、プログラムに基づき処理を実行することによって、後述するソフトウェア構成及び後述するフローチャートにかかる処理が実現される。
【００１３】
図３は、実施形態１のＡＲサーバ１のソフトウェア構成の一例を示す図である。
図３に示されるように、ＡＲサーバ１は、ソフトウェア構成として、撮像画像入力部２１と、計測情報入力部２２と、作成部２３と、表示制御部２４と、を含む。
撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
作成部２３は、計測情報入力部２２で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
例えば、作成部２３は、計測情報入力部２２より計測情報を受け取ると共に、この計測情報がどの設備で計測されたかを示す設備情報を計測情報入力部２２より受け取る。作成部２３は、受け取った設備情報に基づいて、設備情報が示す設備が設備内部の仮想画像を生成するよう設定されている設備か否かを判定する。作成部２３は、設備情報が示す設備が設備内部の仮想画像を生成するよう設定されている設備である場合、前記設備情報に基づいて、記憶装置１２等より前記設備情報と関連付けて記憶されている設備内推定モデル（設備内推定数学モデル式）を選択する。より具体的に説明すると、記憶装置１２等には、例えば、高炉と、高炉内推定モデルと、が関連付けられて記憶されている。また、記憶装置１２等には、例えば、転炉と、転炉内推定モデルと、が関連付けられている。作成部２３は、設備情報が示す設備が高炉を示している場合、記憶装置１２等より高炉と関連付けられている高炉内推定モデルを選択する。そして、作成部２３は、選択した高炉内推定モデルに、計測情報入力部２２で入力された計測情報を代入し、高炉内の状況を推定し、高炉内の状況を表わす仮想画像を生成する。
なお、各推定モデルは、あくまでも論理的なモデルとして記憶装置１２に記憶されており、例えばセンサ３1〜３5で計測された計測情報に応じて再演算されて実際の状態に近い形の仮想画像が生成される。従って、数学モデル式であることが好ましいが、数学モデル式に基づいて予めコンピュータ・グラフィクスとして生成しておき、パラメータを変更することにより表示を変更するようにしてもよい。より具体的には、高炉内の原材料の投入量に応じて高さ方向の調整をしたり、後述する転炉の例では、炉内溶鋼の表面位置等をセンサの計測値に基づいて変更出来るようにしたりする。或いは高炉内推定モデルに対してセンサ３1〜３5で計測された温度情報を適用し、実際の温度分布を仮想画像として生成してもよい。
表示制御部２４は、作成部２３で作成された設備の外部又は内部の状況を表わす仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する（図４〜図６参照）。
【００１４】
図４は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。図４では、高炉の撮像画像と、高炉の内部の温度情報に基づいて作成された高炉内部の仮想画像と、が重畳して表示された一例が示されている。
図５は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その２）である。図５では、転炉の撮像画像と、転炉の内部の温度情報に基づいて作成された転炉内部の仮想画像と、が重畳して表示された一例が表示されている。
図６は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その３）である。図６では、連続鋳造機及び連続鋳造機の間を通る溶融状態の鋼の撮像画像と、連続鋳造機の外部の温度情報に基づいて作成された連続鋳造機を通る溶融状態の鋼の固まっていく仮想画像と、が重畳して表示された一例が表示されている。
【００１５】
図７は、実施形態１のＡＲサーバ１における表示制御処理の一例を示すフローチャート
である。
ステップＳ１０において、撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
ステップＳ１１において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ１２において、作成部２３は、ステップＳ１１で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
ステップＳ１３において、表示制御部２４は、ステップＳ１２で作成された設備の外部又は内部の状況を表わす仮想画像と、ステップＳ１０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ１４において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図７に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図７に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ１０に戻す。
なお、撮像画像入力部２１は、カメラ２で撮像が行われている限り、常時、撮像画像をカメラ２より受け取り、入力するようにしてもよい。同様に、計測情報入力部２２は、センサ３1〜３5で計測が行われている限り、常時、計測情報をセンサ３1〜３5より受け取り、入力するようにしてもよい。以下の実施形態においても同様である。このような構成とすることにより、ＡＲサーバ１は、リアルタイムで入力された計測情報に基づき、仮想画像を作成し、リアルタイムで入力された撮像画像に仮想画像を重畳して表示装置４に表示するよう制御することができる。
【００１６】
以下、本実施形態によれば、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。特に、従来のような一辺倒なビデオ画像の上映ではなく、今まさに稼動状態にある設備の状況を示すことができるため、従来に無い臨場感の有る見学を提供出来るようになる。
【００１７】
＜実施形態２＞
図８は、実施形態２の設備案内システムのシステム構成の一例を示す図である。図８に示されるように、実施形態２の設備案内システムのシステム構成は、実施形態１の設備案内システムのシステム構成に比べて、操業サーバ５が新たに含まれる。
操業サーバ５は、工場内の設備に制御情報を送信する。前記設備は、前記制御情報に基づいて、処理を実行する。例えば、設備が高炉の場合、操業サーバ５は、高炉に対して、焼結鉱等の投入を指示する焼結鉱等の投入指示情報や、材料の一例であるコークスの投入を指示するコークス投入指示情報、還元材の吹き込みを指示する還元材の吹き込み指示情報、出銑口からの出銑を指示する出銑指示情報等を送信する。
なお、制御信号はこれらに限定されるものではなく、設備が転炉の場合、転炉の上から酸素の吹き込みを指示する酸素の吹き込み指示情報、転炉の下から酸素や燃料ガス、炭酸ガス、不活性ガス等の吹き込みを指示するそれぞれの吹き込み指示情報等がある。更には、炉体を傾けて鉄くずを装入したり、吹錬後に再び炉体を傾けて取鍋に溶鋼を移したりする作業では、炉体を傾ける旨を指示する指示情報等がある。また、設備が連続鋳造機の場合、圧力をあげる、又は圧力をさげる圧力指示情報等がある。
ＡＲサーバ１は、操業サーバ５から設備へ送信される制御情報を入力する。そして、ＡＲサーバ１は、入力した制御情報と、入力した計測情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像と、カメラ２より入力した撮像画像と、を重畳して表示装置４に表示するよう制御する。
工場の見学者は、表示装置４を目視することによって、危険で立ち入れない領域にある設備の稼働状況や、設備内部の稼働状況等を、臨場感をもって把握することができる。
【００１８】
図９は、実施形態２のＡＲサーバ１のソフトウェア構成の一例を示す図である。
図９に示されるように、実施形態２のＡＲサーバ１のソフトウェア構成は、実施形態１のＡＲサーバ１のソフトウェア構成に比べて、制御情報入力部２５が新たに含まれる。
制御情報入力部２５は、操業サーバ５から設備へ送信される制御情報を操業サーバ５より受け取り、入力する。
作成部２３は、計測情報入力部２２で入力された計測情報と、制御情報入力部２５で入力された制御情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。例えば、作成部２３は、実施形態１に示したように、計測情報を設備に対応する設備内推定モデルに代入し、設備内の状況を推定し、推定結果に応じた仮想画像を作成する。それと共に、例えば、制御情報がコークス投入指示情報であった場合、作成部２３は、制御情報に基づき、設備内にコークスが投入されている様子を表わすオブジェクトを前記仮想画像に追加し、最終的な設備の内部の状況を表わす仮想画像とする。
図１０は、実施形態２の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。図１０では、高炉の撮像画像と、高炉の内部の温度情報と高炉へのコークスの投入指示情報とに基づいて作成された高炉内部及び高炉にコークスを投入している仮想画像と、が重畳して表示された一例が示されている。
本実施形態によれば、作成部２３は、計測情報だけでなく、制御情報も加味して仮想画像を作成するので、より臨場感をもった仮想画像を作成することができる。特に転炉では、炉体が傾くと重畳表示される仮想画像もその動きに伴って変化するため臨場感が更に増す。
【００１９】
図１１は、実施形態２のＡＲサーバ１における表示制御処理の一例を示すフローチャートである。
ステップＳ２０において、撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
ステップＳ２１において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ２２において、制御情報入力部２５は、操業サーバ５より制御情報を受け取り、入力する。なお、制御情報入力部２５は、操業サーバ５より設備に対して制御情報が送信される度に制御情報を入力するものとする。
ステップＳ２３において、作成部２３は、ステップＳ２１で入力された計測情報と、ステップＳ２２で入力された制御情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
ステップＳ２４において、表示制御部２４は、ステップＳ２３で作成された設備の外部又は内部の状況を表わす仮想画像と、ステップＳ２０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ２５において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図１１に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図１１に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ２０に戻す。
【００２０】
以下、本実施形態によれば、施設や工場の見学者に対して設備等の稼働状況を、より臨場感をもって伝えることができる。
【００２１】
＜実施形態３＞
工場によっては、年中無休で設備を稼働させているところもあれば、メンテナンスや清掃等の理由により設備を稼働させていない場合もある。本実施形態では、設備が稼働していない場合であっても、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝える方法について説明する。なお、本実施形態のシステム構成やソフトウェア構成等は特に言及がない限り、実施形態１の構成と同様とする。
本実施形態の作成部２３は、計測情報入力部２２から入力された計測情報に基づき、設
備が稼働しているか否かを判定し、設備が稼働していると判断した場合は、計測情報に基づき仮想画像を作成し、設備が稼働していないと判断した場合は、理論値、又は今までの計測情報の平均値等に基づいて予め生成された仮想画像を記憶装置１２等より取得する。例えば、作成部２３は、計測情報入力部２２より計測情報を受け取ると共に、この計測情報がどの設備で計測されたかを示す設備情報を計測情報入力部２２より受け取る。作成部２３は、受け取った設備情報に基づいて、記憶装置１２等より、設備情報と関連付けられた予め生成された仮想画像を取得する。
【００２２】
図１２は、実施形態３のＡＲサーバ１における表示制御処理の一例を示すフローチャートである。
ステップＳ３０において、撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
ステップＳ３１において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ３２において、作成部２３は、計測情報入力部２２から入力された計測情報に基づき、設備が稼働しているか否かを判定する。作成部２３は、例えば、計測情報が予め定められた範囲内にない場合、設備が稼働していないと判定する。作成部２３は、設備が稼働していると判定した場合、ステップＳ３３に処理を進め、設備が稼働していないと判定した場合、ステップ３４に処理を進める。
ステップＳ３３において、作成部２３は、ステップＳ３１で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
一方、ステップＳ３４において、作成部２３は、設備に応じた、理論値等に基づいて予め作成された設備の外部又は内部の状況を表わす仮想画像を記憶装置１２等より取得する。
ステップＳ３５において、表示制御部２４は、ステップＳ３３で作成された、又はステップＳ３４で取得された、設備の外部又は内部の状況を表わす仮想画像と、ステップＳ３０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ３６において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図１２に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図１２に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ３０に戻す。
【００２３】
以上、本実施形態によれば、設備が稼働しているときは、計測情報に基づき作成した仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。また、本実施形態によれば、設備が稼働していないときは、理論値又は今までの計測情報の平均値に基づき作成された仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
なお、実施形態のシステム構成やソフトウェア構成等を、実施形態１の構成と同様としたが、実施形態２の構成と同様とした場合、作成部２３は、計測情報及び／又は制御情報に基づき、設備が稼働中か否かを判定するようにしてもよい。例えば、作成部２３は、計測情報が所定の範囲内にない、及び／又は、操業サーバ５から設備に対して所定の間、制御情報が送信されていない場合、設備が稼働中でないと判定するようにしてもよい。
【００２４】
＜実施形態４＞
表示制御部２４は、設備ごとに設定されている表示レイヤを、表示装置４における見学者の画面操作等に応じて、表示装置４に送信するようにしてもよい。図１３Ａ〜図１３Ｄは、表示レイヤごとの設備の表示の一例を示す図である。図１３Ａは、高炉の外観を表わしている。図１３Ｂは、高炉内部の耐火煉瓦を表わしている。図１３Ｃは、高炉内の鉄鉱石やコークスの様子を表わしている。図１３Ｄは、高炉の断面を表わしている。
表示制御部２４は、図１３Ａや図１３Ｂのような表示レイヤの表示を表示装置４から要求された場合は、予め作成された表示レイヤの仮想画像を記憶装置１２等より取得し、取得した表示レイヤの仮想画像と、撮像画像入力部２１で入力された撮像画像と、を表示装置４で重畳して表示するよう制御する。
【００２５】
本実施形態によれば、見学者からの要求等に応じて、設備等の稼働状況を様々な表示レイヤで表示した仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、より臨場感をもって、かつ、詳細に伝えることができる。
【００２６】
＜実施形態５＞
図１４は、実施形態５の設備案内システムのシステム構成の一例を示す図である。図１４に示されるように、実施形態５の設備案内システムのシステム構成は、実施形態１の設備案内システムのシステム構成に比べて、カメラ２が含まれない。また、本実施形態の表示装置４は、例えば、窓等に張られた透過型の液晶フィルム等である。
ＡＲサーバ１は、センサ３1〜３5で計測された計測情報（例えば、高炉の内部の温度情報等）をセンサ３1〜３5より入力する。
ＡＲサーバ１は、入力した計測情報に基づき設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像が、表示装置４が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
【００２７】
図１５は、実施形態５のＡＲサーバ１のソフトウェア構成の一例を示す図である。
図１５に示されるように、ＡＲサーバ１は、ソフトウェア構成として、計測情報入力部２２と、作成部２３と、表示制御部２４と、を含む。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
作成部２３は、計測情報入力部２２で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
表示制御部２４は、作成部２３で作成された設備の外部又は内部の状況を表わす仮想画像が、表示装置４が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
【００２８】
図１６は、実施形態５のＡＲサーバ１における表示制御処理の一例を示すフローチャートである。
ステップＳ４０において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ４１において、作成部２３は、ステップＳ４０で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
ステップＳ４２において、表示制御部２４は、ステップＳ４１で作成された設備の外部又は内部の状況を表わす仮想画像が、表示装置４が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
ステップＳ４３において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図１６に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図１６に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ４０に戻す。
【００２９】
以上、本実施形態によっても、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
【００３０】
＜実施形態６＞
製鉄所内の工場設備の制御は、コンピュータ制御全盛の今日においてもなお、オペレータが高炉ののぞき窓から見える銑鉄の色や転炉口から吹き上がる炎等から、高炉や転炉の内部の状況を予測し、そのときの状況に応じたオペレータの判断に基づいて行われることも少なくない。しかしながら、この判断は熟練を要するため容易ではなく、オペレータの判断が適切でなかった場合、工場設備で生産される製品の品質低下を招く結果につながりかねない。
そこで、本実施形態では、オペレータの判断によって工場設備の制御を行う場合、その制御を行ったときの工場設備の状況（例えば高炉や転炉の内部の状況）がどのようになるかをシミュレーションし、シミュレーションの結果をオペレータに対して３次元画像として提示する作業支援システムについて説明する。
実施形態１〜５の設備案内システムは、計測情報や制御情報に基づいて現在の設備の内部の状況を表す３次元の仮想画像を作成し、見学者に対して提示していた。しかしながら、実施形態６に係る作業支援システムは、計測情報のほか、これから制御しようとする内容を表す情報（制御予定情報）に基づいて、仮にその制御を行った場合、設備の内部の状況がどのように変化するかをシミュレーションにより予測し、その予測結果をオペレータに対して提示する。オペレータは、その予測結果を見て、実際にどのような制御を行うか最終的に判断する。
【００３１】
本実施形態に係る作業支援システムについて、より詳細に説明すれば以下のとおりである。図１７は、実施形態６の作業支援システムのシステム構成の一例を示す図である。図１７に示されるように、作業支援システムは、サーバ１０１と、カメラ付きＨＭＤ１０２（以下、ＨＭＤ１０２と略す）と、センサ１０３1〜１０３5と、が無線ネットワークを介して接続されている。
図１８は、実施形態６の作業支援システムのソフトウェア構成の一例を示す図である。
本実施形態の作業支援システムのソフトウェア構成は、実施形態１のＡＲサーバ１のソフトウェア構成に比べて、制御予定情報入力部２６が新たに含まれる。
また、本実施形態では、ソフトウェアの機能がサーバ１０１とＨＭＤ１０２とに分散している。サーバ１０１は、ソフトウェアの機能構成として、計測情報入力部２２と、制御予定情報入力部２６と、シミュレーション部２７と、を含む。また、ＨＭＤ１０２は、カメラ及び作画機能を備えており、ソフトウェアの機能構成として、撮像画像入力部２１と作画・表示制御部２８と、を含む。なお、本実施形態では、ソフトウェアの機能がサーバ１０１とＨＭＤ１０２とに分散しているが、実施形態１等のように、全ての機能をサーバ１０１が備えている構成であってもよいし、或いは、全ての機能をＨＭＤ１０２が備えている構成であってもよく、特に限定はされない。
【００３２】
はじめにサーバ１０１の機能について説明する。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より入力データとして受け取る。このとき、センサ３1〜３5は、無線ネットワークを介してサーバ１０１に対して計測情報を送信する。
制御予定情報入力部２６は、オペレータによって入力された制御予定情報を入力データとして受け取る。制御予定情報としては、制御情報と同様、焼結鉱等の投入指示情報やコークス投入指示情報や還元剤の吹き込み指示情報や出銑指示情報のほか、酸素や空気や各種ガスの吹き込み指示や圧力指示情報がある。オペレータは、サーバに接続された入力装置を介して制御予定情報を入力することもできるし、携帯端末等を介してリモートで制御予定情報を入力することも可能である。
シミュレーション部２７は、計測情報入力部２２で受け取った計測情報と、制御予定情報入力部２６で受け取った制御予定情報と、に基づいて、制御予定情報によって表される内容の制御が行われた場合の設備の外部又は内部の状況についてのシミュレーションを行う。例えば、シミュレーション部２７は、計測情報（高炉の現在の温度等）と制御予定情報（羽口ごとの酸素や空気の吹き込み量を表す吹き込み指示情報等）とを設備に対応する
設備内推定モデルに代入し、設備内の状況について数値解析を行い、その結果を表す数値データを出力する。
なお、設備内推定モデルを利用する技術としては、例えば、特開平８−２９５９１０等に、炉内の状態をモデル化した数式モデルを導入して高炉の動作をシミュレートする技術が開示されている。このような技術を利用すれば、炉内の３次元座標の各地点における温度や圧力等のデータを得ることできる。
【００３３】
次にＨＭＤ１０２の機能について説明する。
撮像画像入力部２１は、ＨＭＤ１０２に備えられたカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
作画・表示制御部２８は、シミュレーション部２７によるシミュレーション結果を表す数値データを受け取ると、当該数値データに基づいて３次元の仮想画像を作画する。更に、作画・表示制御部２８は、作画した設備の外部又は内部の状況についてのシミュレーション結果を表す３次元の仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２の表示装置に表示するよう制御する。このとき、サーバ１０１は、無線ネットワークを介してＨＭＤ１０２にシミュレーション結果を表す数値データを送信する。
【００３４】
図１９は、実施形態６の作業支援システムにおける処理の一例を示すフローチャートである。
ステップＳ５０において、撮像画像入力部２１は、ＨＭＤ１０２に備えられているカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
ステップＳ５１において、計測情報入力部２２はセンサ３1〜３5で計測された計測情報をセンサ３1〜３5より入力データとして受け取る。
ステップＳ５２において、制御予定情報入力部２６は、オペレータによって入力された制御予定情報を受け取る。
ステップＳ５３において、シミュレーション部２７は、ステップＳ５１で入力された計測情報とステップＳ５２で入力された制御予定情報と、に基づいて、設備の外部又は内部の状況を推定するシミュレーションを実行し、シミュレーション結果を表す数値データを出力する。そして、作画・表示制御部２８は、シミュレーション結果を表す数値データに基づいて３次元の仮想画像を作成する。
ステップＳ５４において、作画・表示制御部２８は、ステップＳ５３で作成された設備の外部又は内部の状況についてのシミュレーション結果を表す３次元の仮想画像と、ステップＳ５０で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２に備えられているディスプレイ（表示装置）に表示するよう制御する。
ステップＳ５５において、例えば、作画・表示制御部２８は、ＨＭＤ１０２等より表示終了の情報等を受信したか否か等に基づいて、図１９に示す処理を終了するか否かを判定する。作画・表示制御部２８は、処理を終了すると判定すると、図１９に示す処理を終了し、処理を終了しないと判定すると、処理ステップをＳ５０に戻す。
【００３５】
なお、作画・表示制御部２８によって作成された３次元の仮想画像と撮像画像とを重畳表示する処理について、制御予定情報として羽口ごとの酸素や空気の吹き込み量を表す吹き込み指示情報を用いる場合を例に、より具体的に説明すれば以下のとおりである。
大型の高炉には、本体下部の３０〜４０箇所に炉内に空気を送り込むための羽口が設けられているが、羽口に送り込まれる量が異なれば、各羽口周辺の温度分布はそれぞれ異なる。
そこで、各羽口には識別用のＩＤ（以下、羽口ＩＤと略す）が割り当てられており、シミュレーション部２７がシミュレーションを実行する際、制御予定情報として、羽口ＩＤを指定して酸素や空気の吹き込み量を表す吹き込み指示情報が入力される。これにより、各羽口に対応する３次元座標の各点における吹込み量を表すデータが入力されることにな
る。また、高炉内の３次元座標の各点における温度データの初期値は、センサからの計測情報に基づいて計算された値が入力されることになる。
そして、シミュレーション部２７は、入力された制御予定情報や計測情報を初期条件として、高炉内の状態を表す数式モデルに基づいて流れの運動方程式や熱伝導法方程式の数値解析を行うことで、一定時間経過した後の高炉内の３次元座標の各点における各種の数値データ（温度データ、速度データ、圧力データ等）を算出する。
そして、作画・表示制御部２８は、シミュレーション部２７からシミュレーション結果を表す高炉内の３次元座標の各点における数値データを受け取ると、受け取った数値データからシミュレーション結果（温度分布、速度分布、圧力分布等）を示す３次元の仮想画像を生成する。
更に、作画・表示制御部２８は、作成した３次元の仮想画像と撮像画像とを重畳表示する際、例えば、ＨＭＤ１０２に備えられたカメラで撮像した高炉の画像に基づいてユーザに見えている部分の方位や角度を識別する。より具体的には、ＨＭＤ１０２に備えられたカメラで撮像した高炉の画像はユーザの視界に捉えられている高炉の画像とほぼ同じであるため、予め、高炉を様々な角度や方位から撮像した画像をＨＭＤ１０２内のメモリに格納しておき、ＨＭＤ１０２のカメラで撮像した画像とメモリに格納された画像とのマッチングを行うことでユーザに見えている部分の方位や角度を識別する。そして、作画・表示制御部２８は、識別した方位や角度に基づいて、オペレータに提示するシミュレーション結果を表す３次元の仮想画像の向きを制御する。
【００３６】
なお、３次元の仮想画像の向きをオペレータが入力装置を介して自分で操作して調整できる構成であってもよく、特に限定はされない。
この構成によれば、オペレータは、シミュレーションの結果から、自分がこれから行おうとしている制御によって、高炉や転炉内の温度分布や圧力分布がどのような状況になるかを前もって確認することができる。
これにより、オペレータは、例えば高炉内のシミュレーションの結果が良好な温度分布等を示すものであれば、予定どおりの制御を行い、シミュレーションの結果が好ましくない温度分布等を示すものであれば、制御内容を再検討して、適切な操作を選択することができるようになる。したがって、経験の浅いオペレータであっても、熟練を要する高炉等の工場設備の運転を適切に行うことができるようになる。しかも、実際の高炉や転炉に重畳させて内部の温度分布等が３次元の仮想画像として提示されるので、オペレータは設備内部の状況をより直感的に捉えることができるようになり、シミュレーションの結果が良好であるか否かを瞬時にかつ正確に把握することができるようになる。
なお、本実施形態では、カメラ付きの非透過型のＨＭＤ１０２を用いた場合を例に説明したが、実施形態５の構成を適用して、透過型のＨＭＤを利用することにより、カメラが含まれてない構成であってもよい。つまり、ＨＭＤには撮像画像入力部２１が備えられておらず、作画・表示制御部２８は、作成した３次元の仮想画像を、ＨＭＤから実際に見える設備に重畳して表示されるように制御を行うことになる。この場合、ＨＭＤにはＧＰＳや加速度センサが備えられていれば、ＨＭＤは、ユーザがどの方位や角度から設備を捉えているかを認識することができる。また、シミュレーションで用いられる３次元座標と実際の設備の方位との関係は予め定義されている。これにより、カメラを備えていないＨＭＤでも、識別した方位や角度に基づいて、オペレータに提示するシミュレーション結果を表す３次元の仮想画像の向きを制御して、透過型のＨＭＤから見えている設備に重畳させて表示することができる。
【００３７】
＜実施形態７＞
製鉄所では、高炉から出てくる溶銑を混銑車（トーピードカー）等に入れて製鋼工場に運搬し、溶解した状態のまま製鋼炉に装入する。そこで、混銑車についても工場設備の一部として、実施形態１と同様、内部の状況を表す仮想画像を生成し、混銑車に重畳表示させて作業員に提示してもよい。即ち、混銑車の内部や表面の温度や圧力等の計測情報をセ
ンサにより取得し、この計測情報を用いて混銑車に関連付けられている設備内推定モデルに基づいて生成される温度分布等を表す仮想画像を、実際の混銑車に重畳して表示させる構成であってもよい。
更に、本実施形態では、混銑車によって運搬されている溶銑に対応する注文番号を表示する構成であってもよい。本実施形態に係る作業支援システムについて、より詳細に説明すれば以下のとおりである。図２０は、実施形態７の作業支援システムのシステム構成の一例を示す図である。図２０に示されるように、作業支援システムは、サーバ１０１と、カメラ付きＨＭＤ１０２（以下、ＨＭＤ１０２と略す）と、センサ１０４1〜１０４5と、が無線ネットワークを介して接続されている。
なお、実施形態７では、実施形態１においてＡＲサーバ１にて実行されていた各種の処理がＨＭＤ１０２において行わる。ＨＭＤ１０２の機能についてより詳細に説明すれば以下のとおりである。
【００３８】
ＨＭＤ１０２は、自機に一体的に備えられたカメラで撮像した工場内の設備（図２０の例では混銑車）の撮像画像を取得する。また、ＨＭＤ１０２は、センサ１０４1〜１０４5で計測された計測情報（例えば、混銑車の内部の温度情報等）を、無線等を介して取得する。
更に、本実施形態では、工場内の設備に各設備を識別するためのマーカーが付されており、ＨＭＤ１０２は、自機に備えられたカメラが各マーカーを認識することにより各設備を識別可能である。より具体的には、ＨＭＤ１０２は、各設備を識別するための設備ＩＤと各マーカーとが対応付けられた図２１に示す設備マーカー対応テーブルを自機に備えられたメモリに保持しており、カメラによってマーカーを認識することにより、各マーカーに対応づけられた設備ＩＤを設備マーカー対応テーブルから読み出すことによって、各設備を識別する。図２１は、設備マーカー対応テーブルの一例を示す図である。
また、ＨＭＤ１０２は、取得した計測情報に基づき設備の外部又は内部の状況を表す仮想画像を作成し、作成した仮想画像と、カメラで撮像した撮像画像とを重畳して自機に備えられたディスプレイ（表示装置）に表示するよう制御する。
更に、本実施形態では、ＨＭＤ１０２は設備ＩＤに基づき設備内の製品が引き当てられている注文番号を示す仮想画像を生成し、作成した注文番号の仮想画像とカメラで撮像した設備の撮像画像とを重畳して自機に備えられた表示装置に表示する点において特徴を有する。この点について、より詳細に説明すれば次のとおりである。
本実施形態では、サーバ１０１は、各設備を識別するための設備ＩＤと注文番号とが対応付けられた図２２に示す設備利用状況テーブルを格納している。この設備利用状況テーブルは、工場内の製造管理システムにデータを登録する際等に、オペレータによって更新される。例えば、高炉にて銑鉄を製造する作業を開始する際、これから当該高炉において製造される銑鉄が引き当てられている注文番号をオペレータが製造管理システムに入力することによって、上記の設備利用状況テーブルが更新される。即ち、本実施形態では、サーバ１０１は、図２に示されるＡＲサーバ１とは異なり、製造管理システムのデータを記憶するものである。図２２は、設備利用状況テーブルの一例を示す図である。
なお、ＨＭＤ１０２のハードウェア構成としては、図２に示されるＡＲサーバ１と同様、ＣＰＵ、記憶装置（メモリ）、通信装置とを含み、ＣＰＵは記憶装置に含まれているプログラムやデータに基づいてＨＭＤ１０２を制御する処理等を実行することによって、後述するソフトウェア構成及びフローチャートにかかる処理が実現される。
【００３９】
図２３は、カメラ付きＨＭＤのソフトウェア構成の一例を示す図である。図２３に示されるように、ＨＭＤ１０２は、ソフトウェア構成として、撮像画像入力部２１と、計測情報入力部２２と、特定処理部２９と、作成部２３と、表示制御部２４と、を含む。
撮像画像入力部２１は、ＨＭＤ１０２に備えられたカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より入力データとして受け取る。
特定処理部２９は、各設備内の製品が引き当てられている注文番号を特定する。より具体的には、特定処理部２９は、カメラで捉えられた工場内の設備に付されたマーカーに対応する設備ＩＤを、上述した設備マーカー対応テーブルから読み出す。
図２０に示す例では、特定処理部２９は、自機に備えられたカメラが混銑車Ａに付されたマーカーＡ及び混銑車Ｂに付されたマーカーＢを捉えた場合、設備マーカー対応テーブルから、それぞれのマーカーに対応する設備ＩＤを読み出し、マーカーＡが付されている設備が混銑車Ａであり、マーカーＢが付されている設備が混銑車Ｂであることを識別する。
更に、特定処理部２９は、各設備ＩＤに対応する注文番号を、上述した設備利用状況テーブルから読み出し、各設備内の製品等が引き当てられている注文番号を特定する。
図２０に示す例では、特定処理部２９は、混銑車Ａ及び混銑車Ｂを識別した場合、設備利用状況テーブルから、それぞれの設備ＩＤに対応する注文ＩＤを読み出し、混銑車Ａでは注文ＩＤ「ＡＢＣ１２３」、「ＥＤＦ４５６」の銑鉄が運搬おり、混銑車Ｂでは注文ＩＤ「Ｇ１２３」、「Ｘ４５６」の銑鉄が運搬されていることを特定する。
【００４０】
作成部２３は、計測情報入力部２２で入力された計測情報入力部２２で入力された計測情報に基づいて、設備の外部又は内部の状況を表す仮想画像を作成する。また、作成部２３は、特定処理部２９で特定された注文番号を表す仮想画像を作成する。
表示制御部２４は、作成部２３で作成された設備の外部又は内部の状況を表す仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２の表示装置に表示するよう制御する。また、表示制御部２４は、作成部２３で作成された注文番号を表す仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２の表示装置に表示するよう制御する。
図２０には、ＨＭＤ１０２には、作成部２３によって作成された注文番号を表す仮想画像が、表示制御部２４によりカメラで撮像された混銑車の画像に重畳されている様子が示されている。
なお、図２０には、設備の外部又は内部の状況を表す仮想画像を重畳する例については示していないが、実施形態４の構成を用いて表示レイヤの切り替えを行うことで表示することが可能である。
また、図２０に示す例では、工場設備を識別するためにマーカーを用いる構成を説明したが、マーカーの代わりに、工場設備を識別するためにＲＦＩＤ等の無線ＩＣタグ等を用いてもよい。即ち、ＨＭＤ１０２は無線ＩＣタグのリーダー機能を備えていて、各設備ＩＤを記憶した無線ＩＣタグが各設備に付されており、そこから直接、設備ＩＤを読み取る構成であってもよく、特に限定はされない。
【００４１】
図２４は、実施形態７の作業支援システムにおける処理の一例を示すフローチャートである。
ステップＳ６０において、撮像画像入力部２１は、ＨＭＤ１０２に備えられたカメラで撮像された工場内の設備の撮像画像を受け取り、入力する。
ステップＳ６１において、計測情報入力部２２はセンサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ６２において、特定処理部２９は、ＨＭＤ１０２に備えられたカメラで捉えたマーカーに基づいて各設備の設備ＩＤを特定し、更に、特定した設備ＩＤに基づいて、各設備に保管されている製品等の注文番号を特定する。
ステップＳ６３において、作成部２３は、ステップＳ６１で入力された計測情報に基づいて、設備の外部又は内部の状況を表す３次元の仮想画像を作成する。また、作成部２３は、ステップＳ６２で特定した注文番号に基づいて、注文番号を表す仮想画像を作成する。
ステップＳ６４において、表示制御部２４は、ステップＳ６３で作成された設備の外部
又は内部の状況を表す３次元の仮想画像と、ステップＳ６０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。また、表示制御部２４は、ステップＳ６３で作成された注文番号を表す仮想画像と、ステップＳ６０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ６５において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図２４に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図２４に示す処理を終了し、処理を終了しないと判定すると、処理ステップをＳ６０に戻す。
なお、本実施形態は、工場の設備だけでなく、出荷待ちの製品そのものに適用することも可能である。この場合、設備の内部や外部の様子を表す仮想画像を重畳表示させる必要がないため、Ｓ６１をスキップし、Ｓ６３において設備の内部や外部の様子を表す仮想画像を生成する処理を行わない構成であってもよく、特に限定はされない。
【００４２】
図２５は、実施形態７の作業支援システムのシステム構成の一例を示す図である。図２５に示す例では、出荷待ちのコイルに注文番号を表示する例を示している。この例では、出荷待ちのコイルにマーカー１０５1〜１０５3が付されており、ＨＭＤ１０２でこのマーカーを捉えることによって、各コイルの注文番号を取得することができるが、処理内容の詳細については、図２０を用いて説明した例と同様であるため、説明を省略する。
また、図２５に示す例では、注文番号だけではなく、積み込み順番指示書もＡＲによって表示している。この場合、オペレータは、予めサーバ１０１に積み込みの順番に関する情報（注文番号を用いて積み込みの順番等を定義した情報）を登録している。そして、特定処理部２９が製品の注文番号を特定する際、サーバ１０１に登録されている積み込みの順番に関する情報もあわせて読み出し、作成部２３が積み込み順番指示書を表す仮想画像を作成する。
これにより、作業員は、工場内の設備や製品を見るだけで、設備内に収納されている製品や半製品や材料等について、引き当てられている注文番号や積み込みの順番を瞬時に把握することができるため、出荷の準備や次の工程への輸送等の作業をスムーズに行うことができるようになり、また、作業のミスも防止することができるようになる。
なお、本実施形態でも、カメラ付きの非透過型のＨＭＤ１０２を用いた場合を例に説明したが、実施形態５の構成を適用して、透過型のＨＭＤを利用することにより、カメラが含まれてない構成であってもよい。その場合、ＨＭＤには撮像画像入力部２１が備えられておらず、作成部２３は、作成した３次元の仮想画像を、ＨＭＤから実際に見える設備に重畳して表示されるように制御を行うことになる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００４３】
例えば、上記実施形態では中を見ることの困難な製鉄所の高炉や転炉等の設備内の様子を示す例で説明した。しかしながら、上述した各実施形態は、食品製造や化学・薬品製造等であると、透明な筐体内で液体や粉体を扱うような設備においても適用することができる。この様な設備に上述した各実施形態を適用した場合、投入中の液体や粉体を直接的に見学者に見せ、その液体や粉体の属性（材料名、温度、粘度、酸度、アルコール度、１回の投入量等）をタグのような表示形態で重畳表示することができる。このようにすることによって、リアルタイムな稼働状況を目視しながらタグ情報でより具体的な情報を得ることができ、見学者によりわかりやすい見学サービスを提供することができる。
【００４４】
また、上述した実施形態では、所謂、非透過型のディスプレイや透過型のディスプレイを例に説明を行ったが、非透過型のプロジェクタや、透過型のプロジェクタであっても本発明を適用することができる。例えば、表示装置４の代わりに、見学者の頭部等に装着される眼鏡型の表示部を供えた表示装置を用いてもよい。また、例えば、ＡＲサーバ１は、
撮像画像と、仮想画像と、を重畳して表示する際に、撮像画像と、仮想画像と、の座標合わせを行う。座標合わせの手法としては、例えば、設備に固定マーカーを配置しておき、カメラ２で撮像した画像中の固定マーカーに基づいて、撮像画像と、仮想画像と、の座標合わせを行う方法等がある。なお、見学者の頭部等に装着される眼鏡型の表示部を供えた表示装置を用いる場合、ＡＲサーバ１は、表示装置からの位置情報や向き情報等に基づいて、見学者がどこをみているかを推定し、推定した位置に整合するように座標合わせを行う。
なお、上述した実施形態を任意に組み合わせて実施してもよい。
なお、上述したＡＲサーバ１は、コンピュータの一例である。
【符号の説明】
【００４５】
１ ＡＲサーバ
１１ ＣＰＵ
１２ 記憶装置
１３ 通信装置
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、施設や工場等の見学は、見学者が実際の施設や設備をみたり、用意されたパネルやビデオをみたりすることが多かった。これに対して、例えば、特許文献１では、見学者の移動にあわせてその場にあった要素情報を携帯端末等で撮影した実景画像に重畳表示する仕組みが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１０２８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
施設や工場によっては、危険性があり、見学者が設備に近寄れない場合がある。また、近寄ったとしても設備の内部まで見られない場合もある。
例えば、特許文献１の技術を施設や工場の見学に適用しても、設備の名称等が仮想画像として見える程度であり、見学者にとって実感が湧かないという問題があった。
また、工場では、設備の稼働状況をシミュレーションにより予測することがあるが、シミュレーション結果としては、計算機端末の画面に２次元の断面図として表示されるに過ぎなかった。そのため、オペレータとしてはシミュレーション結果の把握が容易ではないという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、施設や工場の見学者や作業員に対して設備等の稼働状況やシミュレーションの結果を、臨場感をもって伝えることを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明の情報処理装置は、撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して前記表示装置に表示する表示制御手段と、を有する。
かかる構成とすることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
なお、情報処理装置は、例えば、後述するＡＲサーバに対応する。
【０００７】
また、本発明の情報処理装置は、設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、を有する。
かかる構成とすることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
なお、情報処理装置は、例えば、後述するＡＲサーバに対応する。
【発明の効果】
【０００８】
本発明によれば、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態１の設備案内システムのシステム構成の一例を示す図である。
【図２】図２は、ＡＲサーバのハードウェア構成の一例を示す図である。
【図３】図３は、実施形態１のＡＲサーバのソフトウェア構成の一例を示す図である。
【図４】図４は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。
【図５】図５は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その２）である。
【図６】図６は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その３）である。
【図７】図７は、実施形態１のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図８】図８は、実施形態２の設備案内システムのシステム構成の一例を示す図である。
【図９】図９は、実施形態２のＡＲサーバのソフトウェア構成の一例を示す図である。
【図１０】図１０は、実施形態２の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。
【図１１】図１１は、実施形態２のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図１２】図１２は、実施形態３のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図１３Ａ】図１３Ａは、表示レイヤごとの設備の表示の一例を示す図（その１）である。
【図１３Ｂ】図１３Ｂは、表示レイヤごとの設備の表示の一例を示す図（その２）である。
【図１３Ｃ】図１３Ｃは、表示レイヤごとの設備の表示の一例を示す図（その３）である。
【図１３Ｄ】図１３Ｄは、表示レイヤごとの設備の表示の一例を示す図（その４）である。
【図１４】図１４は、実施形態５の設備案内システムのシステム構成の一例を示す図である。
【図１５】図１５は、実施形態５のＡＲサーバのソフトウェア構成の一例を示す図である。
【図１６】図１６は、実施形態５のＡＲサーバにおける表示制御処理の一例を示すフローチャートである。
【図１７】図１７は、実施形態６の作業支援システムのシステム構成の一例を示す図である。
【図１８】図１８は、実施形態６の作業支援システムのソフトウェア構成の一例を示す図である。
【図１９】図１９は、実施形態６の作業支援システムにおける処理の一例を示すフローチャートである。
【図２０】図２０は、実施形態７の作業支援システムのシステム構成の一例を示す図である。
【図２１】図２１は、設備マーカー対応テーブルの一例を示す図である。
【図２２】図２２は、設備利用状況テーブルの一例を示す図である。
【図２３】図２３は、カメラ付きＨＭＤのソフトウェア構成の一例を示す図である。
【図２４】図２４は、実施形態７の作業支援システムにおける処理の一例を示すフローチャートである。
【図２５】図２５は、実施形態７の作業支援システムのシステム構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、実施形態１の設備案内システムのシステム構成の一例を示す図である。図１に示されるように、設備案内システムは、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）サーバ１と、カメラ２と、センサ３1〜３5と、表示装置４と、がネットワークを介して接続されている。
ＡＲサーバ１は、カメラ２で撮像された工場内の設備（図１の例では高炉）の撮像画像をカメラ２より入力する。なお、本実施形態を含む以下の実施形態では工場の設備の一例として、製鉄所内の設備を例に説明を行う。なお、このことは本実施形態を含む以下の実施形態を限定するものではない。
また、ＡＲサーバ１は、センサ３1〜３5で計測された計測情報（例えば、高炉の内部の温度情報等）をセンサ３1〜３5より入力する。なお、図１では、センサの数を５として示しているが、本実施の形態はこのことに限定されるものではなく、５より少なくてもよいし、５より多くてもよい。なお、本実施形態では、センサ３は、設備の外部及び内部に設けられているものとするが、例えば、設備に応じて、設備の内部だけに設けられていてもよいし、設備の外部だけに設けられていてもよい。例えば、高炉の場合、センサ３は、高炉の外部及び内部に設けられているものとする。また、後述する転炉の場合、センサ３は、転炉の内部に設けられているものとする。また、後述する連続鋳造機の場合、センサ３は、連続鋳造機の外部に設けられているものとする。また、センサは、温度情報を計測する温度センサに限定されるものでなく、例えば、気圧情報を計測する気圧センサ、又は圧力情報を計測する圧力センサ、ガスの種類及び濃度を計測するガスセンサ等であってもよい。センサ３1〜３5は、全て同じ種類のセンサ（例えば、温度センサ等）であってもよいし、違う種類のセンサ（例えば、温度センサ、ガスセンサ、圧力センサ等）であってもよい。
なお、以下では、説明の簡略化のため、特に言及しない限り、これら複数のセンサを単にセンサという。
ＡＲサーバ１は、入力した計測情報に基づき設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像と、カメラ２より入力した撮像画像と、を重畳して表示装置４に表示するよう制御する。
工場の見学者は、表示装置４を目視することによって、危険で立ち入れない領域にある設備の稼働状況や、設備内部の稼働状況等を、臨場感をもって把握することができる。
【００１２】
図２は、ＡＲサーバ１のハードウェア構成の一例を示す図である。
図２に示されるように、ＡＲサーバ１は、ハードウェア構成として、ＣＰＵ１１と、記憶装置１２と、通信装置１３と、を含む。ＣＰＵ１１は、記憶装置１２に記憶されているプログラムに基づき、ＡＲサーバ１を制御する処理等を実行する。記憶装置１２は、プログラムやＣＰＵ１１が処理を実行する際に利用するデータ等を記憶する。通信装置１３は、ＡＲサーバ１と他の装置（例えば、センサ３やカメラ２、表示装置４等）との通信を制御する。
ＣＰＵ１１が、プログラムに基づき処理を実行することによって、後述するソフトウェア構成及び後述するフローチャートにかかる処理が実現される。
【００１３】
図３は、実施形態１のＡＲサーバ１のソフトウェア構成の一例を示す図である。
図３に示されるように、ＡＲサーバ１は、ソフトウェア構成として、撮像画像入力部２１と、計測情報入力部２２と、作成部２３と、表示制御部２４と、を含む。
撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
作成部２３は、計測情報入力部２２で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
例えば、作成部２３は、計測情報入力部２２より計測情報を受け取ると共に、この計測情報がどの設備で計測されたかを示す設備情報を計測情報入力部２２より受け取る。作成部２３は、受け取った設備情報に基づいて、設備情報が示す設備が設備内部の仮想画像を生成するよう設定されている設備か否かを判定する。作成部２３は、設備情報が示す設備が設備内部の仮想画像を生成するよう設定されている設備である場合、前記設備情報に基づいて、記憶装置１２等より前記設備情報と関連付けて記憶されている設備内推定モデル（設備内推定数学モデル式）を選択する。より具体的に説明すると、記憶装置１２等には、例えば、高炉と、高炉内推定モデルと、が関連付けられて記憶されている。また、記憶装置１２等には、例えば、転炉と、転炉内推定モデルと、が関連付けられている。作成部２３は、設備情報が示す設備が高炉を示している場合、記憶装置１２等より高炉と関連付けられている高炉内推定モデルを選択する。そして、作成部２３は、選択した高炉内推定モデルに、計測情報入力部２２で入力された計測情報を代入し、高炉内の状況を推定し、高炉内の状況を表わす仮想画像を生成する。
なお、各推定モデルは、あくまでも論理的なモデルとして記憶装置１２に記憶されており、例えばセンサ３1〜３5で計測された計測情報に応じて再演算されて実際の状態に近い形の仮想画像が生成される。従って、数学モデル式であることが好ましいが、数学モデル式に基づいて予めコンピュータ・グラフィクスとして生成しておき、パラメータを変更することにより表示を変更するようにしてもよい。より具体的には、高炉内の原材料の投入量に応じて高さ方向の調整をしたり、後述する転炉の例では、炉内溶鋼の表面位置等をセンサの計測値に基づいて変更出来るようにしたりする。或いは高炉内推定モデルに対してセンサ３1〜３5で計測された温度情報を適用し、実際の温度分布を仮想画像として生成してもよい。
表示制御部２４は、作成部２３で作成された設備の外部又は内部の状況を表わす仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する（図４〜図６参照）。
【００１４】
図４は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。図４では、高炉の撮像画像と、高炉の内部の温度情報に基づいて作成された高炉内部の仮想画像と、が重畳して表示された一例が示されている。
図５は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その２）である。図５では、転炉の撮像画像と、転炉の内部の温度情報に基づいて作成された転炉内部の仮想画像と、が重畳して表示された一例が表示されている。
図６は、実施形態１の仮想画像と撮像画像との重畳表示の一例を示す図（その３）である。図６では、連続鋳造機及び連続鋳造機の間を通る溶融状態の鋼の撮像画像と、連続鋳造機の外部の温度情報に基づいて作成された連続鋳造機を通る溶融状態の鋼の固まっていく仮想画像と、が重畳して表示された一例が表示されている。
【００１５】
図７は、実施形態１のＡＲサーバ１における表示制御処理の一例を示すフローチャート
である。
ステップＳ１０において、撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
ステップＳ１１において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ１２において、作成部２３は、ステップＳ１１で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
ステップＳ１３において、表示制御部２４は、ステップＳ１２で作成された設備の外部又は内部の状況を表わす仮想画像と、ステップＳ１０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ１４において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図７に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図７に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ１０に戻す。
なお、撮像画像入力部２１は、カメラ２で撮像が行われている限り、常時、撮像画像をカメラ２より受け取り、入力するようにしてもよい。同様に、計測情報入力部２２は、センサ３1〜３5で計測が行われている限り、常時、計測情報をセンサ３1〜３5より受け取り、入力するようにしてもよい。以下の実施形態においても同様である。このような構成とすることにより、ＡＲサーバ１は、リアルタイムで入力された計測情報に基づき、仮想画像を作成し、リアルタイムで入力された撮像画像に仮想画像を重畳して表示装置４に表示するよう制御することができる。
【００１６】
以下、本実施形態によれば、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。特に、従来のような一辺倒なビデオ画像の上映ではなく、今まさに稼動状態にある設備の状況を示すことができるため、従来に無い臨場感の有る見学を提供出来るようになる。
【００１７】
＜実施形態２＞
図８は、実施形態２の設備案内システムのシステム構成の一例を示す図である。図８に示されるように、実施形態２の設備案内システムのシステム構成は、実施形態１の設備案内システムのシステム構成に比べて、操業サーバ５が新たに含まれる。
操業サーバ５は、工場内の設備に制御情報を送信する。前記設備は、前記制御情報に基づいて、処理を実行する。例えば、設備が高炉の場合、操業サーバ５は、高炉に対して、焼結鉱等の投入を指示する焼結鉱等の投入指示情報や、材料の一例であるコークスの投入を指示するコークス投入指示情報、還元材の吹き込みを指示する還元材の吹き込み指示情報、出銑口からの出銑を指示する出銑指示情報等を送信する。
なお、制御信号はこれらに限定されるものではなく、設備が転炉の場合、転炉の上から酸素の吹き込みを指示する酸素の吹き込み指示情報、転炉の下から酸素や燃料ガス、炭酸ガス、不活性ガス等の吹き込みを指示するそれぞれの吹き込み指示情報等がある。更には、炉体を傾けて鉄くずを装入したり、吹錬後に再び炉体を傾けて取鍋に溶鋼を移したりする作業では、炉体を傾ける旨を指示する指示情報等がある。また、設備が連続鋳造機の場合、圧力をあげる、又は圧力をさげる圧力指示情報等がある。
ＡＲサーバ１は、操業サーバ５から設備へ送信される制御情報を入力する。そして、ＡＲサーバ１は、入力した制御情報と、入力した計測情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像と、カメラ２より入力した撮像画像と、を重畳して表示装置４に表示するよう制御する。
工場の見学者は、表示装置４を目視することによって、危険で立ち入れない領域にある設備の稼働状況や、設備内部の稼働状況等を、臨場感をもって把握することができる。
【００１８】
図９は、実施形態２のＡＲサーバ１のソフトウェア構成の一例を示す図である。
図９に示されるように、実施形態２のＡＲサーバ１のソフトウェア構成は、実施形態１のＡＲサーバ１のソフトウェア構成に比べて、制御情報入力部２５が新たに含まれる。
制御情報入力部２５は、操業サーバ５から設備へ送信される制御情報を操業サーバ５より受け取り、入力する。
作成部２３は、計測情報入力部２２で入力された計測情報と、制御情報入力部２５で入力された制御情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。例えば、作成部２３は、実施形態１に示したように、計測情報を設備に対応する設備内推定モデルに代入し、設備内の状況を推定し、推定結果に応じた仮想画像を作成する。それと共に、例えば、制御情報がコークス投入指示情報であった場合、作成部２３は、制御情報に基づき、設備内にコークスが投入されている様子を表わすオブジェクトを前記仮想画像に追加し、最終的な設備の内部の状況を表わす仮想画像とする。
図１０は、実施形態２の仮想画像と撮像画像との重畳表示の一例を示す図（その１）である。図１０では、高炉の撮像画像と、高炉の内部の温度情報と高炉へのコークスの投入指示情報とに基づいて作成された高炉内部及び高炉にコークスを投入している仮想画像と、が重畳して表示された一例が示されている。
本実施形態によれば、作成部２３は、計測情報だけでなく、制御情報も加味して仮想画像を作成するので、より臨場感をもった仮想画像を作成することができる。特に転炉では、炉体が傾くと重畳表示される仮想画像もその動きに伴って変化するため臨場感が更に増す。
【００１９】
図１１は、実施形態２のＡＲサーバ１における表示制御処理の一例を示すフローチャートである。
ステップＳ２０において、撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
ステップＳ２１において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ２２において、制御情報入力部２５は、操業サーバ５より制御情報を受け取り、入力する。なお、制御情報入力部２５は、操業サーバ５より設備に対して制御情報が送信される度に制御情報を入力するものとする。
ステップＳ２３において、作成部２３は、ステップＳ２１で入力された計測情報と、ステップＳ２２で入力された制御情報と、に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
ステップＳ２４において、表示制御部２４は、ステップＳ２３で作成された設備の外部又は内部の状況を表わす仮想画像と、ステップＳ２０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ２５において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図１１に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図１１に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ２０に戻す。
【００２０】
以下、本実施形態によれば、施設や工場の見学者に対して設備等の稼働状況を、より臨場感をもって伝えることができる。
【００２１】
＜実施形態３＞
工場によっては、年中無休で設備を稼働させているところもあれば、メンテナンスや清掃等の理由により設備を稼働させていない場合もある。本実施形態では、設備が稼働していない場合であっても、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝える方法について説明する。なお、本実施形態のシステム構成やソフトウェア構成等は特に言及がない限り、実施形態１の構成と同様とする。
本実施形態の作成部２３は、計測情報入力部２２から入力された計測情報に基づき、設
備が稼働しているか否かを判定し、設備が稼働していると判断した場合は、計測情報に基づき仮想画像を作成し、設備が稼働していないと判断した場合は、理論値、又は今までの計測情報の平均値等に基づいて予め生成された仮想画像を記憶装置１２等より取得する。例えば、作成部２３は、計測情報入力部２２より計測情報を受け取ると共に、この計測情報がどの設備で計測されたかを示す設備情報を計測情報入力部２２より受け取る。作成部２３は、受け取った設備情報に基づいて、記憶装置１２等より、設備情報と関連付けられた予め生成された仮想画像を取得する。
【００２２】
図１２は、実施形態３のＡＲサーバ１における表示制御処理の一例を示すフローチャートである。
ステップＳ３０において、撮像画像入力部２１は、カメラ２で撮像された工場内の設備の撮像画像をカメラ２より受け取り、入力する。
ステップＳ３１において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ３２において、作成部２３は、計測情報入力部２２から入力された計測情報に基づき、設備が稼働しているか否かを判定する。作成部２３は、例えば、計測情報が予め定められた範囲内にない場合、設備が稼働していないと判定する。作成部２３は、設備が稼働していると判定した場合、ステップＳ３３に処理を進め、設備が稼働していないと判定した場合、ステップ３４に処理を進める。
ステップＳ３３において、作成部２３は、ステップＳ３１で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
一方、ステップＳ３４において、作成部２３は、設備に応じた、理論値等に基づいて予め作成された設備の外部又は内部の状況を表わす仮想画像を記憶装置１２等より取得する。
ステップＳ３５において、表示制御部２４は、ステップＳ３３で作成された、又はステップＳ３４で取得された、設備の外部又は内部の状況を表わす仮想画像と、ステップＳ３０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ３６において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図１２に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図１２に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ３０に戻す。
【００２３】
以上、本実施形態によれば、設備が稼働しているときは、計測情報に基づき作成した仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。また、本実施形態によれば、設備が稼働していないときは、理論値又は今までの計測情報の平均値に基づき作成された仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
なお、実施形態のシステム構成やソフトウェア構成等を、実施形態１の構成と同様としたが、実施形態２の構成と同様とした場合、作成部２３は、計測情報及び／又は制御情報に基づき、設備が稼働中か否かを判定するようにしてもよい。例えば、作成部２３は、計測情報が所定の範囲内にない、及び／又は、操業サーバ５から設備に対して所定の間、制御情報が送信されていない場合、設備が稼働中でないと判定するようにしてもよい。
【００２４】
＜実施形態４＞
表示制御部２４は、設備ごとに設定されている表示レイヤを、表示装置４における見学者の画面操作等に応じて、表示装置４に送信するようにしてもよい。図１３Ａ〜図１３Ｄは、表示レイヤごとの設備の表示の一例を示す図である。図１３Ａは、高炉の外観を表わしている。図１３Ｂは、高炉内部の耐火煉瓦を表わしている。図１３Ｃは、高炉内の鉄鉱石やコークスの様子を表わしている。図１３Ｄは、高炉の断面を表わしている。
表示制御部２４は、図１３Ａや図１３Ｂのような表示レイヤの表示を表示装置４から要求された場合は、予め作成された表示レイヤの仮想画像を記憶装置１２等より取得し、取得した表示レイヤの仮想画像と、撮像画像入力部２１で入力された撮像画像と、を表示装置４で重畳して表示するよう制御する。
【００２５】
本実施形態によれば、見学者からの要求等に応じて、設備等の稼働状況を様々な表示レイヤで表示した仮想画像を設備の撮像画像に重畳して表示させることによって、施設や工場の見学者に対して設備等の稼働状況を、より臨場感をもって、かつ、詳細に伝えることができる。
【００２６】
＜実施形態５＞
図１４は、実施形態５の設備案内システムのシステム構成の一例を示す図である。図１４に示されるように、実施形態５の設備案内システムのシステム構成は、実施形態１の設備案内システムのシステム構成に比べて、カメラ２が含まれない。また、本実施形態の表示装置４は、例えば、窓等に張られた透過型の液晶フィルム等である。
ＡＲサーバ１は、センサ３1〜３5で計測された計測情報（例えば、高炉の内部の温度情報等）をセンサ３1〜３5より入力する。
ＡＲサーバ１は、入力した計測情報に基づき設備の外部又は内部の状況を表わす仮想画像を作成し、作成した仮想画像が、表示装置４が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
【００２７】
図１５は、実施形態５のＡＲサーバ１のソフトウェア構成の一例を示す図である。
図１５に示されるように、ＡＲサーバ１は、ソフトウェア構成として、計測情報入力部２２と、作成部２３と、表示制御部２４と、を含む。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
作成部２３は、計測情報入力部２２で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
表示制御部２４は、作成部２３で作成された設備の外部又は内部の状況を表わす仮想画像が、表示装置４が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
【００２８】
図１６は、実施形態５のＡＲサーバ１における表示制御処理の一例を示すフローチャートである。
ステップＳ４０において、計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ４１において、作成部２３は、ステップＳ４０で入力された計測情報に基づいて、設備の外部又は内部の状況を表わす仮想画像を作成する。
ステップＳ４２において、表示制御部２４は、ステップＳ４１で作成された設備の外部又は内部の状況を表わす仮想画像が、表示装置４が設置されている窓等から見る設備と、重畳して表示されるよう制御を行う。
ステップＳ４３において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図１６に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図１６に示す処理を終了し、処理を終了しないと判定すると、処理をステップＳ４０に戻す。
【００２９】
以上、本実施形態によっても、施設や工場の見学者に対して設備等の稼働状況を、臨場感をもって伝えることができる。
【００３０】
＜実施形態６＞
製鉄所内の工場設備の制御は、コンピュータ制御全盛の今日においてもなお、オペレータが高炉ののぞき窓から見える銑鉄の色や転炉口から吹き上がる炎等から、高炉や転炉の内部の状況を予測し、そのときの状況に応じたオペレータの判断に基づいて行われることも少なくない。しかしながら、この判断は熟練を要するため容易ではなく、オペレータの判断が適切でなかった場合、工場設備で生産される製品の品質低下を招く結果につながりかねない。
そこで、本実施形態では、オペレータの判断によって工場設備の制御を行う場合、その制御を行ったときの工場設備の状況（例えば高炉や転炉の内部の状況）がどのようになるかをシミュレーションし、シミュレーションの結果をオペレータに対して３次元画像として提示する作業支援システムについて説明する。
実施形態１〜５の設備案内システムは、計測情報や制御情報に基づいて現在の設備の内部の状況を表す３次元の仮想画像を作成し、見学者に対して提示していた。しかしながら、実施形態６に係る作業支援システムは、計測情報のほか、これから制御しようとする内容を表す情報（制御予定情報）に基づいて、仮にその制御を行った場合、設備の内部の状況がどのように変化するかをシミュレーションにより予測し、その予測結果をオペレータに対して提示する。オペレータは、その予測結果を見て、実際にどのような制御を行うか最終的に判断する。
【００３１】
本実施形態に係る作業支援システムについて、より詳細に説明すれば以下のとおりである。図１７は、実施形態６の作業支援システムのシステム構成の一例を示す図である。図１７に示されるように、作業支援システムは、サーバ１０１と、カメラ付きＨＭＤ１０２（以下、ＨＭＤ１０２と略す）と、センサ１０３1〜１０３5と、が無線ネットワークを介して接続されている。
図１８は、実施形態６の作業支援システムのソフトウェア構成の一例を示す図である。
本実施形態の作業支援システムのソフトウェア構成は、実施形態１のＡＲサーバ１のソフトウェア構成に比べて、制御予定情報入力部２６が新たに含まれる。
また、本実施形態では、ソフトウェアの機能がサーバ１０１とＨＭＤ１０２とに分散している。サーバ１０１は、ソフトウェアの機能構成として、計測情報入力部２２と、制御予定情報入力部２６と、シミュレーション部２７と、を含む。また、ＨＭＤ１０２は、カメラ及び作画機能を備えており、ソフトウェアの機能構成として、撮像画像入力部２１と作画・表示制御部２８と、を含む。なお、本実施形態では、ソフトウェアの機能がサーバ１０１とＨＭＤ１０２とに分散しているが、実施形態１等のように、全ての機能をサーバ１０１が備えている構成であってもよいし、或いは、全ての機能をＨＭＤ１０２が備えている構成であってもよく、特に限定はされない。
【００３２】
はじめにサーバ１０１の機能について説明する。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より入力データとして受け取る。このとき、センサ３1〜３5は、無線ネットワークを介してサーバ１０１に対して計測情報を送信する。
制御予定情報入力部２６は、オペレータによって入力された制御予定情報を入力データとして受け取る。制御予定情報としては、制御情報と同様、焼結鉱等の投入指示情報やコークス投入指示情報や還元剤の吹き込み指示情報や出銑指示情報のほか、酸素や空気や各種ガスの吹き込み指示や圧力指示情報がある。オペレータは、サーバに接続された入力装置を介して制御予定情報を入力することもできるし、携帯端末等を介してリモートで制御予定情報を入力することも可能である。
シミュレーション部２７は、計測情報入力部２２で受け取った計測情報と、制御予定情報入力部２６で受け取った制御予定情報と、に基づいて、制御予定情報によって表される内容の制御が行われた場合の設備の外部又は内部の状況についてのシミュレーションを行う。例えば、シミュレーション部２７は、計測情報（高炉の現在の温度等）と制御予定情報（羽口ごとの酸素や空気の吹き込み量を表す吹き込み指示情報等）とを設備に対応する
設備内推定モデルに代入し、設備内の状況について数値解析を行い、その結果を表す数値データを出力する。
なお、設備内推定モデルを利用する技術としては、例えば、特開平８−２９５９１０等に、炉内の状態をモデル化した数式モデルを導入して高炉の動作をシミュレートする技術が開示されている。このような技術を利用すれば、炉内の３次元座標の各地点における温度や圧力等のデータを得ることできる。
【００３３】
次にＨＭＤ１０２の機能について説明する。
撮像画像入力部２１は、ＨＭＤ１０２に備えられたカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
作画・表示制御部２８は、シミュレーション部２７によるシミュレーション結果を表す数値データを受け取ると、当該数値データに基づいて３次元の仮想画像を作画する。更に、作画・表示制御部２８は、作画した設備の外部又は内部の状況についてのシミュレーション結果を表す３次元の仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２の表示装置に表示するよう制御する。このとき、サーバ１０１は、無線ネットワークを介してＨＭＤ１０２にシミュレーション結果を表す数値データを送信する。
【００３４】
図１９は、実施形態６の作業支援システムにおける処理の一例を示すフローチャートである。
ステップＳ５０において、撮像画像入力部２１は、ＨＭＤ１０２に備えられているカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
ステップＳ５１において、計測情報入力部２２はセンサ３1〜３5で計測された計測情報をセンサ３1〜３5より入力データとして受け取る。
ステップＳ５２において、制御予定情報入力部２６は、オペレータによって入力された制御予定情報を受け取る。
ステップＳ５３において、シミュレーション部２７は、ステップＳ５１で入力された計測情報とステップＳ５２で入力された制御予定情報と、に基づいて、設備の外部又は内部の状況を推定するシミュレーションを実行し、シミュレーション結果を表す数値データを出力する。そして、作画・表示制御部２８は、シミュレーション結果を表す数値データに基づいて３次元の仮想画像を作成する。
ステップＳ５４において、作画・表示制御部２８は、ステップＳ５３で作成された設備の外部又は内部の状況についてのシミュレーション結果を表す３次元の仮想画像と、ステップＳ５０で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２に備えられているディスプレイ（表示装置）に表示するよう制御する。
ステップＳ５５において、例えば、作画・表示制御部２８は、ＨＭＤ１０２等より表示終了の情報等を受信したか否か等に基づいて、図１９に示す処理を終了するか否かを判定する。作画・表示制御部２８は、処理を終了すると判定すると、図１９に示す処理を終了し、処理を終了しないと判定すると、処理ステップをＳ５０に戻す。
【００３５】
なお、作画・表示制御部２８によって作成された３次元の仮想画像と撮像画像とを重畳表示する処理について、制御予定情報として羽口ごとの酸素や空気の吹き込み量を表す吹き込み指示情報を用いる場合を例に、より具体的に説明すれば以下のとおりである。
大型の高炉には、本体下部の３０〜４０箇所に炉内に空気を送り込むための羽口が設けられているが、羽口に送り込まれる量が異なれば、各羽口周辺の温度分布はそれぞれ異なる。
そこで、各羽口には識別用のＩＤ（以下、羽口ＩＤと略す）が割り当てられており、シミュレーション部２７がシミュレーションを実行する際、制御予定情報として、羽口ＩＤを指定して酸素や空気の吹き込み量を表す吹き込み指示情報が入力される。これにより、各羽口に対応する３次元座標の各点における吹込み量を表すデータが入力されることにな
る。また、高炉内の３次元座標の各点における温度データの初期値は、センサからの計測情報に基づいて計算された値が入力されることになる。
そして、シミュレーション部２７は、入力された制御予定情報や計測情報を初期条件として、高炉内の状態を表す数式モデルに基づいて流れの運動方程式や熱伝導法方程式の数値解析を行うことで、一定時間経過した後の高炉内の３次元座標の各点における各種の数値データ（温度データ、速度データ、圧力データ等）を算出する。
そして、作画・表示制御部２８は、シミュレーション部２７からシミュレーション結果を表す高炉内の３次元座標の各点における数値データを受け取ると、受け取った数値データからシミュレーション結果（温度分布、速度分布、圧力分布等）を示す３次元の仮想画像を生成する。
更に、作画・表示制御部２８は、作成した３次元の仮想画像と撮像画像とを重畳表示する際、例えば、ＨＭＤ１０２に備えられたカメラで撮像した高炉の画像に基づいてユーザに見えている部分の方位や角度を識別する。より具体的には、ＨＭＤ１０２に備えられたカメラで撮像した高炉の画像はユーザの視界に捉えられている高炉の画像とほぼ同じであるため、予め、高炉を様々な角度や方位から撮像した画像をＨＭＤ１０２内のメモリに格納しておき、ＨＭＤ１０２のカメラで撮像した画像とメモリに格納された画像とのマッチングを行うことでユーザに見えている部分の方位や角度を識別する。そして、作画・表示制御部２８は、識別した方位や角度に基づいて、オペレータに提示するシミュレーション結果を表す３次元の仮想画像の向きを制御する。
【００３６】
なお、３次元の仮想画像の向きをオペレータが入力装置を介して自分で操作して調整できる構成であってもよく、特に限定はされない。
この構成によれば、オペレータは、シミュレーションの結果から、自分がこれから行おうとしている制御によって、高炉や転炉内の温度分布や圧力分布がどのような状況になるかを前もって確認することができる。
これにより、オペレータは、例えば高炉内のシミュレーションの結果が良好な温度分布等を示すものであれば、予定どおりの制御を行い、シミュレーションの結果が好ましくない温度分布等を示すものであれば、制御内容を再検討して、適切な操作を選択することができるようになる。したがって、経験の浅いオペレータであっても、熟練を要する高炉等の工場設備の運転を適切に行うことができるようになる。しかも、実際の高炉や転炉に重畳させて内部の温度分布等が３次元の仮想画像として提示されるので、オペレータは設備内部の状況をより直感的に捉えることができるようになり、シミュレーションの結果が良好であるか否かを瞬時にかつ正確に把握することができるようになる。
なお、本実施形態では、カメラ付きの非透過型のＨＭＤ１０２を用いた場合を例に説明したが、実施形態５の構成を適用して、透過型のＨＭＤを利用することにより、カメラが含まれてない構成であってもよい。つまり、ＨＭＤには撮像画像入力部２１が備えられておらず、作画・表示制御部２８は、作成した３次元の仮想画像を、ＨＭＤから実際に見える設備に重畳して表示されるように制御を行うことになる。この場合、ＨＭＤにはＧＰＳや加速度センサが備えられていれば、ＨＭＤは、ユーザがどの方位や角度から設備を捉えているかを認識することができる。また、シミュレーションで用いられる３次元座標と実際の設備の方位との関係は予め定義されている。これにより、カメラを備えていないＨＭＤでも、識別した方位や角度に基づいて、オペレータに提示するシミュレーション結果を表す３次元の仮想画像の向きを制御して、透過型のＨＭＤから見えている設備に重畳させて表示することができる。
【００３７】
＜実施形態７＞
製鉄所では、高炉から出てくる溶銑を混銑車（トーピードカー）等に入れて製鋼工場に運搬し、溶解した状態のまま製鋼炉に装入する。そこで、混銑車についても工場設備の一部として、実施形態１と同様、内部の状況を表す仮想画像を生成し、混銑車に重畳表示させて作業員に提示してもよい。即ち、混銑車の内部や表面の温度や圧力等の計測情報をセ
ンサにより取得し、この計測情報を用いて混銑車に関連付けられている設備内推定モデルに基づいて生成される温度分布等を表す仮想画像を、実際の混銑車に重畳して表示させる構成であってもよい。
更に、本実施形態では、混銑車によって運搬されている溶銑に対応する注文番号を表示する構成であってもよい。本実施形態に係る作業支援システムについて、より詳細に説明すれば以下のとおりである。図２０は、実施形態７の作業支援システムのシステム構成の一例を示す図である。図２０に示されるように、作業支援システムは、サーバ１０１と、カメラ付きＨＭＤ１０２（以下、ＨＭＤ１０２と略す）と、センサ１０４1〜１０４5と、が無線ネットワークを介して接続されている。
なお、実施形態７では、実施形態１においてＡＲサーバ１にて実行されていた各種の処理がＨＭＤ１０２において行わる。ＨＭＤ１０２の機能についてより詳細に説明すれば以下のとおりである。
【００３８】
ＨＭＤ１０２は、自機に一体的に備えられたカメラで撮像した工場内の設備（図２０の例では混銑車）の撮像画像を取得する。また、ＨＭＤ１０２は、センサ１０４1〜１０４5で計測された計測情報（例えば、混銑車の内部の温度情報等）を、無線等を介して取得する。
更に、本実施形態では、工場内の設備に各設備を識別するためのマーカーが付されており、ＨＭＤ１０２は、自機に備えられたカメラが各マーカーを認識することにより各設備を識別可能である。より具体的には、ＨＭＤ１０２は、各設備を識別するための設備ＩＤと各マーカーとが対応付けられた図２１に示す設備マーカー対応テーブルを自機に備えられたメモリに保持しており、カメラによってマーカーを認識することにより、各マーカーに対応づけられた設備ＩＤを設備マーカー対応テーブルから読み出すことによって、各設備を識別する。図２１は、設備マーカー対応テーブルの一例を示す図である。
また、ＨＭＤ１０２は、取得した計測情報に基づき設備の外部又は内部の状況を表す仮想画像を作成し、作成した仮想画像と、カメラで撮像した撮像画像とを重畳して自機に備えられたディスプレイ（表示装置）に表示するよう制御する。
更に、本実施形態では、ＨＭＤ１０２は設備ＩＤに基づき設備内の製品が引き当てられている注文番号を示す仮想画像を生成し、作成した注文番号の仮想画像とカメラで撮像した設備の撮像画像とを重畳して自機に備えられた表示装置に表示する点において特徴を有する。この点について、より詳細に説明すれば次のとおりである。
本実施形態では、サーバ１０１は、各設備を識別するための設備ＩＤと注文番号とが対応付けられた図２２に示す設備利用状況テーブルを格納している。この設備利用状況テーブルは、工場内の製造管理システムにデータを登録する際等に、オペレータによって更新される。例えば、高炉にて銑鉄を製造する作業を開始する際、これから当該高炉において製造される銑鉄が引き当てられている注文番号をオペレータが製造管理システムに入力することによって、上記の設備利用状況テーブルが更新される。即ち、本実施形態では、サーバ１０１は、図２に示されるＡＲサーバ１とは異なり、製造管理システムのデータを記憶するものである。図２２は、設備利用状況テーブルの一例を示す図である。
なお、ＨＭＤ１０２のハードウェア構成としては、図２に示されるＡＲサーバ１と同様、ＣＰＵ、記憶装置（メモリ）、通信装置とを含み、ＣＰＵは記憶装置に含まれているプログラムやデータに基づいてＨＭＤ１０２を制御する処理等を実行することによって、後述するソフトウェア構成及びフローチャートにかかる処理が実現される。
【００３９】
図２３は、カメラ付きＨＭＤのソフトウェア構成の一例を示す図である。図２３に示されるように、ＨＭＤ１０２は、ソフトウェア構成として、撮像画像入力部２１と、計測情報入力部２２と、特定処理部２９と、作成部２３と、表示制御部２４と、を含む。
撮像画像入力部２１は、ＨＭＤ１０２に備えられたカメラで撮像された工場内の設備の撮像画像を入力データとして受け取る。
計測情報入力部２２は、センサ３1〜３5で計測された計測情報をセンサ３1〜３5より入力データとして受け取る。
特定処理部２９は、各設備内の製品が引き当てられている注文番号を特定する。より具体的には、特定処理部２９は、カメラで捉えられた工場内の設備に付されたマーカーに対応する設備ＩＤを、上述した設備マーカー対応テーブルから読み出す。
図２０に示す例では、特定処理部２９は、自機に備えられたカメラが混銑車Ａに付されたマーカーＡ及び混銑車Ｂに付されたマーカーＢを捉えた場合、設備マーカー対応テーブルから、それぞれのマーカーに対応する設備ＩＤを読み出し、マーカーＡが付されている設備が混銑車Ａであり、マーカーＢが付されている設備が混銑車Ｂであることを識別する。
更に、特定処理部２９は、各設備ＩＤに対応する注文番号を、上述した設備利用状況テーブルから読み出し、各設備内の製品等が引き当てられている注文番号を特定する。
図２０に示す例では、特定処理部２９は、混銑車Ａ及び混銑車Ｂを識別した場合、設備利用状況テーブルから、それぞれの設備ＩＤに対応する注文ＩＤを読み出し、混銑車Ａでは注文ＩＤ「ＡＢＣ１２３」、「ＥＤＦ４５６」の銑鉄が運搬おり、混銑車Ｂでは注文ＩＤ「Ｇ１２３」、「Ｘ４５６」の銑鉄が運搬されていることを特定する。
【００４０】
作成部２３は、計測情報入力部２２で入力された計測情報入力部２２で入力された計測情報に基づいて、設備の外部又は内部の状況を表す仮想画像を作成する。また、作成部２３は、特定処理部２９で特定された注文番号を表す仮想画像を作成する。
表示制御部２４は、作成部２３で作成された設備の外部又は内部の状況を表す仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２の表示装置に表示するよう制御する。また、表示制御部２４は、作成部２３で作成された注文番号を表す仮想画像と、撮像画像入力部２１で入力された前記設備の撮像画像と、を重畳してＨＭＤ１０２の表示装置に表示するよう制御する。
図２０には、ＨＭＤ１０２には、作成部２３によって作成された注文番号を表す仮想画像が、表示制御部２４によりカメラで撮像された混銑車の画像に重畳されている様子が示されている。
なお、図２０には、設備の外部又は内部の状況を表す仮想画像を重畳する例については示していないが、実施形態４の構成を用いて表示レイヤの切り替えを行うことで表示することが可能である。
また、図２０に示す例では、工場設備を識別するためにマーカーを用いる構成を説明したが、マーカーの代わりに、工場設備を識別するためにＲＦＩＤ等の無線ＩＣタグ等を用いてもよい。即ち、ＨＭＤ１０２は無線ＩＣタグのリーダー機能を備えていて、各設備ＩＤを記憶した無線ＩＣタグが各設備に付されており、そこから直接、設備ＩＤを読み取る構成であってもよく、特に限定はされない。
【００４１】
図２４は、実施形態７の作業支援システムにおける処理の一例を示すフローチャートである。
ステップＳ６０において、撮像画像入力部２１は、ＨＭＤ１０２に備えられたカメラで撮像された工場内の設備の撮像画像を受け取り、入力する。
ステップＳ６１において、計測情報入力部２２はセンサ３1〜３5で計測された計測情報をセンサ３1〜３5より受け取り、入力する。
ステップＳ６２において、特定処理部２９は、ＨＭＤ１０２に備えられたカメラで捉えたマーカーに基づいて各設備の設備ＩＤを特定し、更に、特定した設備ＩＤに基づいて、各設備に保管されている製品等の注文番号を特定する。
ステップＳ６３において、作成部２３は、ステップＳ６１で入力された計測情報に基づいて、設備の外部又は内部の状況を表す３次元の仮想画像を作成する。また、作成部２３は、ステップＳ６２で特定した注文番号に基づいて、注文番号を表す仮想画像を作成する。
ステップＳ６４において、表示制御部２４は、ステップＳ６３で作成された設備の外部
又は内部の状況を表す３次元の仮想画像と、ステップＳ６０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。また、表示制御部２４は、ステップＳ６３で作成された注文番号を表す仮想画像と、ステップＳ６０で入力された前記設備の撮像画像と、を重畳して表示装置４に表示するよう制御する。
ステップＳ６５において、例えば、表示制御部２４は、表示装置４等より表示終了の情報等を受信したか否か等に基づいて、図２４に示す処理を終了するか否かを判定する。表示制御部２４は、処理を終了すると判定すると、図２４に示す処理を終了し、処理を終了しないと判定すると、処理ステップをＳ６０に戻す。
なお、本実施形態は、工場の設備だけでなく、出荷待ちの製品そのものに適用することも可能である。この場合、設備の内部や外部の様子を表す仮想画像を重畳表示させる必要がないため、Ｓ６１をスキップし、Ｓ６３において設備の内部や外部の様子を表す仮想画像を生成する処理を行わない構成であってもよく、特に限定はされない。
【００４２】
図２５は、実施形態７の作業支援システムのシステム構成の一例を示す図である。図２５に示す例では、出荷待ちのコイルに注文番号を表示する例を示している。この例では、出荷待ちのコイルにマーカー１０５1〜１０５3が付されており、ＨＭＤ１０２でこのマーカーを捉えることによって、各コイルの注文番号を取得することができるが、処理内容の詳細については、図２０を用いて説明した例と同様であるため、説明を省略する。
また、図２５に示す例では、注文番号だけではなく、積み込み順番指示書もＡＲによって表示している。この場合、オペレータは、予めサーバ１０１に積み込みの順番に関する情報（注文番号を用いて積み込みの順番等を定義した情報）を登録している。そして、特定処理部２９が製品の注文番号を特定する際、サーバ１０１に登録されている積み込みの順番に関する情報もあわせて読み出し、作成部２３が積み込み順番指示書を表す仮想画像を作成する。
これにより、作業員は、工場内の設備や製品を見るだけで、設備内に収納されている製品や半製品や材料等について、引き当てられている注文番号や積み込みの順番を瞬時に把握することができるため、出荷の準備や次の工程への輸送等の作業をスムーズに行うことができるようになり、また、作業のミスも防止することができるようになる。
なお、本実施形態でも、カメラ付きの非透過型のＨＭＤ１０２を用いた場合を例に説明したが、実施形態５の構成を適用して、透過型のＨＭＤを利用することにより、カメラが含まれてない構成であってもよい。その場合、ＨＭＤには撮像画像入力部２１が備えられておらず、作成部２３は、作成した３次元の仮想画像を、ＨＭＤから実際に見える設備に重畳して表示されるように制御を行うことになる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００４３】
例えば、上記実施形態では中を見ることの困難な製鉄所の高炉や転炉等の設備内の様子を示す例で説明した。しかしながら、上述した各実施形態は、食品製造や化学・薬品製造等であると、透明な筐体内で液体や粉体を扱うような設備においても適用することができる。この様な設備に上述した各実施形態を適用した場合、投入中の液体や粉体を直接的に見学者に見せ、その液体や粉体の属性（材料名、温度、粘度、酸度、アルコール度、１回の投入量等）をタグのような表示形態で重畳表示することができる。このようにすることによって、リアルタイムな稼働状況を目視しながらタグ情報でより具体的な情報を得ることができ、見学者によりわかりやすい見学サービスを提供することができる。
【００４４】
また、上述した実施形態では、所謂、非透過型のディスプレイや透過型のディスプレイを例に説明を行ったが、非透過型のプロジェクタや、透過型のプロジェクタであっても本発明を適用することができる。例えば、表示装置４の代わりに、見学者の頭部等に装着される眼鏡型の表示部を供えた表示装置を用いてもよい。また、例えば、ＡＲサーバ１は、
撮像画像と、仮想画像と、を重畳して表示する際に、撮像画像と、仮想画像と、の座標合わせを行う。座標合わせの手法としては、例えば、設備に固定マーカーを配置しておき、カメラ２で撮像した画像中の固定マーカーに基づいて、撮像画像と、仮想画像と、の座標合わせを行う方法等がある。なお、見学者の頭部等に装着される眼鏡型の表示部を供えた表示装置を用いる場合、ＡＲサーバ１は、表示装置からの位置情報や向き情報等に基づいて、見学者がどこをみているかを推定し、推定した位置に整合するように座標合わせを行う。
なお、上述した実施形態を任意に組み合わせて実施してもよい。
なお、上述したＡＲサーバ１は、コンピュータの一例である。
【符号の説明】
【００４５】
１ ＡＲサーバ
１１ ＣＰＵ
１２ 記憶装置
１３ 通信装置
【特許請求の範囲】
【請求項１】
撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、
前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して前記表示装置に表示する表示制御手段と、
を有する情報処理装置。
【請求項２】
設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、
を有する情報処理装置。
【請求項３】
前記設備を制御する制御装置から前記設備へ送信される制御情報を入力する制御情報入力手段を更に有し、
前記作成手段は、前記制御情報入力手段で入力された前記制御情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する請求項１又は２記載の情報処理装置。
【請求項４】
前記設備に対して行われる予定の制御内容を表す制御予定情報を入力する制御予定情報入力手段と、
前記制御予定情報入力手段で入力された制御予定情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記制御予定情報によって表される制御が行われた場合の前記設備の外部又は内部の状況を推定するシミュレーションを行うシミュレーション手段と、
を更に有し、
前記作成手段は、前記シミュレーションの結果を表す数値データから、前記シミュレーションの結果を表す３次元の仮想画像を作成する請求項１又は２記載の情報処理装置。
【請求項５】
前記設備内の製品に対応する注文番号を特定する特定手段を更に有し、
前記作成手段は、特定手段によって特定された注文番号を表す仮想画像を作成する請求項１又は２記載の情報処理装置。
【請求項６】
前記作成手段は、前記設備が稼働しているときは、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成し、
前記表示制御手段は、前記設備が稼働しているときは、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示し、前記設備が稼働していないときは、予め作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する請求項１記載の情報処理装置。
【請求項７】
前記作成手段は、前記設備が稼働しているときは、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成し、
前記表示制御手段は、前記設備が稼働しているときは、前記作成手段で作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示し、前記設備が稼働し
ていないときは、予め作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示する請求項２記載の情報処理装置。
【請求項８】
前記設備は、製鉄所内の設備であり、
前記センサは、前記設備の内部又は外部の複数の温度センサ、又は気圧センサ、又は圧力センサであり、
前記制御情報は、前記設備への酸素又はガスの吹き込み、又は前記設備への材料の投入である請求項３記載の情報処理装置。
【請求項９】
情報処理装置が実行する情報処理方法であって、
撮像装置において撮像された設備の撮像画像を入力する撮像画像入力ステップと、
前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力ステップと、
前記計測情報入力ステップで入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成ステップと、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成ステップで作成された仮想画像と、前記撮像画像入力ステップで入力された撮像画像と、を重畳して前記表示装置に表示する表示制御ステップと、
を有する情報処理方法。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力ステップと、
前記計測情報入力ステップで入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成ステップと、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成ステップで作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御ステップと、
を有する情報処理方法。
【請求項１１】
コンピュータを、
撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、
前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して前記表示装置に表示する表示制御手段と、
して機能させるプログラム。
【請求項１２】
コンピュータを、
設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、
して機能させるプログラム。
【請求項１】
撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、
前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して前記表示装置に表示する表示制御手段と、
を有する情報処理装置。
【請求項２】
設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、
を有する情報処理装置。
【請求項３】
前記設備を制御する制御装置から前記設備へ送信される制御情報を入力する制御情報入力手段を更に有し、
前記作成手段は、前記制御情報入力手段で入力された前記制御情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する請求項１又は２記載の情報処理装置。
【請求項４】
前記設備に対して行われる予定の制御内容を表す制御予定情報を入力する制御予定情報入力手段と、
前記制御予定情報入力手段で入力された制御予定情報と、前記計測情報入力手段で入力された前記計測情報と、に基づき、前記制御予定情報によって表される制御が行われた場合の前記設備の外部又は内部の状況を推定するシミュレーションを行うシミュレーション手段と、
を更に有し、
前記作成手段は、前記シミュレーションの結果を表す数値データから、前記シミュレーションの結果を表す３次元の仮想画像を作成する請求項１又は２記載の情報処理装置。
【請求項５】
前記設備内の製品に対応する注文番号を特定する特定手段を更に有し、
前記作成手段は、特定手段によって特定された注文番号を表す仮想画像を作成する請求項１又は２記載の情報処理装置。
【請求項６】
前記作成手段は、前記設備が稼働しているときは、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成し、
前記表示制御手段は、前記設備が稼働しているときは、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示し、前記設備が稼働していないときは、予め作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して表示装置に表示する請求項１記載の情報処理装置。
【請求項７】
前記作成手段は、前記設備が稼働しているときは、前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成し、
前記表示制御手段は、前記設備が稼働しているときは、前記作成手段で作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示し、前記設備が稼働し
ていないときは、予め作成された仮想画像を、表示装置から透過して表示される前記設備に重畳して表示する請求項２記載の情報処理装置。
【請求項８】
前記設備は、製鉄所内の設備であり、
前記センサは、前記設備の内部又は外部の複数の温度センサ、又は気圧センサ、又は圧力センサであり、
前記制御情報は、前記設備への酸素又はガスの吹き込み、又は前記設備への材料の投入である請求項３記載の情報処理装置。
【請求項９】
情報処理装置が実行する情報処理方法であって、
撮像装置において撮像された設備の撮像画像を入力する撮像画像入力ステップと、
前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力ステップと、
前記計測情報入力ステップで入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成ステップと、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成ステップで作成された仮想画像と、前記撮像画像入力ステップで入力された撮像画像と、を重畳して前記表示装置に表示する表示制御ステップと、
を有する情報処理方法。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力ステップと、
前記計測情報入力ステップで入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成ステップと、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成ステップで作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御ステップと、
を有する情報処理方法。
【請求項１１】
コンピュータを、
撮像装置において撮像された設備の撮像画像を入力する撮像画像入力手段と、
前記設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像と、前記撮像画像入力手段で入力された撮像画像と、を重畳して前記表示装置に表示する表示制御手段と、
して機能させるプログラム。
【請求項１２】
コンピュータを、
設備に設けられたセンサから前記センサが計測した計測情報を入力する計測情報入力手段と、
前記計測情報入力手段で入力された前記計測情報に基づき、前記設備の外部又は内部の状況を表わす仮想画像を作成する作成手段と、
表示装置から前記表示装置の位置を表す位置情報と前記表示装置の向きを表す向き情報とを取得し、前記位置情報及び前記向き情報とに基づいて、見学者の視界を推定し、推定した視界に整合するように座標合わせを行って、前記作成手段で作成された仮想画像を、前記表示装置から透過して表示される前記設備に重畳して表示する表示制御手段と、
して機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１０４１５６（Ｐ２０１２−１０４１５６Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１２−２８３９７（Ｐ２０１２−２８３９７）
【出願日】平成２４年２月１３日（２０１２．２．１３）
【分割の表示】特願２０１１−６１３３９（Ｐ２０１１−６１３３９）の分割
【原出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２４年２月１３日（２０１２．２．１３）
【分割の表示】特願２０１１−６１３３９（Ｐ２０１１−６１３３９）の分割
【原出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
[ Back to top ]