情報提示装置、情報提示方法及びプログラム
【課題】作業対象物に関する情報を明瞭に提示することを可能にする。
【解決手段】パターン生成部２０により格子模様パターン画像を生成し、生成された格子模様パターン画像をパターン記憶部１９に記憶すると共に、第２のプロジェクタ１７により作業エリアに向けて投影させる。この投影された格子模様パターン画像を赤外線カメラ１０により撮像させ、画像処理部１３において、撮像された格子模様パターン画像と、生成された元の格子模様パターン画像とを照合して平面領域を抽出する。そして、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第１のプロジェクタ６により提示情報２９を上記検出された平面領域に向けて投影させる。
【解決手段】パターン生成部２０により格子模様パターン画像を生成し、生成された格子模様パターン画像をパターン記憶部１９に記憶すると共に、第２のプロジェクタ１７により作業エリアに向けて投影させる。この投影された格子模様パターン画像を赤外線カメラ１０により撮像させ、画像処理部１３において、撮像された格子模様パターン画像と、生成された元の格子模様パターン画像とを照合して平面領域を抽出する。そして、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第１のプロジェクタ６により提示情報２９を上記検出された平面領域に向けて投影させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば現場作業員の作業を遠隔地から通信ネットワークを使用して支援する遠隔作業支援システムにおいて、現場で作業者に情報を提示するために使用される情報提示装置、情報提示方法及びプログラムに関する。
【背景技術】
【０００２】
遠隔作業支援システムでは、作業指示者が音声と画像を利用して現場作業者と協調しながら作業を効率的に進めることが必要である。この際、音声指示と同時に現場作業者に作業の手順書や見本画像を提示することは重要である。特に、提示情報を作業対象物が存在する実空間に提示できれば作業の効率化に寄与できる。
【０００３】
そこで、例えば、プロジェクタにより投影された画像において、ユーザが指し示す作業対象物をリアルタイムで認識し、その作業対象物に関連付けられた所定のアクションを実行するようにした映像表示装置が提案されている（例えば、特許文献１を参照。）。これにより、作業の手順書や見本画像をプロジェクタで投影しておき、作業者が投影画像中の作業対象物を指し示すことで、予めその作業対象物に関連付けられている作業遂行に有用な詳細情報を提示することができる。
【０００４】
【特許文献１】特開２００１−１５４７６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般に作業現場の環境は整備されていないことが多いため、上記従来の映像表示装置を用いて作業対象物付近に画像を投影した場合、作業対象物或いはその周辺に存在する物とプロジェクタにより投影された画像とが重畳される。このため、投影画像に歪みが生じる等により視認性が悪くなり、作業効率の低下を招くおそれがある。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、作業対象物に関する情報を明瞭に提示することを可能にする情報提示装置、情報提示方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明に係わる情報提示装置、情報提示方法及びプログラムは、撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、上記作業空間に対し、当該作業空間の平面度を検出するための検出光を上記第２の投影手段に投影させる手段と、上記検出光が投影された状態で上記作業空間の画像を上記撮像手段に撮像させる手段とを備える。そして、上記撮像手段により得られる作業空間の画像データをもとに、上記作業空間における平面領域を検出して、検出された平面領域に向け、上記作業対象物に関する情報を上記第１の投影手段に投影させるようにしたものである。
したがって、この発明によれば、作業対象物に関する情報を明瞭に提示することが可能となる。これにより、例えば、プロジェクタで投影される作業手順書や作業の見本画像の視認性が向上されるため、作業の効率化を図ることができる。
【０００８】
また、この発明は次のような各種構成を備えることも特徴とする。
第１の構成は、上記検出光を上記第２の投影手段に投影させる手段は、赤外線からなる検出光を上記第２の投影手段に投影させ、上記画像を上記撮像手段に撮像させる手段は、上記赤外線からなる検出光が投影された状態で上記作業空間の赤外線画像を上記撮像手段に撮像させるようにする。これにより、平面度を検出するための検出光は、作業者に認識されることがないため、作業空間の視認性を損なうことなく、作業対象物に関する情報を明瞭に提示することが可能となる。
【０００９】
第２の構成は、上記検出光を上記第２の投影手段に投影させる手段は、検出光として格子状パターンの光学像を上記第２の投影手段に投影させるようにする。このように構成すると、パターン・マッチング等の簡単な画像解析アルゴリズムにより実現できるため、平面領域の検出に要する処理の負担が軽減される。
【００１０】
第３の構成は、撮像手段及び投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、上記作業空間の画像を上記撮像手段に撮像させて得られる上記作業空間の画像データをもとに、上記作業空間内で作業者が指定する平面領域を検出する。この検出された平面領域に向け、上記作業対象物に関する情報を上記投影手段に投影させる。このように構成することにより、作業者が指定する任意の平面領域に作業対象物に関する情報を明瞭に提示することが可能となる。
【００１１】
第４の構成は、上記検出された平面領域の色情報を検出し、検出された色情報に対する補色情報を求める。そして、上記作業対象物に関する情報を投影させる手段は、上記検出された平面領域に向け、上記求められた補色情報を用いて上記作業対象物に関する情報を投影させるようにしたものである。このようにすると、検出された平面領域の色合いに左右されることなく、作業対象物に関する情報をさらに明瞭に提示することが可能となる。
【発明の効果】
【００１２】
要するにこの発明によれば、作業対象物に関する情報を明瞭に提示することを可能にする情報提示装置、情報提示方法及びプログラムを提供することにある。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。この遠隔作業支援システムは、情報提示装置１００と、情報設定装置２００と、設定情報ＤＢ２５とを、通信ネットワークＮＷを介して接続可能としたものである。
通信ネットワークＮＷは、システムが例えば事業所内又はオフィス内に構築される場合であればＬＡＮ（Local Area Network）により構成される。一方、システムが複数の事業所やオフィスに跨って構成される場合には、インターネットに代表されるコンピュータ・ネットワークから構成される。また、設定情報ＤＢ２５には、遠隔指示者により情報設定装置２００から入力された作業に関する詳細情報が記憶されている。
【００１４】
情報提示装置１００は、現場作業者がいる作業現場に設置され、情報提示部２と、情報提示領域検出部１１とを備える。また、情報提示装置１００には、カメラ１と、第１のプロジェクタ６と、赤外線カメラ１０と、第２のプロジェクタ１７とがそれぞれ接続されている。カメラ１は、作業対象物２６を含む作業エリアを撮像し、第１のプロジェクタ６は、作業対象物２６に関連する詳細情報が存在することを示す投影対象物２７を表示している。なお、図１に示すように、カメラ１及び赤外線カメラ１０の撮像範囲と、第１のプロジェクタ６及び第２のプロジェクタ１７の投影範囲が一致するように調整されているものとする。
【００１５】
情報提示部２は、画像記憶部３と、画像処理部４と、画像送信部５と、表示・処理制御部７と、データ変換部８と、ＤＢ検索部９とを備える。画像記憶部３は、カメラ１から入力される作業対象物２６を含む作業エリアを撮像した画像データを記憶する。画像処理部４は、作業者によりレーザポインタ等の指示具２８を用いて指定された投影対象物２７を識別する。すなわち、画像記憶部３に記憶された画像データから指定された投影対象物２７の座標を画像処理により検出する。また、画像送信部５は、画像記憶部３に記憶された画像データを通信ネットワークＮＷを介して情報設定装置２００に向け送信する。
【００１６】
ＤＢ検索部９は、上記画像処理部４により識別された投影対象物２７に関する詳細情報を設定情報ＤＢ２５にアクセスして取得する。データ変換部８は、上記取得された詳細情報を後述する情報提示領域検出部１１により検出される提示領域に合わせて位置やサイズを変換して投影画像データを作成する。表示・処理制御部７は、データ変換部８において作成された投影画像データを第１のプロジェクタ６に出力し、この投影画像データをもとに第１のプロジェクタ６は提示情報２９を作業エリアに投影する。
【００１７】
一方、情報提示領域検出部１１は、画像記憶部１２と、画像処理部１３と、表示・処理制御部１８と、パターン記憶部１９と、パターン生成部２０とを備える。パターン生成部２０は、情報提示領域を検出するために作業エリアを包含する格子模様パターンを生成する。パターン記憶部１９は、パターン生成部２０において生成された格子模様パターンを記憶する。表示・処理制御部１８は、パターン記憶部１９に記憶された格子模様パターンを第２のプロジェクタ１７に出力する。
【００１８】
第２のプロジェクタ１７は、可視光成分と赤外線成分とを含む光を発光する光源を内蔵し、上記パターン生成部２０において生成された格子模様パターンデータをもとに、上記光源から光の格子模様パターンを発光させる。なお、第２のプロジェクタ１７の投影口には赤外線フィルタ１６が配設されている。この赤外線フィルタ１６は、上記第２のプロジェクタ１７から発光された光の波長成分のうち、可視光成分を遮断して赤外線成分のみを透過する。このように構成することで、作業エリアに対し赤外線の格子模様パターンが投影される。図２に赤外線の格子模様パターンが投影される様子を示す。
【００１９】
また、画像記憶部１２は、赤外線カメラ１０により撮像された画像を記憶するために設けられる。画像処理部１３は、画像照合部１４と領域検出部１３とを備え、処理内容を表示する領域を検出する。すなわち、画像照合部１４は、生成された格子模様パターンと画像記憶部１２に記憶される撮像された格子模様パターンとを照合し、領域検出部１３により、上記照合された結果により表示領域を検出する。
【００２０】
一方、遠隔指示者が使用する情報設定装置２００は、画像受信部２２と、表示部２３と、データ入力部２４と、ＤＢ入力部２１とを備える。画像受信部２２は、情報提示装置１００から通信ネットワークＮＷを介して送られる画像データを受信する。表示部２３は、液晶表示器（ＬＣＤ）などで構成され、上記受信された画像データを表示する。データ入力部２４は、図示しないキーボードやマウス等の入力装置を備え、遠隔指示者によりこれらの入力装置を用いて入力されるデータを受け付ける。データ入力部２４により入力された作業に関する詳細情報などのデータは、ＤＢ入力部２１により設定情報ＤＢ２５に格納される。
【００２１】
次に、以上のように構成された情報提示装置１００の動作について説明する。図４は、情報提示装置１００における情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具２８を用いて投影対象物２７に関連付けられている詳細情報、例えば、作業手順に関するテキスト情報や映像情報を提示させる操作を行ったものとする。
【００２２】
はじめに、ステップＳ４ａにおいて、情報提示装置１００のパターン生成部２０は、格子模様パターンを生成してパターン記憶部１９に記憶させておくと共に、ステップＳ４ｂにおいて、上記生成された格子模様パターンを表示・処理制御部１８により第２のプロジェクタ１７に出力する。この第２のプロジェクタ１７の投影口には、赤外線フィルタが設けられているため、赤外線成分のみで格子模様パターンが投影される。この格子模様パターンは、赤外線フィルタにより可視光が遮断され赤外線成分のみが通過するため、現場作業者には不可視である。図２に投影された格子模様パターンの例を示す。ステップＳ４ｃにおいて、赤外線カメラ１０により上記投影された格子模様パターンを撮像し、撮像された画像をステップＳ４ｄにより画像記憶部１２に記憶する。
【００２３】
次に、ステップＳ４ｅにおいて、画像処理部１３の画像照合部１４においてパターン記憶部１９に記憶された元の格子模様パターンと画像記憶部１２に記憶された撮像された格子模様パターンとの照合を行う。図３に赤外線カメラ１０により撮像された格子模様パターンの例を示す。同図において、例えば、作業対象物２６がある領域、すなわち凹凸が存在する領域は、格子模様が変形して撮像される。これに対して、凹凸がない平面領域は、元の格子模様パターンと同じく格子を成して撮像される。ここでは、投影対象物２７に関連付けられた詳細情報を表す提示情報２９を第１のプロジェクタ６により明瞭に投影させるために平面領域の検出を行う。
【００２４】
ステップＳ４ｆにおいて、格子模様の形状が一致する画面座標値を計算し、ステップＳ４ｇにおいて、上記計算された画面座標値に基づいて四角形領域を抽出する。そして、ステップＳ４ｈにおいて、抽出された四角形領域が複数存在するか否かの判定を行う。この判定により抽出された四角形領域が複数存在する場合は、ステップＳ４ｉに移行して抽出された四角形領域の中から最大面積で縦横比が１に最も近い四角形領域を検出し、検出された四角形領域の対角の座標値を記憶する。一方、ステップＳ４ｈの判定において、四角形領域が１つのみの場合は、その対角の座標値を記憶する。
【００２５】
ステップＳ４ｊにおいて、ＤＢ検索部９により設定情報ＤＢ２５にアクセスして、現場作業者が指示した投影対象物２７に関連付けられている詳細情報及び表示位置を検索する。そして、データ変換部８において、ステップＳ４ｋにより、検索された表示位置を上記検出された四角形領域の座標値に変換し、さらにステップＳ４ｌにおいて提示する詳細情報のコンテンツを検出された四角形領域に合わせて拡大・縮小変換して提示情報２９を作成する。表示・処理制御部７は、ステップS４ｍにおいて、作成された提示情報２９を第１のプロジェクタ６に出力する。かくして、第１のプロジェクタ６により上記検出された四角形領域に投影対象物２７に関連付けられた提示情報２９が投影される。
【００２６】
以上述べたように第１の実施形態に係わる情報提示装置１は、パターン生成部２０により格子模様パターン画像を生成し、生成された格子模様パターン画像をパターン記憶部１９に記憶すると共に、第２のプロジェクタ１７により作業エリアに向けて投影させる。この投影された格子模様パターン画像を赤外線カメラ１０により撮像させ、画像処理部１３において、撮像された格子模様パターン画像と、生成された元の格子模様パターン画像とを照合して平面領域を抽出する。そして、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第１のプロジェクタ６により提示情報２９を上記検出された平面領域に向けて投影させるようにしたものである。
【００２７】
したがって第１の実施形態によれば、情報提示装置１は、作業エリアに存在する平面領域を検出し、検出された平面領域に向けて提示情報２９を投影させる。これにより、例えば、作業手順書や作業の見本画像などが明瞭に表示されるため、作業の効率化を図ることができる。
【００２８】
なお、上記第１の実施形態では、複数の平面領域が抽出された場合に、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出するように構成したが、提示情報２９の画像の形状に合わせて平面領域を検出するようにしてもよい。また、抽出された複数の平面領域から投影対象物２７に近接する平面領域を検出して、この検出された平面領域に提示情報２９を投影させるようにしてもよい。このようにすると、投影対象物２７と提示情報２９との関連性を作業者に認識させることができる。
【００２９】
また、平面領域の検出のために格子模様パターンを用いたが、平面領域の検出が可能であれば、格子模様パターンに限らず、線状パターンまたは円形パターン或いはそれらを組み合わせた他のパターン画像を利用してもよい。また、平面領域の検出方法として、パターン・マッチングによる検出方法の他にも、撮像された画像に含まれる影（濃淡）や色の変化、光の屈折による変形などを利用することも可能である。
【００３０】
（第２の実施形態）
図５は、この発明の第２の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、この図は、上記第１の実施形態における情報提示装置１００における情報提示部２の他の構成例を示すものであり、同図において前記図１と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置１００Ａの情報提示部２Ａは、色画素平均値演算部３２と補色画素値演算部３３とを新たに備える。色画素平均値演算部３２は、情報提示領域検出部１１により検出された平面領域における色画素の平均値を算出する。補色画素値演算部３３は、上記色画素平均値演算部３２により算出された色画素の平均値に対する補色画素値を算出する。
【００３１】
このように構成された情報提示装置１００Ａの動作について説明する。図６は、情報提示装置１００Ａにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具２８を用いて投影対象物２７に関連付けられている詳細情報、ここでは、テキスト情報を提示させる操作を行ったものとする。そうすると、上記第１の実施形態と同様に、情報提示装置１００Ａは、図４のフローチャートにおけるステップＳ４ａからステップＳ４ｉの処理を行い、詳細情報を表示するための平面領域を検出する。
【００３２】
次に、情報提示装置１００Ａは、図６におけるステップＳ６ａにおいて、色画素平均値演算部３２により上記検出された平面領域のカラー画素値の平均値を求める。続いてステップＳ６ｂにおいて、補色画素値演算部３３により上記求められた平面領域のカラー画素値の平均値に対する補色画素値を算出する。そして、ステップＳ６ｃにおいて、ＤＢ検索部９により設定情報ＤＢ２５にアクセスして、現場作業者が指定した投影対象物２７に関連付けられている詳細情報（テキスト情報）及び表示位置を検索する。またステップＳ６ｄにより、データ変換部８において、検索された表示位置を検出された平面領域の座標値に変換する。
【００３３】
さらに、ステップＳ６ｅにおいて、上記ステップS６ｃにおいて検索されたテキスト情報をステップＳ６ｂにおいて算出された補色画素値をもとにフォント色を変換して提示情報２９を作成する。ステップS４ｆにおいて、表示・処理制御部７は、このフォント色が変換された提示情報２９を第１のプロジェクタ６に出力する。かくして、第１のプロジェクタ６により上記検出された平面領域に向けて上記フォント色が変換された提示情報２９が投影される。
【００３４】
第２の実施形態に係わる情報提示装置１００Ａは、情報提示部２Ａに色画素平均値演算部３２と、補色画素値演算部３３とを新たに備える。そして、検出された平面領域のカラー画素値の平均値を色画素平均値演算部３２により求め、さらに補色画素値演算部３３において上記求められた平面領域のカラー画素値の平均値に対する補色画素値を算出する。この算出された補色画素値をもとに投影対象物２７に関連付けられているテキスト情報である提示情報２９のフォント色を変換する。表示・処理制御部７は、上記フォント色が変換された提示情報２９を検出された平面領域に向けて投影させるようにしたものである。
【００３５】
このような構成であるから、例えば、検出された平面領域が黒色である場合には、提示されるテキスト情報はフォント色が白色に変換されて投影される。このため、平面領域の色合いに関わらず、作業対象物に関する詳細情報をさらに明瞭に提示させることが可能となる。
【００３６】
（第３の実施形態）
図７は、この発明の第３の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、同図において前記図１と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置１００Ｂの画像処理部４Ｂは、差分画像演算部３４と、特徴領域抽出部３５と、位置判定部３６と、特徴領域演算部３７と、特徴点数演算部３８とを備える。差分画像演算部３４は、カメラ１により撮像された画像のフレーム間の差分画像を検出する。特徴領域抽出部３５は、上記差分画像演算部３４により検出された差分画像から特徴領域を抽出する。位置判定部３６は、特徴領域から特徴点を抽出し、抽出された特徴点の位置を求める。特徴点数演算部３８は、特徴領域抽出部３５により抽出された特徴点の数を演算する。特徴領域演算部３７は、特徴点の数から領域を求める。
【００３７】
このように構成された情報提示装置１００Ｂの動作について説明する。図８は、情報提示装置１００Ｂにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、レーザポインタ等の指示具２８を用いて作業エリアのうちで平面とみなすことができる領域における対角線の両端の位置をポインティングしたものとする。
【００３８】
そうすると情報提示装置１００Ｂは、ステップＳ８ａにより、差分画像演算部３４においてカメラ１から入力された撮像画像のフレーム毎の差分画像を取得し、画像処理により適当な閾値で２値化して特徴領域（ポインティングされた領域）を抽出する。次にステップＳ８ｂにおいて、抽出された特徴領域の重心座標を求める。そして、ステップＳ８ｃにおいて、求められた重心座標が投影対象物２７の領域内にあるか否かを判定する。この判定により、重心座標が投影対象物２７の領域内にある場合は、作業者により投影対象物２７の詳細情報の提示を指定されたものと認識し、ステップＳ８ｄに移行して、提示情報２９の表示位置を検索する。
【００３９】
一方、ステップＳ８ｃの判定において、重心座標が投影対象物２７の領域内に存在しない場合には、ステップＳ８ｅに移行して特徴点数演算部３８により検出された座標位置の個数が２個に達したか否かを判定する。この判定により、２個に達しない場合は，ステップＳ８ａに移行して特徴点の抽出を行う。ステップＳ８ｅの判定において、座標位置の個数が２個に達した場合には、ステップＳ８ｆに移行して、２つの座標値を対角線にして四角形領域を求める。そして、ＤＢ検索部９により設定情報ＤＢ２５にアクセスして、現場作業者が指示した投影対象物２７に関連付けられている詳細情報及び表示位置を検索する。
【００４０】
次に、ステップＳ８ｇにおいて、検索された表示位置を上記検出された四角形領域の座標値に変換し、さらにステップＳ８ｈにおいて提示する詳細情報のコンテンツを検出された四角形領域に合わせて拡大・縮小変換して提示情報２９を作成する。このようにして作成された提示情報２９は、ステップS８ｉにおいて、表示・処理制御部７により第１のプロジェクタ６に出力されて、第１のプロジェクタ６により上記検出された四角形領域に向けて投影対象物２７に関連付けられた提示情報２９が投影される。
【００４１】
このように第３の実施形態に関わる情報提示装置１００Ｂは、情報提示部２Ｂの画像処理部４Ｂにおいて、現場作業者によって指定された平面領域を検出する。そして、この検出された平面領域に向けて投影対象物２７に関連付けられた提示情報２９を第１のプロジェクタ６により投影させるようにしたものである。これにより、作業者が指定する任意の平面領域に作業対象物に関する情報を明瞭に提示することが可能となる。
【００４２】
なお、この発明は上記各実施形態に限定されるものではない。この発明の情報提示装置１００は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。その他にも、情報提示装置１００の機能構成及び各部の処理手順と処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００４３】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４４】
【図１】この発明の第１の実施形態に係わる情報提示装置を利用した遠隔作業支援システムの機能構成を示すブロック図。
【図２】図１に示す情報提示装置において作業対象物に格子画像を投影した様子を示す図。
【図３】図２に示した格子画像を情報提示装置の赤外線カメラにより撮像した画像を示す図。
【図４】図１に示す情報提示装置において提示情報を表示する処理手順とその処理内容を示すフローチャート。
【図５】この発明の第２の実施形態に係わる情報提示装置を利用した遠隔作業支援システムの機能構成を示すブロック図。
【図６】図５に示す情報提示装置において提示情報を表示する処理手順とその処理内容を示すフローチャート。
【図７】この発明の第３の実施形態に係わる情報提示装置を利用した遠隔作業支援システムの機能構成を示すブロック図。
【図８】図７に示す情報提示装置において提示情報を表示する処理手順とその処理内容を示すフローチャート。
【符号の説明】
【００４５】
１００，１００Ａ，１００Ｂ…情報提示装置、２００…情報設定装置、ＮＷ…通信ネットワーク、１…カメラ、２，２Ａ，２Ｂ…情報提示部、３…画像記憶部、４，４Ｂ…画像処理部、５…画像送信部、６…第１のプロジェクタ、７…表示・処理制御部、８…データ変換部、９…ＤＢ検索部、１０…赤外線カメラ、１１…情報提示領域検出部、１２…画像記憶部、１３…画像処理部、１４…画像照合部、１５…領域検出部、１６…赤外線フィルタ、１７…第２のプロジェクタ、１８…表示・処理制御部、１９…パターン記憶部、２０…パターン生成部、２１…情報設定部、２２…画像受信部、２３…表示部、２４…データ入力部、２５…設定情報ＤＢ、２６…作業対象物、２７…投影対象物、２８…指示具、２９…提示情報、３２…色画素平均値演算部、３３…補色画素値演算部、３４…差分画像演算部、３５…特徴領域抽出部、３６…位置判定部、３７…特徴領域演算部、３８…特徴点数演算部。
【技術分野】
【０００１】
この発明は、例えば現場作業員の作業を遠隔地から通信ネットワークを使用して支援する遠隔作業支援システムにおいて、現場で作業者に情報を提示するために使用される情報提示装置、情報提示方法及びプログラムに関する。
【背景技術】
【０００２】
遠隔作業支援システムでは、作業指示者が音声と画像を利用して現場作業者と協調しながら作業を効率的に進めることが必要である。この際、音声指示と同時に現場作業者に作業の手順書や見本画像を提示することは重要である。特に、提示情報を作業対象物が存在する実空間に提示できれば作業の効率化に寄与できる。
【０００３】
そこで、例えば、プロジェクタにより投影された画像において、ユーザが指し示す作業対象物をリアルタイムで認識し、その作業対象物に関連付けられた所定のアクションを実行するようにした映像表示装置が提案されている（例えば、特許文献１を参照。）。これにより、作業の手順書や見本画像をプロジェクタで投影しておき、作業者が投影画像中の作業対象物を指し示すことで、予めその作業対象物に関連付けられている作業遂行に有用な詳細情報を提示することができる。
【０００４】
【特許文献１】特開２００１−１５４７６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般に作業現場の環境は整備されていないことが多いため、上記従来の映像表示装置を用いて作業対象物付近に画像を投影した場合、作業対象物或いはその周辺に存在する物とプロジェクタにより投影された画像とが重畳される。このため、投影画像に歪みが生じる等により視認性が悪くなり、作業効率の低下を招くおそれがある。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、作業対象物に関する情報を明瞭に提示することを可能にする情報提示装置、情報提示方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明に係わる情報提示装置、情報提示方法及びプログラムは、撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、上記作業空間に対し、当該作業空間の平面度を検出するための検出光を上記第２の投影手段に投影させる手段と、上記検出光が投影された状態で上記作業空間の画像を上記撮像手段に撮像させる手段とを備える。そして、上記撮像手段により得られる作業空間の画像データをもとに、上記作業空間における平面領域を検出して、検出された平面領域に向け、上記作業対象物に関する情報を上記第１の投影手段に投影させるようにしたものである。
したがって、この発明によれば、作業対象物に関する情報を明瞭に提示することが可能となる。これにより、例えば、プロジェクタで投影される作業手順書や作業の見本画像の視認性が向上されるため、作業の効率化を図ることができる。
【０００８】
また、この発明は次のような各種構成を備えることも特徴とする。
第１の構成は、上記検出光を上記第２の投影手段に投影させる手段は、赤外線からなる検出光を上記第２の投影手段に投影させ、上記画像を上記撮像手段に撮像させる手段は、上記赤外線からなる検出光が投影された状態で上記作業空間の赤外線画像を上記撮像手段に撮像させるようにする。これにより、平面度を検出するための検出光は、作業者に認識されることがないため、作業空間の視認性を損なうことなく、作業対象物に関する情報を明瞭に提示することが可能となる。
【０００９】
第２の構成は、上記検出光を上記第２の投影手段に投影させる手段は、検出光として格子状パターンの光学像を上記第２の投影手段に投影させるようにする。このように構成すると、パターン・マッチング等の簡単な画像解析アルゴリズムにより実現できるため、平面領域の検出に要する処理の負担が軽減される。
【００１０】
第３の構成は、撮像手段及び投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、上記作業空間の画像を上記撮像手段に撮像させて得られる上記作業空間の画像データをもとに、上記作業空間内で作業者が指定する平面領域を検出する。この検出された平面領域に向け、上記作業対象物に関する情報を上記投影手段に投影させる。このように構成することにより、作業者が指定する任意の平面領域に作業対象物に関する情報を明瞭に提示することが可能となる。
【００１１】
第４の構成は、上記検出された平面領域の色情報を検出し、検出された色情報に対する補色情報を求める。そして、上記作業対象物に関する情報を投影させる手段は、上記検出された平面領域に向け、上記求められた補色情報を用いて上記作業対象物に関する情報を投影させるようにしたものである。このようにすると、検出された平面領域の色合いに左右されることなく、作業対象物に関する情報をさらに明瞭に提示することが可能となる。
【発明の効果】
【００１２】
要するにこの発明によれば、作業対象物に関する情報を明瞭に提示することを可能にする情報提示装置、情報提示方法及びプログラムを提供することにある。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。この遠隔作業支援システムは、情報提示装置１００と、情報設定装置２００と、設定情報ＤＢ２５とを、通信ネットワークＮＷを介して接続可能としたものである。
通信ネットワークＮＷは、システムが例えば事業所内又はオフィス内に構築される場合であればＬＡＮ（Local Area Network）により構成される。一方、システムが複数の事業所やオフィスに跨って構成される場合には、インターネットに代表されるコンピュータ・ネットワークから構成される。また、設定情報ＤＢ２５には、遠隔指示者により情報設定装置２００から入力された作業に関する詳細情報が記憶されている。
【００１４】
情報提示装置１００は、現場作業者がいる作業現場に設置され、情報提示部２と、情報提示領域検出部１１とを備える。また、情報提示装置１００には、カメラ１と、第１のプロジェクタ６と、赤外線カメラ１０と、第２のプロジェクタ１７とがそれぞれ接続されている。カメラ１は、作業対象物２６を含む作業エリアを撮像し、第１のプロジェクタ６は、作業対象物２６に関連する詳細情報が存在することを示す投影対象物２７を表示している。なお、図１に示すように、カメラ１及び赤外線カメラ１０の撮像範囲と、第１のプロジェクタ６及び第２のプロジェクタ１７の投影範囲が一致するように調整されているものとする。
【００１５】
情報提示部２は、画像記憶部３と、画像処理部４と、画像送信部５と、表示・処理制御部７と、データ変換部８と、ＤＢ検索部９とを備える。画像記憶部３は、カメラ１から入力される作業対象物２６を含む作業エリアを撮像した画像データを記憶する。画像処理部４は、作業者によりレーザポインタ等の指示具２８を用いて指定された投影対象物２７を識別する。すなわち、画像記憶部３に記憶された画像データから指定された投影対象物２７の座標を画像処理により検出する。また、画像送信部５は、画像記憶部３に記憶された画像データを通信ネットワークＮＷを介して情報設定装置２００に向け送信する。
【００１６】
ＤＢ検索部９は、上記画像処理部４により識別された投影対象物２７に関する詳細情報を設定情報ＤＢ２５にアクセスして取得する。データ変換部８は、上記取得された詳細情報を後述する情報提示領域検出部１１により検出される提示領域に合わせて位置やサイズを変換して投影画像データを作成する。表示・処理制御部７は、データ変換部８において作成された投影画像データを第１のプロジェクタ６に出力し、この投影画像データをもとに第１のプロジェクタ６は提示情報２９を作業エリアに投影する。
【００１７】
一方、情報提示領域検出部１１は、画像記憶部１２と、画像処理部１３と、表示・処理制御部１８と、パターン記憶部１９と、パターン生成部２０とを備える。パターン生成部２０は、情報提示領域を検出するために作業エリアを包含する格子模様パターンを生成する。パターン記憶部１９は、パターン生成部２０において生成された格子模様パターンを記憶する。表示・処理制御部１８は、パターン記憶部１９に記憶された格子模様パターンを第２のプロジェクタ１７に出力する。
【００１８】
第２のプロジェクタ１７は、可視光成分と赤外線成分とを含む光を発光する光源を内蔵し、上記パターン生成部２０において生成された格子模様パターンデータをもとに、上記光源から光の格子模様パターンを発光させる。なお、第２のプロジェクタ１７の投影口には赤外線フィルタ１６が配設されている。この赤外線フィルタ１６は、上記第２のプロジェクタ１７から発光された光の波長成分のうち、可視光成分を遮断して赤外線成分のみを透過する。このように構成することで、作業エリアに対し赤外線の格子模様パターンが投影される。図２に赤外線の格子模様パターンが投影される様子を示す。
【００１９】
また、画像記憶部１２は、赤外線カメラ１０により撮像された画像を記憶するために設けられる。画像処理部１３は、画像照合部１４と領域検出部１３とを備え、処理内容を表示する領域を検出する。すなわち、画像照合部１４は、生成された格子模様パターンと画像記憶部１２に記憶される撮像された格子模様パターンとを照合し、領域検出部１３により、上記照合された結果により表示領域を検出する。
【００２０】
一方、遠隔指示者が使用する情報設定装置２００は、画像受信部２２と、表示部２３と、データ入力部２４と、ＤＢ入力部２１とを備える。画像受信部２２は、情報提示装置１００から通信ネットワークＮＷを介して送られる画像データを受信する。表示部２３は、液晶表示器（ＬＣＤ）などで構成され、上記受信された画像データを表示する。データ入力部２４は、図示しないキーボードやマウス等の入力装置を備え、遠隔指示者によりこれらの入力装置を用いて入力されるデータを受け付ける。データ入力部２４により入力された作業に関する詳細情報などのデータは、ＤＢ入力部２１により設定情報ＤＢ２５に格納される。
【００２１】
次に、以上のように構成された情報提示装置１００の動作について説明する。図４は、情報提示装置１００における情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具２８を用いて投影対象物２７に関連付けられている詳細情報、例えば、作業手順に関するテキスト情報や映像情報を提示させる操作を行ったものとする。
【００２２】
はじめに、ステップＳ４ａにおいて、情報提示装置１００のパターン生成部２０は、格子模様パターンを生成してパターン記憶部１９に記憶させておくと共に、ステップＳ４ｂにおいて、上記生成された格子模様パターンを表示・処理制御部１８により第２のプロジェクタ１７に出力する。この第２のプロジェクタ１７の投影口には、赤外線フィルタが設けられているため、赤外線成分のみで格子模様パターンが投影される。この格子模様パターンは、赤外線フィルタにより可視光が遮断され赤外線成分のみが通過するため、現場作業者には不可視である。図２に投影された格子模様パターンの例を示す。ステップＳ４ｃにおいて、赤外線カメラ１０により上記投影された格子模様パターンを撮像し、撮像された画像をステップＳ４ｄにより画像記憶部１２に記憶する。
【００２３】
次に、ステップＳ４ｅにおいて、画像処理部１３の画像照合部１４においてパターン記憶部１９に記憶された元の格子模様パターンと画像記憶部１２に記憶された撮像された格子模様パターンとの照合を行う。図３に赤外線カメラ１０により撮像された格子模様パターンの例を示す。同図において、例えば、作業対象物２６がある領域、すなわち凹凸が存在する領域は、格子模様が変形して撮像される。これに対して、凹凸がない平面領域は、元の格子模様パターンと同じく格子を成して撮像される。ここでは、投影対象物２７に関連付けられた詳細情報を表す提示情報２９を第１のプロジェクタ６により明瞭に投影させるために平面領域の検出を行う。
【００２４】
ステップＳ４ｆにおいて、格子模様の形状が一致する画面座標値を計算し、ステップＳ４ｇにおいて、上記計算された画面座標値に基づいて四角形領域を抽出する。そして、ステップＳ４ｈにおいて、抽出された四角形領域が複数存在するか否かの判定を行う。この判定により抽出された四角形領域が複数存在する場合は、ステップＳ４ｉに移行して抽出された四角形領域の中から最大面積で縦横比が１に最も近い四角形領域を検出し、検出された四角形領域の対角の座標値を記憶する。一方、ステップＳ４ｈの判定において、四角形領域が１つのみの場合は、その対角の座標値を記憶する。
【００２５】
ステップＳ４ｊにおいて、ＤＢ検索部９により設定情報ＤＢ２５にアクセスして、現場作業者が指示した投影対象物２７に関連付けられている詳細情報及び表示位置を検索する。そして、データ変換部８において、ステップＳ４ｋにより、検索された表示位置を上記検出された四角形領域の座標値に変換し、さらにステップＳ４ｌにおいて提示する詳細情報のコンテンツを検出された四角形領域に合わせて拡大・縮小変換して提示情報２９を作成する。表示・処理制御部７は、ステップS４ｍにおいて、作成された提示情報２９を第１のプロジェクタ６に出力する。かくして、第１のプロジェクタ６により上記検出された四角形領域に投影対象物２７に関連付けられた提示情報２９が投影される。
【００２６】
以上述べたように第１の実施形態に係わる情報提示装置１は、パターン生成部２０により格子模様パターン画像を生成し、生成された格子模様パターン画像をパターン記憶部１９に記憶すると共に、第２のプロジェクタ１７により作業エリアに向けて投影させる。この投影された格子模様パターン画像を赤外線カメラ１０により撮像させ、画像処理部１３において、撮像された格子模様パターン画像と、生成された元の格子模様パターン画像とを照合して平面領域を抽出する。そして、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第１のプロジェクタ６により提示情報２９を上記検出された平面領域に向けて投影させるようにしたものである。
【００２７】
したがって第１の実施形態によれば、情報提示装置１は、作業エリアに存在する平面領域を検出し、検出された平面領域に向けて提示情報２９を投影させる。これにより、例えば、作業手順書や作業の見本画像などが明瞭に表示されるため、作業の効率化を図ることができる。
【００２８】
なお、上記第１の実施形態では、複数の平面領域が抽出された場合に、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出するように構成したが、提示情報２９の画像の形状に合わせて平面領域を検出するようにしてもよい。また、抽出された複数の平面領域から投影対象物２７に近接する平面領域を検出して、この検出された平面領域に提示情報２９を投影させるようにしてもよい。このようにすると、投影対象物２７と提示情報２９との関連性を作業者に認識させることができる。
【００２９】
また、平面領域の検出のために格子模様パターンを用いたが、平面領域の検出が可能であれば、格子模様パターンに限らず、線状パターンまたは円形パターン或いはそれらを組み合わせた他のパターン画像を利用してもよい。また、平面領域の検出方法として、パターン・マッチングによる検出方法の他にも、撮像された画像に含まれる影（濃淡）や色の変化、光の屈折による変形などを利用することも可能である。
【００３０】
（第２の実施形態）
図５は、この発明の第２の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、この図は、上記第１の実施形態における情報提示装置１００における情報提示部２の他の構成例を示すものであり、同図において前記図１と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置１００Ａの情報提示部２Ａは、色画素平均値演算部３２と補色画素値演算部３３とを新たに備える。色画素平均値演算部３２は、情報提示領域検出部１１により検出された平面領域における色画素の平均値を算出する。補色画素値演算部３３は、上記色画素平均値演算部３２により算出された色画素の平均値に対する補色画素値を算出する。
【００３１】
このように構成された情報提示装置１００Ａの動作について説明する。図６は、情報提示装置１００Ａにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具２８を用いて投影対象物２７に関連付けられている詳細情報、ここでは、テキスト情報を提示させる操作を行ったものとする。そうすると、上記第１の実施形態と同様に、情報提示装置１００Ａは、図４のフローチャートにおけるステップＳ４ａからステップＳ４ｉの処理を行い、詳細情報を表示するための平面領域を検出する。
【００３２】
次に、情報提示装置１００Ａは、図６におけるステップＳ６ａにおいて、色画素平均値演算部３２により上記検出された平面領域のカラー画素値の平均値を求める。続いてステップＳ６ｂにおいて、補色画素値演算部３３により上記求められた平面領域のカラー画素値の平均値に対する補色画素値を算出する。そして、ステップＳ６ｃにおいて、ＤＢ検索部９により設定情報ＤＢ２５にアクセスして、現場作業者が指定した投影対象物２７に関連付けられている詳細情報（テキスト情報）及び表示位置を検索する。またステップＳ６ｄにより、データ変換部８において、検索された表示位置を検出された平面領域の座標値に変換する。
【００３３】
さらに、ステップＳ６ｅにおいて、上記ステップS６ｃにおいて検索されたテキスト情報をステップＳ６ｂにおいて算出された補色画素値をもとにフォント色を変換して提示情報２９を作成する。ステップS４ｆにおいて、表示・処理制御部７は、このフォント色が変換された提示情報２９を第１のプロジェクタ６に出力する。かくして、第１のプロジェクタ６により上記検出された平面領域に向けて上記フォント色が変換された提示情報２９が投影される。
【００３４】
第２の実施形態に係わる情報提示装置１００Ａは、情報提示部２Ａに色画素平均値演算部３２と、補色画素値演算部３３とを新たに備える。そして、検出された平面領域のカラー画素値の平均値を色画素平均値演算部３２により求め、さらに補色画素値演算部３３において上記求められた平面領域のカラー画素値の平均値に対する補色画素値を算出する。この算出された補色画素値をもとに投影対象物２７に関連付けられているテキスト情報である提示情報２９のフォント色を変換する。表示・処理制御部７は、上記フォント色が変換された提示情報２９を検出された平面領域に向けて投影させるようにしたものである。
【００３５】
このような構成であるから、例えば、検出された平面領域が黒色である場合には、提示されるテキスト情報はフォント色が白色に変換されて投影される。このため、平面領域の色合いに関わらず、作業対象物に関する詳細情報をさらに明瞭に提示させることが可能となる。
【００３６】
（第３の実施形態）
図７は、この発明の第３の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、同図において前記図１と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置１００Ｂの画像処理部４Ｂは、差分画像演算部３４と、特徴領域抽出部３５と、位置判定部３６と、特徴領域演算部３７と、特徴点数演算部３８とを備える。差分画像演算部３４は、カメラ１により撮像された画像のフレーム間の差分画像を検出する。特徴領域抽出部３５は、上記差分画像演算部３４により検出された差分画像から特徴領域を抽出する。位置判定部３６は、特徴領域から特徴点を抽出し、抽出された特徴点の位置を求める。特徴点数演算部３８は、特徴領域抽出部３５により抽出された特徴点の数を演算する。特徴領域演算部３７は、特徴点の数から領域を求める。
【００３７】
このように構成された情報提示装置１００Ｂの動作について説明する。図８は、情報提示装置１００Ｂにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、レーザポインタ等の指示具２８を用いて作業エリアのうちで平面とみなすことができる領域における対角線の両端の位置をポインティングしたものとする。
【００３８】
そうすると情報提示装置１００Ｂは、ステップＳ８ａにより、差分画像演算部３４においてカメラ１から入力された撮像画像のフレーム毎の差分画像を取得し、画像処理により適当な閾値で２値化して特徴領域（ポインティングされた領域）を抽出する。次にステップＳ８ｂにおいて、抽出された特徴領域の重心座標を求める。そして、ステップＳ８ｃにおいて、求められた重心座標が投影対象物２７の領域内にあるか否かを判定する。この判定により、重心座標が投影対象物２７の領域内にある場合は、作業者により投影対象物２７の詳細情報の提示を指定されたものと認識し、ステップＳ８ｄに移行して、提示情報２９の表示位置を検索する。
【００３９】
一方、ステップＳ８ｃの判定において、重心座標が投影対象物２７の領域内に存在しない場合には、ステップＳ８ｅに移行して特徴点数演算部３８により検出された座標位置の個数が２個に達したか否かを判定する。この判定により、２個に達しない場合は，ステップＳ８ａに移行して特徴点の抽出を行う。ステップＳ８ｅの判定において、座標位置の個数が２個に達した場合には、ステップＳ８ｆに移行して、２つの座標値を対角線にして四角形領域を求める。そして、ＤＢ検索部９により設定情報ＤＢ２５にアクセスして、現場作業者が指示した投影対象物２７に関連付けられている詳細情報及び表示位置を検索する。
【００４０】
次に、ステップＳ８ｇにおいて、検索された表示位置を上記検出された四角形領域の座標値に変換し、さらにステップＳ８ｈにおいて提示する詳細情報のコンテンツを検出された四角形領域に合わせて拡大・縮小変換して提示情報２９を作成する。このようにして作成された提示情報２９は、ステップS８ｉにおいて、表示・処理制御部７により第１のプロジェクタ６に出力されて、第１のプロジェクタ６により上記検出された四角形領域に向けて投影対象物２７に関連付けられた提示情報２９が投影される。
【００４１】
このように第３の実施形態に関わる情報提示装置１００Ｂは、情報提示部２Ｂの画像処理部４Ｂにおいて、現場作業者によって指定された平面領域を検出する。そして、この検出された平面領域に向けて投影対象物２７に関連付けられた提示情報２９を第１のプロジェクタ６により投影させるようにしたものである。これにより、作業者が指定する任意の平面領域に作業対象物に関する情報を明瞭に提示することが可能となる。
【００４２】
なお、この発明は上記各実施形態に限定されるものではない。この発明の情報提示装置１００は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。その他にも、情報提示装置１００の機能構成及び各部の処理手順と処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００４３】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４４】
【図１】この発明の第１の実施形態に係わる情報提示装置を利用した遠隔作業支援システムの機能構成を示すブロック図。
【図２】図１に示す情報提示装置において作業対象物に格子画像を投影した様子を示す図。
【図３】図２に示した格子画像を情報提示装置の赤外線カメラにより撮像した画像を示す図。
【図４】図１に示す情報提示装置において提示情報を表示する処理手順とその処理内容を示すフローチャート。
【図５】この発明の第２の実施形態に係わる情報提示装置を利用した遠隔作業支援システムの機能構成を示すブロック図。
【図６】図５に示す情報提示装置において提示情報を表示する処理手順とその処理内容を示すフローチャート。
【図７】この発明の第３の実施形態に係わる情報提示装置を利用した遠隔作業支援システムの機能構成を示すブロック図。
【図８】図７に示す情報提示装置において提示情報を表示する処理手順とその処理内容を示すフローチャート。
【符号の説明】
【００４５】
１００，１００Ａ，１００Ｂ…情報提示装置、２００…情報設定装置、ＮＷ…通信ネットワーク、１…カメラ、２，２Ａ，２Ｂ…情報提示部、３…画像記憶部、４，４Ｂ…画像処理部、５…画像送信部、６…第１のプロジェクタ、７…表示・処理制御部、８…データ変換部、９…ＤＢ検索部、１０…赤外線カメラ、１１…情報提示領域検出部、１２…画像記憶部、１３…画像処理部、１４…画像照合部、１５…領域検出部、１６…赤外線フィルタ、１７…第２のプロジェクタ、１８…表示・処理制御部、１９…パターン記憶部、２０…パターン生成部、２１…情報設定部、２２…画像受信部、２３…表示部、２４…データ入力部、２５…設定情報ＤＢ、２６…作業対象物、２７…投影対象物、２８…指示具、２９…提示情報、３２…色画素平均値演算部、３３…補色画素値演算部、３４…差分画像演算部、３５…特徴領域抽出部、３６…位置判定部、３７…特徴領域演算部、３８…特徴点数演算部。
【特許請求の範囲】
【請求項１】
撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、
前記作業空間に対し、当該作業空間の平面度を検出するための検出光を前記第２の投影手段に投影させる手段と、
前記検出光が投影された状態で前記作業空間の画像を前記撮像手段に撮像させる手段と、
前記撮像手段により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する手段と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記第１の投影手段に投影させる手段と
を具備することを特徴とする情報提示装置。
【請求項２】
前記検出光を前記第２の投影手段に投影させる手段は、赤外線からなる検出光を前記第２の投影手段に投影させ、
前記画像を前記撮像手段に撮像させる手段は、前記赤外線からなる検出光が投影された状態で前記作業空間の赤外線画像を前記撮像手段に撮像させることを特徴とする請求項１記載の情報提示装置。
【請求項３】
前記検出光を前記第２の投影手段に投影させる手段は、検出光として格子状パターンの光学像を前記第２の投影手段に投影させることを特徴とする請求項１又は２記載の情報提示装置。
【請求項４】
撮像手段及び投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、
前記作業空間の画像を前記撮像手段に撮像させる手段と、
前記撮像手段により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する手段と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記投影手段に投影させる手段と
を具備することを特徴とする情報提示装置。
【請求項５】
前記検出された平面領域の色情報を検出する手段と、
前記検出された色情報に対する補色情報を求める手段と
をさらに具備し、
前記作業対象物に関する情報を投影させる手段は、前記検出された平面領域に向け、前記求められた補色情報を用いて前記作業対象物に関する情報を投影させることを特徴とする請求項１又は４記載の情報提示装置。
【請求項６】
作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示方法であって、
前記作業空間に対し当該作業空間の平面度を検出するための検出光を投影する工程と、
前記検出光が投影された状態で前記作業空間の画像を撮像する工程と、
前記撮像により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する工程と、
前記検出された平面領域に向け、前記作業対象物に関する情報を投影する工程と
を具備することを特徴とする情報提示方法。
【請求項７】
作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示方法であって、
前記作業空間の画像を撮像する工程と、
前記撮像により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する工程と、
前記検出された平面領域に向け、前記作業対象物に関する情報を投影する工程と
を具備することを特徴とする情報提示方法。
【請求項８】
前記検出された平面領域の色情報を検出する工程と、
前記検出された色情報に対する補色情報を求める工程と
をさらに具備し、
前記作業対象物に関する情報を投影する工程は、前記検出された平面領域に向け、前記求められた補色情報を用いて前記作業対象物に関する情報を投影することを特徴とする請求項６又は７記載の情報提示方法。
【請求項９】
撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する、コンピュータを備えた情報提示装置で使用されるプログラムであって、
前記作業空間に対し、当該作業空間の平面度を検出するための検出光を前記第２の投影手段に投影させる処理と、
前記検出光が投影された状態で、前記作業空間の画像を前記撮像手段に撮像させる処理と、
前記撮像手段により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する処理と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記第１の投影手段に投影させる処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
【請求項１０】
撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する、コンピュータを備えた情報提示装置で使用されるプログラムであって、
前記作業空間の画像を前記撮像手段に撮像させる処理と、
前記撮像手段により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する処理と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記投影手段に投影させる処理と
を前記コンピュータに実行させることを特徴とするプログラム。
【請求項１】
撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、
前記作業空間に対し、当該作業空間の平面度を検出するための検出光を前記第２の投影手段に投影させる手段と、
前記検出光が投影された状態で前記作業空間の画像を前記撮像手段に撮像させる手段と、
前記撮像手段により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する手段と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記第１の投影手段に投影させる手段と
を具備することを特徴とする情報提示装置。
【請求項２】
前記検出光を前記第２の投影手段に投影させる手段は、赤外線からなる検出光を前記第２の投影手段に投影させ、
前記画像を前記撮像手段に撮像させる手段は、前記赤外線からなる検出光が投影された状態で前記作業空間の赤外線画像を前記撮像手段に撮像させることを特徴とする請求項１記載の情報提示装置。
【請求項３】
前記検出光を前記第２の投影手段に投影させる手段は、検出光として格子状パターンの光学像を前記第２の投影手段に投影させることを特徴とする請求項１又は２記載の情報提示装置。
【請求項４】
撮像手段及び投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、
前記作業空間の画像を前記撮像手段に撮像させる手段と、
前記撮像手段により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する手段と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記投影手段に投影させる手段と
を具備することを特徴とする情報提示装置。
【請求項５】
前記検出された平面領域の色情報を検出する手段と、
前記検出された色情報に対する補色情報を求める手段と
をさらに具備し、
前記作業対象物に関する情報を投影させる手段は、前記検出された平面領域に向け、前記求められた補色情報を用いて前記作業対象物に関する情報を投影させることを特徴とする請求項１又は４記載の情報提示装置。
【請求項６】
作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示方法であって、
前記作業空間に対し当該作業空間の平面度を検出するための検出光を投影する工程と、
前記検出光が投影された状態で前記作業空間の画像を撮像する工程と、
前記撮像により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する工程と、
前記検出された平面領域に向け、前記作業対象物に関する情報を投影する工程と
を具備することを特徴とする情報提示方法。
【請求項７】
作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示方法であって、
前記作業空間の画像を撮像する工程と、
前記撮像により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する工程と、
前記検出された平面領域に向け、前記作業対象物に関する情報を投影する工程と
を具備することを特徴とする情報提示方法。
【請求項８】
前記検出された平面領域の色情報を検出する工程と、
前記検出された色情報に対する補色情報を求める工程と
をさらに具備し、
前記作業対象物に関する情報を投影する工程は、前記検出された平面領域に向け、前記求められた補色情報を用いて前記作業対象物に関する情報を投影することを特徴とする請求項６又は７記載の情報提示方法。
【請求項９】
撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する、コンピュータを備えた情報提示装置で使用されるプログラムであって、
前記作業空間に対し、当該作業空間の平面度を検出するための検出光を前記第２の投影手段に投影させる処理と、
前記検出光が投影された状態で、前記作業空間の画像を前記撮像手段に撮像させる処理と、
前記撮像手段により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する処理と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記第１の投影手段に投影させる処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
【請求項１０】
撮像手段と、第１及び第２の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する、コンピュータを備えた情報提示装置で使用されるプログラムであって、
前記作業空間の画像を前記撮像手段に撮像させる処理と、
前記撮像手段により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する処理と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記投影手段に投影させる処理と
を前記コンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１８９７１２（Ｐ２００６−１８９７１２Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００５−２７３２（Ｐ２００５−２７３２）
【出願日】平成１７年１月７日（２００５．１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１７年１月７日（２００５．１．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]