指示システム、指示プログラム及び指示装置
【課題】 実物体側からの対象物に対する指示位置を特定させ得る指示システム、指示プログラム及び指示装置を提供することを目的とする。
【解決手段】 対象物２００を撮像するビデオカメラ２０で撮像された撮像画像を端末１００に送信すると共に、該端末１００でなされた撮像画像に基づく指示に応じた注釈を表すアノテーション画像ＡＮ１をプロジェクタ４０により対象物２００に投影させ得るサーバ５０を有し、サーバ５０は、ビデオカメラ２０の撮像領域内での指示位置特定装置７０による光点の軌跡をアノテーション画像としてプロジェクタ４０により対象物２００に投影させることを特徴とする。
【解決手段】 対象物２００を撮像するビデオカメラ２０で撮像された撮像画像を端末１００に送信すると共に、該端末１００でなされた撮像画像に基づく指示に応じた注釈を表すアノテーション画像ＡＮ１をプロジェクタ４０により対象物２００に投影させ得るサーバ５０を有し、サーバ５０は、ビデオカメラ２０の撮像領域内での指示位置特定装置７０による光点の軌跡をアノテーション画像としてプロジェクタ４０により対象物２００に投影させることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示システム、指示プログラム及び指示装置に関する。
【背景技術】
【０００２】
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
【０００３】
また、特許文献２では、投影機能を有するテレビ電話装置において、簡易な構成で利用者が相手側にある実物に対して指示や書込みが行える旨が開示されている。
【０００４】
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】特開平６−２４５２０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１や特許文献２に開示される技術では、対象物の指示位置は端末側からの指示に応じて特定されるものの実物体側からの対象物に対する指示位置は端末側に伝わりづらい。
【０００６】
例えば、実物体側の利用者が対象物に対して直接書き込みを行い、端末側の利用者にその指示位置や意図等を伝えたい場合であっても、対象物が貴重なものであり、対象物に直接書き込みを行えない状況にある場合には、指示位置等を的確には伝えられず、利用者間の円滑な対話が阻害される可能性がある。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、実物体側からの対象物に対する指示位置を特定させ得る指示システム、指示プログラム及び指示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、撮像手段の撮像領域内での発光手段による光点の軌跡を注釈画像として投影手段により対象物に投影させることを特徴とする指示システムである。
【０００９】
請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、発光手段と対象物とが近接する場合に、光点の軌跡を注釈画像として投影させることを特徴としている。
【００１０】
請求項３に記載の発明は、請求項２に記載の発明において、制御手段は、光点の撮像領域内での大きさに基づいて対象物と発光手段との距離を計測し、該距離が所定の閾値より短い場合に近接すると判定することを特徴としている。
【００１１】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、光点の軌跡に関する注釈画像の投影後、所定の時間が経過した場合に、該注釈画像の投影を停止させることを特徴としている。
【００１２】
制御手段は、請求項１から４のいずれか１項に記載の発明において、光点の軌跡に関する注釈画像を保持し、端末からの指示に応じて、該注釈画像を再び投影させることを特徴としている。
【００１３】
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の投影形態を変更することを特徴としている。
【００１４】
請求項７に記載の発明は、請求項６に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の線種を変更することを特徴としている。
【００１５】
請求項８に記載の発明は、請求項６に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の色を変更することを特徴としている。
【００１６】
請求項９に記載の発明は、請求項６に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の太さを変更することを特徴としている。
【００１７】
請求項１０に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、撮像手段の撮像領域内での発光手段による光点の軌跡を注釈画像として投影手段により対象物に投影させることを特徴とする指示プログラムである。
【００１８】
請求項１１に記載の発明は、対象物を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、撮像画像を端末に送信すると共に、該端末でなされた指示に応じた注釈画像を投影手段に投影させ、撮像手段の撮像領域内での発光手段による光点の軌跡を注釈画像として投影手段により対象物に投影させる制御手段と、を有することを特徴とする指示装置である。
【発明の効果】
【００１９】
請求項１に記載の発明によれば、実物体側からの対象物に対する指示位置を特定させられる。
【００２０】
請求項２に記載の発明によれば、本構成を有していない場合に比較して、対象物近くでの発光手段による指示に応じた、光点の軌跡に関する注釈画像が対象物に投影される。
【００２１】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、対象物と発光手段との距離により近接であるか否かが判定できる。
【００２２】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、消費電力の抑制が図れる。
【００２３】
請求項５に記載の発明によれば、本構成を有していない場合に比較して、光点の軌跡に関する過去の注釈画像を再現できる。
【００２４】
請求項６に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の投影形態により、指示位置の区別が明確となる。
【００２５】
請求項７に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の線種により、指示位置の区別が明確となる。
【００２６】
請求項８に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の色により、指示位置の区別が明確となる。
【００２７】
請求項９に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の太さにより、指示位置の区別が明確となる。
【００２８】
請求項１０に記載の発明によれば、実物体側からの対象物に対する指示位置を特定させられる。
【００２９】
請求項１１に記載の発明によれば、実物体側からの対象物に対する指示位置を特定させられる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る指示システムの構成図、図２は指示位置特定装置７０の例を示す図、図３はサーバ５０の要部構成を例示する機能ブロック図、図４はサーバ５０のハードウェア構成を例示する機能ブロック図である。
【００３１】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの指示装置として構成されていてもよく、また、複数の装置から構成されていてもよい。
【００３２】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び発光手段としての指示位置特定装置７０等から構成される。
【００３３】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、対象物２００及び指示位置特定装置７０を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。
【００３４】
プロジェクタ４０は、例えば液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像ＡＮ１（以下、アノテーション画像という。）を対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ４０とビデオカメラ２０との光軸及び投影・撮像画角をそれぞれ一致させている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮ１をその光学系を通じハーフミラー６０を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮ１は、ハーフミラー６０で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮ１には、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー６０の反射率は発振現象の防止の観点から０．３％程度であることが望ましい。
【００３５】
指示位置特定装置７０は、例えば発光体等を備えたペン型の形状で構成される。そして、自身の光点の軌跡がビデオカメラ２０に撮像されて、その撮像画像に基づいた後述するアノテーション画像ＡＮ２が対象物２００に対する指示位置として投影される。より詳しくは、図２に示すように、指示位置特定装置７０は、発光体７１、把持部７２及びスイッチ７３等から構成される。その他にも、把持部７２の内部に構成される図示しない電源部、制御部及び通信部等も有する。
【００３６】
発光体７１は、例えばＬＥＤ（Light Emitting Diode：発光ダイオード）や電球等で構成される。発光力が強い発光体７１が望ましい。通信部は例えば電波や赤外線等の無線通信が可能な通信機器で構成される。電源部は例えば電池等で構成される。制御部は、把持部７２に形成されたスイッチ７３が押下されると、電源部からの電力により発光体７１を点灯させると共に、通信部を介してサーバ５０に対し電源が入った旨の情報（以下、ＯＮ情報という。）を送信させる。そして、スイッチ７３が再度押下されると、発光体７１を消灯させると共に、通信部を介してサーバ５０に対し電源が切られた旨の情報（以下、ＯＦＦ情報という。）ＯＦＦ情報を送信させる。
【００３７】
サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。
【００３８】
より詳しくは、図３に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、指示位置特定装置７０からのＯＮ／ＯＦＦ情報や端末１００からの描画指示を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０にアノテーション画像ＡＮを投影させ得る投影部５４とを備える。さらに、端末１００からの描画指示に対して所要の処理を行う描画指示処理部５５、撮像画像から発光体７１の光点の軌跡を検出する画像処理部５６を備える。
【００３９】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮ１をプロジェクタ４０により対象物２００へ投影させる。さらに、撮像画像内に指示位置特定装置７０の発光体７１に基づく光点を検出した場合には、検出結果としてその軌跡を保持しておき、光点の軌跡に基づくアノテーション画像ＡＮ２をプロジェクタ４０により対象物２００へ投影させる。
【００４０】
端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成される。端末１００は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。
【００４１】
表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。
【００４２】
尚、上述したサーバ５０は、いわゆるコンピュータ、すなわち、図４に示すように、ＣＰＵ等の処理装置５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｆ５０ｄがバス５０ｅにより接続されたハードウェア構成により実現される。
【００４３】
したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。コンピュータ１２０や指示位置特定装置７０内の制御部についても同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０ｅにハードディスクを接続するようにしてもよい。
【００４４】
次に、上記構成の指示システムの動作について図５から図７を参照して説明する。
図５は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図６は端末１００のコンピュータ１２０における処理の一例を示すフローチャート、図７は端末１００側の操作の一例を説明するための図である。
【００４５】
まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図５に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００４６】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮ１の描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。描画指示に対する処理としては、例えば、プロジェクタ４０を制御して、描画指示に応じたアノテーション画像ＡＮ１の投影させること等がある。
【００４７】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００４８】
次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図６に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図７に示すように、対象物側装置１０のサーバ５０から送信される撮像画像１１１ａを表示装置１１０の表示画面１１１に表示させる（ステップＳ２２）。
【００４９】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像１１１ａに対する利用者からの注目領域ＡＲの指示があるかを判断し（ステップＳ２３）、注目領域ＡＲの指示がある場合には、指示に応じた処理を行う（ステップＳ２４）。
【００５０】
具体的には、端末１００の利用者は、図７に示すような表示装置１１０の表示画面１１１内の撮像画像１１１ａを見ながら、表示されている撮像画像１１１ａにアノテーション画像ＡＮ１を投影したい領域がある場合か判断する。投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域ＡＲを指示する。注目領域ＡＲは、アノテーション画像ＡＮ１を投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲに投影するアノテーション画像ＡＮ１に関する情報を指示する。
【００５１】
アノテーション画像ＡＮ１に関する情報は、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより生成される。アノテーション画像ＡＮ１に関する情報には、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された各種情報を描画指示としてサーバ５０へ送信する（ステップＳ２５）。
【００５２】
コンピュータ１２０は、次いで、端末１００でなされたビデオカメラ２０の撮像画像に基づく利用者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の利用者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００５３】
次に、本発明の特徴となる光点検出機能について図８から図１１を参照して説明する。
図８は指示位置特定装置７０の動作の一例を示すフローチャート、図９はサーバ５０におけるプロジェクタ４０に対する投影処理の一例を示すフローチャート、図１０は撮像画像１１１ａの一例、図１１は投影結果の一例である。
【００５４】
尚、図９に示すフローチャートは、図５に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１３の処理とステップＳ１４の処理の間に含めることができる。
【００５５】
まず、指示位置特定装置７０の動作について説明する。
指示位置特定装置７０は、図８に示すように、まず、電源が入れられたか否かを判定する（ステップＳ３１）。当該判定処理は、電源が入っていない状態で、スイッチ７３が押下されたか否かによって行われる。スイッチ７３が押下された場合には、電源が入れられたと判定する。
【００５６】
指示位置特定装置７０は、電源が入れられたと判定した場合には、次いで、発光体７１を点灯させると共に（ステップＳ３２）、ＯＮ情報をサーバ５０に送信する（ステップＳ３３）。
【００５７】
指示位置特定装置７０は、ここで、電源が切られたか否かを判定する（ステップＳ３４）。当該判定処理は、電源が入っている状態で、スイッチ７３が押下されたか否かによって行われる。スイッチ７３が押下された場合には、電源が切られたと判定する。これにより、電源が切られない限り、発光体７１は点灯し続ける。
【００５８】
指示位置特定装置７０は、電源が切られたと判定した場合には、次いで、発光体７１を消灯させると共に（ステップＳ３５）、ＯＦＦ情報をサーバ５０に送信する（ステップＳ３６）。
【００５９】
次に、サーバ５０の動作について図９から図１１を参照して説明する。
サーバ５０は、図９に示すように、指示位置特定装置７０からのＯＮ情報を受信したか否かを判定する（ステップＳ４１）。ＯＮ情報を受信しない限りは、光点検出機能は機能しない。
【００６０】
サーバ５０は、ステップＳ４１の処理において、ＯＮ情報を受信したと判定した場合には、撮像画像１１１ａ内の光点の位置を検出する（ステップＳ４２）。この検出処理は、撮像画像１１１ａ内における画素の輝度値の高低を判定することにより行われる。例えば、撮像画像内１１１ａ内に輝度値が高い部分がある場合には、発光体７１による光点であると判定し、その位置を保持する。尚、輝度値の高低は、所望の閾値より大きいか否かにより判定すればよい。
【００６１】
また、対象物２００と指示位置特定装置７０との距離が近接している場合に、光点の位置の検出を行うようにしてもよい。例えば、対象物２００と指示位置特定装置７０との距離が近接していない場合には、ビデオカメラ２０と指示位置特定装置７０との距離とが近い可能性がある。例えば、図１０に示すように、撮像画像１１１ａ内において指示位置特定装置７０が占める割合が増大する。
【００６２】
このような場合、指示位置特定装置７０の発光体７１による対象物２００に対する指示位置は特定され難い。したがって、対象物２００と指示位置特定装置７０との距離が近接している場合に、光点の位置の検出を行うようすることが望ましい。尚、前文の場合には、発光体７１の光点の撮像画像１１１ａ内での大きさに基づいて対象物２００と発光体７１との距離を計測し、その距離が所定の閾値より短い場合に近接すると判定すればよい。
【００６３】
サーバ５０は、ここで、指示位置特定装置７０からのＯＦＦ情報を受信したか否かを判定し（ステップＳ４３）、ＯＦＦ情報を受信していない場合には、ステップＳ４２の処理を行う。すなわち、サーバ５０はＯＦＦ情報を受信するまで、光点の位置を検出し続ける。これにより、指示位置特定装置７０の発光体７１がビデオカメラ２０の撮像領域内で移動する度に、サーバ５０は光点を検出して保持する。この結果、光点の軌跡が得られる。
【００６４】
一方、サーバ５０は、指示位置特定装置７０からのＯＦＦ情報を受信したと判定した場合には、光点の軌跡に応じたアノテーション画像ＡＮ２を生成する（ステップＳ４４）。そして、アノテーション画像ＡＮ２を投影させるべくプロジェクタ４０を制御する（ステップＳ４５）。これにより、図１１に示すように、指示位置特定装置７０の発光体７１の軌跡がアノテーション画像ＡＮ２としてプロジェクタ４０に対象物２００に投影される。
【００６５】
（第２実施形態）
続いて、本発明の第２実施形態に係る指示システムについて図１２及び図１３を参照して説明する。
図１２は再投影処理前の表示画面１１１の一例、図１３は再投影処理後の表示画面１１１の一例である。
【００６６】
本実施形態に係る指示システムでは、上述したステップＳ４４の処理で生成されたアノテーション画像ＡＮ２をサーバ５０が記憶装置内に保持しておき、必要な場合に、端末１００からの指示に応じて再び投影させるようにしたものである。
【００６７】
具体的には、図１２に示すように、ポインティングデバイス１３０を用いて表示画面１１１上に形成された「ＰＲＪ」ボタンＢＴを操作することにより、その操作に応じた指示がサーバ５０に送信される。これにより、サーバ５０は、アノテーション画像ＡＮ２を記憶装置内から呼び戻し、プロジェクタ４０に当該アノテーション画像ＡＮ２を投影させる。
【００６８】
この結果、対象物２００にアノテーション画像ＡＮ２が再び投影されると共に、その撮像画像がビデオカメラ２０により撮像される。端末１００の表示装置１１０では、図１３に示すように、アノテーション画像ＡＮ２が投影された対象物２００の撮像画像１１１ａが表示される。このように、一度、消去されたアノテーション画像ＡＮ２であっても、再び投影させることで、過去における対話を円滑に行える。
【００６９】
尚、当該処理に加えて、サーバ５０は、一度保持したアノテーション画像ＡＮ２に画像ごとに識別情報を付し、端末１００からの指示に応じて順次呼び出し、呼び出したアノテーション画像ＡＮ２をプロジェクタ４０に投影させるようにしてもよい。
【００７０】
（第３実施形態）
続いて、本発明の第３実施形態に係る指示システムについて図１４を参照して説明する。
図１４はサーバ５０の動作の一例を示すフローチャートである。尚、図１４に示すフローチャートは、図５に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１４の処理以降に含めることができる。
【００７１】
本実施形態に係る指示システムは、サーバ５０は、アノテーション画像ＡＮ２をプロジェクタ４０に投影させた後、所定の時間が経過した場合に、そのアノテーション画像ＡＮ２の投影を停止させる点で上述した実施形態と相違する。
【００７２】
具体的には、サーバ５０は、図１４に示すように、所定時間が経過したか否かを判定し続け（ステップＳ５１）、所定時間が経過したと判定した場合には、プロジェクタ４０の投影を停止させる制御を行う（ステップＳ５２）。これにより、アノテーション画像ＡＮ２が投影され続ける状態が回避され、消費電力の抑制が図れる。
【００７３】
（第４実施形態）
続いて、本発明の第４実施形態に係る指示システムについて図１５を参照して説明する。
図１５は対象物２００に対するアノテーション画像ＡＮ２の投影結果の一例である。
本実施形態に係る指示システムは、サーバ５０がアノテーション画像ＡＮ２の投影形態を変更している点で上述した実施形態と相違する。
【００７４】
具体的には、図１５に示すように、指示位置特定装置７０からの指示に応じて、サーバ５０は、アノテーション画像ＡＮ２の線種を変更したり、その太さを変更したりする。線種に関しては、同図に示すような、破線（点線）に限られず、上述した実線や、一点鎖線、二点鎖線等の鎖線であってもよい。さらに、アノテーション画像ＡＮ２の色を変更するようにしてもよい。これにより、対象物２００に対する指示の区別が明確となり、対話が円滑となり得る。尚、本実施形態の場合、指示位置特定装置７０に、投影形態を変更するスイッチをさらに設ければよい。
【００７５】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００７６】
また、上述した指示位置特定装置７０に代えてレーザポインタ等を利用してもよい。この場合、発光体７１の軌跡に代えて、対象物２００上に現れるレーザポインタの光点の軌跡を撮像していき、この軌跡に応じたアノテーション画像ＡＮ２をサーバ５０がプロジェクタ４０に投影させるようにしてもよい。
【００７７】
また、発光体７１に発光力に代えて、発光体７１が出す波長により発光体７１の軌跡を検出するようにしてもよい。具体的には、発光体７１に赤外線出力機能を形成し、ビデオカメラ２０に赤外線フィルタを形成することで、発光体７１の軌跡が赤外線により判断することができる。尚、発光体７１が出す波長は、赤外線の波長に限定されず、撮像領域周辺から得られる波長と区別できる程度の波長を有するものであればよい。
【００７８】
また、指示位置特定装置７０とサーバ５０との接続は、上述した無線通信に限られず、ケーブル等を介して有線通信であってもよく、この場合、電気通信や光通信等の通信形態は特に限定されるものでない。
【産業上の利用可能性】
【００７９】
本発明によれば、対象物２００に対する指示位置を実物体側から非接触で特定して端末１００側に伝えられようになり、対象物２００が貴重なものであったり、その表面が柔らかすぎたり、粗すぎたり、滑らかすぎたりして直接的に書き込みが行えないような場合であっても、遠隔地間の対話が円滑となり、産業上の利用可能性が高い。
【図面の簡単な説明】
【００８０】
【図１】指示システムの実施形態を示す構成図である。
【図２】指示位置特定装置の例を示す図である。
【図３】サーバの要部構成を示す機能ブロック図である。
【図４】サーバのハードウェア構成を示す機能ブロック図である。
【図５】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図６】端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図７】端末側の操作の一例を説明するための図である。
【図８】指示位置特定装置の動作の一例を示すフローチャートである。
【図９】サーバにおけるプロジェクタに対する投影処理の一例を示すフローチャートである。
【図１０】撮像画像の一例である。
【図１１】投影結果の一例である。
【図１２】再投影処理前の表示画面の一例である。
【図１３】再投影処理後の表示画面の一例である。
【図１４】サーバの動作の一例を示すフローチャートである。
【図１５】対象物に対するアノテーション画像の投影結果の一例である。
【符号の説明】
【００８１】
１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
５１ 撮像部
５２ 画像送信部
５３ 受信部
５４ 投影部
５５ 描画指示処理部
５６ 画像処理部
６０ ハーフミラー
７０ 指示位置特定装置
７１ 発光体
７２ 把持部
７３ スイッチ
１００ 端末
１１０ 表示装置
１１１ 表示画面
１１１ａ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
２００ 対象物
３００ ネットワーク
ＡＮ１、ＡＮ２ アノテーション画像
ＡＲ 注目領域
Ｐｔ ポインタ
ＢＴ ボタン
【技術分野】
【０００１】
本発明は、指示システム、指示プログラム及び指示装置に関する。
【背景技術】
【０００２】
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
【０００３】
また、特許文献２では、投影機能を有するテレビ電話装置において、簡易な構成で利用者が相手側にある実物に対して指示や書込みが行える旨が開示されている。
【０００４】
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】特開平６−２４５２０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１や特許文献２に開示される技術では、対象物の指示位置は端末側からの指示に応じて特定されるものの実物体側からの対象物に対する指示位置は端末側に伝わりづらい。
【０００６】
例えば、実物体側の利用者が対象物に対して直接書き込みを行い、端末側の利用者にその指示位置や意図等を伝えたい場合であっても、対象物が貴重なものであり、対象物に直接書き込みを行えない状況にある場合には、指示位置等を的確には伝えられず、利用者間の円滑な対話が阻害される可能性がある。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、実物体側からの対象物に対する指示位置を特定させ得る指示システム、指示プログラム及び指示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、撮像手段の撮像領域内での発光手段による光点の軌跡を注釈画像として投影手段により対象物に投影させることを特徴とする指示システムである。
【０００９】
請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、発光手段と対象物とが近接する場合に、光点の軌跡を注釈画像として投影させることを特徴としている。
【００１０】
請求項３に記載の発明は、請求項２に記載の発明において、制御手段は、光点の撮像領域内での大きさに基づいて対象物と発光手段との距離を計測し、該距離が所定の閾値より短い場合に近接すると判定することを特徴としている。
【００１１】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、光点の軌跡に関する注釈画像の投影後、所定の時間が経過した場合に、該注釈画像の投影を停止させることを特徴としている。
【００１２】
制御手段は、請求項１から４のいずれか１項に記載の発明において、光点の軌跡に関する注釈画像を保持し、端末からの指示に応じて、該注釈画像を再び投影させることを特徴としている。
【００１３】
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の投影形態を変更することを特徴としている。
【００１４】
請求項７に記載の発明は、請求項６に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の線種を変更することを特徴としている。
【００１５】
請求項８に記載の発明は、請求項６に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の色を変更することを特徴としている。
【００１６】
請求項９に記載の発明は、請求項６に記載の発明において、制御手段は、発光手段からの指示に応じて、光点の軌跡に関する注釈画像の太さを変更することを特徴としている。
【００１７】
請求項１０に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、撮像手段の撮像領域内での発光手段による光点の軌跡を注釈画像として投影手段により対象物に投影させることを特徴とする指示プログラムである。
【００１８】
請求項１１に記載の発明は、対象物を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、撮像画像を端末に送信すると共に、該端末でなされた指示に応じた注釈画像を投影手段に投影させ、撮像手段の撮像領域内での発光手段による光点の軌跡を注釈画像として投影手段により対象物に投影させる制御手段と、を有することを特徴とする指示装置である。
【発明の効果】
【００１９】
請求項１に記載の発明によれば、実物体側からの対象物に対する指示位置を特定させられる。
【００２０】
請求項２に記載の発明によれば、本構成を有していない場合に比較して、対象物近くでの発光手段による指示に応じた、光点の軌跡に関する注釈画像が対象物に投影される。
【００２１】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、対象物と発光手段との距離により近接であるか否かが判定できる。
【００２２】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、消費電力の抑制が図れる。
【００２３】
請求項５に記載の発明によれば、本構成を有していない場合に比較して、光点の軌跡に関する過去の注釈画像を再現できる。
【００２４】
請求項６に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の投影形態により、指示位置の区別が明確となる。
【００２５】
請求項７に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の線種により、指示位置の区別が明確となる。
【００２６】
請求項８に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の色により、指示位置の区別が明確となる。
【００２７】
請求項９に記載の発明によれば、本構成を有していない場合に比較して、注釈画像の太さにより、指示位置の区別が明確となる。
【００２８】
請求項１０に記載の発明によれば、実物体側からの対象物に対する指示位置を特定させられる。
【００２９】
請求項１１に記載の発明によれば、実物体側からの対象物に対する指示位置を特定させられる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る指示システムの構成図、図２は指示位置特定装置７０の例を示す図、図３はサーバ５０の要部構成を例示する機能ブロック図、図４はサーバ５０のハードウェア構成を例示する機能ブロック図である。
【００３１】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの指示装置として構成されていてもよく、また、複数の装置から構成されていてもよい。
【００３２】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び発光手段としての指示位置特定装置７０等から構成される。
【００３３】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、対象物２００及び指示位置特定装置７０を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。
【００３４】
プロジェクタ４０は、例えば液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像ＡＮ１（以下、アノテーション画像という。）を対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ４０とビデオカメラ２０との光軸及び投影・撮像画角をそれぞれ一致させている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮ１をその光学系を通じハーフミラー６０を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮ１は、ハーフミラー６０で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮ１には、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー６０の反射率は発振現象の防止の観点から０．３％程度であることが望ましい。
【００３５】
指示位置特定装置７０は、例えば発光体等を備えたペン型の形状で構成される。そして、自身の光点の軌跡がビデオカメラ２０に撮像されて、その撮像画像に基づいた後述するアノテーション画像ＡＮ２が対象物２００に対する指示位置として投影される。より詳しくは、図２に示すように、指示位置特定装置７０は、発光体７１、把持部７２及びスイッチ７３等から構成される。その他にも、把持部７２の内部に構成される図示しない電源部、制御部及び通信部等も有する。
【００３６】
発光体７１は、例えばＬＥＤ（Light Emitting Diode：発光ダイオード）や電球等で構成される。発光力が強い発光体７１が望ましい。通信部は例えば電波や赤外線等の無線通信が可能な通信機器で構成される。電源部は例えば電池等で構成される。制御部は、把持部７２に形成されたスイッチ７３が押下されると、電源部からの電力により発光体７１を点灯させると共に、通信部を介してサーバ５０に対し電源が入った旨の情報（以下、ＯＮ情報という。）を送信させる。そして、スイッチ７３が再度押下されると、発光体７１を消灯させると共に、通信部を介してサーバ５０に対し電源が切られた旨の情報（以下、ＯＦＦ情報という。）ＯＦＦ情報を送信させる。
【００３７】
サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。
【００３８】
より詳しくは、図３に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、指示位置特定装置７０からのＯＮ／ＯＦＦ情報や端末１００からの描画指示を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０にアノテーション画像ＡＮを投影させ得る投影部５４とを備える。さらに、端末１００からの描画指示に対して所要の処理を行う描画指示処理部５５、撮像画像から発光体７１の光点の軌跡を検出する画像処理部５６を備える。
【００３９】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮ１をプロジェクタ４０により対象物２００へ投影させる。さらに、撮像画像内に指示位置特定装置７０の発光体７１に基づく光点を検出した場合には、検出結果としてその軌跡を保持しておき、光点の軌跡に基づくアノテーション画像ＡＮ２をプロジェクタ４０により対象物２００へ投影させる。
【００４０】
端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成される。端末１００は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。
【００４１】
表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。
【００４２】
尚、上述したサーバ５０は、いわゆるコンピュータ、すなわち、図４に示すように、ＣＰＵ等の処理装置５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｆ５０ｄがバス５０ｅにより接続されたハードウェア構成により実現される。
【００４３】
したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。コンピュータ１２０や指示位置特定装置７０内の制御部についても同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０ｅにハードディスクを接続するようにしてもよい。
【００４４】
次に、上記構成の指示システムの動作について図５から図７を参照して説明する。
図５は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図６は端末１００のコンピュータ１２０における処理の一例を示すフローチャート、図７は端末１００側の操作の一例を説明するための図である。
【００４５】
まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図５に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００４６】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮ１の描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。描画指示に対する処理としては、例えば、プロジェクタ４０を制御して、描画指示に応じたアノテーション画像ＡＮ１の投影させること等がある。
【００４７】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００４８】
次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図６に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図７に示すように、対象物側装置１０のサーバ５０から送信される撮像画像１１１ａを表示装置１１０の表示画面１１１に表示させる（ステップＳ２２）。
【００４９】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像１１１ａに対する利用者からの注目領域ＡＲの指示があるかを判断し（ステップＳ２３）、注目領域ＡＲの指示がある場合には、指示に応じた処理を行う（ステップＳ２４）。
【００５０】
具体的には、端末１００の利用者は、図７に示すような表示装置１１０の表示画面１１１内の撮像画像１１１ａを見ながら、表示されている撮像画像１１１ａにアノテーション画像ＡＮ１を投影したい領域がある場合か判断する。投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域ＡＲを指示する。注目領域ＡＲは、アノテーション画像ＡＮ１を投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲに投影するアノテーション画像ＡＮ１に関する情報を指示する。
【００５１】
アノテーション画像ＡＮ１に関する情報は、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより生成される。アノテーション画像ＡＮ１に関する情報には、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された各種情報を描画指示としてサーバ５０へ送信する（ステップＳ２５）。
【００５２】
コンピュータ１２０は、次いで、端末１００でなされたビデオカメラ２０の撮像画像に基づく利用者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の利用者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００５３】
次に、本発明の特徴となる光点検出機能について図８から図１１を参照して説明する。
図８は指示位置特定装置７０の動作の一例を示すフローチャート、図９はサーバ５０におけるプロジェクタ４０に対する投影処理の一例を示すフローチャート、図１０は撮像画像１１１ａの一例、図１１は投影結果の一例である。
【００５４】
尚、図９に示すフローチャートは、図５に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１３の処理とステップＳ１４の処理の間に含めることができる。
【００５５】
まず、指示位置特定装置７０の動作について説明する。
指示位置特定装置７０は、図８に示すように、まず、電源が入れられたか否かを判定する（ステップＳ３１）。当該判定処理は、電源が入っていない状態で、スイッチ７３が押下されたか否かによって行われる。スイッチ７３が押下された場合には、電源が入れられたと判定する。
【００５６】
指示位置特定装置７０は、電源が入れられたと判定した場合には、次いで、発光体７１を点灯させると共に（ステップＳ３２）、ＯＮ情報をサーバ５０に送信する（ステップＳ３３）。
【００５７】
指示位置特定装置７０は、ここで、電源が切られたか否かを判定する（ステップＳ３４）。当該判定処理は、電源が入っている状態で、スイッチ７３が押下されたか否かによって行われる。スイッチ７３が押下された場合には、電源が切られたと判定する。これにより、電源が切られない限り、発光体７１は点灯し続ける。
【００５８】
指示位置特定装置７０は、電源が切られたと判定した場合には、次いで、発光体７１を消灯させると共に（ステップＳ３５）、ＯＦＦ情報をサーバ５０に送信する（ステップＳ３６）。
【００５９】
次に、サーバ５０の動作について図９から図１１を参照して説明する。
サーバ５０は、図９に示すように、指示位置特定装置７０からのＯＮ情報を受信したか否かを判定する（ステップＳ４１）。ＯＮ情報を受信しない限りは、光点検出機能は機能しない。
【００６０】
サーバ５０は、ステップＳ４１の処理において、ＯＮ情報を受信したと判定した場合には、撮像画像１１１ａ内の光点の位置を検出する（ステップＳ４２）。この検出処理は、撮像画像１１１ａ内における画素の輝度値の高低を判定することにより行われる。例えば、撮像画像内１１１ａ内に輝度値が高い部分がある場合には、発光体７１による光点であると判定し、その位置を保持する。尚、輝度値の高低は、所望の閾値より大きいか否かにより判定すればよい。
【００６１】
また、対象物２００と指示位置特定装置７０との距離が近接している場合に、光点の位置の検出を行うようにしてもよい。例えば、対象物２００と指示位置特定装置７０との距離が近接していない場合には、ビデオカメラ２０と指示位置特定装置７０との距離とが近い可能性がある。例えば、図１０に示すように、撮像画像１１１ａ内において指示位置特定装置７０が占める割合が増大する。
【００６２】
このような場合、指示位置特定装置７０の発光体７１による対象物２００に対する指示位置は特定され難い。したがって、対象物２００と指示位置特定装置７０との距離が近接している場合に、光点の位置の検出を行うようすることが望ましい。尚、前文の場合には、発光体７１の光点の撮像画像１１１ａ内での大きさに基づいて対象物２００と発光体７１との距離を計測し、その距離が所定の閾値より短い場合に近接すると判定すればよい。
【００６３】
サーバ５０は、ここで、指示位置特定装置７０からのＯＦＦ情報を受信したか否かを判定し（ステップＳ４３）、ＯＦＦ情報を受信していない場合には、ステップＳ４２の処理を行う。すなわち、サーバ５０はＯＦＦ情報を受信するまで、光点の位置を検出し続ける。これにより、指示位置特定装置７０の発光体７１がビデオカメラ２０の撮像領域内で移動する度に、サーバ５０は光点を検出して保持する。この結果、光点の軌跡が得られる。
【００６４】
一方、サーバ５０は、指示位置特定装置７０からのＯＦＦ情報を受信したと判定した場合には、光点の軌跡に応じたアノテーション画像ＡＮ２を生成する（ステップＳ４４）。そして、アノテーション画像ＡＮ２を投影させるべくプロジェクタ４０を制御する（ステップＳ４５）。これにより、図１１に示すように、指示位置特定装置７０の発光体７１の軌跡がアノテーション画像ＡＮ２としてプロジェクタ４０に対象物２００に投影される。
【００６５】
（第２実施形態）
続いて、本発明の第２実施形態に係る指示システムについて図１２及び図１３を参照して説明する。
図１２は再投影処理前の表示画面１１１の一例、図１３は再投影処理後の表示画面１１１の一例である。
【００６６】
本実施形態に係る指示システムでは、上述したステップＳ４４の処理で生成されたアノテーション画像ＡＮ２をサーバ５０が記憶装置内に保持しておき、必要な場合に、端末１００からの指示に応じて再び投影させるようにしたものである。
【００６７】
具体的には、図１２に示すように、ポインティングデバイス１３０を用いて表示画面１１１上に形成された「ＰＲＪ」ボタンＢＴを操作することにより、その操作に応じた指示がサーバ５０に送信される。これにより、サーバ５０は、アノテーション画像ＡＮ２を記憶装置内から呼び戻し、プロジェクタ４０に当該アノテーション画像ＡＮ２を投影させる。
【００６８】
この結果、対象物２００にアノテーション画像ＡＮ２が再び投影されると共に、その撮像画像がビデオカメラ２０により撮像される。端末１００の表示装置１１０では、図１３に示すように、アノテーション画像ＡＮ２が投影された対象物２００の撮像画像１１１ａが表示される。このように、一度、消去されたアノテーション画像ＡＮ２であっても、再び投影させることで、過去における対話を円滑に行える。
【００６９】
尚、当該処理に加えて、サーバ５０は、一度保持したアノテーション画像ＡＮ２に画像ごとに識別情報を付し、端末１００からの指示に応じて順次呼び出し、呼び出したアノテーション画像ＡＮ２をプロジェクタ４０に投影させるようにしてもよい。
【００７０】
（第３実施形態）
続いて、本発明の第３実施形態に係る指示システムについて図１４を参照して説明する。
図１４はサーバ５０の動作の一例を示すフローチャートである。尚、図１４に示すフローチャートは、図５に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１４の処理以降に含めることができる。
【００７１】
本実施形態に係る指示システムは、サーバ５０は、アノテーション画像ＡＮ２をプロジェクタ４０に投影させた後、所定の時間が経過した場合に、そのアノテーション画像ＡＮ２の投影を停止させる点で上述した実施形態と相違する。
【００７２】
具体的には、サーバ５０は、図１４に示すように、所定時間が経過したか否かを判定し続け（ステップＳ５１）、所定時間が経過したと判定した場合には、プロジェクタ４０の投影を停止させる制御を行う（ステップＳ５２）。これにより、アノテーション画像ＡＮ２が投影され続ける状態が回避され、消費電力の抑制が図れる。
【００７３】
（第４実施形態）
続いて、本発明の第４実施形態に係る指示システムについて図１５を参照して説明する。
図１５は対象物２００に対するアノテーション画像ＡＮ２の投影結果の一例である。
本実施形態に係る指示システムは、サーバ５０がアノテーション画像ＡＮ２の投影形態を変更している点で上述した実施形態と相違する。
【００７４】
具体的には、図１５に示すように、指示位置特定装置７０からの指示に応じて、サーバ５０は、アノテーション画像ＡＮ２の線種を変更したり、その太さを変更したりする。線種に関しては、同図に示すような、破線（点線）に限られず、上述した実線や、一点鎖線、二点鎖線等の鎖線であってもよい。さらに、アノテーション画像ＡＮ２の色を変更するようにしてもよい。これにより、対象物２００に対する指示の区別が明確となり、対話が円滑となり得る。尚、本実施形態の場合、指示位置特定装置７０に、投影形態を変更するスイッチをさらに設ければよい。
【００７５】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００７６】
また、上述した指示位置特定装置７０に代えてレーザポインタ等を利用してもよい。この場合、発光体７１の軌跡に代えて、対象物２００上に現れるレーザポインタの光点の軌跡を撮像していき、この軌跡に応じたアノテーション画像ＡＮ２をサーバ５０がプロジェクタ４０に投影させるようにしてもよい。
【００７７】
また、発光体７１に発光力に代えて、発光体７１が出す波長により発光体７１の軌跡を検出するようにしてもよい。具体的には、発光体７１に赤外線出力機能を形成し、ビデオカメラ２０に赤外線フィルタを形成することで、発光体７１の軌跡が赤外線により判断することができる。尚、発光体７１が出す波長は、赤外線の波長に限定されず、撮像領域周辺から得られる波長と区別できる程度の波長を有するものであればよい。
【００７８】
また、指示位置特定装置７０とサーバ５０との接続は、上述した無線通信に限られず、ケーブル等を介して有線通信であってもよく、この場合、電気通信や光通信等の通信形態は特に限定されるものでない。
【産業上の利用可能性】
【００７９】
本発明によれば、対象物２００に対する指示位置を実物体側から非接触で特定して端末１００側に伝えられようになり、対象物２００が貴重なものであったり、その表面が柔らかすぎたり、粗すぎたり、滑らかすぎたりして直接的に書き込みが行えないような場合であっても、遠隔地間の対話が円滑となり、産業上の利用可能性が高い。
【図面の簡単な説明】
【００８０】
【図１】指示システムの実施形態を示す構成図である。
【図２】指示位置特定装置の例を示す図である。
【図３】サーバの要部構成を示す機能ブロック図である。
【図４】サーバのハードウェア構成を示す機能ブロック図である。
【図５】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図６】端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図７】端末側の操作の一例を説明するための図である。
【図８】指示位置特定装置の動作の一例を示すフローチャートである。
【図９】サーバにおけるプロジェクタに対する投影処理の一例を示すフローチャートである。
【図１０】撮像画像の一例である。
【図１１】投影結果の一例である。
【図１２】再投影処理前の表示画面の一例である。
【図１３】再投影処理後の表示画面の一例である。
【図１４】サーバの動作の一例を示すフローチャートである。
【図１５】対象物に対するアノテーション画像の投影結果の一例である。
【符号の説明】
【００８１】
１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
５１ 撮像部
５２ 画像送信部
５３ 受信部
５４ 投影部
５５ 描画指示処理部
５６ 画像処理部
６０ ハーフミラー
７０ 指示位置特定装置
７１ 発光体
７２ 把持部
７３ スイッチ
１００ 端末
１１０ 表示装置
１１１ 表示画面
１１１ａ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
２００ 対象物
３００ ネットワーク
ＡＮ１、ＡＮ２ アノテーション画像
ＡＲ 注目領域
Ｐｔ ポインタ
ＢＴ ボタン
【特許請求の範囲】
【請求項１】
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
前記制御手段は、前記撮像手段の撮像領域内での発光手段による光点の軌跡を前記注釈画像として前記投影手段により前記対象物に投影させることを特徴とする指示システム。
【請求項２】
前記制御手段は、前記発光手段と前記対象物とが近接する場合に、前記光点の軌跡を前記注釈画像として投影させることを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段は、前記光点の撮像領域内での大きさに基づいて前記対象物と前記発光手段との距離を計測し、該距離が所定の閾値より短い場合に近接すると判定することを特徴とする請求項２に記載の指示システム。
【請求項４】
前記制御手段は、前記光点の軌跡に関する注釈画像の投影後、所定の時間が経過した場合に、該注釈画像の投影を停止させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
前記制御手段は、前記光点の軌跡に関する注釈画像を保持し、前記端末からの指示に応じて、該注釈画像を再び投影させることを特徴とする請求項１から４のいずれか１項に記載の指示システム。
【請求項６】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の投影形態を変更することを特徴とする請求項１から５のいずれか１項に記載の指示システム。
【請求項７】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の線種を変更することを特徴とする請求項６に記載の指示システム。
【請求項８】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の色を変更することを特徴とする請求項６に記載の指示システム。
【請求項９】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の太さを変更することを特徴とする請求項６に記載の指示システム。
【請求項１０】
コンピュータを、
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、前記撮像手段の撮像領域内での発光手段による光点の軌跡を前記注釈画像として前記投影手段により前記対象物に投影させることを特徴とする指示プログラム。
【請求項１１】
対象物を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
前記撮像画像を端末に送信すると共に、該端末でなされた前記指示に応じた前記注釈画像を前記投影手段に投影させ、前記撮像手段の撮像領域内での発光手段による光点の軌跡を前記注釈画像として前記投影手段により前記対象物に投影させる制御手段と、
を有することを特徴とする指示装置。
【請求項１】
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
前記制御手段は、前記撮像手段の撮像領域内での発光手段による光点の軌跡を前記注釈画像として前記投影手段により前記対象物に投影させることを特徴とする指示システム。
【請求項２】
前記制御手段は、前記発光手段と前記対象物とが近接する場合に、前記光点の軌跡を前記注釈画像として投影させることを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段は、前記光点の撮像領域内での大きさに基づいて前記対象物と前記発光手段との距離を計測し、該距離が所定の閾値より短い場合に近接すると判定することを特徴とする請求項２に記載の指示システム。
【請求項４】
前記制御手段は、前記光点の軌跡に関する注釈画像の投影後、所定の時間が経過した場合に、該注釈画像の投影を停止させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
前記制御手段は、前記光点の軌跡に関する注釈画像を保持し、前記端末からの指示に応じて、該注釈画像を再び投影させることを特徴とする請求項１から４のいずれか１項に記載の指示システム。
【請求項６】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の投影形態を変更することを特徴とする請求項１から５のいずれか１項に記載の指示システム。
【請求項７】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の線種を変更することを特徴とする請求項６に記載の指示システム。
【請求項８】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の色を変更することを特徴とする請求項６に記載の指示システム。
【請求項９】
前記制御手段は、前記発光手段からの指示に応じて、前記光点の軌跡に関する注釈画像の太さを変更することを特徴とする請求項６に記載の指示システム。
【請求項１０】
コンピュータを、
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、前記撮像手段の撮像領域内での発光手段による光点の軌跡を前記注釈画像として前記投影手段により前記対象物に投影させることを特徴とする指示プログラム。
【請求項１１】
対象物を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
前記撮像画像を端末に送信すると共に、該端末でなされた前記指示に応じた前記注釈画像を前記投影手段に投影させ、前記撮像手段の撮像領域内での発光手段による光点の軌跡を前記注釈画像として前記投影手段により前記対象物に投影させる制御手段と、
を有することを特徴とする指示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２００８４６（Ｐ２００９−２００８４６Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−４０６３１（Ｐ２００８−４０６３１）
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]