指示システム、指示装置及び指示プログラム
【課題】 対象物側の利用者が、投影された投影用画像を遮蔽物により遮ることで、その投影用画像の元画像を注釈画像と共に投影可能な指示システムを提供する。
【解決手段】 対象物を含む対象領域内を撮像するビデオカメラ２０と、記憶手段に記憶された第１投影用画像及び第１投影用画像が縮小された第２投影用画像を、ビデオカメラ２０で撮像された撮像画像に基づく指示に応じたアノテーション画像と共に、対象領域内に投影するプロジェクタ４０と、撮像画像を送信する画像送信部５１、撮像画像内の第２投影用画像に対する遮蔽物を検出する遮蔽検出部５５、遮蔽物が検出された場合に、第１投影用画像をアノテーション画像と共にプロジェクタ４０に投影させる投影制御部５４、を具備するサーバ５０と、画像送信部５１によって送信された撮像画像を受信する受信部、受信された撮像画像に基づく指示を送信する送信部、を具備する端末と、を有する。
【解決手段】 対象物を含む対象領域内を撮像するビデオカメラ２０と、記憶手段に記憶された第１投影用画像及び第１投影用画像が縮小された第２投影用画像を、ビデオカメラ２０で撮像された撮像画像に基づく指示に応じたアノテーション画像と共に、対象領域内に投影するプロジェクタ４０と、撮像画像を送信する画像送信部５１、撮像画像内の第２投影用画像に対する遮蔽物を検出する遮蔽検出部５５、遮蔽物が検出された場合に、第１投影用画像をアノテーション画像と共にプロジェクタ４０に投影させる投影制御部５４、を具備するサーバ５０と、画像送信部５１によって送信された撮像画像を受信する受信部、受信された撮像画像に基づく指示を送信する送信部、を具備する端末と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示システム、指示装置及び指示プログラムに関する。
【背景技術】
【０００２】
会議システム等においては、端末側から対象物等の実物体側へ向けて作業手順の指示等の各種指示を行う場合がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末において撮像画像に基づいて操作者によって指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている（例えば特許文献１参照）。
【０００３】
【特許文献１】特開２００５−３３７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、対象物側の利用者が、投影手段により投影された画像（以下、投影用画像という。）を遮蔽物により遮ることで、その投影用画像の元となる画像を注釈画像と共に投影する指示システム、指示装置及び指示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、対象物を含む対象領域内を撮像する撮像手段と、記憶手段に記憶された第１の投影用画像及び第１の投影用画像が縮小された第２の投影用画像を、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像と共に、対象領域内に投影する投影手段と、撮像画像を送信する第１の送信部と、撮像画像内の第２の投影用画像に対する遮蔽物を検出する検出部と、検出部によって遮蔽物が検出された場合に、第１の投影用画像を注釈画像と共に投影手段に投影させる投影制御部と、を具備する制御手段と、第１の送信部によって送信された撮像画像を受信する受信部と、受信部により受信された撮像画像に基づく指示を送信する第２の送信部と、を具備する端末と、を有することを特徴とする指示システムである。
【０００６】
請求項２に記載の発明は、請求項１に記載の発明において、投影手段は、第２の投影用画像を他の第２の投影用画像に差し替えることを指示する差換指示画像をさらに投影し、制御手段の検出部は、撮像画像内の差換指示画像に対する遮蔽物をさらに検出し、制御手段の投影制御部は、検出部によって遮蔽物が検出された場合に、第２の投影用画像を他の第２の投影用画像に差し替えて投影手段に投影させることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項２に記載の発明において、制御手段の投影制御部は、第２の投影用画像及び他の第２の投影用画像がそれぞれ同一の集団に属することを示す集団情報により複数の画像で構成された場合、複数の第２の投影用画像を一括りに複数の他の第２の投影用画像に差し替えて投影手段に投影させることを特徴としている。
【０００８】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、投影手段は、第２の投影用画像及び差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、制御手段の検出部は、撮像画像内の投影指示画像に対する遮蔽物をさらに検出し、制御手段の投影制御部は、第２の投影用画像及び差換指示画像の投影が停止している場合であって、検出部によって遮蔽物が検出されたときに、第２の投影用画像及び指示画像を投影手段に投影させることを特徴としている。
【０００９】
請求項５に記載の発明は、請求項１から３のいずれか１項に記載の発明において、投影手段は、第２の投影用画像及び差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、制御手段の検出部は、撮像画像内の投影指示画像に対する遮蔽物をさらに検出し、制御手段の投影制御部は、第２の投影用画像及び差換指示画像の投影がなされている場合であって、検出部によって遮蔽物が検出されたときに、第２の投影用画像及び差換指示画像を投影手段に投影させることを停止させることを特徴としている。
【００１０】
請求項６に記載の発明は、請求項４又は５に記載の発明において、制御手段の検出部は、撮像画像内における対象物及び利用者の位置をさらに検出し、制御手段の投影制御部は、利用者の対象物とを結ぶ直線状の領域で、かつ、利用者と対象物との間の領域を除いた領域に、第２の投影用画像、差換指示画像及び投影指示画像の少なくとも１つを投影手段に投影させることを特徴としている。
【００１１】
請求項７に記載の発明は、対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信手段と、撮像画像内の第２の投影用画像に対する遮蔽物を検出する検出部と、検出部によって遮蔽物が検出された場合に、送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、第１の投影用画像と共に、対象領域内に投影手段に投影させる投影制御部と、を有することを特徴とする指示装置である。
【００１２】
請求項８に記載の発明は、コンピュータを、対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部、撮像画像内の第２の投影用画像に対する遮蔽物を検出する検出部、検出部によって遮蔽物が検出された場合に、送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、第１の投影用画像と共に、対象領域内に投影手段に投影させる投影制御部、として機能させることを特徴とする指示プログラムである。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、投影手段により投影された投影用画像を遮蔽物により遮ることで、その投影用画像の元となる画像が注釈画像と共に投影される。
【００１４】
請求項２に記載の発明によれば、投影用画像を他の投影用画像に差換えることを指示する差換指示画像も投影される。
【００１５】
請求項３に記載の発明によれば、投影用画像が複数の画像で構成されている場合、これらが一括りにされて他の投影用画像に差換えられる。
【００１６】
請求項４に記載の発明によれば、投影用画像及び差換指示画像の投影が停止している場合に、これらの画像を投影させるか否かを指示する投影指示画像が遮られると、投影用画像及び差換指示画像が投影される。
【００１７】
請求項５に記載の発明によれば、投影用画像及び差換指示画像が投影されている場合に、これらの画像を投影させるか否かを指示する投影指示画像が遮られると、投影用画像及び差換指示画像の投影が停止される。
【００１８】
請求項６に記載の発明によれば、投影用画像等の利用者の真正面への投影が避けられ、利用者の意図しない指示が回避され易くなる。
【００１９】
請求項７に記載の発明によれば、投影手段により投影された投影用画像を遮蔽物により遮ることで、その投影用画像の元となる画像が注釈画像と共に投影される。
【００２０】
請求項８に記載の発明によれば、投影手段により投影された投影用画像を遮蔽物により遮ることで、その投影用画像の元となる画像が注釈画像と共に投影される。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
【００２２】
（第１実施形態）
図１は、本発明の指示システムの実施形態を示す構成図、図２は、サーバ５０の要部構成を例示するブロック図、図３は、サーバ５０のハードウェア構成を例示するブロック図である。
【００２３】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を含んで構成されており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１等をネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続可能である。
【００２４】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段または指示装置としてのサーバ５０、マイク６０、ハーフミラー６５等を含んで構成される。
【００２５】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成され、テーブル７０上に置かれた対象物２００や利用者Ｍを含む対象領域内を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６５を透過した画像を撮像する。
【００２６】
プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮを、対象物２００を含む対象領域内に投影すると共に、その対象領域内に、投影用画像、該投影用画像が縮小された縮小画像及び縮小画像の投影形態を変化させる種々の画像（以下、サムネイル画像等という）をも投影する。投影用画像やサムネイル画像等は、対象物側装置１０の内部又は外部に設置された不図示の記憶装置に記憶されている。また、プロジェクタ４０は、その光学系が、ハーフミラー６５によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じハーフミラー６５を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６５で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラーの反射率は０．３％程度であることが望ましい。
【００２７】
マイク６０は、利用者Ｍの指示等の音声を取得する。取得された音声は、サーバ５０により、音声情報としてコンピュータ１２０に送信される。
【００２８】
サーバ５０は、ビデオカメラ２０、プロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を送受する。
【００２９】
より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像制御部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等、各種指示を受信する指示受信部５３と、プロジェクタ４０を制御し、アノテーション画像ＡＮを投影させる投影制御部５４とを備える。プロジェクタ４０によって投影されたサムネイル画像等が撮像画像内の含まれており、そのサムネイル画像等を構成する一の画像が遮蔽物によって遮られている場合に、その一の画像の元となる投影用画像を投影制御部５４に投影させる遮蔽検出部５５とを備える。
【００３０】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮ等をプロジェクタ４０により対象物２００を含む対象領域内へ投影させると共に、サムネイル画像等を構成する一の画像が遮られていることを撮像画像内から検出した場合に、その一の画像の元となる画像をプロジェクタ４０により対象領域内へ投影させる。
【００３１】
尚、サーバ５０は、図３に示すように、ＣＰＵ５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｏインタフェース５０ｄやＬＡＮインタフェース５０ｅ等がバス５０ｆにより接続されたハードウェア構成により実現される。
【００３２】
したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述したサーバ５０の各機能が実現される。後述する端末１００のコンピュータ１２０ついても概ね同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、同図に示すように、必要に応じて、バス５０ｆにＨＤＤ（ハードディスクドライブ）５０ｇ、ＣＤ−ＲＯＭドライブ５０ｈ、ＦＤドライブ５０ｉ、モデム５０ｊを接続するようにしてもよい。
【００３３】
端末１００は、図１に示すように、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、スピーカ１４０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等を含んで構成される。表示装置１１０及びポインティングデバイス１３０の動作はコンピュータ１２０によって制御される。
【００３４】
表示装置１１０は、その表示画面に対象物側装置１０から送信される撮像画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。
コンピュータ１２０は、撮像画像を受信する受信部、撮像画像に対して行われたアノテーション画像の描画に関する描画指示等、各種指示を送信する送信部を含んで構成される。
スピーカ１４０は、サーバ５０に接続されているマイク６０から取得されたサーバ５０側の利用者Ｍの指示などの音声を出力する。
【００３５】
次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
【００３６】
まず、対象物側装置１０の動作について図４を参照して説明する。
図４は、対象物側装置１０のサーバ５０における処理の一例を示すフローチャートである。
【００３７】
サーバ５０は、図４に示すように、まず、ビデオカメラ２０のよる撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求があったと判断した場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００３８】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する指示である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。具体的には、描画指示に応じたアノテーション画像ＡＮを生成する。これにより、プロジェクタ４０に処理結果に基づくアノテーション画像ＡＮを投影させる。
【００３９】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００４０】
次に、端末１００の動作について図５及び図６を参照して説明する。
図５は、端末１００のコンピュータ１２０における画像形成における処理の一例を示すフローチャート、図６は、端末１００側の操作の一例を説明するための図である。
【００４１】
まず、図５に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、サーバ５０から送信される撮像画像１１１を表示装置１１０の画面上に表示する（ステップＳ２２）。尚、図６に示される撮像画像１１１は、テーブル７０の上に置かれた対象物２００が、これらの上方に配置されたビデオカメラ２０によって撮像された画像を表している。
【００４２】
次いで、コンピュータ１２０は、表示装置１１０の画面上に表示された撮像画像１１１に対する操作者からのアノテーション画像ＡＮの描画指示があるかを判断し（ステップＳ２３）、アノテーション画像ＡＮの描画指示がある場合には、その描画指示に応じた処理を行う（ステップＳ２４）。
【００４３】
具体的には、端末１００の操作者は、図６に示すような表示装置１１０の画面上の撮像画像１１１を見ながら、画面上のポインタＰｔをポインティングデバイス１３０の操作によって移動させ、アノテーション画像ＡＮを指示する。この指示は、例えば、ポインティングデバイス１３０を用いて画面上に形成された各種ボタンＢＴ等を操作することにより行われる。
【００４４】
アノテーション画像ＡＮの描画指示には、多角形や円、線分、矢印などの図形の描画を行わせる指示、あらかじめ用意されたビットマップ画像の描画を行わせる指示、キーボードなどから入力されたテキスト画像の描画を行わせる指示、ポインティングデバイス１３０の動作を反映させた画像の描画を行わせる指示等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された描画指示をサーバ５０へ送信する（ステップＳ２５）。
【００４５】
次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００４６】
続いて、上述した投影用画像及びサムネイル画像等の投影処理について説明する。
【００４７】
図７は、サーバ５０における遮蔽検出部５５の動作の一例を示すフローチャート、図８は、サムネイル画像等の投影位置を説明するための図である。尚、図７に示すフローチャートは、図４に示すフローチャートのステップＳ１５の処理に含むことが望ましく、より詳細には、描画指示処理を行った後に含むことが好ましい。後述するフローチャートについても同様である。
【００４８】
遮蔽検出部５５は、まず、画像送信部５２から撮像画像を順次取得し（ステップＳ３１）、その撮像画像に基づいて、サーバ５０側の利用者Ｍ及び対象物２００の位置を検出する（ステップＳ３２）。
【００４９】
具体的には、サーバ５０側の利用者が写っていない撮像画像と、連続的に取り込まれる撮像画像との差分（特に、差分のエッジ）を抽出し、当該差分に人間の特徴（例えば、頭部や手など）が含まれている場合に、撮像画像内のその差分の位置をサーバ５０側の利用者Ｍの位置として検出する。利用者Ｍの検出は、発信器やＲＦＩＤタグ等を使って行うようにしてもよい。
【００５０】
同様に、遮蔽検出部５５は、対象物２００が写っていない撮像画像と、連続的に取り込まれる撮像画像との差分（特に、差分のエッジ）を抽出し、その差分に対象物２００の特徴（例えば、対象物２００の形状や色彩等）が含まれている場合に、撮像画像内のその差分の位置を対象物２００の位置として検出する。
【００５１】
後述するサムネイル画像等を構成する一の画像が遮られたか否かについても、遮蔽物が写っていない撮像画像と、連続的に取り込まれる撮像画像との差分を抽出することにより行われる。
【００５２】
遮蔽検出部５５は、次いで、投影制御部５４に対しサムネイル画像等を投影させる指示を送信する（ステップＳ３３）。より詳しくは、検出されたサーバ５０側の利用者Ｍの位置及び対象物２００の位置に基づいて、対象物２００に重ならない範囲で、サーバ５０側の利用者Ｍの近傍にサムネイル画像等をプロジェクタ４０に投影させる。
【００５３】
具体的には、図８（ａ）に示すように、遮蔽検出部５５は、検出されたサーバ５０側の利用者Ｍの位置及び対象物２００の位置に基づいて、サーバ５０側の利用者Ｍと対象物２００との間の領域ＡＲを除いた領域に、サムネイル画像等９０を投影させる指示を送信する。
【００５４】
より好ましくは、遮蔽検出部５５は、サーバ５０側の利用者Ｍと対象物２００とを結ぶ領域で、かつ、サーバ５０側の利用者Ｍと対象物２００との間の領域ＡＲを除いた領域内の利用者Ｍの手が届く範囲、例えば、利用者Ｍから３０〜５０ｃｍ程度離れた範囲にサムネイル画像等９０を投影させる。このため、図８（ｂ）に示すように、利用者Ｍがテーブル７０の周辺を移動すると、遮蔽検出部５５は、利用者Ｍ及び対象物２００の位置を検出し、投影制御部５４にサムネイル画像等９０の投影位置を変更させる指示を送信する。投影制御部５４は、これを受信して、プロジェクタ４０に対し、サムネイル画像等９０の投影位置を変更して投影させる。
【００５５】
遮蔽検出部５５は、ここで、サムネイル画像等を構成する一の画像が遮蔽物により遮られたか否かを判定し（ステップＳ３４）、一の画像が遮られたと判定した場合には、その画像に割り当てられた識別番号を、投影形態を分岐するための情報（以下、投影形態分岐フラグという。）にセットする（ステップＳ３５）一方、一の画像が遮られなかったと判定した場合には、識別番号「０」を投影形態分岐フラグにセットし（ステップＳ３６）、サムネイル画像等９０の投影を停止させる（ステップＳ３７）。尚、一の画像が遮られなかったとする判定は、例えば、予め設定された時間内に一の画像が遮られなかった場合に行われる。
【００５６】
ここで、上述したサムネイル画像等９０の構成について説明する。
【００５７】
図９は、サムネイル画像等９０の構成を説明するための図である。
【００５８】
サムネイル画像等９０は、図９に示すように、一又は複数のサムネイル画像９４、該サムネイル画像を他のサムネイル画像に差換えることを指示する差換指示画像９３、サムネイル画像９４及び差換指示画像９３を投影させるか否かを指示する投影指示画像９２、及び、撮像画像及びこの画像に付随して録音された音声情報の記憶装置への保存を指示する保存指示画像９１を含んで構成される。差換指示画像９３は、同図に示すように、投影色によって差換機能が変わるようにように構成される。例えば、投影色が、「黒」色であれば差換機能を発揮させ、「白」色であれば差換機能を発揮させないようにすることが望ましい。
【００５９】
サムネイル画像９４が、同図（ｂ）（ｃ）に示すように、複数の画像９４ａ〜９４ｆで構成される場合、これらの複数の画像９４ａ〜９４ｆには、同一の集団に属することを示す「１００」「２００」等の集団情報が付与されている。同図によれば、サムネイル画像９４ａ〜９４ｃには同じ一の集団情報が、サムネイル画像９４ｄ〜９４ｆには、同じ他の集団情報が、付与されている。このため、差換指示画像９３により、複数のサムネイル画像を差換えることを指示する場合、同一の集団に属する画像が一括りにされて差換えられる。すなわち、差換指示画像９３ｂが遮られると、サムネイル画像９４ａ〜９４ｃは、サムネイル画像９４ｄ〜９４ｆに差換えられて投影される。サムネイル画像９４は、同図（ｂ）（ｃ）に示すようなテキストに限定されず、同図（ｄ）に示すように、例えば図形やプリンタ等の操作部に関する画像等であってもよい。
【００６０】
また、サムネイル画像等９０を構成する各画像９１〜９４には、識別番号が付与される。具体的には、保存指示画像９１には識別番号「１」、投影指示画像９２には識別番号「２」、差換指示画像９３ａ,９３ｂにはそれぞれ識別番号「３」「４」、サムネイル画像９４ａ〜９４ｃ,９４ｄ〜９４ｆにはそれぞれ「５」「６」「７」が付与される。したがって、サムネイル画像等９０を構成する画像９１〜９４のうちで一の画像が遮られると、その画像に付与された識別番号が投影形態分岐フラグにセットされる。
【００６１】
尚、サムネイル画像等９０には、少なくともサムネイル画像９４が含まれていればよく、差換指示画像９３、投影指示画像９２及び保存指示画像９１については含まれていなくてもよい。また、サムネイル画像９４と保存指示画像９１や投影指示画像９２等を選択的に組み合わせて投影させるようにしてもよい。
【００６２】
以下に、サムネイル画像等９０の投影・制御等を、投影形態分岐フラグにセットされた識別番号ごとに説明する。
【００６３】
（保存指示画像）
まず、保存指示画像９１が遮られた場合について図１０から図１２を参照して説明する。
【００６４】
図１０は、遮蔽検出部５５の動作の一例を示すフローチャートの一部、図１１は、保存指示画像９１が遮られたことを表す図である。尚、図１０に示すフローチャートにおける「Ａ」「Ｂ」等の各記号は、後述する図１３、図１６及び図１７等に示すフローチャートと対応付いている。
【００６５】
遮蔽検出部５５は、図１０に示すように、まず、投影形態分岐フラグ（図１０では、単にフラグと示す。）に識別番号「０」がセットされているか否かを判定し（ステップＳ４１）、識別番号「０」がセットされている場合には、処理を終了し、図４に示すフローチャートのステップＳ１３に戻る。
【００６６】
一方、遮蔽検出部５５は、識別番号「０」がセットされていない場合には、次いで、投影形態分岐フラグに「０」より大きく「８」より小さな識別番号がセットされているか否かを判定し（ステップＳ４２）、さらに、セットされた識別番号が「１」であるか否かを判定する（ステップＳ４３）。
【００６７】
具体的には、図１１に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、保存指示画像９１がサーバ５０側の利用者Ｍによって遮られた場合、遮蔽検出部５５によって、この撮像画像から保存指示画像９１に付与された識別番号「１」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ４２の処理において、投影形態分岐フラグに「０」より大きく「８」より小さな識別番号がセットされていると判定し、ステップＳ４３の処理において、セットされた識別番号が「１」であると判定する。
【００６８】
遮蔽検出部５５は、次いで、撮像画像を取得し（ステップＳ４４）、取得した撮像画像が前回取得した撮像画像と同じであるか否かを判定する（ステップＳ４５）。
【００６９】
遮蔽検出部５５は、ステップＳ４５の処理において、取得した撮像画像が前回取得した撮像画像と同じであると判定した場合には、録音された音声情報を切り替え（ステップＳ４６）、切替前の音声情報を記憶装置に保存する（ステップＳ４７）。次いで、前回取り込まれた撮像画像にその属性情報を付加して記憶装置に保存し（ステップＳ４８）、処理を終了する。撮像画像の属性情報は、図１２に示すように、撮像画像と録音された音声情報（sound file）とを関連付けている。
【００７０】
（投影指示画像）
次に、投影指示画像９２が遮られた場合について図１３から図１５を参照して説明する。
【００７１】
図１３は、遮蔽検出部５５の動作の一例を示すフローチャートの一部、図１４及び図１５は、投影指示画像９２が遮られたことを表す図である。
【００７２】
遮蔽検出部５５は、上述したステップＳ４３の処理において、セットされた識別番号が「１」でないと判定した場合、図１３に示すように、セットされた識別番号が「２」であるか否かを判定する（ステップＳ５１）。
【００７３】
具体的には、図１４（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「閉じる」が表示された投影指示画像９２がサーバ５０側の利用者Ｍによって遮られた場合、または、図１５（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「開く」が表示された投影指示画像９２がサーバ５０側の利用者Ｍによって遮られた場合、これらの撮像画像から、投影指示画像９２に付与された識別番号「２」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ５１の処理において、セットされた識別番号が「２」であると判定する。
【００７４】
遮蔽検出部５５は、次いで、開閉フラグが「ＯＮ」であるか否かを判定する（ステップＳ５２）。この開閉フラグは、「ＯＮ」と「ＯＦＦ」とで構成され、蔽検出部５５自身が管理する。開閉フラグが「ＯＮ」である場合とは、図１４（ａ）に示すように、サムネイル画像９４や差換指示画像９３が投影されている状態をいう。一方、開閉フラグが「ＯＦＦ」である場合とは、図１５（ａ）に示すように、サムネイル画像９４や差換指示画像９３が投影されていない状態をいう。
【００７５】
遮蔽検出部５５は、ステップＳ５２の処理において、開閉フラグが「ＯＮ」であると判定した場合には、図１３に示すように、開閉フラグを「ＯＦＦ」にセットし（ステップＳ５３）、投影制御部５４に対し、保存指示画像９１及び「開く」と表示された投影指示画像９２を投影させる指示を送信する（ステップＳ５４）。この結果、差換指示画像９３及びサムネイル画像９４の投影が停止され、図１４（ｂ）に示すように、テーブル７０には、保存指示画像９１と「開く」と表示された投影指示画像９２とがプロジェクタ４０によって投影される。投影の停止は、閉じられていく状態を示す観点から、サムネイル画像９４ｃから差換指示画像９３ａまで順次行われることが望ましい。この場合、投影停止の時刻を異ならせていけばよい。
【００７６】
一方、遮蔽検出部５５は、ステップＳ５２の処理において、開閉フラグが「ＯＮ」でないと判定した場合には、図１３に示すように、開閉フラグを「ＯＮ」にセットし（ステップＳ５５）、投影制御部５４に対し、保存指示画像９１、「閉じる」と表示された投影指示画像９２、差換指示画像９３及びサムネイル画像９４を投影させる（ステップＳ５６）。この結果、図１５（ｂ）に示すように、テーブル７０には、保存指示画像９１、「開く」と表示された投影指示画像９２、差換指示画像９３及びサムネイル画像９４がプロジェクタ４０によって投影される。投影は、開かれていく状態を示す観点から、差換指示画像９３ａからサムネイル画像９４ｃまで順次行われることが望ましい。この場合、投影の時刻を異ならせていけばよい。
【００７７】
（差換指示画像及びサムネイル画像）
最後に、差換指示画像９３又はサムネイル画像９４が遮られた場合について説明する。
【００７８】
図１６及び図１７は、遮蔽検出部５５の動作の一例を示すフローチャートの一部、図１８及び図１９は、差換指示画像９３が遮られたことを表す図、図２０は、サムネイル画像９４が遮られたことを表す図である。
【００７９】
遮蔽検出部５５は、上述したステップＳ５１の処理において、セットされた識別番号が「２」でないと判定した場合、図１６に示すように、セットされた識別番号が「３」であるか否かを判定する（ステップＳ６１）。
【００８０】
具体的には、図１８（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「左向きの矢印」が表示された差換指示画像９３ａがサーバ５０側の利用者Ｍによって遮られた場合、この撮像画像から、差換指示画像９３ａに付与された識別番号「３」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ６１の処理において、セットされた識別番号が「３」であると判定する。
【００８１】
遮蔽検出部５５は、ステップＳ６１の処理において、セットされた識別番号が「３」であると判定した場合には、投影制御部５４に対し、１つ前の集団に属するサムネイル画像を投影させ（ステップＳ６２）、集団情報を繰り上げる（ステップＳ６３）。この結果、図１８（ａ）に示すように、差換指示画像９３及び画像番号「４」〜「６」が表示されたサムネイル画像９４ｄ〜９４ｆは、同図（ｂ）に示すように、差換指示画像９３ａ,９３ｂの色がそれぞれ反転して投影されると共に、画像番号「１」〜「３」が表示されたサムネイル画像９４ａ〜９４ｃが投影される。
【００８２】
一方、遮蔽検出部５５は、上述したステップＳ６１の処理において、セットされた識別番号が「３」でないと判定した場合、図１７に示すように、セットされた識別番号が「４」であるか否かを判定する（ステップＳ７１）。
【００８３】
具体的には、図１９（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「右向きの矢印」が表示された差換指示画像９３ｂがサーバ５０側の利用者Ｍによって遮られた場合、この撮像画像から、差換指示画像９３ｂに付与された識別番号「４」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」であると判定する。
【００８４】
遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」であると判定した場合には、投影制御部５４に対し、１つ後の集団に属するサムネイル画像を投影させ（ステップＳ７２）、集団情報を繰り下げる（ステップＳ７３）。この結果、図１９（ａ）に示すように、差換指示画像９３及び画像番号「１」〜「３」が表示されたサムネイル画像９４ａ〜９４ｃは、同図（ｂ）に示すように、差換指示画像９３ａ,９３ｂの色がそれぞれ反転して投影されると共に、画像番号「４」〜「６」が表示されたサムネイル画像９４ｄ〜９４ｆが投影される。
【００８５】
一方、遮蔽検出部５５は、上述したステップＳ７１の処理において、セットされた識別番号が「４」でないと判定した場合、または、ステップＳ４２の処理において、投影形態分岐フラグが「８」以上である場合、投影形態分岐フラグに対応する画像を投影制御部５４に投影させる。
【００８６】
具体的には、図２０（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「サムネイル画像２」が表示されたサムネイル画像９４ｂがサーバ５０側の利用者Ｍによって遮られた場合、この撮像画像から、サムネイル画像９４ｂに付与された識別番号「６」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」でないと判定する。
【００８７】
遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」でないと判定した場合には、投影制御部５４に対し、その投影形態分岐フラグに対応する投影用画像を投影させる（ステップＳ８１）。
【００８８】
この結果、図２０（ａ）に示すように、画像番号「２」が表示されたサムネイル画像９４ｂが遮られると、同図（ｂ）に示すように、そのサムネイル画像９４ｂの元となった投影用画像９８がテーブル７０上に投影される。投影用画像９８は、例えば対象物２００の設計図や拡大図等、対象物２００と関連性を有する画像であることが望ましい。
【００８９】
また、投影用画像９８がテーブル７０上に投影された状態がビデオカメラ２０に撮像され、その撮像画像が端末１００に送信されると、図２１に示すように、表示装置１００は、「サムネイル画像２」と表示された投影用画像９８、アノテーション画像ＡＮ等を含んだ撮像画像１１１を表示する。このように、操作者から指示される対象物２００に対するアノテーション画像ＡＮと、利用者Ｍによる指示によって投影される投影用画像９８と、により利用者Ｍと操作者との円滑な対話が行われる。
【００９０】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００９１】
また、対象物側装置１０にいわゆるネットワークカメラ又はＰＴＺ
（Pan-Tilt-Zoom）カメラ又はポータブルカメラを構成し、端末１００側の操作者がこれを自由に移動させるようにしてもよい。これらのカメラは、ビデオカメラ２０で撮像できない対象物２００の部分（例えば、対象物２００の上面からは見えない影となる部分）の撮像や、対象物２００の接写撮像をするために使用される。すなわち、これらのカメラは、対象物２００の一部分を撮像する。
【００９２】
また、上述したサムネイル画像等の構成を、図２２に示すように、端末１００で指定できるようにしてもよい。例えば、サーバ５０側の利用者Ｍがマイクを通じて、サーバ５０側に投影されるサムネイル画像等の構成を変更してほしい旨を端末１００側の操作者に伝え、操作者がこれに応じることで、サーバ５０側に投影されるサムネイル画像等９０の構成が変更する。
【００９３】
また、上述した実施形態では、サムネイル画像等を遮る遮蔽物として利用者Ｍの手を用いて説明したが、利用者Ｍの体の一部であれば手に限定されない。さらに、遮蔽物はサムネイル画像等を遮ることができればよく、例えば棒状の部材等で遮るようにしてもよい。
【図面の簡単な説明】
【００９４】
【図１】指示システムの実施形態を示す構成図である。
【図２】サーバの要部構成を例示するブロック図である。
【図３】サーバのハードウェア構成を例示するブロック図である。
【図４】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図５】端末のコンピュータにおける画像形成における処理の一例を示すフローチャートである。
【図６】端末側の操作の一例を説明するための図である。
【図７】サーバにおける遮蔽検出部の動作の一例を示すフローチャートである。
【図８】サムネイル画像等の投影位置を説明するための図である。
【図９】サムネイル画像等の構成を説明するための図である。
【図１０】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１１】保存指示画像が遮られたことを表す図である。
【図１２】記憶装置に保存される撮像画像及びその属性情報の例を示す図である。
【図１３】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１４】投影指示画像が遮られたことを表す図である。
【図１５】投影指示画像が遮られたことを表す他の図である。
【図１６】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１７】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１８】差換指示画像が遮られたことを表す図である。
【図１９】差換指示画像が遮られたことを表す他の図である。
【図２０】サムネイル画像が遮られたことを表す図である。
【図２１】端末における表示例である。
【図２２】端末における他の表示例である。
【符号の説明】
【００９５】
１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５１ 撮像制御部
５２ 画像送信部
５３ 指示受信部
５４ 投影制御部
５５ 遮蔽検出部
６０ マイク
６５ ハーフミラー
７０ テーブル
９１ 保存指示画像
９２ 投影指示画像
９３ 差換指示画像
９４ サムネイル画像
９８ 投影用画像
１００ 端末
１１０ 表示装置
１１１ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
１４０ スピーカ
２００ 対象物
３００ ネットワーク
ＡＮ アノテーション画像
Ｐｔ ポインタ
ＢＴ ボタン
Ｍ 利用者
【技術分野】
【０００１】
本発明は、指示システム、指示装置及び指示プログラムに関する。
【背景技術】
【０００２】
会議システム等においては、端末側から対象物等の実物体側へ向けて作業手順の指示等の各種指示を行う場合がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末において撮像画像に基づいて操作者によって指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている（例えば特許文献１参照）。
【０００３】
【特許文献１】特開２００５−３３７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、対象物側の利用者が、投影手段により投影された画像（以下、投影用画像という。）を遮蔽物により遮ることで、その投影用画像の元となる画像を注釈画像と共に投影する指示システム、指示装置及び指示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、対象物を含む対象領域内を撮像する撮像手段と、記憶手段に記憶された第１の投影用画像及び第１の投影用画像が縮小された第２の投影用画像を、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像と共に、対象領域内に投影する投影手段と、撮像画像を送信する第１の送信部と、撮像画像内の第２の投影用画像に対する遮蔽物を検出する検出部と、検出部によって遮蔽物が検出された場合に、第１の投影用画像を注釈画像と共に投影手段に投影させる投影制御部と、を具備する制御手段と、第１の送信部によって送信された撮像画像を受信する受信部と、受信部により受信された撮像画像に基づく指示を送信する第２の送信部と、を具備する端末と、を有することを特徴とする指示システムである。
【０００６】
請求項２に記載の発明は、請求項１に記載の発明において、投影手段は、第２の投影用画像を他の第２の投影用画像に差し替えることを指示する差換指示画像をさらに投影し、制御手段の検出部は、撮像画像内の差換指示画像に対する遮蔽物をさらに検出し、制御手段の投影制御部は、検出部によって遮蔽物が検出された場合に、第２の投影用画像を他の第２の投影用画像に差し替えて投影手段に投影させることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項２に記載の発明において、制御手段の投影制御部は、第２の投影用画像及び他の第２の投影用画像がそれぞれ同一の集団に属することを示す集団情報により複数の画像で構成された場合、複数の第２の投影用画像を一括りに複数の他の第２の投影用画像に差し替えて投影手段に投影させることを特徴としている。
【０００８】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、投影手段は、第２の投影用画像及び差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、制御手段の検出部は、撮像画像内の投影指示画像に対する遮蔽物をさらに検出し、制御手段の投影制御部は、第２の投影用画像及び差換指示画像の投影が停止している場合であって、検出部によって遮蔽物が検出されたときに、第２の投影用画像及び指示画像を投影手段に投影させることを特徴としている。
【０００９】
請求項５に記載の発明は、請求項１から３のいずれか１項に記載の発明において、投影手段は、第２の投影用画像及び差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、制御手段の検出部は、撮像画像内の投影指示画像に対する遮蔽物をさらに検出し、制御手段の投影制御部は、第２の投影用画像及び差換指示画像の投影がなされている場合であって、検出部によって遮蔽物が検出されたときに、第２の投影用画像及び差換指示画像を投影手段に投影させることを停止させることを特徴としている。
【００１０】
請求項６に記載の発明は、請求項４又は５に記載の発明において、制御手段の検出部は、撮像画像内における対象物及び利用者の位置をさらに検出し、制御手段の投影制御部は、利用者の対象物とを結ぶ直線状の領域で、かつ、利用者と対象物との間の領域を除いた領域に、第２の投影用画像、差換指示画像及び投影指示画像の少なくとも１つを投影手段に投影させることを特徴としている。
【００１１】
請求項７に記載の発明は、対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信手段と、撮像画像内の第２の投影用画像に対する遮蔽物を検出する検出部と、検出部によって遮蔽物が検出された場合に、送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、第１の投影用画像と共に、対象領域内に投影手段に投影させる投影制御部と、を有することを特徴とする指示装置である。
【００１２】
請求項８に記載の発明は、コンピュータを、対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部、撮像画像内の第２の投影用画像に対する遮蔽物を検出する検出部、検出部によって遮蔽物が検出された場合に、送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、第１の投影用画像と共に、対象領域内に投影手段に投影させる投影制御部、として機能させることを特徴とする指示プログラムである。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、投影手段により投影された投影用画像を遮蔽物により遮ることで、その投影用画像の元となる画像が注釈画像と共に投影される。
【００１４】
請求項２に記載の発明によれば、投影用画像を他の投影用画像に差換えることを指示する差換指示画像も投影される。
【００１５】
請求項３に記載の発明によれば、投影用画像が複数の画像で構成されている場合、これらが一括りにされて他の投影用画像に差換えられる。
【００１６】
請求項４に記載の発明によれば、投影用画像及び差換指示画像の投影が停止している場合に、これらの画像を投影させるか否かを指示する投影指示画像が遮られると、投影用画像及び差換指示画像が投影される。
【００１７】
請求項５に記載の発明によれば、投影用画像及び差換指示画像が投影されている場合に、これらの画像を投影させるか否かを指示する投影指示画像が遮られると、投影用画像及び差換指示画像の投影が停止される。
【００１８】
請求項６に記載の発明によれば、投影用画像等の利用者の真正面への投影が避けられ、利用者の意図しない指示が回避され易くなる。
【００１９】
請求項７に記載の発明によれば、投影手段により投影された投影用画像を遮蔽物により遮ることで、その投影用画像の元となる画像が注釈画像と共に投影される。
【００２０】
請求項８に記載の発明によれば、投影手段により投影された投影用画像を遮蔽物により遮ることで、その投影用画像の元となる画像が注釈画像と共に投影される。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
【００２２】
（第１実施形態）
図１は、本発明の指示システムの実施形態を示す構成図、図２は、サーバ５０の要部構成を例示するブロック図、図３は、サーバ５０のハードウェア構成を例示するブロック図である。
【００２３】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を含んで構成されており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１等をネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続可能である。
【００２４】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段または指示装置としてのサーバ５０、マイク６０、ハーフミラー６５等を含んで構成される。
【００２５】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成され、テーブル７０上に置かれた対象物２００や利用者Ｍを含む対象領域内を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６５を透過した画像を撮像する。
【００２６】
プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮを、対象物２００を含む対象領域内に投影すると共に、その対象領域内に、投影用画像、該投影用画像が縮小された縮小画像及び縮小画像の投影形態を変化させる種々の画像（以下、サムネイル画像等という）をも投影する。投影用画像やサムネイル画像等は、対象物側装置１０の内部又は外部に設置された不図示の記憶装置に記憶されている。また、プロジェクタ４０は、その光学系が、ハーフミラー６５によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じハーフミラー６５を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６５で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラーの反射率は０．３％程度であることが望ましい。
【００２７】
マイク６０は、利用者Ｍの指示等の音声を取得する。取得された音声は、サーバ５０により、音声情報としてコンピュータ１２０に送信される。
【００２８】
サーバ５０は、ビデオカメラ２０、プロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を送受する。
【００２９】
より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像制御部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等、各種指示を受信する指示受信部５３と、プロジェクタ４０を制御し、アノテーション画像ＡＮを投影させる投影制御部５４とを備える。プロジェクタ４０によって投影されたサムネイル画像等が撮像画像内の含まれており、そのサムネイル画像等を構成する一の画像が遮蔽物によって遮られている場合に、その一の画像の元となる投影用画像を投影制御部５４に投影させる遮蔽検出部５５とを備える。
【００３０】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮ等をプロジェクタ４０により対象物２００を含む対象領域内へ投影させると共に、サムネイル画像等を構成する一の画像が遮られていることを撮像画像内から検出した場合に、その一の画像の元となる画像をプロジェクタ４０により対象領域内へ投影させる。
【００３１】
尚、サーバ５０は、図３に示すように、ＣＰＵ５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｏインタフェース５０ｄやＬＡＮインタフェース５０ｅ等がバス５０ｆにより接続されたハードウェア構成により実現される。
【００３２】
したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述したサーバ５０の各機能が実現される。後述する端末１００のコンピュータ１２０ついても概ね同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、同図に示すように、必要に応じて、バス５０ｆにＨＤＤ（ハードディスクドライブ）５０ｇ、ＣＤ−ＲＯＭドライブ５０ｈ、ＦＤドライブ５０ｉ、モデム５０ｊを接続するようにしてもよい。
【００３３】
端末１００は、図１に示すように、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、スピーカ１４０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等を含んで構成される。表示装置１１０及びポインティングデバイス１３０の動作はコンピュータ１２０によって制御される。
【００３４】
表示装置１１０は、その表示画面に対象物側装置１０から送信される撮像画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。
コンピュータ１２０は、撮像画像を受信する受信部、撮像画像に対して行われたアノテーション画像の描画に関する描画指示等、各種指示を送信する送信部を含んで構成される。
スピーカ１４０は、サーバ５０に接続されているマイク６０から取得されたサーバ５０側の利用者Ｍの指示などの音声を出力する。
【００３５】
次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
【００３６】
まず、対象物側装置１０の動作について図４を参照して説明する。
図４は、対象物側装置１０のサーバ５０における処理の一例を示すフローチャートである。
【００３７】
サーバ５０は、図４に示すように、まず、ビデオカメラ２０のよる撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求があったと判断した場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００３８】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する指示である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。具体的には、描画指示に応じたアノテーション画像ＡＮを生成する。これにより、プロジェクタ４０に処理結果に基づくアノテーション画像ＡＮを投影させる。
【００３９】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００４０】
次に、端末１００の動作について図５及び図６を参照して説明する。
図５は、端末１００のコンピュータ１２０における画像形成における処理の一例を示すフローチャート、図６は、端末１００側の操作の一例を説明するための図である。
【００４１】
まず、図５に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、サーバ５０から送信される撮像画像１１１を表示装置１１０の画面上に表示する（ステップＳ２２）。尚、図６に示される撮像画像１１１は、テーブル７０の上に置かれた対象物２００が、これらの上方に配置されたビデオカメラ２０によって撮像された画像を表している。
【００４２】
次いで、コンピュータ１２０は、表示装置１１０の画面上に表示された撮像画像１１１に対する操作者からのアノテーション画像ＡＮの描画指示があるかを判断し（ステップＳ２３）、アノテーション画像ＡＮの描画指示がある場合には、その描画指示に応じた処理を行う（ステップＳ２４）。
【００４３】
具体的には、端末１００の操作者は、図６に示すような表示装置１１０の画面上の撮像画像１１１を見ながら、画面上のポインタＰｔをポインティングデバイス１３０の操作によって移動させ、アノテーション画像ＡＮを指示する。この指示は、例えば、ポインティングデバイス１３０を用いて画面上に形成された各種ボタンＢＴ等を操作することにより行われる。
【００４４】
アノテーション画像ＡＮの描画指示には、多角形や円、線分、矢印などの図形の描画を行わせる指示、あらかじめ用意されたビットマップ画像の描画を行わせる指示、キーボードなどから入力されたテキスト画像の描画を行わせる指示、ポインティングデバイス１３０の動作を反映させた画像の描画を行わせる指示等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された描画指示をサーバ５０へ送信する（ステップＳ２５）。
【００４５】
次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００４６】
続いて、上述した投影用画像及びサムネイル画像等の投影処理について説明する。
【００４７】
図７は、サーバ５０における遮蔽検出部５５の動作の一例を示すフローチャート、図８は、サムネイル画像等の投影位置を説明するための図である。尚、図７に示すフローチャートは、図４に示すフローチャートのステップＳ１５の処理に含むことが望ましく、より詳細には、描画指示処理を行った後に含むことが好ましい。後述するフローチャートについても同様である。
【００４８】
遮蔽検出部５５は、まず、画像送信部５２から撮像画像を順次取得し（ステップＳ３１）、その撮像画像に基づいて、サーバ５０側の利用者Ｍ及び対象物２００の位置を検出する（ステップＳ３２）。
【００４９】
具体的には、サーバ５０側の利用者が写っていない撮像画像と、連続的に取り込まれる撮像画像との差分（特に、差分のエッジ）を抽出し、当該差分に人間の特徴（例えば、頭部や手など）が含まれている場合に、撮像画像内のその差分の位置をサーバ５０側の利用者Ｍの位置として検出する。利用者Ｍの検出は、発信器やＲＦＩＤタグ等を使って行うようにしてもよい。
【００５０】
同様に、遮蔽検出部５５は、対象物２００が写っていない撮像画像と、連続的に取り込まれる撮像画像との差分（特に、差分のエッジ）を抽出し、その差分に対象物２００の特徴（例えば、対象物２００の形状や色彩等）が含まれている場合に、撮像画像内のその差分の位置を対象物２００の位置として検出する。
【００５１】
後述するサムネイル画像等を構成する一の画像が遮られたか否かについても、遮蔽物が写っていない撮像画像と、連続的に取り込まれる撮像画像との差分を抽出することにより行われる。
【００５２】
遮蔽検出部５５は、次いで、投影制御部５４に対しサムネイル画像等を投影させる指示を送信する（ステップＳ３３）。より詳しくは、検出されたサーバ５０側の利用者Ｍの位置及び対象物２００の位置に基づいて、対象物２００に重ならない範囲で、サーバ５０側の利用者Ｍの近傍にサムネイル画像等をプロジェクタ４０に投影させる。
【００５３】
具体的には、図８（ａ）に示すように、遮蔽検出部５５は、検出されたサーバ５０側の利用者Ｍの位置及び対象物２００の位置に基づいて、サーバ５０側の利用者Ｍと対象物２００との間の領域ＡＲを除いた領域に、サムネイル画像等９０を投影させる指示を送信する。
【００５４】
より好ましくは、遮蔽検出部５５は、サーバ５０側の利用者Ｍと対象物２００とを結ぶ領域で、かつ、サーバ５０側の利用者Ｍと対象物２００との間の領域ＡＲを除いた領域内の利用者Ｍの手が届く範囲、例えば、利用者Ｍから３０〜５０ｃｍ程度離れた範囲にサムネイル画像等９０を投影させる。このため、図８（ｂ）に示すように、利用者Ｍがテーブル７０の周辺を移動すると、遮蔽検出部５５は、利用者Ｍ及び対象物２００の位置を検出し、投影制御部５４にサムネイル画像等９０の投影位置を変更させる指示を送信する。投影制御部５４は、これを受信して、プロジェクタ４０に対し、サムネイル画像等９０の投影位置を変更して投影させる。
【００５５】
遮蔽検出部５５は、ここで、サムネイル画像等を構成する一の画像が遮蔽物により遮られたか否かを判定し（ステップＳ３４）、一の画像が遮られたと判定した場合には、その画像に割り当てられた識別番号を、投影形態を分岐するための情報（以下、投影形態分岐フラグという。）にセットする（ステップＳ３５）一方、一の画像が遮られなかったと判定した場合には、識別番号「０」を投影形態分岐フラグにセットし（ステップＳ３６）、サムネイル画像等９０の投影を停止させる（ステップＳ３７）。尚、一の画像が遮られなかったとする判定は、例えば、予め設定された時間内に一の画像が遮られなかった場合に行われる。
【００５６】
ここで、上述したサムネイル画像等９０の構成について説明する。
【００５７】
図９は、サムネイル画像等９０の構成を説明するための図である。
【００５８】
サムネイル画像等９０は、図９に示すように、一又は複数のサムネイル画像９４、該サムネイル画像を他のサムネイル画像に差換えることを指示する差換指示画像９３、サムネイル画像９４及び差換指示画像９３を投影させるか否かを指示する投影指示画像９２、及び、撮像画像及びこの画像に付随して録音された音声情報の記憶装置への保存を指示する保存指示画像９１を含んで構成される。差換指示画像９３は、同図に示すように、投影色によって差換機能が変わるようにように構成される。例えば、投影色が、「黒」色であれば差換機能を発揮させ、「白」色であれば差換機能を発揮させないようにすることが望ましい。
【００５９】
サムネイル画像９４が、同図（ｂ）（ｃ）に示すように、複数の画像９４ａ〜９４ｆで構成される場合、これらの複数の画像９４ａ〜９４ｆには、同一の集団に属することを示す「１００」「２００」等の集団情報が付与されている。同図によれば、サムネイル画像９４ａ〜９４ｃには同じ一の集団情報が、サムネイル画像９４ｄ〜９４ｆには、同じ他の集団情報が、付与されている。このため、差換指示画像９３により、複数のサムネイル画像を差換えることを指示する場合、同一の集団に属する画像が一括りにされて差換えられる。すなわち、差換指示画像９３ｂが遮られると、サムネイル画像９４ａ〜９４ｃは、サムネイル画像９４ｄ〜９４ｆに差換えられて投影される。サムネイル画像９４は、同図（ｂ）（ｃ）に示すようなテキストに限定されず、同図（ｄ）に示すように、例えば図形やプリンタ等の操作部に関する画像等であってもよい。
【００６０】
また、サムネイル画像等９０を構成する各画像９１〜９４には、識別番号が付与される。具体的には、保存指示画像９１には識別番号「１」、投影指示画像９２には識別番号「２」、差換指示画像９３ａ,９３ｂにはそれぞれ識別番号「３」「４」、サムネイル画像９４ａ〜９４ｃ,９４ｄ〜９４ｆにはそれぞれ「５」「６」「７」が付与される。したがって、サムネイル画像等９０を構成する画像９１〜９４のうちで一の画像が遮られると、その画像に付与された識別番号が投影形態分岐フラグにセットされる。
【００６１】
尚、サムネイル画像等９０には、少なくともサムネイル画像９４が含まれていればよく、差換指示画像９３、投影指示画像９２及び保存指示画像９１については含まれていなくてもよい。また、サムネイル画像９４と保存指示画像９１や投影指示画像９２等を選択的に組み合わせて投影させるようにしてもよい。
【００６２】
以下に、サムネイル画像等９０の投影・制御等を、投影形態分岐フラグにセットされた識別番号ごとに説明する。
【００６３】
（保存指示画像）
まず、保存指示画像９１が遮られた場合について図１０から図１２を参照して説明する。
【００６４】
図１０は、遮蔽検出部５５の動作の一例を示すフローチャートの一部、図１１は、保存指示画像９１が遮られたことを表す図である。尚、図１０に示すフローチャートにおける「Ａ」「Ｂ」等の各記号は、後述する図１３、図１６及び図１７等に示すフローチャートと対応付いている。
【００６５】
遮蔽検出部５５は、図１０に示すように、まず、投影形態分岐フラグ（図１０では、単にフラグと示す。）に識別番号「０」がセットされているか否かを判定し（ステップＳ４１）、識別番号「０」がセットされている場合には、処理を終了し、図４に示すフローチャートのステップＳ１３に戻る。
【００６６】
一方、遮蔽検出部５５は、識別番号「０」がセットされていない場合には、次いで、投影形態分岐フラグに「０」より大きく「８」より小さな識別番号がセットされているか否かを判定し（ステップＳ４２）、さらに、セットされた識別番号が「１」であるか否かを判定する（ステップＳ４３）。
【００６７】
具体的には、図１１に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、保存指示画像９１がサーバ５０側の利用者Ｍによって遮られた場合、遮蔽検出部５５によって、この撮像画像から保存指示画像９１に付与された識別番号「１」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ４２の処理において、投影形態分岐フラグに「０」より大きく「８」より小さな識別番号がセットされていると判定し、ステップＳ４３の処理において、セットされた識別番号が「１」であると判定する。
【００６８】
遮蔽検出部５５は、次いで、撮像画像を取得し（ステップＳ４４）、取得した撮像画像が前回取得した撮像画像と同じであるか否かを判定する（ステップＳ４５）。
【００６９】
遮蔽検出部５５は、ステップＳ４５の処理において、取得した撮像画像が前回取得した撮像画像と同じであると判定した場合には、録音された音声情報を切り替え（ステップＳ４６）、切替前の音声情報を記憶装置に保存する（ステップＳ４７）。次いで、前回取り込まれた撮像画像にその属性情報を付加して記憶装置に保存し（ステップＳ４８）、処理を終了する。撮像画像の属性情報は、図１２に示すように、撮像画像と録音された音声情報（sound file）とを関連付けている。
【００７０】
（投影指示画像）
次に、投影指示画像９２が遮られた場合について図１３から図１５を参照して説明する。
【００７１】
図１３は、遮蔽検出部５５の動作の一例を示すフローチャートの一部、図１４及び図１５は、投影指示画像９２が遮られたことを表す図である。
【００７２】
遮蔽検出部５５は、上述したステップＳ４３の処理において、セットされた識別番号が「１」でないと判定した場合、図１３に示すように、セットされた識別番号が「２」であるか否かを判定する（ステップＳ５１）。
【００７３】
具体的には、図１４（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「閉じる」が表示された投影指示画像９２がサーバ５０側の利用者Ｍによって遮られた場合、または、図１５（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「開く」が表示された投影指示画像９２がサーバ５０側の利用者Ｍによって遮られた場合、これらの撮像画像から、投影指示画像９２に付与された識別番号「２」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ５１の処理において、セットされた識別番号が「２」であると判定する。
【００７４】
遮蔽検出部５５は、次いで、開閉フラグが「ＯＮ」であるか否かを判定する（ステップＳ５２）。この開閉フラグは、「ＯＮ」と「ＯＦＦ」とで構成され、蔽検出部５５自身が管理する。開閉フラグが「ＯＮ」である場合とは、図１４（ａ）に示すように、サムネイル画像９４や差換指示画像９３が投影されている状態をいう。一方、開閉フラグが「ＯＦＦ」である場合とは、図１５（ａ）に示すように、サムネイル画像９４や差換指示画像９３が投影されていない状態をいう。
【００７５】
遮蔽検出部５５は、ステップＳ５２の処理において、開閉フラグが「ＯＮ」であると判定した場合には、図１３に示すように、開閉フラグを「ＯＦＦ」にセットし（ステップＳ５３）、投影制御部５４に対し、保存指示画像９１及び「開く」と表示された投影指示画像９２を投影させる指示を送信する（ステップＳ５４）。この結果、差換指示画像９３及びサムネイル画像９４の投影が停止され、図１４（ｂ）に示すように、テーブル７０には、保存指示画像９１と「開く」と表示された投影指示画像９２とがプロジェクタ４０によって投影される。投影の停止は、閉じられていく状態を示す観点から、サムネイル画像９４ｃから差換指示画像９３ａまで順次行われることが望ましい。この場合、投影停止の時刻を異ならせていけばよい。
【００７６】
一方、遮蔽検出部５５は、ステップＳ５２の処理において、開閉フラグが「ＯＮ」でないと判定した場合には、図１３に示すように、開閉フラグを「ＯＮ」にセットし（ステップＳ５５）、投影制御部５４に対し、保存指示画像９１、「閉じる」と表示された投影指示画像９２、差換指示画像９３及びサムネイル画像９４を投影させる（ステップＳ５６）。この結果、図１５（ｂ）に示すように、テーブル７０には、保存指示画像９１、「開く」と表示された投影指示画像９２、差換指示画像９３及びサムネイル画像９４がプロジェクタ４０によって投影される。投影は、開かれていく状態を示す観点から、差換指示画像９３ａからサムネイル画像９４ｃまで順次行われることが望ましい。この場合、投影の時刻を異ならせていけばよい。
【００７７】
（差換指示画像及びサムネイル画像）
最後に、差換指示画像９３又はサムネイル画像９４が遮られた場合について説明する。
【００７８】
図１６及び図１７は、遮蔽検出部５５の動作の一例を示すフローチャートの一部、図１８及び図１９は、差換指示画像９３が遮られたことを表す図、図２０は、サムネイル画像９４が遮られたことを表す図である。
【００７９】
遮蔽検出部５５は、上述したステップＳ５１の処理において、セットされた識別番号が「２」でないと判定した場合、図１６に示すように、セットされた識別番号が「３」であるか否かを判定する（ステップＳ６１）。
【００８０】
具体的には、図１８（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「左向きの矢印」が表示された差換指示画像９３ａがサーバ５０側の利用者Ｍによって遮られた場合、この撮像画像から、差換指示画像９３ａに付与された識別番号「３」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ６１の処理において、セットされた識別番号が「３」であると判定する。
【００８１】
遮蔽検出部５５は、ステップＳ６１の処理において、セットされた識別番号が「３」であると判定した場合には、投影制御部５４に対し、１つ前の集団に属するサムネイル画像を投影させ（ステップＳ６２）、集団情報を繰り上げる（ステップＳ６３）。この結果、図１８（ａ）に示すように、差換指示画像９３及び画像番号「４」〜「６」が表示されたサムネイル画像９４ｄ〜９４ｆは、同図（ｂ）に示すように、差換指示画像９３ａ,９３ｂの色がそれぞれ反転して投影されると共に、画像番号「１」〜「３」が表示されたサムネイル画像９４ａ〜９４ｃが投影される。
【００８２】
一方、遮蔽検出部５５は、上述したステップＳ６１の処理において、セットされた識別番号が「３」でないと判定した場合、図１７に示すように、セットされた識別番号が「４」であるか否かを判定する（ステップＳ７１）。
【００８３】
具体的には、図１９（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「右向きの矢印」が表示された差換指示画像９３ｂがサーバ５０側の利用者Ｍによって遮られた場合、この撮像画像から、差換指示画像９３ｂに付与された識別番号「４」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」であると判定する。
【００８４】
遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」であると判定した場合には、投影制御部５４に対し、１つ後の集団に属するサムネイル画像を投影させ（ステップＳ７２）、集団情報を繰り下げる（ステップＳ７３）。この結果、図１９（ａ）に示すように、差換指示画像９３及び画像番号「１」〜「３」が表示されたサムネイル画像９４ａ〜９４ｃは、同図（ｂ）に示すように、差換指示画像９３ａ,９３ｂの色がそれぞれ反転して投影されると共に、画像番号「４」〜「６」が表示されたサムネイル画像９４ｄ〜９４ｆが投影される。
【００８５】
一方、遮蔽検出部５５は、上述したステップＳ７１の処理において、セットされた識別番号が「４」でないと判定した場合、または、ステップＳ４２の処理において、投影形態分岐フラグが「８」以上である場合、投影形態分岐フラグに対応する画像を投影制御部５４に投影させる。
【００８６】
具体的には、図２０（ａ）に示すように、テーブル７０上に投影されたサムネイル画像等９０のうち、「サムネイル画像２」が表示されたサムネイル画像９４ｂがサーバ５０側の利用者Ｍによって遮られた場合、この撮像画像から、サムネイル画像９４ｂに付与された識別番号「６」が投影形態分岐フラグにセットされる。このため、遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」でないと判定する。
【００８７】
遮蔽検出部５５は、ステップＳ７１の処理において、セットされた識別番号が「４」でないと判定した場合には、投影制御部５４に対し、その投影形態分岐フラグに対応する投影用画像を投影させる（ステップＳ８１）。
【００８８】
この結果、図２０（ａ）に示すように、画像番号「２」が表示されたサムネイル画像９４ｂが遮られると、同図（ｂ）に示すように、そのサムネイル画像９４ｂの元となった投影用画像９８がテーブル７０上に投影される。投影用画像９８は、例えば対象物２００の設計図や拡大図等、対象物２００と関連性を有する画像であることが望ましい。
【００８９】
また、投影用画像９８がテーブル７０上に投影された状態がビデオカメラ２０に撮像され、その撮像画像が端末１００に送信されると、図２１に示すように、表示装置１００は、「サムネイル画像２」と表示された投影用画像９８、アノテーション画像ＡＮ等を含んだ撮像画像１１１を表示する。このように、操作者から指示される対象物２００に対するアノテーション画像ＡＮと、利用者Ｍによる指示によって投影される投影用画像９８と、により利用者Ｍと操作者との円滑な対話が行われる。
【００９０】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００９１】
また、対象物側装置１０にいわゆるネットワークカメラ又はＰＴＺ
（Pan-Tilt-Zoom）カメラ又はポータブルカメラを構成し、端末１００側の操作者がこれを自由に移動させるようにしてもよい。これらのカメラは、ビデオカメラ２０で撮像できない対象物２００の部分（例えば、対象物２００の上面からは見えない影となる部分）の撮像や、対象物２００の接写撮像をするために使用される。すなわち、これらのカメラは、対象物２００の一部分を撮像する。
【００９２】
また、上述したサムネイル画像等の構成を、図２２に示すように、端末１００で指定できるようにしてもよい。例えば、サーバ５０側の利用者Ｍがマイクを通じて、サーバ５０側に投影されるサムネイル画像等の構成を変更してほしい旨を端末１００側の操作者に伝え、操作者がこれに応じることで、サーバ５０側に投影されるサムネイル画像等９０の構成が変更する。
【００９３】
また、上述した実施形態では、サムネイル画像等を遮る遮蔽物として利用者Ｍの手を用いて説明したが、利用者Ｍの体の一部であれば手に限定されない。さらに、遮蔽物はサムネイル画像等を遮ることができればよく、例えば棒状の部材等で遮るようにしてもよい。
【図面の簡単な説明】
【００９４】
【図１】指示システムの実施形態を示す構成図である。
【図２】サーバの要部構成を例示するブロック図である。
【図３】サーバのハードウェア構成を例示するブロック図である。
【図４】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図５】端末のコンピュータにおける画像形成における処理の一例を示すフローチャートである。
【図６】端末側の操作の一例を説明するための図である。
【図７】サーバにおける遮蔽検出部の動作の一例を示すフローチャートである。
【図８】サムネイル画像等の投影位置を説明するための図である。
【図９】サムネイル画像等の構成を説明するための図である。
【図１０】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１１】保存指示画像が遮られたことを表す図である。
【図１２】記憶装置に保存される撮像画像及びその属性情報の例を示す図である。
【図１３】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１４】投影指示画像が遮られたことを表す図である。
【図１５】投影指示画像が遮られたことを表す他の図である。
【図１６】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１７】遮蔽検出部の動作の一例を示すフローチャートの一部である。
【図１８】差換指示画像が遮られたことを表す図である。
【図１９】差換指示画像が遮られたことを表す他の図である。
【図２０】サムネイル画像が遮られたことを表す図である。
【図２１】端末における表示例である。
【図２２】端末における他の表示例である。
【符号の説明】
【００９５】
１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５１ 撮像制御部
５２ 画像送信部
５３ 指示受信部
５４ 投影制御部
５５ 遮蔽検出部
６０ マイク
６５ ハーフミラー
７０ テーブル
９１ 保存指示画像
９２ 投影指示画像
９３ 差換指示画像
９４ サムネイル画像
９８ 投影用画像
１００ 端末
１１０ 表示装置
１１１ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
１４０ スピーカ
２００ 対象物
３００ ネットワーク
ＡＮ アノテーション画像
Ｐｔ ポインタ
ＢＴ ボタン
Ｍ 利用者
【特許請求の範囲】
【請求項１】
対象物を含む対象領域内を撮像する撮像手段と、
記憶手段に記憶された第１の投影用画像及び前記第１の投影用画像が縮小された第２の投影用画像を、前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像と共に、前記対象領域内に投影する投影手段と、
前記撮像画像を送信する第１の送信部と、前記撮像画像内の前記第２の投影用画像に対する遮蔽物を検出する検出部と、前記検出部によって前記遮蔽物が検出された場合に、前記第１の投影用画像を前記注釈画像と共に前記投影手段に投影させる投影制御部と、を具備する制御手段と、
前記第１の送信部によって送信された撮像画像を受信する受信部と、前記受信部により受信された撮像画像に基づく前記指示を送信する第２の送信部と、を具備する端末と、
を有することを特徴とする指示システム。
【請求項２】
前記投影手段は、前記第２の投影用画像を他の第２の投影用画像に差し替えることを指示する差換指示画像をさらに投影し、
前記制御手段の前記検出部は、前記撮像画像内の前記差換指示画像に対する遮蔽物をさらに検出し、
前記制御手段の前記投影制御部は、前記検出部によって前記遮蔽物が検出された場合に、前記第２の投影用画像を前記他の第２の投影用画像に差し替えて前記投影手段に投影させることを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段の前記投影制御部は、前記第２の投影用画像及び前記他の第２の投影用画像がそれぞれ同一の集団に属することを示す集団情報により複数の画像で構成された場合、複数の第２の投影用画像を一括りに複数の他の第２の投影用画像に差し替えて前記投影手段に投影させることを特徴とする請求項２に記載の指示システム。
【請求項４】
前記投影手段は、前記第２の投影用画像及び前記差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、
前記制御手段の前記検出部は、前記撮像画像内の前記投影指示画像に対する遮蔽物をさらに検出し、
前記制御手段の前記投影制御部は、前記第２の投影用画像及び前記差換指示画像の投影が停止している場合であって、前記検出部によって前記遮蔽物が検出されたときに、前記第２の投影用画像及び前記指示画像を前記投影手段に投影させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
前記投影手段は、前記第２の投影用画像及び前記差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、
前記制御手段の前記検出部は、前記撮像画像内の前記投影指示画像に対する遮蔽物をさらに検出し、
前記制御手段の前記投影制御部は、前記第２の投影用画像及び前記差換指示画像の投影がなされている場合であって、前記検出部によって前記遮蔽物が検出されたときに、前記第２の投影用画像及び前記差換指示画像を前記投影手段に投影させることを停止させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項６】
前記制御手段の前記検出部は、前記撮像画像内における対象物及び利用者の位置をさらに検出し、
前記制御手段の前記投影制御部は、前記利用者の前記対象物とを結ぶ直線状の領域で、かつ、前記利用者と前記対象物との間の領域を除いた領域に、前記第２の投影用画像、前記差換指示画像及び前記投影指示画像の少なくとも１つを前記投影手段に投影させることを特徴とする請求項４又は５に記載の指示システム。
【請求項７】
対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信手段と、
前記撮像画像内の前記第２の投影用画像に対する遮蔽物を検出する検出部と、
前記検出部によって前記遮蔽物が検出された場合に、前記送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、前記第１の投影用画像と共に、前記対象領域内に前記投影手段に投影させる投影制御部と、
を有することを特徴とする指示装置。
【請求項８】
コンピュータを、
対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部、
前記撮像画像内の前記第２の投影用画像に対する遮蔽物を検出する検出部、
前記検出部によって前記遮蔽物が検出された場合に、前記送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、前記第１の投影用画像と共に、前記対象領域内に前記投影手段に投影させる投影制御部、
として機能させることを特徴とする指示プログラム。
【請求項１】
対象物を含む対象領域内を撮像する撮像手段と、
記憶手段に記憶された第１の投影用画像及び前記第１の投影用画像が縮小された第２の投影用画像を、前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像と共に、前記対象領域内に投影する投影手段と、
前記撮像画像を送信する第１の送信部と、前記撮像画像内の前記第２の投影用画像に対する遮蔽物を検出する検出部と、前記検出部によって前記遮蔽物が検出された場合に、前記第１の投影用画像を前記注釈画像と共に前記投影手段に投影させる投影制御部と、を具備する制御手段と、
前記第１の送信部によって送信された撮像画像を受信する受信部と、前記受信部により受信された撮像画像に基づく前記指示を送信する第２の送信部と、を具備する端末と、
を有することを特徴とする指示システム。
【請求項２】
前記投影手段は、前記第２の投影用画像を他の第２の投影用画像に差し替えることを指示する差換指示画像をさらに投影し、
前記制御手段の前記検出部は、前記撮像画像内の前記差換指示画像に対する遮蔽物をさらに検出し、
前記制御手段の前記投影制御部は、前記検出部によって前記遮蔽物が検出された場合に、前記第２の投影用画像を前記他の第２の投影用画像に差し替えて前記投影手段に投影させることを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段の前記投影制御部は、前記第２の投影用画像及び前記他の第２の投影用画像がそれぞれ同一の集団に属することを示す集団情報により複数の画像で構成された場合、複数の第２の投影用画像を一括りに複数の他の第２の投影用画像に差し替えて前記投影手段に投影させることを特徴とする請求項２に記載の指示システム。
【請求項４】
前記投影手段は、前記第２の投影用画像及び前記差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、
前記制御手段の前記検出部は、前記撮像画像内の前記投影指示画像に対する遮蔽物をさらに検出し、
前記制御手段の前記投影制御部は、前記第２の投影用画像及び前記差換指示画像の投影が停止している場合であって、前記検出部によって前記遮蔽物が検出されたときに、前記第２の投影用画像及び前記指示画像を前記投影手段に投影させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
前記投影手段は、前記第２の投影用画像及び前記差換指示画像を投影させるか否かを指示する投影指示画像をさらに投影し、
前記制御手段の前記検出部は、前記撮像画像内の前記投影指示画像に対する遮蔽物をさらに検出し、
前記制御手段の前記投影制御部は、前記第２の投影用画像及び前記差換指示画像の投影がなされている場合であって、前記検出部によって前記遮蔽物が検出されたときに、前記第２の投影用画像及び前記差換指示画像を前記投影手段に投影させることを停止させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項６】
前記制御手段の前記検出部は、前記撮像画像内における対象物及び利用者の位置をさらに検出し、
前記制御手段の前記投影制御部は、前記利用者の前記対象物とを結ぶ直線状の領域で、かつ、前記利用者と前記対象物との間の領域を除いた領域に、前記第２の投影用画像、前記差換指示画像及び前記投影指示画像の少なくとも１つを前記投影手段に投影させることを特徴とする請求項４又は５に記載の指示システム。
【請求項７】
対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信手段と、
前記撮像画像内の前記第２の投影用画像に対する遮蔽物を検出する検出部と、
前記検出部によって前記遮蔽物が検出された場合に、前記送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、前記第１の投影用画像と共に、前記対象領域内に前記投影手段に投影させる投影制御部と、
を有することを特徴とする指示装置。
【請求項８】
コンピュータを、
対象物と、記憶手段から抽出され、投影手段により投影された第１の投影用画像を縮小した第２の投影用画像と、を含む対象領域内を撮像する撮像手段により撮像された撮像画像を送信する送信部、
前記撮像画像内の前記第２の投影用画像に対する遮蔽物を検出する検出部、
前記検出部によって前記遮蔽物が検出された場合に、前記送信部により送信された撮像画像に基づく指示に応じた注釈を表す注釈画像を、前記第１の投影用画像と共に、前記対象領域内に前記投影手段に投影させる投影制御部、
として機能させることを特徴とする指示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−５０５７７（Ｐ２０１０−５０５７７Ａ）
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願番号】特願２００８−２１１１８８（Ｐ２００８−２１１１８８）
【出願日】平成２０年８月１９日（２００８．８．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願日】平成２０年８月１９日（２００８．８．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]