指示システム、指示プログラム及び指示装置
【課題】 端末側や実物体側の利用者の視線を通じて遠隔地間の円滑な対話を図り得る指示システム、指示プログラム及び指示装置を提供することを目的とする。
【解決手段】 対象物２００を撮像するビデオカメラ２０で撮像された撮像画像を端末１００に送信すると共に、該端末１００でなされた撮像画像に基づく指示に応じた注釈を表すアノテーション画像ＡＮをプロジェクタ４０により対象物２００に投影させ得るサーバ５０を有し、サーバ５０は、利用者の視線を検出する視線検出装置１４０に基づく視線の軌跡をプロジェクタ４０により対象物２００に投影させることを特徴とする。
【解決手段】 対象物２００を撮像するビデオカメラ２０で撮像された撮像画像を端末１００に送信すると共に、該端末１００でなされた撮像画像に基づく指示に応じた注釈を表すアノテーション画像ＡＮをプロジェクタ４０により対象物２００に投影させ得るサーバ５０を有し、サーバ５０は、利用者の視線を検出する視線検出装置１４０に基づく視線の軌跡をプロジェクタ４０により対象物２００に投影させることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示システム、指示プログラム及び指示装置に関する。
【背景技術】
【０００２】
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
【０００３】
また、特許文献２では、投影機能を有するテレビ電話装置において、簡易な構成で利用者が相手側にある実物に対して指示や書込みが行える旨が開示されている。
【０００４】
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】特開平６−２４５２０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１や特許文献２に開示される技術では、対象物の指示位置は特定されるが、端末側や実物体側にいる利用者の視線が対象物のどの場所に向けられているか不明であり、利用者間の円滑な対話が阻害される可能性がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、端末側や実物体側の利用者の視線を通じて遠隔地間の円滑な対話を図り得る指示システム、指示プログラム及び指示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示システムである。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、視線検出手段による検出結果に、該視線検出手段に形成された、光線を照射する照射手段の照射方向とを対応付けて動作させ、光線が対象物とぶつかることによって生じる光点の軌跡を視線の軌跡として投影手段により対象物に投影させることを特徴としている。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段は、視線の軌跡を投影させて、所定の時間を経過した後に、該視線の軌跡を消去することを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に消去していくことを特徴としている。
【００１１】
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に色を変えていくことを特徴としている。
【００１２】
請求項６に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示プログラムである。
【００１３】
請求項７に記載の発明は、対象物を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、利用者の視線を検出する視線検出手段と、視線検出手段の検出結果に基づく視線の軌跡を投影手段により対象物に投影させる制御手段と、を有することを特徴とする指示装置である。
【発明の効果】
【００１４】
請求項１に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。
【００１５】
請求項２に記載の発明によれば、本構成を有していない場合に比較して、対象物側の利用者の視線を通じても遠隔地間の円滑な対話を図ることができる。
【００１６】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、視線の軌跡が投影され続ける煩わしさが抑制される。
【００１７】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、直近の視線の位置が明らかになる。
【００１８】
請求項５に記載の発明によれば、本構成を有していない場合に比較して、消去されていく視線の軌跡の視認性が増す。
【００１９】
請求項６に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。
【００２０】
請求項７に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る指示システムの構成図、図２はサーバ５０の要部構成を示す機能ブロック図、図３はサーバ５０のハードウェア構成を示す機能ブロック図である。
【００２２】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの装置で構成されていてもよく、また、複数の装置から構成されていてもよい。
【００２３】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０及びハーフミラー６０等から構成される。
【００２４】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、対象物２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。
【００２５】
プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像ＡＮ（以下、アノテーション画像という。）を対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ４０とビデオカメラ２０との光軸及び投影・撮像画角をそれぞれ一致させる。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じハーフミラー６０を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６０で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー６０の反射率は発振現象の防止の観点から０．３％程度であることが望ましい。
【００２６】
サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。
【００２７】
より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０にアノテーション画像ＡＮを投影させ得る投影部５４とを備える。さらに、端末１００からの描画指示に対して所要の処理を行う描画指示処理部５５を備える。
【００２８】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮをプロジェクタ４０により対象物２００へ投影させる。
【００２９】
端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０、視線検出手段としての視線検出装置１４０等から構成される。端末１００は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。
【００３０】
表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。
【００３１】
視線検出装置１４０は、例えばＣＣＤカメラ等で構成される。視線検出装置１４０は、利用者の視線、例えば眼球の動き等を検出し、利用者が表示装置１１０の表示画面上のどの位置を見ているか判断し、判断結果を２次元座標値の視線位置情報として出力する。視線検出装置１４０としては、例えば竹井機器工業株式会社で製造されるＴａｌｋＥｙｅ２や株式会社ナックイメージテクノロジーで製造されるアイマークレコーダ等がある。
【００３２】
尚、上述したサーバ５０やコンピュータ１２０は、いわゆるコンピュータ、すなわち、図３に示すように、ＣＰＵ等の処理装置５０（１２０）ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０（１２０）ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０（１２０）ｃ及び入出力を制御するＩ／Ｆ５０（１２０）ｄがバス５０（１２０）ｅにより接続されたハードウェア構成により実現される。
【００３３】
したがって、ＣＰＵ５０（１２０）ａがＲＡＭ５０（１２０）ｂやＲＯＭ５０（１２０）ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０（１２０）ｅにハードディスクを接続するようにしてもよい。
【００３４】
次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
図４は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図５は端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図６は端末１００側の操作の一例を説明するための図である。
【００３５】
まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図４に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００３６】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。描画指示に対する処理としては、例えば、プロジェクタ４０を制御して、描画指示に応じたアノテーション画像ＡＮの投影させること等がある。
【００３７】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００３８】
次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図５に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側のサーバ５０から送信される撮像画像１１１ａを表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。
【００３９】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像１１１ａに対する利用者からの注目領域ＡＲの指示があるかを判断し（ステップＳ２３）、注目領域ＡＲの指示がある場合には、指示に応じた処理を行う（ステップＳ２４）。
【００４０】
具体的には、端末１００の操作者は、図６に示すような表示装置１１０の表示画面１１１内の撮像画像１１１ａを見ながら、表示されている撮像画像１１１ａにアノテーション画像ＡＮを投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域ＡＲを指示する。注目領域ＡＲは、アノテーション画像ＡＮを投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲに投影するアノテーション画像ＡＮに関する情報を指示する。
【００４１】
例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２４で特定された各種情報を描画指示としてサーバ５０へ伝送する（ステップＳ２５）。
【００４２】
次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の利用者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００４３】
次に、本発明の特徴となる視線検出機能について図７から図１０を参照して説明する。
図７はコンピュータ１２０における視線検出処理の一例を示すフローチャート、図８は利用者の視線の検出を説明するための図、図９はサーバ５０におけるプロジェクタ４０に対する投影処理の一例を示すフローチャート、図１０は投影結果の一例である。
【００４４】
尚、図７に示すフローチャートは、図５に示すコンピュータ１２０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ２２の処理とステップＳ２３の処理の間に含めることができる。また、図９に示すフローチャートは、図４に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、望ましくは、ステップＳ１３の処理とステップＳ１４の処理の間に含めることができる。
【００４５】
まず、コンピュータ１２０の動作について図７及び図８を参照して説明する。
コンピュータ１２０は、図７に示すように、利用者の視線を検出したか否かについて判定する（ステップＳ３１）。利用者の視線Ｅの検出は、図８に示すように、視線検出装置１４０を介して行われる。
【００４６】
視線検出装置１４０は、例えば電源が入れられると、利用者を撮像し、望ましくは、利用者の頭部を撮像する。このため、利用者は視線検出装置１４０の撮像領域内にいることが好ましい。視線検出装置１４０は、その撮像画像をコンピュータ１２０に常時送信する。コンピュータ１２０は、その撮像画像を受信し、撮像画像内に利用者の眼球が含まれるか否かを判定する。そして、撮像画像内に眼球が含まれた場合に、コンピュータ１２０は視線を検出したと判定する。
【００４７】
コンピュータ１２０は、次いで、複数の撮像画像に基づいて、利用者の眼球の動きを解析し、視線位置情報を算出する（ステップＳ３２）。視線位置情報は、表示画面１１１内の２次元座標の集合として表される。
【００４８】
例えば、表示画面１１１内の視線の軌跡ＴＲは、表示画面１１１の四隅のいずれかを原点として、（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・、（ｘｎ，ｙｎ）を結ぶ輝点の連続線として表される。これらの座標群は、平面としての表示装置１１０と視線Ｅとの交点によって特定される。そして、視線Ｅの方向は、撮像画像内の眼球、特に虹彩の上下左右の向きに基づいて例えば方向ベクトル等として特定される。
【００４９】
コンピュータ１２０は、視線位置情報を算出すると、この視線位置情報をサーバ５０に向けて送信する（ステップＳ３３）。
【００５０】
次に、サーバ５０の動作について図９及び図１０を参照して説明する。
サーバ５０は、図９に示すように、視線位置情報の受信があったか否かを判定する（ステップＳ４１）。視線位置情報の受信がない場合には、後続の処理を行わない。
【００５１】
サーバ５０は、視線位置情報の受信があったと判定した場合には、次いで、視線位置情報に応じたプロジェクタ４０の投影制御を行う（ステップＳ４２）。例えば、サーバ５０は、ビデオカメラ２０による撮像画像と受信した視線位置情報とを対応付けて、プロジェクタ４０が対象物２００に投影すべき画像の投影画像情報を算出する。したがって、プロジェクタ４０は、この投影画像情報に基づいて、図１０に示すように、対象物２００に視線画像ＩＭを投影する。
【００５２】
尚、視線画像ＩＭが投影された対象物２００は、ビデオカメラ２０によって撮像されて、その撮像画像がサーバ５０を介して端末１００のコンピュータ１２０に送信される。この結果、コンピュータ１２０は、表示装置１１０に視線画像ＩＭが投影された対象物２００の撮像画像を表示させる。これにより、例えば図８に示すように、端末１００側の利用者は自身が視線を向けている位置を理解する。
【００５３】
（第２実施形態）
続いて、本発明の第２実施形態に係る指示システムについて説明する。
図１１は第２実施形態に係るサーバ５０の要部構成を示す機能ブロック図である。尚、図２に示されるサーバ５０の各機能と同様の構成には同一符号を付し、その説明を省略する。
【００５４】
第１実施形態に係る指示システムは、端末１００側の利用者の視線に応じた視線画像ＩＭを対象物２００に投影させたが、第２実施形態に係る指示システムは、対象物２００側の利用者の視線に応じた視線画像ＩＭを投影させる点で相違する。
【００５５】
また、これに伴い、第２実施形態に係るサーバ５０は、照射方向算出部５６を含む点及び撮像部５１が投影部５３を制御する点で第１実施形態に係るサーバ５０と相違する。照射方向算出部５６は、受信部５４が受信した視点情報及び視野情報に基づき、後述する光線照射装置の照射方向を算出する。
【００５６】
次に、本実施形態に係るサーバ５０の動作について図１２から図１６を参照して説明する。
図１２は本実施形態に係るサーバ５０の動作の一例を示すフローチャート、図１３は利用者の視線の投影を説明するための図、図１４は視線計測装置１４１の斜視図、図１５は視点情報及び視野情報を説明するための図、図１６は表示装置１１０における表示画面１１１の一例である。
【００５７】
サーバ５０は、図１２に示すように、まず、視点情報及び視野情報を受信したか否かを判定する（ステップＳ５１）。視点情報及び視野情報は、視線検出手段としての視線計測装置１４１から送信される。
【００５８】
視線計測装置１４１は、図１３に示すように、眼鏡型の形状をしている。利用者は眼鏡をかけるようにして視線計測装置１４１を取り扱う。より詳しくは、視線計測装置１４１は、図１４に示すように、例えばＣＣＤカメラや赤外線出力装置等で構成されるアイカメラ１４１ａ、ＣＣＤカメラで構成される視野カメラ１４１ｂ、照射手段としての光線照射装置１４１ｃ及びコード１４１ｄ等から構成される。
【００５９】
アイカメラ１４１ａは、赤外線出力装置により眼球に対し微弱な赤外線を照射する。この結果、角膜や水晶の屈折面に光源の反射像（プルキンエ・サンソン像）が生じる。アイカメラ１４１ａはこの反射像及び瞳孔をＣＣＤカメラにより撮像し、これらの位置関係から眼球運動を算出し、視点情報として出力する。尚、精度向上の観点から両目側につける方が望ましい。
【００６０】
視野カメラ１４１ｂは、利用者の視野に相当する画像を撮像し、視野情報として出力する。
光線照射装置１４１ｃは、例えばレーザ光線等の光線を照射する。そして、視点情報及び視野情報に応じて算出された方向情報に基づいて照射方向が調整される。
コード１４１ｄは、視線計測装置１４１とサーバ５０とを接続し、視点情報、視野情報及び方向情報等の各種情報を通信する。尚、コード１４１ｄに代えて、赤外線等の無線通信等を利用してもよい。
【００６１】
サーバ５０は、図１２に示すように、視線計測装置１４１から視点情報及び視野情報を受信したと判定した場合には、これらの情報に基づき、光線照射装置１４１ｃの照射方向を決定付ける方向情報を算出する（ステップＳ５２）。
【００６２】
具体的には、図１５に示すように、視野情報に相当する視野画像Ｆの中心を原点Ｏとし、受信した視点情報を視点情報Ａ（ｒ，θ）とする。ｒは原点Ｏからの距離、θはｘ軸となす角度を示す。尚、極座標系に代えて、視点情報を（ｘ，ｙ）形式で示す直交座標系を利用してもよい。そして、光線照射装置１４１ｃから出力される光線Ｌが視点情報Ａを通過する方向ベクトルを方向情報として算出する。
【００６３】
サーバ５０は、次いで、方向情報に基づき、光線照射装置１４１ｃの照射方向を制御する（ステップＳ５３）。すなわち、視線計測装置１４１による視点情報及び視野情報に算出された方向情報により、光線照射装置１４１ｃの照射方向が対応付いて動作する。これにより、視線計測装置１４１の光線照射装置１４１ｃは、図１３に示すように、利用者の視線に沿うように光線Ｌを照射する。
【００６４】
サーバ５０は、次いで、ビデオカメラ２０による撮像画像内に光点があるか否かを判定する（ステップＳ５４）。すなわち、図１３に示すように、利用者の視線が対象物２００に向けられた場合には、光線Ｌが対象物２００とぶつかり、対象物２００上に光点が現れる。この光点が、撮像画像内の他の画像、例えば対象物２００の画像やアノテーション画像ＡＮに比して、輝度値が高い場合に、撮像画像内に光点があると判定する。尚、輝度値の高さは、所望の閾値により判定すればよい。
【００６５】
サーバ５０は、光点があると判定した場合には、光点の軌跡を記憶装置等に保持する（ステップＳ５５）。ビデオカメラ２０は、対象物２００や対象物２００に投影されたアノテーション画像ＡＮ、光線照射装置１４１ｃによって付された光点等を常時撮像しており、これらの撮像画像に光点が含まれる場合には、その都度保持していく。
【００６６】
サーバ５０は、次いで、光点の軌跡に応じてプロジェクタ４０の投影を制御する（ステップＳ５６）。これにより、プロジェクタ４０は、図１３に示すように、光点の動きに沿った視線画像ＩＭを対象物２００に投影する。さらに、この撮像画像はコンピュータ１２０に送信される。この結果、図１６に示すように、表示装置１１０には、撮像画像１１１ａ内に対象物２００及びアノテーション画像ＡＮに併せて、視線画像ＩＭも表示される。これにより、端末１００側の利用者は、対象物２００側の利用者の視線が対象物２００のどの位置に向けられているか把握できる。
【００６７】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００６８】
また、上述した第１実施形態及び第２実施形態において、サーバ５０が、視線の軌跡をプロジェクタ４０に投影させてから、所定の時間を経過した後に、視線の軌跡を消去するようにしてもよく、その際に、投影時間が長い視線の軌跡から徐々に消去するようにしてもよい。さらに、徐々に消去する場合には、消去されていく軌跡から色や明るさを変えつつ消去するようにしてもよい。
【産業上の利用可能性】
【００６９】
本発明によれば、端末側の利用者の視線を通じて遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。
【図面の簡単な説明】
【００７０】
【図１】指示システムの実施形態を示す構成図である。
【図２】第１実施形態に係るサーバの要部構成を示す機能ブロック図である。
【図３】サーバ等のハードウェア構成を示す機能ブロック図である。
【図４】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図５】端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図６】端末側の操作の一例を説明するための図である。
【図７】コンピュータにおける視線検出処理の一例を示すフローチャートである。
【図８】利用者の視線の検出を説明するための図である。
【図９】サーバにおけるプロジェクタに対する投影処理の一例を示すフローチャートである。
【図１０】投影結果の一例である。
【図１１】第２実施形態に係るサーバの要部構成を示す機能ブロック図である。
【図１２】サーバの動作の一例を示すフローチャートである。
【図１３】利用者の視線の投影を説明するための図である。
【図１４】視線計測装置の斜視図である。
【図１５】視点情報及び視野情報を説明するための図である。
【図１６】表示装置における表示画面の一例である。
【符号の説明】
【００７１】
１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
５１ 撮像部
５２ 画像送信部
５３ 受信部
５４ 投影部
５５ 描画指示処理部
５６ 照射方向算出部
６０ ハーフミラー
１００ 端末
１１０ 表示装置
１１１ 表示画面
１１１ａ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
１４０ 視線検出装置
１４１ 視線計測装置
１４１ａ アイカメラ
１４１ｂ 視野カメラ
１４１ｃ 光線照射装置
１４１ｄ コード
２００ 対象物
３００ ネットワーク
ＡＮ アノテーション画像
ＡＲ 注目領域
Ｐｔ ポインタ
ＢＴ ボタン
ＴＲ 視線の軌跡
ＩＭ 視線画像
Ｅ 視線
Ｌ 光線
【技術分野】
【０００１】
本発明は、指示システム、指示プログラム及び指示装置に関する。
【背景技術】
【０００２】
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
【０００３】
また、特許文献２では、投影機能を有するテレビ電話装置において、簡易な構成で利用者が相手側にある実物に対して指示や書込みが行える旨が開示されている。
【０００４】
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】特開平６−２４５２０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１や特許文献２に開示される技術では、対象物の指示位置は特定されるが、端末側や実物体側にいる利用者の視線が対象物のどの場所に向けられているか不明であり、利用者間の円滑な対話が阻害される可能性がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、端末側や実物体側の利用者の視線を通じて遠隔地間の円滑な対話を図り得る指示システム、指示プログラム及び指示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示システムである。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、視線検出手段による検出結果に、該視線検出手段に形成された、光線を照射する照射手段の照射方向とを対応付けて動作させ、光線が対象物とぶつかることによって生じる光点の軌跡を視線の軌跡として投影手段により対象物に投影させることを特徴としている。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段は、視線の軌跡を投影させて、所定の時間を経過した後に、該視線の軌跡を消去することを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に消去していくことを特徴としている。
【００１１】
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、制御手段は、投影時間が長い視線の軌跡から徐々に色を変えていくことを特徴としている。
【００１２】
請求項６に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により対象物に投影させることを特徴とする指示プログラムである。
【００１３】
請求項７に記載の発明は、対象物を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、利用者の視線を検出する視線検出手段と、視線検出手段の検出結果に基づく視線の軌跡を投影手段により対象物に投影させる制御手段と、を有することを特徴とする指示装置である。
【発明の効果】
【００１４】
請求項１に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。
【００１５】
請求項２に記載の発明によれば、本構成を有していない場合に比較して、対象物側の利用者の視線を通じても遠隔地間の円滑な対話を図ることができる。
【００１６】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、視線の軌跡が投影され続ける煩わしさが抑制される。
【００１７】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、直近の視線の位置が明らかになる。
【００１８】
請求項５に記載の発明によれば、本構成を有していない場合に比較して、消去されていく視線の軌跡の視認性が増す。
【００１９】
請求項６に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。
【００２０】
請求項７に記載の発明によれば、端末側の利用者の視線を通じて遠隔地間の円滑な対話を図ることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る指示システムの構成図、図２はサーバ５０の要部構成を示す機能ブロック図、図３はサーバ５０のハードウェア構成を示す機能ブロック図である。
【００２２】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの装置で構成されていてもよく、また、複数の装置から構成されていてもよい。
【００２３】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０及びハーフミラー６０等から構成される。
【００２４】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、対象物２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。
【００２５】
プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像ＡＮ（以下、アノテーション画像という。）を対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ４０とビデオカメラ２０との光軸及び投影・撮像画角をそれぞれ一致させる。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じハーフミラー６０を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６０で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー６０の反射率は発振現象の防止の観点から０．３％程度であることが望ましい。
【００２６】
サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。
【００２７】
より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０にアノテーション画像ＡＮを投影させ得る投影部５４とを備える。さらに、端末１００からの描画指示に対して所要の処理を行う描画指示処理部５５を備える。
【００２８】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮをプロジェクタ４０により対象物２００へ投影させる。
【００２９】
端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０、視線検出手段としての視線検出装置１４０等から構成される。端末１００は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。
【００３０】
表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。
【００３１】
視線検出装置１４０は、例えばＣＣＤカメラ等で構成される。視線検出装置１４０は、利用者の視線、例えば眼球の動き等を検出し、利用者が表示装置１１０の表示画面上のどの位置を見ているか判断し、判断結果を２次元座標値の視線位置情報として出力する。視線検出装置１４０としては、例えば竹井機器工業株式会社で製造されるＴａｌｋＥｙｅ２や株式会社ナックイメージテクノロジーで製造されるアイマークレコーダ等がある。
【００３２】
尚、上述したサーバ５０やコンピュータ１２０は、いわゆるコンピュータ、すなわち、図３に示すように、ＣＰＵ等の処理装置５０（１２０）ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０（１２０）ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０（１２０）ｃ及び入出力を制御するＩ／Ｆ５０（１２０）ｄがバス５０（１２０）ｅにより接続されたハードウェア構成により実現される。
【００３３】
したがって、ＣＰＵ５０（１２０）ａがＲＡＭ５０（１２０）ｂやＲＯＭ５０（１２０）ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０（１２０）ｅにハードディスクを接続するようにしてもよい。
【００３４】
次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
図４は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図５は端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図６は端末１００側の操作の一例を説明するための図である。
【００３５】
まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図４に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００３６】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。描画指示に対する処理としては、例えば、プロジェクタ４０を制御して、描画指示に応じたアノテーション画像ＡＮの投影させること等がある。
【００３７】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００３８】
次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図５に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側のサーバ５０から送信される撮像画像１１１ａを表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。
【００３９】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像１１１ａに対する利用者からの注目領域ＡＲの指示があるかを判断し（ステップＳ２３）、注目領域ＡＲの指示がある場合には、指示に応じた処理を行う（ステップＳ２４）。
【００４０】
具体的には、端末１００の操作者は、図６に示すような表示装置１１０の表示画面１１１内の撮像画像１１１ａを見ながら、表示されている撮像画像１１１ａにアノテーション画像ＡＮを投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域ＡＲを指示する。注目領域ＡＲは、アノテーション画像ＡＮを投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲに投影するアノテーション画像ＡＮに関する情報を指示する。
【００４１】
例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２４で特定された各種情報を描画指示としてサーバ５０へ伝送する（ステップＳ２５）。
【００４２】
次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の利用者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００４３】
次に、本発明の特徴となる視線検出機能について図７から図１０を参照して説明する。
図７はコンピュータ１２０における視線検出処理の一例を示すフローチャート、図８は利用者の視線の検出を説明するための図、図９はサーバ５０におけるプロジェクタ４０に対する投影処理の一例を示すフローチャート、図１０は投影結果の一例である。
【００４４】
尚、図７に示すフローチャートは、図５に示すコンピュータ１２０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ２２の処理とステップＳ２３の処理の間に含めることができる。また、図９に示すフローチャートは、図４に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、望ましくは、ステップＳ１３の処理とステップＳ１４の処理の間に含めることができる。
【００４５】
まず、コンピュータ１２０の動作について図７及び図８を参照して説明する。
コンピュータ１２０は、図７に示すように、利用者の視線を検出したか否かについて判定する（ステップＳ３１）。利用者の視線Ｅの検出は、図８に示すように、視線検出装置１４０を介して行われる。
【００４６】
視線検出装置１４０は、例えば電源が入れられると、利用者を撮像し、望ましくは、利用者の頭部を撮像する。このため、利用者は視線検出装置１４０の撮像領域内にいることが好ましい。視線検出装置１４０は、その撮像画像をコンピュータ１２０に常時送信する。コンピュータ１２０は、その撮像画像を受信し、撮像画像内に利用者の眼球が含まれるか否かを判定する。そして、撮像画像内に眼球が含まれた場合に、コンピュータ１２０は視線を検出したと判定する。
【００４７】
コンピュータ１２０は、次いで、複数の撮像画像に基づいて、利用者の眼球の動きを解析し、視線位置情報を算出する（ステップＳ３２）。視線位置情報は、表示画面１１１内の２次元座標の集合として表される。
【００４８】
例えば、表示画面１１１内の視線の軌跡ＴＲは、表示画面１１１の四隅のいずれかを原点として、（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・、（ｘｎ，ｙｎ）を結ぶ輝点の連続線として表される。これらの座標群は、平面としての表示装置１１０と視線Ｅとの交点によって特定される。そして、視線Ｅの方向は、撮像画像内の眼球、特に虹彩の上下左右の向きに基づいて例えば方向ベクトル等として特定される。
【００４９】
コンピュータ１２０は、視線位置情報を算出すると、この視線位置情報をサーバ５０に向けて送信する（ステップＳ３３）。
【００５０】
次に、サーバ５０の動作について図９及び図１０を参照して説明する。
サーバ５０は、図９に示すように、視線位置情報の受信があったか否かを判定する（ステップＳ４１）。視線位置情報の受信がない場合には、後続の処理を行わない。
【００５１】
サーバ５０は、視線位置情報の受信があったと判定した場合には、次いで、視線位置情報に応じたプロジェクタ４０の投影制御を行う（ステップＳ４２）。例えば、サーバ５０は、ビデオカメラ２０による撮像画像と受信した視線位置情報とを対応付けて、プロジェクタ４０が対象物２００に投影すべき画像の投影画像情報を算出する。したがって、プロジェクタ４０は、この投影画像情報に基づいて、図１０に示すように、対象物２００に視線画像ＩＭを投影する。
【００５２】
尚、視線画像ＩＭが投影された対象物２００は、ビデオカメラ２０によって撮像されて、その撮像画像がサーバ５０を介して端末１００のコンピュータ１２０に送信される。この結果、コンピュータ１２０は、表示装置１１０に視線画像ＩＭが投影された対象物２００の撮像画像を表示させる。これにより、例えば図８に示すように、端末１００側の利用者は自身が視線を向けている位置を理解する。
【００５３】
（第２実施形態）
続いて、本発明の第２実施形態に係る指示システムについて説明する。
図１１は第２実施形態に係るサーバ５０の要部構成を示す機能ブロック図である。尚、図２に示されるサーバ５０の各機能と同様の構成には同一符号を付し、その説明を省略する。
【００５４】
第１実施形態に係る指示システムは、端末１００側の利用者の視線に応じた視線画像ＩＭを対象物２００に投影させたが、第２実施形態に係る指示システムは、対象物２００側の利用者の視線に応じた視線画像ＩＭを投影させる点で相違する。
【００５５】
また、これに伴い、第２実施形態に係るサーバ５０は、照射方向算出部５６を含む点及び撮像部５１が投影部５３を制御する点で第１実施形態に係るサーバ５０と相違する。照射方向算出部５６は、受信部５４が受信した視点情報及び視野情報に基づき、後述する光線照射装置の照射方向を算出する。
【００５６】
次に、本実施形態に係るサーバ５０の動作について図１２から図１６を参照して説明する。
図１２は本実施形態に係るサーバ５０の動作の一例を示すフローチャート、図１３は利用者の視線の投影を説明するための図、図１４は視線計測装置１４１の斜視図、図１５は視点情報及び視野情報を説明するための図、図１６は表示装置１１０における表示画面１１１の一例である。
【００５７】
サーバ５０は、図１２に示すように、まず、視点情報及び視野情報を受信したか否かを判定する（ステップＳ５１）。視点情報及び視野情報は、視線検出手段としての視線計測装置１４１から送信される。
【００５８】
視線計測装置１４１は、図１３に示すように、眼鏡型の形状をしている。利用者は眼鏡をかけるようにして視線計測装置１４１を取り扱う。より詳しくは、視線計測装置１４１は、図１４に示すように、例えばＣＣＤカメラや赤外線出力装置等で構成されるアイカメラ１４１ａ、ＣＣＤカメラで構成される視野カメラ１４１ｂ、照射手段としての光線照射装置１４１ｃ及びコード１４１ｄ等から構成される。
【００５９】
アイカメラ１４１ａは、赤外線出力装置により眼球に対し微弱な赤外線を照射する。この結果、角膜や水晶の屈折面に光源の反射像（プルキンエ・サンソン像）が生じる。アイカメラ１４１ａはこの反射像及び瞳孔をＣＣＤカメラにより撮像し、これらの位置関係から眼球運動を算出し、視点情報として出力する。尚、精度向上の観点から両目側につける方が望ましい。
【００６０】
視野カメラ１４１ｂは、利用者の視野に相当する画像を撮像し、視野情報として出力する。
光線照射装置１４１ｃは、例えばレーザ光線等の光線を照射する。そして、視点情報及び視野情報に応じて算出された方向情報に基づいて照射方向が調整される。
コード１４１ｄは、視線計測装置１４１とサーバ５０とを接続し、視点情報、視野情報及び方向情報等の各種情報を通信する。尚、コード１４１ｄに代えて、赤外線等の無線通信等を利用してもよい。
【００６１】
サーバ５０は、図１２に示すように、視線計測装置１４１から視点情報及び視野情報を受信したと判定した場合には、これらの情報に基づき、光線照射装置１４１ｃの照射方向を決定付ける方向情報を算出する（ステップＳ５２）。
【００６２】
具体的には、図１５に示すように、視野情報に相当する視野画像Ｆの中心を原点Ｏとし、受信した視点情報を視点情報Ａ（ｒ，θ）とする。ｒは原点Ｏからの距離、θはｘ軸となす角度を示す。尚、極座標系に代えて、視点情報を（ｘ，ｙ）形式で示す直交座標系を利用してもよい。そして、光線照射装置１４１ｃから出力される光線Ｌが視点情報Ａを通過する方向ベクトルを方向情報として算出する。
【００６３】
サーバ５０は、次いで、方向情報に基づき、光線照射装置１４１ｃの照射方向を制御する（ステップＳ５３）。すなわち、視線計測装置１４１による視点情報及び視野情報に算出された方向情報により、光線照射装置１４１ｃの照射方向が対応付いて動作する。これにより、視線計測装置１４１の光線照射装置１４１ｃは、図１３に示すように、利用者の視線に沿うように光線Ｌを照射する。
【００６４】
サーバ５０は、次いで、ビデオカメラ２０による撮像画像内に光点があるか否かを判定する（ステップＳ５４）。すなわち、図１３に示すように、利用者の視線が対象物２００に向けられた場合には、光線Ｌが対象物２００とぶつかり、対象物２００上に光点が現れる。この光点が、撮像画像内の他の画像、例えば対象物２００の画像やアノテーション画像ＡＮに比して、輝度値が高い場合に、撮像画像内に光点があると判定する。尚、輝度値の高さは、所望の閾値により判定すればよい。
【００６５】
サーバ５０は、光点があると判定した場合には、光点の軌跡を記憶装置等に保持する（ステップＳ５５）。ビデオカメラ２０は、対象物２００や対象物２００に投影されたアノテーション画像ＡＮ、光線照射装置１４１ｃによって付された光点等を常時撮像しており、これらの撮像画像に光点が含まれる場合には、その都度保持していく。
【００６６】
サーバ５０は、次いで、光点の軌跡に応じてプロジェクタ４０の投影を制御する（ステップＳ５６）。これにより、プロジェクタ４０は、図１３に示すように、光点の動きに沿った視線画像ＩＭを対象物２００に投影する。さらに、この撮像画像はコンピュータ１２０に送信される。この結果、図１６に示すように、表示装置１１０には、撮像画像１１１ａ内に対象物２００及びアノテーション画像ＡＮに併せて、視線画像ＩＭも表示される。これにより、端末１００側の利用者は、対象物２００側の利用者の視線が対象物２００のどの位置に向けられているか把握できる。
【００６７】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００６８】
また、上述した第１実施形態及び第２実施形態において、サーバ５０が、視線の軌跡をプロジェクタ４０に投影させてから、所定の時間を経過した後に、視線の軌跡を消去するようにしてもよく、その際に、投影時間が長い視線の軌跡から徐々に消去するようにしてもよい。さらに、徐々に消去する場合には、消去されていく軌跡から色や明るさを変えつつ消去するようにしてもよい。
【産業上の利用可能性】
【００６９】
本発明によれば、端末側の利用者の視線を通じて遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。
【図面の簡単な説明】
【００７０】
【図１】指示システムの実施形態を示す構成図である。
【図２】第１実施形態に係るサーバの要部構成を示す機能ブロック図である。
【図３】サーバ等のハードウェア構成を示す機能ブロック図である。
【図４】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図５】端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図６】端末側の操作の一例を説明するための図である。
【図７】コンピュータにおける視線検出処理の一例を示すフローチャートである。
【図８】利用者の視線の検出を説明するための図である。
【図９】サーバにおけるプロジェクタに対する投影処理の一例を示すフローチャートである。
【図１０】投影結果の一例である。
【図１１】第２実施形態に係るサーバの要部構成を示す機能ブロック図である。
【図１２】サーバの動作の一例を示すフローチャートである。
【図１３】利用者の視線の投影を説明するための図である。
【図１４】視線計測装置の斜視図である。
【図１５】視点情報及び視野情報を説明するための図である。
【図１６】表示装置における表示画面の一例である。
【符号の説明】
【００７１】
１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
５１ 撮像部
５２ 画像送信部
５３ 受信部
５４ 投影部
５５ 描画指示処理部
５６ 照射方向算出部
６０ ハーフミラー
１００ 端末
１１０ 表示装置
１１１ 表示画面
１１１ａ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
１４０ 視線検出装置
１４１ 視線計測装置
１４１ａ アイカメラ
１４１ｂ 視野カメラ
１４１ｃ 光線照射装置
１４１ｄ コード
２００ 対象物
３００ ネットワーク
ＡＮ アノテーション画像
ＡＲ 注目領域
Ｐｔ ポインタ
ＢＴ ボタン
ＴＲ 視線の軌跡
ＩＭ 視線画像
Ｅ 視線
Ｌ 光線
【特許請求の範囲】
【請求項１】
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を前記投影手段により前記対象物に投影させることを特徴とする指示システム。
【請求項２】
前記制御手段は、前記視線検出手段による検出結果に、該視線検出手段に形成された、光線を照射する照射手段の照射方向とを対応付けて動作させ、前記光線が前記対象物とぶつかることによって生じる光点の軌跡を前記視線の軌跡として前記投影手段により前記対象物に投影させることを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段は、前記視線の軌跡を投影させて、所定の時間を経過した後に、該視線の軌跡を消去することを特徴とする請求項１又は２に記載の指示システム。
【請求項４】
前記制御手段は、投影時間が長い視線の軌跡から徐々に消去していくことを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
前記制御手段は、投影時間が長い視線の軌跡から徐々に色を変えていくことを特徴とする請求項１から４のいずれか１項に記載の指示システム。
【請求項６】
コンピュータを、
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により前記対象物に投影させることを特徴とする指示プログラム。
【請求項７】
対象物を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
利用者の視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づく視線の軌跡を前記投影手段により前記対象物に投影させる制御手段と、
を有することを特徴とする指示装置。
【請求項１】
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を前記投影手段により前記対象物に投影させることを特徴とする指示システム。
【請求項２】
前記制御手段は、前記視線検出手段による検出結果に、該視線検出手段に形成された、光線を照射する照射手段の照射方向とを対応付けて動作させ、前記光線が前記対象物とぶつかることによって生じる光点の軌跡を前記視線の軌跡として前記投影手段により前記対象物に投影させることを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段は、前記視線の軌跡を投影させて、所定の時間を経過した後に、該視線の軌跡を消去することを特徴とする請求項１又は２に記載の指示システム。
【請求項４】
前記制御手段は、投影時間が長い視線の軌跡から徐々に消去していくことを特徴とする請求項１から３のいずれか１項に記載の指示システム。
【請求項５】
前記制御手段は、投影時間が長い視線の軌跡から徐々に色を変えていくことを特徴とする請求項１から４のいずれか１項に記載の指示システム。
【請求項６】
コンピュータを、
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、利用者の視線を検出する視線検出手段に基づく視線の軌跡を投影手段により前記対象物に投影させることを特徴とする指示プログラム。
【請求項７】
対象物を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
利用者の視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づく視線の軌跡を前記投影手段により前記対象物に投影させる制御手段と、
を有することを特徴とする指示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１９４６９７（Ｐ２００９−１９４６９７Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３４４１５（Ｐ２００８−３４４１５）
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]