ポインティングシステム
【課題】表示遅延およびポインティングの精度と操作性を解決するポインティングシステムを提供する。
【解決手段】ポインティングシステム１は、対象空間の撮影映像を画面上に表示する表示部２３０と、対象空間の撮影映像を表示した画面上にて目標座標の指示を受け付ける指示部子機２５０および赤外ＬＥＤ２４０と、目標座標に対し、対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング部１４０と、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を画面上に表示させる制御部１１０、２１０と、を備える。
【解決手段】ポインティングシステム１は、対象空間の撮影映像を画面上に表示する表示部２３０と、対象空間の撮影映像を表示した画面上にて目標座標の指示を受け付ける指示部子機２５０および赤外ＬＥＤ２４０と、目標座標に対し、対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング部１４０と、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を画面上に表示させる制御部１１０、２１０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティングシステムに関し、特に、対象空間の撮影映像を表示した画面上で、目標座標を指示し、指示に呼応して対象空間内の対応する位置をポインティングするポインティングシステムに関する。
【背景技術】
【０００２】
複数の遠隔地を、双方向のビデオ映像および音声によりネットワークを介して結び、物理的に離れたメンバ間の意思疎通を支援するビデオ会議システムは、デジタル圧縮技術およびディスプレイ技術の発展に伴い、高品質化、大画面化が進んでいる。
【０００３】
特にテレプレゼンスシステムと呼ばれるビデオ会議システムでは、遠隔地の会議参加者が等身大に表示されることなどにより臨場感が演出されており、その人があたかも同じ空間に居るように感じることができる。
【０００４】
なお、多くのテレビ会議システムでは、プレゼンテーション資料等を表示した画面を共有する機能、および拠点ごとに独立のマウスポインタを共有画面上に色などで区別して表示する機能が準備されている。これにより参加者は共有画面上のデータ等を指し示して（ポインティング）参照しながら、効率的に議論を行うことができる。
【０００５】
しかしながら、上記機能で参照可能なのはプレゼンテーション資料などの電子データのみであり、遠隔地の実物体を参照することはできない。したがって、ブレインストーミングなど事前に資料が準備されず、その場でホワイトボードや付箋紙などに情報が記載されていく形態の会議や、モックアップなどの物理的なモデルを囲んだ会議において遠隔地の物体を参照したい場合には、通常、遠隔地の人に言葉などで説明をして、代理で指してもらうなどの煩雑な手続きが必要となるという問題点があった。
【０００６】
このような問題点を解決する技術が特許文献１に記載されている。特許文献１のテレビ会議装置は、遠隔地の映像が画面上に表示され、利用者はタッチパネルなどを用いて画像の一部を指し示すことができる。すると、遠隔地に設置（たとえば、映像を撮影するカメラと一体化して設置）された光ビーム装置のビーム照射方向が、タッチパネルで指し示された座標を元に、モーターなどを利用して制御される。この結果、光ビームがタッチパネルで指示された場所に照射され、遠隔地の人は、指し示された場所が認識できる。
【０００７】
なお、特許文献２では、類似した技術ではあるが、光ビームを照射する代わりに、ビデオプロジェクタを用いてポインタを投影する方法も開示されている。
【０００８】
しかしながら、上記技術においては、利用者がタッチパネルなどを用いて画像の一部を指し示してから、その情報が遠隔地に伝わり、光ビーム装置などの指示装置が対応する場所を指し示すまでの遅延、さらには光ビームなどのポインタが照射された映像が遠隔地より逆方向に伝わり、画面表示上で利用者にフィードバックされるまでの遅延に関する考察がなされていない。
【０００９】
遠隔地の単一の点を指定する場合においては、上記従来技術を用いても大きな問題は生じない。しかしながら、差し棒などの指示器の利用経験から多くの人が知るように、人は、指示器を利用して、単一の点を指定する以外にも、領域を囲む（円形を描く）、方向を示す、形状や文字を描くといったより複雑なジェスチャを行うことが多い。
【００１０】
このようにある程度の時間をかけて軌跡を描くポインティング操作を行う際、利用者の操作に対する視覚的フィードバックが遅延すると、意図した操作を完了するまでの総時間が増加し、更には指示位置や形状の精度が低下することが知られている。
【００１１】
たとえば、非特許文献１に示されるように、マウスとカーソルを用いてターゲット領域をポインティングする操作において、利用者がマウスを動かしてから、それに応じたカーソル表示の変化に遅れがある場合、ターゲット領域内にカーソルを移動するまでの時間、および精度が遅延と共に増加する実験結果が開示されている。
【００１２】
たとえば、非特許文献１の図１の表に示されるように、遅延が２２５ミリ秒（ｍｓ）の場合は、遅延が無視できるほど小さい（８．５ｍｓ）の場合と比べ、ターゲット領域内にカーソルを移動するまでの時間が平均６０％増加し、操作のエラー率が平均２１４％増加するという結果が報告されている。
【００１３】
ちなみに、２２５ｍｓ程度の遅延は遠隔地値のビデオ会議システムにおいては珍しくない値である。一般的に、遠隔地への情報伝達に伴う遅延は、入力サンプリング遅延、伝搬遅延、伝送遅延、出力サンプリング遅延、およびソフトウェアオーバヘッドに大別される。
【００１４】
入力サンプリング遅延は、利用者がタッチパネルなどに触れてから、システムが座標を読み取るまでの遅延で、たとえば、１００Ｈｚでサンプリング行う場合、最大１０ｍｓ、平均して５ｍｓの遅延が生じる。
【００１５】
伝搬遅延は、座標情報が伝送媒体を伝搬するのにかかる遅延で、距離を伝搬速度で割った値となる。伝送遅延は、座標情報を含むネットワークパケットの先頭が到着してから、パケット全体の受信が完了するまでの時間で、パケット全体をメモリ上に一旦読み込んだ上で処理を行う一般的なストアアンドフォワード型の処理装置で発生する遅延である。これはパケット長を伝送ビットレートで割った値となる。
【００１６】
出力サンプリング遅延は、出力バッファに保存された座標情報を出力装置（たとえば、光ビーム装置）が読み取るまでの遅延で、たとえば、１００Ｈｚでサンプリング行う場合、最大１０ｍｓ、平均して５ｍｓの遅延が生じる。ソフトウェアオーバヘッドは、座標情報をネットワークパケットにコーディング・デコーディングする際などに生じる各種処理遅延である。
【００１７】
なお、上記光ビームの像を撮影し視覚的フィードバックを行う場合は、遠隔地で撮影された映像が再度ネットワークを伝達して表示されるため、上記の遅延が２回ずつ発生することなる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平５−２０４５３４号公報
【特許文献２】特開２００３−２０９８３２号公報
【特許文献３】特許第３４２２３８３号公報
【非特許文献】
【００１９】
【非特許文献１】アイ・スコット・マッケンジー（Ｉ． Ｓｃｏｔｔ ＭａｃＫｅｎｚｉｅ）、コリン・ウェア（Ｃｏｌｉｎ Ｗａｒｅ）著、「ラグ・アズ・ア・デターミナント・オブ・ヒューマン・パフォーマンス・イン・インタラクティブ・システムズ（Ｌａｇ ａｓ ａ Ｄｅｔｅｒｍｉｎａｎｔ ｏｆ Ｈｕｍａｎ Ｐｅｒｆｏｒｍａｎｃｅ ｉｎ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｙｓｔｅｍｓ）」、コンファランス・オン・ヒューマンファクターズ・イン・コンピューティング・システムズ（Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ ｆａｃｔｏｒｓ ｉｎ ｃｏｍｐｕｔｉｎｇ ｓｙｓｔｅｍｓ）、１９９３年、ｐ．４８８−４９３
【発明の概要】
【発明が解決しようとする課題】
【００２０】
たとえば、伝搬遅延だけを考慮しても、地球の裏側（距離＝約２万キロメートル）から情報を折り返し伝達するには光信号（速度＝毎秒３×１０の８乗メートル）でも、片道約６６ｍｓの遅延（２Ｅ７÷３Ｅ８秒）、折り返しで約１３０ｍｓの遅延が発生するため、その他の遅延も含めると数百ｍｓの全遅延が発生することが頻繁にある。このような遅延を伴う状況下にて上述した文献記載の技術を利用すると、ポインティングに要する時間やポインティング精度の劣化が発生し、遠隔地間での意思疎通が阻害されるという問題点があった。
【００２１】
このような問題が発生する理由は、上記文献記載の技術では、遠隔地にて撮影されたポインタの像を、ポインティング操作に対する利用者への視覚的フィードバックとして利用しているためである。この様子を模式的に図２２に示す。同図（ａ）の通り、上記文献記載の技術では、利用者が画面２０上で実際に指し示している位置２１では無く、軌跡上の過去に指し示した位置に、レーザポインタなどの像２３が映像の一部として画面２０上に表示される。このため、遅延の増加に伴い、実際に指し示している位置２１と視覚的フィードバックの乖離が著しく、操作に手間取ることになる。
【００２２】
なお、一部のシステムにおいてはマウスポインタ３１などのローカルポインタを、遠隔地にて撮影されたポインタの像とは別に画面２０上に表示して操作者に提供するシステムもあるが、この場合、同図（ｂ）の通り、マウスポインタ３１に加えてレーザポインタなどの像２３と、視覚的フィードバックが二重になされるため、利用者の混乱の結果、やはりポインティングに要する時間やポインティング精度の劣化してしまう。
【００２３】
本発明の目的は、上述した課題である表示遅延およびポインティングの精度と操作性を解決するポインティングシステムを提供することにある。
【課題を解決するための手段】
【００２４】
本発明のポインティングシステムは、対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、
を備える。
【００２５】
本発明の第１の処理装置は、対象空間の撮影映像を表示した画面上にて指示される目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える。
【００２６】
本発明の第２の処理装置は、対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記指示の結果として、前記目標座標に対し、前記対象空間内の対応する位置に発生させる視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える。
【００２７】
本発明の処理装置のデータ処理方法は、対象空間の撮影映像を画面上に表示し、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付け、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させ、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる。
【００２８】
本発明のコンピュータプログラムは、処理装置を実現するためのコンピュータプログラムであって、
対象空間の撮影映像を画面上に表示する表示手順と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手順と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる発生手順と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手順と、をコンピュータに実行させるためのものである。
【００２９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００３０】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【００３１】
また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障しない範囲で変更することができる。
【００３２】
さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【発明の効果】
【００３３】
本発明によれば、表示遅延およびポインティングの精度と操作性を解決するポインティングシステムが提供される。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係るポインティングシステムの構成を示す機能ブロック図である。
【図２】本発明の実施の形態に係るポインティングシステムの空間ポインティング部の詳細な構成を示すブロック図である。
【図３】図２の空間ポインティング部のガルバノスキャナの詳細な構成を示すブロック図である。
【図４】本発明の実施の形態に係るポインティングシステムの指示部子機の詳細な構成を示すブロック図である。
【図５】本実施形態の撮影部の動作の一例を示すフローチャートである。
【図６】本実施形態の第１処理装置の制御部が送信する制御信号を示す図である。
【図７】本実施形態のポインティングシステムの動作の一例を示すフローチャートである。
【図８】本実施形態のポインティングシステムの動作の一例を示すフローチャートである。
【図９】本実施形態の空間ポインティング部の制御回路の動作を表す状態遷移図である。
【図１０】本実施形態の第１処理装置の各構成要素の動作のタイミングを示すタイミングチャートである。
【図１１】本実施形態の空間ポインティング部が生じる視覚的変化と撮影部により撮影される映像の一例を示す図である。
【図１２】本実施の形態のポインティングシステムの各ユニットの動作の一例を説明するための図である。
【図１３】本実施形態の撮影部で撮影された映像と、表示部で表示される画面の一例を示す図である。
【図１４】本実施形態の指示部で円状の軌跡を描いたときに表示部で表示される画面の一例を示す図である。
【図１５】本実施形態の指示部を水平に一定速度で移動させたときに表示部で表示される画面の一例を示す図である。
【図１６】本実施形態の空間ポインティング部の制御回路の動作を表す状態遷移図である。
【図１７】本実施形態の第１処理装置の各構成要素の動作のタイミングを示すタイミングチャートである。
【図１８】本実施の形態の撮影部で撮影される２種類の映像と、それらを合成して得られる第３の映像の一例を示す図である。
【図１９】本実施の形態の指示部で円状の軌跡を描いたときに表示部で表示される画面の一例を示す図である。
【図２０】本実施の形態の制御部で画素の色情報が置き換えられる領域を表す図である。
【図２１】本実施の形態の制御部で画素の色情報が置き換えられる領域を自動的に算出する方法を説明するための図である。
【図２２】文献記載の技術の遠隔ポインティングシステムにおける画面表示の例を示す図である。
【発明を実施するための形態】
【００３５】
（第１の実施の形態）
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００３６】
図１は、本発明の実施の形態に係るポインティングシステム１の構成を示す機能ブロック図である。
同図に示すように、ポインティングシステム１は、第１処理装置１００と、第２処理装置２００と、を備え、第１処理装置１００および第２処理装置２００はＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットなどのネットワーク３を介して互いに接続される。各装置とネットワーク３の接続は、無線でも有線でもよい。
【００３７】
本実施形態のポインティングシステム１において、第１処理装置１００と第２処理装置２００は、たとえば、離れた場所にそれぞれ設置することができる。特に限定しないが、設置場所は、同じ部屋の離れた場所、異なる部屋、異なるフロア、異なる建物、または異なる地域などとすることができる。
【００３８】
第１処理装置１００は、制御部１１０と、空間ポインティング部１４０と、撮影部１４２と、を備えている。また、第２処理装置２００は、制御部２１０と、表示部２３０と、指示部子機２５０と、指示部親機２８０と、を備えている。第２処理装置２００の制御部２１０と第１処理装置１００の制御部１１０は、ネットワーク３を介して接続される。制御部２１０および制御部１１０とネットワーク３との接続は、有線または無線のいずれでもよい。
【００３９】
第２処理装置２００は、第１処理装置１００で撮影された遠隔の対象空間の映像を画面に表示してユーザＢに提示するとともに、指示部子機２５０を用いたユーザＢによる対象空間の映像画面への指示を受け付ける。第１処理装置１００は、対象空間の映像を撮像して第２処理装置２００に送信するとともに、ユーザＡが見ている対象空間に対し、ユーザＢによる指示位置に視覚的変化を発生させる。
【００４０】
すなわち、本実施形態のポインティングシステム１は、たとえば、電子会議などで、ユーザＡがホワイトボード１３２などの前に居る状況で、対象空間内のホワイトボード１３２などを撮影した映像を、ネットワーク３を介して送信し、ユーザＢが見る表示部２３０の画面上に映像を表示する。
そして、ユーザＢが表示部２３０に表示された撮影映像の画面上で所望の位置をポイントすると、その情報がユーザＡ側に送信され、空間ポインティング部１４０が、対象空間内の対応する位置に視覚的変化を発生させ、たとえば、光ビーム１７０によるポインタ１７２をホワイトボード１３２に照射する。これにより、ユーザＡにユーザＢが指示した位置を伝達することができる。
【００４１】
ポインティングシステム１の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
【００４２】
第１処理装置１００および第２処理装置２００は、たとえば、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やメモリ、ハードディスク、および通信用ネットワークインターフェースを備え、キーボードやマウス等の入力装置やディスプレイやプリンタ等の出力装置と接続されるサーバコンピュータやパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、またはそれらに相当する装置により実現することができる。そして、ＣＰＵが、ハードディスクに記憶されるプログラムをメモリに読み出して汎用のオペレーティングシステムで実行することにより、上記各ユニットの各機能を実現することができる。なお、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
【００４３】
本実施形態のポインティングシステム１は、対象空間の撮影映像を画面上に表示する表示部２３０と、対象空間の撮影映像を表示した画面上にて目標座標の指示を受け付ける指示受付部（指示部子機２５０、指示部親機２８０、赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２４０ａ〜ｄ）と、目標座標に対し、対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング部１４０と、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を表示部２３０の画面上に表示させる制御部（１１０、２１０）と、を備える。
【００４４】
また、本実施形態のポインティングシステムは、対象空間を撮影する撮影部１４２をさらに備え、制御部（１１０、２１０）は、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、空間ポインティング部１４０が視覚的変化を発生させない時間間隔に、撮影部１４２に対象空間を繰り返し撮影させることにより得られる一連の画像から構成される視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させる。
【００４５】
以下、本実施形態のポインティングシステム１の各構成要素について、詳細に説明する。
はじめに、対象空間に遠隔から指示された位置に視覚的変化を発生させる第１処理装置１００について説明する。
第１処理装置１００において、撮影部１４２は、ポインティング対象となる物体が設置された空間の映像を撮影する（ここでは、ポインティング対象として文字の描かれたホワイトボード１３２の例を図示している）。撮影部１４２により撮影を行う時間間隔は、制御部１１０より入力される制御信号により制御される。撮影部１４２には、たとえば、一般的に入手可能ＩＥＥＥ１３９４カメラなどが使用できる。
【００４６】
制御部１１０は、撮影部１４２および空間ポインティング部１４０に接続されており、撮影部１４２からの撮影映像の読み出すとともに、空間ポインティング部１４０へのポインティング指示などを行う。また、制御部２１０と制御部１１０は、互いにネットワーク３を介して映像情報や映像内座標情報などのやりとりを行う。
【００４７】
空間ポインティング部１４０は、通常、撮影部１４２と一体化されて設置される装置で、光ビーム１７０を対象空間に照射することにより、空間内の特定位置に視覚的変化を生じさせる。図１では、視覚的変化領域としてポインタ１７２が示されている。この視覚的変化により、ユーザＡにポインティング指示を提示できる。
【００４８】
空間ポインティング部１４０により光ビーム１７０の照射を行う時間間隔は制御部１１０により制御される。空間ポインティング部１４０としては光ビーム１７０のオンオフと照射方向が制御可能な赤色レーザポインタが利用できる。
【００４９】
図２は、空間ポインティング部１４０の構成例を示すブロック図である。同図を参照すると、空間ポインティング部１４０は、レーザ１４８と、２組のガルバノスキャナ１５２ａ、ｂ（以下、特に区別が不要な場合は、「ガルバノスキャナ１５２」と呼ぶ）と、ミラー１５０ａ、ｂ（以下、特に区別が不要な場合は、「ミラー１５０」と呼ぶ）と、制御回路１４６とを有する。レーザ１４８は、指向性を有する光ビーム１７０を発生するために使用し、一般的に市販されているクラス２のレーザポインタが利用できる。
【００５０】
ガルバノスキャナ１５２は、流す電流の量に応じて、取り付けられたミラー１５０の方向を高速に制御するデバイスで、図３のような構造を有する。コイル１６４に電流を流すと磁性体１６６を介して磁場が発生し、磁石１６２に対し磁力を発生する。磁石１６２はこの磁力がバネ１６０の応力と釣り合うまで回転する。そして、磁石１６２の回転に伴いそれに取り付けられたミラー１５０の角度が変化する。
【００５１】
このようなガルバノスキャナ１５２はレーザプロジェクタなど、光ビーム１７０を偏向して映像を生成する装置にて一般的に使用されているもので、専門のメーカから既製品を入手することも可能である。図２に戻り、制御回路１４６は、図１の制御部１１０から接続ケーブルを介して受け取る偏向角度情報を元にガルバノスキャナ１５２に流れる電流を調整し、光ビーム１７０の方向を制御する。制御回路１４６としては、一般的なマイコンとドライバ回路を組み合わせて使用できる。
【００５２】
次に、図１に戻り、遠隔の対象空間の映像を画面表示し、ユーザＢによる指示を受け付け対象空間に伝達する第２処理装置２００について説明する。
第２処理装置２００において、制御部２１０は、表示部２３０および指示部親機２８０に接続されており、表示部２３０への映像の表示制御や指示器からの映像内座標の読み出しなどを行う。
【００５３】
表示部２３０は、たとえば、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイなどである。表示部２３０の画面には、撮影部１４２により撮影された対象空間、ここでは、ホワイトボードの映像２３２が表示される。表示部２３０の画面の四隅には、４つの赤外ＬＥＤ２４０が配置されている。なお、図１では、４つの赤外ＬＥＤ２４０は、符号２４０ａ、２４０ｂ、２４０ｃ、２４０ｄでそれぞれ示している。以下、特に、４つ赤外ＬＥＤ２４０を区別する必要がない場合は、「赤外ＬＥＤ２４０」と呼ぶものとする。
【００５４】
また、第２処理装置２００は、ユーザＢが、表示部２３０に表示された映像の特定の位置（映像内座標）を指し示すために使用する指示器として、指示部子機２５０および指示部親機２８０を含む。指示部子機２５０は、ユーザＢが表示部２３０に表示された対象空間の映像に対して指示をするものであり、第２処理装置２００において、表示部２３０のホワイトボードの映像２３２上に指示部子機２５０によって指示された位置に、カーソル２４２が表示されるようになっている。指示部親機２８０は、指示部子機２５０によって指示された位置を第１処理装置１００に伝達する。
【００５５】
図４は、指示部の一部である指示部子機２５０の構成例を示すブロック図である。同図を参照すると、指示部子機２５０は、カメラモジュール２５２と、スイッチ２５４と、演算回路２５６と、無線モジュール２５８と、有する。
【００５６】
カメラモジュール２５２は、赤外領域で感度を有するデバイスで、図１の表示部２３０の四隅に配置される赤外ＬＥＤ（赤外ＬＥＤ２４０ａ〜ｄ）を撮影し、それらの位置を特定する。カメラモジュールとしては、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや相補性金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの半導体イメージセンサを搭載したカメラに可視光カットフィルタを取り付けたものが使用できる。
【００５７】
スイッチ２５４は、ユーザＢがポインティングを行いたい時に押下するもので、特に限定されないが、たとえば、一般的なプッシュスイッチが使用できる。演算回路２５６は、カメラモジュール２５２により撮影された赤外ＬＥＤ２４０ａ〜ｄの位置を元に指示部子機２５０の指し示す方向と表示部２３０の画面の交点、すなわち、映像画面上での座標（Ｘ，Ｙ）を算出する。さらに、演算回路２５６はスイッチ２５４の押下状態の変化（ボタンイベント）も検出し、指示部親機２８０に受け渡す。演算回路２５６としては、一般的なマイコンが使用できる。
【００５８】
無線モジュール２５８は、演算回路２５６より算出された映像内座標およびボタンイベントを、無線リンクを介して指示部親機２８０に送信する。無線モジュール２５８としては、たとえば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）などの無線規格に準ずる無線トランシーバが使用できる。指示部親機２８０と制御部２１０の間の接続は、特に限定されず、汎用のインタフェースを用いることができ、たとえば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４、または、ＲＳ２３２Ｃ等でもよい。
【００５９】
図１に戻り、制御部２１０は、指示部親機２８０から受け取った映像内座標（Ｘ，Ｙ）とボタンイベントに基づいて、表示部２３０の画面上のカーソル２４２表示を更新するとともに、同情報をネットワークパケットに内包して、ネットワーク３を介し制御部１１０に送信する。制御部１１０に送信されるボタンイベントは、前述した対象空間内への指示位置に発生させる視覚的変化の制御、すなわち、光ビーム１７０のオン／オフ制御の指示となる。ボタンイベントには、たとえば、スイッチ２５４が押し下げられた状態に遷移したことを表すボタンダウンイベントと、スイッチ２５４が押し下げられた状態から離された状態に遷移したこと表すボタンアップイベントと、を含むことができる。
【００６０】
以上のように構成された本実施の形態の第１処理装置１００および第２処理装置２００は、コンピュータプログラムに対応する各種の処理動作を、各制御回路等に組み込まれているＣＰＵが実行することにより、前述のような各種ユニットや回路が各種機能として実現される。
【００６１】
本実施形態のコンピュータプログラムは、第１処理装置１００および第２処理装置２００を実現させるためのコンピュータに、対象空間の撮影映像を表示部２３０の画面上に表示する表示手順と、対象空間の撮影映像を表示した画面上にて目標座標の指示を指示部子機２５０から受け付ける指示受付手順と、目標座標に対し、対象空間内の対応する位置に視覚的変化を空間ポインティング部１４０に発生させる発生手順と、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を表示部２３０の画面上に表示させる制御手順と、を実行させるように記述されている。
【００６２】
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。
【００６３】
このように構成された本実施形態のポインティングシステム１の動作について、以下に説明する。本実施形態の第１処理装置１００と第２処理装置２００を含むポインティングシステム１の全体の動作を説明する前に、まず、第１処理装置１００における撮影部１４２による対象空間の撮影動作と、空間ポインティング部１４０による対象空間への視覚的変化の発生動作について詳細に説明する。
以下に示すように、撮影部１４２と空間ポインティング部１４０の動作が、制御部１１０の制御信号により制御され、互いに動作の同期をとることにより、第１処理装置１００の対象空間に表示されたポインタ１７２を撮影した映像内の視覚的変化、すなわち、光ビーム１７０によるポインタ１７２の映像を抑制して第２処理装置２００に送信できることとなる。
【００６４】
はじめに、本実施形態の第１処理装置１００における撮影部１４２の動作について、説明する。
図５は、本実施形態の撮影部１４２の動作の一例を示すフローチャートである。
【００６５】
撮影部１４２は、ポインティング対象となる物体（この例ではホワイトボード１３２（図１））が設置された空間の動画映像を撮影する。動画映像の撮影は、カメラのシャッタを開く（ステップＳ１１）、一定時間（露光時間）露光する（ステップＳ１３）、シャッタを閉じる（ステップＳ１５）という一連の動作を高速（たとえば、３０Ｈｚ）でくり返す（ステップＳ１７のＮＯ、ステップＳ１９）ことにより行われる。本実施の形態で示されるシステムでは、シャッタの開くタイミングおよび閉じるタイミングは制御部１１０により制御される。
【００６６】
たとえば、制御部１１０は、撮影部１４２に対し、約３３ミリ秒（ｍｓ）の繰り返し間隔で、図６に示されるような矩形波状の制御信号を送信し、撮影部１４２は制御信号がＨｉｇｈの状態においてシャッタを開き、Ｌｏｗの状態においてシャッタを閉じるように構成されているものとする。すると撮影部１４２では、制御信号の立ち上がりのタイミングでシャッタが開き、１５ｍｓの間露光を行って、制御信号の立ち下がりのタイミングでシャッタが閉じることになる。この結果、撮影部１４２からは、制御部１１０の制御するタイミングにて、毎秒３０フレームの映像（静止画列）が生成されることになる。撮影された映像は随時、撮影部１４２から制御部１１０に送られる。
【００６７】
なお、ここでは、制御部１１０が撮影部１４２を制御する方法として、制御信号がＨｉｇｈの状態においてシャッタを開き、Ｌｏｗの状態においてシャッタを閉じるように構成された例を示したが、制御信号の立ち上がりのタイミングでシャッタが開いた後、撮影部１４２に内蔵されたクロックがあらかじめ定められた一定カウント経過後にシャッタを閉じるような制御方法なども考えられる。なお、このような制御はＩＥＥＥ１３９４カメラなどのシャッタ制御方法として一般的に知られている内容であるので詳細な説明は省略する。
【００６８】
次に、本実施形態の第１処理装置１００の空間ポインティング部１４０の動作について説明する。
以下、本実施形態の第１処理装置１００の空間ポインティング部１４０におけるレーザ制御処理について、具体的なレーザ出力の制御方法の一例を、図９および図１０を用いて説明する。図９は、指示部子機２５０による指示に応じた空間ポインティング部１４０の制御回路１４６の状態遷移図である。図１０は、制御部１１０が撮影部１４２および空間ポインティング部１４０に送信する制御信号と、撮影部１４２のシャッタの開閉状態および空間ポインティング部１４０のレーザのオンオフ状態の関係を表すタイミングチャートである。
【００６９】
初期状態Ｓ２１にある空間ポインティング部１４０の制御回路１４６（図２）は制御部１１０よりボタンダウンイベントを受信する（Ｓ３１）と、レーザ出力がオフの待機状態Ｓ２３に遷移する。待機状態Ｓ２３において、制御部１１０より受信している制御信号の立ち下がりを検出すると（Ｓ３３）、制御回路１４６はレーザオン状態Ｓ２５に遷移し、レーザ出力を開始する（図１０のボタンダウン以降参照）。同時にレーザオン状態Ｓ２５の持続時間の計測も行い、レーザオン状態Ｓ２５が所定の時間に達した場合（この例では１５ｍｓ）（Ｓ３５）、レーザ出力を停止して、再び待機状態Ｓ２３に遷移する。これを制御信号の繰り返し周波数（約３０Ｈｚ）にて繰り返す。
【００７０】
ボタンダウンイベント受信から待機状態Ｓ２３およびレーザオン状態Ｓ２５において、空間ポインティング部１４０の制御回路１４６（図２）は、制御部１１０から受け取った偏向角度に応じてガルバノスキャナ１５２（図２）のコイル１６４（図３）に電流を流し、ミラー１５０（図２）の角度を調整する。なお、ここで水平方向の偏向ではガルバノスキャナ１５２ａが、垂直方向の偏向ではガルバノスキャナ１５２ｂが、互いとは独立に制御される。また、この制御は通常、映像内座標（Ｘｉ，Ｙｉ）がサンプリングされる間隔（この例では１０Ｈｚ、すなわち１００ｍｓ）と比べ、はるか短い時間内に行われる。なお、ｉ（ただし、ｉ＝１，２，３，・・・）は制御部１１０の制御周期毎の値であることを示している。
【００７１】
レーザオン状態Ｓ２５もしくは待機状態Ｓ２３にて制御部１１０よりボタンアップイベントを受信した場合（Ｓ３９またはＳ３７）（レーザ出力がオンの場合は出力を停止し）、初期状態Ｓ２１に遷移する。なお、初期状態Ｓ２１においては制御信号の立ち下がりを検出してもレーザ出力はオフのままである（図１０のボタンアップ以降参照）。
【００７２】
このようにして、待機状態Ｓ２３とレーザオン状態Ｓ２５を制御信号に従って遷移を繰り返す間、恒常的にレーザ出力がオンされるのではなく、オンオフを繰り返すパルス状の光を発生させる制御を行うことができる。このオンオフ制御は、撮影部１４２と時間的に同期して制御される。
【００７３】
すなわち、撮影部１４２は、前記の制御の通り、制御信号の立ち上がりでシャッタが開き、その後１５ｍｓ間露光を行う動作をしているものとする。このような制御の結果、図１０で示される通り、撮影部１４２のシャッタの開いている時間間隔とレーザ出力がオンである時間間隔は交互に、相補的に発生することになる。
【００７４】
このようにして撮影部１４２により撮影される映像のフレームはたとえば、図１１（ｂ）のようなものとなる。すなわち、図１１（ａ）に示すような実際の空間の状態から、空間ポインティング部１４０（図１）が生じる視覚的変化（この例では、光ビームの像１８２）を取り除いた、図１１（ｂ）に示す映像が撮影部１４２（図１）により撮影される。一方で、この例の３０Ｈｚのように制御信号の繰り返し周波数が充分早い場合は、残像現象により、撮影対象の空間に居る人（たとえば、ユーザＡ）から見てレーザの光ビームの像１８２はほぼ恒常的に点灯しているように見える。
【００７５】
このようにして、第１処理装置１００において、撮影部１４２と空間ポインティング部１４０の光ビーム１７０の動作を上記説明したように制御することで、対象空間内に生じる視覚的変化を抑制した映像を第２処理装置２００に送信できることとなる。すなわち、本実施形態のポインティングシステム１では、制御部１１０と制御部２１０が、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、空間ポインティング部１４０が視覚的変化を発生させない時間間隔に、撮影部１４２に対象空間を繰り返し撮影させることにより得られる一連の画像から構成される視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させることができる。
【００７６】
次に、本実施の形態のポインティングシステム１における第１処理装置１００および第２処理装置２００によるデータ処理方法を以下に説明する。図７および図８は、本実施形態のポインティングシステム１全体の動作の一例を示すフローチャートである。なお、第２処理装置２００については、制御部２１０と指示部子機２５０に分けて処理を説明する。以下、図１、図４、図７、および図８を用いて説明する。
【００７７】
本実施形態のデータ処理方法は、対象空間の撮影映像を表示部２３０の画面上に表示し（図７のステップＳ２０５）、対象空間の撮影映像を表示した画面上にて目標座標の指示を受け付け（図７のステップＳ３０１のＹＥＳ）、目標座標に対し、対象空間内の対応する位置に視覚的変化を発生させ（図８のステップＳ１１５）、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を表示部２３０の画面上に表示させる（図７のステップＳ２０５）。
【００７８】
図７および図８のフローチャートは、一連の処理が終了した後、先頭のステップに戻り、同じ処理を繰り返すものとする。ユーザからの開始指示または終了指示（スイッチの押下など）を受け付けた時に、処理が開始または終了するものとする。
【００７９】
図７に示すように、第１処理装置１００において、撮影部１４２（図１）で撮影され（図７のステップＳ１０１）、制御部１１０（図１）に送られた映像は、適当なエンコーダ（不図示）（たとえば、Ｈ．２６４規格）により圧縮符号化され（図７のステップＳ１０３）、ネットワーク３（図１）を介して制御部２１０（図１）に送信される（図７のステップＳ１０５）。
【００８０】
第２処理装置２００では、制御部２１０（図１）が圧縮映像を受信し（図７のステップＳ２０１のＹＥＳ）、受信した圧縮映像を対応するデコーダ（不図示）で復号し（図７のステップＳ２０３）、表示部２３０（図１）に表示し（図７のステップＳ２０５）、ステップＳ２０７に進む。なお、ステップＳ２０１で、映像を受信しない場合は（図７のステップＳ２０１のＮＯ）、ステップＳ２０３およびステップＳ２０５をバイパスしてステップＳ２０７に進む。
【００８１】
ユーザＢ（図１）が表示部２３０に表示されたホワイトボードの映像２３２（図１）を見て、ホワイトボード上の特定の場所をポインティングする意図を持ったとする。この場合、ユーザＢは指示部子機２５０（図１）のスイッチ２５４（図４）を押し、指示部子機２５０で画面を指さすような仕草をする。すると、指示部子機２５０の演算回路２５６がスイッチ２５４のオンを受け付け（図７のステップＳ３０１のＹＥＳ）、指示部子機２５０に内蔵されたカメラモジュール２５２（図４）では、赤外ＬＥＤ２４０ａ〜ｄ（図１）を含む像が撮影される（図７のステップＳ３０３）。一方、ステップＳ３０１で、スイッチ２５４の押下が検出されない場合は（図７のステップＳ３０１のＮＯ）、ステップＳ３０９に進む。
【００８２】
ステップＳ３０３で得られた情報を基に指示部子機２５０の演算回路２５６（図４）は、指示部子機２５０が指し示している、映像画面上での座標（Ｘ，Ｙ）を算出する（図７のステップＳ３０５）。カメラモジュール２５２で撮影された赤外ＬＥＤ２４０ａ〜ｄの映像上の座標をそれぞれ、（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）、（Ｘｃ，Ｙｃ）、（Ｘｄ，Ｙｄ）とすると、指示部子機２５０が指し示している、映像画面上での座標（Ｘ，Ｙ）は以下の式（１）および式（２）より与えられる。
【００８３】
Ｘ＝Ｋ１［｛Ｙａ−Ｘａ（Ｙａ―Ｙｄ）／（Ｘａ−Ｘｄ）−Ｙｂ＋Ｘｂ（Ｙｂ−Ｙｃ）／（Ｘｂ−Ｘｃ）｝／｛（Ｙｂ−Ｙｃ）／（Ｘｂ−Ｘｃ）−（Ｙａ−Ｙｄ）／（Ｘａ−Ｘｄ）｝］ ・・・式（１）
Ｙ＝Ｋ２｛Ｘ（Ｙａ−Ｙｄ）／（Ｘａ−Ｙｄ）＋Ｙａ−Ｘａ（Ｙａ−Ｙｄ）／（Ｘａ−Ｘｄ）｝ ・・・式（２）
【００８４】
ただし、ここでＫ１およびＫ２は、カメラモジュール２５２の画角と画素数および赤外ＬＥＤ２４０ａ〜ｄの配置間隔により決まる定数で、キャリブレーションを行うことにより求まる。なお、ここで述べた映像画面上での座標の求め方については、特許文献３（特許第３４２２３８３号公報）などに記載されているので詳細は省略する。
【００８５】
上記の処理の結果算出された映像画面上での座標（Ｘ，Ｙ）は無線モジュール２５８（図４）、指示部親機２８０（図１）を介して、制御部２１０に送られる（図７のステップＳ３０７）。このとき、ボタンダウンイベントも送信される。
【００８６】
そして、制御部２１０は、ボタンダウンイベントと座標を受信すると（図７のステップＳ２０７のＹＥＳ）、撮影部１４２より得られた映像の座標（Ｘ，Ｙ）の位置にカーソル２４２（図１）を表示部２３０の画面に重畳して表示する（図７のステップＳ２０９）。表示するカーソル２４２は矢印のような抽象的な記号でもよいが、空間ポインティング部１４０が生じる視覚的変化に近いものであることが望ましい。たとえば、この例であると赤色レーザポインタの照射を連想させるカーソル２４２が望ましい。
【００８７】
ここで、ユーザＢが指示部子機２５０のスイッチ２５４を押しながら（図８のステップＳ３２１のＮＯ）、指示部子機２５０で円などの軌跡を描くジェスチャを行ったものとする。スイッチ２５４が押されている間（図８のステップＳ３２１のＮＯ）、図７のステップＳ３０９に戻り、指示部子機２５０から制御部２１０へはこの軌跡を表す、複数の映像内座標（Ｘ，Ｙ）が、カメラモジュール２５２が赤外ＬＥＤ２４０を撮影する間隔（たとえば、１０Ｈｚ）で送られる（図７のステップＳ３０９、ステップＳ３１１、ステップＳ３１２）。これら座標を（Ｘｉ，Ｙｉ）（ただし、ｉ＝１，２，３，・・・）と呼ぶことにする。制御部２１０は映像内座標（Ｘｉ，Ｙｉ）を受け取ると（図８のステップＳ２１３のＹＥＳ）、逐次、表示部２３０の画面上のカーソル２４２の表示位置を更新する（図８のステップＳ２１５）。したがって、表示部２３０画面上では、ユーザＢのジェスチャにより描かれる軌跡に沿ってカーソルが移動することになる。
【００８８】
そして、スイッチ２５４が押し下げられた状態から離された場合（図８のステップＳ３２１のＹＥＳ）、スイッチ２５４が押し下げられた状態から離された状態に遷移したことを表すボタンアップイベントが制御部２１０に通知される（図８のステップＳ３２３）。
上述したように図７のステップＳ３０７では、指示部子機２５０から指示部親機２８０を介して制御部２１０へ、映像内座標（Ｘｉ，Ｙｉ）に加え、スイッチ２５４が押し下げられた状態に遷移したことを表すボタンダウンイベントが制御部２１０に通知されるとともに、スイッチ２５４が押し下げられた状態から離された状態に遷移したことを表すボタンアップイベントが制御部２１０に通知されるものとする。制御部２１０はこれらボタンイベントを用いて（図７のステップＳ２０７のＹＥＳ、図８のステップＳ２２１のＹＥＳ）、表示部２３０画面上へのカーソル２４２の表示（図７のステップＳ２０９）、または消去（図８のステップＳ２２３）を制御する。
【００８９】
このように、制御部２１０は、受け取った映像内座標（Ｘｉ，Ｙｉ）およびボタンイベントを表示部２３０の画面上のカーソル２４２表示に反映させると共に、同情報をネットワークパケットに内包して、ネットワーク３を介し制御部１１０に送信する（図７のステップＳ２１１、図８のステップＳ２１７、ステップＳ２２５）。たとえば、ここで、ネットワーク３にて平均約Ｔミリ秒（ｍｓ）の遅延が発生したものとすると、制御部１１０は、ユーザＢが指示部子機２５０のスイッチ２５４を押して表示部２３０の画面上を指し示してから約Ｔ［ｍｓ］後にボタンイベントおよび映像内座標（Ｘｉ，Ｙｉ）を受け取ることになる（図８のステップＳ１１１のＹＥＳ）。
【００９０】
第１処理装置１００において、制御部１１０は、制御部２１０から受け取った映像内座標（Ｘｉ，Ｙｉ）を空間ポインティング部１４０のレーザの偏向角度に換算する（図８のステップＳ１１３）。空間ポインティング部１４０が撮影部１４２に近接しており、カメラとレーザの光軸が一致していると近似できるものとすると、レーザの水平方向の偏向角度αｉｈおよび垂直方向の偏向角度αｉｖは以下の式で求められる。ここで、ｉは制御部１１０の制御周期毎の値であることを示している。
【００９１】
ｔａｎαｉｈ＝（２Ｘｉ／Ｘｎｕｍ−１）・ｔａｎθｈ／２ ・・・式（３）
ｔａｎαｉｖ＝（２Ｙｉ／Ｙｎｕｍ−１）・ｔａｎθｖ／２ ・・・式（４）
【００９２】
ここで、Ｘｎｕｍ、Ｙｎｕｍはそれぞれ撮影部１４２で撮影される映像の水平解像度および垂直解像度、θｈ、θｖはそれぞれ撮影部１４２の水平画角および垂直画角である。
【００９３】
制御部１１０は算出した偏向角度を空間ポインティング部１４０の制御回路１４６に送信し、空間ポインティング部１４０による光ビーム１７０の偏向角度を制御するとともに、第２処理装置２００から受信したボタンイベントに応じて、光ビーム１７０のオン／オフを制御する（図８のステップＳ１１５）。
【００９４】
このようにして、本実施形態のポインティングシステム１では、制御部１１０と制御部２１０が、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、空間ポインティング部１４０が視覚的変化を発生させない時間間隔に、撮影部１４２に対象空間を繰り返し撮影させることにより得られる一連の画像から構成される視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させることができる。
【００９５】
以下に、上述したポインティングシステム１の動作に従って、各ユニットが動作した時の具体例を図１２乃至図１４を用いて説明する。まず、ポインティングシステム１全体の各ユニットの動作タイミングを説明し、その後、第２処理装置２００の表示部２３０の画面上に表示される映像と、第２処理装置２００側のユーザによって指示された位置に該当する、第１処理装置１００側の対象空間内の位置に発生させられる視覚的変化とについて具体例を挙げて説明する。
【００９６】
図１２は、ポインティングシステム１の各ユニットの動作の一例を示すタイミングチャートである。同図に示すように、撮影部１４２で撮影された映像１９２は、既に述べたとおり、制御部１１０にて、適当なエンコーダにより圧縮符号化され、ネットワーク３を介して制御部２１０に送信され、制御部２１０で復号の上、表示部２３０に表示される。このとき、ネットワーク３にて約Ｔ［ｍｓ］の遅延を受けることになる。なおまた、映像内座標（Ｘｉ，Ｙｉ）およびボタンイベント１９４の転送も同様に、ネットワーク３にて約Ｔ［ｍｓ］の遅延を受ける。すなわち、指示部子機２５０でユーザＢが指示してから、表示部２３０の画面上に映像が反映されるまでに約２Ｔ［ｍｓ］遅延することになる。
【００９７】
既に述べたとおり表示部２３０では、指示部子機２５０のスイッチ２５４が押し下げられている間は、撮影された映像内の映像内座標（Ｘｉ，Ｙｉ）に赤色レーザポインタの照射を連想させるカーソル２４２を重畳して表示する。したがって、図１３（ａ）にて示される、撮影された映像１９２に対し、図１３（ｂ）に示す通り、表示部２３０に表示される映像は画面３０２となる。
【００９８】
ここで、図１４に示すとおり、ユーザＢが指示部子機２５０のスイッチ２５４を押しながら、指示部子機２５０で円などの軌跡を描くジェスチャを行ったものとする。すると、スイッチ２５４が押されている間、指示部子機２５０から制御部２１０へはこの軌跡３０４を表す、複数の映像内座標（Ｘｉ，Ｙｉ）が、一定間隔で送られる。制御部２１０が映像内座標（Ｘｉ，Ｙｉ）を受け取ると、直ちに、カーソル２４２の表示位置を更新する。
【００９９】
したがって、表示部２３０画面上では、ユーザＢのジェスチャによって、同図の位置Ａにカーソル２４２が表示されることになる。一方で、指示部子機２５０から送られた映像内座標（Ｘｉ，Ｙｉ）により制御された空間ポインティング部１４０が生じる視覚的変化は、実際の空間内では位置Ｂに発生しているが、先述の撮影部１４２と空間ポインティング部１４０の制御機構により表示部２３０の画面上の映像には現れない。
【０１００】
以上説明したように、本発明のポインティングシステム１によれば、撮影部１４２に視覚的変化を抑制した映像を撮影させるように空間ポインティング部１４０と撮影部１４２を制御する制御部１１０と、遅延した視覚的フィードバックを抑制した映像を表示する表示部２３０と、を備えることで、表示遅延およびポインティングの精度と操作性の問題を解決することができる。
【０１０１】
本発明によれば、たとえば、ビデオ映像に映った遠隔地の実物体を指し示して参照する遠隔ポインティングシステム１が遅延を受けている際、ユーザＢに遅延がない状況と同等のポインティング感を提供し、ポインティングに要する時間の短縮とポインティング精度の向上を実現できるという効果を奏する。
【０１０２】
このような効果が生じる理由は、本発明の制御部１１０および２１０が、レーザポインタなどの遠隔空間内において視覚的変化を生じる空間ポインティング部１４０と撮影部１４２を制御して、視覚的変化の度合いが少ない映像を生成し、遅延した視覚的フィードバックを抑制するためである。この結果、ユーザＢは表示部２３０に表示されたカーソルなどの目印を実際のレーザポインタの像と錯覚するようになる。カーソルはユーザのポインティング操作にほぼ遅延無く反応するため、遠隔地との間のネットワーク３に遅延がある状況でも、ユーザＢに遅延がない状況と同等のポインティング感を与えることができる。このようにして、ユーザＢにおける、映像内のレーザポインタの像などの遅延した視覚的フィードバックによる混乱を避けることができる。
【０１０３】
本発明のポインティングシステムによれば、このように、遠隔地間の情報の伝送に遅延を伴う状況下において、ビデオ映像に映った遠隔地の実物体を指し示して参照する遠隔ポインティングシステムの使い勝手を向上することができる。より具体的には、遅延がある状況において、ユーザＢに遅延がない状況と同等のポインティング感を提供し、ポインティングに要する時間の短縮とポインティング精度の向上を実現することができる。
【０１０４】
なお、上記実施形態において、表示部２３０にて、実際のレーザポインタなどの像を表示しない結果、ユーザＢの指し示している位置と、実際の空間で指し示される位置の乖離が、上述した文献記載の技術等と比べて増加するようにも感じられるが、実際にはそのようなことはない。たとえば、図１５に示すように、ユーザＢが画面上を水平方向に一定の速度で指し示したものとする。時刻ｔにおいてはＡの位置を、時刻ｔ−Δｔ、ｔ−２Δｔにおいては、それぞれ、ＢおよびＣの位置を指し示していたものとする。ネットワークを伝搬する片道の遅延がΔｔであるとすると、時刻ｔにおいては時刻ｔ−Δｔに取得された座標、すなわちＢの座標が空間ポインティング部１４０に反映された段階であるので、時刻ｔにおいて、実際の空間で指し示される位置はＢである。
【０１０５】
一方で、画面上に表示されているのは時刻ｔ−２Δｔに撮影された映像であるので、仮にポインタの像が撮影されていたものとすると、それはＣの位置に表示される。したがって、ポインタの像によるフィードバックの方法では、実際の空間で指し示される位置とΔｔ相当分の乖離が生じる。一方で、本発明では、ユーザＢの指し示している位置Ａにカーソルを視覚的フィードバックして表示する。この位置もポインタの像によるフィードバックの方法と同じく、実際の空間で指し示される位置とΔｔ相当分の乖離がある。したがって、本技術の方法においても、視覚的フィードバックと、実際の空間で指し示される位置の乖離は、乖離の方向は異なるが、同程度である。
【０１０６】
なお、音声チャネルを併用したシステムにおいては本発明の生じる性質の乖離は有利に働く。なぜならば、図１５に示すように、ユーザＢが表示部２３０の画面上を水平方向に一定の速度で指示部子機２５０を用いて指し示しながら、視覚的フィードバックに対応した場所の文字を発話したものとする。
発話した音声はマイク（不図示）で集音され、適当なエンコーダ（たとえば、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）規格）（不図示）により圧縮符号化され、制御部２１０からネットワーク３を介して制御部１１０に送信することができる。
【０１０７】
音声データと映像内座標データが同程度の遅延Δｔを受けるものとすると、第１処理装置１００側の遠隔地においては、音声データと映像内座標データの両者がほぼ同時に到着するため、たとえば、時刻ｔにおいては、空間ポインティング部１４０が位置Ｂを指し示すと共に、ユーザＢの発した「い」の音声が遠隔地に報じられることになる。
【０１０８】
一方で、ポインタの像によるフィードバックの方法では、たとえば、ユーザＢは時刻ｔに位置Ｃにポインタ像が表示された時に初めて「あ」を発声するので、時刻ｔ＋Δｔにこの音声が遠隔地に到着し報じられるころには、空間ポインティング部１４０は位置Ａ、すなわち「う」の文字を指し示していることになり、音声とレーザポインタの指し示す位置に差が生じてしまう。このように、ポインタの像によるフィードバックの方法に比較して、本発明は、ポインティング操作に欠かせない音声指示との併用においても、優れた特性を発揮する。
【０１０９】
（第２の実施の形態）
本実施形態のポインティングシステム１は、上記実施の形態とは、撮影部１４２が、この視覚的変化を生じている間の映像（第１の映像）と、視覚的変化を生じていない間の映像（第２の映像）を区別して撮影する点で相違する。本実施形態のポインティングシステム１の各構成要素は、上記実施形態と同様な構成を有し、制御部１１０による撮影部１４２と空間ポインティング部１４０の制御方法、および制御部（１１０、２１０）が生成する映像の生成方法が異なる。
【０１１０】
本実施形態のポインティングシステムは、対象空間を撮影する撮影部１４２をさらに備え、制御部（１１０、２１０）は、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、視覚的変化が生じる時間間隔に撮影部１４２が繰り返し撮影することにより得られる一連の画像から構成される第１の映像、および視覚的変化が生じない時間間隔に撮影部１４２に繰り返し撮影させることにより得られる一連の画像から構成される第２の映像を取得し、第１の映像および第２の映像に基づいて、視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させる。
【０１１１】
本実施の形態では、上記実施形態同様に、空間ポインティング部１４０は、視覚的変化を生じさせる時間間隔と、視覚的変化を生じさせない時間間隔を有する。
【０１１２】
以下、本実施形態のポインティングシステム１のレーザ出力の制御方法の一例について、図１６および図１７を用いて説明する。図１６は、空間ポインティング部１４０の制御回路１４６の状態遷移図である。図１７は、制御部１１０が撮影部１４２および空間ポインティング部１４０に送信する制御信号と、撮影部１４２のシャッタの開閉状態および空間ポインティング部１４０のレーザのオンオフ状態の関係を表すグラフである。
【０１１３】
図１６の状態遷移図は、上記実施形態の図９とは、待機状態Ｓ２３における動作が異なる。すなわち、上記実施形態では、待機状態Ｓ２３において、制御部１１０より受信している制御信号の立ち下がりを検出すると（Ｓ３３）、制御回路１４６はレーザオン状態Ｓ２５に遷移し、レーザ出力を開始する。本実施形態では、さらに待機状態Ｓ２３において、制御部１１０より受信している制御信号の立ち上がりを検出すると（Ｓ４１）、制御回路１４６はレーザオン状態Ｓ２５に遷移し、レーザ出力を開始する。そして、いずれの場合も、同時にレーザオン状態Ｓ２５の持続時間の計測も行い、レーザオン状態Ｓ２５が所定の時間に達した場合（この例では１５ｍｓ）（Ｓ３５）、レーザ出力を停止して、再び待機状態Ｓ２３に遷移する。
【０１１４】
そして、図１７に示すように、制御部１１０は、制御信号を約３３ｍｓの間隔で空間ポインティング部１４０および撮影部１４２に送信する。空間ポインティング部１４０は、ボタンダウンイベントからボタンアップイベントまでの間は、制御信号の立ち上がりの検出に伴い、レーザ出力を１５ｍｓ間オンに設定する。一方、撮影部１４２は、制御信号の立ち上がり、立ち下がりの両方においてシャッタを１５ｍｓ間開放する。この結果、図１８（ａ）に示すように奇数フレームでは、空間に視覚的変化が生じた映像３１１が、図１８（ｂ）に示すように、偶数フレームでは、空間に視覚的変化が生じていない映像３１２が、それぞれ３０Ｈｚの周波数で撮影されることになる。ここでは、前者を第１の映像３１１、後者を第２の映像３１２と呼ぶものとする。
【０１１５】
制御部１１０は、第２の映像３１２に第１の映像３１１を画像処理により透過性を持たせて加算し、図１８（ｃ）で示されるような第３の映像３１３を生成する。ここで、透過性を持たせて画像同士を加算する方法としては、一般的に知られたアルファブレンディングが使用できる。なお、透過の度合いはユーザにより変更できることが望ましい。
【０１１６】
すなわち、本実施形態のポインティングシステム１において、制御部１１０は、第１の映像３１１と、第２の映像３１２とを異なる重み付けで加算することにより視覚的変化を抑制した第３の映像３１３を生成する。
【０１１７】
このようにして第３の映像３１３が生成された後の動作は、上記実施形態と同様、第３の映像３１３は制御部１１０にて適当なエンコーダにより圧縮符号化、ネットワーク３を介して制御部２１０に送信され、制御部２１０で復号の上、表示部２３０の画面上に表示される。
【０１１８】
また、表示部２３０では、指示部子機２５０のスイッチが押下られている間は、撮影された映像内の映像内座標（Ｘｉ，Ｙｉ）に赤色レーザポインタの照射を連想させるカーソル２４２を重畳して画面上に表示する。したがって、ユーザＢが指示部子機２５０のスイッチを押しながら、指示部子機２５０で円などの軌跡を描くジェスチャを行ったものとすると、表示部２３０には図１９のように、カーソル２４２と、レーザポインタなどの像３２１が異なる強度で（レーザポインタの像の方が薄く）表示される。
【０１１９】
本実施形態において、このレーザポインタなどの像３２１の強度を調整するための構成を備えてもよい。たとえば、ポインティングシステム１は、像３２１の強度のレベル調整指示を受け付ける受付部（不図示）と、受け付けたレベルにしたがって像３２１の強度を調整する調整部（不図示）と、調整された映像のプレビュー画面をユーザＡまたはＢに提示し、確認を促す確認部（不図示）と、をさらに備えてもよい。受付部、蓄積部、および確認部は、制御部１１０または制御部２１０のいずれに備えてもよく、いずれか一方または両方に部分的または全てを備えてもよい。
【０１２０】
受付部は、たとえば、調整設定画面でユーザＡまたはＢに、第１の映像３１１の透過性をパーセンテージや数値の入力や、レベル調整用のスライダの操作を促し、設定を受け付けることで、レベル調整指示として受け付ける。確認部は、調整設定画面でレベル調整時に、調整後の映像をプレビュー画面に表示し、ユーザＡまたはＢに提示して確認を促す。調整結果を参照しながら、ユーザＡまたはＢはレベル調整を行うことができる。
【０１２１】
ユーザＢは、第１の映像３１１の透過性、すなわちレーザポインタ像の表示部２３０上での強度を認知的に気にならないレベルまで調整することにより、映像内の遅延した視覚的フィードバックによる混乱を避けることができる。また、それ同時に、レーザポインタの像に注視するか、もしくは透過性を再度調整することにより実際の空間におけるレーザポインタの像を認知することもできるので、空間ポインティング機器が正しく動作していることの動作確認や、ネットワークの遅延具合も把握しながら、精度高いポインティング操作を実現することができる。
【０１２２】
なお、上記例では、第２の映像３１２に第１の映像３１１を、透過性を持って加算する例を示したが、第１の映像３１１と第２の映像３１２の差分、すなわち、レーザポインタ像のみの映像を白黒映像に変換した上で、再度第２の映像３１２に透過性を持って加算する方法なども考えられる。こうすることにより、よりユーザＢの認知に対し、レーザポインタの像の影響を弱くすることが可能である。
【０１２３】
以上説明したように、本実施形態のポインティングシステム１によれば、上記実施形態と同様な効果を奏するとともに、レーザポインタ像の表示部２３０上での強度を認知的に気にならないレベルまで調整することにより、映像内の遅延した視覚的フィードバックによる混乱を避けることができる。
【０１２４】
（第３の実施の形態）
本実施形態のポインティングシステム１は、上記実施の形態とは、視覚的変化を抑制した映像の生成方法が、指示部子機２５０により指定される映像内座標近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換える点で相違する。それ以外の構成および動作については、本実施形態のポインティングシステム１は、上記実施形態のいずれと組み合わせてもよい。
【０１２５】
本実施形態のポインティングシステム１は、対象空間を撮影する撮影部１４２をさらに備え、制御部（１１０、２１０）は、撮影部１４２が撮影した映像に対し、視覚的変化が生じる位置近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させる。
【０１２６】
なお、本実施の形態では、制御部１１０において、空間ポインティング部１４０が視覚的変化を生じさせる時間間隔と、視覚的変化を生じさせない時間間隔を繰り返す制御は行わない。その代わりに、制御部１１０は、指示部子機２５０により指定される映像内座標近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより、視覚的変化を抑制した映像を生成する。
【０１２７】
本実施形態において、制御部１１０は、指示部子機２５０が指し示す映像内座標（Ｘｉ，Ｙｉ）を制御部２１０より受け取ると、空間ポインティング部１４０のレーザの偏向角度に換算し、空間ポインティング部１４０の制御を行う。制御が完了後、撮影部１４２より得られる映像フレームに対し制御部１１０は以下の処理を行う。
【０１２８】
制御部１１０は映像フレームの映像内座標（Ｘｉ，Ｙｉ）を中心とした直径ａの円状領域Ａに含まれる画素の色情報を、外径ｂ、内径ａの環状領域に含まれる画素の色情報により内挿した値で置き換える（図２０を参照）。最も簡単には、領域Ｂの画素の色情報の平均値で領域Ａを一様に塗りつぶせば良い。もしくは、たとえば、領域Ｂの画素を境界条件として与えたラプラス方程式（∇２Ｆ（Ｘ，Ｙ）＝０；Ｆ（Ｘ，Ｙ）が色の強度）の解を領域Ａの画素の色情報としても良い。ラプラス方程式の数値解法については一般的な数値解析の文献に記載されているので、詳細は省略する。
【０１２９】
なお、半径ａおよびｂの値は、あらかじめ定められた値を使用しても良いし、映像内座標（Ｘｉ，Ｙｉ）周辺の画素を解析して自動的に抽出しても良い。この方法を、空間ポインティング部１４０に赤色レーザポインタを使用した例で説明する。映像内座標（Ｘｉ，Ｙｉ）を中心とした直径ｃの円状領域（ｃの値はあらかじめ広めに与えておく）において、赤色の情報のみを抽出する処理を行う。この結果、赤色の強度分布が図２１の実線の通り得られたものとする（図中では簡単のため１次元で説明しているが、実際の強度分布は２次元である）。
【０１３０】
この強度曲線を最小二乗法によりガウス曲線に近似すると（図中の点線）、ガウス曲線の分散値σが得られる。直径ａをたとえば、σの６倍に設定する。すると、強度分布がガウス曲線で近似できる場合、空間ポインティング部１４０が生じる視覚的変化の約９９．７％は直径ａの領域に含まれることになる。直径ｂはａ＋固定値もしくは、ａ×固定値に設定すれば良い。
【０１３１】
このようにして得られた映像では、実際の空間と比較して、視覚的変化の度合いが少ないため、ユーザＢは映像内のレーザポインタの像３３１などの遅延した視覚的フィードバックによる混乱を避けることができる。
【０１３２】
以降は先述の実施の形態と同様、映像は制御部１１０にて適当なエンコーダにより圧縮符号化、ネットワーク３を介して制御部２１０に送信され、制御部２１０で復号の上、表示部２３０に表示される。また、表示部２３０では、指示部子機２５０のスイッチが押下られている間は、撮影された映像内の映像内座標（Ｘｉ，Ｙｉ）に赤色レーザポインタの照射を連想させるカーソルを重畳して表示する。
【０１３３】
以上説明したように、本実施形態のポインティングシステム１によれば、上記実施形態と同様な効果を奏することができる。
【０１３４】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【０１３５】
たとえば、上記実施形態では、空間ポインティング部１４０として、偏向方向を制御可能なレーザポインタの例を説明したが、プロジェクタなど他の空間ポインティング手段を用いることも可能である。
【０１３６】
また、上記実施形態では、制御部１１０が撮影部１４２および空間ポインティング部１４０の両方に対し、同じ制御信号を送信する制御方法を説明したが、他の方法として、たとえば、一方だけに制御信号を送り、それを受信した一方が他方向けの制御信号を生成するといった方法なども考えられる。なお、このような差異は、クロック信号を用いた同期制御技術の領域では周知のものであるので、細部が異なる構成についての説明は省略する。
【０１３７】
さらに、上記実施形態では、一方の拠点に表示部２３０と指示部（指示部子機２５０および指示部親機２８０）が、他の拠点に撮影部１４２と空間ポインティング部１４０が設置されているシステム構成を示したが、これらが１セットずつ各拠点に設置され、双方向にポインティングが可能な構成も考えられる。また、指示部としては、リモコン状の位置指定装置の例を示したが、これ以外にもたとえば、表示部２３０に搭載されたタッチパネルを使用したり、タッチペン、マウス、トラックボールなどのコントローラを使用したりする方法なども利用できる。
【０１３８】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１３９】
１ ポインティングシステム
３ ネットワーク
１００ 第１処理装置
１１０ 制御部
１３２ ホワイトボード
１４０ 空間ポインティング部
１４２ 撮影部
１４６ 制御回路
１４８ レーザ
１５０ ミラー
１５２ ガルバノスキャナ
１６０ バネ
１６２ 磁石
１６４ コイル
１６６ 磁性体
１７０ 光ビーム
１７２ ポインタ
２００ 第２処理装置
２１０ 制御部
２３０ 表示部
２３２ ホワイトボードの映像
２４０ 赤外ＬＥＤ
２４２ カーソル
２５０ 指示部子機
２５２ カメラモジュール
２５４ スイッチ
２５６ 演算回路
２５８ 無線モジュール
２８０ 指示部親機
３１１ 第１の映像
３１２ 第２の映像
３１３ 第３の映像
【技術分野】
【０００１】
本発明は、ポインティングシステムに関し、特に、対象空間の撮影映像を表示した画面上で、目標座標を指示し、指示に呼応して対象空間内の対応する位置をポインティングするポインティングシステムに関する。
【背景技術】
【０００２】
複数の遠隔地を、双方向のビデオ映像および音声によりネットワークを介して結び、物理的に離れたメンバ間の意思疎通を支援するビデオ会議システムは、デジタル圧縮技術およびディスプレイ技術の発展に伴い、高品質化、大画面化が進んでいる。
【０００３】
特にテレプレゼンスシステムと呼ばれるビデオ会議システムでは、遠隔地の会議参加者が等身大に表示されることなどにより臨場感が演出されており、その人があたかも同じ空間に居るように感じることができる。
【０００４】
なお、多くのテレビ会議システムでは、プレゼンテーション資料等を表示した画面を共有する機能、および拠点ごとに独立のマウスポインタを共有画面上に色などで区別して表示する機能が準備されている。これにより参加者は共有画面上のデータ等を指し示して（ポインティング）参照しながら、効率的に議論を行うことができる。
【０００５】
しかしながら、上記機能で参照可能なのはプレゼンテーション資料などの電子データのみであり、遠隔地の実物体を参照することはできない。したがって、ブレインストーミングなど事前に資料が準備されず、その場でホワイトボードや付箋紙などに情報が記載されていく形態の会議や、モックアップなどの物理的なモデルを囲んだ会議において遠隔地の物体を参照したい場合には、通常、遠隔地の人に言葉などで説明をして、代理で指してもらうなどの煩雑な手続きが必要となるという問題点があった。
【０００６】
このような問題点を解決する技術が特許文献１に記載されている。特許文献１のテレビ会議装置は、遠隔地の映像が画面上に表示され、利用者はタッチパネルなどを用いて画像の一部を指し示すことができる。すると、遠隔地に設置（たとえば、映像を撮影するカメラと一体化して設置）された光ビーム装置のビーム照射方向が、タッチパネルで指し示された座標を元に、モーターなどを利用して制御される。この結果、光ビームがタッチパネルで指示された場所に照射され、遠隔地の人は、指し示された場所が認識できる。
【０００７】
なお、特許文献２では、類似した技術ではあるが、光ビームを照射する代わりに、ビデオプロジェクタを用いてポインタを投影する方法も開示されている。
【０００８】
しかしながら、上記技術においては、利用者がタッチパネルなどを用いて画像の一部を指し示してから、その情報が遠隔地に伝わり、光ビーム装置などの指示装置が対応する場所を指し示すまでの遅延、さらには光ビームなどのポインタが照射された映像が遠隔地より逆方向に伝わり、画面表示上で利用者にフィードバックされるまでの遅延に関する考察がなされていない。
【０００９】
遠隔地の単一の点を指定する場合においては、上記従来技術を用いても大きな問題は生じない。しかしながら、差し棒などの指示器の利用経験から多くの人が知るように、人は、指示器を利用して、単一の点を指定する以外にも、領域を囲む（円形を描く）、方向を示す、形状や文字を描くといったより複雑なジェスチャを行うことが多い。
【００１０】
このようにある程度の時間をかけて軌跡を描くポインティング操作を行う際、利用者の操作に対する視覚的フィードバックが遅延すると、意図した操作を完了するまでの総時間が増加し、更には指示位置や形状の精度が低下することが知られている。
【００１１】
たとえば、非特許文献１に示されるように、マウスとカーソルを用いてターゲット領域をポインティングする操作において、利用者がマウスを動かしてから、それに応じたカーソル表示の変化に遅れがある場合、ターゲット領域内にカーソルを移動するまでの時間、および精度が遅延と共に増加する実験結果が開示されている。
【００１２】
たとえば、非特許文献１の図１の表に示されるように、遅延が２２５ミリ秒（ｍｓ）の場合は、遅延が無視できるほど小さい（８．５ｍｓ）の場合と比べ、ターゲット領域内にカーソルを移動するまでの時間が平均６０％増加し、操作のエラー率が平均２１４％増加するという結果が報告されている。
【００１３】
ちなみに、２２５ｍｓ程度の遅延は遠隔地値のビデオ会議システムにおいては珍しくない値である。一般的に、遠隔地への情報伝達に伴う遅延は、入力サンプリング遅延、伝搬遅延、伝送遅延、出力サンプリング遅延、およびソフトウェアオーバヘッドに大別される。
【００１４】
入力サンプリング遅延は、利用者がタッチパネルなどに触れてから、システムが座標を読み取るまでの遅延で、たとえば、１００Ｈｚでサンプリング行う場合、最大１０ｍｓ、平均して５ｍｓの遅延が生じる。
【００１５】
伝搬遅延は、座標情報が伝送媒体を伝搬するのにかかる遅延で、距離を伝搬速度で割った値となる。伝送遅延は、座標情報を含むネットワークパケットの先頭が到着してから、パケット全体の受信が完了するまでの時間で、パケット全体をメモリ上に一旦読み込んだ上で処理を行う一般的なストアアンドフォワード型の処理装置で発生する遅延である。これはパケット長を伝送ビットレートで割った値となる。
【００１６】
出力サンプリング遅延は、出力バッファに保存された座標情報を出力装置（たとえば、光ビーム装置）が読み取るまでの遅延で、たとえば、１００Ｈｚでサンプリング行う場合、最大１０ｍｓ、平均して５ｍｓの遅延が生じる。ソフトウェアオーバヘッドは、座標情報をネットワークパケットにコーディング・デコーディングする際などに生じる各種処理遅延である。
【００１７】
なお、上記光ビームの像を撮影し視覚的フィードバックを行う場合は、遠隔地で撮影された映像が再度ネットワークを伝達して表示されるため、上記の遅延が２回ずつ発生することなる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平５−２０４５３４号公報
【特許文献２】特開２００３−２０９８３２号公報
【特許文献３】特許第３４２２３８３号公報
【非特許文献】
【００１９】
【非特許文献１】アイ・スコット・マッケンジー（Ｉ． Ｓｃｏｔｔ ＭａｃＫｅｎｚｉｅ）、コリン・ウェア（Ｃｏｌｉｎ Ｗａｒｅ）著、「ラグ・アズ・ア・デターミナント・オブ・ヒューマン・パフォーマンス・イン・インタラクティブ・システムズ（Ｌａｇ ａｓ ａ Ｄｅｔｅｒｍｉｎａｎｔ ｏｆ Ｈｕｍａｎ Ｐｅｒｆｏｒｍａｎｃｅ ｉｎ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｙｓｔｅｍｓ）」、コンファランス・オン・ヒューマンファクターズ・イン・コンピューティング・システムズ（Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ ｆａｃｔｏｒｓ ｉｎ ｃｏｍｐｕｔｉｎｇ ｓｙｓｔｅｍｓ）、１９９３年、ｐ．４８８−４９３
【発明の概要】
【発明が解決しようとする課題】
【００２０】
たとえば、伝搬遅延だけを考慮しても、地球の裏側（距離＝約２万キロメートル）から情報を折り返し伝達するには光信号（速度＝毎秒３×１０の８乗メートル）でも、片道約６６ｍｓの遅延（２Ｅ７÷３Ｅ８秒）、折り返しで約１３０ｍｓの遅延が発生するため、その他の遅延も含めると数百ｍｓの全遅延が発生することが頻繁にある。このような遅延を伴う状況下にて上述した文献記載の技術を利用すると、ポインティングに要する時間やポインティング精度の劣化が発生し、遠隔地間での意思疎通が阻害されるという問題点があった。
【００２１】
このような問題が発生する理由は、上記文献記載の技術では、遠隔地にて撮影されたポインタの像を、ポインティング操作に対する利用者への視覚的フィードバックとして利用しているためである。この様子を模式的に図２２に示す。同図（ａ）の通り、上記文献記載の技術では、利用者が画面２０上で実際に指し示している位置２１では無く、軌跡上の過去に指し示した位置に、レーザポインタなどの像２３が映像の一部として画面２０上に表示される。このため、遅延の増加に伴い、実際に指し示している位置２１と視覚的フィードバックの乖離が著しく、操作に手間取ることになる。
【００２２】
なお、一部のシステムにおいてはマウスポインタ３１などのローカルポインタを、遠隔地にて撮影されたポインタの像とは別に画面２０上に表示して操作者に提供するシステムもあるが、この場合、同図（ｂ）の通り、マウスポインタ３１に加えてレーザポインタなどの像２３と、視覚的フィードバックが二重になされるため、利用者の混乱の結果、やはりポインティングに要する時間やポインティング精度の劣化してしまう。
【００２３】
本発明の目的は、上述した課題である表示遅延およびポインティングの精度と操作性を解決するポインティングシステムを提供することにある。
【課題を解決するための手段】
【００２４】
本発明のポインティングシステムは、対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、
を備える。
【００２５】
本発明の第１の処理装置は、対象空間の撮影映像を表示した画面上にて指示される目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える。
【００２６】
本発明の第２の処理装置は、対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記指示の結果として、前記目標座標に対し、前記対象空間内の対応する位置に発生させる視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える。
【００２７】
本発明の処理装置のデータ処理方法は、対象空間の撮影映像を画面上に表示し、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付け、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させ、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる。
【００２８】
本発明のコンピュータプログラムは、処理装置を実現するためのコンピュータプログラムであって、
対象空間の撮影映像を画面上に表示する表示手順と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手順と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる発生手順と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手順と、をコンピュータに実行させるためのものである。
【００２９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００３０】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【００３１】
また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障しない範囲で変更することができる。
【００３２】
さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【発明の効果】
【００３３】
本発明によれば、表示遅延およびポインティングの精度と操作性を解決するポインティングシステムが提供される。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係るポインティングシステムの構成を示す機能ブロック図である。
【図２】本発明の実施の形態に係るポインティングシステムの空間ポインティング部の詳細な構成を示すブロック図である。
【図３】図２の空間ポインティング部のガルバノスキャナの詳細な構成を示すブロック図である。
【図４】本発明の実施の形態に係るポインティングシステムの指示部子機の詳細な構成を示すブロック図である。
【図５】本実施形態の撮影部の動作の一例を示すフローチャートである。
【図６】本実施形態の第１処理装置の制御部が送信する制御信号を示す図である。
【図７】本実施形態のポインティングシステムの動作の一例を示すフローチャートである。
【図８】本実施形態のポインティングシステムの動作の一例を示すフローチャートである。
【図９】本実施形態の空間ポインティング部の制御回路の動作を表す状態遷移図である。
【図１０】本実施形態の第１処理装置の各構成要素の動作のタイミングを示すタイミングチャートである。
【図１１】本実施形態の空間ポインティング部が生じる視覚的変化と撮影部により撮影される映像の一例を示す図である。
【図１２】本実施の形態のポインティングシステムの各ユニットの動作の一例を説明するための図である。
【図１３】本実施形態の撮影部で撮影された映像と、表示部で表示される画面の一例を示す図である。
【図１４】本実施形態の指示部で円状の軌跡を描いたときに表示部で表示される画面の一例を示す図である。
【図１５】本実施形態の指示部を水平に一定速度で移動させたときに表示部で表示される画面の一例を示す図である。
【図１６】本実施形態の空間ポインティング部の制御回路の動作を表す状態遷移図である。
【図１７】本実施形態の第１処理装置の各構成要素の動作のタイミングを示すタイミングチャートである。
【図１８】本実施の形態の撮影部で撮影される２種類の映像と、それらを合成して得られる第３の映像の一例を示す図である。
【図１９】本実施の形態の指示部で円状の軌跡を描いたときに表示部で表示される画面の一例を示す図である。
【図２０】本実施の形態の制御部で画素の色情報が置き換えられる領域を表す図である。
【図２１】本実施の形態の制御部で画素の色情報が置き換えられる領域を自動的に算出する方法を説明するための図である。
【図２２】文献記載の技術の遠隔ポインティングシステムにおける画面表示の例を示す図である。
【発明を実施するための形態】
【００３５】
（第１の実施の形態）
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００３６】
図１は、本発明の実施の形態に係るポインティングシステム１の構成を示す機能ブロック図である。
同図に示すように、ポインティングシステム１は、第１処理装置１００と、第２処理装置２００と、を備え、第１処理装置１００および第２処理装置２００はＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットなどのネットワーク３を介して互いに接続される。各装置とネットワーク３の接続は、無線でも有線でもよい。
【００３７】
本実施形態のポインティングシステム１において、第１処理装置１００と第２処理装置２００は、たとえば、離れた場所にそれぞれ設置することができる。特に限定しないが、設置場所は、同じ部屋の離れた場所、異なる部屋、異なるフロア、異なる建物、または異なる地域などとすることができる。
【００３８】
第１処理装置１００は、制御部１１０と、空間ポインティング部１４０と、撮影部１４２と、を備えている。また、第２処理装置２００は、制御部２１０と、表示部２３０と、指示部子機２５０と、指示部親機２８０と、を備えている。第２処理装置２００の制御部２１０と第１処理装置１００の制御部１１０は、ネットワーク３を介して接続される。制御部２１０および制御部１１０とネットワーク３との接続は、有線または無線のいずれでもよい。
【００３９】
第２処理装置２００は、第１処理装置１００で撮影された遠隔の対象空間の映像を画面に表示してユーザＢに提示するとともに、指示部子機２５０を用いたユーザＢによる対象空間の映像画面への指示を受け付ける。第１処理装置１００は、対象空間の映像を撮像して第２処理装置２００に送信するとともに、ユーザＡが見ている対象空間に対し、ユーザＢによる指示位置に視覚的変化を発生させる。
【００４０】
すなわち、本実施形態のポインティングシステム１は、たとえば、電子会議などで、ユーザＡがホワイトボード１３２などの前に居る状況で、対象空間内のホワイトボード１３２などを撮影した映像を、ネットワーク３を介して送信し、ユーザＢが見る表示部２３０の画面上に映像を表示する。
そして、ユーザＢが表示部２３０に表示された撮影映像の画面上で所望の位置をポイントすると、その情報がユーザＡ側に送信され、空間ポインティング部１４０が、対象空間内の対応する位置に視覚的変化を発生させ、たとえば、光ビーム１７０によるポインタ１７２をホワイトボード１３２に照射する。これにより、ユーザＡにユーザＢが指示した位置を伝達することができる。
【００４１】
ポインティングシステム１の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
【００４２】
第１処理装置１００および第２処理装置２００は、たとえば、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やメモリ、ハードディスク、および通信用ネットワークインターフェースを備え、キーボードやマウス等の入力装置やディスプレイやプリンタ等の出力装置と接続されるサーバコンピュータやパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、またはそれらに相当する装置により実現することができる。そして、ＣＰＵが、ハードディスクに記憶されるプログラムをメモリに読み出して汎用のオペレーティングシステムで実行することにより、上記各ユニットの各機能を実現することができる。なお、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
【００４３】
本実施形態のポインティングシステム１は、対象空間の撮影映像を画面上に表示する表示部２３０と、対象空間の撮影映像を表示した画面上にて目標座標の指示を受け付ける指示受付部（指示部子機２５０、指示部親機２８０、赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２４０ａ〜ｄ）と、目標座標に対し、対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング部１４０と、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を表示部２３０の画面上に表示させる制御部（１１０、２１０）と、を備える。
【００４４】
また、本実施形態のポインティングシステムは、対象空間を撮影する撮影部１４２をさらに備え、制御部（１１０、２１０）は、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、空間ポインティング部１４０が視覚的変化を発生させない時間間隔に、撮影部１４２に対象空間を繰り返し撮影させることにより得られる一連の画像から構成される視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させる。
【００４５】
以下、本実施形態のポインティングシステム１の各構成要素について、詳細に説明する。
はじめに、対象空間に遠隔から指示された位置に視覚的変化を発生させる第１処理装置１００について説明する。
第１処理装置１００において、撮影部１４２は、ポインティング対象となる物体が設置された空間の映像を撮影する（ここでは、ポインティング対象として文字の描かれたホワイトボード１３２の例を図示している）。撮影部１４２により撮影を行う時間間隔は、制御部１１０より入力される制御信号により制御される。撮影部１４２には、たとえば、一般的に入手可能ＩＥＥＥ１３９４カメラなどが使用できる。
【００４６】
制御部１１０は、撮影部１４２および空間ポインティング部１４０に接続されており、撮影部１４２からの撮影映像の読み出すとともに、空間ポインティング部１４０へのポインティング指示などを行う。また、制御部２１０と制御部１１０は、互いにネットワーク３を介して映像情報や映像内座標情報などのやりとりを行う。
【００４７】
空間ポインティング部１４０は、通常、撮影部１４２と一体化されて設置される装置で、光ビーム１７０を対象空間に照射することにより、空間内の特定位置に視覚的変化を生じさせる。図１では、視覚的変化領域としてポインタ１７２が示されている。この視覚的変化により、ユーザＡにポインティング指示を提示できる。
【００４８】
空間ポインティング部１４０により光ビーム１７０の照射を行う時間間隔は制御部１１０により制御される。空間ポインティング部１４０としては光ビーム１７０のオンオフと照射方向が制御可能な赤色レーザポインタが利用できる。
【００４９】
図２は、空間ポインティング部１４０の構成例を示すブロック図である。同図を参照すると、空間ポインティング部１４０は、レーザ１４８と、２組のガルバノスキャナ１５２ａ、ｂ（以下、特に区別が不要な場合は、「ガルバノスキャナ１５２」と呼ぶ）と、ミラー１５０ａ、ｂ（以下、特に区別が不要な場合は、「ミラー１５０」と呼ぶ）と、制御回路１４６とを有する。レーザ１４８は、指向性を有する光ビーム１７０を発生するために使用し、一般的に市販されているクラス２のレーザポインタが利用できる。
【００５０】
ガルバノスキャナ１５２は、流す電流の量に応じて、取り付けられたミラー１５０の方向を高速に制御するデバイスで、図３のような構造を有する。コイル１６４に電流を流すと磁性体１６６を介して磁場が発生し、磁石１６２に対し磁力を発生する。磁石１６２はこの磁力がバネ１６０の応力と釣り合うまで回転する。そして、磁石１６２の回転に伴いそれに取り付けられたミラー１５０の角度が変化する。
【００５１】
このようなガルバノスキャナ１５２はレーザプロジェクタなど、光ビーム１７０を偏向して映像を生成する装置にて一般的に使用されているもので、専門のメーカから既製品を入手することも可能である。図２に戻り、制御回路１４６は、図１の制御部１１０から接続ケーブルを介して受け取る偏向角度情報を元にガルバノスキャナ１５２に流れる電流を調整し、光ビーム１７０の方向を制御する。制御回路１４６としては、一般的なマイコンとドライバ回路を組み合わせて使用できる。
【００５２】
次に、図１に戻り、遠隔の対象空間の映像を画面表示し、ユーザＢによる指示を受け付け対象空間に伝達する第２処理装置２００について説明する。
第２処理装置２００において、制御部２１０は、表示部２３０および指示部親機２８０に接続されており、表示部２３０への映像の表示制御や指示器からの映像内座標の読み出しなどを行う。
【００５３】
表示部２３０は、たとえば、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイなどである。表示部２３０の画面には、撮影部１４２により撮影された対象空間、ここでは、ホワイトボードの映像２３２が表示される。表示部２３０の画面の四隅には、４つの赤外ＬＥＤ２４０が配置されている。なお、図１では、４つの赤外ＬＥＤ２４０は、符号２４０ａ、２４０ｂ、２４０ｃ、２４０ｄでそれぞれ示している。以下、特に、４つ赤外ＬＥＤ２４０を区別する必要がない場合は、「赤外ＬＥＤ２４０」と呼ぶものとする。
【００５４】
また、第２処理装置２００は、ユーザＢが、表示部２３０に表示された映像の特定の位置（映像内座標）を指し示すために使用する指示器として、指示部子機２５０および指示部親機２８０を含む。指示部子機２５０は、ユーザＢが表示部２３０に表示された対象空間の映像に対して指示をするものであり、第２処理装置２００において、表示部２３０のホワイトボードの映像２３２上に指示部子機２５０によって指示された位置に、カーソル２４２が表示されるようになっている。指示部親機２８０は、指示部子機２５０によって指示された位置を第１処理装置１００に伝達する。
【００５５】
図４は、指示部の一部である指示部子機２５０の構成例を示すブロック図である。同図を参照すると、指示部子機２５０は、カメラモジュール２５２と、スイッチ２５４と、演算回路２５６と、無線モジュール２５８と、有する。
【００５６】
カメラモジュール２５２は、赤外領域で感度を有するデバイスで、図１の表示部２３０の四隅に配置される赤外ＬＥＤ（赤外ＬＥＤ２４０ａ〜ｄ）を撮影し、それらの位置を特定する。カメラモジュールとしては、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや相補性金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの半導体イメージセンサを搭載したカメラに可視光カットフィルタを取り付けたものが使用できる。
【００５７】
スイッチ２５４は、ユーザＢがポインティングを行いたい時に押下するもので、特に限定されないが、たとえば、一般的なプッシュスイッチが使用できる。演算回路２５６は、カメラモジュール２５２により撮影された赤外ＬＥＤ２４０ａ〜ｄの位置を元に指示部子機２５０の指し示す方向と表示部２３０の画面の交点、すなわち、映像画面上での座標（Ｘ，Ｙ）を算出する。さらに、演算回路２５６はスイッチ２５４の押下状態の変化（ボタンイベント）も検出し、指示部親機２８０に受け渡す。演算回路２５６としては、一般的なマイコンが使用できる。
【００５８】
無線モジュール２５８は、演算回路２５６より算出された映像内座標およびボタンイベントを、無線リンクを介して指示部親機２８０に送信する。無線モジュール２５８としては、たとえば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）などの無線規格に準ずる無線トランシーバが使用できる。指示部親機２８０と制御部２１０の間の接続は、特に限定されず、汎用のインタフェースを用いることができ、たとえば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４、または、ＲＳ２３２Ｃ等でもよい。
【００５９】
図１に戻り、制御部２１０は、指示部親機２８０から受け取った映像内座標（Ｘ，Ｙ）とボタンイベントに基づいて、表示部２３０の画面上のカーソル２４２表示を更新するとともに、同情報をネットワークパケットに内包して、ネットワーク３を介し制御部１１０に送信する。制御部１１０に送信されるボタンイベントは、前述した対象空間内への指示位置に発生させる視覚的変化の制御、すなわち、光ビーム１７０のオン／オフ制御の指示となる。ボタンイベントには、たとえば、スイッチ２５４が押し下げられた状態に遷移したことを表すボタンダウンイベントと、スイッチ２５４が押し下げられた状態から離された状態に遷移したこと表すボタンアップイベントと、を含むことができる。
【００６０】
以上のように構成された本実施の形態の第１処理装置１００および第２処理装置２００は、コンピュータプログラムに対応する各種の処理動作を、各制御回路等に組み込まれているＣＰＵが実行することにより、前述のような各種ユニットや回路が各種機能として実現される。
【００６１】
本実施形態のコンピュータプログラムは、第１処理装置１００および第２処理装置２００を実現させるためのコンピュータに、対象空間の撮影映像を表示部２３０の画面上に表示する表示手順と、対象空間の撮影映像を表示した画面上にて目標座標の指示を指示部子機２５０から受け付ける指示受付手順と、目標座標に対し、対象空間内の対応する位置に視覚的変化を空間ポインティング部１４０に発生させる発生手順と、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を表示部２３０の画面上に表示させる制御手順と、を実行させるように記述されている。
【００６２】
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。
【００６３】
このように構成された本実施形態のポインティングシステム１の動作について、以下に説明する。本実施形態の第１処理装置１００と第２処理装置２００を含むポインティングシステム１の全体の動作を説明する前に、まず、第１処理装置１００における撮影部１４２による対象空間の撮影動作と、空間ポインティング部１４０による対象空間への視覚的変化の発生動作について詳細に説明する。
以下に示すように、撮影部１４２と空間ポインティング部１４０の動作が、制御部１１０の制御信号により制御され、互いに動作の同期をとることにより、第１処理装置１００の対象空間に表示されたポインタ１７２を撮影した映像内の視覚的変化、すなわち、光ビーム１７０によるポインタ１７２の映像を抑制して第２処理装置２００に送信できることとなる。
【００６４】
はじめに、本実施形態の第１処理装置１００における撮影部１４２の動作について、説明する。
図５は、本実施形態の撮影部１４２の動作の一例を示すフローチャートである。
【００６５】
撮影部１４２は、ポインティング対象となる物体（この例ではホワイトボード１３２（図１））が設置された空間の動画映像を撮影する。動画映像の撮影は、カメラのシャッタを開く（ステップＳ１１）、一定時間（露光時間）露光する（ステップＳ１３）、シャッタを閉じる（ステップＳ１５）という一連の動作を高速（たとえば、３０Ｈｚ）でくり返す（ステップＳ１７のＮＯ、ステップＳ１９）ことにより行われる。本実施の形態で示されるシステムでは、シャッタの開くタイミングおよび閉じるタイミングは制御部１１０により制御される。
【００６６】
たとえば、制御部１１０は、撮影部１４２に対し、約３３ミリ秒（ｍｓ）の繰り返し間隔で、図６に示されるような矩形波状の制御信号を送信し、撮影部１４２は制御信号がＨｉｇｈの状態においてシャッタを開き、Ｌｏｗの状態においてシャッタを閉じるように構成されているものとする。すると撮影部１４２では、制御信号の立ち上がりのタイミングでシャッタが開き、１５ｍｓの間露光を行って、制御信号の立ち下がりのタイミングでシャッタが閉じることになる。この結果、撮影部１４２からは、制御部１１０の制御するタイミングにて、毎秒３０フレームの映像（静止画列）が生成されることになる。撮影された映像は随時、撮影部１４２から制御部１１０に送られる。
【００６７】
なお、ここでは、制御部１１０が撮影部１４２を制御する方法として、制御信号がＨｉｇｈの状態においてシャッタを開き、Ｌｏｗの状態においてシャッタを閉じるように構成された例を示したが、制御信号の立ち上がりのタイミングでシャッタが開いた後、撮影部１４２に内蔵されたクロックがあらかじめ定められた一定カウント経過後にシャッタを閉じるような制御方法なども考えられる。なお、このような制御はＩＥＥＥ１３９４カメラなどのシャッタ制御方法として一般的に知られている内容であるので詳細な説明は省略する。
【００６８】
次に、本実施形態の第１処理装置１００の空間ポインティング部１４０の動作について説明する。
以下、本実施形態の第１処理装置１００の空間ポインティング部１４０におけるレーザ制御処理について、具体的なレーザ出力の制御方法の一例を、図９および図１０を用いて説明する。図９は、指示部子機２５０による指示に応じた空間ポインティング部１４０の制御回路１４６の状態遷移図である。図１０は、制御部１１０が撮影部１４２および空間ポインティング部１４０に送信する制御信号と、撮影部１４２のシャッタの開閉状態および空間ポインティング部１４０のレーザのオンオフ状態の関係を表すタイミングチャートである。
【００６９】
初期状態Ｓ２１にある空間ポインティング部１４０の制御回路１４６（図２）は制御部１１０よりボタンダウンイベントを受信する（Ｓ３１）と、レーザ出力がオフの待機状態Ｓ２３に遷移する。待機状態Ｓ２３において、制御部１１０より受信している制御信号の立ち下がりを検出すると（Ｓ３３）、制御回路１４６はレーザオン状態Ｓ２５に遷移し、レーザ出力を開始する（図１０のボタンダウン以降参照）。同時にレーザオン状態Ｓ２５の持続時間の計測も行い、レーザオン状態Ｓ２５が所定の時間に達した場合（この例では１５ｍｓ）（Ｓ３５）、レーザ出力を停止して、再び待機状態Ｓ２３に遷移する。これを制御信号の繰り返し周波数（約３０Ｈｚ）にて繰り返す。
【００７０】
ボタンダウンイベント受信から待機状態Ｓ２３およびレーザオン状態Ｓ２５において、空間ポインティング部１４０の制御回路１４６（図２）は、制御部１１０から受け取った偏向角度に応じてガルバノスキャナ１５２（図２）のコイル１６４（図３）に電流を流し、ミラー１５０（図２）の角度を調整する。なお、ここで水平方向の偏向ではガルバノスキャナ１５２ａが、垂直方向の偏向ではガルバノスキャナ１５２ｂが、互いとは独立に制御される。また、この制御は通常、映像内座標（Ｘｉ，Ｙｉ）がサンプリングされる間隔（この例では１０Ｈｚ、すなわち１００ｍｓ）と比べ、はるか短い時間内に行われる。なお、ｉ（ただし、ｉ＝１，２，３，・・・）は制御部１１０の制御周期毎の値であることを示している。
【００７１】
レーザオン状態Ｓ２５もしくは待機状態Ｓ２３にて制御部１１０よりボタンアップイベントを受信した場合（Ｓ３９またはＳ３７）（レーザ出力がオンの場合は出力を停止し）、初期状態Ｓ２１に遷移する。なお、初期状態Ｓ２１においては制御信号の立ち下がりを検出してもレーザ出力はオフのままである（図１０のボタンアップ以降参照）。
【００７２】
このようにして、待機状態Ｓ２３とレーザオン状態Ｓ２５を制御信号に従って遷移を繰り返す間、恒常的にレーザ出力がオンされるのではなく、オンオフを繰り返すパルス状の光を発生させる制御を行うことができる。このオンオフ制御は、撮影部１４２と時間的に同期して制御される。
【００７３】
すなわち、撮影部１４２は、前記の制御の通り、制御信号の立ち上がりでシャッタが開き、その後１５ｍｓ間露光を行う動作をしているものとする。このような制御の結果、図１０で示される通り、撮影部１４２のシャッタの開いている時間間隔とレーザ出力がオンである時間間隔は交互に、相補的に発生することになる。
【００７４】
このようにして撮影部１４２により撮影される映像のフレームはたとえば、図１１（ｂ）のようなものとなる。すなわち、図１１（ａ）に示すような実際の空間の状態から、空間ポインティング部１４０（図１）が生じる視覚的変化（この例では、光ビームの像１８２）を取り除いた、図１１（ｂ）に示す映像が撮影部１４２（図１）により撮影される。一方で、この例の３０Ｈｚのように制御信号の繰り返し周波数が充分早い場合は、残像現象により、撮影対象の空間に居る人（たとえば、ユーザＡ）から見てレーザの光ビームの像１８２はほぼ恒常的に点灯しているように見える。
【００７５】
このようにして、第１処理装置１００において、撮影部１４２と空間ポインティング部１４０の光ビーム１７０の動作を上記説明したように制御することで、対象空間内に生じる視覚的変化を抑制した映像を第２処理装置２００に送信できることとなる。すなわち、本実施形態のポインティングシステム１では、制御部１１０と制御部２１０が、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、空間ポインティング部１４０が視覚的変化を発生させない時間間隔に、撮影部１４２に対象空間を繰り返し撮影させることにより得られる一連の画像から構成される視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させることができる。
【００７６】
次に、本実施の形態のポインティングシステム１における第１処理装置１００および第２処理装置２００によるデータ処理方法を以下に説明する。図７および図８は、本実施形態のポインティングシステム１全体の動作の一例を示すフローチャートである。なお、第２処理装置２００については、制御部２１０と指示部子機２５０に分けて処理を説明する。以下、図１、図４、図７、および図８を用いて説明する。
【００７７】
本実施形態のデータ処理方法は、対象空間の撮影映像を表示部２３０の画面上に表示し（図７のステップＳ２０５）、対象空間の撮影映像を表示した画面上にて目標座標の指示を受け付け（図７のステップＳ３０１のＹＥＳ）、目標座標に対し、対象空間内の対応する位置に視覚的変化を発生させ（図８のステップＳ１１５）、指示の結果として対象空間内に生じる視覚的変化を抑制した映像を表示部２３０の画面上に表示させる（図７のステップＳ２０５）。
【００７８】
図７および図８のフローチャートは、一連の処理が終了した後、先頭のステップに戻り、同じ処理を繰り返すものとする。ユーザからの開始指示または終了指示（スイッチの押下など）を受け付けた時に、処理が開始または終了するものとする。
【００７９】
図７に示すように、第１処理装置１００において、撮影部１４２（図１）で撮影され（図７のステップＳ１０１）、制御部１１０（図１）に送られた映像は、適当なエンコーダ（不図示）（たとえば、Ｈ．２６４規格）により圧縮符号化され（図７のステップＳ１０３）、ネットワーク３（図１）を介して制御部２１０（図１）に送信される（図７のステップＳ１０５）。
【００８０】
第２処理装置２００では、制御部２１０（図１）が圧縮映像を受信し（図７のステップＳ２０１のＹＥＳ）、受信した圧縮映像を対応するデコーダ（不図示）で復号し（図７のステップＳ２０３）、表示部２３０（図１）に表示し（図７のステップＳ２０５）、ステップＳ２０７に進む。なお、ステップＳ２０１で、映像を受信しない場合は（図７のステップＳ２０１のＮＯ）、ステップＳ２０３およびステップＳ２０５をバイパスしてステップＳ２０７に進む。
【００８１】
ユーザＢ（図１）が表示部２３０に表示されたホワイトボードの映像２３２（図１）を見て、ホワイトボード上の特定の場所をポインティングする意図を持ったとする。この場合、ユーザＢは指示部子機２５０（図１）のスイッチ２５４（図４）を押し、指示部子機２５０で画面を指さすような仕草をする。すると、指示部子機２５０の演算回路２５６がスイッチ２５４のオンを受け付け（図７のステップＳ３０１のＹＥＳ）、指示部子機２５０に内蔵されたカメラモジュール２５２（図４）では、赤外ＬＥＤ２４０ａ〜ｄ（図１）を含む像が撮影される（図７のステップＳ３０３）。一方、ステップＳ３０１で、スイッチ２５４の押下が検出されない場合は（図７のステップＳ３０１のＮＯ）、ステップＳ３０９に進む。
【００８２】
ステップＳ３０３で得られた情報を基に指示部子機２５０の演算回路２５６（図４）は、指示部子機２５０が指し示している、映像画面上での座標（Ｘ，Ｙ）を算出する（図７のステップＳ３０５）。カメラモジュール２５２で撮影された赤外ＬＥＤ２４０ａ〜ｄの映像上の座標をそれぞれ、（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）、（Ｘｃ，Ｙｃ）、（Ｘｄ，Ｙｄ）とすると、指示部子機２５０が指し示している、映像画面上での座標（Ｘ，Ｙ）は以下の式（１）および式（２）より与えられる。
【００８３】
Ｘ＝Ｋ１［｛Ｙａ−Ｘａ（Ｙａ―Ｙｄ）／（Ｘａ−Ｘｄ）−Ｙｂ＋Ｘｂ（Ｙｂ−Ｙｃ）／（Ｘｂ−Ｘｃ）｝／｛（Ｙｂ−Ｙｃ）／（Ｘｂ−Ｘｃ）−（Ｙａ−Ｙｄ）／（Ｘａ−Ｘｄ）｝］ ・・・式（１）
Ｙ＝Ｋ２｛Ｘ（Ｙａ−Ｙｄ）／（Ｘａ−Ｙｄ）＋Ｙａ−Ｘａ（Ｙａ−Ｙｄ）／（Ｘａ−Ｘｄ）｝ ・・・式（２）
【００８４】
ただし、ここでＫ１およびＫ２は、カメラモジュール２５２の画角と画素数および赤外ＬＥＤ２４０ａ〜ｄの配置間隔により決まる定数で、キャリブレーションを行うことにより求まる。なお、ここで述べた映像画面上での座標の求め方については、特許文献３（特許第３４２２３８３号公報）などに記載されているので詳細は省略する。
【００８５】
上記の処理の結果算出された映像画面上での座標（Ｘ，Ｙ）は無線モジュール２５８（図４）、指示部親機２８０（図１）を介して、制御部２１０に送られる（図７のステップＳ３０７）。このとき、ボタンダウンイベントも送信される。
【００８６】
そして、制御部２１０は、ボタンダウンイベントと座標を受信すると（図７のステップＳ２０７のＹＥＳ）、撮影部１４２より得られた映像の座標（Ｘ，Ｙ）の位置にカーソル２４２（図１）を表示部２３０の画面に重畳して表示する（図７のステップＳ２０９）。表示するカーソル２４２は矢印のような抽象的な記号でもよいが、空間ポインティング部１４０が生じる視覚的変化に近いものであることが望ましい。たとえば、この例であると赤色レーザポインタの照射を連想させるカーソル２４２が望ましい。
【００８７】
ここで、ユーザＢが指示部子機２５０のスイッチ２５４を押しながら（図８のステップＳ３２１のＮＯ）、指示部子機２５０で円などの軌跡を描くジェスチャを行ったものとする。スイッチ２５４が押されている間（図８のステップＳ３２１のＮＯ）、図７のステップＳ３０９に戻り、指示部子機２５０から制御部２１０へはこの軌跡を表す、複数の映像内座標（Ｘ，Ｙ）が、カメラモジュール２５２が赤外ＬＥＤ２４０を撮影する間隔（たとえば、１０Ｈｚ）で送られる（図７のステップＳ３０９、ステップＳ３１１、ステップＳ３１２）。これら座標を（Ｘｉ，Ｙｉ）（ただし、ｉ＝１，２，３，・・・）と呼ぶことにする。制御部２１０は映像内座標（Ｘｉ，Ｙｉ）を受け取ると（図８のステップＳ２１３のＹＥＳ）、逐次、表示部２３０の画面上のカーソル２４２の表示位置を更新する（図８のステップＳ２１５）。したがって、表示部２３０画面上では、ユーザＢのジェスチャにより描かれる軌跡に沿ってカーソルが移動することになる。
【００８８】
そして、スイッチ２５４が押し下げられた状態から離された場合（図８のステップＳ３２１のＹＥＳ）、スイッチ２５４が押し下げられた状態から離された状態に遷移したことを表すボタンアップイベントが制御部２１０に通知される（図８のステップＳ３２３）。
上述したように図７のステップＳ３０７では、指示部子機２５０から指示部親機２８０を介して制御部２１０へ、映像内座標（Ｘｉ，Ｙｉ）に加え、スイッチ２５４が押し下げられた状態に遷移したことを表すボタンダウンイベントが制御部２１０に通知されるとともに、スイッチ２５４が押し下げられた状態から離された状態に遷移したことを表すボタンアップイベントが制御部２１０に通知されるものとする。制御部２１０はこれらボタンイベントを用いて（図７のステップＳ２０７のＹＥＳ、図８のステップＳ２２１のＹＥＳ）、表示部２３０画面上へのカーソル２４２の表示（図７のステップＳ２０９）、または消去（図８のステップＳ２２３）を制御する。
【００８９】
このように、制御部２１０は、受け取った映像内座標（Ｘｉ，Ｙｉ）およびボタンイベントを表示部２３０の画面上のカーソル２４２表示に反映させると共に、同情報をネットワークパケットに内包して、ネットワーク３を介し制御部１１０に送信する（図７のステップＳ２１１、図８のステップＳ２１７、ステップＳ２２５）。たとえば、ここで、ネットワーク３にて平均約Ｔミリ秒（ｍｓ）の遅延が発生したものとすると、制御部１１０は、ユーザＢが指示部子機２５０のスイッチ２５４を押して表示部２３０の画面上を指し示してから約Ｔ［ｍｓ］後にボタンイベントおよび映像内座標（Ｘｉ，Ｙｉ）を受け取ることになる（図８のステップＳ１１１のＹＥＳ）。
【００９０】
第１処理装置１００において、制御部１１０は、制御部２１０から受け取った映像内座標（Ｘｉ，Ｙｉ）を空間ポインティング部１４０のレーザの偏向角度に換算する（図８のステップＳ１１３）。空間ポインティング部１４０が撮影部１４２に近接しており、カメラとレーザの光軸が一致していると近似できるものとすると、レーザの水平方向の偏向角度αｉｈおよび垂直方向の偏向角度αｉｖは以下の式で求められる。ここで、ｉは制御部１１０の制御周期毎の値であることを示している。
【００９１】
ｔａｎαｉｈ＝（２Ｘｉ／Ｘｎｕｍ−１）・ｔａｎθｈ／２ ・・・式（３）
ｔａｎαｉｖ＝（２Ｙｉ／Ｙｎｕｍ−１）・ｔａｎθｖ／２ ・・・式（４）
【００９２】
ここで、Ｘｎｕｍ、Ｙｎｕｍはそれぞれ撮影部１４２で撮影される映像の水平解像度および垂直解像度、θｈ、θｖはそれぞれ撮影部１４２の水平画角および垂直画角である。
【００９３】
制御部１１０は算出した偏向角度を空間ポインティング部１４０の制御回路１４６に送信し、空間ポインティング部１４０による光ビーム１７０の偏向角度を制御するとともに、第２処理装置２００から受信したボタンイベントに応じて、光ビーム１７０のオン／オフを制御する（図８のステップＳ１１５）。
【００９４】
このようにして、本実施形態のポインティングシステム１では、制御部１１０と制御部２１０が、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、空間ポインティング部１４０が視覚的変化を発生させない時間間隔に、撮影部１４２に対象空間を繰り返し撮影させることにより得られる一連の画像から構成される視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させることができる。
【００９５】
以下に、上述したポインティングシステム１の動作に従って、各ユニットが動作した時の具体例を図１２乃至図１４を用いて説明する。まず、ポインティングシステム１全体の各ユニットの動作タイミングを説明し、その後、第２処理装置２００の表示部２３０の画面上に表示される映像と、第２処理装置２００側のユーザによって指示された位置に該当する、第１処理装置１００側の対象空間内の位置に発生させられる視覚的変化とについて具体例を挙げて説明する。
【００９６】
図１２は、ポインティングシステム１の各ユニットの動作の一例を示すタイミングチャートである。同図に示すように、撮影部１４２で撮影された映像１９２は、既に述べたとおり、制御部１１０にて、適当なエンコーダにより圧縮符号化され、ネットワーク３を介して制御部２１０に送信され、制御部２１０で復号の上、表示部２３０に表示される。このとき、ネットワーク３にて約Ｔ［ｍｓ］の遅延を受けることになる。なおまた、映像内座標（Ｘｉ，Ｙｉ）およびボタンイベント１９４の転送も同様に、ネットワーク３にて約Ｔ［ｍｓ］の遅延を受ける。すなわち、指示部子機２５０でユーザＢが指示してから、表示部２３０の画面上に映像が反映されるまでに約２Ｔ［ｍｓ］遅延することになる。
【００９７】
既に述べたとおり表示部２３０では、指示部子機２５０のスイッチ２５４が押し下げられている間は、撮影された映像内の映像内座標（Ｘｉ，Ｙｉ）に赤色レーザポインタの照射を連想させるカーソル２４２を重畳して表示する。したがって、図１３（ａ）にて示される、撮影された映像１９２に対し、図１３（ｂ）に示す通り、表示部２３０に表示される映像は画面３０２となる。
【００９８】
ここで、図１４に示すとおり、ユーザＢが指示部子機２５０のスイッチ２５４を押しながら、指示部子機２５０で円などの軌跡を描くジェスチャを行ったものとする。すると、スイッチ２５４が押されている間、指示部子機２５０から制御部２１０へはこの軌跡３０４を表す、複数の映像内座標（Ｘｉ，Ｙｉ）が、一定間隔で送られる。制御部２１０が映像内座標（Ｘｉ，Ｙｉ）を受け取ると、直ちに、カーソル２４２の表示位置を更新する。
【００９９】
したがって、表示部２３０画面上では、ユーザＢのジェスチャによって、同図の位置Ａにカーソル２４２が表示されることになる。一方で、指示部子機２５０から送られた映像内座標（Ｘｉ，Ｙｉ）により制御された空間ポインティング部１４０が生じる視覚的変化は、実際の空間内では位置Ｂに発生しているが、先述の撮影部１４２と空間ポインティング部１４０の制御機構により表示部２３０の画面上の映像には現れない。
【０１００】
以上説明したように、本発明のポインティングシステム１によれば、撮影部１４２に視覚的変化を抑制した映像を撮影させるように空間ポインティング部１４０と撮影部１４２を制御する制御部１１０と、遅延した視覚的フィードバックを抑制した映像を表示する表示部２３０と、を備えることで、表示遅延およびポインティングの精度と操作性の問題を解決することができる。
【０１０１】
本発明によれば、たとえば、ビデオ映像に映った遠隔地の実物体を指し示して参照する遠隔ポインティングシステム１が遅延を受けている際、ユーザＢに遅延がない状況と同等のポインティング感を提供し、ポインティングに要する時間の短縮とポインティング精度の向上を実現できるという効果を奏する。
【０１０２】
このような効果が生じる理由は、本発明の制御部１１０および２１０が、レーザポインタなどの遠隔空間内において視覚的変化を生じる空間ポインティング部１４０と撮影部１４２を制御して、視覚的変化の度合いが少ない映像を生成し、遅延した視覚的フィードバックを抑制するためである。この結果、ユーザＢは表示部２３０に表示されたカーソルなどの目印を実際のレーザポインタの像と錯覚するようになる。カーソルはユーザのポインティング操作にほぼ遅延無く反応するため、遠隔地との間のネットワーク３に遅延がある状況でも、ユーザＢに遅延がない状況と同等のポインティング感を与えることができる。このようにして、ユーザＢにおける、映像内のレーザポインタの像などの遅延した視覚的フィードバックによる混乱を避けることができる。
【０１０３】
本発明のポインティングシステムによれば、このように、遠隔地間の情報の伝送に遅延を伴う状況下において、ビデオ映像に映った遠隔地の実物体を指し示して参照する遠隔ポインティングシステムの使い勝手を向上することができる。より具体的には、遅延がある状況において、ユーザＢに遅延がない状況と同等のポインティング感を提供し、ポインティングに要する時間の短縮とポインティング精度の向上を実現することができる。
【０１０４】
なお、上記実施形態において、表示部２３０にて、実際のレーザポインタなどの像を表示しない結果、ユーザＢの指し示している位置と、実際の空間で指し示される位置の乖離が、上述した文献記載の技術等と比べて増加するようにも感じられるが、実際にはそのようなことはない。たとえば、図１５に示すように、ユーザＢが画面上を水平方向に一定の速度で指し示したものとする。時刻ｔにおいてはＡの位置を、時刻ｔ−Δｔ、ｔ−２Δｔにおいては、それぞれ、ＢおよびＣの位置を指し示していたものとする。ネットワークを伝搬する片道の遅延がΔｔであるとすると、時刻ｔにおいては時刻ｔ−Δｔに取得された座標、すなわちＢの座標が空間ポインティング部１４０に反映された段階であるので、時刻ｔにおいて、実際の空間で指し示される位置はＢである。
【０１０５】
一方で、画面上に表示されているのは時刻ｔ−２Δｔに撮影された映像であるので、仮にポインタの像が撮影されていたものとすると、それはＣの位置に表示される。したがって、ポインタの像によるフィードバックの方法では、実際の空間で指し示される位置とΔｔ相当分の乖離が生じる。一方で、本発明では、ユーザＢの指し示している位置Ａにカーソルを視覚的フィードバックして表示する。この位置もポインタの像によるフィードバックの方法と同じく、実際の空間で指し示される位置とΔｔ相当分の乖離がある。したがって、本技術の方法においても、視覚的フィードバックと、実際の空間で指し示される位置の乖離は、乖離の方向は異なるが、同程度である。
【０１０６】
なお、音声チャネルを併用したシステムにおいては本発明の生じる性質の乖離は有利に働く。なぜならば、図１５に示すように、ユーザＢが表示部２３０の画面上を水平方向に一定の速度で指示部子機２５０を用いて指し示しながら、視覚的フィードバックに対応した場所の文字を発話したものとする。
発話した音声はマイク（不図示）で集音され、適当なエンコーダ（たとえば、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）規格）（不図示）により圧縮符号化され、制御部２１０からネットワーク３を介して制御部１１０に送信することができる。
【０１０７】
音声データと映像内座標データが同程度の遅延Δｔを受けるものとすると、第１処理装置１００側の遠隔地においては、音声データと映像内座標データの両者がほぼ同時に到着するため、たとえば、時刻ｔにおいては、空間ポインティング部１４０が位置Ｂを指し示すと共に、ユーザＢの発した「い」の音声が遠隔地に報じられることになる。
【０１０８】
一方で、ポインタの像によるフィードバックの方法では、たとえば、ユーザＢは時刻ｔに位置Ｃにポインタ像が表示された時に初めて「あ」を発声するので、時刻ｔ＋Δｔにこの音声が遠隔地に到着し報じられるころには、空間ポインティング部１４０は位置Ａ、すなわち「う」の文字を指し示していることになり、音声とレーザポインタの指し示す位置に差が生じてしまう。このように、ポインタの像によるフィードバックの方法に比較して、本発明は、ポインティング操作に欠かせない音声指示との併用においても、優れた特性を発揮する。
【０１０９】
（第２の実施の形態）
本実施形態のポインティングシステム１は、上記実施の形態とは、撮影部１４２が、この視覚的変化を生じている間の映像（第１の映像）と、視覚的変化を生じていない間の映像（第２の映像）を区別して撮影する点で相違する。本実施形態のポインティングシステム１の各構成要素は、上記実施形態と同様な構成を有し、制御部１１０による撮影部１４２と空間ポインティング部１４０の制御方法、および制御部（１１０、２１０）が生成する映像の生成方法が異なる。
【０１１０】
本実施形態のポインティングシステムは、対象空間を撮影する撮影部１４２をさらに備え、制御部（１１０、２１０）は、視覚的変化が生じる時間間隔と視覚的変化が生じない時間間隔が繰り返すように、空間ポインティング部１４０に、対象空間内の対応する位置に視覚的変化を発生させ、視覚的変化が生じる時間間隔に撮影部１４２が繰り返し撮影することにより得られる一連の画像から構成される第１の映像、および視覚的変化が生じない時間間隔に撮影部１４２に繰り返し撮影させることにより得られる一連の画像から構成される第２の映像を取得し、第１の映像および第２の映像に基づいて、視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させる。
【０１１１】
本実施の形態では、上記実施形態同様に、空間ポインティング部１４０は、視覚的変化を生じさせる時間間隔と、視覚的変化を生じさせない時間間隔を有する。
【０１１２】
以下、本実施形態のポインティングシステム１のレーザ出力の制御方法の一例について、図１６および図１７を用いて説明する。図１６は、空間ポインティング部１４０の制御回路１４６の状態遷移図である。図１７は、制御部１１０が撮影部１４２および空間ポインティング部１４０に送信する制御信号と、撮影部１４２のシャッタの開閉状態および空間ポインティング部１４０のレーザのオンオフ状態の関係を表すグラフである。
【０１１３】
図１６の状態遷移図は、上記実施形態の図９とは、待機状態Ｓ２３における動作が異なる。すなわち、上記実施形態では、待機状態Ｓ２３において、制御部１１０より受信している制御信号の立ち下がりを検出すると（Ｓ３３）、制御回路１４６はレーザオン状態Ｓ２５に遷移し、レーザ出力を開始する。本実施形態では、さらに待機状態Ｓ２３において、制御部１１０より受信している制御信号の立ち上がりを検出すると（Ｓ４１）、制御回路１４６はレーザオン状態Ｓ２５に遷移し、レーザ出力を開始する。そして、いずれの場合も、同時にレーザオン状態Ｓ２５の持続時間の計測も行い、レーザオン状態Ｓ２５が所定の時間に達した場合（この例では１５ｍｓ）（Ｓ３５）、レーザ出力を停止して、再び待機状態Ｓ２３に遷移する。
【０１１４】
そして、図１７に示すように、制御部１１０は、制御信号を約３３ｍｓの間隔で空間ポインティング部１４０および撮影部１４２に送信する。空間ポインティング部１４０は、ボタンダウンイベントからボタンアップイベントまでの間は、制御信号の立ち上がりの検出に伴い、レーザ出力を１５ｍｓ間オンに設定する。一方、撮影部１４２は、制御信号の立ち上がり、立ち下がりの両方においてシャッタを１５ｍｓ間開放する。この結果、図１８（ａ）に示すように奇数フレームでは、空間に視覚的変化が生じた映像３１１が、図１８（ｂ）に示すように、偶数フレームでは、空間に視覚的変化が生じていない映像３１２が、それぞれ３０Ｈｚの周波数で撮影されることになる。ここでは、前者を第１の映像３１１、後者を第２の映像３１２と呼ぶものとする。
【０１１５】
制御部１１０は、第２の映像３１２に第１の映像３１１を画像処理により透過性を持たせて加算し、図１８（ｃ）で示されるような第３の映像３１３を生成する。ここで、透過性を持たせて画像同士を加算する方法としては、一般的に知られたアルファブレンディングが使用できる。なお、透過の度合いはユーザにより変更できることが望ましい。
【０１１６】
すなわち、本実施形態のポインティングシステム１において、制御部１１０は、第１の映像３１１と、第２の映像３１２とを異なる重み付けで加算することにより視覚的変化を抑制した第３の映像３１３を生成する。
【０１１７】
このようにして第３の映像３１３が生成された後の動作は、上記実施形態と同様、第３の映像３１３は制御部１１０にて適当なエンコーダにより圧縮符号化、ネットワーク３を介して制御部２１０に送信され、制御部２１０で復号の上、表示部２３０の画面上に表示される。
【０１１８】
また、表示部２３０では、指示部子機２５０のスイッチが押下られている間は、撮影された映像内の映像内座標（Ｘｉ，Ｙｉ）に赤色レーザポインタの照射を連想させるカーソル２４２を重畳して画面上に表示する。したがって、ユーザＢが指示部子機２５０のスイッチを押しながら、指示部子機２５０で円などの軌跡を描くジェスチャを行ったものとすると、表示部２３０には図１９のように、カーソル２４２と、レーザポインタなどの像３２１が異なる強度で（レーザポインタの像の方が薄く）表示される。
【０１１９】
本実施形態において、このレーザポインタなどの像３２１の強度を調整するための構成を備えてもよい。たとえば、ポインティングシステム１は、像３２１の強度のレベル調整指示を受け付ける受付部（不図示）と、受け付けたレベルにしたがって像３２１の強度を調整する調整部（不図示）と、調整された映像のプレビュー画面をユーザＡまたはＢに提示し、確認を促す確認部（不図示）と、をさらに備えてもよい。受付部、蓄積部、および確認部は、制御部１１０または制御部２１０のいずれに備えてもよく、いずれか一方または両方に部分的または全てを備えてもよい。
【０１２０】
受付部は、たとえば、調整設定画面でユーザＡまたはＢに、第１の映像３１１の透過性をパーセンテージや数値の入力や、レベル調整用のスライダの操作を促し、設定を受け付けることで、レベル調整指示として受け付ける。確認部は、調整設定画面でレベル調整時に、調整後の映像をプレビュー画面に表示し、ユーザＡまたはＢに提示して確認を促す。調整結果を参照しながら、ユーザＡまたはＢはレベル調整を行うことができる。
【０１２１】
ユーザＢは、第１の映像３１１の透過性、すなわちレーザポインタ像の表示部２３０上での強度を認知的に気にならないレベルまで調整することにより、映像内の遅延した視覚的フィードバックによる混乱を避けることができる。また、それ同時に、レーザポインタの像に注視するか、もしくは透過性を再度調整することにより実際の空間におけるレーザポインタの像を認知することもできるので、空間ポインティング機器が正しく動作していることの動作確認や、ネットワークの遅延具合も把握しながら、精度高いポインティング操作を実現することができる。
【０１２２】
なお、上記例では、第２の映像３１２に第１の映像３１１を、透過性を持って加算する例を示したが、第１の映像３１１と第２の映像３１２の差分、すなわち、レーザポインタ像のみの映像を白黒映像に変換した上で、再度第２の映像３１２に透過性を持って加算する方法なども考えられる。こうすることにより、よりユーザＢの認知に対し、レーザポインタの像の影響を弱くすることが可能である。
【０１２３】
以上説明したように、本実施形態のポインティングシステム１によれば、上記実施形態と同様な効果を奏するとともに、レーザポインタ像の表示部２３０上での強度を認知的に気にならないレベルまで調整することにより、映像内の遅延した視覚的フィードバックによる混乱を避けることができる。
【０１２４】
（第３の実施の形態）
本実施形態のポインティングシステム１は、上記実施の形態とは、視覚的変化を抑制した映像の生成方法が、指示部子機２５０により指定される映像内座標近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換える点で相違する。それ以外の構成および動作については、本実施形態のポインティングシステム１は、上記実施形態のいずれと組み合わせてもよい。
【０１２５】
本実施形態のポインティングシステム１は、対象空間を撮影する撮影部１４２をさらに備え、制御部（１１０、２１０）は、撮影部１４２が撮影した映像に対し、視覚的変化が生じる位置近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより視覚的変化を抑制した映像を生成し、生成された視覚的変化を抑制した映像を表示部２３０の画面上に表示させる。
【０１２６】
なお、本実施の形態では、制御部１１０において、空間ポインティング部１４０が視覚的変化を生じさせる時間間隔と、視覚的変化を生じさせない時間間隔を繰り返す制御は行わない。その代わりに、制御部１１０は、指示部子機２５０により指定される映像内座標近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより、視覚的変化を抑制した映像を生成する。
【０１２７】
本実施形態において、制御部１１０は、指示部子機２５０が指し示す映像内座標（Ｘｉ，Ｙｉ）を制御部２１０より受け取ると、空間ポインティング部１４０のレーザの偏向角度に換算し、空間ポインティング部１４０の制御を行う。制御が完了後、撮影部１４２より得られる映像フレームに対し制御部１１０は以下の処理を行う。
【０１２８】
制御部１１０は映像フレームの映像内座標（Ｘｉ，Ｙｉ）を中心とした直径ａの円状領域Ａに含まれる画素の色情報を、外径ｂ、内径ａの環状領域に含まれる画素の色情報により内挿した値で置き換える（図２０を参照）。最も簡単には、領域Ｂの画素の色情報の平均値で領域Ａを一様に塗りつぶせば良い。もしくは、たとえば、領域Ｂの画素を境界条件として与えたラプラス方程式（∇２Ｆ（Ｘ，Ｙ）＝０；Ｆ（Ｘ，Ｙ）が色の強度）の解を領域Ａの画素の色情報としても良い。ラプラス方程式の数値解法については一般的な数値解析の文献に記載されているので、詳細は省略する。
【０１２９】
なお、半径ａおよびｂの値は、あらかじめ定められた値を使用しても良いし、映像内座標（Ｘｉ，Ｙｉ）周辺の画素を解析して自動的に抽出しても良い。この方法を、空間ポインティング部１４０に赤色レーザポインタを使用した例で説明する。映像内座標（Ｘｉ，Ｙｉ）を中心とした直径ｃの円状領域（ｃの値はあらかじめ広めに与えておく）において、赤色の情報のみを抽出する処理を行う。この結果、赤色の強度分布が図２１の実線の通り得られたものとする（図中では簡単のため１次元で説明しているが、実際の強度分布は２次元である）。
【０１３０】
この強度曲線を最小二乗法によりガウス曲線に近似すると（図中の点線）、ガウス曲線の分散値σが得られる。直径ａをたとえば、σの６倍に設定する。すると、強度分布がガウス曲線で近似できる場合、空間ポインティング部１４０が生じる視覚的変化の約９９．７％は直径ａの領域に含まれることになる。直径ｂはａ＋固定値もしくは、ａ×固定値に設定すれば良い。
【０１３１】
このようにして得られた映像では、実際の空間と比較して、視覚的変化の度合いが少ないため、ユーザＢは映像内のレーザポインタの像３３１などの遅延した視覚的フィードバックによる混乱を避けることができる。
【０１３２】
以降は先述の実施の形態と同様、映像は制御部１１０にて適当なエンコーダにより圧縮符号化、ネットワーク３を介して制御部２１０に送信され、制御部２１０で復号の上、表示部２３０に表示される。また、表示部２３０では、指示部子機２５０のスイッチが押下られている間は、撮影された映像内の映像内座標（Ｘｉ，Ｙｉ）に赤色レーザポインタの照射を連想させるカーソルを重畳して表示する。
【０１３３】
以上説明したように、本実施形態のポインティングシステム１によれば、上記実施形態と同様な効果を奏することができる。
【０１３４】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【０１３５】
たとえば、上記実施形態では、空間ポインティング部１４０として、偏向方向を制御可能なレーザポインタの例を説明したが、プロジェクタなど他の空間ポインティング手段を用いることも可能である。
【０１３６】
また、上記実施形態では、制御部１１０が撮影部１４２および空間ポインティング部１４０の両方に対し、同じ制御信号を送信する制御方法を説明したが、他の方法として、たとえば、一方だけに制御信号を送り、それを受信した一方が他方向けの制御信号を生成するといった方法なども考えられる。なお、このような差異は、クロック信号を用いた同期制御技術の領域では周知のものであるので、細部が異なる構成についての説明は省略する。
【０１３７】
さらに、上記実施形態では、一方の拠点に表示部２３０と指示部（指示部子機２５０および指示部親機２８０）が、他の拠点に撮影部１４２と空間ポインティング部１４０が設置されているシステム構成を示したが、これらが１セットずつ各拠点に設置され、双方向にポインティングが可能な構成も考えられる。また、指示部としては、リモコン状の位置指定装置の例を示したが、これ以外にもたとえば、表示部２３０に搭載されたタッチパネルを使用したり、タッチペン、マウス、トラックボールなどのコントローラを使用したりする方法なども利用できる。
【０１３８】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１３９】
１ ポインティングシステム
３ ネットワーク
１００ 第１処理装置
１１０ 制御部
１３２ ホワイトボード
１４０ 空間ポインティング部
１４２ 撮影部
１４６ 制御回路
１４８ レーザ
１５０ ミラー
１５２ ガルバノスキャナ
１６０ バネ
１６２ 磁石
１６４ コイル
１６６ 磁性体
１７０ 光ビーム
１７２ ポインタ
２００ 第２処理装置
２１０ 制御部
２３０ 表示部
２３２ ホワイトボードの映像
２４０ 赤外ＬＥＤ
２４２ カーソル
２５０ 指示部子機
２５２ カメラモジュール
２５４ スイッチ
２５６ 演算回路
２５８ 無線モジュール
２８０ 指示部親機
３１１ 第１の映像
３１２ 第２の映像
３１３ 第３の映像
【特許請求の範囲】
【請求項１】
対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、
を備えるポインティングシステム。
【請求項２】
請求項１に記載のポインティングシステムにおいて、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記空間ポインティング手段が前記視覚的変化を発生させない時間間隔に、前記撮影手段に前記対象空間を繰り返し撮影させることにより得られる一連の画像から構成される前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させるポインティングシステム。
【請求項３】
請求項１に記載のポインティングシステムにおいて、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記視覚的変化が生じる時間間隔に前記撮影手段が繰り返し撮影することにより得られる一連の画像から構成される第１の映像、および前記視覚的変化が生じない時間間隔に前記撮影手段に繰り返し撮影させることにより得られる一連の画像から構成される第２の映像を取得し、
前記第１の映像および前記第２の映像に基づいて、前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させるポインティングシステム。
【請求項４】
請求項３に記載のポインティングシステムにおいて、
前記制御手段は、
前記第１の映像と、前記第２の映像とを異なる重み付けで加算することにより前記視覚的変化を抑制した映像を生成するポインティングシステム。
【請求項５】
請求項１に記載のポインティングシステムにおいて、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記撮影手段が撮影した映像に対し、前記視覚的変化が生じる位置近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させるポインティングシステム。
【請求項６】
請求項２乃至５いずれかに記載のポインティングシステムにおいて、
前記表示手段は、前記指示受付手段が受け付けた前記目標座標に対応する指示位置に、カーソルを、前記視覚的変化を抑制した映像と重畳して前記画面上に表示するポインティングシステム。
【請求項７】
請求項２乃至６いずれかに記載のポインティングシステムにおいて、
前記撮影手段および前記空間ポインティング手段を含む第１処理装置と、
前記指示受付手段および前記表示手段を含む第２処理装置と、を有し、
前記第１処理装置と前記第２処理装置は、互いに離隔して設けられ、ネットワークを介して接続されるポインティングシステム。
【請求項８】
請求項７に記載のポインティングシステムにおいて、
前記第２処理装置の前記指示受付手段が受け付けた前記目標座標は、前記第１処理装置に前記ネットワークを介して送信され、前記目標座標に対し、前記第１処理装置の前記空間ポインティング手段が前記対象空間内の対応する位置に視覚的変化を発生させ、
前記第１処理装置の前記生成手段が生成した前記映像は、前記第２処理装置に前記ネットワークを介して送信され、前記第２処理装置の前記表示手段の前記画面上に表示されるポインティングシステム。
【請求項９】
対象空間の撮影映像を表示した画面上にて指示される目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える処理装置。
【請求項１０】
請求項９に記載の処理装置において、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記空間ポインティング手段が前記視覚的変化を発生させない時間間隔に、前記撮影手段に前記対象空間を繰り返し撮影させることにより得られる一連の画像から構成される前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置。
【請求項１１】
請求項９に記載の処理装置において、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記視覚的変化が生じる時間間隔に前記撮影手段が繰り返し撮影することにより得られる一連の画像から構成される第１の映像、および前記視覚的変化が生じない時間間隔に前記撮影手段に繰り返し撮影させることにより得られる一連の画像から構成される第２の映像を取得し、
前記第１の映像および前記第２の映像に基づいて、前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置。
【請求項１２】
請求項１１に記載の処理装置において、
前記制御手段は、
前記第１の映像と、前記第２の映像とを異なる重み付けで加算することにより前記視覚的変化を抑制した映像を生成する処理装置。
【請求項１３】
請求項９に記載の処理装置において、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記撮影手段が撮影した映像に対し、前記視覚的変化が生じる位置近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置。
【請求項１４】
対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記指示の結果として、前記目標座標に対し、前記対象空間内の対応する位置に発生させる視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える処理装置。
【請求項１５】
請求項１４に記載の処理装置において、
前記表示手段は、前記指示受付手段が受け付けた前記目標座標に対応する前記画面上の指示位置に、カーソルを表示する処理装置。
【請求項１６】
対象空間の撮影映像を画面上に表示し、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付け、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させ、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置のデータ処理方法。
【請求項１７】
処理装置を実現するためのコンピュータプログラムであって、
対象空間の撮影映像を画面上に表示する表示手順と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手順と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる発生手順と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手順と、をコンピュータに実行させるためのコンピュータプログラム。
【請求項１】
対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、
を備えるポインティングシステム。
【請求項２】
請求項１に記載のポインティングシステムにおいて、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記空間ポインティング手段が前記視覚的変化を発生させない時間間隔に、前記撮影手段に前記対象空間を繰り返し撮影させることにより得られる一連の画像から構成される前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させるポインティングシステム。
【請求項３】
請求項１に記載のポインティングシステムにおいて、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記視覚的変化が生じる時間間隔に前記撮影手段が繰り返し撮影することにより得られる一連の画像から構成される第１の映像、および前記視覚的変化が生じない時間間隔に前記撮影手段に繰り返し撮影させることにより得られる一連の画像から構成される第２の映像を取得し、
前記第１の映像および前記第２の映像に基づいて、前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させるポインティングシステム。
【請求項４】
請求項３に記載のポインティングシステムにおいて、
前記制御手段は、
前記第１の映像と、前記第２の映像とを異なる重み付けで加算することにより前記視覚的変化を抑制した映像を生成するポインティングシステム。
【請求項５】
請求項１に記載のポインティングシステムにおいて、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記撮影手段が撮影した映像に対し、前記視覚的変化が生じる位置近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させるポインティングシステム。
【請求項６】
請求項２乃至５いずれかに記載のポインティングシステムにおいて、
前記表示手段は、前記指示受付手段が受け付けた前記目標座標に対応する指示位置に、カーソルを、前記視覚的変化を抑制した映像と重畳して前記画面上に表示するポインティングシステム。
【請求項７】
請求項２乃至６いずれかに記載のポインティングシステムにおいて、
前記撮影手段および前記空間ポインティング手段を含む第１処理装置と、
前記指示受付手段および前記表示手段を含む第２処理装置と、を有し、
前記第１処理装置と前記第２処理装置は、互いに離隔して設けられ、ネットワークを介して接続されるポインティングシステム。
【請求項８】
請求項７に記載のポインティングシステムにおいて、
前記第２処理装置の前記指示受付手段が受け付けた前記目標座標は、前記第１処理装置に前記ネットワークを介して送信され、前記目標座標に対し、前記第１処理装置の前記空間ポインティング手段が前記対象空間内の対応する位置に視覚的変化を発生させ、
前記第１処理装置の前記生成手段が生成した前記映像は、前記第２処理装置に前記ネットワークを介して送信され、前記第２処理装置の前記表示手段の前記画面上に表示されるポインティングシステム。
【請求項９】
対象空間の撮影映像を表示した画面上にて指示される目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる空間ポインティング手段と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える処理装置。
【請求項１０】
請求項９に記載の処理装置において、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記空間ポインティング手段が前記視覚的変化を発生させない時間間隔に、前記撮影手段に前記対象空間を繰り返し撮影させることにより得られる一連の画像から構成される前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置。
【請求項１１】
請求項９に記載の処理装置において、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記視覚的変化が生じる時間間隔と前記視覚的変化が生じない時間間隔が繰り返すように、前記空間ポインティング手段に、前記対象空間内の前記対応する位置に前記視覚的変化を発生させ、
前記視覚的変化が生じる時間間隔に前記撮影手段が繰り返し撮影することにより得られる一連の画像から構成される第１の映像、および前記視覚的変化が生じない時間間隔に前記撮影手段に繰り返し撮影させることにより得られる一連の画像から構成される第２の映像を取得し、
前記第１の映像および前記第２の映像に基づいて、前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置。
【請求項１２】
請求項１１に記載の処理装置において、
前記制御手段は、
前記第１の映像と、前記第２の映像とを異なる重み付けで加算することにより前記視覚的変化を抑制した映像を生成する処理装置。
【請求項１３】
請求項９に記載の処理装置において、
前記対象空間を撮影する撮影手段をさらに備え、
前記制御手段は、
前記撮影手段が撮影した映像に対し、前記視覚的変化が生じる位置近辺の画素の色情報を、その周辺の画素の色情報に近い値で置き換えることにより前記視覚的変化を抑制した映像を生成し、
生成された前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置。
【請求項１４】
対象空間の撮影映像を画面上に表示する表示手段と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手段と、
前記指示の結果として、前記目標座標に対し、前記対象空間内の対応する位置に発生させる視覚的変化を抑制した映像を前記画面上に表示させる制御手段と、を備える処理装置。
【請求項１５】
請求項１４に記載の処理装置において、
前記表示手段は、前記指示受付手段が受け付けた前記目標座標に対応する前記画面上の指示位置に、カーソルを表示する処理装置。
【請求項１６】
対象空間の撮影映像を画面上に表示し、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付け、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させ、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる処理装置のデータ処理方法。
【請求項１７】
処理装置を実現するためのコンピュータプログラムであって、
対象空間の撮影映像を画面上に表示する表示手順と、
前記対象空間の前記撮影映像を表示した前記画面上にて目標座標の指示を受け付ける指示受付手順と、
前記目標座標に対し、前記対象空間内の対応する位置に視覚的変化を発生させる発生手順と、
前記指示の結果として前記対象空間内に生じる前記視覚的変化を抑制した映像を前記画面上に表示させる制御手順と、をコンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１１３２１６（Ｐ２０１１−１１３２１６Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６７８８２（Ｐ２００９−２６７８８２）
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]