コンピュータの遠隔操作システム
【課題】 スクリーン上のコンピュータ操作画面に表された多数のアイコンに対する動作（移動やコマンド実行）を、コンピュータのGUI画面に対するのと同程度の簡単な手順でかつ簡単な器具を用いて確実に出来るようにする。
【解決手段】 コンピュータの遠隔操作システムにおいて、スクリーン30上に、コンピュータ40から出力する操作画面Ｓと、位置指示器であるビームポインタ２から投射する位置標識Ａとを重ね合わせ、該重合画像を撮像手段32によりデータ化してコンピュータ40へ入力して、元の操作画面Ｓの画素データとの差分から上記位置標識Ａの形、色、大きさ等の形態を特定することが可能に設け、かつビームポインタ２は、位置標識Ａの形態を標準モードから適数の動作モードへ切換え可能として、上記位置標識Ａをコマンド標識に重ねるともに一の動作モードへ切り替えることで当該一の動作を実行可能とした。
【解決手段】 コンピュータの遠隔操作システムにおいて、スクリーン30上に、コンピュータ40から出力する操作画面Ｓと、位置指示器であるビームポインタ２から投射する位置標識Ａとを重ね合わせ、該重合画像を撮像手段32によりデータ化してコンピュータ40へ入力して、元の操作画面Ｓの画素データとの差分から上記位置標識Ａの形、色、大きさ等の形態を特定することが可能に設け、かつビームポインタ２は、位置標識Ａの形態を標準モードから適数の動作モードへ切換え可能として、上記位置標識Ａをコマンド標識に重ねるともに一の動作モードへ切り替えることで当該一の動作を実行可能とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータの遠隔操作システム、特にコンピュータと連動したスクリーン上のアイコン等への指示操作（ポインティング）とアイコンなどをクリックして画面の切替えなどを行なう操作とを、ビームポインタを使用した一連の操作として行なうことが可能なコンピュータの遠隔操作システムに関する。
【背景技術】
【０００２】
従来、コンピュータの画像情報を投影機で大型スクリーンに投射して講演やプリゼンテーションに用いることは良くあるが、コンピュータの画面を先に進め、或いは元に戻すことは、講演者等の話者が、コンピュータを扱う介助者に指示して行っていた。
【０００３】
これに対して話者本人が画面を操作するため、スクリーンの傍らにコンピュータと接続した受光部を設け、該受光部に、画面への指示手段を兼ねたレーザポインタから画面切替えの命令情報を含むビームを照射するように設けたシステムもある（特許文献１）。
【０００４】
又、コンピュータと連動したディスプレイの一点をポインティングするシステムとして、操作者が空中で動かす矢印型のマウスの位置及び矢印の向きを常時測定して、該矢印の仮想延長線と大型のディスプレイ画面との交点をコンピュータで計算して該交点をポインティングするもの（特許文献２）、及び空中での操作者自身の指の動きに対応するディスプレイ上の一点をポインティングするもの（特許文献３）が存在する。
【特許文献１】特開２００４−５４８７３号
【特許文献２】特開平７−１９１７９７号
【特許文献３】特開２００３−２２８４５８号
【特許文献４】特開平９−１７９９８３号
【特許文献５】特開平７−３１８８５６号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
昨今のコンピュータは、操作画面上に、ファイルやアプリケーションを表すアイコンと、マウスに連動するマウスポインタとを表し、このマウスポインタをアイコンに重ねてマウスのクリックやドラッキングをすることでアイコンを開いたり、移動することができるグラフィカル・ユーザー・インターフェイス（以下「GUI」という）を採用しているものが多く、プレゼンテーションにおいてスクリーン上にGUI画面の画像を再現して操作するときでも、実際のGUI画面と同様にアイコンを通じて動作をすることが望ましい。
【０００６】
しかしながら、特許文献１のシステムは、受光部を通じて画面を進める、元に戻すなどの単純なコマンドをビームで送信することしかできず、アイコン毎に開く、移動するなどの動作をすることは困難である。
【０００７】
又、特許文献２又は特許文献３のシステムを、コンピュータの画面動作に応用することは不可能ではないが、特許文献２のものでは、矢印型のマウスの３次元位置を測定するために特別の測定機器が必要となり、又、その測定に赤外線センサーなどを使用するときには、赤外線センサーの視野から上記マウスが操作者の身体のかげになって誤動作を生ずる可能性がある。又、特許文献３のものでは、多数のコマンドを活用するためには、各コマンドに対応した動作を覚えなければならず、その習得に時間がかかる。
【０００８】
本発明は、スクリーン上のコンピュータ操作画面に表された多数のアイコンに対する動作（移動やコマンド実行）を、コンピュータのGUI画面に対するのと同程度の簡単な手順でかつ簡単な器具を用いて確実に出来るようにするため、上記操作画面に、ビームポインタから投射する位置標識（マウスポインタに相当するもの）を重ね合わせ、該重合画像を撮像手段によりデータ化してコンピュータへ入力して、元の操作画面の画素データとの差分から上記位置標識の形態（或いは形態の変化などとして表れる動き）を特定することが可能に設け、かつその形態等を標準モードから特定の動作モードへ切換えることでその作業を実行可能としたコンピュータの遠隔操作システムを提供するものである。
【０００９】
尚、この操作システムの構成のうち対比すべき２つの画像の画素の差分をとることは従来公知であるが（例えば特許文献４参照）、本発明は、もともと別個の画像である位置標識とコンピュータ操作画面とを重合させて、一体の画像情報として撮像手段を介してコンピュータ内に取り込み、元のコンピュータ操作画面との差分をとって位置標識の形態と画面上の位置を再現し、これらから作業内容の情報と位置標識の位置情報とを得るということを特長とするものであり、これにより２つの情報を一体化してコンピュータに入力することを可能とするものである。
【課題を解決するための手段】
【００１０】
第１の手段は、コンピュータの操作画面Ｓ上で、位置指示器と連動するマウスポインタその他の位置標識を、コンピュータに命令を与えるためのスイッチ乃至アイコン等のコマンド標識に合わせて、上記位置指示器を操作することで、コマンド標識の移動・変形・コマンドの実行等の各種動作を可能とするコンピュータの操作システムにおいて、
スクリーン30上に、コンピュータ40から出力する操作画面Ｓと、位置指示器であるビームポインタ２から投射する位置標識Ａとを重ね合わせ、該重合画像を撮像手段32によりデータ化してコンピュータ40へ入力して、元の操作画面Ｓの画素データとの差分から上記位置標識Ａの形、色、大きさ等の形態を特定することが可能に設け、かつビームポインタ２は、位置標識Ａの形態を標準モードから適数の動作モードへ切換え可能として、上記位置標識Ａをコマンド標識に重ねるともに一の動作モードへ切り替えることで当該一の動作を実行可能としている。
【００１１】
「位置標識」とは、コンピュータ操作画面Ｓにおいてコマンドの実行位置を示すマークをいい、例示のマウスポインタの他、テキスト文書において作業開始位置を示すカーソルなどを含む。又、位置標識の形態とは、形状、サイズ、色彩、又はこれらの結合であって、肉眼乃至撮像手段を通じて認識できるものをいう。
【００１２】
「コマンド標識」とは、開く、閉じる、移動するなどの各種動作を行う全ての標識をいい、一般のＧＵＩ画面で用いられる「スタート」ボタンなどのようにクリックして作動させるスイッチ型ボタン、「（背景の）表示位置 □全体 □中央」の如くコマンドの条件を選択するために枠の中にチェックを入れるチェック型ボタン、これらボタンを集めた動作用のバー、ワープロソフトや表計算ソフトなどで作成されたファイルやこれらファイルを収納するフォルダを表示するアイコン、各種ソフトの作業領域を表すために画面の一部として表れる窓枠（ウィンドウ）を含むものとする。
【００１３】
「スクリーン」は、映像投射機から投射されたコンピュータ操作画面Ｓを映すための幕などでも良いが、例えば衝立形の液晶画面装置であって、その表面にコンピュータからの出力に応じて画像を表す画像表示手段であっても良い。もっともスクリーン上に表れるコンピュータ操作画面Ｓが明る過ぎると後述の位置標識の認識が難しくなるため、スクリーン上の操作画面Ｓの明度を調節できるようにすることが望ましい。
【００１４】
「ビームポインタ」は、指向性の良い平行光線を投射することのできる光源の前に、位置座標の形状に対応して光を透過するフィルタを配置し、ビームポインタからスクリーンまでの投射距離が長くとも通過孔に対応する鮮明な映像が得られるようにすることが望ましい。ビームポインタの好適な例はレーザーポインタであるが、これに限られるものではない。尚、ビームポインタは、必ずしも平行光線を投射するものに限る必要はなく、例えば上記平行光線を凹レンズで僅かに拡開させた発散光として用いて、上記スクリーン上で位置標識が利用者に見易いように拡大して表われるように構成しても良い。
【００１５】
位置標識Ａの一の動作モードへの切替え動作に関しては、コマンド標識から離れた場所で位置標識を動作モードに切り替えた後に、当該位置標識をコマンド標識に重ねることで当該作業が実行されるように構成しても良い。そうすればコマンド標識に重ねる前に位置標識の形状を確認することができるので、各モードへの切替えボタンの押し間違いによる誤動作を回避できる。他方、通常のGUI画面上のアイコン等に対するクリック操作と同様に、コマンド標識に位置標識を重ねた後にその動作モードを切り替えることで当該動作が行なわれるようにすることも出来る。
【００１６】
又、各動作モードの切替えに関しては、位置標識の形態の変化をコンピュータが認識した時点で直ちにその動作モードに係るコマンドが実行されるようにしても良いが、上記形態が変化した時からコマンドが実行されるまでに待機時間をおいて、操作者が間違ったモード切替ボタンを押した場合に、スクリーン上の位置標識の形態の変化を見た操作者が上記待機時間中にその切替ボタンから指を離すと、誤動作によるコマンドが取り消されるように構成しても良い。
【００１７】
「コンピュータ」は、必ずしも単一のコンピュータである必要はなく、複数のコンピュータ、例えばマイクロコンピュータと通常の汎用コンピュータ（例えばパーソナルコンピュータ）とで形成しても良い。この点については後述する。
【００１８】
第２の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの形状を、標準モード乃至各動作モードに対応させて切り替え可能としている。
【００１９】
位置標識の形状は、円形や三角形の如く単純な図形の方が撮像手段で読み取り易いが、GUI画面で周知の如く、アイコンを移動する場合にはアイコンを掴む手の形を、又拡大して見る場合には虫眼鏡の形を言う如くやや複雑な構造の絵文字としても良い。もっともビームポインタの投射光の指向性や撮像手段の解像度を考慮して、互いの絵柄を判別できることが必要である。
【００２０】
第３の手段は、上記第２の手段を有し、かつ上記ビームポインタ２は、先端部に投光口４を有する棒状であって、その一方側面に周方向への位置決め手段を兼ねて位置標識の各動作モードへの切替スイッチを配置している。
【００２１】
位置標識の形状として、「↑」や「↓」などの矢印記号、或いは三角形と逆三角形など方向性を有する記号を使用することが考えられるが、この場合に、棒状のビームポインタの周方向の位置決めとしないと、ビームポインタの持ち方次第で上向き矢印が横向きになったり、下向きになったりして、標識としての意味をなさなくなる。この不都合を回避するために、周方向の位置決め手段として各モードへの切替スイッチのうち少なくとも主要なものをビームポインタの一方側面に配置している。
【００２２】
特に操作者は通常では各モードへの切替スイッチを上向きとして親指で操作するので、切替スイッチ設置面側を上面として、位置標識の形状の上下左右を設定すれば、操作者にとっては使用説明書を読まなくても自然にビームポインタを使いこなすことができ、利便性が高まる。
【００２３】
第４の手段は、上記第２の手段又は第３の手段を有し、かつコンピュータ40は、上記ビームポインタ２の投射ビームがスクリーン30に垂直に入射されたときの位置標識Ａの標準乃至動作モードの画像を基本形状として、該基本形状を一定回転角以内での回転或いはスクリーン30上の一軸方向への伸長変形によって得られる変形形状を、各モードの基本形状と同一図形と認識するようにプログラムし、かつ、ビームポインタ２は、一のモードでの基本形状と他のモードでの上記変形形状とが同じ図形とならないように各モードでの位置標識の基本形状を設定している。
【００２４】
ここでは、位置標識の形状の不意の回転乃至伸長変形によって、コンピュータ40が位置標識の形状を認識出来なくなることを避けるための手段を提案している。上記の回転とは、位置標識が本来の向きから傾いてしまうような場合を想定しており、又、伸長変形とは、ビームポインタから投射されたビームがスクリーンに対して斜めに入射するときに位置標識が本来の形状よりも細長く変形することを指している。こうした変形は、スクリーンに対して斜めの位置にビームを投射したり、或いは大きいスクリーンの一点へ下方からビームを投射した場合に生じ易い。
【００２５】
位置標識の各モードの基本形状は、円形、二重円、多角形など他のモードの基本形状から区別できるものであるものとし、円形と楕円形、正方形と長方形、正方形とひし形などを、異なる動作モードの基本形状として採用することは避けることが望ましい。
【００２６】
第５の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの大きさを、標準モード乃至各動作モードに対応させて切り替え可能としている。
【００２７】
例えばコンピュータ操作画面Ｓの寸法に対して、何％以下ならば一の動作、それ以上であれば他の動作という如く定めても良い。又、この場合には、ビームポインタの投射光線を平行光線として、例えばビームポインタからスクリーンまでの距離によって位置標識の大きさが変化しないようにしても良い。
【００２８】
もっとも大きさの変更では伝達できるコマンドの数に限りがあるので、大きさと色とを組み合わせるようにしても良い。
【００２９】
又、標準モードに比べて、各動作モードでの標識の大きさを小さく設定することで大きさの切替えが操作者以外の看者に与える抵抗感を低減することができる。この点については後述の第７の手段で後述する。
【００３０】
第６の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの色彩を、標準モード乃至各動作モードに対応させて切り替え可能としている。
【００３１】
色彩を切り替えるためには、ビームポインタ内部の白色光源と投光口との間にカラーフィルタを設置すれば良い。
【００３２】
第７の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの形態に代えて、各モードに対応した点滅その他の動きパターンを行なうことが可能に設けている。
【００３３】
位置標識の形状や大きさ、色彩が動作のモードによって変化することは操作者にとっては操作し易いという反面、視聴者にとっては、位置標識の形態の変化に気を取られて、コンピュータ画面に映し出されたグラフ・文章など本来注目すべきコンテンツに集中できなくなるというおそれもある。
【００３４】
このような見た目の煩わしさを解消したい場合には、位置標識の形状や色彩を同じにして、点滅やサイズの異なる相似形への縮小（或いは拡大）の動きパターンをとることで特定の動作を実現させるように構成することができる。特にその動きをコンマ数秒で行なうことにより、この動きによって視聴者が気を散らすことを防止できる。
【００３５】
もっとも点滅をするときには、コンピュータ操作画面Ｓ自体の周波数が50〜60Hzであるので、これよりも低い周波数、好ましくは１〜10Hｚ程度の周波数とすることが良い。
【００３６】
拡大又は縮小をするときには、コマンド標識に位置標識を重ねた時点での該位置標識の大きさを基準のサイズとして、これよりも標識が拡大・縮小したときに所定の動作モードに切り替えるように構成することができる。
【００３７】
第８の手段は、上記第1の手段を有し、かつ上記コンピュータ40を、マイクロコンピュータ40aと、一般コンピュータ40ｂとで構成し、コンピュータ40の諸機能のうち、上記重合画像から位置標識を抽出することと、該抽出画像を位置標識の各動作モードの形状の記録データと対比することとを、マイクロコンピュータ40ａに、又その動作モードに係る動作を実行させることと、コンピュータ操作画面を形成することとを一般コンピュータ40ｂにそれぞれ分担させている。
【００３８】
「一般コンピュータ」とは、位置標識の抽出・認定などの本発明固有の動作以外の用途に使用するコンピュータを指す。
【発明の効果】
【００３９】
第１の手段に係る発明によれば、次の効果を奏する。
○スクリーン30上において、通常のGUI画面でのマウスポインタに対応する位置標識を、アイコンに相当するコマンド標識に重ねて、マウスに代わるビームポインタを操作することで、コンピュータ画面を操作することができるから、通常のコンピュータのGUI画面に慣れている利用者にとって、同じ感覚で動作を行なうことができるので、使い勝手が良い。
○コンピュータ操作画面Ｓ上のコマンド標識Ｂに位置標識Ａを重ねて、その重合画像を撮像手段32によりコンピュータ内へ取り込み、かつ位置標識の形態を変化させることでコンピュータにコマンド標識の移動、変形等の各種のコマンドを与えるようにしたので、コマンドの内容に係る情報と、コマンドの対象であるアイコン等の位置情報とを撮像手段32を介して一体的にコンピュータに入力することができ、入力インターフェイスの構成を簡略化することができる。
【００４０】
第２の手段に係る発明によれば、位置標識のモード切り替えのために位置標識の形状を採用したから、例えば動作の内容を示唆する絵記号の形にすることで更に使い勝手を良くすることができるとともに、大きさや色に比べて多くの動作モードに対応することができる。
【００４１】
第３の手段に係る発明によれば、棒状に形成したビームポインタ２の一方側面に周方向への位置決め手段を兼ねて位置標識の各動作モードへの切替スイッチを配置したから、該切替ボタンを上にして操作することにより、自然と正しい向きの位置標識がスクリーン上に投射されることとなり、本システムに不慣れな利用者にとっても使い勝手が良い。
【００４２】
第４の手段に係る発明によれば、ビームポインタ２からスクリーン30上に投影された位置標識が正常な向きから傾いていたり、斜めから入射することで歪んだ伸び変形をしていても、それらの位置標識の本来の形状と対応づけて形状の変化を認識することができるので、それら標識の傾斜や伸びによる誤作動を防止できる。
【００４３】
第５の手段に係る発明によれば、ビームポインタ２は、位置標識Ａの大きさを各モードで切替え可能としたから、上記位置標識の形状の切替えの如く、上記傾斜による位置標識の認識の誤認を生じない。
【００４４】
第６の手段に係る発明によれば、ビームポインタ２は、位置標識Ａの色彩を、標準モード乃至各動作モードに対応させて切り替え可能としたから、上記位置標識の形状の切替えの如く、上記傾斜や伸び変形による位置標識の認識の誤認を生じない。
【００４５】
第７の手段に係る発明によれば、ビームポインタ２は、位置標識Ａの形態に代えて、位置標識が、標準モード乃至各動作モードに対応した点滅その他の動きパターンをとることが可能に構成したから、形状や色彩が変化する場合と比較して位置標識の変化が目立たず、視聴者にとって見た目の煩わしさがない。
【００４６】
第８の手段に係る発明によれば、特に重合画像と元のコンピュータ操作画面との差分抽出、及び、位置標識の認識という本発明固有の機能を、マイクロコンピュータに、又コマンド標識に対する各種動作の実行などの通常のコンピュータ処理を汎用コンピュータにそれぞれ分散させることができ、これにより既存のパーソナルコンピュータを本システムに適用することができ、応用範囲が著しく広がる。
【発明を実施するための最良の形態】
【００４７】
本システムは、図１及び図２に示す如く、ビームポインタ２と、スクリーン30と、撮像手段32と、コンピュータ40と、映像投射機60とで形成されている。
【００４８】
ビームポインタ２は、図３に示す如く先端部に投光口４を有する棒状のものであり、その周面の一方側面には、オン、オフのボタン６、８、及び標準モードから各動作モードへの切替ボタン10A、10B…を配置している。ビームポインタ２の内部には、図４の如く電源12とレーザー光源14と遮光手段16とを配置する。該遮光手段16は入射光の一部を所定のマークの形状に対応して遮断するためのもので、既存の透過型液晶パネルで形成しても良く、又、従来公知の如く各種形状の透光窓付きの複数のフィルタのうちの一つを、切替えボタンの操作に対応して入替え可能に光路上にセットすることで構成しても良い（例えば特許文献５参照）。そのマークの形状は、例えば位置標識の標準モードに対して「○」、クリックに対して「△」、ドラッキングに対して「□」、右移動に対して「→」という如く定めれば良い。又、ビームポインタは、後述の如くスクリーン上に投射されたコンピュータ操作画面Ｓと重ね合わせて位置標識を表示するためのものであり、該位置標識が周囲のコンピュータ操作画面Ｓ部分に比べて明瞭に区別できる程度の明るさの光を投光できることが望ましい。
【００４９】
スクリーン30は、公知のスライド用スクリーンである。
【００５０】
撮像手段32は、公知の画像認識用カメラであり、スクリーン上の画像を取り込むことができれば、どのようなものでも良い。取り込んだ画像は、例えば光を赤・緑・青の三原色の強度に分解するRGB方式で数値化し、画素データとしてコンピュータに入力する。もっとも画素のデータ化の方式は、RGB方式に限られるものではなく、３原色＋透明度で表すRBGA方式、上記３原色の補色に分解するCMY方式など各種方式が知られている。上記カメラの一部には、画像処理用のマイクロコンピュータを付設しているが、これについては、後述する。
【００５１】
コンピュータ40は、図５に示す如く記憶手段42と、入力手段44と、差分抽出手段46と、標識判別手段48と、制御手段50と、コンピュータ操作画面作成手段52と、出力手段54とで構成される。予めコンピュータをこれら各手段として機能させるプログラムを作成しておくと好適である。
【００５２】
上記記憶手段42には、少なくとも位置標識の各モードごとの基本的な形状と、コマンド標識を含むコンピュータ操作画面Ｓとのデータが保存されている。該操作画面Ｓの画素データは、撮像手段と同一の方式で作成されたものとすることが望ましい。尚、位置標識の各形状は、その標準モード乃至各動作モードと対応付けて記憶されている。
【００５３】
上記入力手段44は、上記撮像手段32から入力されたコンピュータ操作画面Ｓと位置標識との重合画像を差分抽出手段46へ転送する。
【００５４】
上記差分抽出手段46は、上記重合画像の画素データと、記録手段42に記録された元のコンピュータ操作画面Ｓ上の対応する画素データとを同一の色方式で比較してその差分をとり、その差分データから位置標識の画像を抽出して、該抽出画像を標識判別手段48に伝達する。
【００５５】
該標識判別手段48は、上記位置標識の抽出画像と記憶手段42に記憶された位置標識の各動作モードの基本形状とを対比し、形状が一致する動作モードを特定して、動作モードの種別に係る情報を、位置標識の位置情報とともに制御手段50に伝達する。尚、ビームポインタ２からスクリーン上へ投影された位置標識Ａの形状は、スクリーン30の汚れや歪み、或いはスクリーンへのビームの入射角度などにより、ビームポインタ２から射出された元の形状と完全な相似形とはならないので、ある程度の変形・歪みがあっても位置標識の認定が可能であるように認定の許容誤差を設定することが望ましい。この点については更に後述の図８乃至図９において言及する。
【００５６】
制御手段50は、標識判別手段から送られた動作モード特定情報に基づき、その動作を実行するとともに、該作業実行後のコンピュータ操作画面Ｓを作成するようにコンピュータ操作画面作成手段52に指令する。
【００５７】
コンピュータ操作画面作成手段52は、指令に基づいて、新たにコンピュータ操作画面Ｓを作成して、出力手段54に伝達するとともに、新たな操作画面Ｓのデータを元の操作画面Ｓのデータと置き換えるために記憶手段42に伝達する。
【００５８】
尚、図示例のコンピュータ40は、マイクロコンピュータ40ａと、パーソナルコンピュータである一般コンピュータ40ｂとで構成している。マイクロコンピュータ40ａは、記憶手段42のうちコンピュータ操作画面の画像データと位置標識の各モードの形状の情報とを記憶した部分と、差分抽出手段46と、標識判別手段48と、図示しない固有の制御手段を有している。一般コンピュータ40ｂは、記憶手段42のうち一般用途部分と、制御手段50と、操作画面作成手段52とを有している。この場合には、通常のコンピュータシステムでマウスのボタン動作及び位置から得る信号（以下「マウス信号」という）を、マイクロコンピュータ40ａで位置標識Ａの形状及び位置から生成して、一般コンピュータ40ｂへ（可能であればそのマウス用接続ポートへ）入力できるようにすると良い。そうすると、普通のパーソナルコンピュータでのマウス操作に代えて、レーザービームのボタン操作及び移動により、一般コンピュータ40ｂの操作画面上のマウスポインタを動かして、パーソナルコンピュータを操作することができ、既存のコンピュータを本システムに活用できる。尚、一般のコンピュータではマウスポインタの形状・サイズは適宜変更できるので、この形状（初期設定では白抜き矢印）を、位置標識Ａと重なって表れても見た目がうるさくならないような形状（例えば一点の基点）に変更すると良い。又、マイクロコンピュータ40ａではこのマウスポインタと位置標識とが重なり合って取り込まれても位置標識を認識できるように、許容誤差の範囲を調節すると良い。
【００５９】
出力手段54は、上記新たなコンピュータ操作画面Ｓの画像データを出力する。
【００６０】
映像投射機60は、出力手段54から出力された画像データに基づいて新たなコンピュータ操作画面Ｓをスクリーン30上に投射する。
【００６１】
図６は、上記システムでの一連のコンピュータの動作をフローチャートで表したものである。
【００６２】
まず撮像手段32、映像投射機50、及び一般のコンピュータ40ｂの電源を入れると、該コンピュータの操作画面Ｓが映像投射機50よりスクリーン30上に投射される。該操作画面は、撮像手段32を介して画素データとしてマイクロコンピュータ40ａに取り込まれ、この画像が操作画面の初期画像としてマイクロコンピュータの記憶手段42に記憶される。
【００６３】
図１の如くビームポインタ２で位置標識Ａをスクリーン30上に投射すると、位置標識Ａとコンピュータ操作画面Ｓとが重なり合った画像が、撮像手段32を介して画素データとしてマイクロコンピュータ40ａに取り込まれ、該コンピュータの差分抽出手段46によって、この重合画像と初期画像との画素データの差分をとってこの差分データから位置標識の形状と位置とが再現される。これら形状及び位置の情報は、マイクロコンピュータ40ａの標識判別手段48において、予めマイクロコンピュータの記憶手段42にデータベース化された位置標識Ａの各モードの基本形状と照合され、該当するモードの情報を位置標識の情報とともに、マウス信号の代わりに一般コンピュータ40ｂに送信する。上記のモードが標準モードであるとすると、そのモードに対する特別のコマンドはないものとして、一般コンピュータ40ｂは、その位置標識Ａの位置にマウスポインタを合わせた操作画面を形成し、映像投射機60を介してその操作画面をスクリーン上に投射する。
【００６４】
次に図２の如く位置標識Ａをコンピュータ操作画面Ｓ上のコマンド標識Ｂに重ねるとともにビームポインタ２の切替ボタン10を押すと、一つの動作モードに対応してスクリーン上の位置標識Ａの形状が変化し、この新たな形状の位置標識の画像が上述の如くコンピュータ内へ取り込まれ、上述の如く操作画面との差分の抽出、標識の判別の過程を経て、新たな形状に係る動作情報と位置標識の位置情報とがマイクロコンピュータ40ａから一般コンピュータ40ｂへ送信される。これらの情報に基づいて特定のコマンド標識に対して当該動作（図示例ではコマンド標識の移動）が実行される。
【００６５】
図７は、回転による位置標識の形状の変化について示している。ビームポインタ２は周面の一方側面に各動作モードへの切替ボタンを配置しており、この種の棒状のビームポインタ２は、親指で各切替ボタンを操作するとともに、残りの指でビームポインタを把持する。従って、この把持状態では、通常親指で操作する切替ボタン配置面を上にして操作するので、自然にビームポインタ２の周方向位置決めが行われ、図６に実線で示すように設計者が意図した図形（図示例では正立の三角形）が投射される。しかしながら、ビームポインタ２は手で支持しているため、正立状態から矢示の如く多少傾くのは避けられず、これに対応してスクリーン上に投射された位置標識も傾くことになり、標識判定手段48による標識の認識を厳格にすると認識作業が困難となる。従って、標識判定手段48は、位置標識Ａの各モードの正立状態での形状（基本形状）から傾いた状態でも当該モードの形状を認定できるようにすると良い。即ち、差分データから再現した位置標識Ａの形状を回転することで、予め記憶された位置標識の各モードの基本形状と一定誤差範囲内に収まる形状となるのであれば、当該モードの位置標識の同一の形状とすることができる。但し、この場合には、位置標識Ａの各モードの基本形状として、三角形「△」と逆三角形「▽」の如く回転して同一となる形状を採用しないようにする必要がある。もっとも、その回転角αに一定の制限（例えば−45°＜α＜45°）に制限を課すことで正逆対称の図形を区別することもできる。
【００６６】
図８は、回転による位置標識の形状の変化について示している。同図中に実線で示すビームは、スクリーン30に対して垂直に入射してものであり、このビームによる投射映像は正方形である。他方、想像線で表すビームはスクリーン30に斜め左下から入射したものであり、この場合には、スクリーンへのビームの射影の向きに伸長した平行四辺形となる。
【００６７】
入射ビームが平行光束である場合には、図９に示す如く、元の図形は、入射角をθとすると、射影方向に１／ｃｏｓθ倍になる。従って、標識識別手段は、所定の入射角以内で、差分データから再現した位置標識Ａの形状を任意方向にｃｏｓθ倍倍して得られる図形が、予め記憶された位置標識の各モードの基本形状と一定誤差内において一致するのならば当該基本図形と同一図形と認定するように構成すると良い。尚、入射ビームが平行光束でなくとも、元の図形が三角形か四角形かといった大まかな形状を判断できるように標識判別手段48を構成することができる。
【００６８】
以上の例では、位置標識の形状を動作モードに対応して切り替えていたが、色彩や動作を切り替える場合にも、スクリーン30、撮像手段32、コンピュータ40、映像投射機60の構造を同じとしたシステムを構築すれば良い。
【図面の簡単な説明】
【００６９】
【図１】本発明に係るシステムの概略図である。
【図２】図１のシステムの作動状態説明図である。
【図３】図１のシステムに使用するビームポインタの正面図である。
【図４】図３のビームポインタの内部構造の概念図である。
【図５】図１のシステムの概念図である。
【図６】図１のシステムの機能のフローチャートである。
【図７】位置標識の回転による形状の変形を示す説明図である。
【図８】位置標識の入射角の変化による形状の変化を示す説明図である。
【図９】図８の形状の変化と入射角との関係を示す図である。
【符号の説明】
【００７０】
２…ビームポインタ ４…投光口 ６…オンボタン ８…オフボタン
10…モード切替えボタン 12…電源 14…レーザー光源 16…遮光手段
30…スクリーン 32…撮像手段
40…コンピュータ 40ａ…マイクロコンピュータ40ａ…一般コンピュータ
42…記憶手段 44…入力手段 46…差分抽出手段 48…標識判別手段
50…制御手段 52…コンピュータ操作画面作成手段
54…出力手段 60…映像投射機
Ｓ…操作画面 Ａ…位置標識 Ｂ…コマンド標識
【技術分野】
【０００１】
本発明は、コンピュータの遠隔操作システム、特にコンピュータと連動したスクリーン上のアイコン等への指示操作（ポインティング）とアイコンなどをクリックして画面の切替えなどを行なう操作とを、ビームポインタを使用した一連の操作として行なうことが可能なコンピュータの遠隔操作システムに関する。
【背景技術】
【０００２】
従来、コンピュータの画像情報を投影機で大型スクリーンに投射して講演やプリゼンテーションに用いることは良くあるが、コンピュータの画面を先に進め、或いは元に戻すことは、講演者等の話者が、コンピュータを扱う介助者に指示して行っていた。
【０００３】
これに対して話者本人が画面を操作するため、スクリーンの傍らにコンピュータと接続した受光部を設け、該受光部に、画面への指示手段を兼ねたレーザポインタから画面切替えの命令情報を含むビームを照射するように設けたシステムもある（特許文献１）。
【０００４】
又、コンピュータと連動したディスプレイの一点をポインティングするシステムとして、操作者が空中で動かす矢印型のマウスの位置及び矢印の向きを常時測定して、該矢印の仮想延長線と大型のディスプレイ画面との交点をコンピュータで計算して該交点をポインティングするもの（特許文献２）、及び空中での操作者自身の指の動きに対応するディスプレイ上の一点をポインティングするもの（特許文献３）が存在する。
【特許文献１】特開２００４−５４８７３号
【特許文献２】特開平７−１９１７９７号
【特許文献３】特開２００３−２２８４５８号
【特許文献４】特開平９−１７９９８３号
【特許文献５】特開平７−３１８８５６号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
昨今のコンピュータは、操作画面上に、ファイルやアプリケーションを表すアイコンと、マウスに連動するマウスポインタとを表し、このマウスポインタをアイコンに重ねてマウスのクリックやドラッキングをすることでアイコンを開いたり、移動することができるグラフィカル・ユーザー・インターフェイス（以下「GUI」という）を採用しているものが多く、プレゼンテーションにおいてスクリーン上にGUI画面の画像を再現して操作するときでも、実際のGUI画面と同様にアイコンを通じて動作をすることが望ましい。
【０００６】
しかしながら、特許文献１のシステムは、受光部を通じて画面を進める、元に戻すなどの単純なコマンドをビームで送信することしかできず、アイコン毎に開く、移動するなどの動作をすることは困難である。
【０００７】
又、特許文献２又は特許文献３のシステムを、コンピュータの画面動作に応用することは不可能ではないが、特許文献２のものでは、矢印型のマウスの３次元位置を測定するために特別の測定機器が必要となり、又、その測定に赤外線センサーなどを使用するときには、赤外線センサーの視野から上記マウスが操作者の身体のかげになって誤動作を生ずる可能性がある。又、特許文献３のものでは、多数のコマンドを活用するためには、各コマンドに対応した動作を覚えなければならず、その習得に時間がかかる。
【０００８】
本発明は、スクリーン上のコンピュータ操作画面に表された多数のアイコンに対する動作（移動やコマンド実行）を、コンピュータのGUI画面に対するのと同程度の簡単な手順でかつ簡単な器具を用いて確実に出来るようにするため、上記操作画面に、ビームポインタから投射する位置標識（マウスポインタに相当するもの）を重ね合わせ、該重合画像を撮像手段によりデータ化してコンピュータへ入力して、元の操作画面の画素データとの差分から上記位置標識の形態（或いは形態の変化などとして表れる動き）を特定することが可能に設け、かつその形態等を標準モードから特定の動作モードへ切換えることでその作業を実行可能としたコンピュータの遠隔操作システムを提供するものである。
【０００９】
尚、この操作システムの構成のうち対比すべき２つの画像の画素の差分をとることは従来公知であるが（例えば特許文献４参照）、本発明は、もともと別個の画像である位置標識とコンピュータ操作画面とを重合させて、一体の画像情報として撮像手段を介してコンピュータ内に取り込み、元のコンピュータ操作画面との差分をとって位置標識の形態と画面上の位置を再現し、これらから作業内容の情報と位置標識の位置情報とを得るということを特長とするものであり、これにより２つの情報を一体化してコンピュータに入力することを可能とするものである。
【課題を解決するための手段】
【００１０】
第１の手段は、コンピュータの操作画面Ｓ上で、位置指示器と連動するマウスポインタその他の位置標識を、コンピュータに命令を与えるためのスイッチ乃至アイコン等のコマンド標識に合わせて、上記位置指示器を操作することで、コマンド標識の移動・変形・コマンドの実行等の各種動作を可能とするコンピュータの操作システムにおいて、
スクリーン30上に、コンピュータ40から出力する操作画面Ｓと、位置指示器であるビームポインタ２から投射する位置標識Ａとを重ね合わせ、該重合画像を撮像手段32によりデータ化してコンピュータ40へ入力して、元の操作画面Ｓの画素データとの差分から上記位置標識Ａの形、色、大きさ等の形態を特定することが可能に設け、かつビームポインタ２は、位置標識Ａの形態を標準モードから適数の動作モードへ切換え可能として、上記位置標識Ａをコマンド標識に重ねるともに一の動作モードへ切り替えることで当該一の動作を実行可能としている。
【００１１】
「位置標識」とは、コンピュータ操作画面Ｓにおいてコマンドの実行位置を示すマークをいい、例示のマウスポインタの他、テキスト文書において作業開始位置を示すカーソルなどを含む。又、位置標識の形態とは、形状、サイズ、色彩、又はこれらの結合であって、肉眼乃至撮像手段を通じて認識できるものをいう。
【００１２】
「コマンド標識」とは、開く、閉じる、移動するなどの各種動作を行う全ての標識をいい、一般のＧＵＩ画面で用いられる「スタート」ボタンなどのようにクリックして作動させるスイッチ型ボタン、「（背景の）表示位置 □全体 □中央」の如くコマンドの条件を選択するために枠の中にチェックを入れるチェック型ボタン、これらボタンを集めた動作用のバー、ワープロソフトや表計算ソフトなどで作成されたファイルやこれらファイルを収納するフォルダを表示するアイコン、各種ソフトの作業領域を表すために画面の一部として表れる窓枠（ウィンドウ）を含むものとする。
【００１３】
「スクリーン」は、映像投射機から投射されたコンピュータ操作画面Ｓを映すための幕などでも良いが、例えば衝立形の液晶画面装置であって、その表面にコンピュータからの出力に応じて画像を表す画像表示手段であっても良い。もっともスクリーン上に表れるコンピュータ操作画面Ｓが明る過ぎると後述の位置標識の認識が難しくなるため、スクリーン上の操作画面Ｓの明度を調節できるようにすることが望ましい。
【００１４】
「ビームポインタ」は、指向性の良い平行光線を投射することのできる光源の前に、位置座標の形状に対応して光を透過するフィルタを配置し、ビームポインタからスクリーンまでの投射距離が長くとも通過孔に対応する鮮明な映像が得られるようにすることが望ましい。ビームポインタの好適な例はレーザーポインタであるが、これに限られるものではない。尚、ビームポインタは、必ずしも平行光線を投射するものに限る必要はなく、例えば上記平行光線を凹レンズで僅かに拡開させた発散光として用いて、上記スクリーン上で位置標識が利用者に見易いように拡大して表われるように構成しても良い。
【００１５】
位置標識Ａの一の動作モードへの切替え動作に関しては、コマンド標識から離れた場所で位置標識を動作モードに切り替えた後に、当該位置標識をコマンド標識に重ねることで当該作業が実行されるように構成しても良い。そうすればコマンド標識に重ねる前に位置標識の形状を確認することができるので、各モードへの切替えボタンの押し間違いによる誤動作を回避できる。他方、通常のGUI画面上のアイコン等に対するクリック操作と同様に、コマンド標識に位置標識を重ねた後にその動作モードを切り替えることで当該動作が行なわれるようにすることも出来る。
【００１６】
又、各動作モードの切替えに関しては、位置標識の形態の変化をコンピュータが認識した時点で直ちにその動作モードに係るコマンドが実行されるようにしても良いが、上記形態が変化した時からコマンドが実行されるまでに待機時間をおいて、操作者が間違ったモード切替ボタンを押した場合に、スクリーン上の位置標識の形態の変化を見た操作者が上記待機時間中にその切替ボタンから指を離すと、誤動作によるコマンドが取り消されるように構成しても良い。
【００１７】
「コンピュータ」は、必ずしも単一のコンピュータである必要はなく、複数のコンピュータ、例えばマイクロコンピュータと通常の汎用コンピュータ（例えばパーソナルコンピュータ）とで形成しても良い。この点については後述する。
【００１８】
第２の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの形状を、標準モード乃至各動作モードに対応させて切り替え可能としている。
【００１９】
位置標識の形状は、円形や三角形の如く単純な図形の方が撮像手段で読み取り易いが、GUI画面で周知の如く、アイコンを移動する場合にはアイコンを掴む手の形を、又拡大して見る場合には虫眼鏡の形を言う如くやや複雑な構造の絵文字としても良い。もっともビームポインタの投射光の指向性や撮像手段の解像度を考慮して、互いの絵柄を判別できることが必要である。
【００２０】
第３の手段は、上記第２の手段を有し、かつ上記ビームポインタ２は、先端部に投光口４を有する棒状であって、その一方側面に周方向への位置決め手段を兼ねて位置標識の各動作モードへの切替スイッチを配置している。
【００２１】
位置標識の形状として、「↑」や「↓」などの矢印記号、或いは三角形と逆三角形など方向性を有する記号を使用することが考えられるが、この場合に、棒状のビームポインタの周方向の位置決めとしないと、ビームポインタの持ち方次第で上向き矢印が横向きになったり、下向きになったりして、標識としての意味をなさなくなる。この不都合を回避するために、周方向の位置決め手段として各モードへの切替スイッチのうち少なくとも主要なものをビームポインタの一方側面に配置している。
【００２２】
特に操作者は通常では各モードへの切替スイッチを上向きとして親指で操作するので、切替スイッチ設置面側を上面として、位置標識の形状の上下左右を設定すれば、操作者にとっては使用説明書を読まなくても自然にビームポインタを使いこなすことができ、利便性が高まる。
【００２３】
第４の手段は、上記第２の手段又は第３の手段を有し、かつコンピュータ40は、上記ビームポインタ２の投射ビームがスクリーン30に垂直に入射されたときの位置標識Ａの標準乃至動作モードの画像を基本形状として、該基本形状を一定回転角以内での回転或いはスクリーン30上の一軸方向への伸長変形によって得られる変形形状を、各モードの基本形状と同一図形と認識するようにプログラムし、かつ、ビームポインタ２は、一のモードでの基本形状と他のモードでの上記変形形状とが同じ図形とならないように各モードでの位置標識の基本形状を設定している。
【００２４】
ここでは、位置標識の形状の不意の回転乃至伸長変形によって、コンピュータ40が位置標識の形状を認識出来なくなることを避けるための手段を提案している。上記の回転とは、位置標識が本来の向きから傾いてしまうような場合を想定しており、又、伸長変形とは、ビームポインタから投射されたビームがスクリーンに対して斜めに入射するときに位置標識が本来の形状よりも細長く変形することを指している。こうした変形は、スクリーンに対して斜めの位置にビームを投射したり、或いは大きいスクリーンの一点へ下方からビームを投射した場合に生じ易い。
【００２５】
位置標識の各モードの基本形状は、円形、二重円、多角形など他のモードの基本形状から区別できるものであるものとし、円形と楕円形、正方形と長方形、正方形とひし形などを、異なる動作モードの基本形状として採用することは避けることが望ましい。
【００２６】
第５の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの大きさを、標準モード乃至各動作モードに対応させて切り替え可能としている。
【００２７】
例えばコンピュータ操作画面Ｓの寸法に対して、何％以下ならば一の動作、それ以上であれば他の動作という如く定めても良い。又、この場合には、ビームポインタの投射光線を平行光線として、例えばビームポインタからスクリーンまでの距離によって位置標識の大きさが変化しないようにしても良い。
【００２８】
もっとも大きさの変更では伝達できるコマンドの数に限りがあるので、大きさと色とを組み合わせるようにしても良い。
【００２９】
又、標準モードに比べて、各動作モードでの標識の大きさを小さく設定することで大きさの切替えが操作者以外の看者に与える抵抗感を低減することができる。この点については後述の第７の手段で後述する。
【００３０】
第６の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの色彩を、標準モード乃至各動作モードに対応させて切り替え可能としている。
【００３１】
色彩を切り替えるためには、ビームポインタ内部の白色光源と投光口との間にカラーフィルタを設置すれば良い。
【００３２】
第７の手段は、上記第１の手段を有し、かつ上記ビームポインタ２は、位置標識Ａの形態に代えて、各モードに対応した点滅その他の動きパターンを行なうことが可能に設けている。
【００３３】
位置標識の形状や大きさ、色彩が動作のモードによって変化することは操作者にとっては操作し易いという反面、視聴者にとっては、位置標識の形態の変化に気を取られて、コンピュータ画面に映し出されたグラフ・文章など本来注目すべきコンテンツに集中できなくなるというおそれもある。
【００３４】
このような見た目の煩わしさを解消したい場合には、位置標識の形状や色彩を同じにして、点滅やサイズの異なる相似形への縮小（或いは拡大）の動きパターンをとることで特定の動作を実現させるように構成することができる。特にその動きをコンマ数秒で行なうことにより、この動きによって視聴者が気を散らすことを防止できる。
【００３５】
もっとも点滅をするときには、コンピュータ操作画面Ｓ自体の周波数が50〜60Hzであるので、これよりも低い周波数、好ましくは１〜10Hｚ程度の周波数とすることが良い。
【００３６】
拡大又は縮小をするときには、コマンド標識に位置標識を重ねた時点での該位置標識の大きさを基準のサイズとして、これよりも標識が拡大・縮小したときに所定の動作モードに切り替えるように構成することができる。
【００３７】
第８の手段は、上記第1の手段を有し、かつ上記コンピュータ40を、マイクロコンピュータ40aと、一般コンピュータ40ｂとで構成し、コンピュータ40の諸機能のうち、上記重合画像から位置標識を抽出することと、該抽出画像を位置標識の各動作モードの形状の記録データと対比することとを、マイクロコンピュータ40ａに、又その動作モードに係る動作を実行させることと、コンピュータ操作画面を形成することとを一般コンピュータ40ｂにそれぞれ分担させている。
【００３８】
「一般コンピュータ」とは、位置標識の抽出・認定などの本発明固有の動作以外の用途に使用するコンピュータを指す。
【発明の効果】
【００３９】
第１の手段に係る発明によれば、次の効果を奏する。
○スクリーン30上において、通常のGUI画面でのマウスポインタに対応する位置標識を、アイコンに相当するコマンド標識に重ねて、マウスに代わるビームポインタを操作することで、コンピュータ画面を操作することができるから、通常のコンピュータのGUI画面に慣れている利用者にとって、同じ感覚で動作を行なうことができるので、使い勝手が良い。
○コンピュータ操作画面Ｓ上のコマンド標識Ｂに位置標識Ａを重ねて、その重合画像を撮像手段32によりコンピュータ内へ取り込み、かつ位置標識の形態を変化させることでコンピュータにコマンド標識の移動、変形等の各種のコマンドを与えるようにしたので、コマンドの内容に係る情報と、コマンドの対象であるアイコン等の位置情報とを撮像手段32を介して一体的にコンピュータに入力することができ、入力インターフェイスの構成を簡略化することができる。
【００４０】
第２の手段に係る発明によれば、位置標識のモード切り替えのために位置標識の形状を採用したから、例えば動作の内容を示唆する絵記号の形にすることで更に使い勝手を良くすることができるとともに、大きさや色に比べて多くの動作モードに対応することができる。
【００４１】
第３の手段に係る発明によれば、棒状に形成したビームポインタ２の一方側面に周方向への位置決め手段を兼ねて位置標識の各動作モードへの切替スイッチを配置したから、該切替ボタンを上にして操作することにより、自然と正しい向きの位置標識がスクリーン上に投射されることとなり、本システムに不慣れな利用者にとっても使い勝手が良い。
【００４２】
第４の手段に係る発明によれば、ビームポインタ２からスクリーン30上に投影された位置標識が正常な向きから傾いていたり、斜めから入射することで歪んだ伸び変形をしていても、それらの位置標識の本来の形状と対応づけて形状の変化を認識することができるので、それら標識の傾斜や伸びによる誤作動を防止できる。
【００４３】
第５の手段に係る発明によれば、ビームポインタ２は、位置標識Ａの大きさを各モードで切替え可能としたから、上記位置標識の形状の切替えの如く、上記傾斜による位置標識の認識の誤認を生じない。
【００４４】
第６の手段に係る発明によれば、ビームポインタ２は、位置標識Ａの色彩を、標準モード乃至各動作モードに対応させて切り替え可能としたから、上記位置標識の形状の切替えの如く、上記傾斜や伸び変形による位置標識の認識の誤認を生じない。
【００４５】
第７の手段に係る発明によれば、ビームポインタ２は、位置標識Ａの形態に代えて、位置標識が、標準モード乃至各動作モードに対応した点滅その他の動きパターンをとることが可能に構成したから、形状や色彩が変化する場合と比較して位置標識の変化が目立たず、視聴者にとって見た目の煩わしさがない。
【００４６】
第８の手段に係る発明によれば、特に重合画像と元のコンピュータ操作画面との差分抽出、及び、位置標識の認識という本発明固有の機能を、マイクロコンピュータに、又コマンド標識に対する各種動作の実行などの通常のコンピュータ処理を汎用コンピュータにそれぞれ分散させることができ、これにより既存のパーソナルコンピュータを本システムに適用することができ、応用範囲が著しく広がる。
【発明を実施するための最良の形態】
【００４７】
本システムは、図１及び図２に示す如く、ビームポインタ２と、スクリーン30と、撮像手段32と、コンピュータ40と、映像投射機60とで形成されている。
【００４８】
ビームポインタ２は、図３に示す如く先端部に投光口４を有する棒状のものであり、その周面の一方側面には、オン、オフのボタン６、８、及び標準モードから各動作モードへの切替ボタン10A、10B…を配置している。ビームポインタ２の内部には、図４の如く電源12とレーザー光源14と遮光手段16とを配置する。該遮光手段16は入射光の一部を所定のマークの形状に対応して遮断するためのもので、既存の透過型液晶パネルで形成しても良く、又、従来公知の如く各種形状の透光窓付きの複数のフィルタのうちの一つを、切替えボタンの操作に対応して入替え可能に光路上にセットすることで構成しても良い（例えば特許文献５参照）。そのマークの形状は、例えば位置標識の標準モードに対して「○」、クリックに対して「△」、ドラッキングに対して「□」、右移動に対して「→」という如く定めれば良い。又、ビームポインタは、後述の如くスクリーン上に投射されたコンピュータ操作画面Ｓと重ね合わせて位置標識を表示するためのものであり、該位置標識が周囲のコンピュータ操作画面Ｓ部分に比べて明瞭に区別できる程度の明るさの光を投光できることが望ましい。
【００４９】
スクリーン30は、公知のスライド用スクリーンである。
【００５０】
撮像手段32は、公知の画像認識用カメラであり、スクリーン上の画像を取り込むことができれば、どのようなものでも良い。取り込んだ画像は、例えば光を赤・緑・青の三原色の強度に分解するRGB方式で数値化し、画素データとしてコンピュータに入力する。もっとも画素のデータ化の方式は、RGB方式に限られるものではなく、３原色＋透明度で表すRBGA方式、上記３原色の補色に分解するCMY方式など各種方式が知られている。上記カメラの一部には、画像処理用のマイクロコンピュータを付設しているが、これについては、後述する。
【００５１】
コンピュータ40は、図５に示す如く記憶手段42と、入力手段44と、差分抽出手段46と、標識判別手段48と、制御手段50と、コンピュータ操作画面作成手段52と、出力手段54とで構成される。予めコンピュータをこれら各手段として機能させるプログラムを作成しておくと好適である。
【００５２】
上記記憶手段42には、少なくとも位置標識の各モードごとの基本的な形状と、コマンド標識を含むコンピュータ操作画面Ｓとのデータが保存されている。該操作画面Ｓの画素データは、撮像手段と同一の方式で作成されたものとすることが望ましい。尚、位置標識の各形状は、その標準モード乃至各動作モードと対応付けて記憶されている。
【００５３】
上記入力手段44は、上記撮像手段32から入力されたコンピュータ操作画面Ｓと位置標識との重合画像を差分抽出手段46へ転送する。
【００５４】
上記差分抽出手段46は、上記重合画像の画素データと、記録手段42に記録された元のコンピュータ操作画面Ｓ上の対応する画素データとを同一の色方式で比較してその差分をとり、その差分データから位置標識の画像を抽出して、該抽出画像を標識判別手段48に伝達する。
【００５５】
該標識判別手段48は、上記位置標識の抽出画像と記憶手段42に記憶された位置標識の各動作モードの基本形状とを対比し、形状が一致する動作モードを特定して、動作モードの種別に係る情報を、位置標識の位置情報とともに制御手段50に伝達する。尚、ビームポインタ２からスクリーン上へ投影された位置標識Ａの形状は、スクリーン30の汚れや歪み、或いはスクリーンへのビームの入射角度などにより、ビームポインタ２から射出された元の形状と完全な相似形とはならないので、ある程度の変形・歪みがあっても位置標識の認定が可能であるように認定の許容誤差を設定することが望ましい。この点については更に後述の図８乃至図９において言及する。
【００５６】
制御手段50は、標識判別手段から送られた動作モード特定情報に基づき、その動作を実行するとともに、該作業実行後のコンピュータ操作画面Ｓを作成するようにコンピュータ操作画面作成手段52に指令する。
【００５７】
コンピュータ操作画面作成手段52は、指令に基づいて、新たにコンピュータ操作画面Ｓを作成して、出力手段54に伝達するとともに、新たな操作画面Ｓのデータを元の操作画面Ｓのデータと置き換えるために記憶手段42に伝達する。
【００５８】
尚、図示例のコンピュータ40は、マイクロコンピュータ40ａと、パーソナルコンピュータである一般コンピュータ40ｂとで構成している。マイクロコンピュータ40ａは、記憶手段42のうちコンピュータ操作画面の画像データと位置標識の各モードの形状の情報とを記憶した部分と、差分抽出手段46と、標識判別手段48と、図示しない固有の制御手段を有している。一般コンピュータ40ｂは、記憶手段42のうち一般用途部分と、制御手段50と、操作画面作成手段52とを有している。この場合には、通常のコンピュータシステムでマウスのボタン動作及び位置から得る信号（以下「マウス信号」という）を、マイクロコンピュータ40ａで位置標識Ａの形状及び位置から生成して、一般コンピュータ40ｂへ（可能であればそのマウス用接続ポートへ）入力できるようにすると良い。そうすると、普通のパーソナルコンピュータでのマウス操作に代えて、レーザービームのボタン操作及び移動により、一般コンピュータ40ｂの操作画面上のマウスポインタを動かして、パーソナルコンピュータを操作することができ、既存のコンピュータを本システムに活用できる。尚、一般のコンピュータではマウスポインタの形状・サイズは適宜変更できるので、この形状（初期設定では白抜き矢印）を、位置標識Ａと重なって表れても見た目がうるさくならないような形状（例えば一点の基点）に変更すると良い。又、マイクロコンピュータ40ａではこのマウスポインタと位置標識とが重なり合って取り込まれても位置標識を認識できるように、許容誤差の範囲を調節すると良い。
【００５９】
出力手段54は、上記新たなコンピュータ操作画面Ｓの画像データを出力する。
【００６０】
映像投射機60は、出力手段54から出力された画像データに基づいて新たなコンピュータ操作画面Ｓをスクリーン30上に投射する。
【００６１】
図６は、上記システムでの一連のコンピュータの動作をフローチャートで表したものである。
【００６２】
まず撮像手段32、映像投射機50、及び一般のコンピュータ40ｂの電源を入れると、該コンピュータの操作画面Ｓが映像投射機50よりスクリーン30上に投射される。該操作画面は、撮像手段32を介して画素データとしてマイクロコンピュータ40ａに取り込まれ、この画像が操作画面の初期画像としてマイクロコンピュータの記憶手段42に記憶される。
【００６３】
図１の如くビームポインタ２で位置標識Ａをスクリーン30上に投射すると、位置標識Ａとコンピュータ操作画面Ｓとが重なり合った画像が、撮像手段32を介して画素データとしてマイクロコンピュータ40ａに取り込まれ、該コンピュータの差分抽出手段46によって、この重合画像と初期画像との画素データの差分をとってこの差分データから位置標識の形状と位置とが再現される。これら形状及び位置の情報は、マイクロコンピュータ40ａの標識判別手段48において、予めマイクロコンピュータの記憶手段42にデータベース化された位置標識Ａの各モードの基本形状と照合され、該当するモードの情報を位置標識の情報とともに、マウス信号の代わりに一般コンピュータ40ｂに送信する。上記のモードが標準モードであるとすると、そのモードに対する特別のコマンドはないものとして、一般コンピュータ40ｂは、その位置標識Ａの位置にマウスポインタを合わせた操作画面を形成し、映像投射機60を介してその操作画面をスクリーン上に投射する。
【００６４】
次に図２の如く位置標識Ａをコンピュータ操作画面Ｓ上のコマンド標識Ｂに重ねるとともにビームポインタ２の切替ボタン10を押すと、一つの動作モードに対応してスクリーン上の位置標識Ａの形状が変化し、この新たな形状の位置標識の画像が上述の如くコンピュータ内へ取り込まれ、上述の如く操作画面との差分の抽出、標識の判別の過程を経て、新たな形状に係る動作情報と位置標識の位置情報とがマイクロコンピュータ40ａから一般コンピュータ40ｂへ送信される。これらの情報に基づいて特定のコマンド標識に対して当該動作（図示例ではコマンド標識の移動）が実行される。
【００６５】
図７は、回転による位置標識の形状の変化について示している。ビームポインタ２は周面の一方側面に各動作モードへの切替ボタンを配置しており、この種の棒状のビームポインタ２は、親指で各切替ボタンを操作するとともに、残りの指でビームポインタを把持する。従って、この把持状態では、通常親指で操作する切替ボタン配置面を上にして操作するので、自然にビームポインタ２の周方向位置決めが行われ、図６に実線で示すように設計者が意図した図形（図示例では正立の三角形）が投射される。しかしながら、ビームポインタ２は手で支持しているため、正立状態から矢示の如く多少傾くのは避けられず、これに対応してスクリーン上に投射された位置標識も傾くことになり、標識判定手段48による標識の認識を厳格にすると認識作業が困難となる。従って、標識判定手段48は、位置標識Ａの各モードの正立状態での形状（基本形状）から傾いた状態でも当該モードの形状を認定できるようにすると良い。即ち、差分データから再現した位置標識Ａの形状を回転することで、予め記憶された位置標識の各モードの基本形状と一定誤差範囲内に収まる形状となるのであれば、当該モードの位置標識の同一の形状とすることができる。但し、この場合には、位置標識Ａの各モードの基本形状として、三角形「△」と逆三角形「▽」の如く回転して同一となる形状を採用しないようにする必要がある。もっとも、その回転角αに一定の制限（例えば−45°＜α＜45°）に制限を課すことで正逆対称の図形を区別することもできる。
【００６６】
図８は、回転による位置標識の形状の変化について示している。同図中に実線で示すビームは、スクリーン30に対して垂直に入射してものであり、このビームによる投射映像は正方形である。他方、想像線で表すビームはスクリーン30に斜め左下から入射したものであり、この場合には、スクリーンへのビームの射影の向きに伸長した平行四辺形となる。
【００６７】
入射ビームが平行光束である場合には、図９に示す如く、元の図形は、入射角をθとすると、射影方向に１／ｃｏｓθ倍になる。従って、標識識別手段は、所定の入射角以内で、差分データから再現した位置標識Ａの形状を任意方向にｃｏｓθ倍倍して得られる図形が、予め記憶された位置標識の各モードの基本形状と一定誤差内において一致するのならば当該基本図形と同一図形と認定するように構成すると良い。尚、入射ビームが平行光束でなくとも、元の図形が三角形か四角形かといった大まかな形状を判断できるように標識判別手段48を構成することができる。
【００６８】
以上の例では、位置標識の形状を動作モードに対応して切り替えていたが、色彩や動作を切り替える場合にも、スクリーン30、撮像手段32、コンピュータ40、映像投射機60の構造を同じとしたシステムを構築すれば良い。
【図面の簡単な説明】
【００６９】
【図１】本発明に係るシステムの概略図である。
【図２】図１のシステムの作動状態説明図である。
【図３】図１のシステムに使用するビームポインタの正面図である。
【図４】図３のビームポインタの内部構造の概念図である。
【図５】図１のシステムの概念図である。
【図６】図１のシステムの機能のフローチャートである。
【図７】位置標識の回転による形状の変形を示す説明図である。
【図８】位置標識の入射角の変化による形状の変化を示す説明図である。
【図９】図８の形状の変化と入射角との関係を示す図である。
【符号の説明】
【００７０】
２…ビームポインタ ４…投光口 ６…オンボタン ８…オフボタン
10…モード切替えボタン 12…電源 14…レーザー光源 16…遮光手段
30…スクリーン 32…撮像手段
40…コンピュータ 40ａ…マイクロコンピュータ40ａ…一般コンピュータ
42…記憶手段 44…入力手段 46…差分抽出手段 48…標識判別手段
50…制御手段 52…コンピュータ操作画面作成手段
54…出力手段 60…映像投射機
Ｓ…操作画面 Ａ…位置標識 Ｂ…コマンド標識
【特許請求の範囲】
【請求項１】
コンピュータの操作画面Ｓ上で、位置指示器と連動するマウスポインタその他の位置標識を、コンピュータに命令を与えるためのスイッチ乃至アイコン等のコマンド標識に合わせて、上記位置指示器を操作することで、コマンド標識の移動・変形・コマンドの実行等の各種動作を可能とするコンピュータの操作システムにおいて、
スクリーン30上に、コンピュータ40から出力する操作画面Ｓと、位置指示器であるビームポインタ２から投射する位置標識Ａとを重ね合わせ、該重合画像を撮像手段32によりデータ化してコンピュータ40へ入力して、元の操作画面Ｓの画素データとの差分から上記位置標識Ａの形、色、大きさ等の形態を特定することが可能に設け、かつビームポインタ２は、位置標識Ａの形態を標準モードから適数の動作モードへ切換え可能として、上記位置標識Ａをコマンド標識に重ねるともに一の動作モードへ切り替えることで当該一の動作を実行可能としたことを特徴とする、コンピュータの遠隔操作システム。
【請求項２】
上記ビームポインタ２は、位置標識Ａの形状を、標準モード乃至各動作モードに対応させて切り替え可能としたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項３】
上記ビームポインタ２は、先端部に投光口４を有する棒状であって、その一方側面に周方向への位置決め手段を兼ねて位置標識の各動作モードへの切替スイッチを配置したことを特徴とする請求項２のコンピュータの遠隔操作システム。
【請求項４】
コンピュータ40は、上記ビームポインタ２の投射ビームがスクリーン30に垂直に入射されたときの位置標識Ａの標準乃至動作モードの画像を基本形状として、該基本形状を一定回転角以内での回転或いはスクリーン30上の一軸方向への伸長変形によって得られる変形形状を、各モードの基本形状と同一図形と認識するようにプログラムし、かつ、ビームポインタ２は、一のモードでの基本形状と他のモードでの上記変形形状とが同じ図形とならないように各モードでの位置標識の基本形状を設定したことを特徴とする、請求項２又は請求項３記載のコンピュータの遠隔操作システム。
【請求項５】
上記ビームポインタ２は、位置標識Ａの大きさを、標準モード乃至各動作モードに対応させて切り替え可能としたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項６】
上記ビームポインタ２は、位置標識Ａの色彩を、標準モード乃至各動作モードに対応させて切り替え可能としたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項７】
上記ビームポインタ２は、位置標識Ａの形態に代えて、位置標識が、標準モード乃至各動作モードに対応した点滅その他の動きパターンをとることが可能に構成したことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項８】
上記コンピュータ40を、マイクロコンピュータ40aと、一般コンピュータ40ｂとで構成し、コンピュータ40の諸機能のうち、上記重合画像から位置標識を抽出することと、該抽出画像を位置標識の各動作モードの形状の記録データと対比することとを、マイクロコンピュータ40ａに、又その動作モードに係る動作を実行させること、及びコンピュータ操作画面を形成することを一般コンピュータ40ｂにそれぞれ分担させたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項１】
コンピュータの操作画面Ｓ上で、位置指示器と連動するマウスポインタその他の位置標識を、コンピュータに命令を与えるためのスイッチ乃至アイコン等のコマンド標識に合わせて、上記位置指示器を操作することで、コマンド標識の移動・変形・コマンドの実行等の各種動作を可能とするコンピュータの操作システムにおいて、
スクリーン30上に、コンピュータ40から出力する操作画面Ｓと、位置指示器であるビームポインタ２から投射する位置標識Ａとを重ね合わせ、該重合画像を撮像手段32によりデータ化してコンピュータ40へ入力して、元の操作画面Ｓの画素データとの差分から上記位置標識Ａの形、色、大きさ等の形態を特定することが可能に設け、かつビームポインタ２は、位置標識Ａの形態を標準モードから適数の動作モードへ切換え可能として、上記位置標識Ａをコマンド標識に重ねるともに一の動作モードへ切り替えることで当該一の動作を実行可能としたことを特徴とする、コンピュータの遠隔操作システム。
【請求項２】
上記ビームポインタ２は、位置標識Ａの形状を、標準モード乃至各動作モードに対応させて切り替え可能としたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項３】
上記ビームポインタ２は、先端部に投光口４を有する棒状であって、その一方側面に周方向への位置決め手段を兼ねて位置標識の各動作モードへの切替スイッチを配置したことを特徴とする請求項２のコンピュータの遠隔操作システム。
【請求項４】
コンピュータ40は、上記ビームポインタ２の投射ビームがスクリーン30に垂直に入射されたときの位置標識Ａの標準乃至動作モードの画像を基本形状として、該基本形状を一定回転角以内での回転或いはスクリーン30上の一軸方向への伸長変形によって得られる変形形状を、各モードの基本形状と同一図形と認識するようにプログラムし、かつ、ビームポインタ２は、一のモードでの基本形状と他のモードでの上記変形形状とが同じ図形とならないように各モードでの位置標識の基本形状を設定したことを特徴とする、請求項２又は請求項３記載のコンピュータの遠隔操作システム。
【請求項５】
上記ビームポインタ２は、位置標識Ａの大きさを、標準モード乃至各動作モードに対応させて切り替え可能としたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項６】
上記ビームポインタ２は、位置標識Ａの色彩を、標準モード乃至各動作モードに対応させて切り替え可能としたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項７】
上記ビームポインタ２は、位置標識Ａの形態に代えて、位置標識が、標準モード乃至各動作モードに対応した点滅その他の動きパターンをとることが可能に構成したことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【請求項８】
上記コンピュータ40を、マイクロコンピュータ40aと、一般コンピュータ40ｂとで構成し、コンピュータ40の諸機能のうち、上記重合画像から位置標識を抽出することと、該抽出画像を位置標識の各動作モードの形状の記録データと対比することとを、マイクロコンピュータ40ａに、又その動作モードに係る動作を実行させること、及びコンピュータ操作画面を形成することを一般コンピュータ40ｂにそれぞれ分担させたことを特徴とする、請求項１記載のコンピュータの遠隔操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−１６３９２２（Ｐ２００６−１６３９２２Ａ）
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願番号】特願２００４−３５５５８３（Ｐ２００４−３５５５８３）
【出願日】平成１６年１２月８日（２００４．１２．８）
【出願人】（０００００３６２１）株式会社竹中工務店 (1,669)
【Ｆターム（参考）】
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願日】平成１６年１２月８日（２００４．１２．８）
【出願人】（０００００３６２１）株式会社竹中工務店 (1,669)
【Ｆターム（参考）】
[ Back to top ]