説明

画面操作システム

【課題】状況により画面操作が制約されることがなく、かつ画面操作を簡便に行うことができるようにする。
【解決手段】情報処理装置1により制御される画像表示装置2の画面4に対してユーザが指示物6を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を情報処理装置に実行させる画面操作システムであり、画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイ8と、情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置5を有し、携帯情報装置のカメラで、画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像し、これにより得られた撮像画像情報に基づいて操作情報を取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置によって画像表示装置に表示された画面をユーザに操作させる画面操作システムに関するものである。
【背景技術】
【0002】
情報処理装置では、所要のプログラムにより画像表示装置に画面を表示させ、その画面上のアイコンなどの操作対象をユーザがマウスなどの入力デバイスを用いて操作することで、情報処理装置で実行されるプログラムに対して所要の指示を行うようにした、いわゆるGUI(Graphical User Interface)による画面操作システムが広く普及している。
【0003】
一方、画像表示装置にプロジェクタを用いると、大画面を得ることができるため、多人数を対象にした会議などで都合がよいが、画面操作を行うには、プロジェクタを制御する情報処理装置に接続された入力デバイスを用いる必要があり、複数のユーザが画面操作を行う場合には、ユーザが交代で情報処理装置の入力デバイスを操作することになり、不便である。
【0004】
このようなプロジェクタの画面を対象にした画面操作システムとして、スクリーン上に投影された画面の前で、ユーザが指先などの指示物を動かすことで、画面操作を行うことができるようにした技術が知られている(特許文献1参照)。この技術は、携帯電話端末にプロジェクタを内蔵した場合には、画面の表示中に携帯電話端末を操作すると、プロジェクタの画面が動いて見難くなる不便を解消するものであるが、装置の入力デバイスを操作することなく、画面操作を行うことができるため、一般的なプロジェクタでも利便性を高めることができるものと考えられる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−64109号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
さて、前記従来の技術は、プロジェクタに併設されたカメラで、スクリーン上の画面を撮像し、ユーザの手などの指示物が画面に重なるように映った撮像画像を解析して、指示物の操作を検出するものであるが、画面上のアイコンなどの操作対象に重なるように指示物を動かす必要があるため、スクリーンが巨大で画面上の操作対象に指示物が届かない場合には、画面操作を行うことができないという問題があった。また、画面操作を行う者は、スクリーンの前に出て行かなければならず、手軽に画面操作を行うことができないという不便があった。
【0007】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、状況により画面操作が制約されることがなく、かつ画面操作を簡便に行うことができるように構成された画面操作システムを提供することにある。
【課題を解決するための手段】
【0008】
本発明の画面操作システムは、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより、前記画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像して得られた撮像画像情報に基づいて前記操作情報を取得するようにした構成とする。
【0009】
また、本発明の画面操作システムは、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するとともに画面上での指示物によるタッチ操作を検出するタッチパネルディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより前記画像表示装置の画面を撮像して得られた撮像画像情報と、その撮像画像が表示された前記タッチパネルディスプレイ上でのタッチ操作で得られた操作位置情報とに基づいて前記操作情報を取得するようにした構成とする。
【発明の効果】
【0010】
本発明によれば、ユーザが所持する携帯情報装置で画像表示装置の画面を撮影して画面操作を行うことから、画像表示装置の画面が見える場所にユーザがいれば画面操作を行うことができる。このため、状況により画面操作が制約されることがなく、例えばスクリーンが巨大であるために画面上のアイコンなどの操作対象に指示物が届かない場合でも、画面操作を行うことができ、高い利便性が得られる。
【0011】
さらに、画面操作を行う者がスクリーンの前に出て行く必要がなく、自席に着席したまま画面操作を行うことができ、また、各人が所持する携帯情報装置を利用して画面操作を行うため、複数のユーザが画面操作を行う場合に、情報処理装置の入力デバイスを交代で操作する面倒がなく、画面操作を簡便に行うことができる。そして、携帯情報装置は、広く普及しているカメラ付き携帯電話端末などで構成することができ、複数のユーザが画面操作を行う場合に専用の装置を人数分用意する必要がなく、導入コストを削減することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1実施形態にかかる画面操作システムを示す全体構成図
【図2】携帯情報装置5および情報処理装置1の概略構成図
【図3】携帯情報装置5で行われる処理の手順を示すフロー図
【図4】本発明の第2実施形態にかかる画面操作システムを示す全体構成図
【図5】携帯情報装置31および情報処理装置1の概略構成図
【図6】携帯情報装置31で行われる処理の手順を示すフロー図
【図7】画像の歪みを補正する画像補正処理を説明する図
【図8】携帯情報装置5および情報処理装置1の概略構成図である。
【図9】本発明における画像表示装置の別例を示す斜視図
【図10】本発明の画面操作システムの変形例を示す全体構成図
【発明を実施するための形態】
【0013】
前記課題を解決するためになされた第1の発明は、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより、前記画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像して得られた撮像画像情報に基づいて前記操作情報を取得するようにした構成とする。
【0014】
また、第2の発明は、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するとともに画面上での指示物によるタッチ操作を検出するタッチパネルディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより前記画像表示装置の画面を撮像して得られた撮像画像情報と、その撮像画像が表示された前記タッチパネルディスプレイ上でのタッチ操作で得られた操作位置情報とに基づいて前記操作情報を取得するようにした構成とする。
【0015】
前記第1および第2の発明によると、ユーザが所持する携帯情報装置で画像表示装置の画面を撮影して画面操作を行うことから、画像表示装置の画面が見える場所にユーザがいれば画面操作を行うことができる。このため、状況により画面操作が制約されることがなく、例えばスクリーンが巨大であるために画面上のアイコンなどの操作対象に指示物が届かない場合でも、画面操作を行うことができ、高い利便性が得られる。
【0016】
さらに、画面操作を行う者がスクリーンの前に出て行く必要がなく、自席に着席したまま画面操作を行うことができ、また、各人が所持する携帯情報装置を利用して画面操作を行うため、複数のユーザが画面操作を行う場合に、情報処理装置の入力デバイスを交代で操作する面倒がなく、画面操作を簡便に行うことができる。そして、携帯情報装置は、広く普及しているカメラ付き携帯電話端末などで構成することができ、複数のユーザが画面操作を行う場合に専用の装置を人数分用意する必要がなく、導入コストを削減することができる。
【0017】
また、第3の発明は、前記第1若しくは第2の発明において、前記携帯情報装置および前記情報処理装置の少なくともいずれかが、前記画像表示装置の画面内で前記カメラにより撮像された撮像領域に対する指示物の相対的な位置を求める第1の操作位置取得手段と、前記画像表示装置の画面全体に対する撮像領域の絶対的な位置を求める撮像位置取得手段と、前記第1の操作位置取得手段および前記撮像位置取得手段で得られた情報に基づいて、前記画像表示装置の画面全体に対する指示物の絶対的な位置を求める第2の操作位置取得手段と、を備えた構成とする。
【0018】
これによると、画面操作を行う際に画像表示装置の画面の一部を携帯情報装置で撮像すればよく、画面操作が容易になる。
【0019】
また、第4の発明は、前記第1乃至第3の発明において、前記携帯情報装置および前記情報処理装置の少なくともいずれかが、指示物の動きによる操作形態を判別する操作形態判別手段を備えた構成とする。
【0020】
これによると、指示物の動きで多様な指示を行うことができるため、画面操作が容易になる。この場合、タップ、フリック、およびピンチイン/ピンチアウトなどの各操作形態ごとに、選択、画面のスクロールや頁送り、画面の拡大および縮小などの各処理が割り当てられる。
【0021】
また、第5の発明は、前記第1乃至第4の発明において、前記携帯情報装置および前記情報処理装置の少なくともいずれかが、前記カメラにより前記画像表示装置の画面を斜めから撮像することにより生じる撮像画像の歪みを補正する画像補正手段を備えた構成とする。
【0022】
これによると、撮像画像の歪みが補正されることで、撮像画像が見やすくなるため、画面操作が容易になる。
【0023】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【0024】
(第1実施形態)
図1は、本発明の第1実施形態にかかる画面操作システムを示す全体構成図である。この画面操作システムは、情報処理装置1により制御されるプロジェクタ(画像表示装置)2でスクリーン3上に投影表示された画面4に対してユーザが行った操作に関する操作情報を取得して、その操作情報に応じた処理を情報処理装置1に実行させるものであり、プロジェクタ2の画面4を操作するために、ユーザが所持する携帯情報装置5が用いられる。
【0025】
携帯情報装置5は、具体的には携帯電話端末(PHS端末を含む)、スマートフォン、およびPDAなどで構成され、プロジェクタ2の画面4を撮像するカメラを備えており、ユーザが携帯情報装置5でプロジェクタ2の画面4を撮像し、その撮像画像が表示されたディスプレイ8の画面を見ながら、ユーザが手や指先あるいは指示棒などの指示物6を、プロジェクタ2の画面4上のアイコンなどの操作対象がある所要の位置に重なるように動かすことで、プロジェクタ2の画面4を操作することができる。
【0026】
携帯情報装置5では、プロジェクタ2の画面4内でカメラの画角に収まる撮像領域7が指などの指示物6とともに撮像され、撮像領域7上の所要の位置に指などの指示物6が重なって映った撮像画像が得られ、この撮像画像情報に基づいて、プロジェクタ2の画面4に対してユーザが指示物6を用いて行った操作に関する操作情報を取得する。
【0027】
携帯情報装置5と情報処理装置1とは、無線LANなどの無線通信媒体を介して通信を行うことができ、撮像画像情報から操作情報を取得する処理が、携帯情報装置5と情報処理装置1とで分担して行われ、携帯情報装置5から所要の情報が情報処理装置1にリアルタイムに送信される。
【0028】
図2は、図1に示した携帯情報装置5および情報処理装置1の概略構成図である。携帯情報装置5は、カメラ11と、入力部12と、手振れセンサ13と、動体追尾処理部14と、画像解析部15と、指示物検出部16と、操作形態解析部17と、座標計算部18と、通信部19と、を備えている。
【0029】
動体追尾処理部14は、入力部12から出力される撮像画像情報と、手振れセンサ13から出力される手振れ情報に基づいて、撮像対象物とカメラ11との相対動作を検知する。
【0030】
画像解析部15は、動体追尾処理部14で得られた情報に基づいて、スクリーン3を認識し、さらにスクリーン3上の画面4の領域を認識する。この画面領域認識は、画面4上の所定位置に表示される標識画像などに基づいて行われる。この標識画像としては、画面4内で特徴のある画像、例えば画面4の左下に表示されるスタートボタンの画像がある。また、画面領域認識のために特別に画面に表示させたマーカーの画像も可能である。
【0031】
指示物検出部16は、入力部12から出力される撮像画像情報と、動体追尾処理部14で得られた情報に基づいて、動き認識処理により撮像画像全体と動きの違う部分を検知し、その部分が指示物であるかを形状認識処理により判断する。ここでは、指示物の形状(例えば手、指および爪などの形状)に関する特徴点から指示物を認識する。
【0032】
操作形態解析部(操作形態判別手段)17は、指示物検出部16で得られた情報に基づいて、指示物6の動きによる操作形態を判別する。ここで、操作形態には、タップ(指で軽く叩く操作)、フリック(指で軽くはらう操作)、ピンチイン/ピンチアウト(2本指の間を広げたり縮めたりする操作)などのジェスチャ操作などがあり、例えばタップで選択(マウスのクリックやダブルクリックに相当)、フリックで画面のスクロールや頁送り、ピンチイン/ピンチアウトで画面の拡大および縮小の各動作を指示することができる。
【0033】
座標計算部(第1の操作位置取得手段)18は、画像解析部15と操作形態解析部17で得られた情報に基づいて、撮像領域7上での指示物6の相対的な位置を求める。ここでは、指示物6による指示位置(指示物6が手と認識された場合、その指先の位置)の座標を算出する。
【0034】
なお、ディスプレイ8はディスプレイ制御部20により制御され、このディスプレイ制御部20には、カメラ11による撮像画像情報が入力部12を介して入力されて、ディスプレイ8に撮像画像が表示される。
【0035】
図3は、携帯情報装置5で行われる処理の手順を示すフロー図である。まず、携帯情報装置5のカメラ11を起動して、プロジェクタ2でスクリーン3上に投影された画面4の撮像を開始すると(ST101)、手振れ補正および動体追尾処理が動体追尾処理部14にて開始され(ST102)、またスクリーン3およびスクリーン3上の画面4の領域を認識する処理が画像解析部15にて行われる(ST103)。
【0036】
そして、カメラ11の撮像範囲に指などの指示物6が挿入されると、その指示物を認識する処理が指示物検出部16にて行われ(ST104)、ついで、タップやフリックなどの操作形態を判別する処理が操作形態解析部17にて行われ、また操作位置、すなわち撮像領域7上での指示物6の相対的な位置を求める処理が座標計算部18にて行われ(ST105)、これらの処理で取得した撮像画面に関する情報と操作形態および操作位置に関する情報とが通信部19から情報処理装置1に送信される(ST106)。
【0037】
図2に示したように、情報処理装置1は、通信部21と、画像座標解析部22と、操作座標解析部23と、操作処理部24と、表示制御部25と、を備えている。
【0038】
表示制御部25は、プロジェクタ2の表示動作を制御し、プロジェクタ2で表示中の画面情報を画像座標解析部22に出力する。
【0039】
画像座標解析部(撮像位置取得手段)22は、通信部21で受信した撮像画像情報と、表示制御部25から出力される表示中の画面情報とに基づいて、プロジェクタ2の画面4全体に対する撮像領域7の絶対的な位置を求める。ここでは、マッチング処理により、画面4全体に対する撮像領域7の位置を求め、これにより特定された撮像領域7に関して詳細な座標を算出する。
【0040】
操作座標解析部(第2の操作位置取得手段)23は、通信部21で受信した指示物6に関する情報、すなわち撮像領域7上での指示物6の相対的な位置に関する情報に基づいて、プロジェクタ2の画面4全体に対する指示物6の絶対的な位置を求める。そして、この指示物6の位置に関する情報に基づいて、画面4上の操作対象(選択メニューやアイコンなど)を判別し、さらに通信部21で受信したタップやフリックなどの操作形態に関する情報に基づいて、指示物が画面4上でどのような操作を行ったかを示す操作内容に関する情報(操作情報)を出力する。
【0041】
操作処理部24は、操作座標解析部23で得られた操作内容に関する情報(操作情報)に基づいて、その操作内容に応じた処理を実行する。
【0042】
なお、ここでは、必要とされる各種の処理を携帯情報装置5と情報処理装置1とに割り振っているが、これらの処理は、携帯情報装置5および情報処理装置1のいずれで行うことも可能である。例えば携帯情報装置5の操作形態解析部17で、タップやフリックなどの操作形態を判別する処理を行うようにしたが、この操作形態の判別処理を情報処理装置1で行うようにしてもよい。
【0043】
ただし、携帯情報装置5の通信負荷を軽減し、また複数のユーザが携帯情報装置5を用いて画面操作を行う場合の情報処理装置1の演算負荷を軽減するために、携帯情報装置5の処理能力が許す限り、必要とされる処理をできるだけ携帯情報装置5で行う構成とすることが望ましい。
【0044】
(第2実施形態)
図4は、本発明の第2実施形態にかかる画面操作システムを示す全体構成図である。この画面操作システムは、第1実施形態と同様に、情報処理装置1と、プロジェクタ(画像表示装置)2と、携帯情報装置31と、からなっており、プロジェクタ2によりスクリーン3上に投影表示された画面4を、ユーザが所持する携帯情報装置31を用いて操作するものであるが、特にここでは、携帯情報装置31が、カメラおよび無線通信機能の他に、タッチパネルディスプレイ32を備えている。
【0045】
携帯情報装置31のタッチパネルディスプレイ32は、カメラによる撮像画像を表示するとともにその画面上での指先などの指示物6によるタッチ操作を検出するものであり、ユーザがカメラでプロジェクタ2の画面4を撮像しながら、その撮像画面が表示されたタッチパネルディスプレイ32上で指示物6を動かすことで、プロジェクタ2の画面4を操作することができる。
【0046】
携帯情報装置31では、プロジェクタ2の画面4内でカメラの画角に収まる撮像領域7が撮像され、これにより得られた撮像画像情報と、撮像領域7が表示されたタッチパネルディスプレイ32上での指示物6によるタッチ操作で得られた操作位置情報とに基づいて、プロジェクタ2の画面4に対してユーザが指示物6を用いて行った操作に関する操作情報を取得する。
【0047】
図5は、図4に示した携帯情報装置31および情報処理装置1の概略構成図である。なお、図2に示した第1実施形態と同一構成のものには同一の符号を付してその詳細な説明は省略する。
【0048】
携帯情報装置31では、タッチパネルディスプレイ32がディスプレイ制御部33により制御され、このディスプレイ制御部33には、カメラ11による撮像画像情報が入力部12を介して入力されて、撮像画像がタッチパネルディスプレイ32に表示される。また、ディスプレイ制御部33では、タッチパネルディスプレイ32上で指先などの指示物6で行ったタッチ操作が検出され、タッチ位置に関する情報が出力される。
【0049】
このタッチ位置に関する情報は操作形態解析部17に入力され、操作形態解析部17が、タッチ位置に関する情報に基づいて、指示物6の動きによるタップやフリックなどの操作形態を判別する。また、タッチ位置に関する情報は、操作形態解析部17を介して座標計算部18に入力され、座標計算部18が、タッチ位置に関する情報に基づいて、撮像領域7上での指示物6の相対的な位置を求める。
【0050】
図6は、携帯情報装置31で行われる処理の手順を示すフロー図である。ここでは、図3に示した第1実施形態と同様に、プロジェクタ2でスクリーン3上に投影された画面4の撮像が開始されると(ST201)、手振れ補正および動体追尾処理を開始し(ST202)、スクリーン3およびスクリーン3上の画面4の領域を認識する処理が行われる(ST203)。そして、ディスプレイ制御部33から出力されるタッチ位置に関する情報に基づいて、タップやフリックなどの操作形態を判別する処理、および操作位置を算出する処理が行われ(ST204)、これらの処理で取得した撮像画面に関する情報と操作形態および操作位置に関する情報とが情報処理装置1に送信される(ST205)。
【0051】
情報処理装置1は、第1実施形態と同一であり、同一の処理が行われる。
【0052】
以上のように、本発明の第1および第2の各実施形態にかかる画面操作システムでは、ユーザが所持する携帯情報装置5,31でプロジェクタ2の画面4を撮影して画面操作を行うことから、プロジェクタ2の画面4が見える場所にユーザがいれば画面操作を行うことができる。このため、状況により画面操作が制約されることがなく、例えばスクリーン3が巨大であるために画面上のアイコンなどの操作対象に指示物が届かない場合でも、画面操作を行うことができ、高い利便性が得られる。
【0053】
さらに、画面操作を行う者がスクリーン3の前に出て行く必要がなく、自席に着席したまま画面操作を行うことができ、また、各人が所持する携帯情報装置5,31を利用して画面操作を行うため、複数のユーザが画面操作を行う場合に、情報処理装置1の入力デバイスを交代で操作する面倒がなく、画面操作を簡便に行うことができる。そして、携帯情報装置5,31は、広く普及しているカメラ付き携帯電話端末などで構成することができ、複数のユーザが画面操作を行う場合に専用の装置を人数分用意する必要がなく、導入コストを削減することができる。
【0054】
特に、プロジェクタ2の画面4内の撮像領域7上での指示物6の相対的な位置を求めるとともに、プロジェクタ2の画面4全体に対する撮像領域7の位置を求めて、プロジェクタ2の画面4全体に対する指示物6の絶対的な位置を求める構成としたため、画面操作を行う際にプロジェクタ2の画面4の一部を携帯情報装置5,31で撮像すればよく、画面操作が容易になる。
【0055】
また、指示物6の動きによるタップ、フリック、およびピンチイン/ピンチアウトなどの操作形態を判別する構成としたため、各操作形態ごとに、選択、画面のスクロールや頁送り、画面の拡大および縮小などの各処理を割り当てることで、指示物6の動きで多様な指示を行うことができるため、画面操作が容易になる。
【0056】
なお、第1および第2の各実施形態では、画像表示装置にプロジェクタを用いたが、本発明における画像表示装置は、プロジェクタに限定されるものではなく、プラズマディスプレイパネルや液晶ディスプレイパネルを用いた画像表示装置も適用可能である。
【0057】
図7は、携帯情報装置5のディスプレイ8に表示される撮像領域7の画像を示す図であり、(A)に、画像の歪みを補正する画像補正処理を行う前の状態を、(B)に画像補正処理を行った後の状態を、(C)に画像を拡大表示した状態を、それぞれ示す。図8は、携帯情報装置5および情報処理装置1の概略構成図である。
【0058】
なお、図8は、前記の第1実施形態に画像補正処理を適用した例を示しており、画像補正処理にかかる要部のみを図示し、特に言及しないものは前記の第1実施形態と同様である。また、ここで説明する画像補正処理は、第1実施形態および第2実施形態のいずれにも適用することができる。
【0059】
ユーザがスクリーン3を斜めから見る位置で携帯情報装置5のカメラ11でスクリーン3上の画面4を撮影すると、図7(A)に示すように、スクリーン3上で矩形をなす撮像領域7が歪んだ4角形に表示され、指などの指示物6による操作が難しくなる。そこでここでは、図7(B),(C)に示すように、撮像画像を、スクリーン3を正面から見た状態に補正して表示する。このように撮像画像の歪みを補正すると、撮像画像が見やすくなるため、画面操作が容易になる。
【0060】
図8に示すように、情報処理装置1には、プロジェクタ(画像表示装置)2の画面を斜めから撮像することにより生じる撮像画像の歪みを補正する画像補正部(画像補正手段)35が設けられており、携帯情報装置5のカメラ11から出力される撮像画像情報が情報処理装置1に送信されて、画像補正部35で撮像画像の歪みが補正され、ここで得られた補正済み撮像画像情報が携帯情報装置5に送信される。
【0061】
携帯情報装置5では、補正済み撮像画像をそのまま表示すると、図7(B)に示すように、ディスプレイ8の画面内に補正済み撮像画像が小さく表示されるため、携帯情報装置5の拡大機能を用いて、図7(C)に示すように、補正済み撮像画像を拡大表示する。
【0062】
なお、ここでは、画像補正処理の演算負荷が大きいため、情報処理装置1で画像補正処理を行うようにしたが、携帯情報装置5が高い処理能力を備えたものであれば、携帯情報装置5で画像補正処理を行うようにしてもよい。
【0063】
図9は、本発明における画像表示装置の別例を示す斜視図である。この画像表示装置41は、携帯型情報処理装置42に内蔵されるものであり、スクリーン3に画面4を投影するための光学部品が収容された光学エンジンユニット43と、この光学エンジンユニット43内の光学部品を制御するための基板などが収容された制御ユニット44とで構成され、光学エンジンユニット43は制御ユニット44に回動自在に支持されている。なお、この画像表示装置41は、光源に半導体レーザを用いたものである。
【0064】
携帯型情報処理装置42の筐体45におけるキーボード46の裏面側には、光ディスク装置などの周辺機器が取り替え可能に収容される収容スペース、いわゆるドライブベイが形成されており、このドライブベイに画像表示装置41の筐体47が取り付けられ、この筐体47に対して光学エンジンユニット43および制御ユニット44が出し入れ可能に設けられており、使用時には光学エンジンユニット43および制御ユニット44を引き出した状態で、光学エンジンユニット43を回動させて、光学エンジンユニット43からのレーザ光の投射角度を調整することで、画面4をスクリーン3上に適切に表示させることができる。
【0065】
この画像表示装置41は、携帯型情報処理装置42に内蔵されるため、比較的少人数の会議などで簡便に使用することができ、また携帯型情報処理装置42のディスプレイ48より格段に大きな画面4を表示させることができるため、ユーザは自席に着席したまま画面4を見ることができる。この画像表示装置41を、前記の本発明による画面操作システムと組み合わせて用いると、ユーザは、携帯型情報処理装置42を交替で操作する面倒がなく、各人が所持する携帯情報装置5,31を利用して自席に着席したまま、画像表示装置41の画面操作を行うことができ、高い利便性が得られる。
【0066】
図10は、本発明による画面操作システムの変形例を示す全体構成図である。この画面操作システムは、情報処理装置51により制御される画像表示装置52で表示される画面と同一の画面を遠隔地や別室にある画像表示装置53に表示させる遠隔表示システムにおいて、画像表示装置53の画面を見ているユーザが、携帯情報装置5を用いて情報処理装置51の出力画面を操作することができるようにしたものである。
【0067】
この画面操作システムでは、A地点にある情報処理装置51がネットワークを介してB地点にある中継装置54と接続されて、表示信号が情報処理装置51から中継装置54に送信され、中継装置54が画像表示装置53を制御して画面を表示する。携帯情報装置5は、前記の第1実施形態で示したものであり、第1実施形態と同様の要領で画面操作を行えばよい。
【0068】
情報処理装置51は、第1実施形態で示した情報処理装置1と同一構成のものでよく、携帯情報装置5との間での通信が、ネットワークおよび中継装置54を介して行われる。中継装置54と携帯情報装置5とは、無線LANなどの無線通信媒体を介して通信を行うことができる。
【0069】
なお、ここでは、第1実施形態で示した携帯情報装置5を用いた例を示したが、第2実施形態で示した携帯情報装置31をこの画面操作システムに適用することも可能である。
【産業上の利用可能性】
【0070】
本発明にかかる画面操作システムは、状況により画面操作が制約されることがなく、かつ画面操作を簡便に行うことができる効果を有し、情報処理装置によって画像表示装置に表示された画面をユーザに操作させる画面操作システムなどとして有用である。
【符号の説明】
【0071】
1 情報処理装置
2 プロジェクタ
3 スクリーン
4 画面
5,31 携帯情報装置
6 指示物7 撮像領域
8 ディスプレイ
11 カメラ
17 操作形態解析部(操作形態判別手段)
18 座標計算部(第1の操作位置取得手段)
19 通信部
22 画像座標解析部(撮像位置取得手段)
23 操作座標解析部(第2の操作位置取得手段)
32 タッチパネルディスプレイ
35 画像補正部(画像補正手段)

【特許請求の範囲】
【請求項1】
情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、
前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、
前記カメラにより、前記画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像して得られた撮像画像情報に基づいて前記操作情報を取得するようにしたことを特徴とする画面操作システム。
【請求項2】
情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、
前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するとともに画面上での指示物によるタッチ操作を検出するタッチパネルディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、
前記カメラにより前記画像表示装置の画面を撮像して得られた撮像画像情報と、その撮像画像が表示された前記タッチパネルディスプレイ上でのタッチ操作で得られた操作位置情報とに基づいて前記操作情報を取得するようにしたことを特徴とする画面操作システム。
【請求項3】
前記携帯情報装置および前記情報処理装置の少なくともいずれかが、
前記画像表示装置の画面内で前記カメラにより撮像された撮像領域に対する指示物の相対的な位置を求める第1の操作位置取得手段と、
前記画像表示装置の画面全体に対する撮像領域の絶対的な位置を求める撮像位置取得手段と、
前記第1の操作位置取得手段および前記撮像位置取得手段で得られた情報に基づいて、前記画像表示装置の画面全体に対する指示物の絶対的な位置を求める第2の操作位置取得手段と、を備えたことを特徴とする請求項1若しくは請求項2に記載の画面操作システム。
【請求項4】
前記携帯情報装置および前記情報処理装置の少なくともいずれかが、
指示物の動きによる操作形態を判別する操作形態判別手段を備えたことを特徴とする請求項1乃至請求項3のいずれかに記載の画面操作システム。
【請求項5】
前記携帯情報装置および前記情報処理装置の少なくともいずれかが、
前記カメラにより前記画像表示装置の画面を斜めから撮像することにより生じる撮像画像の歪みを補正する画像補正手段を備えたことを特徴とする請求項1乃至請求項4のいずれかに記載の画面操作システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−108771(P2012−108771A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願番号】特願2010−257779(P2010−257779)
【出願日】平成22年11月18日(2010.11.18)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】