説明

情報処理装置およびその制御方法

【課題】 物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できるようにする。
【解決手段】 画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置であって、前記画面上に物体が接触した位置を認識する位置認識部と、前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出部と、前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の接触により操作を行うタッチパネル等において、画像の表示を制御する技術に関する。
【背景技術】
【0002】
近年、テーブル上や壁面に画像を投影し、投影された画像に含まれるGUI(グラフィカルユーザインタフェース)などに指などを接触させることで、領域指定あるいは情報入力ができるシステムが知られている。この種の装置は、表示画面の端部からレーザ照射を行い、その反射光などを検知することによって、上記指などの物体による接触を認識することが多い。
【0003】
また、従来、画面上の2箇所以上に指などを接触させることにより、多種の指示入力を行うことができる、いわゆるマルチタッチ入力の技術が知られている。マルチタッチ入力による指示では、表示中の複数オブジェクトへの並列指定や、オブジェクトを拡大、縮小する指定など、画面上の1点だけのタッチでは困難な指示を容易に表現できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−258569号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
以下では、上述したレーザ照射による接触の認識を行うシステムにおいて、マルチタッチを行った場合を考える。あるレーザ光の先に相当する同一直線上で2つの指の接触を同時に行った場合には、レーザ光を最初に遮断した指の接触しか認識できず、もう一方の指の接触は認識できない。ところが、この接触による操作中のユーザにとっては、画面上の映像を見ただけでは、どのような理由で一方の接触しか検知していないのか等が判らない。
【0006】
本発明は上記従来例に鑑みて成されたものであり、物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できるようにすることを主な目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、例えば、画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置であって、前記画面上に物体が接触した位置を認識する位置認識部と、前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出部と、前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更部とを備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できる。
【図面の簡単な説明】
【0009】
【図1】情報処理装置の概略を説明する図
【図2】情報処理装置の機能ブロック図
【図3】情報処理装置の処理手順を示す図
【図4】一部の画像が変更された様子を示す図
【図5】情報処理装置の機能ブロック図
【図6】情報処理装置の処理手順を示す図
【図7】一部の画像が変更された様子を示す図
【図8】情報処理装置の処理手順を示す図
【図9】一部の画像が変更された様子を示す図
【図10】認識不可能領域の一例を示す図
【図11】情報処理装置および表示画面の一例を示す図
【発明を実施するための形態】
【0010】
[概略説明]
まず最初に、本実施形態の概略を説明する。
【0011】
図11は、写真等の画像を画面上に投影し、そこに投影された画像をユーザによる画面へのタッチ操作で、印刷したり、削除したり、複製したりできるアプリケーション(以下、画像閲覧アプリケーションとも呼ぶ)の一例である。図11(a)に示される情報処理装置1101は、内部に保持する種々の画像(画像1104、1105、1106)をテーブル等の画面1102に投影する映像投影部1111を備える。映像投影部1111は、上記種々の画像とともに、削除、印刷、複製の操作を指示するための操作ボタン1107、1108、1109も含めたウィンドウ1103を画面1102上に投影する。このシステムにおいては、上記画像1104、1105、1106にユーザがタッチした状態で、上記操作ボタン1107、1108、1109の何れかをタッチすることにより、タッチされている画像の削除、印刷、複製を行うことができる。ここで、削除とは、画面上からの該当画像の削除であり、印刷とは不図示の印刷機器から該当画像を印刷することであり、複製とは画面上に同じ画像をもう1つ表示させることである。ここで複製された画像は、上記種々の画像と同様に、タッチされ、削除、印刷、複製されることができる。なお、ここでは、その画面1102は画面が地面に対して水平になるように設置されているものとし、図11(a)は、ユーザの頭上(装置の上)から見た外観図とする。これに対して、図11(b)は、上記情報処理装置1101および画面1102を側面から見た外観図である。この図11(b)において、映像投影部1111は、情報処理装置1101の上部に配置されており、そこから下方の画面1102に向けてウィンドウ1103に含まれる各画像(投影光1110)を投影する。さらに、情報処理装置1101は、レーザ照射部1113とレーザ受光部1114を備えており、これにより、画面1102に対する物体の接触(指などによるタッチ)を検出する。このレーザ照射部1113は、図のように画面上に平行するようにレーザ光1112を照射しており、レーザ受光部1114は、このレーザ光1112に何らかの物体が当たったとき(遮ったとき)の反射光を受信することで、物体が接触した位置を特定する。これらの技術については公知であるので詳細説明は省略する。図11(c)と(d)は、図11(a)と(b)に対して「指でタッチした場合」に相当する外観図である。これらの図では、物体1115によって、レーザ照射部1113から照射されたレーザ光1112が遮られるため、点線1116に相当する部分に、レーザ光1112が届かないことになる。これは、点線1116の部分に別の物体が接触しても、その接触を検知できないことを意味する。もしこのシステムが、上述したようなマルチタッチが可能なものであれば、ユーザは、「点線1116に相当する領域にもタッチできるはず」と理解するのが普通である。よって、ユーザには正しい理解を促すことが、ユーザの利便性を向上させる。また、図11(c)に示すように、タッチできない操作ボタンに該当する操作を行えるようにすることも、ユーザの利便性を向上させるであろう。以下の実施形態では、これらの利便性を向上する種々の方法について説明する。
【0012】
[第1の実施形態]
図1は、各実施形態に適用可能な情報処理装置の構成を示す図である。ここに示す情報処理装置は、上述した図11の情報処理装置1101に相当する。データ入力部101は各種のデータを入力したり、上述したようなユーザによる画面上のタッチによる指示などを情報として受け付ける。この入力部101には、上述したレーザ受光部1114とレーザ照射部1113が連結し、これらの働きにより、ユーザのタッチによる操作入力、あるいはペンなどの物体による接触による操作入力が可能である。CPU102は、バス106に接続された各構成要素を制御することにより、各実施形態で説明する一連の動作を実行させる。出力部103は、情報処理装置1101が扱う各種のデータを出力するものである。この出力部103は、後述するメモリ105などに保持される写真等の画像データを、上述した映像投影部1111などに出力したり、不図示のプリンタあるいはネットワーク上に出力したりできる。プログラムメモリ104は、後述するフローチャートをCPU102による制御の下で実行できるプログラムコードを格納する。この、プログラムメモリ104はROMやRAMで構成され、入力部101などを介して外部装置から取得することもできる。データメモリ105は、後述する各種のデータを格納する。このデータメモリ105には、RAM、あるいはDVDなどの着脱可能な記憶媒体が適用される。CPU102の制御の対象とする各構成要素を指示するアドレス信号や、各構成要素を制御するための制御信号、その他、各構成要素間で送受信されるべきデータは、バス106を介して送受信できる。
【0013】
図2は、上記情報処理装置1101の各種機能をブロックで示したものである。これら各機能は、主に、上述したCPU102およびプログラムコードに基づいて実行され、必要に応じてCPU102の制御の下で動作できる図1の各手段が動作することによって実現される。図2において、タッチ位置認識部201は、後述する映像投影部204が投影した画像(ウィンドウ1103)に対して、ユーザの指等の物体が接触した位置を認識する。認識不可能領域算出部202は、タッチ位置認識部201が認識した、指等の物体の接触位置に基づいて、他の物体による接触が認識できない領域を算出する。即ち、現在認識している物体の接触位置に基づいて、その物体が接触したことによりレーザ照射部が照射するレーザ光が到達しなくなった範囲を算出する。映像変更部203は、認識不可能領域算出部202が算出した領域に表示されるべき画像を、後述する種々の方法で変更する。即ち、画面1102上において、上記算出された範囲(例えば、点線1116に相当する領域)に相当する画像の表示方法を変更する。映像投影部204は、映像変更部203が実行した画像の変更が反映するように、ウィンドウ1103に相当する画像を投影し直す。この映像投影部204の機能は、上述した映像投影部1111の一動作に相当する。
【0014】
図3は、第1実施形態における情報処理装置が行う処理手順を示したものである。上述したように、この一連の処理手順は、CPU102を中心に情報処理装置1101の各部が共同して行う。ステップS301において、映像投影部1111は、データメモリ105に格納されている画像および上述した操作ボタンなどを、図11(a)に示したような形で、テーブル型の画面1102上に投影する。以下では、この画面上に表示されている画像および操作ボタンのそれぞれをGUIと呼ぶこととする。ステップS302において、タッチ位置認識部201は、映像投影部204が投影した画像(画面1102)に対して、接触している物体があるか否かを判定する。もし物体が接触している場合にはステップS303に進む。もし、接触していない場合は処理を終了する。ステップS303において、タッチ位置認識部201は、物体が接触している位置を認識する。この位置の認識方法は公知であるので説明を省略する。ステップS304において、認識不可能領域算出部202は、ステップS303で取得した接触位置に基づいて、他の物体による接触を認識できない領域を算出する。即ち、現在認識している物体の接触位置に基づいて、その物体が接触したことによりレーザ照射部が照射するレーザ光が到達しなくなった範囲を特定する。
【0015】
図10は、図11の(c)の「物体が接触している状態」と同じ状態を示し、かつ、その物体を図から除いて描画しているものである。そして、この図は、物体1115が頂点1002と頂点1003を結ぶ線分1102−1103に相当する位置に接触している場合を示している。この図10に示すように、物体1115は、頂点1001から照射されたレーザ光を、線分1102−1103の部分で遮る。これにより、5つの頂点1002〜1006で結ぶ5角形の領域にレーザ光が届かず、この5角形の領域で別の物体が画面上に接触したとしても、レーザ受光部1114は何ら認識することができない。図10の例では、この5角形の領域が上記「認識不可能領域」に相当する。そして、この領域は、物体1115が接触している上記線分の位置さえ認識できれば、容易に算出できる。なお、その具体的な算出方法は省略する。ステップS305において、映像変更部203は、ステップS304で算出した上記「認識不可能領域」を、他の物体による接触が認識できない領域として、ユーザに報知する。特に本実施形態では、その報知の方法として、「認識不可能領域」に該当する位置に存在する画像を変更することで報知する。
【0016】
図4は、上記画像の変更方法の一例を示したものである。図4(a)では、「認識不可能領域」に該当する位置に存在する画像の明るさを暗く変更している。図4(b)では、「認識不可能領域」に該当する位置に存在する画像全体の輪郭部分を強調するように表示する。特に、図4(a)の表示によれば、あたかも物体1115による影ができているように見え、「影の部分の操作ができない」ということがユーザには直感的に理解できるという効果が有る。
【0017】
以上説明したように、本実施形態によれば、物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できる。具体的には、現時点で接触している物体に基づいて、他の物体の接触が認識できる領域に影響が出ていること、およびその領域を、ユーザに視覚的に知らせることができる。
【0018】
[第2の実施形態]
上記実施形態では、「認識不可能領域」の全体について、画像を変更するようにしたが、本発明はこれに限らない。例えば、「認識不可能領域」の全体ではなく、その領域に含まれることで操作入力の可否に影響が出ているGUIについてのみ、画像の内容を変更することでも同様の効果を得ることができるであろう。以下では、その一実施形態を説明する。
【0019】
図5は、本実施形態における、上記情報処理装置1101の各種機能をブロックで示したものである。図2と同じ機能ブロックについては、同様に動作するので、その説明を省略する。また、第1の実施形態と同じく、図5に示す各機能は、主に、上述したCPU102およびプログラムコードに基づいて実行され、必要に応じてCPU102の制御の下で動作できる図1の各手段が動作することによって実現される。図5において、GUI情報取得部501は、ウィンドウ1103として表示している画像に含まれる各GUIの情報を取得する。例えば、図11の(a)の状態であれば、6つのGUIが存在し、それらGUIとしては、画像1104〜1106と操作ボタン1107〜1109のそれぞれが相当する。GUI情報取得部501は、上記各GUIのそれぞれがどの位置に表示されているかなどを示す情報を取得し、認識不可能GUI特定部502の参照情報として保持する。認識不可能GUI特定部502は、認識不可能領域算出部202によって算出されたに示した「認識不可能領域」に含まれるGUIを特定するものである。例えば、第1の実施形態で説明した図11、図4等の状態であれば、「認識不可能領域」に含まれるGUIは、削除ボタン1107が相当する。本実施形態における映像変更部203は、「認識不可能領域」全体の画像は変更しない。その代わり、「認識不可能領域」に含まれるGUIのみ(上記例では削除ボタン1107のみ)を変更し、映像投影部204からその画像を投影させる。
【0020】
図6は、第2の実施形態における情報処理装置が行う処理手順を示したものである。図3と同じ工程については、同様に動作するので、その説明を省略する。また、第1の実施形態と同じく、この一連の処理手順は、CPU102を中心に情報処理装置1101の各部が共同して行う。S601において、GUI情報取得部501は、投影された画像(ウィンドウ1103)に含まれるGUIの情報を取得する。例えば、図11の(a)の状態であれば、画像1104〜1106と操作ボタン1107〜1109のそれぞれがどの位置に表示されているかなどを示す情報を取得する。ステップS602において、認識不可能GUI特定部502は、認識不可能領域算出部202によって算出されたに示した「認識不可能領域」に含まれるGUIを特定する。これは、ステップS601で取得した情報から、各GUIが何処に表示されているか判ることから判断できる。例えば、第1の実施形態で説明した図11、図4等の状態であれば、「認識不可能領域」に含まれるGUIは、削除ボタン1107が相当する。ステップS603において、映像変更部203は、「認識不可能領域」全体の画像は変更せずに、「認識不可能領域」に含まれるGUIのみを変更し、映像投影部204からその画像を投影させる。
【0021】
図7は、本実施形態において、図11の(c)と同様に物体1115が接触した場合の、投影画像(ウィンドウ1103)を示す図である。上述したように、6つのGUIのうち削除ボタン1107のみを、通常とは異なる色あるいは濃度あるいは形状で表示する。
【0022】
以上説明したように、本実施の形態によれば、物体の接触による操作ができないGUIのみについて、ユーザに視覚的に報知することができる。
【0023】
[第3の実施形態]
以上の実施形態では、「認識不可能領域」もしくはその領域に含まれるGUIを報知するに留まっていた。本実施形態では、更に、認識不可能領域に含まれるGUIを操作できるようにする。
【0024】
図8は、第3の実施形態における情報処理装置が行う処理手順を示したものである。図3、図6と同じ工程については、同様に動作するので、その説明を省略する。また、第1の実施形態と同じく、この一連の処理手順は、CPU102を中心に情報処理装置1101の各部が共同して行う。ステップS801において、映像変更部203は、ステップS602で特定したGUIの少なくとも一部分が、「認識不可能領域外」に存在するように、GUIの位置を変更するか、GUIのサイズを拡大する。
【0025】
図9に上記変更の方法を示す。図9(a)は、GUIの位置をステップS602で特定したGUIの少なくとも一部分が、「認識不可能領域外」に存在するように、GUIの位置を変更した様子を示す図である。ここでは、削除ボタン1107が移動し、削除ボタン1107aとして画面右側に配置されている。図9(b)は、GUIの位置をステップS602で特定したGUIの少なくとも一部分が、「認識不可能領域外」に存在するように、GUIのサイズを拡大した様子を示す図である。何れの図でも解かるように、移動やサイズの変更によって、削除ボタン1107を指でタッチできる(タッチを認識できる)状態に変更されている。これによって、各GUIの少なくとも一部分が、認識不可能な範囲外に存在することになる。
【0026】
なお、これら具体的な表示の方法は種々考えられるが、本実施形態においても、上記実施形態と同様に、“もし、そのGUI(削除ボタン1107)をそのまま表示したら、「認識不可能領域外」に含まれる”という状況は、ユーザに報知しておくべきであろう。従って、図9(a)においても、もともと存在している領域に該当する削除ボタン1107は、そこに存在するべきGUIとして何らかの形で表示しておくことが好ましい。そして、その削除ボタン1107は、色や濃度や形状が変更されるなどによって「タッチできないもの」としてユーザに理解されるべきである。また、図9(b)においても、本来ならばタッチできないことを表すために、削除ボタン1107の一部の色や濃度や形状を変更させる。
【0027】
以上説明したように、本実施形態によれば、GUIが「認識不可能領域」に包含されない状態に変更することができる。従って、第1、第2の実施形態の効果に加え、更に、各種のGUIを常にタッチ入力できるようになる。
【0028】
[変形例]
なお、以上の説明では、レーザ光を照射することによる、ユーザのタッチ位置の検出を例にあげたが、本発明はこれに限らない。例えば、レーザ照射部1113、受光部1114は、レーザ光に相当する光を照射する光照射部とその受光部で構成しても良い。
【0029】
また、以上の説明では、画像出力部として、映像投影部1111からの投影によってウィンドウ1103を表示していたが、例えば液晶ディスプレイのように、画面上に直接的に画像を表示する出力部を利用しても良い。その場合には、図1の情報処理装置1101は、映像投影部1111の代わりに、テーブル型の画面1102を内部に備えることになるであろう。
【0030】
また、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア(コンピュータプログラム)を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ(またはCPU等)が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。

【特許請求の範囲】
【請求項1】
画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置であって、
前記画面上に物体が接触した位置を認識する位置認識部と、
前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出部と、
前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更部とを備えることを特徴とする情報処理装置。
【請求項2】
前記変更部は、前記算出された範囲に含まれる画像の明るさを変更することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
更に、前記算出された範囲に含まれるGUIを特定する特定部を備え、前記算出部は、前記特定されたGUIの色または濃度または形状を変更することを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記変更部は、前記特定されたGUIの少なくとも一部分が、前記算出部によって算出された範囲外に存在するように、前記GUIの表示方法を変更することを特徴とする請求項3に記載の情報処理装置。
【請求項5】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項1乃至4のいずれか1項に記載の情報処理装置として機能させるコンピュータプログラム。
【請求項6】
請求項5に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項7】
画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置の制御方法であって、
位置認識部によって、前記画面上に物体が接触した位置を認識する位置認識工程と、
算出部によって、前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出工程と、
変更部によって、前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更工程とを備えることを特徴とする制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−257797(P2011−257797A)
【公開日】平成23年12月22日(2011.12.22)
【国際特許分類】
【出願番号】特願2010−129269(P2010−129269)
【出願日】平成22年6月4日(2010.6.4)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】