説明

マルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラム

【課題】複数のユーザが、互いに共有していない複数の表示データが格納されたタッチパネル装置10を持ち寄り、それぞれの表示データを提示しつつ、コミュニケーションをとるためのマルチディスプレイシステムを提供する。
【解決手段】タッチパネル装置10により構成されるマルチディスプレイシステムでは、各タッチパネル装置10が、近接無線通信インターフェイスにより他のタッチパネル装置10が所定の距離以内に近接していると判断される場合において、ユーザからの指示による移動処理により表示オブジェクトAA03が所定の境界301を越えたときに、表示オブジェクトが、他のタッチパネル装置10のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように画面上の表示座標データを変換して、画像データを他のタッチパネル装置10に転送する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラムに関する。より特定的には、単体で動作可能なディスプレイを複数個組み合わせた構成において、画像表示を実現可能としたマルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
情報を処理して表示する装置として、いわゆるタッチパネルと呼ばれる情報端末が実現されている。このタッチパネルは、スキャナで入力した画像やコンピュータで作成した画像をディスプレイに表示する機能と、そのディスプレイと一体化したタッチパネルを利用して画像を移動、変形したり、画像上に手書き書き込みできる機能とを有している。
【0003】
紙に印刷するかわりにタッチパネルに画像を格納して携帯すれば、紙の使用量を削減することができる。
【0004】
しかしながら、タッチパネルと紙を比較した場合、使い勝手の面で紙のほうが優れている点も多い。
【0005】
図15および図16は、紙に印刷して資料を利用する態様とタッチパネルを利用する態様を比較して説明するための概念図である。
【0006】
例えば、図15(a)に示すように、複数の紙に印刷した資料は、横に並べて同時に見ることができる。これに対して、タッチパネルの場合、図15(b)のようにディスプレイ画面を分割して複数の画像を並べて見ることができるが、それぞれの画面は小さくなり、見づらいものになってしまう。
【0007】
また、図16(a)のように大きな紙に印刷した場合、図16(b)のように、この紙を折りたたんで携帯することもできる。これに対して、図16(c)のようにタッチパネルの画面よりも大きなサイズの画像全体を表示しようとすると、縮小表示するしかない。
【0008】
図17は、上述したようなタッチパネルにおける画像の閲覧性についての問題点を解決する一つの方法を示す概念図である。
【0009】
図17に示すように、複数の表示対象の画像がある場合に、タッチパネルにおける閲覧性を改善するためには、複数のタッチパネルを用いて、マルチディスプレイを構成する方法が考えられる。
【0010】
特許文献1には、単体で動作可能なディスプレイを複数個組み合わせた構成において、各ディスプレイに4方向インタフェースを設けたマルチディスプレイ装置が開示されている。このマルチディスプレイ装置は、インタフェースを介した信号転送を実行することによる構成認識、および各種態様での画像表示を実現可能としている。当該マルチディスプレイ装置を用いることで、各ディスプレイに共通に配信された画像を元に、様々な画像表示配置構成に対応した画像表示が可能となる。特許文献1に記載の発明は、複数のディスプレイに「共通に配信された画像」を、複数のディスプレイを用いて表示するマルチディスプレイを実現したものである。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2003−280624号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
特許文献1には、複数のディスプレイを組み合わせてマルチディスプレイにする仕組みが述べられている。しかし、特許文献1では、マルチディスプレイに表示する画像は、無線のような共通インタフェースを用いて、全部のディスプレイに配信しておくことが前提である。この方法では、マルチディスプレイに表示できる画像は、無線のような共通インタフェースで伝送される1つの画像に限られてしまう。
【0013】
したがって、特許文献1に記載されたようなマルチディスプレイでは、たとえば、図17に示すように、複数のタッチパネルを持ち寄って資料を、交換し、互いのディスプレイを利用してマルチディスプレイを構成して資料の内容を比較検討するといったことができなかった。
【0014】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、複数のユーザが、互いに共有していない複数の表示データが格納された情報処理端末装置を持ち寄り、それぞれの表示データを提示しつつ、コミュニケーションをとるためのマルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラムを提供することである。
【課題を解決するための手段】
【0015】
この発明の1つの局面に従うと、複数の情報処理端末装置を備えるマルチディスプレイシステムであって、複数の情報処理端末装置の各々は、ユーザからの指示を受け付けるための入力インタフェースと、他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、オブジェクトを表示するための画像データを格納するための記憶装置と、オブジェクトを表示するためのディスプレイ画面とを備え、ディスプレイ画面の表示領域は、他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、オブジェクトの表示処理を実行する表示領域の内部の領域である独立表示領域を含み、プロセッサをさらに備え、プロセッサは、近接無線通信インターフェイスにより他の情報処理端末装置が所定の距離以内に近接していると判断される場合において、ユーザからの指示による移動処理によりオブジェクトが独立表示領域の境界を越えたときに、画像データのうちオブジェクトを表示するための画面上の表示座標データを、オブジェクトが、他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換して、画像データを他の情報処理端末装置に転送する、マルチディスプレイシステム。
【0016】
好ましくは、画像データは、表示するオブジェクトの内容を示す内容データと、当該オブジェクトを識別するための固有情報と、当該オブジェクトの表示される範囲を示す表示範囲情報とを含み、情報処理端末装置のプロセッサは、他の情報処理端末装置から転送された画像データの固有情報により、当該転送された画像データがすでに転送済みのオブジェクトであるか否かを判断し、他の情報処理端末装置から転送された画像データが転送済みのオブジェクトである場合に、当該オブジェクトが現在の表示位置より移動されているときには、自身が表示する当該オブジェクトの表示位置を変更する。
【0017】
好ましくは、他の情報処理端末装置から転送された画像データが転送済みのオブジェクトである場合に、当該オブジェクトが現在のサイズより変更されているときには、自身が表示する当該オブジェクトのサイズを変更する。
【0018】
好ましくは、他の情報処理端末装置から転送された画像データが転送済みのオブジェクトである場合に、当該オブジェクトの表示位置およびサイズが現在の表示位置およびサイズより変更されているときには、自身が表示する当該オブジェクトの表示位置およびサイズを当該変更された表示位置およびサイズまで複数の段階を経て変更する。
【0019】
この発明の他の局面に従うと、複数のディスプレイ画面によりなるマルチディスプレイシステムを構成可能な情報処理端末装置であって、ユーザからの指示を受け付けるための入力インタフェースと、マルチディスプレイシステムを構成可能な他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、オブジェクトを表示するための画像データを格納するための記憶装置と、オブジェクトを表示するためのディスプレイ画面であって、マルチディスプレイシステムを構成するためのディスプレイ画面とを備え、ディスプレイ画面の表示領域は、他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、オブジェクトの表示処理を実行する表示領域の内部の領域である独立表示領域を含み、プロセッサをさらに備え、プロセッサは、近接無線通信インターフェイスにより他の情報処理端末装置が所定の距離以内に近接していると判断される場合において、ユーザからの指示による移動処理によりオブジェクトが独立表示領域の境界を越えたときに、画像データのうちオブジェクトを表示するための画面上の表示座標データを、オブジェクトが、他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換して、画像データを他の情報処理端末装置に転送する。
【0020】
この発明のさらに他の局面に従うと、複数のディスプレイ画面によりなるマルチディスプレイシステムを構成可能な情報処理端末装置の情報処理方法であって、情報処理端末装置は、マルチディスプレイシステムを構成可能な他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、オブジェクトを表示するための画像データを格納するための記憶装置と、オブジェクトを表示するためのディスプレイ画面であって、マルチディスプレイシステムを構成するためのディスプレイ画面と、プロセッサとを備え、ディスプレイ画面の表示領域が、他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、オブジェクトの表示処理を実行する表示領域の内部の領域である独立表示領域を含むとき、プロセッサが、近接無線通信インターフェイスにより他の情報処理端末装置が所定の距離以内に近接しているか否かを判断するステップと、プロセッサが、他の情報処理端末装置が所定の距離以内に近接している場合において、ユーザからの指示による移動処理によりオブジェクトが独立表示領域の境界を越えたか否かを判断するステップと、プロセッサが、境界を越えたときに、画像データのうちオブジェクトを表示するための画面上の表示座標データを、オブジェクトが、他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換するステップと、プロセッサが、変換された画像データを他の情報処理端末装置に転送するステップと、を実行する。
【0021】
この発明のさらに他の局面に従うと、複数のディスプレイ画面によりなるマルチディスプレイシステムを構成可能な情報処理端末装置のプロセッサに情報処理を実行させるためのコンピュータプログラムであって、情報処理端末装置は、マルチディスプレイシステムを構成可能な他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、オブジェクトを表示するための画像データを格納するための記憶装置と、オブジェクトを表示するためのディスプレイ画面であって、マルチディスプレイシステムを構成するためのディスプレイ画面とを備え、ディスプレイ画面の表示領域が、他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、オブジェクトの表示処理を実行する表示領域の内部の領域である独立表示領域を含むとき、プロセッサが、近接無線通信インターフェイスにより他の情報処理端末装置が所定の距離以内に近接しているか否かを判断するステップと、プロセッサが、他の情報処理端末装置が所定の距離以内に近接している場合において、ユーザからの指示による移動処理によりオブジェクトが独立表示領域の境界を越えたか否かを判断するステップと、プロセッサが、境界を越えたときに、画像データのうちオブジェクトを表示するための画面上の表示座標データを、オブジェクトが、他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換するステップと、プロセッサが、変換された画像データを他の情報処理端末装置に転送するステップと、を情報処理端末装置に実行させる、コンピュータプログラム。
【0022】
なお、好ましくは、ディスプレイ画面の互いの接触をやめると、離れたディスプレイ画面では、異なる表示位置、異なる表示倍率で表示する構成とすることができる。この場合は、画像の一部を拡大したり、別々の場所を複数のディスプレイ画面を利用して同時にみることができる。
【0023】
あるいは、好ましくは、ディスプレイ画面を接触させたとき、同じ固有情報をもつオブジェクトがあれば、そのオブジェクトが共通の画像となるよう、位置、表示倍率がゆるやかに変化させるものの、選択状態にある画像の位置は変化させない、との構成とすることもできる。このような移動の仕組みにより、お互いが共通の画像を保有しているかどうかがユーザにわかりやすくなる。
【発明の効果】
【0024】
本発明のマルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラムによれば、異なるディスプレイ画面に格納された画像を、互いにディスプレイ画面を近接させ、いずれかディスプレイ画面上で画像を移動することにより、両方のディスプレイ画面を用いたマルチディスプレイを自動的に構成し、互いが保有していた画像をやりとりできる。
【0025】
あるいは、本発明のマルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラムによれば、あるディスプレイ画面に表示されている画像を移動させたり、または、表示倍率を変更した場合、近接したディスプレイ画面に同じ固有情報をもつ画像があれば、表示位置または表示倍率が同じように変更される。
【0026】
あるいは、本発明のマルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラムによれば、その場でマルチディスプレイを構成し、お互いのディスプレイを利用して、表示画面の拡大や、複数の資料の比較検討、お互いの画像データのやりとりができる。
【図面の簡単な説明】
【0027】
【図1】本実施の形態における「マルチディスプレイシステム」の構成を模式的に示す構成図である。
【図2】本実施の形態のタッチパネルシステムを構成するタッチパネル装置10の構成を示す機能ブロック図である。
【図3】ディスプレイ114に表示される画像データの構造およびその画像データがディスプレイ114に表示される態様を説明するための概念図である。
【図4】本実施の形態のタッチパネルシステムを構成するタッチパネル装置10での処理手順の一例を示す第1のフローチャートである。
【図5】本実施の形態のタッチパネルシステムを構成するタッチパネル装置10での処理手順の一例を示す第2のフローチャートである。
【図6】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図7】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図8】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図9】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図10】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図11】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図12】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図13】本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【図14】このようなタッチパネル装置10における境界線を説明するための概念図である。
【図15】紙に印刷して資料を利用する態様とタッチパネルを利用する態様を比較して説明するための概念図である。
【図16】紙に印刷して資料を利用する態様とタッチパネルを利用する態様を比較して説明するための概念図である。
【図17】上述したようなタッチパネルにおける画像の閲覧性についての問題点を解決する一つの方法を示す概念図である。
【発明を実施するための形態】
【0028】
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。
図1は、本実施の形態における「マルチディスプレイシステム」の構成を模式的に示す構成図である。
【0029】
図1においては、マルチディスプレイシステムは、各々のディスプレイに表示処理を実行するための複数の情報処理端末装置から構成される。より特定的に言い換えると、マルチディスプレイシステムは、相互に接触するように配置された複数の携帯型ディスプレイ端末装置からなる端末装置システムである。
【0030】
以下で説明するように、本件明細書において、「携帯型ディスプレイ端末装置」とは、以下のような特徴を有するものである。
【0031】
i)略直方体形状の筐体を有する装置であって、
ii)上記筐体の主面(上記直方体形状を形成する面のうち、最も面積の大きな面)にディスプレイが設けられ、
iii)上記ディスプレイに、携帯型ディスプレイ端末装置内の記憶装置に格納された表示データに対応する画像を表示可能な装置であって、
iv)他の携帯型ディスプレイ端末装置と上記主面の辺のうちのいずれかの辺を相互に接触させ、それぞれのディスプレイが略同一平面上に並ぶように配置したときに、組み合わされたディスプレイにおける表示が、単一の表示画面を形成していると視認可能なものである。より具体的には、上記主面におけるディスプレイの額縁部分の幅が、上記のように複数のディスプレイを組み合わせて配置した場合に、単一の表示画面を形成していると視認可能な程度に狭いものをいう。なお、「略直方体形状」は、平板形状でもよい。
【0032】
「携帯型ディスプレイ端末装置」のディスプレイは、ユーザが指でタッチすることで、指示を入力することが可能なタッチパネルとすることができる。
【0033】
「タッチパネル」とは、液晶パネルのような表示装置とタッチパッドのような位置入力装置を組み合わせた電子部品であり、画面上の表示を押すことで機器を操作する入力装置である。
【0034】
以下では、本実施の形態のマルチディスプレイシステムを構成する携帯型ディスプレイ端末装置として、タッチパネルをディスプレイとして備えたタッチパネル装置を例にとって説明する。
【0035】
したがって、図1では、マルチディスプレイシステムに対応するものとして、複数のタッチパネル装置から構成されるタッチパネルシステムの外観を示していることになる。
【0036】
図1を参照して、9枚のタッチパネル装置10を用いてタッチパネルシステムが構成されている。本実施の形態では、各タッチパネルの上下左右4方向に、近接無線通信インタフェース2a,2b,2c,2dが搭載されている。
【0037】
「近接無線通信インタフェース」としては、特に限定されないが、たとえば、TransferJet仕様のインタフェースを用いることができる。TransferJet仕様のインタフェースの最も基本的な操作では、二つの機器を3cm程度の接続可能距離まで接近させることで自動的にデータ転送が行われる。
【0038】
したがって、TransferJet仕様のインタフェースを用いれば、タッチパネル装置同士が、後述するようにマルチディスプレイシステムとして動作するための所定の接続可能距離まで接近したことの判断の処理と、データ通信が可能な通信可能距離まで接近した場合に、必要とされるデータ転送を実行する処理とが、同一のインタフェース装置により実行されることになる。すなわち、この場合は、通信可能距離が十分小さいために、接続可能距離と通信可能距離とが等しいものとして処理を行うことが可能である。
【0039】
なお、上述したような接続可能距離までタッチパネル装置同士が接近したか否かを判断するための別個のセンサ、たとえば、電磁誘導の存在を検出する近接センサや光の送受信による近接センサを、無線データ通信のインタフェースと別個に設ける構成としておけば、このような無線データ通信のインタフェースとしては、たとえば、通信可能距離が接続可能距離よりも大きな通信規格である、Bluetooth(登録商標),ワイヤレスUSB(WUSB)などを用いることができる。つまり、この場合、たとえば、近接センサと無線データ通信のインタフェースとを合わせて、「近接無線通信インタフェース」と考えることができる。
【0040】
したがって、この明細書では、TransferJet仕様のインタフェースに限られず、「近接無線通信インタフェース」とは、そのインターフェース装置を搭載する装置同士が、マルチディスプレイシステムとして動作するための所定の接続可能距離まで接近したことの判断の処理と、データ通信が可能な通信可能距離まで接近している場合に、必要とされるデータ転送を実行する処理との双方を実行可能なインタフェース装置のことをいうものとする。
【0041】
図2は、本実施の形態のタッチパネルシステムを構成するタッチパネル装置10の構成を示す機能ブロック図である。
【0042】
タッチパネルシステムを構成するタッチパネル装置10は、パーソナルコンピュータとしての機能を有しており、制御部100と、一時記憶部101と、記憶部102と、入力処理部103と、表示処理部104と、通信処理部201、202、203、204を備える。なお、タッチパネル装置10は、具体的には、平板状の外形を備えタッチパネル式などの表示/入力部を持った携帯可能なタブレット型パーソナルコンピュータでもよい。タッチパネル装置10は、さらに、タッチパッド113と、ディスプレイ114を備える。
【0043】
制御部100は、CPU(Central Processing Unit)で構成され、記憶部102に記憶されているタッチパネル用プログラム1Pを一時記憶部101に読み出して実行することにより、タッチパネル装置10を、情報処理端末装置として動作させる。
【0044】
記憶部102は、ハードディスク、またはSSD(Solid State Drive)などの不揮発性の記憶装置を用いる。記憶部102には、タッチパネル用プログラム1Pが記憶されている。記憶部102は、他に、タッチパネル装置10における他のアプリケーションソフトウェアプログラムが記憶されていてもよい。
【0045】
一時記憶部101は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)などの揮発性記憶装置で構成される。一時記憶部101には、上述のように読み出されるタッチパネル用プログラム1Pが記憶されると共に、制御部100の記憶ワークエリアとして機能し、制御部100の処理によって発生する情報が記憶される。
【0046】
入力処理部103には、タッチパネル装置10は、ペン130またはユーザの指による入力を受け付けるタッチパッド113が接続される。入力処理部103は、タッチパネル装置10のユーザの操作により入力されるボタンの押下情報、画面中の位置を示す座標情報などの情報を受け付け、制御部100へ通知する。
【0047】
表示処理部104には、液晶ディスプレイなどを用いるディスプレイ114が接続されている。制御部100は、表示処理部104を介し、ディスプレイ114にタッチパネル用のアプリケーション画面を出力し、アプリケーション画面内に共有させる画像を表示させる。表示処理部104には、たとえば、VRAM(Video RAM)や、グラフィックス・プロセッシング・ユニットGPUなどが含まれる。なお、GPUとしては、オンボードのグラフィックスチップであってもよい。
【0048】
なお、特に限定されないが、VRAMの記憶領域は、ディスプレイ114の表示領域よりも広い領域に対応しており、VRAMの記憶領域の所定範囲に存在するデータに対応する画像がディスプレイ114に表示されるとしてもよい。この場合、表示処理部104は、ディスプレイ114の表示領域よりも広い領域を描画領域として、VRAMを使用するため、表示領域をはみ出した図形(オブジェクト)についても、CPUからの指示にしたがって描画処理を行うものの、ディスプレイ114には、当該図形が所定範囲に入るまで表示自体はされない、という構成とすることも可能である。
【0049】
通信処理部201、202、203、204には、近接無線通信を行うためのアンテナ201a、202a、203a、204aが接続されており、上下左右4方向に接触した他のタッチパネルと送受信する情報のパケット化、パケットからの情報の読み取りなどを行なう。通信処理部201およびアンテナ201aが、近接無線通信インタフェース2aに対応し、通信処理部202およびアンテナ202aが、近接無線通信インタフェース2bに対応し、通信処理部203およびアンテナ203aが、近接無線通信インタフェース2cに対応し、通信処理部204およびアンテナ204aが、近接無線通信インタフェース2dに対応する。
【0050】
なお、本実施の形態のタッチパネルシステムを実現するために、通信処理部201、202、203、204による画像、音声を送受信するための通信プロトコルは、TransferJetなどのプロトコルを用いればよい。ただし、通信プロトコルはこれらに限られない。
【0051】
図3は、ディスプレイ114に表示される画像データの構造およびその画像データがディスプレイ114に表示される態様を説明するための概念図である。
【0052】
まず、図3(b)は、ユーザが用いるタッチパネル装置10のディスプレイ114に表示されるタッチパネル装置用アプリケーションのメイン画面400の一例を示す説明図である。
【0053】
タッチパネル装置用アプリケーションのメイン画面400は、複数の画像を重ねて表示している。一例として、図3に示す例では、写真AA01、テキスト文書AA02、ビデオ映像AA03が表示されている。
【0054】
本明細書では、これらの写真AA01、テキスト文書AA02、ビデオ映像AA03のように、表示処理の単位となるデータを「オブジェクト」と呼ぶ。オブジェクトは、ユーザの指示により、表示画面上で一体として、移動や編集が可能な単位である。
【0055】
図3(b)では、ビデオ映像AA03の縁に太い選択枠300が表示されているが、これは、ビデオ映像が選択されていることを示している。選択する操作は、ユーザが、ペン130又はマウスなどを用い、ディスプレイ114上をクリックするなどの操作で行う。また選択枠300の枠の内部をドラッグすることで、選択されたデータを移動することができる。また、選択枠の縁をドラッグすることで、選択されたデータを拡大したり縮小したりすることができる。
【0056】
図3(a)は、図3(b)に表示された内容(オブジェクト)を記載した表示リストである。最初の列は、各オブジェクト固有のIDが記録されている。第2列にはデータの種類が記録されている。第3列には、データの内容が記録されている。第4列にはこれらの表示データが処理されたかどうかを示す未処理フラグが記録されている。第5列にはこれらの表示データが選択されているかどうかを示す選択フラグが記録されている。これら表示リストのデータをどのように処理するかはフローチャートを参照して説明する。
【0057】
図4は、本実施の形態のタッチパネルシステムを構成するタッチパネル装置10での処理手順の一例を示す第1のフローチャートであり、図5は、第2のフローチャートである。
【0058】
図4および図5を参照して、制御部100は、メイン画面400をディスプレイ114に表示させた状態で、以下のような処理を行なう。
【0059】
まず、制御部100は初期的に、画面に表示するオブジェクトを記載した表示リストの各オブジェクトの未処理フラグをすべてONに設定する(ステップS101)。なお、後に説明するように、未処理フラグは、他のタッチパネル装置へのデータ転送処理が必要かどうか判断し、転送処理が終了した段階(ステップS150)でOFFにされる。また、図形の移動・変形が行われたり(ステップS106)、転送リストのデータとの比較により修正が行われたとき(ステップS171)にONにされる。
【0060】
続いて、制御部100は、イベント通知を受けとるための待機状態となる(ステップS102)。ここで、「イベント」は、ユーザインタフェースに何らかの操作が加えられた場合に発生するほか、タッチパネル装置10で実行されるアプリケーションプログラムの実行とは独立に、たとえば、所定の時間間隔で発生する。
【0061】
制御部100は、受け付けたイベントが、データの選択であるか否かを判断する(ステップS103)。制御部100は、データの選択であると判断した場合(S103:YES)、画面に表示しているデータを格納した表示リストの中で、選択が行われたオブジェクトの選択フラグをONにし、選択がはずれたオブジェクトの選択フラグをOFFにする(ステップS104)。これに応じて、表示処理部104は、選択されたオブジェクトを選択状態の表示態様(たとえば、枠線を太くする等)に変更する。制御部100は、処理をステップS102へ戻して次のイベント通知を受け取る待機状態となる。
【0062】
制御部100は、受け付けたイベントがデータの選択でないと判断した場合(S103:NO)、受け付けたイベントがデータの移動もしくは変形であるか否かを判断する(ステップS105)。制御部100は、受け付けたイベントがデータの移動もしくは変形であると判断した場合(S105:YES)、移動・変形を行ったオブジェクトの座標などの情報を移動・変形後の内容に書き換える。さらに書き換えたオブジェクトの未処理フラグをONにする(ステップS106)。制御部100は処理をステップS102へ戻して次のイベント通知を受け取る待機状態となる。
【0063】
制御部100は、データの移動・変形でないと判断した場合(S105:NO)、他のタッチパネルとのデータ転送の処理に移る。制御部100は、表示リストの中で未処理フラグがONのデータがあるかどうかを判断する(ステップS107)。制御部100は、未処理フラグがONのデータがあると判断した場合(S107:YES)、未処理のデータをデータGAとし(ステップS108)、データGAを他のタッチパネルに転送する必要があるかどうか判断する。
【0064】
すなわち、まず、ステップ110で右側にタッチパネルが接触しているか判断する。ステップ120で左側にタッチパネルが接触しているか判断する。ステップ130で上側にタッチパネルが接触しているか判断する。ステップ140で下側にタッチパネルが接触しているか判断する。
【0065】
制御部100は、右側にタッチパネルが接触していると判断した場合(S110:YES)、あらかじめ設定した右側の「移動処理の境界線」(以下、単に「境界線」と呼ぶ)と未処理データGAの外接矩形が接触しているかを判断する(ステップS111)。
【0066】
ここで、「境界線」について説明する。図14は、このようなタッチパネル装置10における境界線を説明するための概念図である。
【0067】
図14を参照して、たとえば、図14の点線301が右側の境界線である。すなわち、タッチパネル装置10のディスプレイ114の表示領域の右端の辺から所定の距離だけ内側であって、この辺と平行な線が「右側の境界線」である。
【0068】
なお、より一般的には、ディスプレイ114の表示領域の外周よりも、特定の距離だけ内側の線を外周とする領域を、後に説明するような他のタッチパネル装置10へのオブジェクトの移動処理を考慮することなく表示処理が行われる領域という意味で、「独立表示領域」と呼ぶことにすると、この独立表示領域の外周線が、境界線であるといってもよい。ディスプレイ114の表示領域が矩形の場合、独立表示領域も矩形となり、境界線は、矩形の4辺となる。それぞれの辺は、ディスプレイ114の表示領域の平行な辺と、同一の距離だけ離れているとしてもよいし、4辺のそれぞれが、異なる距離だけ離れているとしてもよく、どれだけの距離だけ離れるかは、4辺の各々で独立に設定してもよい。
【0069】
制御部100は、未処理データGAの外接矩形が境界線301に接触していると判断した場合(S111:YES)、未処理データGAのX座標をタッチパネルの表示範囲の横幅分だけ減じて、左側に移動させた値に修正してから、右側のタッチパネルに転送する。右側のタッチパネル装置は、転送されてきたデータを、右側のタッチパネルの転送リスト501に加える(ステップS112)。そのあとステップS120に処理を移す。図14に示す例では、ビデオ映像AA03が右側の境界線を超えているため、右側のタッチパネルの転送リスト501に、ビデオ映像AA03のデータが転送されて追加される。
【0070】
制御部100は、右側にタッチパネルが接触していないと判断した場合(S110:NO)、もしくは、未処理データの外接矩形が境界線に接触していないと判断した場合(S111:NO)、ステップS120に処理を移す。
【0071】
制御部100は、左側にタッチパネルが接触していると判断した場合(S120:YES)、あらかじめ設定した左側の境界線と未処理データGAの外接矩形が接触しているかを判断する(ステップS121)。ここで、図14の点線302が左側の境界線である。
【0072】
制御部100は、未処理データGAの外接矩形が境界線302に接触していると判断した場合(S121:YES)、未処理データGAのX座標をタッチパネルの表示範囲の横幅分だけ加え右側に移動させた値に修正してから、左側のタッチパネルに転送する。左側のタッチパネル装置は、転送されてきたデータを、左側のタッチパネルの転送リスト502に加える(ステップS122)。そのあとステップS130に処理を移す。図14に示す例では、写真AA01が左側の境界線を超えているため、左側のタッチパネルの転送リスト502に、写真AA01のデータが転送され追加される。
【0073】
制御部100は、左側にタッチパネルが接触していないと判断した場合(S120:NO)、もしくは、未処理データGAの外接矩形が境界線に接触していないと判断した場合(S121:NO)、ステップS130に処理を移す。
【0074】
制御部100は、上側にタッチパネルが接触していると判断した場合(S130:YES)、あらかじめ設定した上側の境界線と未処理データGAの外接矩形が接触しているかを判断する(ステップS131)。ここで、図14の点線303が上側の境界線である。
【0075】
制御部100は、未処理データGAの外接矩形が境界線303に接触していると判断した場合(S131:YES)、未処理データGAのY座標をタッチパネルの表示範囲の縦幅分だけ減じ下側に移動させた値に修正してから、上側のタッチパネルに転送する。上側のタッチパネル装置は、転送されてきたデータを、上側のタッチパネルの転送リスト503に加える(ステップS132)。そのあとステップS140に処理を移す。図14に示す例では、写真AA01が上側の境界線を超えているため、上側のタッチパネルの転送リスト503に、写真AA01のデータが転送され追加される。
【0076】
制御部100は、上側にタッチパネルが接触していないと判断した場合(S130:NO)、もしくは、未処理データGAの外接矩形が境界線に接触していないと判断した場合(S131:NO)、ステップS140に処理を移す。
【0077】
制御部100は、下側にタッチパネルが接触していると判断した場合(S140:YES)、あらかじめ設定した下側の境界線と未処理データGAの外接矩形が接触しているかを判断する(ステップS141)。ここで、図14の点線304が下側の境界線である。
【0078】
制御部100は、未処理データGAの外接矩形が境界線304に接触していると判断した場合(S141:YES)、未処理データGAのY座標をタッチパネルの表示範囲の縦幅分だけ加え上側に移動させた値に修正してから、下側のタッチパネルに転送する。下側のタッチパネル装置は、転送されてきたデータを、下側のタッチパネルの転送リスト(図14には、対応するオブジェクトがないため図示せず)に加える(ステップS142)。そのあとステップS150に処理を移す。
【0079】
制御部100は、下側にタッチパネルが接触していないと判断した場合(S140:NO)、もしくは、未処理データGAの外接矩形が境界線に接触していないと判断した場合(S141:NO)、ステップS150に処理を移す。
【0080】
制御部100はステップS150において、データGAの未処理フラグをOFFにし、処理をステップS102へ戻して次のイベント通知を受け取る待機状態となる。
【0081】
制御部100は、表示リスト中に未処理フラグがONのデータがないと判断した場合(S107:NO)、図5のノードPAからステップS160に処理を移し、他のタッチパネルから送られてきたデータを記憶している自身の転送リストに処理していないデータがあるかを判断する(S160)。なお、このとき、転送リストの一番新しいデータから順番に処理していく。転送リストにデータがあると判断した場合(S160:YES)、転送リストの先頭のデータをデータGBとする(ステップS161)。
【0082】
制御部100は、転送リストの中にデータGBと同じIDをもつデータGCがあるか判断する(ステップS162)。ここで同じIDをもつ図形Cがある場合(S162:YES)、データGCを転送リストから削除し(ステップS163)、処理をステップS162に戻す。この処理を繰り返すことで、転送リストの中で、データGBと同じIDをもつデータは、最新のデータGBが1つだけ残ることになる。
【0083】
制御部100は、次にステップ164で、表示リストの中にデータGBと同じIDをもつデータGDがあるか判断する。ここで表示リストの中にデータGBと同じIDをもつデータがないと判断する場合(S164:NO)、データGBを表示リストに追加する(ステップS165)し、追加が終わったデータGBは、転送リストから削除する(ステップS166)。この処理により、それまで表示リストに存在しなかったIDをもつ図形が、転送リストから表示リストに追加されることになる。これに応じて、表示処理部104は、表示リストに追加されたデータGBに対応するオブジェクトを表示する処理を行う。その後、制御部100は、図5のノードPBから図4の処理ステップS102に処理を戻す。
【0084】
制御部100は、ステップ164で、表示リストの中にデータGBと同じIDをもつデータGDがあると判断する場合(S164:YES)、表示リストの中のデータGDが選択フラグがONになっているかどうか判断する(ステップS167)。データGDの選択フラグがONになっている場合、すなわち選択されている場合(S167:YES)、データGBを転送リストから削除する(ステップS166)。
【0085】
制御部100は、表示リストの中にデータGBと同じIDをもつデータGDの選択フラグがONでない場合、すなわち選択されていない場合(S167:NO)、ステップS170で、転送リストのデータGBと表示リストのデータGDの表示態様(表示位置、サイズ)が同じかどうかを判断する。データGBとデータGDの内容が同じと判断した場合(S170:YES)、データGBを、転送リストから削除し(ステップS166)、転送リストのデータGBの処理を終え、図5のノードPBから図4の処理ステップS102に処理を戻す。
【0086】
制御部100は、転送リストのデータGBと表示リストのデータGDの表示態様が異なると判断した場合(S170:NO)、データGBとデータGDの情報をN:1に内分した情報を作成し、データGDの情報を内分した情報に置き換える。ここで、「データGBとデータGDの情報をN:1に内分した情報」とは、データGBにより表示されるべきオブジェクトの表示位置およびサイズと現在においてデータGDにより表示されているオブジェクトの表示位置およびサイズとを所定の内分比率(N:1)で分配した画像データを意味する。そして、制御部100は、データGDの未処理フラグをONにする(ステップS171)。その後、データGBを転送リストの最後に移動させる(ステップS168)。この処理を行うことで、データGDは、データGBの位置、サイズに徐々に近づいていくことになる。
【0087】
図6、図7、図8、図9、図10、図11、図12、図13は、本実施の形態のタッチパネル装置10の表示の処理例を説明するための概念図である。
【0088】
以下、図6〜図13を用いて、本実施の形態の表示処理例を説明する。
まず、図6(a)は、写真AA01がタッチパネルの中央に表示されている状態を示す。図6(b)は、写真AA01を選択し、右側に移動させた状態を示す。
【0089】
一方で、図7は、図6(b)のような状態となる際に、別のタッチパネルが右側に接触した状態である仮想的な場合を示す。図7の状態で写真AA01は、右側の境界線301を越えているので、データが右側のタッチパネルに転送される。写真AA01のデータが、そのまま右側のタッチパネルに転送されれば、左側のタッチパネルと同じ位置、すなわちAA01−2に配置されることになる。しかしながら、本実施の形態のタッチパネル装置では、図4のフローチャートステップS112の処理により、タッチパネルのX座標が表示幅だけ減じてから転送されるため、図8の写真AA01’のように、2つのタッチパネルの絵が、一体であるかのような状態で表示される。
【0090】
次に、図9は、右側のタッチパネル装置に転送された写真AA01’を選択し、右側に移動させた例を示す。このとき、写真AA01’は、左側の境界線302と接触しているが、左側のタッチパネル上の写真AA01は選択されている。図5のフローチャートのステップS167の判断で、選択されている図形に対して転送リストのデータは無視される。この処理のため、左側のタッチパネルで写真を選択し、移動や変形操作を行おうとした時に、他のタッチパネル装置の操作の影響で、自分の意図に反して写真が勝手に移動するということを防ぐことができる。
【0091】
図10は、図9の状態から、写真AA01’の選択を解除した状態を示す図であり、図11は、図10の状態からさらに、左側のタッチパネル装置の写真AA01を拡大した場合である。このとき写真AA01は右側の境界線301に接触しているため、データが右側のタッチパネルに転送される。その後、図5のフローチャートステップS171の処理により、写真AA01’は、徐々に左側のタッチパネルの写真AA01に接続するサイズに変化していく。
【0092】
すなわち、図11の状態から、次のイベントの処理の中では、図12のような表示が、右側のタッチパネル装置に表示される。続いて、そのさらに次のイベントの処理の中では、図13のような表示が、右側のタッチパネル装置に表示される。
【0093】
つまり、複数のタッチパネル装置にまたがって表示されているオブジェクトについては、一方のタッチパネル装置のみで、このオブジェクトを選択状態とし、図形の移動や変形を行うと他方のタッチパネル装置でのこのオブジェクトの表示態様も、一方のタッチパネル装置の表示態様に応じて、徐々に変化することになる。
【0094】
以上の説明から明らかとなるように、本実施の形態のタッチパネルシステムでは、異なるタッチパネルに格納された画像を、互いにタッチパネルを接触させ、いずれかのタッチパネル上で画像を移動・拡大することにより、両方のタッチパネルを用いたマルチディスプレイを自動的に構成し、画像を拡大表示したり、互いが保有していた画像をやりとりできる。
【0095】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0096】
1P タッチパネル用プログラム、2a,2b,2c,2d,2a,2b,2c,2d 近接無線通信インタフェース、10 タッチパネル装置、100 制御部、101 一時記憶部、102 記憶部、103 入力処理部、104 表示処理部、113 タッチパッド、114 ディスプレイ、130 ペン、201,202,203,204 通信処理部、201a,202a,203a,204a アンテナ、400 メイン画面、501,502,503 転送リスト。

【特許請求の範囲】
【請求項1】
複数の情報処理端末装置を備えるマルチディスプレイシステムであって、
前記複数の情報処理端末装置の各々は、
ユーザからの指示を受け付けるための入力インタフェースと、
他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、
オブジェクトを表示するための画像データを格納するための記憶装置と、
前記オブジェクトを表示するためのディスプレイ画面とを備え、
前記ディスプレイ画面の表示領域は、前記他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、前記オブジェクトの表示処理を実行する前記表示領域の内部の領域である独立表示領域を含み、
プロセッサをさらに備え、
前記プロセッサは、
前記近接無線通信インターフェイスにより前記他の情報処理端末装置が前記所定の距離以内に近接していると判断される場合において、前記ユーザからの指示による移動処理により前記オブジェクトが前記独立表示領域の境界を越えたときに、前記画像データのうち前記オブジェクトを表示するための画面上の表示座標データを、前記オブジェクトが、前記他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換して、前記画像データを前記前記他の情報処理端末装置に転送する、マルチディスプレイシステム。
【請求項2】
前記画像データは、表示するオブジェクトの内容を示す内容データと、当該オブジェクトを識別するための固有情報と、当該オブジェクトの表示される範囲を示す表示範囲情報とを含み、
前記情報処理端末装置のプロセッサは、前記他の情報処理端末装置から転送された前記画像データの前記固有情報により、当該転送された画像データがすでに転送済みのオブジェクトであるか否かを判断し、
前記他の情報処理端末装置から転送された前記画像データが転送済みのオブジェクトである場合に、当該オブジェクトが現在の表示位置より移動されているときには、自身が表示する当該オブジェクトの表示位置を変更する、請求項1記載のマルチディスプレイシステム。
【請求項3】
前記他の情報処理端末装置から転送された前記画像データが転送済みのオブジェクトである場合に、当該オブジェクトが現在のサイズより変更されているときには、自身が表示する当該オブジェクトのサイズを変更する、請求項2記載のマルチディスプレイシステム。
【請求項4】
前記他の情報処理端末装置から転送された前記画像データが転送済みのオブジェクトである場合に、当該オブジェクトの表示位置およびサイズが現在の表示位置およびサイズより変更されているときには、自身が表示する当該オブジェクトの表示位置およびサイズを当該変更された表示位置およびサイズまで複数の段階を経て変更する、請求項3記載のマルチディスプレイシステム。
【請求項5】
複数のディスプレイ画面によりなるマルチディスプレイシステムを構成可能な情報処理端末装置であって、
ユーザからの指示を受け付けるための入力インタフェースと、
前記マルチディスプレイシステムを構成可能な他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、
オブジェクトを表示するための画像データを格納するための記憶装置と、
前記オブジェクトを表示するためのディスプレイ画面であって、前記マルチディスプレイシステムを構成するためのディスプレイ画面とを備え、
前記ディスプレイ画面の表示領域は、前記他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、前記オブジェクトの表示処理を実行する前記表示領域の内部の領域である独立表示領域を含み、
プロセッサをさらに備え、
前記プロセッサは、
前記近接無線通信インターフェイスにより前記他の情報処理端末装置が前記所定の距離以内に近接していると判断される場合において、前記ユーザからの指示による移動処理により前記オブジェクトが前記独立表示領域の境界を越えたときに、前記画像データのうち前記オブジェクトを表示するための画面上の表示座標データを、前記オブジェクトが、前記他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換して、前記画像データを前記前記他の情報処理端末装置に転送する、情報処理端末装置。
【請求項6】
複数のディスプレイ画面によりなるマルチディスプレイシステムを構成可能な情報処理端末装置の情報処理方法であって、
前記情報処理端末装置は、前記マルチディスプレイシステムを構成可能な他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、オブジェクトを表示するための画像データを格納するための記憶装置と、前記オブジェクトを表示するためのディスプレイ画面であって、前記マルチディスプレイシステムを構成するためのディスプレイ画面と、プロセッサとを備え、
前記ディスプレイ画面の表示領域が、前記他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、前記オブジェクトの表示処理を実行する前記表示領域の内部の領域である独立表示領域を含むとき、
前記プロセッサが、前記近接無線通信インターフェイスにより前記他の情報処理端末装置が前記所定の距離以内に近接しているか否かを判断するステップと、
前記プロセッサが、前記他の情報処理端末装置が前記所定の距離以内に近接している場合において、前記ユーザからの指示による移動処理により前記オブジェクトが前記独立表示領域の境界を越えたか否かを判断するステップと、
前記プロセッサが、前記境界を越えたときに、前記画像データのうち前記オブジェクトを表示するための画面上の表示座標データを、前記オブジェクトが、前記他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換するステップと、
前記プロセッサが、前記変換された画像データを前記前記他の情報処理端末装置に転送するステップと、を実行する、情報処理方法。
【請求項7】
複数のディスプレイ画面によりなるマルチディスプレイシステムを構成可能な情報処理端末装置のプロセッサに情報処理を実行させるためのコンピュータプログラムであって、
前記情報処理端末装置は、前記マルチディスプレイシステムを構成可能な他の情報処理端末装置とデータ通信するための近接無線通信インターフェイスと、オブジェクトを表示するための画像データを格納するための記憶装置と、前記オブジェクトを表示するためのディスプレイ画面であって、前記マルチディスプレイシステムを構成するためのディスプレイ画面とを備え、
前記ディスプレイ画面の表示領域が、前記他の情報処理端末装置が所定の距離の範囲内に存在するか否かに関わらず、前記オブジェクトの表示処理を実行する前記表示領域の内部の領域である独立表示領域を含むとき、
前記プロセッサが、前記近接無線通信インターフェイスにより前記他の情報処理端末装置が前記所定の距離以内に近接しているか否かを判断するステップと、
前記プロセッサが、前記他の情報処理端末装置が前記所定の距離以内に近接している場合において、前記ユーザからの指示による移動処理により前記オブジェクトが前記独立表示領域の境界を越えたか否かを判断するステップと、
前記プロセッサが、前記境界を越えたときに、前記画像データのうち前記オブジェクトを表示するための画面上の表示座標データを、前記オブジェクトが、前記他の情報処理端末装置のディスプレイ画面から自身のディスプレイ画面にまたがって存在するように表示することに対応して、当該他の情報処理端末装置における表示座標に変換するステップと、
前記プロセッサが、前記変換された画像データを前記前記他の情報処理端末装置に転送するステップと、を情報処理端末装置に実行させる、コンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2012−185297(P2012−185297A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−47938(P2011−47938)
【出願日】平成23年3月4日(2011.3.4)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】