画像表示装置、画像表示方法、及び画像表示プログラム
【課題】手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムを提供する。
【解決手段】手書き入力が行われていると判定される場合において、他端末から受信される情報が予め定められた条件を満たすか否かを判定する受信情報判定手段54と、その判定が肯定される場合には、受信情報に対応するサムネイル画像62を、表示装置22の画面におけるタッチパネル24による入力操作位置から所定の距離範囲内に表示させる同期表示制御手段56とを、備えたものであることから、タッチパネル24により手書き入力が行われている際に、利用者の視線が集中している手書き入力に係る部位に追従して他端末からの受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。
【解決手段】手書き入力が行われていると判定される場合において、他端末から受信される情報が予め定められた条件を満たすか否かを判定する受信情報判定手段54と、その判定が肯定される場合には、受信情報に対応するサムネイル画像62を、表示装置22の画面におけるタッチパネル24による入力操作位置から所定の距離範囲内に表示させる同期表示制御手段56とを、備えたものであることから、タッチパネル24により手書き入力が行われている際に、利用者の視線が集中している手書き入力に係る部位に追従して他端末からの受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を表示させる表示部を備えた画像表示装置、画像表示方法、及び画像表示プログラムの改良に関する。
【背景技術】
【0002】
画像を表示させる表示部を備えた画像表示装置が知られている。例えば、画像を表示させると共に利用者の接触に応じて入力を行うタッチパネルディスプレイを備えた画像表示装置がそれである。そのような画像表示装置においては、上記タッチパネルディスプレイに対する接触を維持しつつその接触部位を移動させること等により所謂手書き入力に相当する情報の入力が可能とされる。斯かる画像表示装置において、他端末との間で画像等の情報を共有する技術が提案されている。例えば、特許文献1に記載されたコミュニケーション端末装置がそれである。この技術によれば、他端末との間で情報の送受信を行う通信部を備えると共に、端末相互間で画像データを共有する際、受信された画像データを画面内に縮小表示することにより、次の共有候補の画像を確認してから共有可能とできるとされている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−348189号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、前記従来の技術において、例えば画面に表示されている画像への書き込み等の手書き入力が行われている際に、他端末における処理により共有画像が切り替えられたり、画像データをはじめとする情報が受信された場合には、利用者の視線が手書き入力に係る部位に集中しているため、受信された情報を画面内に縮小表示したとしても気づかないことが考えられる。また、手書き入力を行っている手部によって情報の報知によく用いられるタスクトレイが隠されて視認できない等のおそれがあり、円滑なコミュニケーションを阻害するおそれがあった。このため、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムの開発が求められていた。
【0005】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムを提供することにある。
【課題を解決するための手段】
【0006】
斯かる目的を達成するために、本第1発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置であって、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段と、その手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段と、その受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段とを、備えたことを特徴とするものである。
【0007】
また、前記目的を達成するために、本第2発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における画像表示方法であって、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定過程と、その手書き入力判定過程の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程と、その受信情報判定過程の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御過程とを、含むことを特徴とするものである。
【0008】
また、前記目的を達成するために、本第3発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における制御装置を、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段、その手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段、及び、その受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段として機能させるものであることを特徴とする画像表示プログラムである。
【発明の効果】
【0009】
このように、前記第1発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置を提供することができる。
【0010】
ここで、前記第1発明において、好適には、前記手書き入力判定手段は、前記タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、前記表示制御手段は、その判定結果に基づいて前記表示部の画面における前記部分画像の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、右手入力及び左手入力それぞれに対応して利用者の視線が集中している部位に追従して受信情報に係る部分画像を表示させることができる。
【0011】
また、好適には、前記受信情報判定手段は、前記他端末から音声情報の受信があった場合に前記判定を肯定するものであり、前記表示制御手段は、その音声情報の送信元である他端末において撮像されて前記通信部により受信される撮像画像を前記部分画像として表示させるものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末から例えばテレビ電話に係る音声情報が受信された場合に、その送信元の他端末における映像を確実に利用者に知覚させることができる。
【0012】
また、好適には、前記受信情報判定手段は、前記他端末との間で前記通信部を介して画像を共有している場合において、前記他端末によりその画像の更新があった場合に前記判定を肯定するものであり、前記表示制御手段は、その更新された画像を前記部分画像として表示させるものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が更新された場合に、その更新画像を確実に利用者に知覚させることができる。
【0013】
また、好適には、前記手書き入力判定手段により前記タッチパネルに対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、前記表示制御手段は、前記部分画像の表示を停止するものである。このようにすれば、前記タッチパネルによる軌跡情報の入力操作が中止された際に、不要な前記部分画像が表示され続けるのを好適に抑制することができる。
【0014】
また、前記第2発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示方法を提供することができる。
【0015】
また、前記第3発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示プログラムを提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施例である画像表示装置の外観の概要を示す図である。
【図2】図1の画像表示装置に備えられた構成を示すブロック線図である。
【図3】図1の画像表示装置における制御部に備えられた制御機能の要部を説明する機能ブロック線図である。
【図4】図1の画像表示装置による同期表示制御について説明する図である。
【図5】図4に示す状態から音声情報の受信があった場合において、他端末により撮像された撮像画像が送信されてきた様子を例示している。
【図6】図5に示す撮像画像がサムネイル画像として表示された場合において、そのサムネイル画像が手書き入力操作位置付近にも追加表示される様子を例示している。
【図7】図1の画像表示装置による同期表示制御において、サムネイル画像が手書き入力操作位置の移動に伴い追従して移動させられる様子を例示している。
【図8】図1の画像表示装置による同期表示制御において、サムネイル画像が手書き入力操作位置の移動に伴い追従して移動させられる様子を例示している。
【図9】図1の画像表示装置による同期表示制御において、タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像の表示位置の違いを説明する図であり、右手入力に対応している。
【図10】図1の画像表示装置による同期表示制御において、タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像の表示位置の違いを説明する図であり、左手入力に対応している。
【図11】図1の画像表示装置における制御部による本実施例の画像表示制御の要部を説明するフローチャートである。
【図12】図11の制御における他端末の情報変更検出制御の要部を説明するフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【0018】
図1は、本発明の一実施例である画像表示装置10の外観の概要を示す図である。また、図2は、斯かる画像表示装置10に備えられた構成を説明するブロック線図である。これらの図に示すように、本実施例の画像表示装置10は、所定の画像(映像)を表示させると共に、利用者の接触操作に応じて入力を行うためのタッチパネルディスプレイ12を備えている。また、図2に示すように、画像表示装置10による画像表示制御をはじめとする各種制御を実行する制御部14と、複数の画像情報(画像ファイル)等、各種情報を記憶する記憶部16と、他端末例えば他の画像表示装置10等との間で情報の送受信を行う通信部としての通信インターフェイス18とを、備えて構成されている。ここで、他の画像表示装置10とは、図2に示す画像表示装置10と等価な構成を備えた別の装置であり、通信インターフェイス18を介して情報の送受信が可能とされる他端末に対応する。また、好適には、図1に示すように、画像表示装置10にはタッチパネルディスプレイ12に対する入力子としてのペン20等が備えられている。
【0019】
図2に示すように、タッチパネルディスプレイ12は、そのタッチパネルディスプレイ12に所定の映像を表示させる表示部(ディスプレイ)としての表示装置22と、利用者の指や備え付けのペン20等によるタッチパネルディスプレイ12への接触により入力を行う入力装置としてのタッチパネル24とを、備えて構成されている。また、画像表示装置10には、表示装置22による画像(映像)の表示制御を行う表示制御部26と、タッチパネル24により入力される入力情報を処理する入力制御部28とが備えられており、それら表示制御部26及び入力制御部28により表示装置22及びタッチパネル24を介してタッチパネルディスプレイ12による画像表示制御乃至情報入力制御が実行される。
【0020】
また、図2に示すように、制御部14は、中央演算処理装置であるCPU30と、読出専用メモリであるROM32と、随時書込読出メモリであるRAM34とを、備えて構成されている。すなわち、制御部14は、RAM34の一時記憶機能を利用しつつROM32に記憶された情報に基づいてCPU30により種々の情報処理を実行する所謂マイクロコンピュータであり、表示制御部26を介してタッチパネルディスプレイ12(表示装置22)に所定の画像を表示させる画像表示制御、そのタッチパネルディスプレイ12(タッチパネル24)への接触操作に応じて入力制御部28を介して入力される入力信号を処理する入力処理制御、及び通信インターフェイス18を介して他端末との間で情報の送受信を行う情報通信制御等、画像表示装置10に関する各種制御に加えて、後述する本実施例の画像表示制御(同期表示制御)等を実行する。また、記憶部16は、ハードディスクやフラッシュメモリ等の記憶装置であり、複数の画像情報を記憶する画像データベースをはじめとする各種データベースを備えている。
【0021】
通信インターフェイス18は、例えば画像表示装置10を無線により或いは有線接続にてLAN42に接続するLANインターフェイスである。画像表示装置10は、この通信インターフェイス18によりLAN42に接続されることで、そのLAN42を介して例えば他の画像表示装置10等の他端末との間で情報の通信が可能とされる。また、好適には、LAN42は図示しないルータ等を介して公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続可能とされ、画像表示装置10とインターネットに接続された他端末例えば他の画像表示装置10との間での通信が可能とされたものである。すなわち、本実施例においては、通信インターフェイス18が通信部として機能する。
【0022】
記憶部16は、画像データベース等の各種データベースを備えている。この画像データベースには、例えば、表示制御部26を介してタッチパネルディスプレイ12(表示装置22)に所定の画像を表示させるための画像情報として、例えばJPEG(Joint Photographic Experts Group)、PNG(Portable Network Graphics)、GIF(Graphics Interchange Format)等のファイル形式の複数の画像データ(画像ファイル)が、それぞれの識別情報(ファイル名)をインデックスとして記憶されている。なお、表示装置22は、静止画像のみならず動画を表示させるものであってもよく、画像データベースに記憶される画像情報は、静止画若しくは動画の何れであってもよい。また、PDF(Portable Document Format)形式のドキュメントファイルや、Excel(登録商標)形式のワークシートファイル等が画像データベースに記憶されるものであってもよい。
【0023】
また、図2に示すように、画像表示装置10には、通話部36、撮像部38、及びセンサ部40が備えられている。この通話部36は、例えば、マイクロフォン及びスピーカを備えており、通信インターフェイス18乃至LAN42等を介しての他端末例えば他の画像表示装置10等との間の音声通話に際してマイクロフォンにより音声(音波)に対応する機械的な振動を電気信号(音声情報)に変換して通信対象へ送信すると共に、その通信対象から送られてくる音声情報(電気信号)に対応する音声をスピーカにより機械的な振動として出力させる制御を行う。
【0024】
撮像部38は、例えば、CCD(charge coupled device)等の撮像素子及びレンズを備え、そのレンズから入射される映像をCCDにより検知し、その映像を電子情報(映像データ)として取得する所謂デジタルカメラである。画像表示装置10による画像乃至映像の撮影に際しては、上記レンズから取り込まれCCDにより電子情報に変換された画像乃至映像が撮像され、記憶部16等に所定の画像ファイルの形式で記憶される。また、そのようにして撮像された映像は、通信インターフェイス18乃至LAN42等を介しての他端末例えば他の画像表示装置10等へ送信される。
【0025】
センサ部40は、例えば、画像表示装置10のフレーム(外枠)すなわちタッチパネルディスプレイ12以外の部分に設けられ、利用者の手部44(図4〜図10を参照)等による接触を検出する接触センサであり、例えば圧力センサや静電容量型センサ等が好適に用いられる。また、好適には、タッチパネルディスプレイ12の中央(例えば、その平面部における中心線)を基準として画像表示装置10の左右の何れに利用者の手部44等による接触があったのかを検出し得るように構成されている。
【0026】
図3は、前記制御部14に備えられた制御機能の要部を説明する機能ブロック線図である。この図3に示す手書き入力判定手段50は、タッチパネル24による軌跡情報の入力操作が実行中であるか否かを判定する。この軌跡情報とは、タッチパネル24に対する接触操作に応じて描画される手書き入力情報に相当するものである。すなわち、画像表示装置10においては、タッチパネル24の平面部に対してペン20や利用者の指44f(図4〜図8を参照)等の入力子を接触させた状態でその接触部位を移動させることにより、自由曲線や直線等を組み合わせた所謂手書き入力(フリードロー)が可能とされており、手書き入力判定手段50は、斯かる入力操作が行われているか否かを判定する。例えば、タッチパネル24に対して所定の入力子が接触させられている場合(入力制御部28によりその接触が検出されている場合)には、軌跡情報の入力操作が実行中であると判定する。
【0027】
また、手書き入力判定手段50は、好適には、タッチパネル24による軌跡情報の入力操作が実行中であると判定される場合において、その軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定する。例えば、センサ部40による検出結果に基づいて、タッチパネルディスプレイ12の中央を基準として画像表示装置10の左右の何れの部位を利用者の手部44が把持しているのかを判定し、画像表示装置10の左半分に対応する部位を把持していると判定される場合すなわち左手に対応する手部44l(図4〜図10を参照)で把持していると判定される場合には、軌跡情報の入力操作が右手入力によるものであると判定する一方、画像表示装置10の右半分に対応する部位を把持していると判定される場合すなわち右手に対応する手部44r(図4〜図10を参照)で把持していると判定される場合には、軌跡情報の入力操作が左手入力によるものであると判定する。また、画像表示装置10の縦横方向の変更すなわちタッチパネルディスプレイ12の中心回りの90°の回転が行われた場合には、右手による把持部位乃至左手による把持部位も変更されるため、上記判定は、好適には、斯かる画像表示装置10の縦横方向に基づいて実行される。このため、画像表示装置10には、重力方向を基準とする画像表示装置10の縦横方向を検出する重力センサが内蔵されていることが望ましい。
【0028】
音声通話制御手段52は、通話部36乃至通信インターフェイス18を介しての他端末例えば他の画像表示装置10との間の音声通話を制御する。すなわち、タッチパネル24等を介して他の画像表示装置10との間で音声通話を行うための所定の発信操作が行われた場合や、他の画像表示装置10からの着信がありタッチパネル24等を介して所定の受信操作が行われた場合、通信インターフェイス18乃至インターネット回線等を介してその通信対象との間で音声通話(電話通信)を成立させる。また、その音声通話に際して、通話部36に備えられたマイクロフォンにより入力される音声情報を通信インターフェイス18を介して通話相手へ送信すると共に、その通話相手から通信インターフェイス18を介して受信される音声情報を通話部36に備えられたスピーカにより出力させる。なお、この音声通話制御手段52による音声通話と、後述する同期表示制御手段56による同期表示制御とが併行して実行されることで、他の画像表示装置10等との間で各利用者の撮像画像(撮像部38により撮影された映像)を視認しつつ音声情報による通話を行う所謂テレビ電話(テレビ会議)が実現される。
【0029】
受信情報判定手段54は、手書き入力判定手段50の判定が肯定される場合において、通信インターフェイス18により受信される他端末例えば他の画像表示装置10からの情報が予め定められた条件を満たすか否かを判定する。好適には、他の画像表示装置10から音声通話制御手段52による音声通話に係る音声情報の受信があった場合に上記判定を肯定する。また、好適には、他の画像表示装置10との間で以下に詳述する同期表示制御手段56により画像を共有している場合において、斯かる他の画像表示装置10により共有に係る画像の更新があった場合に上記判定を肯定する。また、好適には、他の画像表示装置10から画像の送信例えば撮像部38により撮像された撮像画像の送信があった場合に上記判定を肯定する。
【0030】
同期表示制御手段56は、通信インターフェイス18を介しての他端末例えば他の画像表示装置10との間の同期表示制御を制御する。この同期表示制御とは、複数の画像表示装置10におけるタッチパネルディスプレイ12に共通の画像(以下、共有画像という)を表示させると共に、所定の画像表示装置10における入力操作によってその共有画像が変更(更新)された場合には、その共有画像を共有している複数の画像表示装置10それぞれのタッチパネルディスプレイ12に表示された共有画像を変更する(更新を反映させる)制御である。すなわち、同期表示制御手段56は、自機を含む複数の画像表示装置10の間で共有画像として設定された画像に関して、自機におけるタッチパネル24によりその共有画像を変更する操作が行われた場合には、その変更に係る情報を他の画像表示装置10へ送信する一方、他の画像表示装置10により上記共有画像の変更が行われてその変更に係る情報が受信された場合には、その変更に係る情報を自機の表示装置22に表示された共有画像に反映する制御を行う。
【0031】
また、同期表示制御手段56は、受信情報判定手段52の判定が肯定される場合、すなわち通信インターフェイス18により受信される他の画像表示装置10からの情報が予め定められた条件を満たすと判定される場合には、その判定に係る他の画像表示装置10からの情報に対応する、表示装置22の画面全体よりも小さい部分画像すなわちサムネイル画像62(図4〜図10を参照)を、その表示装置22の画面におけるタッチパネル24による軌跡情報の入力操作位置から所定の距離範囲内に(入力操作位置が画面内のどの部分に対応する位置であるかにかかわらず)表示させる。好適には、他の画像表示装置10から音声通話制御手段52による通話に係る音声情報の受信があった場合において、その音声情報の送信元である他の画像表示装置10において撮像されて通信インターフェイス18により受信される撮像画像を上記部分画像として表示させる。また、好適には、同期表示制御手段56により他の画像表示装置10との間で通信インターフェイス18を介して画像を共有している場合において、斯かる他の画像表示装置10により共有画像の更新があった場合には、その更新された共有画像を上記部分画像として表示させる。以下、この同期表示制御手段56による部分画像の表示制御について、図4〜図10等を用いて詳述する。
【0032】
図4は、画像表示装置10による同期表示制御について説明する図であり、タッチパネルディスプレイ12に所定の画像60が表示されると共に、他の画像表示装置10との同期に係る複数(図4では3つ)のサムネイル画像62a、62b、62c(以下、特に区別しない場合には単にサムネイル画像62という)が部分表示された様子を例示している。この図4に示す例では、利用者の左手に対応する手部44lにより画像表示装置10が把持され、右手に対応する手部44rの指44fを入力子として軌跡情報64の入力操作が行われている。すなわち、文字「2010」に対応する軌跡情報64の手書き入力を実行中である様子を示しており、「2010」の最後の「0」が途中まで描かれている状態である。ここで、画像60は複数の画像表示装置10との間の同期表示制御に係る共有画像として設定されており、その画像60に対応するサムネイル画像62aが表示装置22の画面における右側上部に表示されている。このサムネイル画像62aは、図4に示すようにタッチパネルディスプレイ12の画面全体に表示されている画像の縮小画像に相当するものであり、対象となる画像60を共有する複数の画像表示装置10それぞれの表示装置22に表示される。また、図4に示すように軌跡情報64の入力が行われている場合、各画像表示装置10の同期表示制御手段56によりその軌跡情報64がサムネイル画像62aにリアルタイムで反映される表示制御が実行される。
【0033】
図5は、図4に示す状態から他の画像表示装置10の音声通話制御手段52による音声情報の受信があった場合において、その画像表示装置10の撮像部38により撮像された撮像画像が送信されてきた様子を例示している。前述のように、他の画像表示装置10から音声通話制御手段52による通話に係る音声情報の受信があった場合には、同期表示制御手段56によりその音声情報の送信元である他の画像表示装置10において撮像されて通信インターフェイス18により受信された撮像画像がサムネイル画像62dとして表示装置22の画面における一部に表示される。図5に示す例においては、図4に示すサムネイル画像62aの代わりに(サムネイル画像62aが表示されていた位置に)新たにサムネイル画像62dが表示されている。
【0034】
図6は、図5に示すように他の画像表示装置10の撮像部38により撮像された撮像画像が受信され、サムネイル画像62dとして表示された場合において、そのサムネイル画像62dが軌跡情報64の入力操作位置付近にも追加表示される様子を例示している。この図6に示すように、同期表示制御手段56は、他の画像表示装置10からの受信情報に係るサムネイル画像62dを、表示装置22の画面におけるタッチパネル24による軌跡情報64の入力操作位置(タッチパネル24に対する入力子の接触部位の座標点)から所定の距離範囲内に表示させる。この所定距離範囲は、好適には、入力中である軌跡情報64の入力に影響を与えない(サムネイル画像62の表示によって軌跡情報64の入力を邪魔しない)範囲に相当する。図6においては、軌跡情報64に重ねてサムネイル画像62を表示させる例を示しているが、軌跡情報64に対応する部位を避けてサムネイル画像62を表示させるものであってもよい。また、図6に示すように、軌跡情報64の入力操作が右手入力によるものである場合には、タッチパネル24における入力子の接触部位に対して左上方にサムネイル画像62dを表示させる。
【0035】
図7及び図8は、軌跡情報64の入力操作位置付近に追加表示されたサムネイル画像62dがその入力操作位置の移動に伴い追従して移動させられる様子を例示している。なお、これら図7及び図8乃至後述する図9及び図10においては、説明の便宜上画面右側における他のサムネイル画像62を省略している。図7に示すように、表示装置22の画面端(図7では左端)に近い部位がタッチパネル24における入力子の接触部位である場合、サムネイル画像62dは画面によってそのサムネイル画像62dが切れない(すなわちサムネイル画像62d全体が画面内に表示される)限度において最も画面端寄り(図7では左寄り)の位置に表示させられる。そして、図8に示すように、タッチパネル24による軌跡情報66の入力操作に伴い、タッチパネル24に対する入力子の接触部位(表示領域全体に対する座標)が移動させられると、その移動に追従してサムネイル画像62dも移動表示させられる。
【0036】
同期表示制御手段56は、好適には、手書き入力判定手段50による判定結果に基づいて表示装置22の画面におけるサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御する。図9及び図10は、タッチパネル24による軌跡情報66の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像62dの表示位置の違いを説明する図であり、図9が右手入力に、図10が左手入力にそれぞれ対応している。同期表示制御手段56は、軌跡情報66の入力操作が右手入力によるものである場合には、図9に示すように、タッチパネル24における入力子(図9ではペン20)の接触部位に対して左上方(例えば、接触部位の左上斜め45°方向にサムネイル画像62の中心が位置する部位)にサムネイル画像62dを表示させる。また、軌跡情報66の入力操作が左手入力によるものである場合には、図10に示すように、タッチパネル24における入力子(図10ではペン20)の接触部位に対して右上方(例えば、接触部位の右上斜め45°方向にサムネイル画像62の中心が位置する部位)にサムネイル画像62dを表示させる。このように、右手入力及び左手入力それぞれに対応してサムネイル画像62の表示位置を個別に制御することで、軌跡情報66の入力を行っている手部44によりサムネイル画像62が隠されるのを抑制することができる。
【0037】
また、同期表示制御手段56は、好適には、手書き入力判定手段50によりタッチパネル24に対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、受信情報判定手段54による判定に応じて表示されたサムネイル画像62の表示を停止する。例えば、タッチパネル24に対する入力子の接触が解除された(入力制御部28によりタッチパネル24に対する接触操作が検出されない状態となった)と判定されてから予め定められた規定時間(例えば、5〜10秒程度)が経過した場合には、軌跡情報64等の入力操作部位に追従表示されるサムネイル画像62の表示を停止し、表示装置22の画面から消去する。ここで、図4等に示すように画面右側に他のサムネイル画像62と共に表示されるサムネイル画像62に関しては継続的に表示させてもよいし、入力操作部位に追従表示されるサムネイル画像62と共に消去してもよい。
【0038】
図11は、画像表示装置10の制御部14による本実施例の画像表示制御(同期表示制御)の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0039】
先ず、ステップ(以下、ステップを省略する)S1において、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、他端末例えば他の画像表示装置10からの受信情報に変更があったか否か、すなわち通信インターフェイス18を介して他の画像表示装置10から新たな情報が追加で受信されたか否かが判断される。このS2の判断が肯定される場合には、SAにおいて、図12に示す他端末の情報変更検出制御が実行された後、S4以下の処理が実行されるが、S2の判断が否定される場合には、S3において、タッチパネル24による軌跡情報64等の入力操作が終了したか否かが判断される。このS3の判断が否定される場合には、S2以下の処理が実行されるが、S3の判断が肯定される場合には、S4において、タッチパネル24により入力された軌跡情報64が記憶部16等に記憶(保存)された後、本ルーチンが終了させられる。
【0040】
図12は、図11のSAにおける他端末の情報変更検出制御の要部を説明するフローチャートである。先ず、SA1において、他端末例えば他の画像表示装置10との間で共有している共有画像に関して、他端末によりその共有画像の変更(更新)があったか否かが判断される。このSA1の判断が肯定される場合には、SA3以下の処理が実行されるが、SA1の判断が否定される場合には、SA2において、他端末例えば他の画像表示装置10から音声通話に係る音声情報の受信があったか否かが判断される。このSA2の判断が否定される場合には、SA8以下の処理が実行されるが、SA2の判断が肯定される場合には、SA3において、他端末から受信された情報に対応するサムネイル画像62が生成される。例えば、共有画像の変更があった場合にはその共有画像の縮小画像としてのサムネイル画像62が、音声通話に係る音声情報の受信があった場合にはその音声情報の送信元である他端末において撮像されて通信インターフェイス18を介して受信される撮像画像に係るサムネイル画像62がそれぞれ生成される。次に、SA4において、タッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかが判断される。この判断は、好適には、センサ部40による検出結果に基づいて行われる。次に、SA5において、SA3にて生成されたサムネイル画像62を表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させると共に、その入力操作位置の移動に応じてサムネイル画像62を追従移動させる表示処理が実行される。次に、SA6において、タッチパネル24に対する入力子の接触部位が移動させられたか否かが判断される。このSA6の判断が肯定される場合には、SA5以下の処理が実行されるが、SA6の判断が否定される場合には、SA7において、書き込み終了すなわちタッチパネル24に対する接触操作が終了したと判定されてから所定時間が経過したか否かが判断される。このSA7の判断が否定される場合には、SA6以下の処理が実行されるが、SA7の判断が肯定される場合には、SA8において、SA5にて表示されたサムネイル画像62の表示が停止された(非表示とされた)後、図11に示すメインルーチンへ復帰させられる。
【0041】
以上、図11及び図12に示す制御において、S1、SA4、及びSA7が手書き入力判定手段50の動作乃至手書き入力判定過程に、S2、SA1、及びSA2が受信情報判定手段54の動作乃至受信情報判定過程に、S4、SA3、SA5、SA6、及びSA8が同期表示制御手段(表示制御手段)56乃至表示制御過程にそれぞれ対応する。
【0042】
このように、本実施例によれば、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かを判定する手書き入力判定手段50(S1、SA4、及びSA7)と、その手書き入力判定手段50の判定が肯定される場合において、通信部としての通信インターフェイス18により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段54(S2、SA1、及びSA2)と、その受信情報判定手段54の判定が肯定される場合には、通信インターフェイス18により受信される他端末からの情報に対応する、表示装置22の画面全体よりも小さい部分画像であるサムネイル画像62を、その表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる同期表示制御手段56(S4、SA3、SA5、SA6、及びSA8)とを、備えたものであることから、タッチパネル24により手書き入力が行われている際に、他の画像表示装置10等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置10を提供することができる。
【0043】
また、前記手書き入力判定手段50は、タッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、同期表示制御手段56は、その判定結果に基づいて表示装置22の画面におけるサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものであるため、タッチパネル24により手書き入力が行われている際に、右手入力及び左手入力それぞれに対応して利用者の視線が集中している部位に追従して受信情報に係るサムネイル画像62を表示させることができる。
【0044】
また、受信情報判定手段54は、他端末から音声情報の受信があった場合に前記判定を肯定するものであり、同期表示制御手段56は、その音声情報の送信元である他端末において撮像されて通信インターフェイス18により受信される撮像画像をサムネイル画像62として表示させるものであるため、タッチパネル24により手書き入力が行われている際に、他端末から例えばテレビ電話に係る音声情報が受信された場合に、その送信元の他端末における映像を確実に利用者に知覚させることができる。
【0045】
また、受信情報判定手段54は、他端末との間で通信インターフェイス18を介して画像を共有している場合において、他端末によりその画像の更新があった場合に前記判定を肯定するものであり、同期表示制御手段56は、その更新された画像をサムネイル画像62として表示させるものであるため、タッチパネル24により手書き入力が行われている際に、他端末における処理により共有画像が更新された場合に、その更新画像を確実に利用者に知覚させることができる。
【0046】
また、手書き入力判定手段50によりタッチパネル24に対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、同期表示制御手段56は、サムネイル画像62の表示を停止するものであるため、タッチパネル24による軌跡情報64等の入力操作が中止された際に、不要なサムネイル画像62が表示され続けるのを好適に抑制することができる。
【0047】
また、本実施例によれば、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かを判定する手書き入力判定過程(S1、SA4、及びSA7)と、その手書き入力判定過程の判定が肯定される場合において、通信インターフェイス18により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程(S2、SA1、及びSA2)と、その受信情報判定過程の判定が肯定される場合には、通信インターフェイス18により受信される他端末からの情報に対応する、表示装置22の画面全体よりも小さいサムネイル画像62を、その表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる表示制御過程(S4、SA3、SA5、SA6、及びSA8)とを、含むことから、タッチパネル24により手書き入力が行われている際に、他の画像表示装置10等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示方法を提供することができる。
【0048】
また、本実施例によれば、画像表示装置10における制御部14を、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かを判定する手書き入力判定手段50、その手書き入力判定手段50の判定が肯定される場合において、通信インターフェイス18により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段54、及びその受信情報判定手段54の判定が肯定される場合には、通信インターフェイス18により受信される他端末からの情報に対応する、表示装置22の画面全体よりも小さいサムネイル画像62を、その表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる同期表示制御手段56として機能させるものであることから、タッチパネル24により手書き入力が行われている際に、他の画像表示装置10等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示プログラムを提供することができる。
【0049】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【0050】
例えば、前述の実施例において、手書き入力判定手段50、音声通話制御手段52、受信情報判定手段54、及び同期表示制御手段56は、何れも制御部14に機能的に備えられたものであったが、その一部乃至全部が同等の機能を奏する個別の制御部として制御部14とは別体に備えられたものであってもよい。また、画像表示装置10においては、タッチパネルディスプレイ12の表示制御乃至入力情報処理を行う表示制御部26及び入力制御部28が制御部14とは別体の制御部として備えられたものであったが、これらはその一方乃至両方が制御部14に機能的に備えられたものであってもよい。
【0051】
また、前述の実施例において、受信情報判定手段54は、通信インターフェイス18により受信される他端末として、他の画像表示装置10からの情報が予め定められた条件を満たすか否かを判定するものであったが、例えば、画像表示装置10との間で共通のアプリケーションにより同期表示制御が可能とされたパーソナルコンピュータや携帯型情報端末等の他端末からの情報が予め定められた条件を満たすか否かを判定するものであってもよい。すなわち、同期表示制御手段56により表示制御されるサムネイル画像62は、必ずしも他の画像表示装置10から受信された情報に対応するものでなくともよい。
【0052】
また、前述の実施例では、センサ部40の検出結果に基づいて手書き入力判定手段50によりタッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかを判定し、その判定結果に基づいてサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御する態様について説明したが、例えば、画像表示装置10の起動時に右手入力及び左手入力の何れであるかをタッチパネル24等による入力操作により設定可能とし、その設定結果に基づいてサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものであってもよい。
【0053】
また、前述の実施例において、センサ部40は、画像表示装置10のフレームに設けられて利用者の手部44による接触を検出する圧力センサや静電容量型センサ等の接触センサであったが、例えば、入力子としてのペン20の画像表示装置10(タッチパネル24)に対する傾きを検出する重力センサ等であってもよく、その検出結果に対応するペン20の傾きに基づいて、タッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかを判定可能とするものであってもよい。
【0054】
また、前述の実施例では、通信インターフェイス18により受信される他端末からの情報に対応する単一のサムネイル画像62を、表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる態様について説明したが、例えば、他端末との共有に係る共有画像の更新と、他端末からの音声情報の検出とが同時に行われた場合等においては、それらの受信情報それぞれに対応する複数のサムネイル画像62を表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させるものであってもよい。
【0055】
また、前述した図12の制御におけるSA5の対応画像表示処理について、入力子が移動する度にサムネイル画像62の表示位置が細かく変わると逆に確認が難しくなることが考えられる場合には、入力子の移動範囲が予め定められた所定範囲内ならばサムネイル画像62を動かさない等の処理を行うものであってもよい。また、手書き入力を行っている最中に、追従移動しているサムネイル画像62が更新されて送られてくる場合も考えられるため、追従移動しているサムネイル画像62に関して更新があった場合にはそのサムネイル画像62として更新画像を表示させる等の制御を行うものであってもよい。
【0056】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【0057】
10:画像表示装置、14:制御部(制御装置)、18:通信インターフェイス(通信部)、22:表示装置(表示部)、24:タッチパネル、50:手書き入力判定手段、54:受信情報判定手段、56:同期表示制御手段(表示制御手段)、60:画像、62:サムネイル画像(部分画像)、64、66:軌跡情報
【技術分野】
【0001】
本発明は、画像を表示させる表示部を備えた画像表示装置、画像表示方法、及び画像表示プログラムの改良に関する。
【背景技術】
【0002】
画像を表示させる表示部を備えた画像表示装置が知られている。例えば、画像を表示させると共に利用者の接触に応じて入力を行うタッチパネルディスプレイを備えた画像表示装置がそれである。そのような画像表示装置においては、上記タッチパネルディスプレイに対する接触を維持しつつその接触部位を移動させること等により所謂手書き入力に相当する情報の入力が可能とされる。斯かる画像表示装置において、他端末との間で画像等の情報を共有する技術が提案されている。例えば、特許文献1に記載されたコミュニケーション端末装置がそれである。この技術によれば、他端末との間で情報の送受信を行う通信部を備えると共に、端末相互間で画像データを共有する際、受信された画像データを画面内に縮小表示することにより、次の共有候補の画像を確認してから共有可能とできるとされている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−348189号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、前記従来の技術において、例えば画面に表示されている画像への書き込み等の手書き入力が行われている際に、他端末における処理により共有画像が切り替えられたり、画像データをはじめとする情報が受信された場合には、利用者の視線が手書き入力に係る部位に集中しているため、受信された情報を画面内に縮小表示したとしても気づかないことが考えられる。また、手書き入力を行っている手部によって情報の報知によく用いられるタスクトレイが隠されて視認できない等のおそれがあり、円滑なコミュニケーションを阻害するおそれがあった。このため、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムの開発が求められていた。
【0005】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置、画像表示方法、及び画像表示プログラムを提供することにある。
【課題を解決するための手段】
【0006】
斯かる目的を達成するために、本第1発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置であって、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段と、その手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段と、その受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段とを、備えたことを特徴とするものである。
【0007】
また、前記目的を達成するために、本第2発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における画像表示方法であって、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定過程と、その手書き入力判定過程の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程と、その受信情報判定過程の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御過程とを、含むことを特徴とするものである。
【0008】
また、前記目的を達成するために、本第3発明の要旨とするところは、画像を表示させる表示部と、その表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における制御装置を、前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段、その手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段、及び、その受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、その表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段として機能させるものであることを特徴とする画像表示プログラムである。
【発明の効果】
【0009】
このように、前記第1発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置を提供することができる。
【0010】
ここで、前記第1発明において、好適には、前記手書き入力判定手段は、前記タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、前記表示制御手段は、その判定結果に基づいて前記表示部の画面における前記部分画像の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、右手入力及び左手入力それぞれに対応して利用者の視線が集中している部位に追従して受信情報に係る部分画像を表示させることができる。
【0011】
また、好適には、前記受信情報判定手段は、前記他端末から音声情報の受信があった場合に前記判定を肯定するものであり、前記表示制御手段は、その音声情報の送信元である他端末において撮像されて前記通信部により受信される撮像画像を前記部分画像として表示させるものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末から例えばテレビ電話に係る音声情報が受信された場合に、その送信元の他端末における映像を確実に利用者に知覚させることができる。
【0012】
また、好適には、前記受信情報判定手段は、前記他端末との間で前記通信部を介して画像を共有している場合において、前記他端末によりその画像の更新があった場合に前記判定を肯定するものであり、前記表示制御手段は、その更新された画像を前記部分画像として表示させるものである。このようにすれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が更新された場合に、その更新画像を確実に利用者に知覚させることができる。
【0013】
また、好適には、前記手書き入力判定手段により前記タッチパネルに対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、前記表示制御手段は、前記部分画像の表示を停止するものである。このようにすれば、前記タッチパネルによる軌跡情報の入力操作が中止された際に、不要な前記部分画像が表示され続けるのを好適に抑制することができる。
【0014】
また、前記第2発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示方法を提供することができる。
【0015】
また、前記第3発明によれば、前記タッチパネルにより手書き入力が行われている際に、前記他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係る部分画像を表示させることで、利用者に確実にその部分画像を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示プログラムを提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施例である画像表示装置の外観の概要を示す図である。
【図2】図1の画像表示装置に備えられた構成を示すブロック線図である。
【図3】図1の画像表示装置における制御部に備えられた制御機能の要部を説明する機能ブロック線図である。
【図4】図1の画像表示装置による同期表示制御について説明する図である。
【図5】図4に示す状態から音声情報の受信があった場合において、他端末により撮像された撮像画像が送信されてきた様子を例示している。
【図6】図5に示す撮像画像がサムネイル画像として表示された場合において、そのサムネイル画像が手書き入力操作位置付近にも追加表示される様子を例示している。
【図7】図1の画像表示装置による同期表示制御において、サムネイル画像が手書き入力操作位置の移動に伴い追従して移動させられる様子を例示している。
【図8】図1の画像表示装置による同期表示制御において、サムネイル画像が手書き入力操作位置の移動に伴い追従して移動させられる様子を例示している。
【図9】図1の画像表示装置による同期表示制御において、タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像の表示位置の違いを説明する図であり、右手入力に対応している。
【図10】図1の画像表示装置による同期表示制御において、タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像の表示位置の違いを説明する図であり、左手入力に対応している。
【図11】図1の画像表示装置における制御部による本実施例の画像表示制御の要部を説明するフローチャートである。
【図12】図11の制御における他端末の情報変更検出制御の要部を説明するフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【0018】
図1は、本発明の一実施例である画像表示装置10の外観の概要を示す図である。また、図2は、斯かる画像表示装置10に備えられた構成を説明するブロック線図である。これらの図に示すように、本実施例の画像表示装置10は、所定の画像(映像)を表示させると共に、利用者の接触操作に応じて入力を行うためのタッチパネルディスプレイ12を備えている。また、図2に示すように、画像表示装置10による画像表示制御をはじめとする各種制御を実行する制御部14と、複数の画像情報(画像ファイル)等、各種情報を記憶する記憶部16と、他端末例えば他の画像表示装置10等との間で情報の送受信を行う通信部としての通信インターフェイス18とを、備えて構成されている。ここで、他の画像表示装置10とは、図2に示す画像表示装置10と等価な構成を備えた別の装置であり、通信インターフェイス18を介して情報の送受信が可能とされる他端末に対応する。また、好適には、図1に示すように、画像表示装置10にはタッチパネルディスプレイ12に対する入力子としてのペン20等が備えられている。
【0019】
図2に示すように、タッチパネルディスプレイ12は、そのタッチパネルディスプレイ12に所定の映像を表示させる表示部(ディスプレイ)としての表示装置22と、利用者の指や備え付けのペン20等によるタッチパネルディスプレイ12への接触により入力を行う入力装置としてのタッチパネル24とを、備えて構成されている。また、画像表示装置10には、表示装置22による画像(映像)の表示制御を行う表示制御部26と、タッチパネル24により入力される入力情報を処理する入力制御部28とが備えられており、それら表示制御部26及び入力制御部28により表示装置22及びタッチパネル24を介してタッチパネルディスプレイ12による画像表示制御乃至情報入力制御が実行される。
【0020】
また、図2に示すように、制御部14は、中央演算処理装置であるCPU30と、読出専用メモリであるROM32と、随時書込読出メモリであるRAM34とを、備えて構成されている。すなわち、制御部14は、RAM34の一時記憶機能を利用しつつROM32に記憶された情報に基づいてCPU30により種々の情報処理を実行する所謂マイクロコンピュータであり、表示制御部26を介してタッチパネルディスプレイ12(表示装置22)に所定の画像を表示させる画像表示制御、そのタッチパネルディスプレイ12(タッチパネル24)への接触操作に応じて入力制御部28を介して入力される入力信号を処理する入力処理制御、及び通信インターフェイス18を介して他端末との間で情報の送受信を行う情報通信制御等、画像表示装置10に関する各種制御に加えて、後述する本実施例の画像表示制御(同期表示制御)等を実行する。また、記憶部16は、ハードディスクやフラッシュメモリ等の記憶装置であり、複数の画像情報を記憶する画像データベースをはじめとする各種データベースを備えている。
【0021】
通信インターフェイス18は、例えば画像表示装置10を無線により或いは有線接続にてLAN42に接続するLANインターフェイスである。画像表示装置10は、この通信インターフェイス18によりLAN42に接続されることで、そのLAN42を介して例えば他の画像表示装置10等の他端末との間で情報の通信が可能とされる。また、好適には、LAN42は図示しないルータ等を介して公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続可能とされ、画像表示装置10とインターネットに接続された他端末例えば他の画像表示装置10との間での通信が可能とされたものである。すなわち、本実施例においては、通信インターフェイス18が通信部として機能する。
【0022】
記憶部16は、画像データベース等の各種データベースを備えている。この画像データベースには、例えば、表示制御部26を介してタッチパネルディスプレイ12(表示装置22)に所定の画像を表示させるための画像情報として、例えばJPEG(Joint Photographic Experts Group)、PNG(Portable Network Graphics)、GIF(Graphics Interchange Format)等のファイル形式の複数の画像データ(画像ファイル)が、それぞれの識別情報(ファイル名)をインデックスとして記憶されている。なお、表示装置22は、静止画像のみならず動画を表示させるものであってもよく、画像データベースに記憶される画像情報は、静止画若しくは動画の何れであってもよい。また、PDF(Portable Document Format)形式のドキュメントファイルや、Excel(登録商標)形式のワークシートファイル等が画像データベースに記憶されるものであってもよい。
【0023】
また、図2に示すように、画像表示装置10には、通話部36、撮像部38、及びセンサ部40が備えられている。この通話部36は、例えば、マイクロフォン及びスピーカを備えており、通信インターフェイス18乃至LAN42等を介しての他端末例えば他の画像表示装置10等との間の音声通話に際してマイクロフォンにより音声(音波)に対応する機械的な振動を電気信号(音声情報)に変換して通信対象へ送信すると共に、その通信対象から送られてくる音声情報(電気信号)に対応する音声をスピーカにより機械的な振動として出力させる制御を行う。
【0024】
撮像部38は、例えば、CCD(charge coupled device)等の撮像素子及びレンズを備え、そのレンズから入射される映像をCCDにより検知し、その映像を電子情報(映像データ)として取得する所謂デジタルカメラである。画像表示装置10による画像乃至映像の撮影に際しては、上記レンズから取り込まれCCDにより電子情報に変換された画像乃至映像が撮像され、記憶部16等に所定の画像ファイルの形式で記憶される。また、そのようにして撮像された映像は、通信インターフェイス18乃至LAN42等を介しての他端末例えば他の画像表示装置10等へ送信される。
【0025】
センサ部40は、例えば、画像表示装置10のフレーム(外枠)すなわちタッチパネルディスプレイ12以外の部分に設けられ、利用者の手部44(図4〜図10を参照)等による接触を検出する接触センサであり、例えば圧力センサや静電容量型センサ等が好適に用いられる。また、好適には、タッチパネルディスプレイ12の中央(例えば、その平面部における中心線)を基準として画像表示装置10の左右の何れに利用者の手部44等による接触があったのかを検出し得るように構成されている。
【0026】
図3は、前記制御部14に備えられた制御機能の要部を説明する機能ブロック線図である。この図3に示す手書き入力判定手段50は、タッチパネル24による軌跡情報の入力操作が実行中であるか否かを判定する。この軌跡情報とは、タッチパネル24に対する接触操作に応じて描画される手書き入力情報に相当するものである。すなわち、画像表示装置10においては、タッチパネル24の平面部に対してペン20や利用者の指44f(図4〜図8を参照)等の入力子を接触させた状態でその接触部位を移動させることにより、自由曲線や直線等を組み合わせた所謂手書き入力(フリードロー)が可能とされており、手書き入力判定手段50は、斯かる入力操作が行われているか否かを判定する。例えば、タッチパネル24に対して所定の入力子が接触させられている場合(入力制御部28によりその接触が検出されている場合)には、軌跡情報の入力操作が実行中であると判定する。
【0027】
また、手書き入力判定手段50は、好適には、タッチパネル24による軌跡情報の入力操作が実行中であると判定される場合において、その軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定する。例えば、センサ部40による検出結果に基づいて、タッチパネルディスプレイ12の中央を基準として画像表示装置10の左右の何れの部位を利用者の手部44が把持しているのかを判定し、画像表示装置10の左半分に対応する部位を把持していると判定される場合すなわち左手に対応する手部44l(図4〜図10を参照)で把持していると判定される場合には、軌跡情報の入力操作が右手入力によるものであると判定する一方、画像表示装置10の右半分に対応する部位を把持していると判定される場合すなわち右手に対応する手部44r(図4〜図10を参照)で把持していると判定される場合には、軌跡情報の入力操作が左手入力によるものであると判定する。また、画像表示装置10の縦横方向の変更すなわちタッチパネルディスプレイ12の中心回りの90°の回転が行われた場合には、右手による把持部位乃至左手による把持部位も変更されるため、上記判定は、好適には、斯かる画像表示装置10の縦横方向に基づいて実行される。このため、画像表示装置10には、重力方向を基準とする画像表示装置10の縦横方向を検出する重力センサが内蔵されていることが望ましい。
【0028】
音声通話制御手段52は、通話部36乃至通信インターフェイス18を介しての他端末例えば他の画像表示装置10との間の音声通話を制御する。すなわち、タッチパネル24等を介して他の画像表示装置10との間で音声通話を行うための所定の発信操作が行われた場合や、他の画像表示装置10からの着信がありタッチパネル24等を介して所定の受信操作が行われた場合、通信インターフェイス18乃至インターネット回線等を介してその通信対象との間で音声通話(電話通信)を成立させる。また、その音声通話に際して、通話部36に備えられたマイクロフォンにより入力される音声情報を通信インターフェイス18を介して通話相手へ送信すると共に、その通話相手から通信インターフェイス18を介して受信される音声情報を通話部36に備えられたスピーカにより出力させる。なお、この音声通話制御手段52による音声通話と、後述する同期表示制御手段56による同期表示制御とが併行して実行されることで、他の画像表示装置10等との間で各利用者の撮像画像(撮像部38により撮影された映像)を視認しつつ音声情報による通話を行う所謂テレビ電話(テレビ会議)が実現される。
【0029】
受信情報判定手段54は、手書き入力判定手段50の判定が肯定される場合において、通信インターフェイス18により受信される他端末例えば他の画像表示装置10からの情報が予め定められた条件を満たすか否かを判定する。好適には、他の画像表示装置10から音声通話制御手段52による音声通話に係る音声情報の受信があった場合に上記判定を肯定する。また、好適には、他の画像表示装置10との間で以下に詳述する同期表示制御手段56により画像を共有している場合において、斯かる他の画像表示装置10により共有に係る画像の更新があった場合に上記判定を肯定する。また、好適には、他の画像表示装置10から画像の送信例えば撮像部38により撮像された撮像画像の送信があった場合に上記判定を肯定する。
【0030】
同期表示制御手段56は、通信インターフェイス18を介しての他端末例えば他の画像表示装置10との間の同期表示制御を制御する。この同期表示制御とは、複数の画像表示装置10におけるタッチパネルディスプレイ12に共通の画像(以下、共有画像という)を表示させると共に、所定の画像表示装置10における入力操作によってその共有画像が変更(更新)された場合には、その共有画像を共有している複数の画像表示装置10それぞれのタッチパネルディスプレイ12に表示された共有画像を変更する(更新を反映させる)制御である。すなわち、同期表示制御手段56は、自機を含む複数の画像表示装置10の間で共有画像として設定された画像に関して、自機におけるタッチパネル24によりその共有画像を変更する操作が行われた場合には、その変更に係る情報を他の画像表示装置10へ送信する一方、他の画像表示装置10により上記共有画像の変更が行われてその変更に係る情報が受信された場合には、その変更に係る情報を自機の表示装置22に表示された共有画像に反映する制御を行う。
【0031】
また、同期表示制御手段56は、受信情報判定手段52の判定が肯定される場合、すなわち通信インターフェイス18により受信される他の画像表示装置10からの情報が予め定められた条件を満たすと判定される場合には、その判定に係る他の画像表示装置10からの情報に対応する、表示装置22の画面全体よりも小さい部分画像すなわちサムネイル画像62(図4〜図10を参照)を、その表示装置22の画面におけるタッチパネル24による軌跡情報の入力操作位置から所定の距離範囲内に(入力操作位置が画面内のどの部分に対応する位置であるかにかかわらず)表示させる。好適には、他の画像表示装置10から音声通話制御手段52による通話に係る音声情報の受信があった場合において、その音声情報の送信元である他の画像表示装置10において撮像されて通信インターフェイス18により受信される撮像画像を上記部分画像として表示させる。また、好適には、同期表示制御手段56により他の画像表示装置10との間で通信インターフェイス18を介して画像を共有している場合において、斯かる他の画像表示装置10により共有画像の更新があった場合には、その更新された共有画像を上記部分画像として表示させる。以下、この同期表示制御手段56による部分画像の表示制御について、図4〜図10等を用いて詳述する。
【0032】
図4は、画像表示装置10による同期表示制御について説明する図であり、タッチパネルディスプレイ12に所定の画像60が表示されると共に、他の画像表示装置10との同期に係る複数(図4では3つ)のサムネイル画像62a、62b、62c(以下、特に区別しない場合には単にサムネイル画像62という)が部分表示された様子を例示している。この図4に示す例では、利用者の左手に対応する手部44lにより画像表示装置10が把持され、右手に対応する手部44rの指44fを入力子として軌跡情報64の入力操作が行われている。すなわち、文字「2010」に対応する軌跡情報64の手書き入力を実行中である様子を示しており、「2010」の最後の「0」が途中まで描かれている状態である。ここで、画像60は複数の画像表示装置10との間の同期表示制御に係る共有画像として設定されており、その画像60に対応するサムネイル画像62aが表示装置22の画面における右側上部に表示されている。このサムネイル画像62aは、図4に示すようにタッチパネルディスプレイ12の画面全体に表示されている画像の縮小画像に相当するものであり、対象となる画像60を共有する複数の画像表示装置10それぞれの表示装置22に表示される。また、図4に示すように軌跡情報64の入力が行われている場合、各画像表示装置10の同期表示制御手段56によりその軌跡情報64がサムネイル画像62aにリアルタイムで反映される表示制御が実行される。
【0033】
図5は、図4に示す状態から他の画像表示装置10の音声通話制御手段52による音声情報の受信があった場合において、その画像表示装置10の撮像部38により撮像された撮像画像が送信されてきた様子を例示している。前述のように、他の画像表示装置10から音声通話制御手段52による通話に係る音声情報の受信があった場合には、同期表示制御手段56によりその音声情報の送信元である他の画像表示装置10において撮像されて通信インターフェイス18により受信された撮像画像がサムネイル画像62dとして表示装置22の画面における一部に表示される。図5に示す例においては、図4に示すサムネイル画像62aの代わりに(サムネイル画像62aが表示されていた位置に)新たにサムネイル画像62dが表示されている。
【0034】
図6は、図5に示すように他の画像表示装置10の撮像部38により撮像された撮像画像が受信され、サムネイル画像62dとして表示された場合において、そのサムネイル画像62dが軌跡情報64の入力操作位置付近にも追加表示される様子を例示している。この図6に示すように、同期表示制御手段56は、他の画像表示装置10からの受信情報に係るサムネイル画像62dを、表示装置22の画面におけるタッチパネル24による軌跡情報64の入力操作位置(タッチパネル24に対する入力子の接触部位の座標点)から所定の距離範囲内に表示させる。この所定距離範囲は、好適には、入力中である軌跡情報64の入力に影響を与えない(サムネイル画像62の表示によって軌跡情報64の入力を邪魔しない)範囲に相当する。図6においては、軌跡情報64に重ねてサムネイル画像62を表示させる例を示しているが、軌跡情報64に対応する部位を避けてサムネイル画像62を表示させるものであってもよい。また、図6に示すように、軌跡情報64の入力操作が右手入力によるものである場合には、タッチパネル24における入力子の接触部位に対して左上方にサムネイル画像62dを表示させる。
【0035】
図7及び図8は、軌跡情報64の入力操作位置付近に追加表示されたサムネイル画像62dがその入力操作位置の移動に伴い追従して移動させられる様子を例示している。なお、これら図7及び図8乃至後述する図9及び図10においては、説明の便宜上画面右側における他のサムネイル画像62を省略している。図7に示すように、表示装置22の画面端(図7では左端)に近い部位がタッチパネル24における入力子の接触部位である場合、サムネイル画像62dは画面によってそのサムネイル画像62dが切れない(すなわちサムネイル画像62d全体が画面内に表示される)限度において最も画面端寄り(図7では左寄り)の位置に表示させられる。そして、図8に示すように、タッチパネル24による軌跡情報66の入力操作に伴い、タッチパネル24に対する入力子の接触部位(表示領域全体に対する座標)が移動させられると、その移動に追従してサムネイル画像62dも移動表示させられる。
【0036】
同期表示制御手段56は、好適には、手書き入力判定手段50による判定結果に基づいて表示装置22の画面におけるサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御する。図9及び図10は、タッチパネル24による軌跡情報66の入力操作が右手入力及び左手入力の何れによるものであるかに応じたサムネイル画像62dの表示位置の違いを説明する図であり、図9が右手入力に、図10が左手入力にそれぞれ対応している。同期表示制御手段56は、軌跡情報66の入力操作が右手入力によるものである場合には、図9に示すように、タッチパネル24における入力子(図9ではペン20)の接触部位に対して左上方(例えば、接触部位の左上斜め45°方向にサムネイル画像62の中心が位置する部位)にサムネイル画像62dを表示させる。また、軌跡情報66の入力操作が左手入力によるものである場合には、図10に示すように、タッチパネル24における入力子(図10ではペン20)の接触部位に対して右上方(例えば、接触部位の右上斜め45°方向にサムネイル画像62の中心が位置する部位)にサムネイル画像62dを表示させる。このように、右手入力及び左手入力それぞれに対応してサムネイル画像62の表示位置を個別に制御することで、軌跡情報66の入力を行っている手部44によりサムネイル画像62が隠されるのを抑制することができる。
【0037】
また、同期表示制御手段56は、好適には、手書き入力判定手段50によりタッチパネル24に対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、受信情報判定手段54による判定に応じて表示されたサムネイル画像62の表示を停止する。例えば、タッチパネル24に対する入力子の接触が解除された(入力制御部28によりタッチパネル24に対する接触操作が検出されない状態となった)と判定されてから予め定められた規定時間(例えば、5〜10秒程度)が経過した場合には、軌跡情報64等の入力操作部位に追従表示されるサムネイル画像62の表示を停止し、表示装置22の画面から消去する。ここで、図4等に示すように画面右側に他のサムネイル画像62と共に表示されるサムネイル画像62に関しては継続的に表示させてもよいし、入力操作部位に追従表示されるサムネイル画像62と共に消去してもよい。
【0038】
図11は、画像表示装置10の制御部14による本実施例の画像表示制御(同期表示制御)の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0039】
先ず、ステップ(以下、ステップを省略する)S1において、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、他端末例えば他の画像表示装置10からの受信情報に変更があったか否か、すなわち通信インターフェイス18を介して他の画像表示装置10から新たな情報が追加で受信されたか否かが判断される。このS2の判断が肯定される場合には、SAにおいて、図12に示す他端末の情報変更検出制御が実行された後、S4以下の処理が実行されるが、S2の判断が否定される場合には、S3において、タッチパネル24による軌跡情報64等の入力操作が終了したか否かが判断される。このS3の判断が否定される場合には、S2以下の処理が実行されるが、S3の判断が肯定される場合には、S4において、タッチパネル24により入力された軌跡情報64が記憶部16等に記憶(保存)された後、本ルーチンが終了させられる。
【0040】
図12は、図11のSAにおける他端末の情報変更検出制御の要部を説明するフローチャートである。先ず、SA1において、他端末例えば他の画像表示装置10との間で共有している共有画像に関して、他端末によりその共有画像の変更(更新)があったか否かが判断される。このSA1の判断が肯定される場合には、SA3以下の処理が実行されるが、SA1の判断が否定される場合には、SA2において、他端末例えば他の画像表示装置10から音声通話に係る音声情報の受信があったか否かが判断される。このSA2の判断が否定される場合には、SA8以下の処理が実行されるが、SA2の判断が肯定される場合には、SA3において、他端末から受信された情報に対応するサムネイル画像62が生成される。例えば、共有画像の変更があった場合にはその共有画像の縮小画像としてのサムネイル画像62が、音声通話に係る音声情報の受信があった場合にはその音声情報の送信元である他端末において撮像されて通信インターフェイス18を介して受信される撮像画像に係るサムネイル画像62がそれぞれ生成される。次に、SA4において、タッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかが判断される。この判断は、好適には、センサ部40による検出結果に基づいて行われる。次に、SA5において、SA3にて生成されたサムネイル画像62を表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させると共に、その入力操作位置の移動に応じてサムネイル画像62を追従移動させる表示処理が実行される。次に、SA6において、タッチパネル24に対する入力子の接触部位が移動させられたか否かが判断される。このSA6の判断が肯定される場合には、SA5以下の処理が実行されるが、SA6の判断が否定される場合には、SA7において、書き込み終了すなわちタッチパネル24に対する接触操作が終了したと判定されてから所定時間が経過したか否かが判断される。このSA7の判断が否定される場合には、SA6以下の処理が実行されるが、SA7の判断が肯定される場合には、SA8において、SA5にて表示されたサムネイル画像62の表示が停止された(非表示とされた)後、図11に示すメインルーチンへ復帰させられる。
【0041】
以上、図11及び図12に示す制御において、S1、SA4、及びSA7が手書き入力判定手段50の動作乃至手書き入力判定過程に、S2、SA1、及びSA2が受信情報判定手段54の動作乃至受信情報判定過程に、S4、SA3、SA5、SA6、及びSA8が同期表示制御手段(表示制御手段)56乃至表示制御過程にそれぞれ対応する。
【0042】
このように、本実施例によれば、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かを判定する手書き入力判定手段50(S1、SA4、及びSA7)と、その手書き入力判定手段50の判定が肯定される場合において、通信部としての通信インターフェイス18により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段54(S2、SA1、及びSA2)と、その受信情報判定手段54の判定が肯定される場合には、通信インターフェイス18により受信される他端末からの情報に対応する、表示装置22の画面全体よりも小さい部分画像であるサムネイル画像62を、その表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる同期表示制御手段56(S4、SA3、SA5、SA6、及びSA8)とを、備えたものであることから、タッチパネル24により手書き入力が行われている際に、他の画像表示装置10等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示装置10を提供することができる。
【0043】
また、前記手書き入力判定手段50は、タッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、同期表示制御手段56は、その判定結果に基づいて表示装置22の画面におけるサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものであるため、タッチパネル24により手書き入力が行われている際に、右手入力及び左手入力それぞれに対応して利用者の視線が集中している部位に追従して受信情報に係るサムネイル画像62を表示させることができる。
【0044】
また、受信情報判定手段54は、他端末から音声情報の受信があった場合に前記判定を肯定するものであり、同期表示制御手段56は、その音声情報の送信元である他端末において撮像されて通信インターフェイス18により受信される撮像画像をサムネイル画像62として表示させるものであるため、タッチパネル24により手書き入力が行われている際に、他端末から例えばテレビ電話に係る音声情報が受信された場合に、その送信元の他端末における映像を確実に利用者に知覚させることができる。
【0045】
また、受信情報判定手段54は、他端末との間で通信インターフェイス18を介して画像を共有している場合において、他端末によりその画像の更新があった場合に前記判定を肯定するものであり、同期表示制御手段56は、その更新された画像をサムネイル画像62として表示させるものであるため、タッチパネル24により手書き入力が行われている際に、他端末における処理により共有画像が更新された場合に、その更新画像を確実に利用者に知覚させることができる。
【0046】
また、手書き入力判定手段50によりタッチパネル24に対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、同期表示制御手段56は、サムネイル画像62の表示を停止するものであるため、タッチパネル24による軌跡情報64等の入力操作が中止された際に、不要なサムネイル画像62が表示され続けるのを好適に抑制することができる。
【0047】
また、本実施例によれば、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かを判定する手書き入力判定過程(S1、SA4、及びSA7)と、その手書き入力判定過程の判定が肯定される場合において、通信インターフェイス18により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程(S2、SA1、及びSA2)と、その受信情報判定過程の判定が肯定される場合には、通信インターフェイス18により受信される他端末からの情報に対応する、表示装置22の画面全体よりも小さいサムネイル画像62を、その表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる表示制御過程(S4、SA3、SA5、SA6、及びSA8)とを、含むことから、タッチパネル24により手書き入力が行われている際に、他の画像表示装置10等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示方法を提供することができる。
【0048】
また、本実施例によれば、画像表示装置10における制御部14を、タッチパネル24による軌跡情報64等の入力操作が実行中であるか否かを判定する手書き入力判定手段50、その手書き入力判定手段50の判定が肯定される場合において、通信インターフェイス18により受信される他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段54、及びその受信情報判定手段54の判定が肯定される場合には、通信インターフェイス18により受信される他端末からの情報に対応する、表示装置22の画面全体よりも小さいサムネイル画像62を、その表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる同期表示制御手段56として機能させるものであることから、タッチパネル24により手書き入力が行われている際に、他の画像表示装置10等の他端末における処理により共有画像が切り替えられたり、画像情報をはじめとする情報が受信された場合に、利用者の視線が集中している手書き入力に係る部位に追従して受信情報に係るサムネイル画像62を表示させることで、利用者に確実にそのサムネイル画像62を知覚させることができる。すなわち、手書き入力に際しての円滑なコミュニケーションを実現する画像表示プログラムを提供することができる。
【0049】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【0050】
例えば、前述の実施例において、手書き入力判定手段50、音声通話制御手段52、受信情報判定手段54、及び同期表示制御手段56は、何れも制御部14に機能的に備えられたものであったが、その一部乃至全部が同等の機能を奏する個別の制御部として制御部14とは別体に備えられたものであってもよい。また、画像表示装置10においては、タッチパネルディスプレイ12の表示制御乃至入力情報処理を行う表示制御部26及び入力制御部28が制御部14とは別体の制御部として備えられたものであったが、これらはその一方乃至両方が制御部14に機能的に備えられたものであってもよい。
【0051】
また、前述の実施例において、受信情報判定手段54は、通信インターフェイス18により受信される他端末として、他の画像表示装置10からの情報が予め定められた条件を満たすか否かを判定するものであったが、例えば、画像表示装置10との間で共通のアプリケーションにより同期表示制御が可能とされたパーソナルコンピュータや携帯型情報端末等の他端末からの情報が予め定められた条件を満たすか否かを判定するものであってもよい。すなわち、同期表示制御手段56により表示制御されるサムネイル画像62は、必ずしも他の画像表示装置10から受信された情報に対応するものでなくともよい。
【0052】
また、前述の実施例では、センサ部40の検出結果に基づいて手書き入力判定手段50によりタッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかを判定し、その判定結果に基づいてサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御する態様について説明したが、例えば、画像表示装置10の起動時に右手入力及び左手入力の何れであるかをタッチパネル24等による入力操作により設定可能とし、その設定結果に基づいてサムネイル画像62の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものであってもよい。
【0053】
また、前述の実施例において、センサ部40は、画像表示装置10のフレームに設けられて利用者の手部44による接触を検出する圧力センサや静電容量型センサ等の接触センサであったが、例えば、入力子としてのペン20の画像表示装置10(タッチパネル24)に対する傾きを検出する重力センサ等であってもよく、その検出結果に対応するペン20の傾きに基づいて、タッチパネル24による軌跡情報64等の入力操作が右手入力及び左手入力の何れによるものであるかを判定可能とするものであってもよい。
【0054】
また、前述の実施例では、通信インターフェイス18により受信される他端末からの情報に対応する単一のサムネイル画像62を、表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させる態様について説明したが、例えば、他端末との共有に係る共有画像の更新と、他端末からの音声情報の検出とが同時に行われた場合等においては、それらの受信情報それぞれに対応する複数のサムネイル画像62を表示装置22の画面におけるタッチパネル24による軌跡情報64等の入力操作位置から所定の距離範囲内に表示させるものであってもよい。
【0055】
また、前述した図12の制御におけるSA5の対応画像表示処理について、入力子が移動する度にサムネイル画像62の表示位置が細かく変わると逆に確認が難しくなることが考えられる場合には、入力子の移動範囲が予め定められた所定範囲内ならばサムネイル画像62を動かさない等の処理を行うものであってもよい。また、手書き入力を行っている最中に、追従移動しているサムネイル画像62が更新されて送られてくる場合も考えられるため、追従移動しているサムネイル画像62に関して更新があった場合にはそのサムネイル画像62として更新画像を表示させる等の制御を行うものであってもよい。
【0056】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【0057】
10:画像表示装置、14:制御部(制御装置)、18:通信インターフェイス(通信部)、22:表示装置(表示部)、24:タッチパネル、50:手書き入力判定手段、54:受信情報判定手段、56:同期表示制御手段(表示制御手段)、60:画像、62:サムネイル画像(部分画像)、64、66:軌跡情報
【特許請求の範囲】
【請求項1】
画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置であって、
前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段と、
該手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段と、
該受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段と
を、備えたものであることを特徴とする画像表示装置。
【請求項2】
前記手書き入力判定手段は、前記タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、
前記表示制御手段は、該判定結果に基づいて前記表示部の画面における前記部分画像の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものである請求項1に記載の画像表示装置。
【請求項3】
前記受信情報判定手段は、前記他端末から音声情報の受信があった場合に前記判定を肯定するものであり、
前記表示制御手段は、該音声情報の送信元である他端末において撮像されて前記通信部により受信される撮像画像を前記部分画像として表示させるものである請求項1又は2に記載の画像表示装置。
【請求項4】
前記受信情報判定手段は、前記他端末との間で前記通信部を介して画像を共有している場合において、前記他端末により該画像の更新があった場合に前記判定を肯定するものであり、
前記表示制御手段は、該更新された画像を前記部分画像として表示させるものである請求項1又は2に記載の画像表示装置。
【請求項5】
前記手書き入力判定手段により前記タッチパネルに対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、前記表示制御手段は、前記部分画像の表示を停止するものである請求項1から4の何れか1項に記載の画像表示装置。
【請求項6】
画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における画像表示方法であって、
前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定過程と、
該手書き入力判定過程の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程と、
該受信情報判定過程の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御過程と
を、含むことを特徴とする画像表示方法。
【請求項7】
画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における制御装置を、
前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段、
該手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段、
及び、該受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段
として機能させるものであることを特徴とする画像表示プログラム。
【請求項1】
画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置であって、
前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段と、
該手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段と、
該受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段と
を、備えたものであることを特徴とする画像表示装置。
【請求項2】
前記手書き入力判定手段は、前記タッチパネルによる軌跡情報の入力操作が右手入力及び左手入力の何れによるものであるかを判定するものであり、
前記表示制御手段は、該判定結果に基づいて前記表示部の画面における前記部分画像の表示位置を、右手入力及び左手入力それぞれに対応して個別に制御するものである請求項1に記載の画像表示装置。
【請求項3】
前記受信情報判定手段は、前記他端末から音声情報の受信があった場合に前記判定を肯定するものであり、
前記表示制御手段は、該音声情報の送信元である他端末において撮像されて前記通信部により受信される撮像画像を前記部分画像として表示させるものである請求項1又は2に記載の画像表示装置。
【請求項4】
前記受信情報判定手段は、前記他端末との間で前記通信部を介して画像を共有している場合において、前記他端末により該画像の更新があった場合に前記判定を肯定するものであり、
前記表示制御手段は、該更新された画像を前記部分画像として表示させるものである請求項1又は2に記載の画像表示装置。
【請求項5】
前記手書き入力判定手段により前記タッチパネルに対する入力操作の実行が終了したと判定されてから予め定められた規定時間が経過した場合には、前記表示制御手段は、前記部分画像の表示を停止するものである請求項1から4の何れか1項に記載の画像表示装置。
【請求項6】
画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における画像表示方法であって、
前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定過程と、
該手書き入力判定過程の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定過程と、
該受信情報判定過程の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御過程と
を、含むことを特徴とする画像表示方法。
【請求項7】
画像を表示させる表示部と、該表示部の画面に対する接触操作に応じて手書き入力に相当する軌跡情報の入力を受け付けるタッチパネルと、他端末との間で情報の送受信を行う通信部とを、備えた画像表示装置における制御装置を、
前記タッチパネルによる軌跡情報の入力操作が実行中であるか否かを判定する手書き入力判定手段、
該手書き入力判定手段の判定が肯定される場合において、前記通信部により受信される前記他端末からの情報が予め定められた条件を満たすか否かを判定する受信情報判定手段、
及び、該受信情報判定手段の判定が肯定される場合には、前記通信部により受信される前記他端末からの情報に対応する、前記表示部の画面全体よりも小さい部分画像を、該表示部の画面における前記タッチパネルによる軌跡情報の入力操作位置から所定の距離範囲内に表示させる表示制御手段
として機能させるものであることを特徴とする画像表示プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−32961(P2012−32961A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2010−171120(P2010−171120)
【出願日】平成22年7月29日(2010.7.29)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願日】平成22年7月29日(2010.7.29)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
[ Back to top ]