情報入力表示システム、情報端末および表示装置
【課題】情報入力表示システムにおいて表示部を有効利用する。
【解決手段】PDA10と、HMD20とが接続されると、PDA10の表示部12には、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示され、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。すなわち、PDA10を主として文字等の入力装置として扱い、HMD20を主として画像や音声の出力装置として扱うように構成した。これにより、PDA10の表示部12およびHMD20の画像表示部22a,22bの双方を有効に利用できる。
【解決手段】PDA10と、HMD20とが接続されると、PDA10の表示部12には、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示され、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。すなわち、PDA10を主として文字等の入力装置として扱い、HMD20を主として画像や音声の出力装置として扱うように構成した。これにより、PDA10の表示部12およびHMD20の画像表示部22a,22bの双方を有効に利用できる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報入力表示システム、情報端末および表示装置に関する。
【背景技術】
【0002】
携帯型のコンテンツデータ再生装置として、たとえば、接続された装置からの画像を表示するヘッドマウントディスプレイが知られている(特許文献1参照)。また、スケジュール管理や辞書、電卓、メール送受信などのアプリケーションソフトウェアの処理を行う情報端末装置が知られている(特許文献2参照)。
【0003】
【特許文献1】特開2005−215393号公報
【特許文献2】特開2001−325044号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
情報端末装置では、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部の1画面に表示される。そのため、アプリケーションソフトウェアによるデータを表示する領域が狭くなってしまう。
【課題を解決するための手段】
【0005】
(1) 請求項1の発明による情報入力表示システムは、ユーザの操作入力を受け付ける入力部と、第1の表示部と、第1の表示部における表示を制御する第1の表示制御手段とを有する情報端末と、第2の表示部と、第2の表示部における表示を制御する第2の表示制御手段とを有する表示装置とを備え、情報端末と表示装置とが接続されたとき、第1の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう第1の表示部を制御し、第2の表示制御手段は、情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう第2の表示部を制御することを特徴とする。
(2) 請求項2の発明は、請求項1に記載の情報入力表示システムにおいて、第1の表示部は、ユーザの操作入力を受け付けるタッチパネルスイッチを有することを特徴とする。
(3) 請求項3の発明は、請求項1または請求項2に記載の情報入力表示システムにおいて、情報端末は、アプリケーションソフトウェアの処理を行う第1の処理部をさらに有し、第1の処理部は、ユーザの操作入力に応じてアプリケーションソフトウェアの処理を行い、第2の表示制御手段は、第1の処理部の処理結果に基づいて画面表示するよう第2の表示部を制御することを特徴とする。
(4) 請求項4の発明は、請求項1または請求項2に記載の情報入力表示システムにおいて、表示装置は、アプリケーションソフトウェアの処理を行う第2の処理部をさらに有し、第2の処理部は、ユーザの操作入力に応じてアプリケーションソフトウェアの処理を行い、第2の表示制御手段は、第2の処理部の処理結果に基づいて画面表示するよう第2の表示部を制御することを特徴とする。
(5) 請求項5の発明は、求項1〜4のいずれか一項に記載の情報入力表示システムにおいて、表示装置は、携帯表示装置であることを特徴とする。
(6) 請求項6の発明は、請求項5に記載の情報入力表示システムにおいて、表示装置は、ヘッドマウントディスプレイ装置であることを特徴とする。
(7) 請求項7の発明は、請求項6に記載の情報入力表示システムにおいて、ヘッドマウントディスプレイ装置は、第2の表示部がユーザの右目用および左目用にそれぞれ設けられている両眼タイプのヘッドマウントディスプレイ装置であり、ユーザがヘッドマウントディスプレイ装置を装着した際に、ユーザが視線を下方に移動させることによって外界を視認できるように、下方が開放されていることを特徴とする。
(8) 請求項8の発明による情報端末は、請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる情報端末であることを特徴とする。
(9) 請求項9の発明による表示装置は、請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる表示装置であることを特徴とする。
【発明の効果】
【0006】
本発明によれば、表示部を有効利用できる。
【発明を実施するための最良の形態】
【0007】
−−−第1の実施の形態−−−
図1〜6を参照して、本発明による情報入力表示システム、情報端末および表示装置の第1の実施の形態を説明する。図1は、本発明による情報入力表示システムで用いられる情報端末および表示装置の外観を示す図である。本発明による情報入力表示システムでは、携帯型の情報端末である携帯情報端末(以下、PDAと呼ぶ)10と、ヘッドマウントディスプレイ装置(以下、HMDと呼ぶ)20とを備えている。
【0008】
PDA10は、たとえば、スケジュール管理機能や、辞書機能、文書作成機能、電卓機能、コンテンツデータ再生機能、撮影機能、メール送受信機能、インターネット接続・閲覧機能などを有する携帯型の情報端末装置である。PDA10は、本体11の正面に設けられた表示部12と、各操作ボタン13と、マウスモード切替ボタン14と、外部モニタ接続部15とを備えている。表示部12は、タッチパネルスイッチを有する、タッチパネル式の表示装置であり、文字や画像などの表示の他、たとえば操作用のペン(PDA操作用ペン)19などによって表示部12の表面を軽く押圧したりなぞったりすることによって、操作入力が可能である。
【0009】
図2は、一例として、スケジュール管理用のアプリケーションソフトを起動させているときの表示部12の表示画面を示す図である。たとえば、スケジュール管理用のアプリケーションソフトを起動させると、表示部12には、スケジュールデータ表示領域121にスケジュールのデータであるスケジュールデータ表示121aが表示され、手書き文字入力領域122に、ユーザが表示部12の表面をなぞることで文字を入力するためのグラフィカルユーザインターフェースである手書き文字入力表示122aが表示される。このように、PDA10では、通常、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部12の1画面に同時に表示される。
【0010】
各操作ボタン13は、たとえば、表示部12に表示された画面のスクロール操作や特定のアプリケーションソフトウェアの起動など、使用頻度の高い機能などに割り当てられた操作ボタンである。マウスモード切替ボタン14は、PDA10をHMD20と接続した際に、表示部12を利用した操作入力の際の入力モードを切り替えるための操作ボタンである。マウスモード切替ボタン14による入力モードの切り替えについては後述する。外部モニタ接続部15は、接続ケーブル31を介して接続された外部の表示装置に描画用のデータである画像の信号(画像情報)や音声の信号などを出力するインターフェースである。
【0011】
HMD20は、ユーザの頭部に装着可能な携帯型の表示装置であり、装着部21と、画像表示部22a,22bと、画像表示部収納部23と、不図示のスピーカとを備えている。装着部21は、ユーザがHMD20を装着した際にユーザの頭部左右から挟み込んでHMD20をユーザの頭部に固定するように構成されている。画像表示部22a,22bは、入力された画像情報に基づいて画像を表示する装置であり、ユーザがHMD20を装着した際にユーザの左右それぞれの眼前に位置するようにそれぞれ配設されている。画像表示部収納部23は、画像表示部22が配設されて収納された部位である。
【0012】
画像表示部収納部23は、ユーザがHMD20を装着した際にユーザの眼前に位置するが、ユーザがHMD20を装着したままであってもユーザが視線を下方に移動させるだけで、手元で保持しているPDA10を視認できるように、ユーザの下方の視界を妨げないように構成されている。たとえば、画像表示部収納部23のうち、HMD20を装着したユーザの眼から斜め下方に位置する部位が開口しており、ユーザは当該開口部分を介して、手元で保持しているPDA10を視認できる。なお、当該開口部分にユーザの視界を妨げないように透明な板状の部材が設けられていてもよい。
【0013】
図3は、PDA10およびHMD20のブロック図である。PDA10は、中央演算部101と、ワークメモリ部102と、ストレージ部103と、入力部104と、表示制御部105と、表示部12と、外部モニタ接続部15と、接続検出部106とを備えている。中央演算部101は、ワークメモリ部102を作業エリアとして、ストレージ部103から読み込んだプログラムを起動して各種の処理を行って、PDA10の各部を制御する。ストレージ部103は、アプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータ、文書ファイルのデータなどを記憶する。
【0014】
入力部104は、各操作ボタン13やマウスモード切り替えボタン14の操作によって信号を出力するスイッチや、表示部12のタッチパネルスイッチなど、ユーザの操作入力に応じた信号を出力するスイッチ群から構成される。表示制御部105は、中央演算部101からの制御信号や画像情報に基づいて、表示部12における画像(映像)の表示を制御し、外部モニタ接続部15へ出力する画像情報を制御する。接続検出部106は、接続ケーブル31を介して外部モニタ接続部15へ外部の表示装置が接続されたか否かを検出する。
【0015】
HMD20は、画像表示部22a,22bと、表示制御部201と、画像入力部202とを備えている。表示制御部201は、画像入力部202で受信した画像情報に基づいて画像表示部22a,22bにおける画像(映像)の表示を制御する。画像入力部202は、たとえば、接続ケーブル31を介して接続された外部の機器からの画像情報を受信して表示制御部201へ出力する。
【0016】
このように構成される情報入力表示システムでは、PDA10は、HMD20と接続されていない場合には、従来の携帯情報端末と同様に、起動されたアプリケーションソフトウェアによる処理を行い、表示部12に処理の結果を表示する。たとえば、図2に示すように、スケジュール管理用のアプリケーションソフトウェアが起動されると、表示部12には、スケジュールデータ表示領域121にスケジュールデータ表示121aが表示され、手書き文字入力領域122に手書き文字入力表示122aが表示される。
【0017】
ユーザは、スケジュールデータ表示121aの任意の日にちの欄をPDA操作用ペン19で触れることでスケジュールの新規入力位置や修正すべき項目を選択できる。また、ユーザは、手書き文字入力表示122aが表示された表示部12の表面の所定の領域をなぞることで、たとえば選択された新規入力位置に対して文字や数字、記号などを入力できる。
【0018】
また、HMD20は、画像入力部202に外部の機器が接続されている場合、当該外部の機器から出力された画像情報や音声信号に基づいて、画像表示部22a,22bに画像を表示し、不図示のスピーカから音声を出力する。
【0019】
従来の情報入力表示システムでは、情報端末と表示装置とを接続しても、情報端末の表示部に表示される表示内容と、表示装置で表示される表示内容は同じ内容である。すなわち、情報端末では、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部の1画面に表示されるが、情報端末に接続された表示装置にも同じ画像が表示される。たとえば、スケジュール管理用のアプリケーションソフトを起動させた場合には、図2に示したスケジュールデータ表示121aと手書き文字入力表示122aとが、情報端末および表示装置のそれぞれの表示部に表示されることになる。そのため、情報端末と表示装置の双方で、アプリケーションソフトウェアによるデータを表示する領域が狭くなってしまう。また、アプリケーションソフトウェアによるデータは、表示装置に表示させれば、情報端末であえて表示する必要がない。また、表示装置では、表示させる必要のない入力のためのグラフィカルユーザインターフェースが表示されてしまう。
【0020】
そこで本実施の形態の情報入力表示システムでは、接続ケーブル31を介してPDA10の外部モニタ接続部15と、HMD20の画像入力部202とが接続されると、PDA10の表示部12には、図4に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。そして、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。以下、スケジュール管理用のアプリケーションソフトウェアが起動されている場合を例に説明する。
【0021】
具体的には、PDA10の中央演算部101は、外部の表示装置が外部モニタ接続部15へ接続されたことを示す信号(外部モニタ検出信号)を接続検出部106から受信すると、手書き文字入力表示122aを表示部12の表示領域の全てを利用して表示するための画像情報(入力専用画像情報)を生成する。また、中央演算部101は、スケジュールデータ表示121aをHMD20の画像表示部22a,22bの全ての表示領域を利用して表示するための画像情報(表示専用画像情報)を生成する。
【0022】
そして、中央演算部101は、入力専用画像情報に基づいて表示部12で表示を行うように表示制御部105を制御する。また、中央演算部101は、表示専用画像情報が外部モニタ接続部15へ出力されるよう表示制御部105を制御する。
【0023】
表示制御部105は、中央演算部101からの制御信号および入力専用画像情報に基づいて、手書き文字入力表示122aだけが表示されるように表示部12における表示を制御する。その結果、表示部12では、図4に示すように、手書き文字入力表示122aだけが、すなわち、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示される。
【0024】
また、図5に示すように、手書き文字入力領域122の他に、キーボード入力領域123を設け、キーボード入力表示123aを表示するようにしてもよい。キーボード入力表示123aの任意の文字が表示された部分をPDA操作用ペン19などによって押圧すると、当該文字が選択されて入力される。
【0025】
また、表示制御部105は、中央演算部101からの制御信号に基づいて、表示専用画像情報を外部モニタ接続部15へ出力する。HMD20の表示制御部201は、接続ケーブル31および画像入力部202を介して受信した表示専用画像情報に基づいて、画像表示部22a,22bにおける画像の表示を制御する。その結果、画像表示部22a,22bには、図4,5に示すように、スケジュールデータ表示121aだけが、すなわち、アプリケーションソフトウェアによるデータだけが表示される。
【0026】
−−−マウスモードについて−−−
従来の情報入力表示システムでは、情報端末と表示装置とが接続されても、アプリケーションソフトウェアによるデータが情報端末の表示部に表示された。そのため、アプリケーションソフトウェアによるデータが表示された領域のうちの任意の位置をPDA操作用ペン19などによって押圧することで、アプリケーションソフトウェアによるデータにおける文字等の入力位置を指示できた。すなわち、情報端末と表示装置とが接続されても、図2に示すように、表示部12にスケジュールデータ表示121aが表示されるため、スケジュールデータ表示121aが表示された表示部12の任意の位置をPDA操作用ペン19などによって押圧することで、文字等の入力開始位置を指示できた。
【0027】
しかし、本実施の形態の情報入力表示システムでは、PDA10とHMD20とが接続されると、アプリケーションソフトウェアによるデータがPDA10の表示部12に表示されないため、そのままではアプリケーションソフトウェアによるデータにおける文字等の入力位置を指示できない。
【0028】
そこで、本実施の形態の情報入力表示システムでは、マウスモード切替ボタン14が一度押圧操作されると、PDA10における操作入力の入力モードがマウスモードに切り替えられる。なお、図4,5では、PDA10における操作入力の入力モードが、文字等を入力するためのモード(文字入力モード)に設定されている状態を示している。
【0029】
入力モードがマウスモードに切り替えられると、図6に示すように、たとえばPDA操作用ペン19で表示部12をなぞった軌跡と同様の軌跡を描くように、HMD20の画像表示部22a,22bに表示されるポインタ221の位置が、画像表示部22a,22bに表示されたアプリケーションソフトウェアによるデータの表示画面上で移動する。マウスモード切替ボタン14がもう一度押圧操作されると、入力モードがマウスモードから再び文字入力モードに切り替えられる。
【0030】
具体的には、PDA10の中央演算部101は、マウスモード切替ボタン14が押圧されたことを示す信号を入力部104から受信すると、図6に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーンで表示するように、表示制御部105を制御する。また、中央演算部101は、表示部12がなぞられたことで入力部104(タッチパネルスイッチ)から出力される信号に基づいて、表示部12がなぞられた軌跡を算出する。そして、中央演算部101は、算出した軌跡に基づいて、アプリケーションソフトウェアによるデータの表示画面上に表示させるポインタを移動させるように、画像情報(表示専用画像情報)を生成して表示制御部105に出力する。
【0031】
また、中央演算部101は、表示画面上のポインタの表示位置に対応する位置(もしくは、文字の入力位置のようにあらかじめ定められた所定の位置にしか入力できない場合には、表示画面上のポインタの表示位置に対応する位置近傍であってアプリケーションソフトウェアによって定められる入力可能な位置)を文字等の入力の始点として設定する。この設定された文字等の入力始点のことを以下、文字入力開始始点と呼ぶ。
【0032】
表示制御部105は、中央演算部101からの制御信号および画像情報に基づいて、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーン表示するよう表示部12を制御する。表示制御部105は、中央演算部101で生成された画像情報(表示専用画像情報)を外部モニタ接続部15に出力する。
【0033】
その結果、表示部12では、図6に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースがハーフトーンで表示される。
【0034】
HMD20の表示制御部201は、接続ケーブル31および画像入力部202を介して受信した表示専用画像情報に基づいて、画像表示部22a,22bにおける画像の表示を制御する。その結果、画像表示部22a,22bには、図6に示すように、アプリケーションソフトウェアによるデータの表示画面と、当該画面上で移動するポインタ221とが表示される。
【0035】
マウスモードに設定されているときに、たとえばPDA操作用ペン19で表示部12をなぞることで、画像表示部22a,22bに表示されるポインタ221の位置を任意の位置に移動させた後、再びマウスモード切替ボタン14が押圧操作されて文字入力モードに設定されると、PDA10から文字等の入力が可能となる。この場合、PDA10から文字等が入力されると、入力された文字は、画像表示部22a,22bに表示されるアプリケーションソフトウェアによるデータの表示画面上で、上述した文字入力開始始点を始点として表示される。
【0036】
なお、上述の説明では、スケジュール管理用のアプリケーションソフトウェアが起動されている場合を例に説明したが、本発明はこれに限定されず、メモ機能や、画像のアルバム機能、動画再生機能、インターネット接続・閲覧機能などの各機能を実現するそれぞれのアプリケーションソフトウェアの実行に際して適用することができる。
【0037】
上述した第1の実施の形態の情報入力表示システムでは、次の作用効果を奏する。
(1) 接続ケーブル31を介してPDA10の外部モニタ接続部15と、HMD20の画像入力部202とが接続されると、PDA10の表示部12には、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。また、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。すなわち、PDA10を主として文字等の入力装置として扱い、HMD20を主として画像や音声の出力装置として扱うように構成した。これにより、PDA10では、表示部12の全面にわたって文字等の入力操作のために有効に利用できるので、入力操作が容易となる。また、HMD20では、画像表示部22a,22bの全面にわたってアプリケーションソフトウェアによるデータを表示できようになるので、表示できる情報量を増やすことができて利便性が向上する。また、画像表示部22a,22bに表示される文字や画像を大きくできるので視認性が向上する。すなわち、PDA10の表示部12およびHMD20の画像表示部22a,22bの双方を有効に利用できる。
【0038】
(2) アプリケーションソフトによる処理や、PDA10の表示部12およびHMD20の画像表示部22a,22bで表示される画像についての画像情報の生成処理をPDA10側で行うように構成した。これにより、アプリケーションソフトによる処理のために従来から高い処理能力を持つ中央演算部101を有効利用できるので、PDA10およびHMD20の双方のコストアップを抑制できる。
【0039】
(3) PDA10とHMD20とによって情報入力表示システムを構成した。PDA10およびHMD20のいずれもが携行容易であり、様々な場所やシチュエーションで情報入力表示システムを利用でき、利便性が向上する。
【0040】
(4) ユーザがHMD20を装着したままであってもユーザが視線を下方に移動させるだけで、手元に保持しているPDA10を視認できるように画像表示部収納部23を構成した。これにより、PDA10で文字等を入力する際にユーザが装着したHMD20を外したりずらしたりする必要がないので、利便性が高い。
【0041】
−−−第2の実施の形態−−−
図7,8を参照して、本発明による情報入力表示システム、情報端末および表示装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、アプリケーションソフトによる処理や、画像情報の生成処理をHMD20側で行うように構成した点で、第1の実施の形態と異なる。
【0042】
図7は、PDA10およびHMD20のブロック図である。PDA10は、中央演算部101と、ワークメモリ部102と、ストレージ部103と、入力部104と、表示制御部105と、表示部12と、接続検出部106と、通信I/F部107とを備えている。通信I/F部107は、たとえば接続ケーブル31を介して接続された外部の機器との通信を行うためのインターフェースである。なお、接続検出部106は、たとえば接続ケーブル31を介して通信I/F部107へ外部の機器(HMD20)が接続されたか否かを検出する。
【0043】
HMD20は、画像表示部22a,22bと、表示制御部201と、中央演算部203と、入力部204と、ワークメモリ部205と、ストレージ部206と、通信I/F部207と、接続検出部208とを備えている。中央演算部203は、ワークメモリ部205を作業エリアとしてストレージ部206から読み込んだプログラムを起動して各種の処理を行って、HMD20の各部を制御する。入力部204は、たとえば、再生するオーディオ/ビジュアルコンテンツの選択操作や、再生したオーディオ/ビジュアルコンテンツの停止、巻き戻し、早送り等の指示操作、再生音量の調整操作など、各種の操作を行う不図示の操作部材の操作に応じて信号を出力するスイッチ類である。ストレージ部206は、たとえば動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータなどを記憶する。
【0044】
通信I/F部207は、たとえば接続ケーブル31を介して接続された外部の機器との通信を行うためのインターフェースである。接続検出部208は、たとえば接続ケーブル31を介して通信I/F部207へ外部の機器(PDA10)が接続されたか否かを検出する。
【0045】
本実施の形態の情報入力表示システムでは、接続ケーブル31を介してPDA10の通信I/F部107と、HMD20の通信I/F部207とが接続されると、PDA10の表示部12には、ユーザによる操作入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。そして、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータ(たとえば再生されたオーディオ/ビジュアルコンテンツの動画)だけが表示されるように構成した。すなわち、HMD20の操作入力をPDA10で入力できるように構成した。以下、ストレージ部206に格納されたオーディオ/ビジュアルコンテンツのデータを再生する場合を例に説明する。
【0046】
具体的には、HMD20の中央演算部203は、通信I/F部207へPDA10が接続されたことを示す信号(外部機器検出信号)を接続検出部208から受信すると、図8に示すような、PDA10の表示部12に表示させる、HMD20の操作入力のためのグラフィカルユーザインターフェース125の画像情報を生成する。また、中央演算部203は、後述する検出位置情報を生成する。そして、中央演算部203は、生成した画像情報および検出位置情報を表示部表示情報として通信I/F部207を介してPDA10へ出力する。なお、PDA10へ表示部表示情報を出力する際に、再生に係るコンテンツのタイトル名(たとえば「日米野球対決」)の情報を同時に出力するようにしてもよい。
【0047】
ここで、検出位置情報について説明する。検出位置情報とは、グラフィカルユーザインターフェース125が表示された表示部12における操作位置(タッチパネルスイッチの押圧位置)と、コンテンツデータの再生における操作の内容(たとえば、再生、一時停止、巻き戻し、早送り等)とを関連づける情報である。たとえば図8に示すように、表示部12で、コンテンツの再生開始を指示するための再生指示アイコン125aの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの再生開始が指示されたものと判断するように、検出位置情報は構成されている。
【0048】
同様に、たとえば、表示部12で、コンテンツの再生の一時停止を指示するための一時停止指示アイコン125bの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの再生の一時停止が指示されたものと判断するように、検出位置情報は構成されている。たとえば、表示部12で、コンテンツの巻き戻しを指示するための巻き戻し指示アイコン125cの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの巻き戻しが指示されたものと判断するように、検出位置情報は構成されている。たとえば、表示部12で、コンテンツの早送りを指示するための早送り指示アイコン125dの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの早送りが指示されたものと判断するように、検出位置情報は構成されている。
【0049】
通信I/F部107を介して表示部表示情報を受信したPDA10では、中央演算部101は、受信した画像情報に基づいて、グラフィカルユーザインターフェース125が表示部12に表示されるよう表示制御部105を制御する。表示制御部105は、グラフィカルユーザインターフェース125を表示するように表示部12を制御する。その結果、図8に示すように、表示部12にはグラフィカルユーザインターフェース125が表示される。なお、通信I/F部107を介して受信した、再生に係るコンテンツのタイトル名の情報に基づいて、図8に示すように、コンテンツのタイトル名(たとえば「日米野球対決」)を表示部12に表示するようにしてもよい。
【0050】
また、中央演算部101は、タッチパネルスイッチである表示部12(すなわち入力部104)からの操作信号を受信すると、表示部12上の操作位置(押圧位置)の情報と、上述した検出位置情報とに基づいて、どのような指示がなされたのかを判断する。中央演算部101は、たとえば、コンテンツの再生開始が指示されたものと判断すると再生開始信号を、再生の一時停止が指示されたものと判断すると一時停止信号を、巻き戻しが指示されたものと判断すると巻き戻し信号を、早送りが指示されたものと判断すると早送り信号をそれぞれユーザ操作情報として通信I/F部107を介してHMD20へ出力する。
【0051】
HMD20の中央演算部203は、通信I/F部207を介して受信したユーザ操作情報に基づいて、コンテンツのデータの再生や一時停止、巻き戻し、早送り等の処理を行い、画像情報を生成して表示制御部201に出力する。表示制御部201は、中央演算部203で生成された画像情報に基づいて画像表示部22a,22bにおける画像(映像)の表示を制御する。その結果、画像表示部22a,22bにおける画像(映像)の表示において、ユーザが表示部12上で操作した操作内容が反映される。
【0052】
すなわち、ユーザが表示部12に表示された再生指示アイコン125aの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)の再生が開始される。同様に、ユーザが一時停止指示アイコン125bの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)の再生が一時停止される。ユーザが巻き戻し指示アイコン125cの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)が巻き戻される。ユーザが早送り指示アイコン125dの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)が早送りされる。
【0053】
なお、上述の説明では、ストレージ部206に格納されたオーディオ/ビジュアルコンテンツのデータを再生する場合を例に説明したが、本発明はこれに限定されず、メモ機能や、画像のアルバム機能、インターネット接続・閲覧機能などの各機能を実現するそれぞれのアプリケーションソフトウェアの実行に際して適用することができる。
【0054】
上述した第2の実施の形態の情報入力表示システムでは、第1の実施の形態の作用効果に加えて次の作用効果を奏する。
(1) アプリケーションソフトによる処理や、PDA10の表示部12およびHMD20の画像表示部22a,22bで表示される画像情報の生成処理をHMD20側で行うように構成した。これにより、たとえば、アプリケーションソフトによる動画の再生処理のために従来から高い画像処理能力を持つ中央演算部203を有効利用でき、HMD20で再生中のデータに相応しい情報表示を、PDA10に表示することが可能となる。
【0055】
(2) HMD20の操作入力をPDA10に入力できるように構成したので、HMD20の操作性が向上する。
【0056】
−−−変形例−−−
(1) 上述の説明では、PDA10とHMD20とを接続ケーブル31で接続するように構成しているが、本発明はこれに限定されない。たとえば、赤外線を利用した無線通信や、電波を利用した無線通信によってPDA10とHMD20とを接続するように構成してもよい。
【0057】
(2) 上述の説明では、マウスモードに切り替えられると、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーンで表示するように構成したが、本発明はこれに限定されない。たとえば、マウスモードに切り替えられると、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースの表示を中止するように構成してもよい。
【0058】
(3) 上述した第2の実施の形態では、PDA10をHMD20の操作部材の一部として扱っているが、たとえば、PDA10に加速度センサなどを設けて、PDA10自体の動きを検出することで、アプリケーションソフトウェアにおける操作を行うようにしてもよい。たとえば、ゲームのアプリケーションソフトウェアを起動させた際に、PDA10自体を動かすことでそのゲームにおける操作を行うことができるようにしてもよい。
【0059】
(4) 上述の説明では、情報入力表示システムにおける表示装置としてHMD20を例に挙げて説明しているが、HMD20に限らず、画像(映像)を表示可能な表示部を有する携行可能な様々な装置(携帯表示装置)であってもよい。たとえば、PDA10に、携帯型のモニタ装置やテレビ受像機を接続してもよく、液晶パネルなどの表示装置を有する携帯電話機を接続してもよい。また、上述したPDA10に他のPDAを接続してもよい。
【0060】
(5) 上述した第2の実施の形態のHMD20では、動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータなどを内蔵したストレージ部206に格納するように構成しているが、本発明はこれに限定されない。たとえば、外部のストレージ装置をHMD20に接続し、当該外部のストレージ装置に格納された動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータなどを利用するように構成してもよい。
【0061】
(6) 上述した第2の実施の形態では、HMD20が画像情報および検出位置情報を表示部表示情報としてPDA10に出力し、PDA10からユーザ操作情報を受信することでコンテンツのデータの再生や一時停止、巻き戻し、早送り等の処理を行うように構成しているが、本発明はこれに限定されない。たとえば、HMD20がPDA10に表示部表示情報だけを送信し、PDA10から、表示部12が押圧された位置(座標)の情報を受信するように構成してもよい。そして、HMD20の中央演算部203が、PDA10から受信した、表示部12が押圧された位置(座標)の情報に基づいて、どのような指示(たとえば、再生、一時停止、巻き戻し、早送り等)がなされたのかを判断するように構成してもよい。
【0062】
(7) 上述の説明では、HMD20にはユーザの両眼にそれぞれ対応するように、2つの画像表示部22a,22bが設けられているが、すなわち、HMD20は両眼タイプのヘッドマウントディスプレイ装置であるが、画像表示部が1つである片眼タイプのヘッドマウントディスプレイ装置であってもよい。
【0063】
(8) 上述の説明では、PDA10とHMD20とが接続されると、PDA10の表示部12のタッチパネルスイッチを利用して、HMD20に表示されるアプリケーションソフトウェアによるデータ上での入力操作を可能とするように構成したが、本発明はこれに限定されない。表示部12のタッチパネルスイッチの利用は必須ではなく、各操作ボタン13やマウスモード切り替えボタン14の操作によって、HMD20に表示されるアプリケーションソフトウェアによるデータ上での入力操作を可能とするように構成してもよい。
(9) 上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
【0064】
なお、本発明は、上述した実施の形態のものに何ら限定されず、ユーザの操作入力を受け付ける入力部と、第1の表示部と、第1の表示部における表示を制御する第1の表示制御手段とを有する情報端末と、第2の表示部と、第2の表示部における表示を制御する第2の表示制御手段とを有する表示装置とを備え、情報端末と表示装置とが接続されたとき、第1の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう第1の表示部を制御し、第2の表示制御手段は、情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう第2の表示部を制御することを特徴とする各種構造の情報入力表示システムや、当該情報入力表示システムに用いられる情報端末や表示装置を含むものである。
【図面の簡単な説明】
【0065】
【図1】本発明による情報入力表示システムで用いられる情報端末および表示装置の外観を示す図である。
【図2】一例として、スケジュール管理用のアプリケーションソフトを起動させているときの表示部12の表示画面を示す図である。
【図3】PDA10およびHMD20のブロック図である。
【図4】PDA10とHMD20とを接続したときの表示部12および画像表示部22a,22bに表示される画像の一例を示す図である。
【図5】PDA10とHMD20とを接続したときの表示部12および画像表示部22a,22bに表示される画像の一例を示す図である。
【図6】マウスモードについて説明する図である。
【図7】第2の実施の形態におけるPDA10およびHMD20のブロック図である。
【図8】第2の実施の形態において、PDA10とHMD20とを接続したときの表示部12および画像表示部22a,22bに表示される画像の一例を示す図である。
【符号の説明】
【0066】
10 携帯情報端末(PDA) 12 表示部
14 マウスモード切り替えボタン
20 ヘッドマウントディスプレイ装置(HMD)
22a,22b 画像表示部 23 画像表示部収納部
101 中央演算部 104 入力部
105 表示制御部 121a スケジュールデータ表示
122a 手書き文字入力表示 201 表示制御部
203 中央演算部 204 入力部
【技術分野】
【0001】
本発明は、情報入力表示システム、情報端末および表示装置に関する。
【背景技術】
【0002】
携帯型のコンテンツデータ再生装置として、たとえば、接続された装置からの画像を表示するヘッドマウントディスプレイが知られている(特許文献1参照)。また、スケジュール管理や辞書、電卓、メール送受信などのアプリケーションソフトウェアの処理を行う情報端末装置が知られている(特許文献2参照)。
【0003】
【特許文献1】特開2005−215393号公報
【特許文献2】特開2001−325044号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
情報端末装置では、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部の1画面に表示される。そのため、アプリケーションソフトウェアによるデータを表示する領域が狭くなってしまう。
【課題を解決するための手段】
【0005】
(1) 請求項1の発明による情報入力表示システムは、ユーザの操作入力を受け付ける入力部と、第1の表示部と、第1の表示部における表示を制御する第1の表示制御手段とを有する情報端末と、第2の表示部と、第2の表示部における表示を制御する第2の表示制御手段とを有する表示装置とを備え、情報端末と表示装置とが接続されたとき、第1の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう第1の表示部を制御し、第2の表示制御手段は、情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう第2の表示部を制御することを特徴とする。
(2) 請求項2の発明は、請求項1に記載の情報入力表示システムにおいて、第1の表示部は、ユーザの操作入力を受け付けるタッチパネルスイッチを有することを特徴とする。
(3) 請求項3の発明は、請求項1または請求項2に記載の情報入力表示システムにおいて、情報端末は、アプリケーションソフトウェアの処理を行う第1の処理部をさらに有し、第1の処理部は、ユーザの操作入力に応じてアプリケーションソフトウェアの処理を行い、第2の表示制御手段は、第1の処理部の処理結果に基づいて画面表示するよう第2の表示部を制御することを特徴とする。
(4) 請求項4の発明は、請求項1または請求項2に記載の情報入力表示システムにおいて、表示装置は、アプリケーションソフトウェアの処理を行う第2の処理部をさらに有し、第2の処理部は、ユーザの操作入力に応じてアプリケーションソフトウェアの処理を行い、第2の表示制御手段は、第2の処理部の処理結果に基づいて画面表示するよう第2の表示部を制御することを特徴とする。
(5) 請求項5の発明は、求項1〜4のいずれか一項に記載の情報入力表示システムにおいて、表示装置は、携帯表示装置であることを特徴とする。
(6) 請求項6の発明は、請求項5に記載の情報入力表示システムにおいて、表示装置は、ヘッドマウントディスプレイ装置であることを特徴とする。
(7) 請求項7の発明は、請求項6に記載の情報入力表示システムにおいて、ヘッドマウントディスプレイ装置は、第2の表示部がユーザの右目用および左目用にそれぞれ設けられている両眼タイプのヘッドマウントディスプレイ装置であり、ユーザがヘッドマウントディスプレイ装置を装着した際に、ユーザが視線を下方に移動させることによって外界を視認できるように、下方が開放されていることを特徴とする。
(8) 請求項8の発明による情報端末は、請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる情報端末であることを特徴とする。
(9) 請求項9の発明による表示装置は、請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる表示装置であることを特徴とする。
【発明の効果】
【0006】
本発明によれば、表示部を有効利用できる。
【発明を実施するための最良の形態】
【0007】
−−−第1の実施の形態−−−
図1〜6を参照して、本発明による情報入力表示システム、情報端末および表示装置の第1の実施の形態を説明する。図1は、本発明による情報入力表示システムで用いられる情報端末および表示装置の外観を示す図である。本発明による情報入力表示システムでは、携帯型の情報端末である携帯情報端末(以下、PDAと呼ぶ)10と、ヘッドマウントディスプレイ装置(以下、HMDと呼ぶ)20とを備えている。
【0008】
PDA10は、たとえば、スケジュール管理機能や、辞書機能、文書作成機能、電卓機能、コンテンツデータ再生機能、撮影機能、メール送受信機能、インターネット接続・閲覧機能などを有する携帯型の情報端末装置である。PDA10は、本体11の正面に設けられた表示部12と、各操作ボタン13と、マウスモード切替ボタン14と、外部モニタ接続部15とを備えている。表示部12は、タッチパネルスイッチを有する、タッチパネル式の表示装置であり、文字や画像などの表示の他、たとえば操作用のペン(PDA操作用ペン)19などによって表示部12の表面を軽く押圧したりなぞったりすることによって、操作入力が可能である。
【0009】
図2は、一例として、スケジュール管理用のアプリケーションソフトを起動させているときの表示部12の表示画面を示す図である。たとえば、スケジュール管理用のアプリケーションソフトを起動させると、表示部12には、スケジュールデータ表示領域121にスケジュールのデータであるスケジュールデータ表示121aが表示され、手書き文字入力領域122に、ユーザが表示部12の表面をなぞることで文字を入力するためのグラフィカルユーザインターフェースである手書き文字入力表示122aが表示される。このように、PDA10では、通常、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部12の1画面に同時に表示される。
【0010】
各操作ボタン13は、たとえば、表示部12に表示された画面のスクロール操作や特定のアプリケーションソフトウェアの起動など、使用頻度の高い機能などに割り当てられた操作ボタンである。マウスモード切替ボタン14は、PDA10をHMD20と接続した際に、表示部12を利用した操作入力の際の入力モードを切り替えるための操作ボタンである。マウスモード切替ボタン14による入力モードの切り替えについては後述する。外部モニタ接続部15は、接続ケーブル31を介して接続された外部の表示装置に描画用のデータである画像の信号(画像情報)や音声の信号などを出力するインターフェースである。
【0011】
HMD20は、ユーザの頭部に装着可能な携帯型の表示装置であり、装着部21と、画像表示部22a,22bと、画像表示部収納部23と、不図示のスピーカとを備えている。装着部21は、ユーザがHMD20を装着した際にユーザの頭部左右から挟み込んでHMD20をユーザの頭部に固定するように構成されている。画像表示部22a,22bは、入力された画像情報に基づいて画像を表示する装置であり、ユーザがHMD20を装着した際にユーザの左右それぞれの眼前に位置するようにそれぞれ配設されている。画像表示部収納部23は、画像表示部22が配設されて収納された部位である。
【0012】
画像表示部収納部23は、ユーザがHMD20を装着した際にユーザの眼前に位置するが、ユーザがHMD20を装着したままであってもユーザが視線を下方に移動させるだけで、手元で保持しているPDA10を視認できるように、ユーザの下方の視界を妨げないように構成されている。たとえば、画像表示部収納部23のうち、HMD20を装着したユーザの眼から斜め下方に位置する部位が開口しており、ユーザは当該開口部分を介して、手元で保持しているPDA10を視認できる。なお、当該開口部分にユーザの視界を妨げないように透明な板状の部材が設けられていてもよい。
【0013】
図3は、PDA10およびHMD20のブロック図である。PDA10は、中央演算部101と、ワークメモリ部102と、ストレージ部103と、入力部104と、表示制御部105と、表示部12と、外部モニタ接続部15と、接続検出部106とを備えている。中央演算部101は、ワークメモリ部102を作業エリアとして、ストレージ部103から読み込んだプログラムを起動して各種の処理を行って、PDA10の各部を制御する。ストレージ部103は、アプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータ、文書ファイルのデータなどを記憶する。
【0014】
入力部104は、各操作ボタン13やマウスモード切り替えボタン14の操作によって信号を出力するスイッチや、表示部12のタッチパネルスイッチなど、ユーザの操作入力に応じた信号を出力するスイッチ群から構成される。表示制御部105は、中央演算部101からの制御信号や画像情報に基づいて、表示部12における画像(映像)の表示を制御し、外部モニタ接続部15へ出力する画像情報を制御する。接続検出部106は、接続ケーブル31を介して外部モニタ接続部15へ外部の表示装置が接続されたか否かを検出する。
【0015】
HMD20は、画像表示部22a,22bと、表示制御部201と、画像入力部202とを備えている。表示制御部201は、画像入力部202で受信した画像情報に基づいて画像表示部22a,22bにおける画像(映像)の表示を制御する。画像入力部202は、たとえば、接続ケーブル31を介して接続された外部の機器からの画像情報を受信して表示制御部201へ出力する。
【0016】
このように構成される情報入力表示システムでは、PDA10は、HMD20と接続されていない場合には、従来の携帯情報端末と同様に、起動されたアプリケーションソフトウェアによる処理を行い、表示部12に処理の結果を表示する。たとえば、図2に示すように、スケジュール管理用のアプリケーションソフトウェアが起動されると、表示部12には、スケジュールデータ表示領域121にスケジュールデータ表示121aが表示され、手書き文字入力領域122に手書き文字入力表示122aが表示される。
【0017】
ユーザは、スケジュールデータ表示121aの任意の日にちの欄をPDA操作用ペン19で触れることでスケジュールの新規入力位置や修正すべき項目を選択できる。また、ユーザは、手書き文字入力表示122aが表示された表示部12の表面の所定の領域をなぞることで、たとえば選択された新規入力位置に対して文字や数字、記号などを入力できる。
【0018】
また、HMD20は、画像入力部202に外部の機器が接続されている場合、当該外部の機器から出力された画像情報や音声信号に基づいて、画像表示部22a,22bに画像を表示し、不図示のスピーカから音声を出力する。
【0019】
従来の情報入力表示システムでは、情報端末と表示装置とを接続しても、情報端末の表示部に表示される表示内容と、表示装置で表示される表示内容は同じ内容である。すなわち、情報端末では、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部の1画面に表示されるが、情報端末に接続された表示装置にも同じ画像が表示される。たとえば、スケジュール管理用のアプリケーションソフトを起動させた場合には、図2に示したスケジュールデータ表示121aと手書き文字入力表示122aとが、情報端末および表示装置のそれぞれの表示部に表示されることになる。そのため、情報端末と表示装置の双方で、アプリケーションソフトウェアによるデータを表示する領域が狭くなってしまう。また、アプリケーションソフトウェアによるデータは、表示装置に表示させれば、情報端末であえて表示する必要がない。また、表示装置では、表示させる必要のない入力のためのグラフィカルユーザインターフェースが表示されてしまう。
【0020】
そこで本実施の形態の情報入力表示システムでは、接続ケーブル31を介してPDA10の外部モニタ接続部15と、HMD20の画像入力部202とが接続されると、PDA10の表示部12には、図4に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。そして、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。以下、スケジュール管理用のアプリケーションソフトウェアが起動されている場合を例に説明する。
【0021】
具体的には、PDA10の中央演算部101は、外部の表示装置が外部モニタ接続部15へ接続されたことを示す信号(外部モニタ検出信号)を接続検出部106から受信すると、手書き文字入力表示122aを表示部12の表示領域の全てを利用して表示するための画像情報(入力専用画像情報)を生成する。また、中央演算部101は、スケジュールデータ表示121aをHMD20の画像表示部22a,22bの全ての表示領域を利用して表示するための画像情報(表示専用画像情報)を生成する。
【0022】
そして、中央演算部101は、入力専用画像情報に基づいて表示部12で表示を行うように表示制御部105を制御する。また、中央演算部101は、表示専用画像情報が外部モニタ接続部15へ出力されるよう表示制御部105を制御する。
【0023】
表示制御部105は、中央演算部101からの制御信号および入力専用画像情報に基づいて、手書き文字入力表示122aだけが表示されるように表示部12における表示を制御する。その結果、表示部12では、図4に示すように、手書き文字入力表示122aだけが、すなわち、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示される。
【0024】
また、図5に示すように、手書き文字入力領域122の他に、キーボード入力領域123を設け、キーボード入力表示123aを表示するようにしてもよい。キーボード入力表示123aの任意の文字が表示された部分をPDA操作用ペン19などによって押圧すると、当該文字が選択されて入力される。
【0025】
また、表示制御部105は、中央演算部101からの制御信号に基づいて、表示専用画像情報を外部モニタ接続部15へ出力する。HMD20の表示制御部201は、接続ケーブル31および画像入力部202を介して受信した表示専用画像情報に基づいて、画像表示部22a,22bにおける画像の表示を制御する。その結果、画像表示部22a,22bには、図4,5に示すように、スケジュールデータ表示121aだけが、すなわち、アプリケーションソフトウェアによるデータだけが表示される。
【0026】
−−−マウスモードについて−−−
従来の情報入力表示システムでは、情報端末と表示装置とが接続されても、アプリケーションソフトウェアによるデータが情報端末の表示部に表示された。そのため、アプリケーションソフトウェアによるデータが表示された領域のうちの任意の位置をPDA操作用ペン19などによって押圧することで、アプリケーションソフトウェアによるデータにおける文字等の入力位置を指示できた。すなわち、情報端末と表示装置とが接続されても、図2に示すように、表示部12にスケジュールデータ表示121aが表示されるため、スケジュールデータ表示121aが表示された表示部12の任意の位置をPDA操作用ペン19などによって押圧することで、文字等の入力開始位置を指示できた。
【0027】
しかし、本実施の形態の情報入力表示システムでは、PDA10とHMD20とが接続されると、アプリケーションソフトウェアによるデータがPDA10の表示部12に表示されないため、そのままではアプリケーションソフトウェアによるデータにおける文字等の入力位置を指示できない。
【0028】
そこで、本実施の形態の情報入力表示システムでは、マウスモード切替ボタン14が一度押圧操作されると、PDA10における操作入力の入力モードがマウスモードに切り替えられる。なお、図4,5では、PDA10における操作入力の入力モードが、文字等を入力するためのモード(文字入力モード)に設定されている状態を示している。
【0029】
入力モードがマウスモードに切り替えられると、図6に示すように、たとえばPDA操作用ペン19で表示部12をなぞった軌跡と同様の軌跡を描くように、HMD20の画像表示部22a,22bに表示されるポインタ221の位置が、画像表示部22a,22bに表示されたアプリケーションソフトウェアによるデータの表示画面上で移動する。マウスモード切替ボタン14がもう一度押圧操作されると、入力モードがマウスモードから再び文字入力モードに切り替えられる。
【0030】
具体的には、PDA10の中央演算部101は、マウスモード切替ボタン14が押圧されたことを示す信号を入力部104から受信すると、図6に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーンで表示するように、表示制御部105を制御する。また、中央演算部101は、表示部12がなぞられたことで入力部104(タッチパネルスイッチ)から出力される信号に基づいて、表示部12がなぞられた軌跡を算出する。そして、中央演算部101は、算出した軌跡に基づいて、アプリケーションソフトウェアによるデータの表示画面上に表示させるポインタを移動させるように、画像情報(表示専用画像情報)を生成して表示制御部105に出力する。
【0031】
また、中央演算部101は、表示画面上のポインタの表示位置に対応する位置(もしくは、文字の入力位置のようにあらかじめ定められた所定の位置にしか入力できない場合には、表示画面上のポインタの表示位置に対応する位置近傍であってアプリケーションソフトウェアによって定められる入力可能な位置)を文字等の入力の始点として設定する。この設定された文字等の入力始点のことを以下、文字入力開始始点と呼ぶ。
【0032】
表示制御部105は、中央演算部101からの制御信号および画像情報に基づいて、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーン表示するよう表示部12を制御する。表示制御部105は、中央演算部101で生成された画像情報(表示専用画像情報)を外部モニタ接続部15に出力する。
【0033】
その結果、表示部12では、図6に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースがハーフトーンで表示される。
【0034】
HMD20の表示制御部201は、接続ケーブル31および画像入力部202を介して受信した表示専用画像情報に基づいて、画像表示部22a,22bにおける画像の表示を制御する。その結果、画像表示部22a,22bには、図6に示すように、アプリケーションソフトウェアによるデータの表示画面と、当該画面上で移動するポインタ221とが表示される。
【0035】
マウスモードに設定されているときに、たとえばPDA操作用ペン19で表示部12をなぞることで、画像表示部22a,22bに表示されるポインタ221の位置を任意の位置に移動させた後、再びマウスモード切替ボタン14が押圧操作されて文字入力モードに設定されると、PDA10から文字等の入力が可能となる。この場合、PDA10から文字等が入力されると、入力された文字は、画像表示部22a,22bに表示されるアプリケーションソフトウェアによるデータの表示画面上で、上述した文字入力開始始点を始点として表示される。
【0036】
なお、上述の説明では、スケジュール管理用のアプリケーションソフトウェアが起動されている場合を例に説明したが、本発明はこれに限定されず、メモ機能や、画像のアルバム機能、動画再生機能、インターネット接続・閲覧機能などの各機能を実現するそれぞれのアプリケーションソフトウェアの実行に際して適用することができる。
【0037】
上述した第1の実施の形態の情報入力表示システムでは、次の作用効果を奏する。
(1) 接続ケーブル31を介してPDA10の外部モニタ接続部15と、HMD20の画像入力部202とが接続されると、PDA10の表示部12には、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。また、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。すなわち、PDA10を主として文字等の入力装置として扱い、HMD20を主として画像や音声の出力装置として扱うように構成した。これにより、PDA10では、表示部12の全面にわたって文字等の入力操作のために有効に利用できるので、入力操作が容易となる。また、HMD20では、画像表示部22a,22bの全面にわたってアプリケーションソフトウェアによるデータを表示できようになるので、表示できる情報量を増やすことができて利便性が向上する。また、画像表示部22a,22bに表示される文字や画像を大きくできるので視認性が向上する。すなわち、PDA10の表示部12およびHMD20の画像表示部22a,22bの双方を有効に利用できる。
【0038】
(2) アプリケーションソフトによる処理や、PDA10の表示部12およびHMD20の画像表示部22a,22bで表示される画像についての画像情報の生成処理をPDA10側で行うように構成した。これにより、アプリケーションソフトによる処理のために従来から高い処理能力を持つ中央演算部101を有効利用できるので、PDA10およびHMD20の双方のコストアップを抑制できる。
【0039】
(3) PDA10とHMD20とによって情報入力表示システムを構成した。PDA10およびHMD20のいずれもが携行容易であり、様々な場所やシチュエーションで情報入力表示システムを利用でき、利便性が向上する。
【0040】
(4) ユーザがHMD20を装着したままであってもユーザが視線を下方に移動させるだけで、手元に保持しているPDA10を視認できるように画像表示部収納部23を構成した。これにより、PDA10で文字等を入力する際にユーザが装着したHMD20を外したりずらしたりする必要がないので、利便性が高い。
【0041】
−−−第2の実施の形態−−−
図7,8を参照して、本発明による情報入力表示システム、情報端末および表示装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、アプリケーションソフトによる処理や、画像情報の生成処理をHMD20側で行うように構成した点で、第1の実施の形態と異なる。
【0042】
図7は、PDA10およびHMD20のブロック図である。PDA10は、中央演算部101と、ワークメモリ部102と、ストレージ部103と、入力部104と、表示制御部105と、表示部12と、接続検出部106と、通信I/F部107とを備えている。通信I/F部107は、たとえば接続ケーブル31を介して接続された外部の機器との通信を行うためのインターフェースである。なお、接続検出部106は、たとえば接続ケーブル31を介して通信I/F部107へ外部の機器(HMD20)が接続されたか否かを検出する。
【0043】
HMD20は、画像表示部22a,22bと、表示制御部201と、中央演算部203と、入力部204と、ワークメモリ部205と、ストレージ部206と、通信I/F部207と、接続検出部208とを備えている。中央演算部203は、ワークメモリ部205を作業エリアとしてストレージ部206から読み込んだプログラムを起動して各種の処理を行って、HMD20の各部を制御する。入力部204は、たとえば、再生するオーディオ/ビジュアルコンテンツの選択操作や、再生したオーディオ/ビジュアルコンテンツの停止、巻き戻し、早送り等の指示操作、再生音量の調整操作など、各種の操作を行う不図示の操作部材の操作に応じて信号を出力するスイッチ類である。ストレージ部206は、たとえば動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータなどを記憶する。
【0044】
通信I/F部207は、たとえば接続ケーブル31を介して接続された外部の機器との通信を行うためのインターフェースである。接続検出部208は、たとえば接続ケーブル31を介して通信I/F部207へ外部の機器(PDA10)が接続されたか否かを検出する。
【0045】
本実施の形態の情報入力表示システムでは、接続ケーブル31を介してPDA10の通信I/F部107と、HMD20の通信I/F部207とが接続されると、PDA10の表示部12には、ユーザによる操作入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。そして、HMD20の画像表示部22a,22bには、アプリケーションソフトウェアによるデータ(たとえば再生されたオーディオ/ビジュアルコンテンツの動画)だけが表示されるように構成した。すなわち、HMD20の操作入力をPDA10で入力できるように構成した。以下、ストレージ部206に格納されたオーディオ/ビジュアルコンテンツのデータを再生する場合を例に説明する。
【0046】
具体的には、HMD20の中央演算部203は、通信I/F部207へPDA10が接続されたことを示す信号(外部機器検出信号)を接続検出部208から受信すると、図8に示すような、PDA10の表示部12に表示させる、HMD20の操作入力のためのグラフィカルユーザインターフェース125の画像情報を生成する。また、中央演算部203は、後述する検出位置情報を生成する。そして、中央演算部203は、生成した画像情報および検出位置情報を表示部表示情報として通信I/F部207を介してPDA10へ出力する。なお、PDA10へ表示部表示情報を出力する際に、再生に係るコンテンツのタイトル名(たとえば「日米野球対決」)の情報を同時に出力するようにしてもよい。
【0047】
ここで、検出位置情報について説明する。検出位置情報とは、グラフィカルユーザインターフェース125が表示された表示部12における操作位置(タッチパネルスイッチの押圧位置)と、コンテンツデータの再生における操作の内容(たとえば、再生、一時停止、巻き戻し、早送り等)とを関連づける情報である。たとえば図8に示すように、表示部12で、コンテンツの再生開始を指示するための再生指示アイコン125aの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの再生開始が指示されたものと判断するように、検出位置情報は構成されている。
【0048】
同様に、たとえば、表示部12で、コンテンツの再生の一時停止を指示するための一時停止指示アイコン125bの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの再生の一時停止が指示されたものと判断するように、検出位置情報は構成されている。たとえば、表示部12で、コンテンツの巻き戻しを指示するための巻き戻し指示アイコン125cの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの巻き戻しが指示されたものと判断するように、検出位置情報は構成されている。たとえば、表示部12で、コンテンツの早送りを指示するための早送り指示アイコン125dの表示領域が押圧されると、PDA10の中央演算部101が、コンテンツの早送りが指示されたものと判断するように、検出位置情報は構成されている。
【0049】
通信I/F部107を介して表示部表示情報を受信したPDA10では、中央演算部101は、受信した画像情報に基づいて、グラフィカルユーザインターフェース125が表示部12に表示されるよう表示制御部105を制御する。表示制御部105は、グラフィカルユーザインターフェース125を表示するように表示部12を制御する。その結果、図8に示すように、表示部12にはグラフィカルユーザインターフェース125が表示される。なお、通信I/F部107を介して受信した、再生に係るコンテンツのタイトル名の情報に基づいて、図8に示すように、コンテンツのタイトル名(たとえば「日米野球対決」)を表示部12に表示するようにしてもよい。
【0050】
また、中央演算部101は、タッチパネルスイッチである表示部12(すなわち入力部104)からの操作信号を受信すると、表示部12上の操作位置(押圧位置)の情報と、上述した検出位置情報とに基づいて、どのような指示がなされたのかを判断する。中央演算部101は、たとえば、コンテンツの再生開始が指示されたものと判断すると再生開始信号を、再生の一時停止が指示されたものと判断すると一時停止信号を、巻き戻しが指示されたものと判断すると巻き戻し信号を、早送りが指示されたものと判断すると早送り信号をそれぞれユーザ操作情報として通信I/F部107を介してHMD20へ出力する。
【0051】
HMD20の中央演算部203は、通信I/F部207を介して受信したユーザ操作情報に基づいて、コンテンツのデータの再生や一時停止、巻き戻し、早送り等の処理を行い、画像情報を生成して表示制御部201に出力する。表示制御部201は、中央演算部203で生成された画像情報に基づいて画像表示部22a,22bにおける画像(映像)の表示を制御する。その結果、画像表示部22a,22bにおける画像(映像)の表示において、ユーザが表示部12上で操作した操作内容が反映される。
【0052】
すなわち、ユーザが表示部12に表示された再生指示アイコン125aの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)の再生が開始される。同様に、ユーザが一時停止指示アイコン125bの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)の再生が一時停止される。ユーザが巻き戻し指示アイコン125cの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)が巻き戻される。ユーザが早送り指示アイコン125dの表示領域を押圧操作すると、画像表示部22a,22bにおける画像(映像)が早送りされる。
【0053】
なお、上述の説明では、ストレージ部206に格納されたオーディオ/ビジュアルコンテンツのデータを再生する場合を例に説明したが、本発明はこれに限定されず、メモ機能や、画像のアルバム機能、インターネット接続・閲覧機能などの各機能を実現するそれぞれのアプリケーションソフトウェアの実行に際して適用することができる。
【0054】
上述した第2の実施の形態の情報入力表示システムでは、第1の実施の形態の作用効果に加えて次の作用効果を奏する。
(1) アプリケーションソフトによる処理や、PDA10の表示部12およびHMD20の画像表示部22a,22bで表示される画像情報の生成処理をHMD20側で行うように構成した。これにより、たとえば、アプリケーションソフトによる動画の再生処理のために従来から高い画像処理能力を持つ中央演算部203を有効利用でき、HMD20で再生中のデータに相応しい情報表示を、PDA10に表示することが可能となる。
【0055】
(2) HMD20の操作入力をPDA10に入力できるように構成したので、HMD20の操作性が向上する。
【0056】
−−−変形例−−−
(1) 上述の説明では、PDA10とHMD20とを接続ケーブル31で接続するように構成しているが、本発明はこれに限定されない。たとえば、赤外線を利用した無線通信や、電波を利用した無線通信によってPDA10とHMD20とを接続するように構成してもよい。
【0057】
(2) 上述の説明では、マウスモードに切り替えられると、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーンで表示するように構成したが、本発明はこれに限定されない。たとえば、マウスモードに切り替えられると、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースの表示を中止するように構成してもよい。
【0058】
(3) 上述した第2の実施の形態では、PDA10をHMD20の操作部材の一部として扱っているが、たとえば、PDA10に加速度センサなどを設けて、PDA10自体の動きを検出することで、アプリケーションソフトウェアにおける操作を行うようにしてもよい。たとえば、ゲームのアプリケーションソフトウェアを起動させた際に、PDA10自体を動かすことでそのゲームにおける操作を行うことができるようにしてもよい。
【0059】
(4) 上述の説明では、情報入力表示システムにおける表示装置としてHMD20を例に挙げて説明しているが、HMD20に限らず、画像(映像)を表示可能な表示部を有する携行可能な様々な装置(携帯表示装置)であってもよい。たとえば、PDA10に、携帯型のモニタ装置やテレビ受像機を接続してもよく、液晶パネルなどの表示装置を有する携帯電話機を接続してもよい。また、上述したPDA10に他のPDAを接続してもよい。
【0060】
(5) 上述した第2の実施の形態のHMD20では、動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータなどを内蔵したストレージ部206に格納するように構成しているが、本発明はこれに限定されない。たとえば、外部のストレージ装置をHMD20に接続し、当該外部のストレージ装置に格納された動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ/ビジュアルコンテンツのデータなどを利用するように構成してもよい。
【0061】
(6) 上述した第2の実施の形態では、HMD20が画像情報および検出位置情報を表示部表示情報としてPDA10に出力し、PDA10からユーザ操作情報を受信することでコンテンツのデータの再生や一時停止、巻き戻し、早送り等の処理を行うように構成しているが、本発明はこれに限定されない。たとえば、HMD20がPDA10に表示部表示情報だけを送信し、PDA10から、表示部12が押圧された位置(座標)の情報を受信するように構成してもよい。そして、HMD20の中央演算部203が、PDA10から受信した、表示部12が押圧された位置(座標)の情報に基づいて、どのような指示(たとえば、再生、一時停止、巻き戻し、早送り等)がなされたのかを判断するように構成してもよい。
【0062】
(7) 上述の説明では、HMD20にはユーザの両眼にそれぞれ対応するように、2つの画像表示部22a,22bが設けられているが、すなわち、HMD20は両眼タイプのヘッドマウントディスプレイ装置であるが、画像表示部が1つである片眼タイプのヘッドマウントディスプレイ装置であってもよい。
【0063】
(8) 上述の説明では、PDA10とHMD20とが接続されると、PDA10の表示部12のタッチパネルスイッチを利用して、HMD20に表示されるアプリケーションソフトウェアによるデータ上での入力操作を可能とするように構成したが、本発明はこれに限定されない。表示部12のタッチパネルスイッチの利用は必須ではなく、各操作ボタン13やマウスモード切り替えボタン14の操作によって、HMD20に表示されるアプリケーションソフトウェアによるデータ上での入力操作を可能とするように構成してもよい。
(9) 上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
【0064】
なお、本発明は、上述した実施の形態のものに何ら限定されず、ユーザの操作入力を受け付ける入力部と、第1の表示部と、第1の表示部における表示を制御する第1の表示制御手段とを有する情報端末と、第2の表示部と、第2の表示部における表示を制御する第2の表示制御手段とを有する表示装置とを備え、情報端末と表示装置とが接続されたとき、第1の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう第1の表示部を制御し、第2の表示制御手段は、情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう第2の表示部を制御することを特徴とする各種構造の情報入力表示システムや、当該情報入力表示システムに用いられる情報端末や表示装置を含むものである。
【図面の簡単な説明】
【0065】
【図1】本発明による情報入力表示システムで用いられる情報端末および表示装置の外観を示す図である。
【図2】一例として、スケジュール管理用のアプリケーションソフトを起動させているときの表示部12の表示画面を示す図である。
【図3】PDA10およびHMD20のブロック図である。
【図4】PDA10とHMD20とを接続したときの表示部12および画像表示部22a,22bに表示される画像の一例を示す図である。
【図5】PDA10とHMD20とを接続したときの表示部12および画像表示部22a,22bに表示される画像の一例を示す図である。
【図6】マウスモードについて説明する図である。
【図7】第2の実施の形態におけるPDA10およびHMD20のブロック図である。
【図8】第2の実施の形態において、PDA10とHMD20とを接続したときの表示部12および画像表示部22a,22bに表示される画像の一例を示す図である。
【符号の説明】
【0066】
10 携帯情報端末(PDA) 12 表示部
14 マウスモード切り替えボタン
20 ヘッドマウントディスプレイ装置(HMD)
22a,22b 画像表示部 23 画像表示部収納部
101 中央演算部 104 入力部
105 表示制御部 121a スケジュールデータ表示
122a 手書き文字入力表示 201 表示制御部
203 中央演算部 204 入力部
【特許請求の範囲】
【請求項1】
ユーザの操作入力を受け付ける入力部と、第1の表示部と、前記第1の表示部における表示を制御する第1の表示制御手段とを有する情報端末と、
第2の表示部と、前記第2の表示部における表示を制御する第2の表示制御手段とを有する表示装置とを備え、
前記情報端末と前記表示装置とが接続されたとき、前記第1の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう前記第1の表示部を制御し、前記第2の表示制御手段は、前記情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう前記第2の表示部を制御することを特徴とする情報入力表示システム。
【請求項2】
請求項1に記載の情報入力表示システムにおいて、
前記第1の表示部は、ユーザの操作入力を受け付けるタッチパネルスイッチを有することを特徴とする情報入力表示システム。
【請求項3】
請求項1または請求項2に記載の情報入力表示システムにおいて、
前記情報端末は、アプリケーションソフトウェアの処理を行う第1の処理部をさらに有し、
前記第1の処理部は、前記ユーザの操作入力に応じて前記アプリケーションソフトウェアの処理を行い、
前記第2の表示制御手段は、前記第1の処理部の処理結果に基づいて画面表示するよう前記第2の表示部を制御することを特徴とする情報入力表示システム。
【請求項4】
請求項1または請求項2に記載の情報入力表示システムにおいて、
前記表示装置は、アプリケーションソフトウェアの処理を行う第2の処理部をさらに有し、
前記第2の処理部は、前記ユーザの操作入力に応じて前記アプリケーションソフトウェアの処理を行い、
前記第2の表示制御手段は、前記第2の処理部の処理結果に基づいて画面表示するよう前記第2の表示部を制御することを特徴とする情報入力表示システム。
【請求項5】
請求項1〜4のいずれか一項に記載の情報入力表示システムにおいて、
前記表示装置は、携帯表示装置であることを特徴とする情報入力表示システム。
【請求項6】
請求項5に記載の情報入力表示システムにおいて、
前記表示装置は、ヘッドマウントディスプレイ装置であることを特徴とする情報入力表示システム。
【請求項7】
請求項6に記載の情報入力表示システムにおいて、
前記ヘッドマウントディスプレイ装置は、前記第2の表示部がユーザの右目用および左目用にそれぞれ設けられている両眼タイプの前記ヘッドマウントディスプレイ装置であり、ユーザが前記ヘッドマウントディスプレイ装置を装着した際に、ユーザが視線を下方に移動させることによって外界を視認できるように、下方が開放されていることを特徴とする情報入力表示システム。
【請求項8】
請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる情報端末。
【請求項9】
請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる表示装置。
【請求項1】
ユーザの操作入力を受け付ける入力部と、第1の表示部と、前記第1の表示部における表示を制御する第1の表示制御手段とを有する情報端末と、
第2の表示部と、前記第2の表示部における表示を制御する第2の表示制御手段とを有する表示装置とを備え、
前記情報端末と前記表示装置とが接続されたとき、前記第1の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう前記第1の表示部を制御し、前記第2の表示制御手段は、前記情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう前記第2の表示部を制御することを特徴とする情報入力表示システム。
【請求項2】
請求項1に記載の情報入力表示システムにおいて、
前記第1の表示部は、ユーザの操作入力を受け付けるタッチパネルスイッチを有することを特徴とする情報入力表示システム。
【請求項3】
請求項1または請求項2に記載の情報入力表示システムにおいて、
前記情報端末は、アプリケーションソフトウェアの処理を行う第1の処理部をさらに有し、
前記第1の処理部は、前記ユーザの操作入力に応じて前記アプリケーションソフトウェアの処理を行い、
前記第2の表示制御手段は、前記第1の処理部の処理結果に基づいて画面表示するよう前記第2の表示部を制御することを特徴とする情報入力表示システム。
【請求項4】
請求項1または請求項2に記載の情報入力表示システムにおいて、
前記表示装置は、アプリケーションソフトウェアの処理を行う第2の処理部をさらに有し、
前記第2の処理部は、前記ユーザの操作入力に応じて前記アプリケーションソフトウェアの処理を行い、
前記第2の表示制御手段は、前記第2の処理部の処理結果に基づいて画面表示するよう前記第2の表示部を制御することを特徴とする情報入力表示システム。
【請求項5】
請求項1〜4のいずれか一項に記載の情報入力表示システムにおいて、
前記表示装置は、携帯表示装置であることを特徴とする情報入力表示システム。
【請求項6】
請求項5に記載の情報入力表示システムにおいて、
前記表示装置は、ヘッドマウントディスプレイ装置であることを特徴とする情報入力表示システム。
【請求項7】
請求項6に記載の情報入力表示システムにおいて、
前記ヘッドマウントディスプレイ装置は、前記第2の表示部がユーザの右目用および左目用にそれぞれ設けられている両眼タイプの前記ヘッドマウントディスプレイ装置であり、ユーザが前記ヘッドマウントディスプレイ装置を装着した際に、ユーザが視線を下方に移動させることによって外界を視認できるように、下方が開放されていることを特徴とする情報入力表示システム。
【請求項8】
請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる情報端末。
【請求項9】
請求項1〜7のいずれか一項に記載の情報入力表示システムに用いる表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【公開番号】特開2009−42967(P2009−42967A)
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願番号】特願2007−206359(P2007−206359)
【出願日】平成19年8月8日(2007.8.8)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願日】平成19年8月8日(2007.8.8)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]