ディスプレイ装置およびディスプレイ方法
【課題】メモリ内に記憶され、プロセッサにより実行されるように適合されたシステムコードを含むハンドヘルドコンピュータ機器を含んでいるシステムを提供する。
【解決手段】システムコードは、タッチセンシティブディスプレイに表示されるコンテンツの表示である入力バイトストリームを処理することができ、コンテンツの内部を表わすコンテンツドキュメントファイルを生成することができる。ツールドキュメントファイルもメモリ内に記憶されることができ、グラフィカルツールを表わすイメージを供給するドキュメントの内部表現を供給することができる。ツールコードはツールドキュメントと関連付けられることができ、そしてそれはコンテンツドキュメントファイルを処理し、ツールに関連付けられた表示効果を達成する方法でコンテンツを示すコンテンツの内部表現を生成することを可能とする。
【解決手段】システムコードは、タッチセンシティブディスプレイに表示されるコンテンツの表示である入力バイトストリームを処理することができ、コンテンツの内部を表わすコンテンツドキュメントファイルを生成することができる。ツールドキュメントファイルもメモリ内に記憶されることができ、グラフィカルツールを表わすイメージを供給するドキュメントの内部表現を供給することができる。ツールコードはツールドキュメントと関連付けられることができ、そしてそれはコンテンツドキュメントファイルを処理し、ツールに関連付けられた表示効果を達成する方法でコンテンツを示すコンテンツの内部表現を生成することを可能とする。
【発明の詳細な説明】
【技術分野】
【0001】
ユーザインターフェースシステムおよびデジタルドキュメントの処理および見る方法に関する。
【0002】
ここに記載されたシステムおよび方法は、先に出願された英国特許出願第0009129.8および先に出願された米国特許出願第09/703,502に関連する。また、その米国特許出願は、デジタルドキュメント処理のシステムおよび方法と表題を付けられ、ここに同日付けで出願され、発明者名は全てマジッドアンワーであり、その内容は参照によりここに関連付けられる。
ここに記載されるシステムと方法は、デジタルドキュメントの表示を拡大および処理するためのシステムおよび方法に関し、さらに詳しくは、ハンドヘルドコンピュータ、移動通信機、または電話のような電気機器のディスプレイ、あるいは触感による命令に関連したディスプレイ機器のようなディスプレイ上に表示されたデジタルドキュメントをユーザが処理し見ることができるユーザインタフェースシステムと方法に関する。
【背景技術】
【0003】
今日、簡単にユーザがドキュメント、Eメール、ビデオ映画、および他の形式のコンテンツを見ることができる移動体およびハンドヘルドコンピュータ機器を作るために大きな苦労がある。この集中化を実現するため、技術者および科学者は、ここに参照により関連する内容である、デジタルドキュメント処理のためのシステムおよび方法、と表題が付けられた上記米国特許出願に記載されたシステムを含むシステムを発達させた。そこに記載されているように、ドキュメント、オーディオビジュアル表現、あるいはいくつかの他の形式のコンテンツにかかわらずデジタルコンテンツは、ハンドヘルド、移動体機器、またはいくつかの他のプラットホーム上で動作するソフトウェアシステムにより処理され、ソフトウェアシステムにより処理され操作されることができる均一の内部表現に翻訳され、異なった形式のコンテンツの表示がシステムによって生成され、各々の機器のスクリーンディスプレイ上に表示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−242539号公報
【特許文献2】特開平09−231004号公報
【特許文献3】特開平08−076926号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
それ故に、これらのシステムは、パームパイロット(Palm Pilot)、コンパックアイパック(Compaq Ipaq)、および移動体電話のような他のハンドヘルドおよび移動体コンピュータシステムでも同様に、ユーザにコンテンツの表示を供給することができる。しかし、これらのハンドヘルドおよび移動体のシステムは典型的に、通常携帯電話機上にあるキーボードである小さく、制限されたキーボードのような簡単な入力機器、またはパームコンピュータ機器に設けられたタッチスクリーンのような小さなタッチスクリーンシステムにより制限されている。それゆえ、これらのシステムは極めて複雑でもユーザにコンテンツを示すことができるが、これらのシステムは、ドキュメントの異なるページまたはドキュメントの異なる部分を選択すること等によってユーザがコンテンツの表示を処理することができる許容度は制限される。それゆえ、これらのハンドヘルドおよび携帯システムはとても使いやすいが、操作をサポートし、それらの機器上に表示されたコンテンツを見ることを可能とするユーザインターフェイスの部分に起因したその使用の制限がある。
【0006】
結果として、この技術分野において、より容易にハンドヘルドまたは携帯機器により表示されたコンテンツを処理し見えるようにする改良されたユーザインターフェイスを提供するシステムおよび方法が必要とされる。
【0007】
さらに、この技術分野において、そのコンテンツがその基礎をなすアプリケーションプログラムから分離されたときに、コンテンツの処理を可能とするユーザインターフェイスツールが必要とされる。
【0008】
ここに記載されるシステムと方法は、移動体機器またはハンドヘルド機器上に表示されたコンテンツをユーザがより簡単に処理し見ることができる進歩したユーザインタフェイスツールを供給する。
【課題を解決するための手段】
【0009】
一つの特定の実施態様によれば、ここに記載されるシステムと方法は、タッチアンドフィールユーザインターフェースの一例を示すグラフィカルユーザインターフェースを供給する。より具体的には、ここに記載されたシステムと方法は、その機器自体の上で、または遠隔指示を通して、または遠隔指示を通して、または他のユニット上の遠隔ディスプレイを通して見えるドキュメント上で触感制御をシミュレートしたシステムを有するハンドヘルドまたは移動体機器を含む。
【0010】
これらのシステムは、プロセッサ、メモリ、およびタッチセンシティブディスプレイ(またはリモートタッチセンシティブコントロールを有するディスプレイ)を指示するハウジングを含み、システムコードはメモリ内に記憶され、プロセッサにより実行されるように適合される。システムコードはドキュメントのデジタル表現を生成しまたは供給し、そのデジタル表現はデータコンテンツとドキュメントのページレイアウトを表わすページ構造とを含む。そのため、あるアプリケーションでは、レンダーされたイメージは、ドキュメントのレイアウトと同様にドキュメントのコンテンツを含み、それによりドキュメントが物理的にどのように見えるかのイメージを供給する。
【0011】
システムはレンダーされたエンジンも含み、それはタッチセンシティブディスプレイ上のデジタル表現のページレイアウトの少なくとも一部分に表示されたパーサおよびレンダラーを含む。
【0012】
スクリーンモニタは、タッチセンシティブスクリーンの表面を横切る動きを検出するためにタッチセンシティブスクリーンをモニタすることができ、インターフェースプロセスは、デジタル表現のページ構造を変えるべく、コマンドを表わす動きを検出して、検出された動きを処理する。
【0013】
ナビゲーションモジュールは、インターフェースプロセスに応答でき、ページレイアウト表示部を変えることができる。そのため、ページレイアウト表示部を変えることにより、システムはドキュメントのデジタル表現を通してユーザをナビゲートすることができる。
【0014】
本発明のシステムと方法は他のアプリケーションおよび他の形式のシステムで使用された時に適用性と価値を有するが、説明の目的のために、本発明は、そのシステムがハンドヘルドコンピュータ機器上に表示されたドキュメントのナビゲーションを容易にするそれらのアプリケーションを参照して記載される。
【0015】
より具体的には、ここに記載されるシステムと方法は、とりわけドキュメント上で触感制御をシミュレートするシステムを有するコンピュータ機器を提供する。
【0016】
一つの実施態様では、これらのシステムは、プロセッサ、メモリ、およびディスプレイを含み、メモリ内に記憶されプロセッサにより実行されるように適合されたシステムコードであって、そのシステムコードはデータコンテンツおよびドキュメントのページレイアウトを表わすページ構造を含むドキュメントのデジタル表現を供給し、ディスプレイ上のデジタル表現のページレイアウトの少なくとも一部分を表示するためのレンダリングエンジンと、ディスプレイ上に表示されたイメージを横切った物体の動きを検出するスクリーンをモニタするためのスクリーンモニタと、デジタル表現のレンダーされたページ構造を変えるべく、コマンドを表わす動きを検出して、検出された動きを処理するためのインターフェイスプロセスと、およびページレイアウトのレンダーされた部分を変化させるためにインターフェースプロセスに応答できるナビゲーションモジュールを含み、ページレイアウトのレンダーされた部分を変更することはドキュメントのデジタル表現を通してユーザをナビゲートすることを可能にする。
【0017】
これらのコンピュータ機器は、スクリーンを横切って動くカーソルを描くことができるコンピュータディスプレイと同様に、スクリーンモニタがタッチセンシティブスクリーンディスプレイの表面を横切る動きを検出するためにタッチセンシティブスクリーンをモニタするタッチセンシティブディスプレイを含むことができ、そしてそのスクリーンモニタはディスプレイの表面を横切るカーソルの動きを検出する。プロセッサ、メモリ、スクリーンモニタおよびディスプレイは、複数のアプリケーション、およびハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、埋め込み型プロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、およびファックス機を含む機器で使用できるデータ処理プラットフォームとして設計される。
【0018】
ある任意の実施態様では、コンピュータ機器は、ディスプレイ中のドキュメントに速度特性を適用する手段と同様に、タッチセンシティブディスプレイの表面を横切って検出された動作に関連した速度ベクトルを決定するための速度ディテクタも含む。
【0019】
さらに、これらのコンピュータ機器は、ドキュメントまたはドキュメントの集合体および他のコンテンツを通してナビゲートすることをより容易にするインターフェースプロセスを持つことができる。これらのインターフェースプロセスは、ドキュメントの角を図式的に示したページレイアウトの一部分を表わす位置でタッチスクリーンの表面を横切る動作を検出するためのページフリップディテクタを含むことができる。ページフリップディテクタは、現在表示されているページに隣接するページを表わすページレイアウトの部分を表示することができる。同様に、機器は現在のページに隣接するページの部分を表わすページレイアウトの部分を表示するためにページカールディテクタを含むことができる。
【0020】
さらに、インターフェースプロセスは、レンダーされるべきページレイアウトの部分を選択するための、あるいはドキュメントのデジタル表現のデータコンテンツを変えるためのコマンドを表わす所定の動きを検出するためのジェスチャリングプロセスを含むことができる。なお、また、インターフェースの制御は、ディスプレイ上に表示されたドキュメントの透明性を制御するための、およびドキュメントの他の部分に対する選択された部分の視認性を調整するためにドキュメントの選択された部分の透明性を制御するためのプロセスを含むことができる。他のインターフェースプロセスは、拡大ツール、ルーラ、テキスト入力カーソル、サムネイルナビゲーション欄、リンクしたコンテンツのサムネイルビュー、および質問ツールを示す表示ツールを含むツールを供給する。
【0021】
なお他の態様では、本発明は、文脈依存グラフィカルインターフェイスツールを有するコンピュータ機器および関連するプロセスを供給する。
【0022】
これらの機器は、プロセッサ、メモリ、およびタッチセンシティブディスプレイを含み、メモリ内に記憶されコンテンツの内部表現を表わすコンテンツドキュメントファイルと、メモリ内に記憶されグラフィカルインターフェイスツールを表わすイメージを提供するドキュメントの内部表現を供給するツールドキュメントファイルと、プロセッサを実行し、ツールドキュメントファイルに関連付けられることができ、そしてレンダーされるときにはツールに関連付けられた表示効果を達成できるような方法でコンテンツを示すコンテンツの内部表現を生成するためにコンテンツドキュメントファイルを処理することができるツールコードと、コンテンツドキュメントファイル、ツールドキュメントファイルと、および処理された内部表現を処理してディスプレイのためにスクリーンドキュメントを生成するパーシングコードと、ユーザがレンダーされたコンテンツ上の選択されたコンテキスト上の関係中にグラフィカルインターフェイスツールのイメージを配置することができるための、および選択された部分に関連したコンテンツドキュメントファイルの部分をツールコードが処理するようにするためのインターフェースコードを含む。
【0023】
グラフィカルインターフェースツールおよび表示されたコンテンツの間のコンテキスト上の関係はアプリケーションによって変化し、例えば、グラフィカルインターフェースツールおよび表示されたコンテンツの相対的な位置、表示されたコンテンツ上でグラフィカルインターフェースツールが作動する時間、および表示されたコンテンツの状態から成る群から選択され得る。これらの装置は融通がきき、移動体システム内、およびオーディオプレーヤー、電子レンジ、冷蔵庫、および洗濯機等の家庭機器と同様に、ハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、埋め込みプロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、およびファック機を含み、しかしこれらに制限されない異なる形態および装置で具体化できる。
【0024】
しかし、標準的なキーボードおよびマウスのような典型的な入力ツールを含む従来のコンピュータワークステーション上でコンテンツが表示されるアプリケーションを含む他のアプリケーション中でも、これらのインターフェースツールは役立つことが、この技術分野の通常の技術を有する者により理解される。さらに、ここに記載されたシステムと方法は、出力機器として用いられる埋込みビジュアルディスプレイのような内蔵ディスプレイシステムのためのインターフェースを提供する有用なツールも提供する。このような埋込みディスプレイシステムの例は、携帯電話や、ユーザがコピー機能を働かせるために異なるオプションを選択することができるようにし、コピーされるドキュメントのユーザにイメージを提供するビジュアルタッチスクリーンディスプレイを含むコピー機を含む。他の例では、ビジュアルディスプレイがユーザが入って来たファックスの描画を見えるようにするためにユーザに提供される。ここに記載されたユーザインターフェースシステムおよび方法の他の実施態様および適用は、この技術分野の通常の技術を有する者に明らかである。
【0025】
より具体的には、ここに記載されるシステムと方法は、ユーザがスクリーン上に表示されたコンテンツを処理することができるようにするユーザインターフェースツールを提供する。特に、ここに記載されるシステムと方法は、ディスプレイ上に表示される情報のためのアブストラクトレイヤーを生成するソフトウェアシステムを提供する。このアブストラクトレイヤーはドキュメントオブジェクトを含み、ドキュメントオブジェクトはスクリーン上に表示されるべき情報またはコンテンツを有する。ある実施では、スクリーン上に表示された全ての情報が一つのドキュメントとして扱われる。そのため、最も高い水準では、スクリーンの全てのコンテンツが一つのドキュメントオブジェクトとして理解される。この実施態様に加えて、ドキュメントオブジェクトは他のドキュメントオブジェクトを含んでいても良く、それらの各々がユーザに表示されたコンテンツの部分集合を含むことが理解される。そのため、スクリーンレベルでは、表示された全ての情報は、スクリーン上に表示されたウェブページ、ストリームビデオ、およびグラフィカルアイコンといったアイテムが、高レベルのスクリーンドキュメントオブジェクト内に含まれるドキュメントオブジェクトとして各々別々に理解される単一のドキュメントとして理解される。
【0026】
それゆえ、スクリーン上に表示された全てのコンテンツは抽象的にドキュメントとして扱われ、この例は表示されているコンテンツがテキストのページを表わす情報であるか、あるいはユーザインターフェースツールを表わす情報であるか、あるいはウインドウ/デスクトップファーニチャーであるか判断する。したがって、ここに記載されたユーザインターフェースシステムおよび方法は、スクリーンディスプレイ上に表示されたドキュメントオブジェクトをユーザが処理することができるようにするためのユーザインターフェースツールと機能を提供する。
【0027】
加えて、ここに記載されたシステムおよび方法は、一つの実施態様では、プロセッサ、メモリ、およびタッチセンシティブディスプレイを支持するハウジングを含むハンドヘルドコンピュータ機器を提供する。さらに、コンピュータ機器はメモリ内に記憶され、プロセッサにより実行されるように適合されたシステムコードを含む。システムコードは、タッチセンシティブディスプレイ上に表示されるべきコンテンツを表わす入力バイトストリームを処理することができ、コンテンツの内部表現を表わすコンテンツドキュメントファイルを生成することができる。
【0028】
ツールドキュメントファイルもメモリ内に記憶され、グラフィカルツールの表示であるイメージを提供するドキュメントの内部表現を提供する。ツールコードはツールドキュメントに関連付けられることができ、それは、ツールに関連した表示効果を達成するような方法でコンテンツを示すコンテンツの内部表現を生成するために、コンテンツドキュメントファイルを処理することができる。この装置は、コンテンツドキュメントファイル、ツールドキュメントファイル、および表示効果を描写するような方法でタッチセンシティブディスプレイ上に表示するためのスクリーンドキュメントを生成するための処理された内部表現を処理するパーシングコードも含む。
また、ドキュメントに対する触感制御をサポートするディスプレイ装置であって、プロセッサ及び触感方式ディスプレイと、前記プロセッサによって実行されるように適応され、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含む前記ドキュメントのデジタル表現を提供するシステムコードを格納するメモリと、前記触感方式ディスプレイ上のデジタル表現のためにページレイアウトの少なくとも一部に対応するイメージをレンダリングするエンジンと、前記触感方式ディスプレイ上でポインタの動きを検出するために前記触感方式ディスプレイと通信するディスプレイモニタと、前記検出された動きの速度に基づいて速度ベクトルを決定する速度検出器と、前記ディスプレイモニタにより検出された動きを処理して複数の命令のうちの一つを検出するために前記ディスプレイモニタと通信するインターフェイプロセスと、を含み、ここで、前記複数の命令は、移動命令を含み、前記インターフェイプロセスにより検出された前記移動命令に応答して前記エンジンが前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させ、ここで、前記エンジンは、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって、前記検出された速度ベクトルと共にページ惰性を追加で利用し、前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とする。
さらに、プロセッサ、メモリ、及び接続方式プロセッサを含むディスプレイ装置におけるドキュメントに対する触感制御をサポートするディスプレイ方法であって、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含むシステムコードを使用して前記ページレイアウトの少なくとも一部に対応するイメージをレンダリングする過程と、前記レンダリングによりデジタル表現がディスプレイされた前記触感方式ディスプレイ上でポインタの動きを検出する過程と、前記検出された動きの速度に基づいて速度ベクトルを決定する過程と、前記ディスプレイモニタにより検出された動きを処理して移動命令を含む複数の命令のうちの一つを検出する過程と、前記移動命令が検出されると、前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させる過程と、を含み、ここで、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって前記検出された速度ベクトルと共にページ惰性を追加で利用し、前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とする。
前述の、およびその他のもの、および本発明の利点は、添付の図面を参照して、さらに以下の記載からより完全に認識される。
【図面の簡単な説明】
【0029】
【図1】本発明による1つのシステムの機能ブロック図である。
【図2】図1に示されたシステムによって生成されたツールの一例を示す。
【図3】複数のページを持つドキュメントを通してナビゲートするために複数のサムネイルを提供するグラフィカルユーザインターフェースツールを示す。
【図4】拡大された範囲内で追加の情報を提供する本発明による拡大するグラフィカルユーザインターフェースツールを示す。
【図5】半透明性で大きさを合わせられるルーラグラフィカルツールを示す。
【図6】透明性の質問マーカグラフィカルユーザインターフェースツールを示す。
【図7】グラフィカルツールを活動化および不活動化するためのユーザインターフェースの機構を示す。
【図8】図8aおよび図8bは、表示されたドキュメントの選択された部分を視覚的に強調するためのユーザインターフェースツールを示す。
【図9】本発明によるさらなるユーザインターフェースツールを示す。
【図10】本発明によるテキストエントリーツールを示す。
【図11】本発明によるテキストエントリーツールを示す。
【図12】図12a〜図12gは、ハンドヘルドシステムにコマンドを供給するための一連のストロークを示す。
【図13】図13A〜13Bは、表示されているドキュメントに速度特性を適用することによりドキュメントを通してスクロールするためのユーザインターフェースツールを示す。
【発明を実施するための形態】
【0030】
ここに記載されたシステムと方法は、コンピュータ端末、ディスプレイスクリーン、プリンタ、プロッタ、または人間が読むことができる視覚的表示を生成するのに適した他の全ての出力機器等の表示面上に表示されたドキュメントを処理し見るためのシステムと方法を含む。説明の目的のために、システムおよび方法は、タッチスクリーンディスプレイを含み、異なった形式で作られたコンテンツの一体化されたビューを表示することができるハンドヘルドコンピュータシステムを含む、いくつかの見本的な実施形態を参照して記載される。特に、ここに記載されたシステムと方法は、スクリーン上に表示された他のコンテンツと共に一体化したコンテンツとして提供されることができるツールを提供することができるグラフィカルユーザインターフェースツールを含む。
【0031】
図1は本発明によるシステム10を描写する。システム10は、プロセッサ、メモリおよびディスプレイを一般に含む型のコンピュータ機器の機能ブロック線図として示される。しかし、システム10は、全体的または部分的に、本発明のシステムとしてプロセッサを配設するためプロセッサ上で実行することができるシステムコードを構成するソフトウェアシステムとして実現できる。描写されたシステム10は、コンピュータプロセス8、複数のソースドキュメント11、ツールドキュメントファイル30、形状プロセッサ22およびビデオディスプレイ26を含む。コンピュータプロセス8は、複数のドキュメントエージェント12、ジェネリックデータオブジェクトのライブラリ16、内部表現ファイル14、メモリバッファまたはファイル15、およびパーサ/レンダラーエンジン18を含む。
【0032】
描写された実施形態において、ディスプレイ26は複数の異なるドキュメントのイメージを提供することができる。ディスプレイ26上に現れる各々の出力表示は、ドキュメントと呼ばれ、各々の描写されたドキュメントは、ワード(Word)、ネットスケープナビゲータ(Netscape Navigator)、リアルプレイヤー(Real Player)、アドベ(Adobe)、ビジオ(Visio)および他の型式のアプリケーションのような一つの別個のアプリケーションプログラムに関連付けられる。ここで使われるドキュメントという言葉は、ドキュメント、ストリームビデオ、ウェブページおよびコンピュータプロセス8により処理され表示されることができるいずれかの他の形式のデータを含むことが理解される。
【0033】
コンピュータプロセス8は、一以上のドキュメントを表示するものを含む単一の出力表示を生成する。表示されたドキュメントの集合は、アプリケーションプログラムにより生成されたコンテンツを表示し、このコンテンツはコンピュータプロセス8により生成されたプログラムウィンドウ内で表示される。コンピュータプロセス8のためのプログラムウィンドウは、グラフィカルユーザインターフェースに設けられ、ディスプレイの場合は、プログラムウィンドウ上に現れたドキュメントの動作を制御することができるようにするツールを表わす一組のアイコンも含む。
【0034】
例示された実施形態では、ディスプレイ26は、単一の一体化した表示中で異なるデータ形式を表わすコンテンツを表示する。これは、各々のアプリケーションプログラムにそれ自身の表示を形成される従来のアプローチと対照的であり、ディスプレイ26上の表示はいくつかのプログラムウィンドウを含み、典型的には各々のプログラム毎に一つのプログラムウィンドウを含む結果となる。加えて、各々異なる形式のプログラムウィンドウは、そのウィンドウ内に表示されたコンテンツを処理するための異なる一組のユーザインターフェースツールを含む。
【0035】
よって、図1に描写されたシステムは、異なる形式のドキュメントの見ることができるイメージを含む一体化された表示を造る。これは、通常はブラウザで見られるウェブページ、通常はビューワーまたはワード処理ドキュメントで見られるワードドキュメント、通常はベクトルグラフィックリーダで見られるPDFドキュメント、および通常はビデオプレーヤで見られるストリーミングビデオを含む。よって、描写されたシステム10は、基礎をなすアプリケーションプログラムからそれらのドキュメントのコンテンツを分離し、それらをスクリーン26上の表示のため提供する。
【0036】
ユーザが描写されたドキュメントを処理することができるようにするために、図1に描画されたシステム10は、それが複数ページのテキストドキュメント、ウェブサイトのページ、あるいはビデオ表示を作る一連の経時変化するイメージであるか否かにかかわらず、ドキュメントの集合を通してナビゲートするために使うことができる一組のツールを供給する。このために、以下、より詳細に説明されるように、システム10は、ツールを表示し、システム10がちょうど他の形式のドキュメントを表示していた時にシステム10によって表示されて良いドキュメントを造る。よって、本発明のシステム10は、一貫したユーザインターフェースを提供し、異なるドキュメントを表示し制御するために一組のツールの知識が必要となるだけであるという長所を持つ。
【0037】
前述のように、各々のソースドキュメント11は、入ってくるドキュメントをそのソースドキュメントのコンテンツの内部表現に翻訳することができるドキュメントエージェント12に関連付けられる。ソースドキュメント11を処理するために適当なドキュメントエージェント12を確認するために、図1のシステム10は、アプリケーションプログラムとシステム10の間のインターフェイスを制御するアプリケーションディスパッチャ(不図示)を含む。一つの実施によると、外部アプリケーションプログラミングインターフェース(API)は、データを通過させ、適当なドキュメントエージェント12を呼び出し、あるいはその逆にアプリケーションプログラムにより作られた要求を実行するアプリケーションディスパッチャと通信する。
【0038】
特定のソースドキュメント11のために適当なドキュメントエージェント12を選択するため、アプリケーションディスパッチャは、ソースドキュメント11を全てのロードされたドキュメントエージェント12に通知する。その後、これらのドキュメントエージェント12は、通知されたソースドキュメント11のコンテンツの翻訳のためのその特有の適合性についての情報で応答する。一度、ドキュメントエージェント12が応答すると、アプリケーションディスパッチャはドキュメントエージェント12を選択し、ソースドキュメント11のURIのようなポインタを選択されたドキュメント12に渡す。
【0039】
図1に示すように、ドキュメントエージェント12は、ドキュメント内の様々なドキュメントオブジェクトの特定のインスタンスの特性を定義するパラメータと一緒に、ライブラリ16内で定義されたドキュメントオブジェクトの集合によって、ソースドキュメント11のコンテンツを記述する内部表現14を生成するための標準オブジェクト型のライブラリ16を用いる。この内部表現14内で用いられるドキュメントオブジェクト型は典型的に、テキストと動画化できてもできなくとも良く、および2次元でも3次元でも良い、ビットマップグラフィックスおよびベクトルグラフィックス、ビデオ、オーディオ、ボタンおよびアイコンのような対話式のオブジェクトの様々な型を含む。ベクトルグラフィックスのドキュメントオブジェクトは、特定の塗りつぶしと透明性を有するポストスクリプトのようなパスとすることができる。テキストドキュメントオブジェクトは、スタイルの決められたテキストの領域を宣言する。
【0040】
一度、ドキュメントがドキュメントオブジェクトの内部表現に翻訳されたなら、これらのオブジェクトはパーサ/レンダラー18に通される。パーサ/レンダラー18は、コンテキスト特定表示または内部表現14により表示されたドキュメントの「眺め」を生成する。要求されたビューは、全てのドキュメントの、ドキュメント全体または部分の、またはドキュメントの内の幾つかのものとできる。パーサ/レンダラー18は、見るコンテキストと、生成される特定のドキュメントビューのいずれか関連した時間的なパラメータとを定義するビュー制御入力を受ける。例えば、システム10は、ドキュメントの一部をズームしたビューを生成し、そこで、ドキュメントの付近の部分を表示するためにズームしたビューをパンまたはスクロールすることが要求されて良い。ビュー制御入力は、どの内部表現の部分が特定のビューのために必要とされ、どのように、いつ、およびどれだけ長くビューが表示されるかを決定するため、パーサ/レンダラー18により解釈される。
【0041】
コンテキスト特定表示/ビューは、基本的な図およびパラメータにより表現される。あるいは、内部表現14によって表示されるソースドキュメント11が経時変化するマルチフレームの動画から成る場合のように、例えば内部表現14の内容の更新をトリガする目的のため、パーサ/レンダラー18および内部表現14との間にフィードバックパス42があっても良い。
【0042】
各々のソースドキュメント11は、テキストドキュメント、スプレッドシート、または他のドキュメントのようなドキュメントのデジタル表現を提供する。ドキュメントエージェント12はそのドキュメントの内部表現を造る。ある実施では、造られたデジタル表現は、ページサイズ、余白、およびその他のレイアウト情報についての情報を含むドキュメントのページレイアウトを記載する情報を含む。デジタル表現は、テキスト、図、およびドキュメント内に現れたその他のコンテンツ情報のようなソースドキュメントのコンテンツについての情報も含む。ページ構造とコンテンツ情報を認識するシステムを含む、既知のファイル構造を他の構造に翻訳するためのプロセスはこの技術分野では知られている。この動作をするためのいずれか適当な技術が、本発明の範囲から外れないで実行されることができる。
【0043】
パーサ/レンダラー18からの出力は、基本的な図によってドキュメントを表現する。各々のドキュメントオブジェクトのために、パーサ/レンダラー18からの表現は、少なくとも物理的に直方体のバウンディングボックス、バウンディングボックスにより区切られた実際の形のオブジェクト、オブジェクトのデータコンテンツ、およびその透明性でオブジェクトと境界を隔てられる。形状プロセッサ22は原始のオブジェクトを翻訳し、それを、例えばプリンタのためのドットマップ、プロッタのためのベクトル命令の一組、またはディスプレイ機器のためのビットマップといった目標出力機器26に適当な出力フレームフォーマットに変換する。出力制御入力44は形状プロセッサ22に接続され、ユーザインタフェース制御信号を、特定の出力機器26に適当な出力を生成するために伝える。よって、パーサ/レンダラー18および形状プロセッサ22は、ディスプレイ上のページレイアウトおよびページコンテンツの部分をレンダーするエンジンとして作用する。
【0044】
加えて、図1はツールドキュメントファイル30を示す。ツールドキュメントファイル30は、イメージを表わす情報を格納するコンピュータデータファイルとでき、イメージは、拡大鏡、カーソル、ルーラ、またはいずれか他の型のツールのようなツールを表示することができる。例示のため、図1に示されたシステム10は、ツールドキュメントファイル30が、拡大鏡のグラフィックのイメージを表わすデータを含む例を参照して、これより記載される。拡大鏡のイメージは、ユーザがディスプレイ26に格納されたドキュメントのイメージを、それぞれのイメージに拡大鏡を通すことにより拡大することを可能とする機能と結びつけられる。
【0045】
以下により詳細に記載されるように、拡大鏡は、拡大鏡のレンズ下となるドキュメントの部分がユーザには拡大されて見え、それゆえ基礎をなすドキュメントの残りの部分に比べて拡大されたフォーマットで表示される中央レンズ部分を含むことができる。以下の例は主に拡大鏡を参照して記載されるが、この技術における通常の技術を有する者には、他の形式のツールがここに記載されたシステムおよび方法を使用して提供され、全てのそのようなツールは本発明の範囲内になることが理解されることが自明である。
【0046】
図2を見ると、拡大鏡ツールの動作が判る。具体的には、図2は、ディスプレイ26が、ドキュメント44、サムネイルドキュメント46、拡大鏡ドキュメント48、レンズドキュメント50を含む複数の下位構成要素から成るスクリーンドキュメント42を表示するディスプレイ26を示す。ディスプレイ26は、下位ドキュメント44〜50から成る一体化した単一のドキュメントとしてスクリーン42を表示する。スクリーン42を造るために提供されたコンテンツは、そのコンテンツがドキュメント44およびサムネイルドキュメント46として見える一つまたは複数のソースドキュメント11から生じることができる。スクリーンドキュメント42は、この例では、そのデータが拡大鏡48のイメージを表示する内部表現データフォーマットによるデータを内包するツールドキュメントファイル30によって提供されたコンテンツも含む。
【0047】
加えて、ツールドキュメントファイル30は、拡大鏡48のレンズ内に見える拡大されたドキュメント50として見えるための拡大されたフォーマットのコンテンツを提供するために、スクリーンドキュメント42の適当な部分を処理することによってさらなるドキュメントを造るポータルドキュメントを内包していても良い。よって、レンズ50内に見えるドキュメントは基礎をなすドキュメントから引き出され、この引き出されたドキュメントは拡大鏡ツール48が用いられるコンテキストによって変わる。従って、ツールの特定のふるまいは、その用いるコンテキストによって変化する。
【0048】
例えば、拡大鏡ツールは、テキストを持つコンテンツドキュメントとは別に、地図データを持つコンテンツドキュメントのコンテンツを処理するツールコードに関連しても良い。例えば、地図と共に拡大鏡ツールは、拡大鏡によって造られたビュー内に示されるためだけとしてタグされる関連付けられたドキュメント構造内にハンドルを表示するため、関連付けられたコンテンツドキュメントを処理できる。よって、拡大鏡ツール48内に表示された引き出されたドキュメントは、通りの名前、観光地、公共の交通機関の位置、表記、またはその他の情報といった追加の情報を含むことができる。
【0049】
この動作において、拡大鏡ツールは、地図のビューの表示である、アプリケーションのコンテキストに応答する。他のアプリケーションにおいては、拡大鏡ツールがテキスト上で用いられる場合、ツールのふるまいは、テキストの色またはスタイルを変化させ、または、コントロールボタン、プルダウンメニュー、注釈情報、テキストバブル、または他の形式の情報のような、エデットツールおよびユーザインターフェース制御の表示とできる。
【0050】
したがって、スクリーンドキュメント42は、ソースドキュメント11およびツールドキュメントファイル30内に内包された情報の統合体および集合体である。ツールドキュメントファイル30に関連付けられたアプリケーションプログラムは、拡大されたビュー50を造るために適当なコンテンツを処理することができる。拡大するツール48および関連付けられたソースコードは、拡大されたビュー50を造るために拡大されたフォーマット内に提供されるべきスクリーンドキュメント42のその部分を認識することができる。ツールコードはまた、拡大されたビュー50を造るため選択されたコンテンツを処理することができ、スクリーン26の拡大された領域の表示効果を達成するため、拡大鏡48のレンズ範囲内に、その拡大されたビューをクリップする。よって、ツールドキュメントおよびソースドキュメント11は同じ内部表現であり、よってパーサ/レンダラー18によって表示されることができるスクリーンドキュメント42内に併合されることができる。
【0051】
一つの実施形態では、グラフィカルツール50はカーソルでドラッグすることによって、またはタッチセンシティブスクリーンが提供されるなら、スタイラスまたはディスプレイのスクリーンを横切るその他のポインタをドラッグすることにより、スクリーン上を動かされる。この動きを処理するために、ディスプレイ26は、カーソル、スタイラスまたはスクリーン上に表示されたドキュメントのイメージを横切るその他のポインタの動きを検出するため、ディスプレイ26のスクリーンをモニタするためにスクリーンモニタリングプロセスを含む。そのようなスクリーンモニタリングプロセスは、この技術分野で知られており、あらゆる適当なプロセスが用いられて良い。それゆえにモニタプロセスは、ドキュメント44の視覚的表現を超える触感制御のユーザ感覚を与える。
【0052】
スクリーンモニタプロセスにより検出される動きは、既知コマンドを表わす動作を検出するために検出された動作を処理するインターフェースプロセスに通される。この技術分野で一般的であるように、インターフェースプロセスは、分離されたプロセスで良く、またはスクリーンモニタプロセスの一部で良い。インターフェースモジュールがツール50を動かすためにコマンドを検出するように、ナビゲーションモジュールは、ディスプレイ上でユーザが望むように再び位置づけられたツール50を示す、ユーザへの表示のための新しいディスプレイを造るようにパーサ/レンダーラー18に指示する入力信号を造ることができる。
【0053】
従って、図1に示されたシステムは、複数の下位ドキュメントを内包し、そして、いくつかの下位ドキュメントはグラフィックをそれ自体に含む、する単一のドキュメントを表示するスクリーンディスプレイに一体化されることができるグラフィカルユーザインターフェースツールを提供することができる。このアプローチの力は、ユーザがディスプレイ上のドキュメントを処理し見ることができるようにし、表示されたドキュメント上の触感制御をシミュレートすることができるようにする新しいグラフィカルユーザインタフェースツールの進歩を可能にする。これらのシステムと方法は、特に、従来の入力ツールが十分にないハンドヘルドおよび移動体コンピュータプラットホーム上での使用に適している。
【0054】
ここに記載されたシステムと方法によって提供されるさらなるグラフィカルユーザインターフェースツールは、図3に示されたバブルサブネイルグラフィカルツールを含む。特に、図3は、ドキュメント44とサムネイルドキュメント60〜72を含む複数のサブドキュメントから成るスクリーンドキュメント52を含むスクリーンディスプレイ26を示す。図3に示すように、ドキュメント44はディスプレイ26の見える範囲の大部分を使う大きなドキュメントとして表示されることができる。この実施態様では、サムネイルドキュメント60〜72は、ディスプレイ26の左側に近接した位置でスクリーンドキュメント52内の縦の欄に配置される。サムネイルドキュメント60〜72は、最も大きいサムネイルドキュメント60がサムネイルドキュメントの縦列内で中心に置かれている状態で一緒に大きさが変わる。
【0055】
図3によりさらに示されるように、縦列中のドキュメントが中心のドキュメント60からの距離が増加するにつれて、ドキュメントの大きさは減少する。中心のドキュメントからの距離の基準は、ドキュメント44からのページにおける距離を表示するものとでき、ドキュメントを最後に見てから経過した時間等の違い、アルファベット順の違い、またその他の特性の違いを表示するものとすることができる。
【0056】
よって、中央のドキュメント60に隣接したドキュメント62および68は、ドキュメント60よりも多少小さい。各々のドキュメント62および68に隣接し、ドキュメント60からより遠い、さらなるドキュメント64および70は、ドキュメント64および68より一層小さい。サムネイルドキュメント60〜72の列により造られた印象は、最も大きいドキュメントであるドキュメント60が、スクリーンドキュメント52の最も大きな表示面において表示されているドキュメント44を表示することを示すために働く。ドキュメント62〜72は、現在見えているページ60からの「距離」に比例して小さくなる。したがって、サムネイルドキュメント60〜72の縦の欄は、ユーザがディスプレイ26の大きな表示面内に現れるようにドキュメントを選択するのに用いることができるナビゲーションツールを提供する。
【0057】
例えば、スクリーンディスプレイ26がタッチセンシティブスクリーンディスプレイであるそれらの適用において、ドキュメント60〜72の列内にサムネイルドキュメント表示を触れることにより、ユーザが新しいドキュメントが表示面内に現れるように動かすことができる。ユーザがキーボードまたはマウスを提供されているそれらの適用において、ユーザが表示面内に現したいドキュメントの列の中のドキュメントの内のいずれかを選択するためにそれらの特定の入力機器を用いることができる。任意の実施形態においては、ユーザが、関心のあるドキュメントを見つけるためにサムネイルドキュメントをスクロールさせることができる。また、サムネイルドキュメントのスクロールは、ドキュメント44が、ドキュメントのスクロールと一緒に変化することとなる。あるいは、サムネイルドキュメントのスクロールは、ドキュメント44の変化とは独立しており、新しいサムネイルドキュメントが選択されたときにドキュメント44が変化することとだけと一緒に起こることができる。
【0058】
したがって、ここに記載されたシステムと方法がサムネイルイメージを生成するためにナビゲーション中のユーザを待たせている間にサムネイルイメージを用いることができるように、ここに記載されたシステムと方法は、この技術分野において知られているものを含み、ライブまたは動画のサムネイルを生成するサムネイル生成を含む、適当なサムネイルジェネレータプロセスを含むことができる。
【0059】
図4は、ここに記載されたシステムと方法のさらなる実施形態を示し、先に図2に示した拡大ツールがツールコードに関連付けられ、拡大鏡オブジェクトのレンズ領域内に現れるドキュメント内で以前は表示されていなかった情報となる。より詳しくは、図4は、地図としてこの視点内で見える、スクリーンドキュメント42を含むディスプレイ26を含む。図4はさらに、レンズ領域50を含む拡大鏡ツール48を示す。図4に示すように、拡大ツール48は地図42の一部上に位置付けられる。上述のように、拡大鏡48に関連付けられたツールコードは、スクリーンドキュメント42の適切な部分の拡大視を提供することができる。図4にさらに示すように、拡大された部分50も追加の情報を含む。
【0060】
例えば、図4に示した地図アプリケーションでは、拡大ビュー50は、小さい道、重要物の位置、または拡大されたコンテンツに関するその他の情報のような追加の地図情報を含む。加えて、とは言え、拡大鏡は、表示面50内で情報のその色または情報の位置を変える、またはコントロールボタン、プルダウンメニュー、注釈情報、テキストバブル、またはその他の形式の情報等のユーザインターフェース情報を提供するツールコードに関連付けられる。したがって、ツールの特定のふるまいは、その適用のコンテキストによって変化する。例えば、上述のように、拡大鏡ツールは、テキストを有するコンテンツドキュメントとは、地図データを有するコンテンツドキュメントのコンテンツを異なって処理するツールコードに関連付けられる。よって、ここに記載されたシステムは文脈依存ツールとプロセスを提供する。
【0061】
図5および6は、ここに記載されたシステムおよび方法によって提供されるグラフィカルユーザインターフェースツールのさらなる実施形態を示す。特に図5は、2つのドキュメント80と81、およびルーラ82から成るスクリーンドキュメント42を含むスクリーン26を示す。2つのドキュメント80および81は、類似の形式のドキュメントを表示するようにされ、A4紙のように各々は同じ大きさの紙に印刷されたテキストドキュメントである。しかし、ドキュメント81の表示の縮尺は、ドキュメント80のための表示の縮尺よりも大きいため、図5は2つのドキュメント80と81を、一方が他方よりも大きいテキストのページとして示す。よって、ドキュメント80と81は、異なる縮尺要素を表示する類似のドキュメントである。
【0062】
図5に示すように、ルーラ82は、各々のドキュメントの縮尺を示し、基礎をなすドキュメントの縮尺を調整する、浮かんでいる半透明性ルーラとすることができる。これは、ルーラの区間がドキュメント80からドキュメント81に移動するにつれて、ルーラ82の目盛りの大きさが増加することによって示される。図5は、基礎をなすドキュメントの縮尺に比例してルーラ82の目盛りが変化するように描かれる。よって、ルーラ82は、コンテンツの表示縮尺に応じてルーラの目盛りを調整することができる文脈依存ユーザインターフェースツールを提供する。
【0063】
図6を参照すると、浮かんでいる半透明性の質問マーク84であるさらなるユーザインターフェースツールが、ディスプレイ26がドキュメント80と浮かんでいる半透明性質問ツール84から成るスクリーンドキュメント42を含むのを示す図6によって、基礎をなすオブジェクトのための注釈を表示することが示される。質問ツール84は、ドキュメント上の質問ツールのイメージをドラッグすることによって、またはドキュメント上にすでに位置する質問ツールアイコンを選択することによって作動されると、基礎をなすドキュメント80の注釈を表わす情報を含むテキスト88を提供する。
【0064】
図7aは、利用可能なユーザインターフェースツールをユーザに提供するための一つの方法を示す。特に、図7aは、ツールボタン90を含むスクリーン26を示す。ツールボタン90は、拡大ツール48のグラフィクの表示を提供する。拡大ツール48を起動するために、ユーザは、マウス、キーパッド、またはタッチスクリーンの使用、および拡大ツールボタンのドラッグによって、ツール48のイメージをクリックすることができる。ツールボタン90をクリックすることによって、このシステムはツールドキュメントファイルからの情報を処理し、図7aに示すようにドキュメント48のイメージを造る。図7bは、ユーザインターフェースが、一つの実施において、ユーザが拡大ツール48をスクリーン26の外に、あるいは任意の方向に押出せるようにすることができることを示す。スクリーン26の外にツールを押出すことによって、ユーザはツール48を取り除き、アイコンまたはツールボタン90をスクリーンに戻す。
【0065】
図8aおよび8bは、リンク、または他のドキュメントへのその他の形式のポインタ、またはその他のコンテンツを含むドキュメントを見るときに用いられることができる形式のさらなるツールを示す。具体的には、図8は、ドキュメント100が他のドキュメントへのリンク102を含むツールを示す。これらのドキュメントのために、ここに記載されたシステムと方法は、ボタン、スィッチ、または幾つかのその他の制御と同様に、スライダ制御104が設けられる。示されたスライダ制御104は、ドキュメント100のユーザインターフェースビューを増大させることができ、コントロール104をスライドさせることによって、ユーザがドキュメント内のリンク102の目立ち方を制御できる。よって、ツール104は、ドキュメント100のようなドキュメント内のリンクの目立ち方をユーザが調整することができるようにし、従ってリンクはユーザにより簡単に認識される。
【0066】
図8aおよび8bは、ドキュメント100が、示された強調されたテキスト108のように強調されたテキストを含むことができることをさらに示す。リンク102について、ドキュメント100の残りの部分の透明性がスライダ制御104がユーザによって変えられるに伴なって変化する一方で、スライダ制御104が強調されたテキスト108がその透明性を維持することができるようにする。動作中は、スライダ制御104は、リンク102または強調されたテキスト108を作るオブジェクトの他に、ドキュメント100を作るオブジェクトの透明性または書式をユーザが調整できるようにすることができる。しかし、ドキュメントの部分を消滅させ強調するその他の技術が、実施されても良い。
【0067】
図9を参照すると、ドキュメント100がリンク102を含むグラフィカルユーザインタフェースツールが示される。さらに、リンク102は浮上がっているサムネイルドキュメント110に関連する。図9に示すように、コントロール112がユーザに提供される。コントロール112の起動中は、ドキュメント100内のそれらのリンク102は、各々のリンク102に関連したページのページビューの浮上がったサムネイル表示に関連することができる。加えて、図9は、一つの任意の実施において、ディスプレイが先に読んだサムネイルドキュメントの集合をさらに含むことができることを示す。サムネイルドキュメント114は、ドキュメント100内のリンク102に関連した、あるいはそのドキュメント100が複数ページのドキュメントであるときにドキュメント100の他のページに関連したそれらのドキュメントの表示とすることができる。
【0068】
図10は、本発明によるグラフィカルユーザインターフェースツールの更なる例を示す。具体的には、ハンドヘルドコンピュータ機器120がそのディスプレイ上に現れた一組の文字122を有することを示す。図10にさらに示すように、カーソルウィンドウ124が、テキストディスプレイ122内の一つの文字上に現れる。示された実施態様では、カーソルウィンドウ124は、現在のテキスト位置上に浮かぶ、ソフトの、半透明性のテキストエントリープレートを設けられている。プレートはテキスト位置が移動するのと一緒に移動することができ、および/または、プレートはプレート124の下のテキストの移動に適応するためにテキストがそれ自体で左側にスクロールするように、その位置を維持することができる。
【0069】
上述したように、テキストプレートカーソル124は、図1のシステム10によって処理されたツールドキュメントファイル30から生じる。ツールドキュメントファイルは、機器120上に現れるテキストプレート124の内部表現を含む。ある実施形態では、ハンドヘルド機器120は、ユーザが、テキストエントリプレート124内のスクリーン上に現れるスタイラスを文字を形成するために用いることができるようにするタッチセンシティブスクリーンを含む。そのようなテキストが入ることができるそのようなシステムの設計と開発は、この技術分野で良く知られており、あらゆる適当なシステムがここに記載されたシステムと方法と一緒に用いられることができる。動作中は、ユーザは、テキストエントリプレート124内に現れる文字を形成するために機器120のスクリーンを横切ってスタイラスを動かすことができる。この動作は、一連のテキスト導入行程130〜138が示された図11に示されている。
【0070】
具体的には、図11は、カーソルプレート124が機器120のディスプレイ上に現れるテキスト導入行程130を示している。ユーザはカーソル124によって区切られたスペース内、または他の区域内の文字をトレースすることができ、トレーシングは任意にテキストエントリカーソル124によって区切られた範囲内に現れる。ユーザによって記入されたトレーシングは、この例では文字Lのような、それらのマークを文字と関連付けるためのこの技術分野で知られている型の文字認識システムによって処理される。行程132に示すように、一度、文字認識が完了すると、認識された文字Lはディスプレイ上に表示され、カーソルは動くことができ、またテキストはスクロールすることができ、しかしどちらにしてもカーソル124はユーザがさらにテキストを入力するために利用できるようになる。
【0071】
行程134に示すように、単語が形成されるまで、ユーザはテキストを入れることができる。行程138において、完成した単語が入るときは、ユーザはカーソル124を書かれた単語から間を隔てて動かすことができ、テキストエントリカーソル124内に現れる文字を再びトレースし始めることができる。よって、示されたカーソル124は、ドキュメント内に生じたテキストの現存する線の中にテキストのセクションを挿入すること等によって、ドキュメントへのコンテンツのインライン挿入を可能とするツールを提供する。その他の適用では、コンテンツを削除すること、色を変える、または他のアプリケーションを働かせること等によってイメージを校正するツールが提供される。
【0072】
上述したように、タッチセンシティブディスプレイを含むそれらのシステムのために、ここに記載されたシステムと方法は、ユーザがディスプレイ上のマークをトレースするためにスタイラスを使うことができるために提供され、それらのマークは文字が入ることができるためのシステムによって翻訳される。加えて、図12a〜12bは、タッチセンシティブスクリーンを横切ってスタイラスを動かすことによってユーザが導入できる一連の表示コマンドストロークを示す。図12a〜12gに示された各々のコマンドストロークは、ユーザがドキュメントを処理し見ることに用いることができるユーザインターフェースコマンドと関連付けられる。例えば、12aは、システムがシステムによって示された動作を肯定するコマンドに関連付けられた丸いチェックマークをユーザが形成するストロークを示している。同様に、図12bは、ディスプレイ上に複数の山と谷を形成し、ディスプレイからコンテンツを削除するためのコマンドに関連付けられたストロークを示す。
【0073】
図12cは、ドキュメントをホームページに戻す、またはやり直すことに関連付けられる円形の時計周りのストロークを示し、図12dは、削除、クリア、またはコマンドがないことを示す上方への対角直線ストロークを示す。図12eは反時計周りに走り、パラグラフセレクトコマンドを表示する四角いストロークを示し、図12eと12gは、それぞれ次のまたは各々以前のドキュメントに移動するためのユーザによる要求を示すストロークを示す。ここに記載されたシステムと方法が、ワードドキュメント、ウェブページ、ストリーミングメディア、および他の形式のコンテンツ等の異なる形式のドキュメントと一緒に働くシステムと方法を含む時、異なるストロークの意味はそのアプリケーションによって変化することが当事者により理解される。
【0074】
例えば、12cの円形の時計周りの回転は、ウェブページを表わすドキュメントのために、ウェブページドキュメントに関連付けられたウェブページに戻ることを要求することを示すことができる。あるいは、ストリームドメディアコンテンツを見る時に、12cの円形の時計周りのストロークを使うことは、ストリームドビデオを停止させ、最初から再開始させることを要求することを示して良い。したがって、図12a〜12bに示されたストロークコマンドはそれらのアプリケーションによって異なる意味を持つことが、この技術分野の通常の技術を有する者に明らかである。
【0075】
図13aおよび13bは、表示面内でそのドキュメントのページの動きを起こすためにドキュメントをクリックおよびドラッグするためユーザによって用いられるコマンドストロークを示す。示された実施形態では、ドキュメントをドラッグする動作中において、速度検出プロセスは、100秒毎というように、周期的に読み込み位置を取る。これらのページ読み込み位置から、ページ速度決定がなされる。ページ速度決定は、表示域を通るより自然なドキュメントの動き方をユーザインターフェースが提供できるようにするために用いられる。このために、パーサ/レンダラー18に、スクリーンを横切って動くようにドキュメントを描く一連の画像中のドキュメントを再び書くことを指示するために、プロセスが速度決定を使用することができる。
【0076】
例えば、ユーザはある速度でドキュメントをドラッグでき、そこでドキュメントからスタイラス、マウス、またはその他の入力機器を放すことができる。または、放した時に、ドキュメントは移動を止める。しかし、代わりの実施では、ドキュメント上をクリックする等してドキュメントが移動を停止すべきことをユーザが示すまで、ページが既定の方向に動き続ける。複数ページのドキュメントのために、ユーザがスクリーンを横切ってドキュメントの1ページをドラッグしたときに設定された一組のページ速度によって決定された速度でスクリーンを横切るドキュメントの異なるページをパンするために、速度測定を使うことができる。あるいは、速度は速度0になるまで一定のページの惰性により減少し、ページのスクロールは止る。すなわち、ページがパンしている間に、さらなる速度検出がページ速度を減速(加速)させるために用いられ、これゆえに、ページの惰性に対する動きは、速い連続したドラッグ動作中でページの連続した滑らかな動きを可能にする。
【0077】
加えて、あるいは、その他のユーザインターフェースプロセスが、ドキュメント上での触感制御を有することのユーザの経験を増大させるべく提供されて良い。例えば、ユーザインターフェースは、図2のドキュメント44の右上角に対応したディスプレイの位置にディスプレイ26上の動きを検出するためのページフリップディテクタを含む。もし、ページフリップディテクタまたはスクリーンモニタがドキュメント44の表面を横切る払う動きを検出したなら、ページフリップディテクタは、パーサ/レンダラー18にページを「めくる」ように指示する。動作は、ページをめくり戻すおよび先にめくる両方の方法で検出され、ページフリップディテクタは文脈依存とでき、アプリケーションおよびコンテンツの形式に適した新しいディスプレイを生成することができる。
【0078】
あるいは、インタフェースプロセスは、ドキュメント44の右上角の動きがスクリーン42またはドキュメント44を書き直すようにパーサ/レンダラー18にページカールディテクタが指示するようにすることができるようにし、ドキュメント44の角が下に巻き込まれ、基礎をなすページの部分が表示されること以外は、ページフリップディテクタに類似して動作できるページカールディテクタを含むことができる。ページフリップおよびページカールディテクタの両方とも、望まれる効果を達成するためにパーサ/レンダラー18への指示を生成することができるコンピュータプロセスとできる。加えて、ページズームディテクタ(ページ領域上をダブルクリック等)が、視点のズームイン/アウトへの上向き/下向きの動きより、追随される。この作用は、内部拡大機能を提供する速度ディテクタと都合よく結合される。
【0079】
図1はユーザインタフェースシステム10を作用のブロック要素として図示するが、本発明によるシステムとしてデータプロセッサをそれによって構成するためのデータプロセッサプラットホーム上で動作できるコンピュータプログラムまたはコンピュータプログラムの一部として、それらの要素は実現できることが、この技術分野の技術を持つものには自明である。さらに、図1はシステム10を一体化されたユニットとして示すが、これは一つの実施形態に過ぎず、本発明は複数のプラットホーム上にまたがって分布したコンピュータプログラムとして実現できることが、この技術分野の技術を持つものには自明である。
【0080】
上述のように、ユニックスワークステーションのようなより従来のコンピュータプラットホームと、ハンドヘルドコンピュータプラットホームを含む、データ処理システム上で動作するソフトウェアコンポーネントとして、上述のユーザインターフェースシステムは実現できる。これらの実施形態では、ユーザインターフェースシステムは、C言語コンピュータプログラム、C++、フォートラン(Fortran)、ジャバ(Java(登録商標))、またはベーシック(BASIC)を含む高レベル言語で書かれたコンピュータプログラムとすることができる。さらに、プラットホームが主としてマイクロプロセッサ、マイクロコントロール、またはDSPである実施態様では、ユーザインタフェースシステムは、マイクロコードで書かれた、または高レベル言語で書かれた、および用いられるプラットホーム上で実行されるマイクロコードにコンパイルされたコンピュータプログラムとして実現できる。
【0081】
そのようなシステムの開発はこの技術分野の技術を有する者に知られており、そのような技術は例えば、Digital Signal Processing Applications with theTMS320 Family, Volumes I, II, III, Texas Instruments (1990)を含む文献により明らかにされている。さらに、高レベルプログラミングのための一般的技術が知られており、例えば、Stephen G. Kochan, Programming in C, Hayden Pubulishing (1983)で明らかにされている。DSPは特に、コントラスト、端部輪郭、および輝度の調整によるイメージ改良等の作用を処理することを含む信号処理機能を実行するために特に適していることが注目される。DSPおよびマイクロコントローラシステムのためにコードを開発することは、この技術分野の良く知られた原理から判る。
【0082】
さらに、図1はコンピュータプロセス8を複数の機能ブロック要素から成るように示しているが、本発明によるシステムとして、それによりデータ処理するプラットホームを構成するためのデータ処理するプラットホーム上で動作することができるコンピュータプログラムまたはコンピュータプログラムの部分として、これらの要素を実現することができることが理解される。さらに、図1はシステム10をプロセス8およびディスプレイ機器26の一体化されたユニットとして示しているが、これは一つの実施形態に過ぎず、ここに記載されたシステムは、ディスプレイ26によって行われるドキュメントディスプレイ動作から、プロセス8のドキュメントを処理する機能とユーザインタフェース機能を分離するシステムアーキテクチャを含む、その他のアーキテクチャおよび配列として実現できることが明らかである。
【0083】
この技術分野の技術を持つ者は、ここに記載された実施形態と実施に相当する多くのものをただの通常の試行を用いて知り、または確かめることができるであろう。さらに、本発明のシステムとプロセスは多くの適用を有し、ハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、内蔵プロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、ファックス機およびその他のシステムを含む機器の範囲で使用することができる。さらに、ここに記載されたシステムは、タッチセンシティブスクリーンおよびパッド、マウス入力機器、キーボードおよびキーパッド、ジョイスティク、サムホィール機器、マウス、トラックボール、仮想現実入力システム、音声制御システム、眼球動作制御システム、およびその他のあらゆる適当な機器を含む適当なインターフェース機器と一緒に実施することができることがこの技術分野の技術を有する者によって理解される。よって、ここに記載されたシステムは多くの用途を持ち、他のドキュメント形式の洗練された処理を提供する一組のインターフェースプロセスおよびシステムを提供することを含む先行技術を超える利点を提供することも理解される。
【0084】
したがって、本発明はここに記載された実施形態に限定されるべきではなく、法の下で許容される限り広く解釈されるべきである後述の請求の範囲から理解されるべきであることが理解される。
【符号の説明】
【0085】
8…コンピュータプロセス、
11…ソースドキュメント、
12…ドキュメントエージェント、
14…内部表現ファイル、
15…メモリバッファまたはファイル、
16…ライブラリ、
18…パーサ/レンダラー、
22…形状プロセッサ、
26…ビデオディスプレイ、
30…ソースドキュメントファイル、
42…フィードバックパス、
44…出力制御入力、
42…スクリーンドキュメント、
44…ドキュメント、
46…サムネイルドキュメント、
48…拡大鏡ツール、
50…レンズドキュメント、
52…スクリーンドキュメント、
60,62,64,66,68,70,72…サムネイルドキュメント、
80,81…ドキュメント、
82…ルーラ、
84…質問ツール、
88…テキスト、
90…ツールボタン、
100…ドキュメント、
102…リンク、
104…スライダ制御、
108…テキスト、
110…サムネイルドキュメント、
112…コントロール、
114…サムネイルドキュメント、
120…ハンドヘルドコンピュータ機器、
122…文字、
124…カーソル、
130,132,134,138…テキスト導入行程。
【技術分野】
【0001】
ユーザインターフェースシステムおよびデジタルドキュメントの処理および見る方法に関する。
【0002】
ここに記載されたシステムおよび方法は、先に出願された英国特許出願第0009129.8および先に出願された米国特許出願第09/703,502に関連する。また、その米国特許出願は、デジタルドキュメント処理のシステムおよび方法と表題を付けられ、ここに同日付けで出願され、発明者名は全てマジッドアンワーであり、その内容は参照によりここに関連付けられる。
ここに記載されるシステムと方法は、デジタルドキュメントの表示を拡大および処理するためのシステムおよび方法に関し、さらに詳しくは、ハンドヘルドコンピュータ、移動通信機、または電話のような電気機器のディスプレイ、あるいは触感による命令に関連したディスプレイ機器のようなディスプレイ上に表示されたデジタルドキュメントをユーザが処理し見ることができるユーザインタフェースシステムと方法に関する。
【背景技術】
【0003】
今日、簡単にユーザがドキュメント、Eメール、ビデオ映画、および他の形式のコンテンツを見ることができる移動体およびハンドヘルドコンピュータ機器を作るために大きな苦労がある。この集中化を実現するため、技術者および科学者は、ここに参照により関連する内容である、デジタルドキュメント処理のためのシステムおよび方法、と表題が付けられた上記米国特許出願に記載されたシステムを含むシステムを発達させた。そこに記載されているように、ドキュメント、オーディオビジュアル表現、あるいはいくつかの他の形式のコンテンツにかかわらずデジタルコンテンツは、ハンドヘルド、移動体機器、またはいくつかの他のプラットホーム上で動作するソフトウェアシステムにより処理され、ソフトウェアシステムにより処理され操作されることができる均一の内部表現に翻訳され、異なった形式のコンテンツの表示がシステムによって生成され、各々の機器のスクリーンディスプレイ上に表示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−242539号公報
【特許文献2】特開平09−231004号公報
【特許文献3】特開平08−076926号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
それ故に、これらのシステムは、パームパイロット(Palm Pilot)、コンパックアイパック(Compaq Ipaq)、および移動体電話のような他のハンドヘルドおよび移動体コンピュータシステムでも同様に、ユーザにコンテンツの表示を供給することができる。しかし、これらのハンドヘルドおよび移動体のシステムは典型的に、通常携帯電話機上にあるキーボードである小さく、制限されたキーボードのような簡単な入力機器、またはパームコンピュータ機器に設けられたタッチスクリーンのような小さなタッチスクリーンシステムにより制限されている。それゆえ、これらのシステムは極めて複雑でもユーザにコンテンツを示すことができるが、これらのシステムは、ドキュメントの異なるページまたはドキュメントの異なる部分を選択すること等によってユーザがコンテンツの表示を処理することができる許容度は制限される。それゆえ、これらのハンドヘルドおよび携帯システムはとても使いやすいが、操作をサポートし、それらの機器上に表示されたコンテンツを見ることを可能とするユーザインターフェイスの部分に起因したその使用の制限がある。
【0006】
結果として、この技術分野において、より容易にハンドヘルドまたは携帯機器により表示されたコンテンツを処理し見えるようにする改良されたユーザインターフェイスを提供するシステムおよび方法が必要とされる。
【0007】
さらに、この技術分野において、そのコンテンツがその基礎をなすアプリケーションプログラムから分離されたときに、コンテンツの処理を可能とするユーザインターフェイスツールが必要とされる。
【0008】
ここに記載されるシステムと方法は、移動体機器またはハンドヘルド機器上に表示されたコンテンツをユーザがより簡単に処理し見ることができる進歩したユーザインタフェイスツールを供給する。
【課題を解決するための手段】
【0009】
一つの特定の実施態様によれば、ここに記載されるシステムと方法は、タッチアンドフィールユーザインターフェースの一例を示すグラフィカルユーザインターフェースを供給する。より具体的には、ここに記載されたシステムと方法は、その機器自体の上で、または遠隔指示を通して、または遠隔指示を通して、または他のユニット上の遠隔ディスプレイを通して見えるドキュメント上で触感制御をシミュレートしたシステムを有するハンドヘルドまたは移動体機器を含む。
【0010】
これらのシステムは、プロセッサ、メモリ、およびタッチセンシティブディスプレイ(またはリモートタッチセンシティブコントロールを有するディスプレイ)を指示するハウジングを含み、システムコードはメモリ内に記憶され、プロセッサにより実行されるように適合される。システムコードはドキュメントのデジタル表現を生成しまたは供給し、そのデジタル表現はデータコンテンツとドキュメントのページレイアウトを表わすページ構造とを含む。そのため、あるアプリケーションでは、レンダーされたイメージは、ドキュメントのレイアウトと同様にドキュメントのコンテンツを含み、それによりドキュメントが物理的にどのように見えるかのイメージを供給する。
【0011】
システムはレンダーされたエンジンも含み、それはタッチセンシティブディスプレイ上のデジタル表現のページレイアウトの少なくとも一部分に表示されたパーサおよびレンダラーを含む。
【0012】
スクリーンモニタは、タッチセンシティブスクリーンの表面を横切る動きを検出するためにタッチセンシティブスクリーンをモニタすることができ、インターフェースプロセスは、デジタル表現のページ構造を変えるべく、コマンドを表わす動きを検出して、検出された動きを処理する。
【0013】
ナビゲーションモジュールは、インターフェースプロセスに応答でき、ページレイアウト表示部を変えることができる。そのため、ページレイアウト表示部を変えることにより、システムはドキュメントのデジタル表現を通してユーザをナビゲートすることができる。
【0014】
本発明のシステムと方法は他のアプリケーションおよび他の形式のシステムで使用された時に適用性と価値を有するが、説明の目的のために、本発明は、そのシステムがハンドヘルドコンピュータ機器上に表示されたドキュメントのナビゲーションを容易にするそれらのアプリケーションを参照して記載される。
【0015】
より具体的には、ここに記載されるシステムと方法は、とりわけドキュメント上で触感制御をシミュレートするシステムを有するコンピュータ機器を提供する。
【0016】
一つの実施態様では、これらのシステムは、プロセッサ、メモリ、およびディスプレイを含み、メモリ内に記憶されプロセッサにより実行されるように適合されたシステムコードであって、そのシステムコードはデータコンテンツおよびドキュメントのページレイアウトを表わすページ構造を含むドキュメントのデジタル表現を供給し、ディスプレイ上のデジタル表現のページレイアウトの少なくとも一部分を表示するためのレンダリングエンジンと、ディスプレイ上に表示されたイメージを横切った物体の動きを検出するスクリーンをモニタするためのスクリーンモニタと、デジタル表現のレンダーされたページ構造を変えるべく、コマンドを表わす動きを検出して、検出された動きを処理するためのインターフェイスプロセスと、およびページレイアウトのレンダーされた部分を変化させるためにインターフェースプロセスに応答できるナビゲーションモジュールを含み、ページレイアウトのレンダーされた部分を変更することはドキュメントのデジタル表現を通してユーザをナビゲートすることを可能にする。
【0017】
これらのコンピュータ機器は、スクリーンを横切って動くカーソルを描くことができるコンピュータディスプレイと同様に、スクリーンモニタがタッチセンシティブスクリーンディスプレイの表面を横切る動きを検出するためにタッチセンシティブスクリーンをモニタするタッチセンシティブディスプレイを含むことができ、そしてそのスクリーンモニタはディスプレイの表面を横切るカーソルの動きを検出する。プロセッサ、メモリ、スクリーンモニタおよびディスプレイは、複数のアプリケーション、およびハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、埋め込み型プロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、およびファックス機を含む機器で使用できるデータ処理プラットフォームとして設計される。
【0018】
ある任意の実施態様では、コンピュータ機器は、ディスプレイ中のドキュメントに速度特性を適用する手段と同様に、タッチセンシティブディスプレイの表面を横切って検出された動作に関連した速度ベクトルを決定するための速度ディテクタも含む。
【0019】
さらに、これらのコンピュータ機器は、ドキュメントまたはドキュメントの集合体および他のコンテンツを通してナビゲートすることをより容易にするインターフェースプロセスを持つことができる。これらのインターフェースプロセスは、ドキュメントの角を図式的に示したページレイアウトの一部分を表わす位置でタッチスクリーンの表面を横切る動作を検出するためのページフリップディテクタを含むことができる。ページフリップディテクタは、現在表示されているページに隣接するページを表わすページレイアウトの部分を表示することができる。同様に、機器は現在のページに隣接するページの部分を表わすページレイアウトの部分を表示するためにページカールディテクタを含むことができる。
【0020】
さらに、インターフェースプロセスは、レンダーされるべきページレイアウトの部分を選択するための、あるいはドキュメントのデジタル表現のデータコンテンツを変えるためのコマンドを表わす所定の動きを検出するためのジェスチャリングプロセスを含むことができる。なお、また、インターフェースの制御は、ディスプレイ上に表示されたドキュメントの透明性を制御するための、およびドキュメントの他の部分に対する選択された部分の視認性を調整するためにドキュメントの選択された部分の透明性を制御するためのプロセスを含むことができる。他のインターフェースプロセスは、拡大ツール、ルーラ、テキスト入力カーソル、サムネイルナビゲーション欄、リンクしたコンテンツのサムネイルビュー、および質問ツールを示す表示ツールを含むツールを供給する。
【0021】
なお他の態様では、本発明は、文脈依存グラフィカルインターフェイスツールを有するコンピュータ機器および関連するプロセスを供給する。
【0022】
これらの機器は、プロセッサ、メモリ、およびタッチセンシティブディスプレイを含み、メモリ内に記憶されコンテンツの内部表現を表わすコンテンツドキュメントファイルと、メモリ内に記憶されグラフィカルインターフェイスツールを表わすイメージを提供するドキュメントの内部表現を供給するツールドキュメントファイルと、プロセッサを実行し、ツールドキュメントファイルに関連付けられることができ、そしてレンダーされるときにはツールに関連付けられた表示効果を達成できるような方法でコンテンツを示すコンテンツの内部表現を生成するためにコンテンツドキュメントファイルを処理することができるツールコードと、コンテンツドキュメントファイル、ツールドキュメントファイルと、および処理された内部表現を処理してディスプレイのためにスクリーンドキュメントを生成するパーシングコードと、ユーザがレンダーされたコンテンツ上の選択されたコンテキスト上の関係中にグラフィカルインターフェイスツールのイメージを配置することができるための、および選択された部分に関連したコンテンツドキュメントファイルの部分をツールコードが処理するようにするためのインターフェースコードを含む。
【0023】
グラフィカルインターフェースツールおよび表示されたコンテンツの間のコンテキスト上の関係はアプリケーションによって変化し、例えば、グラフィカルインターフェースツールおよび表示されたコンテンツの相対的な位置、表示されたコンテンツ上でグラフィカルインターフェースツールが作動する時間、および表示されたコンテンツの状態から成る群から選択され得る。これらの装置は融通がきき、移動体システム内、およびオーディオプレーヤー、電子レンジ、冷蔵庫、および洗濯機等の家庭機器と同様に、ハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、埋め込みプロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、およびファック機を含み、しかしこれらに制限されない異なる形態および装置で具体化できる。
【0024】
しかし、標準的なキーボードおよびマウスのような典型的な入力ツールを含む従来のコンピュータワークステーション上でコンテンツが表示されるアプリケーションを含む他のアプリケーション中でも、これらのインターフェースツールは役立つことが、この技術分野の通常の技術を有する者により理解される。さらに、ここに記載されたシステムと方法は、出力機器として用いられる埋込みビジュアルディスプレイのような内蔵ディスプレイシステムのためのインターフェースを提供する有用なツールも提供する。このような埋込みディスプレイシステムの例は、携帯電話や、ユーザがコピー機能を働かせるために異なるオプションを選択することができるようにし、コピーされるドキュメントのユーザにイメージを提供するビジュアルタッチスクリーンディスプレイを含むコピー機を含む。他の例では、ビジュアルディスプレイがユーザが入って来たファックスの描画を見えるようにするためにユーザに提供される。ここに記載されたユーザインターフェースシステムおよび方法の他の実施態様および適用は、この技術分野の通常の技術を有する者に明らかである。
【0025】
より具体的には、ここに記載されるシステムと方法は、ユーザがスクリーン上に表示されたコンテンツを処理することができるようにするユーザインターフェースツールを提供する。特に、ここに記載されるシステムと方法は、ディスプレイ上に表示される情報のためのアブストラクトレイヤーを生成するソフトウェアシステムを提供する。このアブストラクトレイヤーはドキュメントオブジェクトを含み、ドキュメントオブジェクトはスクリーン上に表示されるべき情報またはコンテンツを有する。ある実施では、スクリーン上に表示された全ての情報が一つのドキュメントとして扱われる。そのため、最も高い水準では、スクリーンの全てのコンテンツが一つのドキュメントオブジェクトとして理解される。この実施態様に加えて、ドキュメントオブジェクトは他のドキュメントオブジェクトを含んでいても良く、それらの各々がユーザに表示されたコンテンツの部分集合を含むことが理解される。そのため、スクリーンレベルでは、表示された全ての情報は、スクリーン上に表示されたウェブページ、ストリームビデオ、およびグラフィカルアイコンといったアイテムが、高レベルのスクリーンドキュメントオブジェクト内に含まれるドキュメントオブジェクトとして各々別々に理解される単一のドキュメントとして理解される。
【0026】
それゆえ、スクリーン上に表示された全てのコンテンツは抽象的にドキュメントとして扱われ、この例は表示されているコンテンツがテキストのページを表わす情報であるか、あるいはユーザインターフェースツールを表わす情報であるか、あるいはウインドウ/デスクトップファーニチャーであるか判断する。したがって、ここに記載されたユーザインターフェースシステムおよび方法は、スクリーンディスプレイ上に表示されたドキュメントオブジェクトをユーザが処理することができるようにするためのユーザインターフェースツールと機能を提供する。
【0027】
加えて、ここに記載されたシステムおよび方法は、一つの実施態様では、プロセッサ、メモリ、およびタッチセンシティブディスプレイを支持するハウジングを含むハンドヘルドコンピュータ機器を提供する。さらに、コンピュータ機器はメモリ内に記憶され、プロセッサにより実行されるように適合されたシステムコードを含む。システムコードは、タッチセンシティブディスプレイ上に表示されるべきコンテンツを表わす入力バイトストリームを処理することができ、コンテンツの内部表現を表わすコンテンツドキュメントファイルを生成することができる。
【0028】
ツールドキュメントファイルもメモリ内に記憶され、グラフィカルツールの表示であるイメージを提供するドキュメントの内部表現を提供する。ツールコードはツールドキュメントに関連付けられることができ、それは、ツールに関連した表示効果を達成するような方法でコンテンツを示すコンテンツの内部表現を生成するために、コンテンツドキュメントファイルを処理することができる。この装置は、コンテンツドキュメントファイル、ツールドキュメントファイル、および表示効果を描写するような方法でタッチセンシティブディスプレイ上に表示するためのスクリーンドキュメントを生成するための処理された内部表現を処理するパーシングコードも含む。
また、ドキュメントに対する触感制御をサポートするディスプレイ装置であって、プロセッサ及び触感方式ディスプレイと、前記プロセッサによって実行されるように適応され、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含む前記ドキュメントのデジタル表現を提供するシステムコードを格納するメモリと、前記触感方式ディスプレイ上のデジタル表現のためにページレイアウトの少なくとも一部に対応するイメージをレンダリングするエンジンと、前記触感方式ディスプレイ上でポインタの動きを検出するために前記触感方式ディスプレイと通信するディスプレイモニタと、前記検出された動きの速度に基づいて速度ベクトルを決定する速度検出器と、前記ディスプレイモニタにより検出された動きを処理して複数の命令のうちの一つを検出するために前記ディスプレイモニタと通信するインターフェイプロセスと、を含み、ここで、前記複数の命令は、移動命令を含み、前記インターフェイプロセスにより検出された前記移動命令に応答して前記エンジンが前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させ、ここで、前記エンジンは、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって、前記検出された速度ベクトルと共にページ惰性を追加で利用し、前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とする。
さらに、プロセッサ、メモリ、及び接続方式プロセッサを含むディスプレイ装置におけるドキュメントに対する触感制御をサポートするディスプレイ方法であって、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含むシステムコードを使用して前記ページレイアウトの少なくとも一部に対応するイメージをレンダリングする過程と、前記レンダリングによりデジタル表現がディスプレイされた前記触感方式ディスプレイ上でポインタの動きを検出する過程と、前記検出された動きの速度に基づいて速度ベクトルを決定する過程と、前記ディスプレイモニタにより検出された動きを処理して移動命令を含む複数の命令のうちの一つを検出する過程と、前記移動命令が検出されると、前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させる過程と、を含み、ここで、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって前記検出された速度ベクトルと共にページ惰性を追加で利用し、前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とする。
前述の、およびその他のもの、および本発明の利点は、添付の図面を参照して、さらに以下の記載からより完全に認識される。
【図面の簡単な説明】
【0029】
【図1】本発明による1つのシステムの機能ブロック図である。
【図2】図1に示されたシステムによって生成されたツールの一例を示す。
【図3】複数のページを持つドキュメントを通してナビゲートするために複数のサムネイルを提供するグラフィカルユーザインターフェースツールを示す。
【図4】拡大された範囲内で追加の情報を提供する本発明による拡大するグラフィカルユーザインターフェースツールを示す。
【図5】半透明性で大きさを合わせられるルーラグラフィカルツールを示す。
【図6】透明性の質問マーカグラフィカルユーザインターフェースツールを示す。
【図7】グラフィカルツールを活動化および不活動化するためのユーザインターフェースの機構を示す。
【図8】図8aおよび図8bは、表示されたドキュメントの選択された部分を視覚的に強調するためのユーザインターフェースツールを示す。
【図9】本発明によるさらなるユーザインターフェースツールを示す。
【図10】本発明によるテキストエントリーツールを示す。
【図11】本発明によるテキストエントリーツールを示す。
【図12】図12a〜図12gは、ハンドヘルドシステムにコマンドを供給するための一連のストロークを示す。
【図13】図13A〜13Bは、表示されているドキュメントに速度特性を適用することによりドキュメントを通してスクロールするためのユーザインターフェースツールを示す。
【発明を実施するための形態】
【0030】
ここに記載されたシステムと方法は、コンピュータ端末、ディスプレイスクリーン、プリンタ、プロッタ、または人間が読むことができる視覚的表示を生成するのに適した他の全ての出力機器等の表示面上に表示されたドキュメントを処理し見るためのシステムと方法を含む。説明の目的のために、システムおよび方法は、タッチスクリーンディスプレイを含み、異なった形式で作られたコンテンツの一体化されたビューを表示することができるハンドヘルドコンピュータシステムを含む、いくつかの見本的な実施形態を参照して記載される。特に、ここに記載されたシステムと方法は、スクリーン上に表示された他のコンテンツと共に一体化したコンテンツとして提供されることができるツールを提供することができるグラフィカルユーザインターフェースツールを含む。
【0031】
図1は本発明によるシステム10を描写する。システム10は、プロセッサ、メモリおよびディスプレイを一般に含む型のコンピュータ機器の機能ブロック線図として示される。しかし、システム10は、全体的または部分的に、本発明のシステムとしてプロセッサを配設するためプロセッサ上で実行することができるシステムコードを構成するソフトウェアシステムとして実現できる。描写されたシステム10は、コンピュータプロセス8、複数のソースドキュメント11、ツールドキュメントファイル30、形状プロセッサ22およびビデオディスプレイ26を含む。コンピュータプロセス8は、複数のドキュメントエージェント12、ジェネリックデータオブジェクトのライブラリ16、内部表現ファイル14、メモリバッファまたはファイル15、およびパーサ/レンダラーエンジン18を含む。
【0032】
描写された実施形態において、ディスプレイ26は複数の異なるドキュメントのイメージを提供することができる。ディスプレイ26上に現れる各々の出力表示は、ドキュメントと呼ばれ、各々の描写されたドキュメントは、ワード(Word)、ネットスケープナビゲータ(Netscape Navigator)、リアルプレイヤー(Real Player)、アドベ(Adobe)、ビジオ(Visio)および他の型式のアプリケーションのような一つの別個のアプリケーションプログラムに関連付けられる。ここで使われるドキュメントという言葉は、ドキュメント、ストリームビデオ、ウェブページおよびコンピュータプロセス8により処理され表示されることができるいずれかの他の形式のデータを含むことが理解される。
【0033】
コンピュータプロセス8は、一以上のドキュメントを表示するものを含む単一の出力表示を生成する。表示されたドキュメントの集合は、アプリケーションプログラムにより生成されたコンテンツを表示し、このコンテンツはコンピュータプロセス8により生成されたプログラムウィンドウ内で表示される。コンピュータプロセス8のためのプログラムウィンドウは、グラフィカルユーザインターフェースに設けられ、ディスプレイの場合は、プログラムウィンドウ上に現れたドキュメントの動作を制御することができるようにするツールを表わす一組のアイコンも含む。
【0034】
例示された実施形態では、ディスプレイ26は、単一の一体化した表示中で異なるデータ形式を表わすコンテンツを表示する。これは、各々のアプリケーションプログラムにそれ自身の表示を形成される従来のアプローチと対照的であり、ディスプレイ26上の表示はいくつかのプログラムウィンドウを含み、典型的には各々のプログラム毎に一つのプログラムウィンドウを含む結果となる。加えて、各々異なる形式のプログラムウィンドウは、そのウィンドウ内に表示されたコンテンツを処理するための異なる一組のユーザインターフェースツールを含む。
【0035】
よって、図1に描写されたシステムは、異なる形式のドキュメントの見ることができるイメージを含む一体化された表示を造る。これは、通常はブラウザで見られるウェブページ、通常はビューワーまたはワード処理ドキュメントで見られるワードドキュメント、通常はベクトルグラフィックリーダで見られるPDFドキュメント、および通常はビデオプレーヤで見られるストリーミングビデオを含む。よって、描写されたシステム10は、基礎をなすアプリケーションプログラムからそれらのドキュメントのコンテンツを分離し、それらをスクリーン26上の表示のため提供する。
【0036】
ユーザが描写されたドキュメントを処理することができるようにするために、図1に描画されたシステム10は、それが複数ページのテキストドキュメント、ウェブサイトのページ、あるいはビデオ表示を作る一連の経時変化するイメージであるか否かにかかわらず、ドキュメントの集合を通してナビゲートするために使うことができる一組のツールを供給する。このために、以下、より詳細に説明されるように、システム10は、ツールを表示し、システム10がちょうど他の形式のドキュメントを表示していた時にシステム10によって表示されて良いドキュメントを造る。よって、本発明のシステム10は、一貫したユーザインターフェースを提供し、異なるドキュメントを表示し制御するために一組のツールの知識が必要となるだけであるという長所を持つ。
【0037】
前述のように、各々のソースドキュメント11は、入ってくるドキュメントをそのソースドキュメントのコンテンツの内部表現に翻訳することができるドキュメントエージェント12に関連付けられる。ソースドキュメント11を処理するために適当なドキュメントエージェント12を確認するために、図1のシステム10は、アプリケーションプログラムとシステム10の間のインターフェイスを制御するアプリケーションディスパッチャ(不図示)を含む。一つの実施によると、外部アプリケーションプログラミングインターフェース(API)は、データを通過させ、適当なドキュメントエージェント12を呼び出し、あるいはその逆にアプリケーションプログラムにより作られた要求を実行するアプリケーションディスパッチャと通信する。
【0038】
特定のソースドキュメント11のために適当なドキュメントエージェント12を選択するため、アプリケーションディスパッチャは、ソースドキュメント11を全てのロードされたドキュメントエージェント12に通知する。その後、これらのドキュメントエージェント12は、通知されたソースドキュメント11のコンテンツの翻訳のためのその特有の適合性についての情報で応答する。一度、ドキュメントエージェント12が応答すると、アプリケーションディスパッチャはドキュメントエージェント12を選択し、ソースドキュメント11のURIのようなポインタを選択されたドキュメント12に渡す。
【0039】
図1に示すように、ドキュメントエージェント12は、ドキュメント内の様々なドキュメントオブジェクトの特定のインスタンスの特性を定義するパラメータと一緒に、ライブラリ16内で定義されたドキュメントオブジェクトの集合によって、ソースドキュメント11のコンテンツを記述する内部表現14を生成するための標準オブジェクト型のライブラリ16を用いる。この内部表現14内で用いられるドキュメントオブジェクト型は典型的に、テキストと動画化できてもできなくとも良く、および2次元でも3次元でも良い、ビットマップグラフィックスおよびベクトルグラフィックス、ビデオ、オーディオ、ボタンおよびアイコンのような対話式のオブジェクトの様々な型を含む。ベクトルグラフィックスのドキュメントオブジェクトは、特定の塗りつぶしと透明性を有するポストスクリプトのようなパスとすることができる。テキストドキュメントオブジェクトは、スタイルの決められたテキストの領域を宣言する。
【0040】
一度、ドキュメントがドキュメントオブジェクトの内部表現に翻訳されたなら、これらのオブジェクトはパーサ/レンダラー18に通される。パーサ/レンダラー18は、コンテキスト特定表示または内部表現14により表示されたドキュメントの「眺め」を生成する。要求されたビューは、全てのドキュメントの、ドキュメント全体または部分の、またはドキュメントの内の幾つかのものとできる。パーサ/レンダラー18は、見るコンテキストと、生成される特定のドキュメントビューのいずれか関連した時間的なパラメータとを定義するビュー制御入力を受ける。例えば、システム10は、ドキュメントの一部をズームしたビューを生成し、そこで、ドキュメントの付近の部分を表示するためにズームしたビューをパンまたはスクロールすることが要求されて良い。ビュー制御入力は、どの内部表現の部分が特定のビューのために必要とされ、どのように、いつ、およびどれだけ長くビューが表示されるかを決定するため、パーサ/レンダラー18により解釈される。
【0041】
コンテキスト特定表示/ビューは、基本的な図およびパラメータにより表現される。あるいは、内部表現14によって表示されるソースドキュメント11が経時変化するマルチフレームの動画から成る場合のように、例えば内部表現14の内容の更新をトリガする目的のため、パーサ/レンダラー18および内部表現14との間にフィードバックパス42があっても良い。
【0042】
各々のソースドキュメント11は、テキストドキュメント、スプレッドシート、または他のドキュメントのようなドキュメントのデジタル表現を提供する。ドキュメントエージェント12はそのドキュメントの内部表現を造る。ある実施では、造られたデジタル表現は、ページサイズ、余白、およびその他のレイアウト情報についての情報を含むドキュメントのページレイアウトを記載する情報を含む。デジタル表現は、テキスト、図、およびドキュメント内に現れたその他のコンテンツ情報のようなソースドキュメントのコンテンツについての情報も含む。ページ構造とコンテンツ情報を認識するシステムを含む、既知のファイル構造を他の構造に翻訳するためのプロセスはこの技術分野では知られている。この動作をするためのいずれか適当な技術が、本発明の範囲から外れないで実行されることができる。
【0043】
パーサ/レンダラー18からの出力は、基本的な図によってドキュメントを表現する。各々のドキュメントオブジェクトのために、パーサ/レンダラー18からの表現は、少なくとも物理的に直方体のバウンディングボックス、バウンディングボックスにより区切られた実際の形のオブジェクト、オブジェクトのデータコンテンツ、およびその透明性でオブジェクトと境界を隔てられる。形状プロセッサ22は原始のオブジェクトを翻訳し、それを、例えばプリンタのためのドットマップ、プロッタのためのベクトル命令の一組、またはディスプレイ機器のためのビットマップといった目標出力機器26に適当な出力フレームフォーマットに変換する。出力制御入力44は形状プロセッサ22に接続され、ユーザインタフェース制御信号を、特定の出力機器26に適当な出力を生成するために伝える。よって、パーサ/レンダラー18および形状プロセッサ22は、ディスプレイ上のページレイアウトおよびページコンテンツの部分をレンダーするエンジンとして作用する。
【0044】
加えて、図1はツールドキュメントファイル30を示す。ツールドキュメントファイル30は、イメージを表わす情報を格納するコンピュータデータファイルとでき、イメージは、拡大鏡、カーソル、ルーラ、またはいずれか他の型のツールのようなツールを表示することができる。例示のため、図1に示されたシステム10は、ツールドキュメントファイル30が、拡大鏡のグラフィックのイメージを表わすデータを含む例を参照して、これより記載される。拡大鏡のイメージは、ユーザがディスプレイ26に格納されたドキュメントのイメージを、それぞれのイメージに拡大鏡を通すことにより拡大することを可能とする機能と結びつけられる。
【0045】
以下により詳細に記載されるように、拡大鏡は、拡大鏡のレンズ下となるドキュメントの部分がユーザには拡大されて見え、それゆえ基礎をなすドキュメントの残りの部分に比べて拡大されたフォーマットで表示される中央レンズ部分を含むことができる。以下の例は主に拡大鏡を参照して記載されるが、この技術における通常の技術を有する者には、他の形式のツールがここに記載されたシステムおよび方法を使用して提供され、全てのそのようなツールは本発明の範囲内になることが理解されることが自明である。
【0046】
図2を見ると、拡大鏡ツールの動作が判る。具体的には、図2は、ディスプレイ26が、ドキュメント44、サムネイルドキュメント46、拡大鏡ドキュメント48、レンズドキュメント50を含む複数の下位構成要素から成るスクリーンドキュメント42を表示するディスプレイ26を示す。ディスプレイ26は、下位ドキュメント44〜50から成る一体化した単一のドキュメントとしてスクリーン42を表示する。スクリーン42を造るために提供されたコンテンツは、そのコンテンツがドキュメント44およびサムネイルドキュメント46として見える一つまたは複数のソースドキュメント11から生じることができる。スクリーンドキュメント42は、この例では、そのデータが拡大鏡48のイメージを表示する内部表現データフォーマットによるデータを内包するツールドキュメントファイル30によって提供されたコンテンツも含む。
【0047】
加えて、ツールドキュメントファイル30は、拡大鏡48のレンズ内に見える拡大されたドキュメント50として見えるための拡大されたフォーマットのコンテンツを提供するために、スクリーンドキュメント42の適当な部分を処理することによってさらなるドキュメントを造るポータルドキュメントを内包していても良い。よって、レンズ50内に見えるドキュメントは基礎をなすドキュメントから引き出され、この引き出されたドキュメントは拡大鏡ツール48が用いられるコンテキストによって変わる。従って、ツールの特定のふるまいは、その用いるコンテキストによって変化する。
【0048】
例えば、拡大鏡ツールは、テキストを持つコンテンツドキュメントとは別に、地図データを持つコンテンツドキュメントのコンテンツを処理するツールコードに関連しても良い。例えば、地図と共に拡大鏡ツールは、拡大鏡によって造られたビュー内に示されるためだけとしてタグされる関連付けられたドキュメント構造内にハンドルを表示するため、関連付けられたコンテンツドキュメントを処理できる。よって、拡大鏡ツール48内に表示された引き出されたドキュメントは、通りの名前、観光地、公共の交通機関の位置、表記、またはその他の情報といった追加の情報を含むことができる。
【0049】
この動作において、拡大鏡ツールは、地図のビューの表示である、アプリケーションのコンテキストに応答する。他のアプリケーションにおいては、拡大鏡ツールがテキスト上で用いられる場合、ツールのふるまいは、テキストの色またはスタイルを変化させ、または、コントロールボタン、プルダウンメニュー、注釈情報、テキストバブル、または他の形式の情報のような、エデットツールおよびユーザインターフェース制御の表示とできる。
【0050】
したがって、スクリーンドキュメント42は、ソースドキュメント11およびツールドキュメントファイル30内に内包された情報の統合体および集合体である。ツールドキュメントファイル30に関連付けられたアプリケーションプログラムは、拡大されたビュー50を造るために適当なコンテンツを処理することができる。拡大するツール48および関連付けられたソースコードは、拡大されたビュー50を造るために拡大されたフォーマット内に提供されるべきスクリーンドキュメント42のその部分を認識することができる。ツールコードはまた、拡大されたビュー50を造るため選択されたコンテンツを処理することができ、スクリーン26の拡大された領域の表示効果を達成するため、拡大鏡48のレンズ範囲内に、その拡大されたビューをクリップする。よって、ツールドキュメントおよびソースドキュメント11は同じ内部表現であり、よってパーサ/レンダラー18によって表示されることができるスクリーンドキュメント42内に併合されることができる。
【0051】
一つの実施形態では、グラフィカルツール50はカーソルでドラッグすることによって、またはタッチセンシティブスクリーンが提供されるなら、スタイラスまたはディスプレイのスクリーンを横切るその他のポインタをドラッグすることにより、スクリーン上を動かされる。この動きを処理するために、ディスプレイ26は、カーソル、スタイラスまたはスクリーン上に表示されたドキュメントのイメージを横切るその他のポインタの動きを検出するため、ディスプレイ26のスクリーンをモニタするためにスクリーンモニタリングプロセスを含む。そのようなスクリーンモニタリングプロセスは、この技術分野で知られており、あらゆる適当なプロセスが用いられて良い。それゆえにモニタプロセスは、ドキュメント44の視覚的表現を超える触感制御のユーザ感覚を与える。
【0052】
スクリーンモニタプロセスにより検出される動きは、既知コマンドを表わす動作を検出するために検出された動作を処理するインターフェースプロセスに通される。この技術分野で一般的であるように、インターフェースプロセスは、分離されたプロセスで良く、またはスクリーンモニタプロセスの一部で良い。インターフェースモジュールがツール50を動かすためにコマンドを検出するように、ナビゲーションモジュールは、ディスプレイ上でユーザが望むように再び位置づけられたツール50を示す、ユーザへの表示のための新しいディスプレイを造るようにパーサ/レンダーラー18に指示する入力信号を造ることができる。
【0053】
従って、図1に示されたシステムは、複数の下位ドキュメントを内包し、そして、いくつかの下位ドキュメントはグラフィックをそれ自体に含む、する単一のドキュメントを表示するスクリーンディスプレイに一体化されることができるグラフィカルユーザインターフェースツールを提供することができる。このアプローチの力は、ユーザがディスプレイ上のドキュメントを処理し見ることができるようにし、表示されたドキュメント上の触感制御をシミュレートすることができるようにする新しいグラフィカルユーザインタフェースツールの進歩を可能にする。これらのシステムと方法は、特に、従来の入力ツールが十分にないハンドヘルドおよび移動体コンピュータプラットホーム上での使用に適している。
【0054】
ここに記載されたシステムと方法によって提供されるさらなるグラフィカルユーザインターフェースツールは、図3に示されたバブルサブネイルグラフィカルツールを含む。特に、図3は、ドキュメント44とサムネイルドキュメント60〜72を含む複数のサブドキュメントから成るスクリーンドキュメント52を含むスクリーンディスプレイ26を示す。図3に示すように、ドキュメント44はディスプレイ26の見える範囲の大部分を使う大きなドキュメントとして表示されることができる。この実施態様では、サムネイルドキュメント60〜72は、ディスプレイ26の左側に近接した位置でスクリーンドキュメント52内の縦の欄に配置される。サムネイルドキュメント60〜72は、最も大きいサムネイルドキュメント60がサムネイルドキュメントの縦列内で中心に置かれている状態で一緒に大きさが変わる。
【0055】
図3によりさらに示されるように、縦列中のドキュメントが中心のドキュメント60からの距離が増加するにつれて、ドキュメントの大きさは減少する。中心のドキュメントからの距離の基準は、ドキュメント44からのページにおける距離を表示するものとでき、ドキュメントを最後に見てから経過した時間等の違い、アルファベット順の違い、またその他の特性の違いを表示するものとすることができる。
【0056】
よって、中央のドキュメント60に隣接したドキュメント62および68は、ドキュメント60よりも多少小さい。各々のドキュメント62および68に隣接し、ドキュメント60からより遠い、さらなるドキュメント64および70は、ドキュメント64および68より一層小さい。サムネイルドキュメント60〜72の列により造られた印象は、最も大きいドキュメントであるドキュメント60が、スクリーンドキュメント52の最も大きな表示面において表示されているドキュメント44を表示することを示すために働く。ドキュメント62〜72は、現在見えているページ60からの「距離」に比例して小さくなる。したがって、サムネイルドキュメント60〜72の縦の欄は、ユーザがディスプレイ26の大きな表示面内に現れるようにドキュメントを選択するのに用いることができるナビゲーションツールを提供する。
【0057】
例えば、スクリーンディスプレイ26がタッチセンシティブスクリーンディスプレイであるそれらの適用において、ドキュメント60〜72の列内にサムネイルドキュメント表示を触れることにより、ユーザが新しいドキュメントが表示面内に現れるように動かすことができる。ユーザがキーボードまたはマウスを提供されているそれらの適用において、ユーザが表示面内に現したいドキュメントの列の中のドキュメントの内のいずれかを選択するためにそれらの特定の入力機器を用いることができる。任意の実施形態においては、ユーザが、関心のあるドキュメントを見つけるためにサムネイルドキュメントをスクロールさせることができる。また、サムネイルドキュメントのスクロールは、ドキュメント44が、ドキュメントのスクロールと一緒に変化することとなる。あるいは、サムネイルドキュメントのスクロールは、ドキュメント44の変化とは独立しており、新しいサムネイルドキュメントが選択されたときにドキュメント44が変化することとだけと一緒に起こることができる。
【0058】
したがって、ここに記載されたシステムと方法がサムネイルイメージを生成するためにナビゲーション中のユーザを待たせている間にサムネイルイメージを用いることができるように、ここに記載されたシステムと方法は、この技術分野において知られているものを含み、ライブまたは動画のサムネイルを生成するサムネイル生成を含む、適当なサムネイルジェネレータプロセスを含むことができる。
【0059】
図4は、ここに記載されたシステムと方法のさらなる実施形態を示し、先に図2に示した拡大ツールがツールコードに関連付けられ、拡大鏡オブジェクトのレンズ領域内に現れるドキュメント内で以前は表示されていなかった情報となる。より詳しくは、図4は、地図としてこの視点内で見える、スクリーンドキュメント42を含むディスプレイ26を含む。図4はさらに、レンズ領域50を含む拡大鏡ツール48を示す。図4に示すように、拡大ツール48は地図42の一部上に位置付けられる。上述のように、拡大鏡48に関連付けられたツールコードは、スクリーンドキュメント42の適切な部分の拡大視を提供することができる。図4にさらに示すように、拡大された部分50も追加の情報を含む。
【0060】
例えば、図4に示した地図アプリケーションでは、拡大ビュー50は、小さい道、重要物の位置、または拡大されたコンテンツに関するその他の情報のような追加の地図情報を含む。加えて、とは言え、拡大鏡は、表示面50内で情報のその色または情報の位置を変える、またはコントロールボタン、プルダウンメニュー、注釈情報、テキストバブル、またはその他の形式の情報等のユーザインターフェース情報を提供するツールコードに関連付けられる。したがって、ツールの特定のふるまいは、その適用のコンテキストによって変化する。例えば、上述のように、拡大鏡ツールは、テキストを有するコンテンツドキュメントとは、地図データを有するコンテンツドキュメントのコンテンツを異なって処理するツールコードに関連付けられる。よって、ここに記載されたシステムは文脈依存ツールとプロセスを提供する。
【0061】
図5および6は、ここに記載されたシステムおよび方法によって提供されるグラフィカルユーザインターフェースツールのさらなる実施形態を示す。特に図5は、2つのドキュメント80と81、およびルーラ82から成るスクリーンドキュメント42を含むスクリーン26を示す。2つのドキュメント80および81は、類似の形式のドキュメントを表示するようにされ、A4紙のように各々は同じ大きさの紙に印刷されたテキストドキュメントである。しかし、ドキュメント81の表示の縮尺は、ドキュメント80のための表示の縮尺よりも大きいため、図5は2つのドキュメント80と81を、一方が他方よりも大きいテキストのページとして示す。よって、ドキュメント80と81は、異なる縮尺要素を表示する類似のドキュメントである。
【0062】
図5に示すように、ルーラ82は、各々のドキュメントの縮尺を示し、基礎をなすドキュメントの縮尺を調整する、浮かんでいる半透明性ルーラとすることができる。これは、ルーラの区間がドキュメント80からドキュメント81に移動するにつれて、ルーラ82の目盛りの大きさが増加することによって示される。図5は、基礎をなすドキュメントの縮尺に比例してルーラ82の目盛りが変化するように描かれる。よって、ルーラ82は、コンテンツの表示縮尺に応じてルーラの目盛りを調整することができる文脈依存ユーザインターフェースツールを提供する。
【0063】
図6を参照すると、浮かんでいる半透明性の質問マーク84であるさらなるユーザインターフェースツールが、ディスプレイ26がドキュメント80と浮かんでいる半透明性質問ツール84から成るスクリーンドキュメント42を含むのを示す図6によって、基礎をなすオブジェクトのための注釈を表示することが示される。質問ツール84は、ドキュメント上の質問ツールのイメージをドラッグすることによって、またはドキュメント上にすでに位置する質問ツールアイコンを選択することによって作動されると、基礎をなすドキュメント80の注釈を表わす情報を含むテキスト88を提供する。
【0064】
図7aは、利用可能なユーザインターフェースツールをユーザに提供するための一つの方法を示す。特に、図7aは、ツールボタン90を含むスクリーン26を示す。ツールボタン90は、拡大ツール48のグラフィクの表示を提供する。拡大ツール48を起動するために、ユーザは、マウス、キーパッド、またはタッチスクリーンの使用、および拡大ツールボタンのドラッグによって、ツール48のイメージをクリックすることができる。ツールボタン90をクリックすることによって、このシステムはツールドキュメントファイルからの情報を処理し、図7aに示すようにドキュメント48のイメージを造る。図7bは、ユーザインターフェースが、一つの実施において、ユーザが拡大ツール48をスクリーン26の外に、あるいは任意の方向に押出せるようにすることができることを示す。スクリーン26の外にツールを押出すことによって、ユーザはツール48を取り除き、アイコンまたはツールボタン90をスクリーンに戻す。
【0065】
図8aおよび8bは、リンク、または他のドキュメントへのその他の形式のポインタ、またはその他のコンテンツを含むドキュメントを見るときに用いられることができる形式のさらなるツールを示す。具体的には、図8は、ドキュメント100が他のドキュメントへのリンク102を含むツールを示す。これらのドキュメントのために、ここに記載されたシステムと方法は、ボタン、スィッチ、または幾つかのその他の制御と同様に、スライダ制御104が設けられる。示されたスライダ制御104は、ドキュメント100のユーザインターフェースビューを増大させることができ、コントロール104をスライドさせることによって、ユーザがドキュメント内のリンク102の目立ち方を制御できる。よって、ツール104は、ドキュメント100のようなドキュメント内のリンクの目立ち方をユーザが調整することができるようにし、従ってリンクはユーザにより簡単に認識される。
【0066】
図8aおよび8bは、ドキュメント100が、示された強調されたテキスト108のように強調されたテキストを含むことができることをさらに示す。リンク102について、ドキュメント100の残りの部分の透明性がスライダ制御104がユーザによって変えられるに伴なって変化する一方で、スライダ制御104が強調されたテキスト108がその透明性を維持することができるようにする。動作中は、スライダ制御104は、リンク102または強調されたテキスト108を作るオブジェクトの他に、ドキュメント100を作るオブジェクトの透明性または書式をユーザが調整できるようにすることができる。しかし、ドキュメントの部分を消滅させ強調するその他の技術が、実施されても良い。
【0067】
図9を参照すると、ドキュメント100がリンク102を含むグラフィカルユーザインタフェースツールが示される。さらに、リンク102は浮上がっているサムネイルドキュメント110に関連する。図9に示すように、コントロール112がユーザに提供される。コントロール112の起動中は、ドキュメント100内のそれらのリンク102は、各々のリンク102に関連したページのページビューの浮上がったサムネイル表示に関連することができる。加えて、図9は、一つの任意の実施において、ディスプレイが先に読んだサムネイルドキュメントの集合をさらに含むことができることを示す。サムネイルドキュメント114は、ドキュメント100内のリンク102に関連した、あるいはそのドキュメント100が複数ページのドキュメントであるときにドキュメント100の他のページに関連したそれらのドキュメントの表示とすることができる。
【0068】
図10は、本発明によるグラフィカルユーザインターフェースツールの更なる例を示す。具体的には、ハンドヘルドコンピュータ機器120がそのディスプレイ上に現れた一組の文字122を有することを示す。図10にさらに示すように、カーソルウィンドウ124が、テキストディスプレイ122内の一つの文字上に現れる。示された実施態様では、カーソルウィンドウ124は、現在のテキスト位置上に浮かぶ、ソフトの、半透明性のテキストエントリープレートを設けられている。プレートはテキスト位置が移動するのと一緒に移動することができ、および/または、プレートはプレート124の下のテキストの移動に適応するためにテキストがそれ自体で左側にスクロールするように、その位置を維持することができる。
【0069】
上述したように、テキストプレートカーソル124は、図1のシステム10によって処理されたツールドキュメントファイル30から生じる。ツールドキュメントファイルは、機器120上に現れるテキストプレート124の内部表現を含む。ある実施形態では、ハンドヘルド機器120は、ユーザが、テキストエントリプレート124内のスクリーン上に現れるスタイラスを文字を形成するために用いることができるようにするタッチセンシティブスクリーンを含む。そのようなテキストが入ることができるそのようなシステムの設計と開発は、この技術分野で良く知られており、あらゆる適当なシステムがここに記載されたシステムと方法と一緒に用いられることができる。動作中は、ユーザは、テキストエントリプレート124内に現れる文字を形成するために機器120のスクリーンを横切ってスタイラスを動かすことができる。この動作は、一連のテキスト導入行程130〜138が示された図11に示されている。
【0070】
具体的には、図11は、カーソルプレート124が機器120のディスプレイ上に現れるテキスト導入行程130を示している。ユーザはカーソル124によって区切られたスペース内、または他の区域内の文字をトレースすることができ、トレーシングは任意にテキストエントリカーソル124によって区切られた範囲内に現れる。ユーザによって記入されたトレーシングは、この例では文字Lのような、それらのマークを文字と関連付けるためのこの技術分野で知られている型の文字認識システムによって処理される。行程132に示すように、一度、文字認識が完了すると、認識された文字Lはディスプレイ上に表示され、カーソルは動くことができ、またテキストはスクロールすることができ、しかしどちらにしてもカーソル124はユーザがさらにテキストを入力するために利用できるようになる。
【0071】
行程134に示すように、単語が形成されるまで、ユーザはテキストを入れることができる。行程138において、完成した単語が入るときは、ユーザはカーソル124を書かれた単語から間を隔てて動かすことができ、テキストエントリカーソル124内に現れる文字を再びトレースし始めることができる。よって、示されたカーソル124は、ドキュメント内に生じたテキストの現存する線の中にテキストのセクションを挿入すること等によって、ドキュメントへのコンテンツのインライン挿入を可能とするツールを提供する。その他の適用では、コンテンツを削除すること、色を変える、または他のアプリケーションを働かせること等によってイメージを校正するツールが提供される。
【0072】
上述したように、タッチセンシティブディスプレイを含むそれらのシステムのために、ここに記載されたシステムと方法は、ユーザがディスプレイ上のマークをトレースするためにスタイラスを使うことができるために提供され、それらのマークは文字が入ることができるためのシステムによって翻訳される。加えて、図12a〜12bは、タッチセンシティブスクリーンを横切ってスタイラスを動かすことによってユーザが導入できる一連の表示コマンドストロークを示す。図12a〜12gに示された各々のコマンドストロークは、ユーザがドキュメントを処理し見ることに用いることができるユーザインターフェースコマンドと関連付けられる。例えば、12aは、システムがシステムによって示された動作を肯定するコマンドに関連付けられた丸いチェックマークをユーザが形成するストロークを示している。同様に、図12bは、ディスプレイ上に複数の山と谷を形成し、ディスプレイからコンテンツを削除するためのコマンドに関連付けられたストロークを示す。
【0073】
図12cは、ドキュメントをホームページに戻す、またはやり直すことに関連付けられる円形の時計周りのストロークを示し、図12dは、削除、クリア、またはコマンドがないことを示す上方への対角直線ストロークを示す。図12eは反時計周りに走り、パラグラフセレクトコマンドを表示する四角いストロークを示し、図12eと12gは、それぞれ次のまたは各々以前のドキュメントに移動するためのユーザによる要求を示すストロークを示す。ここに記載されたシステムと方法が、ワードドキュメント、ウェブページ、ストリーミングメディア、および他の形式のコンテンツ等の異なる形式のドキュメントと一緒に働くシステムと方法を含む時、異なるストロークの意味はそのアプリケーションによって変化することが当事者により理解される。
【0074】
例えば、12cの円形の時計周りの回転は、ウェブページを表わすドキュメントのために、ウェブページドキュメントに関連付けられたウェブページに戻ることを要求することを示すことができる。あるいは、ストリームドメディアコンテンツを見る時に、12cの円形の時計周りのストロークを使うことは、ストリームドビデオを停止させ、最初から再開始させることを要求することを示して良い。したがって、図12a〜12bに示されたストロークコマンドはそれらのアプリケーションによって異なる意味を持つことが、この技術分野の通常の技術を有する者に明らかである。
【0075】
図13aおよび13bは、表示面内でそのドキュメントのページの動きを起こすためにドキュメントをクリックおよびドラッグするためユーザによって用いられるコマンドストロークを示す。示された実施形態では、ドキュメントをドラッグする動作中において、速度検出プロセスは、100秒毎というように、周期的に読み込み位置を取る。これらのページ読み込み位置から、ページ速度決定がなされる。ページ速度決定は、表示域を通るより自然なドキュメントの動き方をユーザインターフェースが提供できるようにするために用いられる。このために、パーサ/レンダラー18に、スクリーンを横切って動くようにドキュメントを描く一連の画像中のドキュメントを再び書くことを指示するために、プロセスが速度決定を使用することができる。
【0076】
例えば、ユーザはある速度でドキュメントをドラッグでき、そこでドキュメントからスタイラス、マウス、またはその他の入力機器を放すことができる。または、放した時に、ドキュメントは移動を止める。しかし、代わりの実施では、ドキュメント上をクリックする等してドキュメントが移動を停止すべきことをユーザが示すまで、ページが既定の方向に動き続ける。複数ページのドキュメントのために、ユーザがスクリーンを横切ってドキュメントの1ページをドラッグしたときに設定された一組のページ速度によって決定された速度でスクリーンを横切るドキュメントの異なるページをパンするために、速度測定を使うことができる。あるいは、速度は速度0になるまで一定のページの惰性により減少し、ページのスクロールは止る。すなわち、ページがパンしている間に、さらなる速度検出がページ速度を減速(加速)させるために用いられ、これゆえに、ページの惰性に対する動きは、速い連続したドラッグ動作中でページの連続した滑らかな動きを可能にする。
【0077】
加えて、あるいは、その他のユーザインターフェースプロセスが、ドキュメント上での触感制御を有することのユーザの経験を増大させるべく提供されて良い。例えば、ユーザインターフェースは、図2のドキュメント44の右上角に対応したディスプレイの位置にディスプレイ26上の動きを検出するためのページフリップディテクタを含む。もし、ページフリップディテクタまたはスクリーンモニタがドキュメント44の表面を横切る払う動きを検出したなら、ページフリップディテクタは、パーサ/レンダラー18にページを「めくる」ように指示する。動作は、ページをめくり戻すおよび先にめくる両方の方法で検出され、ページフリップディテクタは文脈依存とでき、アプリケーションおよびコンテンツの形式に適した新しいディスプレイを生成することができる。
【0078】
あるいは、インタフェースプロセスは、ドキュメント44の右上角の動きがスクリーン42またはドキュメント44を書き直すようにパーサ/レンダラー18にページカールディテクタが指示するようにすることができるようにし、ドキュメント44の角が下に巻き込まれ、基礎をなすページの部分が表示されること以外は、ページフリップディテクタに類似して動作できるページカールディテクタを含むことができる。ページフリップおよびページカールディテクタの両方とも、望まれる効果を達成するためにパーサ/レンダラー18への指示を生成することができるコンピュータプロセスとできる。加えて、ページズームディテクタ(ページ領域上をダブルクリック等)が、視点のズームイン/アウトへの上向き/下向きの動きより、追随される。この作用は、内部拡大機能を提供する速度ディテクタと都合よく結合される。
【0079】
図1はユーザインタフェースシステム10を作用のブロック要素として図示するが、本発明によるシステムとしてデータプロセッサをそれによって構成するためのデータプロセッサプラットホーム上で動作できるコンピュータプログラムまたはコンピュータプログラムの一部として、それらの要素は実現できることが、この技術分野の技術を持つものには自明である。さらに、図1はシステム10を一体化されたユニットとして示すが、これは一つの実施形態に過ぎず、本発明は複数のプラットホーム上にまたがって分布したコンピュータプログラムとして実現できることが、この技術分野の技術を持つものには自明である。
【0080】
上述のように、ユニックスワークステーションのようなより従来のコンピュータプラットホームと、ハンドヘルドコンピュータプラットホームを含む、データ処理システム上で動作するソフトウェアコンポーネントとして、上述のユーザインターフェースシステムは実現できる。これらの実施形態では、ユーザインターフェースシステムは、C言語コンピュータプログラム、C++、フォートラン(Fortran)、ジャバ(Java(登録商標))、またはベーシック(BASIC)を含む高レベル言語で書かれたコンピュータプログラムとすることができる。さらに、プラットホームが主としてマイクロプロセッサ、マイクロコントロール、またはDSPである実施態様では、ユーザインタフェースシステムは、マイクロコードで書かれた、または高レベル言語で書かれた、および用いられるプラットホーム上で実行されるマイクロコードにコンパイルされたコンピュータプログラムとして実現できる。
【0081】
そのようなシステムの開発はこの技術分野の技術を有する者に知られており、そのような技術は例えば、Digital Signal Processing Applications with theTMS320 Family, Volumes I, II, III, Texas Instruments (1990)を含む文献により明らかにされている。さらに、高レベルプログラミングのための一般的技術が知られており、例えば、Stephen G. Kochan, Programming in C, Hayden Pubulishing (1983)で明らかにされている。DSPは特に、コントラスト、端部輪郭、および輝度の調整によるイメージ改良等の作用を処理することを含む信号処理機能を実行するために特に適していることが注目される。DSPおよびマイクロコントローラシステムのためにコードを開発することは、この技術分野の良く知られた原理から判る。
【0082】
さらに、図1はコンピュータプロセス8を複数の機能ブロック要素から成るように示しているが、本発明によるシステムとして、それによりデータ処理するプラットホームを構成するためのデータ処理するプラットホーム上で動作することができるコンピュータプログラムまたはコンピュータプログラムの部分として、これらの要素を実現することができることが理解される。さらに、図1はシステム10をプロセス8およびディスプレイ機器26の一体化されたユニットとして示しているが、これは一つの実施形態に過ぎず、ここに記載されたシステムは、ディスプレイ26によって行われるドキュメントディスプレイ動作から、プロセス8のドキュメントを処理する機能とユーザインタフェース機能を分離するシステムアーキテクチャを含む、その他のアーキテクチャおよび配列として実現できることが明らかである。
【0083】
この技術分野の技術を持つ者は、ここに記載された実施形態と実施に相当する多くのものをただの通常の試行を用いて知り、または確かめることができるであろう。さらに、本発明のシステムとプロセスは多くの適用を有し、ハンドヘルドコンピュータ、電話、移動体データ端末、セットトップボックス、内蔵プロセッサ、ノートブックコンピュータ、コンピュータワークステーション、プリンタ、コピー機、ファックス機およびその他のシステムを含む機器の範囲で使用することができる。さらに、ここに記載されたシステムは、タッチセンシティブスクリーンおよびパッド、マウス入力機器、キーボードおよびキーパッド、ジョイスティク、サムホィール機器、マウス、トラックボール、仮想現実入力システム、音声制御システム、眼球動作制御システム、およびその他のあらゆる適当な機器を含む適当なインターフェース機器と一緒に実施することができることがこの技術分野の技術を有する者によって理解される。よって、ここに記載されたシステムは多くの用途を持ち、他のドキュメント形式の洗練された処理を提供する一組のインターフェースプロセスおよびシステムを提供することを含む先行技術を超える利点を提供することも理解される。
【0084】
したがって、本発明はここに記載された実施形態に限定されるべきではなく、法の下で許容される限り広く解釈されるべきである後述の請求の範囲から理解されるべきであることが理解される。
【符号の説明】
【0085】
8…コンピュータプロセス、
11…ソースドキュメント、
12…ドキュメントエージェント、
14…内部表現ファイル、
15…メモリバッファまたはファイル、
16…ライブラリ、
18…パーサ/レンダラー、
22…形状プロセッサ、
26…ビデオディスプレイ、
30…ソースドキュメントファイル、
42…フィードバックパス、
44…出力制御入力、
42…スクリーンドキュメント、
44…ドキュメント、
46…サムネイルドキュメント、
48…拡大鏡ツール、
50…レンズドキュメント、
52…スクリーンドキュメント、
60,62,64,66,68,70,72…サムネイルドキュメント、
80,81…ドキュメント、
82…ルーラ、
84…質問ツール、
88…テキスト、
90…ツールボタン、
100…ドキュメント、
102…リンク、
104…スライダ制御、
108…テキスト、
110…サムネイルドキュメント、
112…コントロール、
114…サムネイルドキュメント、
120…ハンドヘルドコンピュータ機器、
122…文字、
124…カーソル、
130,132,134,138…テキスト導入行程。
【特許請求の範囲】
【請求項1】
ドキュメントに対する触感制御をサポートするディスプレイ装置であって、
プロセッサ及び触感方式ディスプレイと、
前記プロセッサによって実行されるように適応され、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含む前記ドキュメントのデジタル表現を提供するシステムコードを格納するメモリと、
前記触感方式ディスプレイ上のデジタル表現のためにページレイアウトの少なくとも一部に対応するイメージをレンダリングするエンジンと、
前記触感方式ディスプレイ上でポインタの動きを検出するために前記触感方式ディスプレイと通信するディスプレイモニタと、
前記検出された動きの速度に基づいて速度ベクトルを決定する速度検出器と、
前記ディスプレイモニタにより検出された動きを処理して複数の命令のうちの一つを検出するために前記ディスプレイモニタと通信するインターフェイプロセスと、を含み、
ここで、前記複数の命令は、移動命令を含み、前記インターフェイプロセスにより検出された前記移動命令に応答して前記エンジンが前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させ、
ここで、前記エンジンは、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって、前記検出された速度ベクトルと共にページ惰性を追加で利用し、
前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、
前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とするディスプレイ装置。
【請求項2】
前記ページ惰性による前記ドキュメントのデジタル表現の移動は、前記ドキュメントを表す一連のページで前記ドキュメントのデジタル表現の再描写(redraw)を伴うことを特徴とする請求項1に記載のディスプレイ装置。
【請求項3】
前記触感方式ディスプレイを横切る前記ポインタの後続する動きに基づいて、前記インターフェイプロセッサにより検出されたパン命令語に応答して、前記エンジンは前記速度検出器が前記後続する動きと関連して決定した速度ベクトルに基づいて一連のページを表現する速度を変更することを特徴とする請求項1に記載のディスプレイ装置。
【請求項4】
前記ドキュメントのデジタル表現を通じてユーザがナビゲートできるように前記ページレイアウトのレンダリングされた部分を変更するために前記インターフェイプロセスに応答するナビゲーションモジュールをさらに含むことを特徴とする請求項1に記載のディスプレイ装置。
【請求項5】
プロセッサ、メモリ、及び接続方式プロセッサを含むディスプレイ装置におけるドキュメントに対する触感制御をサポートするディスプレイ方法であって、
データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含むシステムコードを使用して前記ページレイアウトの少なくとも一部に対応するイメージをレンダリングする過程と、
前記レンダリングによりデジタル表現がディスプレイされた前記触感方式ディスプレイ上でポインタの動きを検出する過程と、
前記検出された動きの速度に基づいて速度ベクトルを決定する過程と、
前記ディスプレイモニタにより検出された動きを処理して移動命令を含む複数の命令のうちの一つを検出する過程と、
前記移動命令が検出されると、前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させる過程と、を含み、
ここで、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって前記検出された速度ベクトルと共にページ惰性を追加で利用し、
前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、
前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とするディスプレイ方法。
【請求項6】
前記ページ惰性による前記ドキュメントのデジタル表現の移動は、前記ドキュメントを表す一連のページで前記ドキュメントのデジタル表現の再描写(redraw)を伴うことを特徴とする請求項5に記載のディスプレイ方法。
【請求項7】
前記触感方式ディスプレイを横切る前記ポインタの後続する動きに基づいて検出されたパン命令語に応答して前記後続する動きと関連して決定された速度ベクトルに基づいて一連のページを表現する速度を変更する過程をさらに含むことを特徴とする請求項5に記載のディスプレイ方法。
【請求項8】
前記ドキュメントのデジタル表現を通じてユーザがナビゲートできるように前記ページレイアウトのレンダリングされた部分を変更するために前記インターフェイプロセスに応答する過程をさらに含むことを特徴とする請求項5に記載のディスプレイ方法。
【請求項1】
ドキュメントに対する触感制御をサポートするディスプレイ装置であって、
プロセッサ及び触感方式ディスプレイと、
前記プロセッサによって実行されるように適応され、データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含む前記ドキュメントのデジタル表現を提供するシステムコードを格納するメモリと、
前記触感方式ディスプレイ上のデジタル表現のためにページレイアウトの少なくとも一部に対応するイメージをレンダリングするエンジンと、
前記触感方式ディスプレイ上でポインタの動きを検出するために前記触感方式ディスプレイと通信するディスプレイモニタと、
前記検出された動きの速度に基づいて速度ベクトルを決定する速度検出器と、
前記ディスプレイモニタにより検出された動きを処理して複数の命令のうちの一つを検出するために前記ディスプレイモニタと通信するインターフェイプロセスと、を含み、
ここで、前記複数の命令は、移動命令を含み、前記インターフェイプロセスにより検出された前記移動命令に応答して前記エンジンが前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させ、
ここで、前記エンジンは、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって、前記検出された速度ベクトルと共にページ惰性を追加で利用し、
前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、
前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とするディスプレイ装置。
【請求項2】
前記ページ惰性による前記ドキュメントのデジタル表現の移動は、前記ドキュメントを表す一連のページで前記ドキュメントのデジタル表現の再描写(redraw)を伴うことを特徴とする請求項1に記載のディスプレイ装置。
【請求項3】
前記触感方式ディスプレイを横切る前記ポインタの後続する動きに基づいて、前記インターフェイプロセッサにより検出されたパン命令語に応答して、前記エンジンは前記速度検出器が前記後続する動きと関連して決定した速度ベクトルに基づいて一連のページを表現する速度を変更することを特徴とする請求項1に記載のディスプレイ装置。
【請求項4】
前記ドキュメントのデジタル表現を通じてユーザがナビゲートできるように前記ページレイアウトのレンダリングされた部分を変更するために前記インターフェイプロセスに応答するナビゲーションモジュールをさらに含むことを特徴とする請求項1に記載のディスプレイ装置。
【請求項5】
プロセッサ、メモリ、及び接続方式プロセッサを含むディスプレイ装置におけるドキュメントに対する触感制御をサポートするディスプレイ方法であって、
データコンテンツと前記ドキュメントのページレイアウトを表わすページ構造を含むシステムコードを使用して前記ページレイアウトの少なくとも一部に対応するイメージをレンダリングする過程と、
前記レンダリングによりデジタル表現がディスプレイされた前記触感方式ディスプレイ上でポインタの動きを検出する過程と、
前記検出された動きの速度に基づいて速度ベクトルを決定する過程と、
前記ディスプレイモニタにより検出された動きを処理して移動命令を含む複数の命令のうちの一つを検出する過程と、
前記移動命令が検出されると、前記検出された速度ベクトルに基づいて前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させる過程と、を含み、
ここで、前記ドキュメントの相異なるビューワーのレンダリングで構成され、前記触感方式ディスプレイ上にディスプレイされた前記ドキュメントのデジタル表現を任意の方向へ移動させることにあって前記検出された速度ベクトルと共にページ惰性を追加で利用し、
前記任意の方向へ移動する前記ドキュメントのデジタル表現は、前記ドキュメントの移動を中止させるユーザの指示が検出されるか、または前記速度ベクトルに基づく移動速度がゼロ速度に到達するまで前記速度検出器により設定された方向に移動し続き、
前記移動速度は、前記ドキュメントのデジタル表現の継続移動を可能にするページ惰性により漸進的に減少することを特徴とするディスプレイ方法。
【請求項6】
前記ページ惰性による前記ドキュメントのデジタル表現の移動は、前記ドキュメントを表す一連のページで前記ドキュメントのデジタル表現の再描写(redraw)を伴うことを特徴とする請求項5に記載のディスプレイ方法。
【請求項7】
前記触感方式ディスプレイを横切る前記ポインタの後続する動きに基づいて検出されたパン命令語に応答して前記後続する動きと関連して決定された速度ベクトルに基づいて一連のページを表現する速度を変更する過程をさらに含むことを特徴とする請求項5に記載のディスプレイ方法。
【請求項8】
前記ドキュメントのデジタル表現を通じてユーザがナビゲートできるように前記ページレイアウトのレンダリングされた部分を変更するために前記インターフェイプロセスに応答する過程をさらに含むことを特徴とする請求項5に記載のディスプレイ方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−94176(P2012−94176A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2012−1633(P2012−1633)
【出願日】平成24年1月6日(2012.1.6)
【分割の表示】特願2001−576580(P2001−576580)の分割
【原出願日】平成13年4月17日(2001.4.17)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願日】平成24年1月6日(2012.1.6)
【分割の表示】特願2001−576580(P2001−576580)の分割
【原出願日】平成13年4月17日(2001.4.17)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
[ Back to top ]