ポインティングデバイス操作支援システムと方法およびプログラム
【課題】マウスの操作に不慣れな高齢者や初心者がＷｅｂ検索等の操作を支援する。
【解決手段】ポインティングデバイス操作支援システム０４は、表示中のＷｅｂページ０３のソース解析を行い、当該Ｗｅｂページ０３と同じ内容の仮想Ｗｅｂページ０６を生成してデータベース０５およびメインメモリに格納する。表示中のＷｅｂページ０３上で移動するマウスポインタが当該Ｗｅｂページ０３のハイパーリンク上に来ると、このハイパーリンクに対するブラウザ０２による検知情報に基づき、仮想Ｗｅｂページ０６における同じハイパーリンクを特定する。マウスポインタ位置特定機能は、ハイパーリンク取得機能で特定したハイパーリンクを用いて、表示中のＷｅｂページ０３上でのマウスポインタの移動位置と、仮想Ｗｅｂページ０６上でのマウスポインタの移動位置の同期制御を行うことで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【解決手段】ポインティングデバイス操作支援システム０４は、表示中のＷｅｂページ０３のソース解析を行い、当該Ｗｅｂページ０３と同じ内容の仮想Ｗｅｂページ０６を生成してデータベース０５およびメインメモリに格納する。表示中のＷｅｂページ０３上で移動するマウスポインタが当該Ｗｅｂページ０３のハイパーリンク上に来ると、このハイパーリンクに対するブラウザ０２による検知情報に基づき、仮想Ｗｅｂページ０６における同じハイパーリンクを特定する。マウスポインタ位置特定機能は、ハイパーリンク取得機能で特定したハイパーリンクを用いて、表示中のＷｅｂページ０３上でのマウスポインタの移動位置と、仮想Ｗｅｂページ０６上でのマウスポインタの移動位置の同期制御を行うことで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ装置の表示画面におけるマウスやトラックボールあるいはタッチパッド（トラックパッドとも言う）等のポインティングデバイスを用いた操作技術に係り、特に、視覚障害者に対するＷｅｂブラウザの操作性を向上させるのに好適な技術に関するものである。
【背景技術】
【０００２】
コンピュータ装置において、例えば、インターネットやイントラネットでブラウザシステムを使用してＷｅｂ情報を照会する場合、一般には、画面に表示されているハイパーリンクを、例えばマウスやトラックボールあるいはタッチパッド等のポインティングデバイスを操作して辿ることにより、ページ繰り等の操作を行う。
【０００３】
インターネット上には多くの検索サイトが存在するが、例えば、これらは晴眼者向けであり、視覚障害者、特に全盲者は、上述のようなポインティングデバイス操作が困難であり、検索サイトを利用することが困難である。
【０００４】
このような問題を解決する従来技術として、例えば、スクリーンリーダーと呼ばれるユーティリティ・ソフトがある。しかし、このスクリーンリーダーでは、ページを要約してリンク情報を抽出し、単にそれを読上げる機能を提供するものである。
【０００５】
また、最初から視覚障害者向けに作成されたホームページ（Ｗｅｂページ）またはそれを閲覧するブラウザも存在するが、特定の提供者が、特定の目的の情報を、特定の対象者へ提供するために作成されたものであり、膨大な情報量と極めて高機能な検索機能を持つ一般の検索サイトを閲覧、利用できるものではない。
【０００６】
また、前述のスクリーンリーダーやその他のユーティリティ・ソフトでは、特に全盲者に対して、Ｗｅｂページ上のタブが移動可能な部分の読上げを行うものであり、リンク間に存在する様々な文字や画像情報を選択、指示できない限り、その部分を読み取ることはできないという問題もある。
【０００７】
また、特許文献１に記載のように、サイドメニューをホームページ提供者が別途作成しておき、ブラウザの別ウィンドウに視覚障害者用の操作メニューを付加表示させ、これを読上げることにより閲覧を可能にする技術がある。
【０００８】
しかし、この技術も、一般検索サイトをそのまま閲覧するわけではなく、あくまでも専用ページでのホームページの構造上の仕組みである。また、同じ技術を一般の検索サイトに適用することはできない。
【０００９】
また、前述の要約や主要トピックを事前に取得して読上げる技術も、そのユーティリティが解読したものの要約であり、一般検索サイト上にある、その他の豊富なテキスト情報を全て網羅できるものではない。
【００１０】
また、従来技術の多くは、操作に不慣れな高齢者や初心者や幼齢者、弱視者あるいは全盲者、肢体不自由者が、Ｗｅｂを検索したり、リンクを選択することに対する補助であり、全盲者であってもページ上を自由に移動して直接読上げ箇所を指示することにより、閲覧したり、リンクを選択できるようにするという観点からは不十分である。
【００１１】
このように、従来の技術では、視覚障害者向けに作成されていない一般のインターネット上のホームページを、視覚障害者が閲覧することは下記の理由により不可能である。
【００１２】
（１）ハイパーリンクやボタンをマウス等のポインティングデバイスでクリックするため、操作は視覚に頼らざるを得ない。
（２）文字情報が主体で、音声による読み上げ機能を持つホームページはほとんどない。
（３）現在ブラウザ上に何が表示され、検索サイトでは何処に検索文字を入力すべきか判断できない。
（４）読み上げを指示する場合も何処に文字があり、どの範囲を読み上げさせるかの範囲選択ができない。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
解決しようとする問題点は、従来の技術では、例えば、マウス等のポインティングデバイスの操作に不慣れな高齢者や初心者や幼齢者、弱視者あるいは全盲者、肢体不自由者は、Ｗｅｂ検索等の操作を、晴眼者と同ように、自由に行うことができない点である。
【００１４】
本発明の目的は、これら従来技術の課題を解決し、Ｗｅｂ検索サイトに代表される、コンピュータ装置における表示画面上でのマウス等のポインティングデバイスの操作によって閲覧箇所の指示を可能にすることである。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明では、画面表示されているＷｅｂページを読み込み、ソースを解析して、同じ内容の仮想Ｗｅｂページをメモリ上に生成し、表示されているＷｅｂページ上のハイパーリンク（主にＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｒｃｅ Ｌｏｃａｔｏｒ）の位置を、仮想Ｗｅｂページ上で位置情報として捉え、この位置情報に基づき、常に、Ｗｅページ上のマウスポインタ（マウスカーソルともいう）の移動を追跡しながら、仮想Ｗｅｂページでの位置情報と比較し、当該仮想Ｗｅｂページにおける位置情報を参照することで、現在のマウスポインタのＷｅｂページ上の位置を特定し、音声等で通知する。これにより、晴眼者向けの一般検索サイトであっても、全盲者があたかも視線を動かすようにマウスポインタを移動して、閲覧箇所を指示することができる。
【発明の効果】
【００１６】
本発明によれば、例えば、全盲者を含む視覚障害者でも、晴眼者同ように、マウス等のポインティングデバイスの操作を基に一般検索サイトの閲覧および利用が可能となり、コンピュータ装置における表示画面上でのマウス等のポインティングデバイスの操作性を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るポインティングデバイス操作支援システムを設けたコンピュータネットワークシステムの構成例を示すブロック図である。
【図２】図１におけるポインティングデバイス操作支援システムによるマウスポインタ検出処理動作例を示す説明図である。
【図３】図１におけるポインティングデバイス操作支援システムによるマウスポインタ移動検出処理動作例を示す説明図である。
【図４】図１におけるポインティングデバイス操作支援システムによる仮想Ｗｅｂページの構成例を示す説明図である。
【図５】図１におけるポインティングデバイス操作支援システムによるマウスポインタ移動検出動作の具体例を示す説明図である。
【図６】図５におけるポインティングデバイス操作支援システムによるマウスポインタ移動検出動作の詳細例を示す説明図である。
【図７】本発明に係るポインティングデバイス操作支援システムの構成例を示すブロック図である。
【図８】図１におけるポインティングデバイス操作支援システムの本発明に係る第１の処理動作例を示すフローチャートである。
【図９】図１におけるポインティングデバイス操作支援システムの本発明に係る第２の処理動作例を示すフローチャートである。
【図１０】図１におけるポインティングデバイス操作支援システムの本発明に係る第３の処理動作例を示すフローチャートである。
【図１１】図１におけるポインティングデバイス操作支援システムの本発明に係る第４の処理動作例を示すフローチャートである。
【図１２】図１におけるポインティングデバイス操作支援システムの本発明に係る第５の処理動作例を示すフローチャートである。
【図１３】図１におけるポインティングデバイス操作支援システムの本発明に係る第６の処理動作例を示すフローチャートである。
【図１４】図１におけるポインティングデバイス操作支援システムの本発明に係る第７の処理動作例を示すフローチャートである。
【図１５】図１におけるポインティングデバイス操作支援システムの本発明に係る第８の処理動作例を示すフローチャートである。
【図１６】図１におけるポインティングデバイス操作支援システムの本発明に係る第９の処理動作例を示すフローチャートである。
【図１７】図１におけるポインティングデバイス操作支援システムの本発明に係る第１０の処理動作例を示すフローチャートである。
【図１８】図１におけるポインティングデバイス操作支援システムの本発明に係る第１１の処理動作例を示すフローチャートである。
【図１９】図１におけるポインティングデバイス操作支援システムの本発明に係る第１２の処理動作例を示すフローチャートである。
【図２０】図１におけるポインティングデバイス操作支援システムの本発明に係る第１３の処理動作例を示すフローチャートである。
【図２１】図１におけるポインティングデバイス操作支援システムの本発明に係る第１４の処理動作例を示すフローチャートである。
【図２２】図１におけるポインティングデバイス操作支援システムの本発明に係る第１５の処理動作例を示すフローチャートである。
【図２３】図１におけるポインティングデバイス操作支援システムの本発明に係る第１６の処理動作例を示すフローチャートである。
【図２４】図１におけるポインティングデバイス操作支援システムの本発明に係る第１７の処理動作例を示すフローチャートである。
【図２５】図１におけるポインティングデバイス操作支援システムの本発明に係る第１８の処理動作例を示すフローチャートである。
【図２６】図１におけるポインティングデバイス操作支援システムが用いるブラウザナビゲータの構成例を示す説明図である。
【図２７】図１におけるポインティングデバイス操作支援システムによるマウスポインタの移動軌跡の検出処理動作例を示す説明図である。
【図２８】ブラウザによるハイパーリンク（ＵＲＬ）の検知動作例を示す説明図である。
【図２９】図１におけるポインティングデバイス操作支援システムによるキーワード検索処理に係る第１の動作例を示す説明図である。
【図３０】図１におけるポインティングデバイス操作支援システムによるキーワード検索処理に係る第２の動作例を示す説明図である。
【図３１】図１におけるポインティングデバイス操作支援システムによるキーワード検索処理に係る第３の動作例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、図を用いて本発明を実施するための形態例を説明する。図１において、０１はインターネット、０２はブラウザ、０３はブラウザ０２により表示装置の画面上に表示されたＷｅｂページ、０４は本発明に係るポインティングデバイス操作支援システム、０５はポインティングデバイス操作支援システム０４がデータの入出力に用いる記憶装置としてのデータベース、０６はポインティングデバイス操作支援システム０４がメモリ上生成した仮想Ｗｅｂページである。
【００１９】
ブラウザ０２とポインティングデバイス操作支援システム０４は同じコンピュータ装置内で構成され、コンピュータ装置を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、それぞれメインメモリに記憶されたプログラムを実行することにより実装される。
【００２０】
本例のポインティングデバイス操作支援システム０４は、表示装置の画面にブラウザ０２が表示しているＷｅｂページ０３に対するポインティングデバイスの操作を、プログラムされたコンピュータ処理により支援する機能を有し、プログラムされたコンピュータ処理を実行する機能として、図示していない仮想Ｗｅｂページ構築機能とハイパーリンク取得機能およびマウスポインタ位置特定機能を有し、仮想Ｗｅｂページ構築機能により、表示中のＷｅｂページ０３のソース解析を行い、当該Ｗｅｂページ０３を一部とする同じ内容（アクセス履歴、ブックマークを含む）の全体像の仮想Ｗｅｂページ０６を生成してデータベース０５およびメインメモリに格納し、ハイパーリンク取得機能により、表示中のＷｅｂページ０３上で移動するマウスポインタ（図中、「→」で示す）が当該Ｗｅｂページ０３のハイパーリンク（以下、単に「リンク」とも言う）上に来ると、このハイパーリンクに対するブラウザ０２による検知情報に基づき、仮想Ｗｅｂページ０６における同じハイパーリンクを特定し、マウスポインタ位置特定機能は、ハイパーリンク取得機能で特定したハイパーリンクを用いて、表示中のＷｅｂページ０３上でのマウスポインタ（→）の移動位置と、仮想Ｗｅｂページ０６上でのマウスポインタの移動位置（→）との同期制御を行うことで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【００２１】
例えば、ブラウザ０２は、図２８で示すように、Ｗｅｂページ上のマウスポインタが位置する箇所のリンク（「おもしろ動画」）に対応したＵＲＬ（「ｈｔｔｐ：／／ｗｗｗ．・・・」）を表示している。すなわち、ブラウザ０２は、マウスポインタ下の各リンクのＵＲＬを検知して表示する機能を有しており、本例のポインティングデバイス操作支援システム０４は、マウスポインタ下のハイパーリンクに対してブラウザ０２が検知したＵＲＬと同じＵＲＬを、仮想Ｗｅｂページ０６において検索して読み出すことで、表示中のＷｅｂページ０３上でのマウスポインタ（→）の移動位置と、仮想Ｗｅｂページ０６上でのマウスポインタの移動位置（→）の同定制御を行う。
【００２２】
尚、ポインティングデバイス操作支援システム０４のハイパーリンク取得機能では、ハイパーリンクに対するブラウザ０２による検知情報に基づき特定する仮想Ｗｅｂページ０６における同じハイパーリンクが複数ある場合、当該ハイパーリンクの前もしくは後の少なくともいずれか一方で特定したハイパーリンクとの位置関係が近いものを選択することで、Ｗｅｂページ０２でのマウスポインタ位置の認識操作を支援する。
【００２３】
また、マウスポインタ位置特定機能には、グラフィック座標を基にした軌跡情報生成機能が含まれ、この軌跡情報生成機能においては、マウスポインタ（→）が表示中のＷｅｂページ０３上で複数のハイパーリンクを順次に経由して移動するのに伴い、ハイパーリンク取得機能が仮想Ｗｅｂページ０６における当該複数のハイパーリンクを順次に特定する結果に基づき、当該仮想Ｗｅｂページ０６におけるマウスポインタの移動跡を示す軌跡情報を生成することで、Ｗｅｂページ０２でのマウスポインタ移動の認識操作を支援する。
【００２４】
また、本例のポインティングデバイス操作支援システム０４は、第１の読み上げ機能を具備し、この第１の読み上げ機能により、ハイパーリンク取得機能で特定したハイパーリンクに関しての情報と、軌跡情報生成機能で生成した軌跡情報との、少なくともいずれかを音声出力することで、Ｗｅｂページ０２でのマウスポインタ移動の認識操作を支援する。尚、ハイパーリンク取得機能で特定したハイパーリンクに関しての情報としては、ハイパーリンクのＵＲＬそのものも含まれ、また、軌跡情報生成機能で生成した軌跡情報としては、ブラウザの表示域外にマウスポインタが出てしまった場合の情報も含まれる。
【００２５】
また、この第１の読み上げ機能は、ハイパーリンク取得機能で特定したハイパーリンクに予め定められた範囲内で仮想Ｗｅｂページに存在する情報を読み出して音声出力することで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【００２６】
また、本例のポインティングデバイス操作支援システム０４は、アドオン機能を有し、このアドオン機能により、ブラウザ０２に、Ｗｅｂページ０３上および仮想Ｗｅｂページ０６上の予め定められた位置にナビゲータメニューを表示させる。そして、このナビゲータメニュー上にマウスポインタが置かれると、ポインティングデバイス操作支援システム０４を起動することで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【００２７】
ナビゲータメニューは、例えば、図２６に示すように、ブラウザ０２を起動するための起動メニューと、当該ブラウザに対する上スクロールメニューと下スクロールメニュー、戻るメニュー、お気に入りメニュー、検索キーワードメニューを少なくとも含み、表示装置の画面上の予め定められた位置、例えば画面左上に表示され、アドオン機能により、マウスポインタ（→）下にある当該メニューの機能を音声出力することで、Ｗｅｂページ０２での操作を支援する。
【００２８】
また、本例のポインティングデバイス操作支援システム０４は、操作履歴管理機能と第２の読み上げ機能および仮想Ｗｅｂページ操作機能を有し、操作履歴管理機能により、Ｗｅｂページ０２でのリンク選択操作とページ更新操作を含むマウスポインタ操作に伴う仮想Ｗｅｂページ０６でのマウスポインタ操作の履歴をデータベース０５に蓄積し、第２の読み上げ機能は、操作履歴管理機能でデータベース０５に蓄積したマウスポインタ操作履歴情報を読み出して音声出力し、仮想Ｗｅｂページ操作機能は、第２の読み上げ機能の音声出力に応じて入力装置を介して入力される、リンク選択操作とページ更新操作を含むマウスポインタ操作指示情報に対応して、仮想Ｗｅｂページ０６およびＷｅｂページ０２でのマウスポインタ操作を実行することで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。これにより、例えば、Ｗｅｂページ０２でのマウスポインタ操作に伴う仮想Ｗｅｂページ０６での情報の音声出力（読み上げ）と読み上げ時のマウスポインタの位置の履歴を、正順または逆順に再生することができる。
【００２９】
また、本例のポインティングデバイス操作支援システム０４は、表示機能を有し、この表示機能により、例えばＬＣＤ表示装置等の画面上に、仮想Ｗｅｂページ０６の全体を俯瞰表示もしくはサムネイル表示することで、Ｗｅｂページ０２の認識動作に係る操作を支援する。
【００３０】
また、本例のポインティングデバイス操作支援システム０４は、コンテキスト情報蓄積機能を有し、このコンテキスト情報蓄積機能により、Ｗｅｂページ０２における画像データを含む、読上げできないオブジェクトに対するコンテキスト情報をソース解析して読み込み、当該オブジェクトに対応付けてデータベース０５に蓄積し、マウスポインタ位置特定機能の同期制御により、マウスポインタの移動位置にあるオブジェクトを特定し、特定したオブジェクトに対するコンテキスト情報を読み出して音声出力することで、コンテキスト情報の認識操作を支援する。
【００３１】
また、本例のポインティングデバイス操作支援システム０４は、キーワード制御機能を具備し、このキーワード制御機能は、Ｗｅｂページ０２のソース解析により、当該Ｗｅｂページ０２に対応する仮想Ｗｅｂページ０６における検索キーワードの入力ボックスを特定し、キーボードや音声認識装置等の入力装置から入力されたキーワードを、特定した仮想Ｗｅｂページ０６における入力ボックス、および、対応するＷｅｂページ０２における入力ボックスに入力することで、キーワードの入力操作を支援する。
【００３２】
図２および図３においては、ポインティングデバイス操作支援システム０４の、ハイパーリンク取得機能とマウスポインタ位置特定機能および軌跡情報生成機能による本発明に係る処理動作例を示している。
【００３３】
例えば、図２において、マウスポインタが点線矢印の経路で移動した時、Ｗｅｂページの「サイト内リンクＡ」→「画像リンク１」→「他サイトリンク」上を通過するので、メモリ上に構築された仮想Ｗｅｂページ上のオブジェクトの位置情報と比較することにより、現在、マウスポインタが「フレーム２」のテキストの領域にあることを推測することできる。
【００３４】
例えば、図３において示すように、従来技術により、Ｗｅｂページ０２上のリンク選択をＴＡＢキーのみで順または逆順移動する場合、図３の二点差線矢印で示した様な順移動となる。しかも、フレーム内の順移動で、フレーム最終から次のフレーム先頭に移動するため、点線矢印で示す様な、いきなり「フレーム１」の「サイト内リンクＡ」から「フレーム２」の「他サイトリンク」に移動させることはできず、また、リンクや入力ボックス、ボタン等ではないため、ＴＡＢキー移動されないテキスト表示部分（網掛けの領域）を選択することはできない。更に、このリンクが大量に存在するＹａｈｏｏ（登録商標）などの一般検索サイトでは、この順移動が一巡するには、不要なリンク、入力ボックス、ボタン上も経由して移動する必要があり、また、そのため膨大なＴＡＢキー移動操作が必要になる。
【００３５】
図４においては、ブラウザ０２が表示装置の画面上に表示しているＷｅｂページ０２と、本例のポインティングデバイス操作支援システム０４が生成した仮想Ｗｅｂページ０６との関連を示しており、仮想Ｗｅｂページ０６として、Ｗｅｂページ０２の全体が生成されている。
【００３６】
そして、図中の丸付き数字の１〜１２で示される各フレームが相互に対応付けられており、Ｗｅｂページ０２は、その一部分が表示装置の画面上に表示され、上スクロール操作により上部部分が画面上に表示され、下スクロール操作により下部部分が画面上に表示される。
【００３７】
図５および図６においては、本例のポインティングデバイス操作支援システム０４による、マウスポインタの移動軌跡を特定する同期制御動作の例を示しており、図５におけるブラウザが画面表示しているＷｅｂページ上での丸付き数字の１〜４（以下、丸付き１〜４と記載）に示されるマウスポインタの移動に対応して、ポインティングデバイス操作支援システム０４が生成した仮想Ｗｅｂページ上で、マウスポインタの移動位置が順次に特定されている。
【００３８】
すなわち、マウスポインタが、図５における丸付き１〜４の順にＷｅｂページ上で移動すると、本例のポインティングデバイス操作支援システム０４は、仮想Ｗｅｂページ上で、四角で囲まれたＡ〜Ｉ（以下、四角Ａ〜Ｉと記載）での、図６において示されている内容で、マウスポインタの位置の特定を行う。
【００３９】
四角Ａにおいては、マウスポインタ位置の特定動作を開始するが、仮想Ｗｅｂページでの前回のリンクの特定はされておらず、また、マウスポインタはＷｅｂページおよび仮想ＷｅｂページのＵＲＬ上に無く、ＵＲＬ情報も取得されず、現在のマウスポインタ位置も特定されていない。
【００４０】
四角Ｂにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き１〜２となり、ＵＲＬ（・・・／／ｗｗｗ．ｂ．ｊ／・・・）上に来ており、このＵＲＬ（・・・／／ｗｗｗ．ｂ．ｊ／・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｂ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ１，Ｙ１、 サイズ：Ｗ１×Ｈ１、 テキスト情報：リンクＢ、 ＵＲＬ：・・・／／ｗｗｗ．ｂ．ｊ／・・・）として特定する。
【００４１】
四角Ｃにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き１〜２の途中で、ＵＲＬの無い箇所に来ているが、前回のリンク位置としてリンクＢ領域上を記憶しており、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、リンクＢとテキストＸ領域の間として特定している。
【００４２】
四角Ｄにおいては、マウスポインタは、Ｗｅｂページ上での移動で丸付き２の位置となり、ＵＲＬの無い箇所に来ているが、前回のリンク位置としてリンクＢ領域上を記憶しており、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、テキストＸ領域上（左上グラフィック座標：Ｘ２，Ｙ２、 サイズ：Ｗ２×Ｈ２、 テキスト情報：テキストＸ、 ＵＲＬ：なし）として特定している。
【００４３】
四角Ｅにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き２〜３の途中となり、ＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）上であり、このＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｅ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ３，Ｙ３、 サイズ：Ｗ３×Ｈ３、 テキスト情報：リンクＡ、 ＵＲＬ：・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）として特定する。
【００４４】
四角Ｆにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き３での折り返しであり、ＵＲＬの無い箇所で、前回のリンク位置としてリンクＡ領域上を記憶し、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、読み上げ可能領域外として特定している。
【００４５】
四角Ｇにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き３〜４の途中となり、ＵＲＬの無い箇所にあり、前回のリンク位置としてリンクＡ領域上を記憶しており、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、テキストＸ領域上（左上グラフィック座標：Ｘ２，Ｙ２、 サイズ：Ｗ２×Ｈ２、 テキスト情報：テキストＸ、 ＵＲＬ：なし）として特定している。
【００４６】
四角Ｈにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き３〜４の途中となり、ＵＲＬ（・・・／／ｗｗｗ．ｃ．ｎｅｔ／ｉｍｇ／ｃ．ｇｉｆ・・・）上であり、このＵＲＬ（・・・／／ｗｗｗ．ｃ．ｎｅｔ／ｉｍｇ／ｃ．ｇｉｆ・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｈ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ４，Ｙ４、 サイズ：Ｗ４×Ｈ４、 テキスト情報：コンテキスト、 ＵＲＬ：・・・／／ｗｗｗ．ｃ．ｎｅｔ／ｉｍｇ／ｃ．ｇｉｆ・・・）として特定する。
【００４７】
四角Ｉにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き４で停止し、ＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）上であり、このＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｉ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ５，Ｙ５、 サイズ：Ｗ５×Ｈ５、 テキスト情報：リンクＡ、 ＵＲＬ：・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）として特定する。
【００４８】
この四角Ｉにおいて特定されるマウスポインタの位置におけるＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）は、四角Ｅにおいて特定されたＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）と同じであるが、本例のポインティングデバイス操作支援システム０４は、仮想Ｗｅｂページにおける前回のリンク位置（イメージＣ領域上）等の情報に基づき、この四角Ｉの位置にあるリンクＡ領域を特定する。すなわち、リンクＡ領域はＷｅｂページ上の位置Ｅと位置Ｉの２ヶ所に設けられているが、位置Ｉの仮想ページ前回リンク位置はイメージＣ領域上であり、そこからのグラフィック相対座標および移動方向、距離を追跡することにより、位置Ｉ側のリンクＡ領域上にあると判断する。
【００４９】
このように、本例のポインティングデバイス操作支援システム０４は、表示装置の画面上に表示されたＷｅｂページでのグラフィック座標と、仮想Ｗｅｂページの前回リンクＵＲＬの位置から仮想ページ上の相対位置を算出する。
【００５０】
従って、仮想Ｗｅｂページは、それぞれのオブジェクトの相対位置関係とサイズの比率が正確に一致していれば、実際のＷｅｂページと完全な相似関係にある必要はない。図５においては、それを表すために、敢えて縦尺を縮小して図示している。また、図５に示す仮想Ｗｅｂページは、メモリ上の物理的な配置を意味するものではなく、論理的な配置である。
【００５１】
図７においては、図１における本例のポインティングデバイス操作支援システム０４の機能構成を示しており、機能１〜１７を有し、機能１においては、仮想Ｗｅｂページの構築とデータベースに対するデータの保存と参照を行い、この機能１には、機能１ａ〜１ｄが含まれ、機能１ａは、Ｗｅｂページのソース（ｈｔｍｌ：ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の読み込みと解析を行い、機能１ｂは、機能ａの解析結果に基づきメモリ上に仮想Ｗｅｂページを展開し、機能１ｃは、機能１ｂが生成した仮想Ｗｅｂページの情報をデータベースに保存すると共に履歴更新を行い、機能１ｄは、データベースから仮想Ｗｅｂページの情報および履歴、アクセス履歴等の情報を読み出す。
【００５２】
機能２は、各機能を利用して利用者に対するナビゲート（案内）と操作指示を行い、機能３は、機能３ａ〜３ｃを含み、この機能３ａ〜３ｃにより、Ｗｅｂページと仮想Ｗｅｂページでのマウスポインタの位置の同期制御を行い追跡する。
【００５３】
例えば、機能３ａでは、マウスポインタの仮想Ｗｅｂページ上での相対位置を算出し、機能３ｂでは、マウスポインタがＷｅｂページのリンク上にある場合のＵＲＬを取得し、機能３ｃでは、マウスポインタが画像リンク上にある場合のＵＲＬを取得する。
【００５４】
機能４〜７は、機能２からの指示に応じて各処理を実行するものであり、機能４はリンク先への移動、機能５はリンクの選択、機能６はブラウザの起動、機能７はブラウザの終了処理を行う。
【００５５】
機能８と機能９は、機能２からの指示に応じて、Ｗｅｂページに対する検索キーワードの取得と設定、検索タグの実行を行い、機能１０は、Ｗｅｂページの表示と仮想Ｗｅｂページの生成完了の音声案内を行う。
【００５６】
機能１１では、機能１１ａ〜１１ｄから入力される利用者からの操作指示情報を取得する。機能１１ａは音声認識、機能１１ｂは打鍵検知、機能１１ｃはクリック検知、機能１１ｄはマウスポインタの追跡処理を実行する。
【００５７】
機能１２〜１７は、機能２からの指示に応じて、種々の情報を出力する。機能１２はマウスポインタ近傍のテキスト読み上げを実行し、機能１３はリンク情報読み上げ、機能１４は画像のコンテキスト情報読み上げ、機能１５はリンク一覧の読み上げ、機能１６はブックマーク一覧の読み上げ、機能１７はアクセス一覧の読み上げ、の各処理を実行する。
【００５８】
図８においては、ブラウザナビゲータの起動からＷｅｂページの表示完了までの処理手順を示しており、ブラウザナビゲータ起動（ステップ２０１）、Ｗｅｂブラウザ（全画面）起動（ステップＳ２０２）、ホームページＵＲＬ取得（ステップ２０３）、Ｗｅｂページのロード（ステップ２０４）、Ｗｅｂページ（ＨＴＭＬ）の解析（ステップ２０５）、Ｗｅｂページ上オブジェクト情報保存（ステップ２０６）、仮想ページ作成（ステップ２０７）、Ｗｅｂページの表示（ステップ２０８）、Ｗｅｂページの表示完了音声通知（ステップ２０９）の各ステップでの処理手順を含む。
【００５９】
図９においては、ブラウザナビゲータの終了処理手順を示しており、ブラウザナビゲータの終了指示がキーボードや音声認識装置等の入力装置から入力されると（ステップ３０１）、Ｗｅｂブラウザの終了（ステップ３０２）とブラウザナビゲータ終了（ステップ３０３）の各ステップでの処理手順を含む。
【００６０】
図１０においては、図８のＴ１に対応するデータベースに関しての処理手順を示しており、データベース４０１ａに対するデータベース情報更新（ステップ４０１）と、データベース４０１ｂからのデータベース情報読み出し（ステップ４０２）の各ステップでの処理手順を含む。
【００６１】
図１１においては、図８のＵ１に対応するオブジェクトに対する処理手順を示しており、オブジェクトをメモリ上の仮想Ｗｅｂページ５０１ａ上に展開する処理（ステップ５０１）、仮想Ｗｅｂページ５０１ａからオブジェクト配置情報取得処理（ステップ５０２）の各ステップでの処理手順を含む。
【００６２】
図１２においては、図８のＶ１に対応するテキスト読み上げ処理手順を示しており、例えば、図８のステップ２０９でのＷｅｂページの表示完了を表す音声通知に対応するテキスト情報を、音声出力装置６０１ａを介して読み上げる処理（ステップ６０１）手順を含む。
【００６３】
図１３においては、図１２の処理とは逆の処理として、音声入力装置７０１ａから入力された音声情報を聞き取る処理（ステップ７０１）手順を含む。
【００６４】
図１４においては、マウスポインタ追跡に関しての処理手順を示しており、Ｗｅｂページ上でのマウスポインタの移動に伴う（ステップ８０１）、画面上でのマウスポインタのグラフィック座標取得処理（ステップ８０２）、マウスポインタのハイパーリンク上での存在の判定処理（ステップ８０３）、存在した際の、Ｗｅｂページ上のマウスポインタ下リンクＵＲＬ取得処理（ステップ８０４）、仮想Ｗｅｂページでの前回のリンク位置の照会処理（ステップ８０５）、リンク一覧より同リンクＵＲＬを読込む処理（ステップ８０６）、マウスポインタの相対位置の整合判定処理（ステップ８０７）、仮想Ｗｅｂページでの今回のマウスポインタの位置算出処理（ステップ８０８）、仮想Ｗｅｂページでの今回のマウスポインタの位置保存処理（ステップ８０９）と、ステップ８０３で存在しないと判定した際の、仮想Ｗｅｂページでの前回のリンクのＵＲＬ位置照会処理（ステップ８１０）、Ｗｅｂページ前回リンクＵＲＬグラフィック座標照会処理（ステップ８１１）、仮想Ｗｅｂページでの今回のマウスポインタの位置算出処理（ステップ８１２）、仮想Ｗｅｂページでの今回のマウスポインタの位置保存処理（ステップ８１３）の各ステップでの処理手順を含む。
【００６５】
図１５においては、情報の読み上げ処理に関しての処理手順を示しており、読み上げ指示に伴う（ステップ９０１）、現在の仮想ページ上でのマウスポインタ位置照会処理（ステップ９０２）、現在の仮想Ｗｅｂページ上でのマウスポインタ位置判定処理（ステップ９０３）、マウスポインタがハイパーリンク領域にあると判定した際の、仮想ページのリンクに付随するテキスト取得処理（ステップ９０４）、仮想Ｗｅｂページのリンクに付随するテキストの音声読上げ処理（ステップ９０５）、ステップ９０３においてマウスポインタが読み上げ可能なテキストや画像領域にあると判定した際の、仮想Ｗｅｂページのテキスト・画像に付随するテキスト取得処理（ステップ９０６）、仮想Ｗｅｂページのテキスト・画像に付随するテキストの音声読上げ処理（ステップ９０７）、ステップ９０３においてマウスポインタが読み上げ可能領域外にあると判定した際の、読上げ可能領域外であることを通知する音声通知処理（ステップ９０８）の各ステップでの処理手順を含む。
【００６６】
図１６においては、操作指示のイベントが発生した際の処理に関しての処理手順を示しており、操作指示の入力に伴い（ステップ１００１）、指示されたイベント内容の判定を行う処理（ステップ１００２）手順を含む。指示イベントの内容に応じて、リンク順読上げ（Ｂ１）、ページ戻り（Ｃ１）、ページ進む（Ｄ１）、ページ更新（Ｅ１）、ホーム戻り（Ｆ１）、検索（Ｇ１）、ブックマーク読み上げ（Ｈ１）、ブックマーク登録（Ｉ１）、アクセス履歴読み上げ（Ｊ１）、指示中止（Ａ４）の各ステップでの処理手順を実行する。
【００６７】
図１７においては、リンク読み上げに関しての処理手順を示しており、リンク一覧情報取得処理（ステップ１１０１）、リンク一覧よりのリンクＵＲＬ順読込み処理（ステップ１１０２）、リンクに付随するテキストの取得処理（ステップ１１０３）、リンクに付随するテキストの読上げ処理（ステップ１１０４）、リンク一覧終了判定処理（ステップ１１０５）、操作指示割り込み有無判定処理（ステップ１１０６）、リンク一覧参照ポインタ保持処理（ステップ１１０７）、リンク一覧順読み出しへの切り替え処理（ステップ１１０８）、リンク一覧逆読み出しへの切り替え処理（ステップ１１０９）、ＵＲＬへのリンク処理（ステップ１１１０）、リンク情報の一括読上げ終了音声通知処理（ステップ１１１１）の各ステップでの処理手順を含む。
【００６８】
図１８においては、「ページ戻る」に関しての処理手順を示しており、前ページの履歴情報の取得処理（ステップ１２０１）、前ページの履歴情報の有無の判定処理（ステップ１２０２）、戻る操作の不可音声通知処理（ステップ１２０３）、前ページの履歴情報より仮想ページを作成する処理（ステップ１２０４）、ページ戻る処理（ステップ１２０５）の各ステップでの処理手順を含む。
【００６９】
図１９においては、「ページ進む」に関しての処理手順を示しており、次ページの履歴情報の取得処理（ステップ１３０１）、次ページの履歴情報の有無判定処理（ステップ１３０２）、進む操作の不可音声通知処理（ステップ１３０３）、次ページの履歴情報を用いた仮想ページ作成処理（ステップ１３０４）、ページ進む処理（ステップ１３０５）の各ステップでの処理手順を含む。
【００７０】
図２０においては、「ページ更新」に関しての処理手順を示しており、図１０での処理で読み出される情報としての「現ページＵＲＬ情報」を取得する処理（ステップ１４０１）からなる。
【００７１】
図２１においては、「ホームページに戻る」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「ホーム戻る」であった際に、図８でのＷｅｂブラウザ起動処理（ステップ２０２）からホームページＵＲＬ取得処理（ステップ２０３）に移る際の処理に呼び出される。
【００７２】
図２２においては、「検索」操作に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「検索」であった際、例えば音声で入力された検索キーワードを取得する処理（ステップ１６０１）、検索ボックスの値としてキーワードを設定する処理（ステップ１６０２）、検索エンジン１６０３ａに対して検索ＨＴＭＬを実行する処理（ステップ１６０３）の各ステップでの処理手順を含む。
【００７３】
図２３においては、「ブックマーク読み上げ」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「ブックマーク読み上げ」であった際の処理であり、ブックマーク一覧情報取得処理（ステップ１７０１）、ブックマーク一覧よりのブックマーク順読込み処理（ステップ１７０２）、ブックマークに付随するテキストの取得処理（ステップ１７０３）、ブックマークに付随するテキストの読上げ処理（ステップ１７０４）、ブックマーク一覧終了判定処理（ステップ１７０５）、ブックマーク情報の一括読上げ終了の音声通知処理（ステップ１７０６）、操作指示の割り込み有無の判定処理（ステップ１７０７）、判定処理結果に伴う、ブックマーク一覧参照ポインタ保持処理（ステップ１７０８）、ブックマーク一覧順読み出しへの切り替え処理（ステップ１７０９）、ブックマーク一覧逆読み出しへの切り替え処理（ステップ１７１０）、ブックマークＵＲＬへのリンク処理（ステップ１７１１）の各ステップでの処理手順を含む。
【００７４】
図２４においては、「ブックマーク登録」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「ブックマーク登録」であった際の処理であり、ブックマーク登録指示の入力処理（ステップ１８０１）に伴う、現在ＷｅｂページＵＲＬのブックマーク参照処理（ステップ１８０２）、ブックマークの既登録判定処理（ステップ１８０３）、ブックマーク情報の保存処理（ステップ１８０４）、ブックマーク情報の保存完了の音声通知処理（ステップ１８０５）、ブックマーク情報の登録済み音声通知処理（ステップ１８０６）の各ステップでの処理手順を含む。
【００７５】
図２５においては、「アクセス履歴読み上げ」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「アクセス履歴読み上げ」であった際の処理であり、アクセス履歴の一覧情報の取得処理（ステップ１９０１）、アクセス履歴一覧からの履歴順読込み処理（ステップ１９０２）、アクセス履歴に付随するテキストの取得処理（ステップ１９０３）、アクセス履歴に付随するテキストの読上げ処理（ステップ１９０４）、アクセス履歴の一覧終了判定処理（ステップ１９０５）、アクセス履歴情報の一括読上げ終了の音声通知処理（ステップ１９０６）、操作指示割り込み有無判定処理（ステップ１９０７）、アクセス履歴一覧の参照ポインタ保持処理（ステップ１９０８）、アクセス履歴一覧の順読み出しへの切り替え処理（ステップ１９０９）、アクセス履歴一覧の逆読み出しへの切り替え処理（ステップ１９１０）、アクセス履歴ＵＲＬへのリンク処理（ステップ１９１１）の各ステップでの処理手順を含む。
【００７６】
図２６においては、ナビゲータメニューの構成例を示しており、ブラウザの起動メニューと、当該ブラウザに対する上スクロールメニューと下スクロールメニュー、戻るメニュー、お気に入りメニュー、検索キーワードメニューを少なくとも含み、画面の定位置、例えば画面左上に表示される。
【００７７】
図２７においては、仮想Ｗｅｂページの生成動作に係る手順に関して示しており、Ｗｅｂページ２１０１のロードとＨＴＭＬの解析を行い、その解析結果をデータベース２１０２に保存すると共に、解析結果であるリンクをマッピングすることで仮想Ｗｅｂページ（リンク仮想マップ）２１０３を生成する。
【００７８】
例えば、Ｗｅｂページ２１０１における、文章とその範囲、ボタン、ハイパーリンク、画像名などの情報と、画面に表示される位置などを解析して、データベース２１０２として保存する。
【００７９】
また、一般検索サイト上のマウスポインタ（マウスマウスポインタ）のトラッキングでは、例えばマウスマウスポインタが、Ｗｅｂページ２１０１における（Ａ）から（Ｂ）に移動したとき、リンク丸付き３，７，１０の上を通過するので、マウスマウスポインタが重なったＵＲＬを、それぞれ、「Ｙａｈｏｏサービス，［左フレーム１］，［ｒ／ｌｓｔ］」（リンク丸付き３）、「国民年金の・・・，［ｆ／ｔｏｐｉｃｓ／ｔｏｐ／・・・］」（リンク丸付き７）、「初めての映画館，［ｐｉｃｕｐ．ｇｉｆ］」（リンク丸付き１０）として取得することができる。
【００８０】
このように、マウスマウスポインタの位置とリンクマップを関連付けてトラッキングすることにより、現在マウスのマウスポインタが検索画面上のどこにあるかを推測することが可能である。
【００８１】
図２８においては、一般的なブラウザによる、Ｗｅｂページ上のマウスポインタが位置する箇所のリンク（「おもしろ動画」）に対応したＵＲＬ（「ｈｔｔｐ：／／ｗｗｗ．・・・」）を検知して表示する動作例を示しており、このように、一般的なブラウザは、マウスポインタ下の各リンクのＵＲＬを検知して表示する機能を有しており、本例のポインティングデバイス操作支援システムは、マウスポインタ下のハイパーリンクに対してブラウザが検知したＵＲＬと同じＵＲＬを、仮想Ｗｅｂページにおいて検索して読み出すことで、表示中のＷｅｂページ上でのマウスポインタの移動位置と、仮想Ｗｅｂページ上でのマウスポインタの移動位置の同定制御を行うことができる。
【００８２】
図２９においては、本例のポインティングデバイス操作支援システムによる検索キーワードの入力と、検索結果の表示処理を実行するためのコンピュータ処理システムの構成例を示しており、検索キーワードの入力ボックスに対して、キーボードやソフトウェアキーボード、音声入力処理装置などから、「季節 梅雨明け 予想」とのキーワードが入力され、「検索」ボタンが押下されると、キーワードＤＢ検索の処理を実行して、キーワードデータベースから当該検索結果を抽出して、例えばスピーカー等を介して出力する。
【００８３】
図３０においては、図２９に示すシステムによる処理で用いられるＷｅｂページの検索動作に係る箇所のソースを示しており、「検索キーワード設定」箇所において、検索キーワードの値「ｖａｌｕｅ」として「季節 梅雨明け 予想」が記述されている。
【００８４】
図３１においては、図２９に示すシステムによるキーワード検索処理結果を示しており、Ｗｅｂページにおける検索キーワードの入力ボックスには「季節 梅雨明け 予想」が設定されており、この検索キーワードに対応した検索結果が、ウェブ検索結果として表示されている。
【００８５】
以上、図１〜図３１を用いて説明したように、本例では、例えば、アドオン・ソフトとして開発されたブラウザナビゲータを、インターネット・ブラウザにアドオンしておき、このブラウザナビゲータソフトにより、ブラウザ起動、ブラウザ操作ボタンを含むナビゲータメニューを画面の左上角など、常に一定の位置に配置する。
【００８６】
このナビゲータメニューは、そのメニュー項目上をマウスマウスポインタが通過すると、それぞれ機能を読み上げる機能を持ち、マウスや音声によりナビゲータメニューからブラウザを起動すると、ロードされたＷｅｂページにおけるＨＴＭＬ文書を読み取り、ＨＴＭＬに従ってタグや、文章とその範囲、ボタン、ハイパーリンク、画像名などの情報と、画面に表示される位置などを解析して、データベースとして保存する。
【００８７】
また、Ｗｅｂページのロードが終わり、ＨＴＭＬ情報の取得や解析が完了すると、ナビゲータメニューは、ロード完了とページのタイトルを音声案内する。
【００８８】
そして、本例のポインティングデバイス操作支援システムは、ホームページ（Ｗｅｂページ）上をマウスマウスポインタが移動し、ハイパーリンクやボタン等の上を通過した時に得られるＵＲＬを参照して、マウスポインタが、ホームページの何処を移動しているかをモニターする。設定または操作次第で随時読み上げさせることもできる。
【００８９】
さらに、マウスマウスポインタが停止した地点付近の文章を含む範囲を、特定のキー操作で読み上げる機能を持ち、また、ブラウザの操作や入力に影響を及ぼさないその他のキー押下で、前後左右の範囲の文章の読み上げも行う。
【００９０】
代表的な検索サイトでは、検索キーワードの入力ボックスはＨＴＭＬから予め分かるので、本例のポインティングデバイス操作支援システムは、別途起動された入力パネルに入力されたキーワードを読み上げて、検索ボックスの機能を代行する。この入力パネルへの入力は、キーボードやソフトウェアキーボード、音声などが可能である。
【００９１】
また、お気に入り登録やインターネットオプションのホームページの設定、セキュリティレベルなどの操作も可能であり、さらに、コンテンツ提供者がＨＴＭＬに、規定に則ったコメントやタグを挿入することにより、ナビゲータの精度を更に向上させることもできる。
【００９２】
これにより、下記理由による従来の「視覚障害者向けに作成されていない一般のインターネット・ホームページを視覚障害者が閲覧することは不可能である」との問題点を解消することができる。
（１）ハイパーリンクやボタンをマウスでクリックするため、操作は視覚に頼らざるを得ない。
（２）文字情報が主体で、音声による読み上げ機能を持つホームページはほとんどない。
（３）現在、ブラウザ上に何が表示され、検索サイトでは何処に検索文字を入力すべきか判断できない。
（４）読み上げを指示する場合も、何処に文字があり、どの範囲を読み上げさせるかの範囲選択ができない。
【００９３】
尚、本発明は、図１〜図３１を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、主に、視覚障害者向けの操作支援を目的に説明しているが、仮想Ｗｅｂページ全体を、表示装置の画面上に、俯瞰表示もしくはサムネイル表示することにより、Ｗｅｂページの全体像の把握が容易となり、高齢者や幼齢者など操作に不慣れな人のみならず一般者の利用者も、一般検索サイトを容易に閲覧できるように操作を誘導（ナビゲート）することができる。
【００９４】
このように、本例では、Ｗｅｂページ内のリンクの位置を基準として仮想Ｗｅｂページの位置情報と比較することにより、マウスポインタのページ上の位置を特定するので、Ｗｅｂページ上のマウスポインタの位置から導いた仮想Ｗｅｂページ上の位置で、その近傍にある文章の領域も特定可能となり、一般の検索サイトなどのように、豊富なリンクやテキスト情報を含むＷｅｂページでも適用できる。むしろ、大量のリンクが存在するほど動作の精度が上がる。
【００９５】
また、ページ更新、リンク選択の都度、データベースに保存、履歴管理をすることにより、「戻る」、「進む」の操作で発生するキャッシュの表示に対する問題を解決する機能を実現することや、アクセス履歴の参照や、ブックマーク選択、登録などの操作も容易になる。
【００９６】
また、マウスポインタの追跡、位置特定機能により、Ｗｅｂページ上の対象位置の指示を、キー操作ではなく、マウス操作のみで可能となる。
【００９７】
また、Ｗｅｂページのソースを解析し、仮想ページとして事前に全体像をメモリ中に構築するので、そのイメージをサムネイル化して別表示して、実際の表示項目と連携させることも可能である。
【００９８】
また、仮想Ｗｅｂページを構築する際に、画像データなどの読上げ不可能なオブジェクトに対しても、ＨＴＭＬソース中にコンテキスト情報が記入されていれば、合わせて仮想Ｗｅｂ情報として取り出し関連付けて記憶することができる。
【００９９】
これにより、高齢者や幼齢者など操作に不慣れな人、肢体不自由者、全盲者を含む視覚障害者も一般検索サイトを一般利用者と同ように閲覧できるように操作を誘導（ナビゲート）することができる。
【０１００】
また、マウスポインタの位置より、関連する案内や操作ガイダンスを音声通知したり表示したり、ページ全体の俯瞰イメージをサムネイルなどで別表示しておき、これをクリックしてスクロール操作なしに目的の箇所に直接移動するなど、一般者が利用する上での付加機能も提供できる。
【０１０１】
また、イントラネットの社内ポータルやＥラーニング、幼児の読み書きの学習にも応用可能である。
【０１０２】
また、本例では、表示するＨＴＭＬを動的に解析してＷｅｂページに対する操作をナビゲートするので、従来のＷｅｂページに、そのまま適用可能であり、また、ＨＴＭＬソース中のリンク情報を事前に取得して一覧を一括参照可能とすることにより、要約ページを別途用意する必要はない。
【０１０３】
これにより、ページ提供側は、視覚障害者向けのページや要約ページなどを別途作成する必要はない。
【０１０４】
また、本例では、Ｗｅｂページ上のマウスポインタの追跡と位置特定機能を、他の既存ソフトと組み合わせて利用することが容易にでき、かつ、ＨＴＭＬを解析して仮想Ｗｅｂページを構築したり、マウスポインタと重なったリンクのＵＲＬを取得したり、「戻る」、「進む」、「更新」等の操作などと密接に連携して動き、ブラウザの一部機能としての実装に適している。
【０１０５】
例えば、マウスポインタの位置特定と近傍テキスト情報の取得機能を、既存のスクリーンリーダーや、その他の読上げユーティリティと組み合わせることにより、更に簡便で自由度の高い操作環境を提供できる。
【０１０６】
また、例えば、マイクロソフト社のＩｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）やＧｏｏｇｌｅ社のＣｒｏｍｅ（登録商標）、Ａｐｐｌｅ社のＳａｆａｒｉ（登録商標）などのブラウザの機能の一部またはアドオン機能として組み込むことにより、全盲者も含むバリアフリーで高機能なブラウザを提供することができる。
【０１０７】
尚、本例のコンピュータ構成例に関しては、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良く、また、プログラムを記憶する記録媒体としては、光ディスクやＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を用いることができ、また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。
【０１０８】
また、本例では、ポインティングデバイスとして、マウスを例に説明しているが、トラックボールあるいはタッチパッド（トラックパッド）等をポインティングデバイスとして用いることでも良い。
【符号の説明】
【０１０９】
０１：インターネット、０２：ブラウザ、０３：Ｗｅｂページ、０４：ポインティングデバイス操作支援システム、０５：データベース、０６：仮想Ｗｅｂページ、１〜１７，１ａ〜１ｄ，３ａ〜３ｃ，１１ａ〜１１ｄ：機能（プログラムされたコンピュータ処理機能）、２１０１：Ｗｅｂページ、２１０２：データベース、２１０３：リンク仮想マップ（仮想Ｗｅｂページ）。
【先行技術文献】
【特許文献】
【０１１０】
【特許文献１】特開２００２−２８８０７１号公報
【技術分野】
【０００１】
本発明は、コンピュータ装置の表示画面におけるマウスやトラックボールあるいはタッチパッド（トラックパッドとも言う）等のポインティングデバイスを用いた操作技術に係り、特に、視覚障害者に対するＷｅｂブラウザの操作性を向上させるのに好適な技術に関するものである。
【背景技術】
【０００２】
コンピュータ装置において、例えば、インターネットやイントラネットでブラウザシステムを使用してＷｅｂ情報を照会する場合、一般には、画面に表示されているハイパーリンクを、例えばマウスやトラックボールあるいはタッチパッド等のポインティングデバイスを操作して辿ることにより、ページ繰り等の操作を行う。
【０００３】
インターネット上には多くの検索サイトが存在するが、例えば、これらは晴眼者向けであり、視覚障害者、特に全盲者は、上述のようなポインティングデバイス操作が困難であり、検索サイトを利用することが困難である。
【０００４】
このような問題を解決する従来技術として、例えば、スクリーンリーダーと呼ばれるユーティリティ・ソフトがある。しかし、このスクリーンリーダーでは、ページを要約してリンク情報を抽出し、単にそれを読上げる機能を提供するものである。
【０００５】
また、最初から視覚障害者向けに作成されたホームページ（Ｗｅｂページ）またはそれを閲覧するブラウザも存在するが、特定の提供者が、特定の目的の情報を、特定の対象者へ提供するために作成されたものであり、膨大な情報量と極めて高機能な検索機能を持つ一般の検索サイトを閲覧、利用できるものではない。
【０００６】
また、前述のスクリーンリーダーやその他のユーティリティ・ソフトでは、特に全盲者に対して、Ｗｅｂページ上のタブが移動可能な部分の読上げを行うものであり、リンク間に存在する様々な文字や画像情報を選択、指示できない限り、その部分を読み取ることはできないという問題もある。
【０００７】
また、特許文献１に記載のように、サイドメニューをホームページ提供者が別途作成しておき、ブラウザの別ウィンドウに視覚障害者用の操作メニューを付加表示させ、これを読上げることにより閲覧を可能にする技術がある。
【０００８】
しかし、この技術も、一般検索サイトをそのまま閲覧するわけではなく、あくまでも専用ページでのホームページの構造上の仕組みである。また、同じ技術を一般の検索サイトに適用することはできない。
【０００９】
また、前述の要約や主要トピックを事前に取得して読上げる技術も、そのユーティリティが解読したものの要約であり、一般検索サイト上にある、その他の豊富なテキスト情報を全て網羅できるものではない。
【００１０】
また、従来技術の多くは、操作に不慣れな高齢者や初心者や幼齢者、弱視者あるいは全盲者、肢体不自由者が、Ｗｅｂを検索したり、リンクを選択することに対する補助であり、全盲者であってもページ上を自由に移動して直接読上げ箇所を指示することにより、閲覧したり、リンクを選択できるようにするという観点からは不十分である。
【００１１】
このように、従来の技術では、視覚障害者向けに作成されていない一般のインターネット上のホームページを、視覚障害者が閲覧することは下記の理由により不可能である。
【００１２】
（１）ハイパーリンクやボタンをマウス等のポインティングデバイスでクリックするため、操作は視覚に頼らざるを得ない。
（２）文字情報が主体で、音声による読み上げ機能を持つホームページはほとんどない。
（３）現在ブラウザ上に何が表示され、検索サイトでは何処に検索文字を入力すべきか判断できない。
（４）読み上げを指示する場合も何処に文字があり、どの範囲を読み上げさせるかの範囲選択ができない。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
解決しようとする問題点は、従来の技術では、例えば、マウス等のポインティングデバイスの操作に不慣れな高齢者や初心者や幼齢者、弱視者あるいは全盲者、肢体不自由者は、Ｗｅｂ検索等の操作を、晴眼者と同ように、自由に行うことができない点である。
【００１４】
本発明の目的は、これら従来技術の課題を解決し、Ｗｅｂ検索サイトに代表される、コンピュータ装置における表示画面上でのマウス等のポインティングデバイスの操作によって閲覧箇所の指示を可能にすることである。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明では、画面表示されているＷｅｂページを読み込み、ソースを解析して、同じ内容の仮想Ｗｅｂページをメモリ上に生成し、表示されているＷｅｂページ上のハイパーリンク（主にＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｒｃｅ Ｌｏｃａｔｏｒ）の位置を、仮想Ｗｅｂページ上で位置情報として捉え、この位置情報に基づき、常に、Ｗｅページ上のマウスポインタ（マウスカーソルともいう）の移動を追跡しながら、仮想Ｗｅｂページでの位置情報と比較し、当該仮想Ｗｅｂページにおける位置情報を参照することで、現在のマウスポインタのＷｅｂページ上の位置を特定し、音声等で通知する。これにより、晴眼者向けの一般検索サイトであっても、全盲者があたかも視線を動かすようにマウスポインタを移動して、閲覧箇所を指示することができる。
【発明の効果】
【００１６】
本発明によれば、例えば、全盲者を含む視覚障害者でも、晴眼者同ように、マウス等のポインティングデバイスの操作を基に一般検索サイトの閲覧および利用が可能となり、コンピュータ装置における表示画面上でのマウス等のポインティングデバイスの操作性を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るポインティングデバイス操作支援システムを設けたコンピュータネットワークシステムの構成例を示すブロック図である。
【図２】図１におけるポインティングデバイス操作支援システムによるマウスポインタ検出処理動作例を示す説明図である。
【図３】図１におけるポインティングデバイス操作支援システムによるマウスポインタ移動検出処理動作例を示す説明図である。
【図４】図１におけるポインティングデバイス操作支援システムによる仮想Ｗｅｂページの構成例を示す説明図である。
【図５】図１におけるポインティングデバイス操作支援システムによるマウスポインタ移動検出動作の具体例を示す説明図である。
【図６】図５におけるポインティングデバイス操作支援システムによるマウスポインタ移動検出動作の詳細例を示す説明図である。
【図７】本発明に係るポインティングデバイス操作支援システムの構成例を示すブロック図である。
【図８】図１におけるポインティングデバイス操作支援システムの本発明に係る第１の処理動作例を示すフローチャートである。
【図９】図１におけるポインティングデバイス操作支援システムの本発明に係る第２の処理動作例を示すフローチャートである。
【図１０】図１におけるポインティングデバイス操作支援システムの本発明に係る第３の処理動作例を示すフローチャートである。
【図１１】図１におけるポインティングデバイス操作支援システムの本発明に係る第４の処理動作例を示すフローチャートである。
【図１２】図１におけるポインティングデバイス操作支援システムの本発明に係る第５の処理動作例を示すフローチャートである。
【図１３】図１におけるポインティングデバイス操作支援システムの本発明に係る第６の処理動作例を示すフローチャートである。
【図１４】図１におけるポインティングデバイス操作支援システムの本発明に係る第７の処理動作例を示すフローチャートである。
【図１５】図１におけるポインティングデバイス操作支援システムの本発明に係る第８の処理動作例を示すフローチャートである。
【図１６】図１におけるポインティングデバイス操作支援システムの本発明に係る第９の処理動作例を示すフローチャートである。
【図１７】図１におけるポインティングデバイス操作支援システムの本発明に係る第１０の処理動作例を示すフローチャートである。
【図１８】図１におけるポインティングデバイス操作支援システムの本発明に係る第１１の処理動作例を示すフローチャートである。
【図１９】図１におけるポインティングデバイス操作支援システムの本発明に係る第１２の処理動作例を示すフローチャートである。
【図２０】図１におけるポインティングデバイス操作支援システムの本発明に係る第１３の処理動作例を示すフローチャートである。
【図２１】図１におけるポインティングデバイス操作支援システムの本発明に係る第１４の処理動作例を示すフローチャートである。
【図２２】図１におけるポインティングデバイス操作支援システムの本発明に係る第１５の処理動作例を示すフローチャートである。
【図２３】図１におけるポインティングデバイス操作支援システムの本発明に係る第１６の処理動作例を示すフローチャートである。
【図２４】図１におけるポインティングデバイス操作支援システムの本発明に係る第１７の処理動作例を示すフローチャートである。
【図２５】図１におけるポインティングデバイス操作支援システムの本発明に係る第１８の処理動作例を示すフローチャートである。
【図２６】図１におけるポインティングデバイス操作支援システムが用いるブラウザナビゲータの構成例を示す説明図である。
【図２７】図１におけるポインティングデバイス操作支援システムによるマウスポインタの移動軌跡の検出処理動作例を示す説明図である。
【図２８】ブラウザによるハイパーリンク（ＵＲＬ）の検知動作例を示す説明図である。
【図２９】図１におけるポインティングデバイス操作支援システムによるキーワード検索処理に係る第１の動作例を示す説明図である。
【図３０】図１におけるポインティングデバイス操作支援システムによるキーワード検索処理に係る第２の動作例を示す説明図である。
【図３１】図１におけるポインティングデバイス操作支援システムによるキーワード検索処理に係る第３の動作例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、図を用いて本発明を実施するための形態例を説明する。図１において、０１はインターネット、０２はブラウザ、０３はブラウザ０２により表示装置の画面上に表示されたＷｅｂページ、０４は本発明に係るポインティングデバイス操作支援システム、０５はポインティングデバイス操作支援システム０４がデータの入出力に用いる記憶装置としてのデータベース、０６はポインティングデバイス操作支援システム０４がメモリ上生成した仮想Ｗｅｂページである。
【００１９】
ブラウザ０２とポインティングデバイス操作支援システム０４は同じコンピュータ装置内で構成され、コンピュータ装置を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、それぞれメインメモリに記憶されたプログラムを実行することにより実装される。
【００２０】
本例のポインティングデバイス操作支援システム０４は、表示装置の画面にブラウザ０２が表示しているＷｅｂページ０３に対するポインティングデバイスの操作を、プログラムされたコンピュータ処理により支援する機能を有し、プログラムされたコンピュータ処理を実行する機能として、図示していない仮想Ｗｅｂページ構築機能とハイパーリンク取得機能およびマウスポインタ位置特定機能を有し、仮想Ｗｅｂページ構築機能により、表示中のＷｅｂページ０３のソース解析を行い、当該Ｗｅｂページ０３を一部とする同じ内容（アクセス履歴、ブックマークを含む）の全体像の仮想Ｗｅｂページ０６を生成してデータベース０５およびメインメモリに格納し、ハイパーリンク取得機能により、表示中のＷｅｂページ０３上で移動するマウスポインタ（図中、「→」で示す）が当該Ｗｅｂページ０３のハイパーリンク（以下、単に「リンク」とも言う）上に来ると、このハイパーリンクに対するブラウザ０２による検知情報に基づき、仮想Ｗｅｂページ０６における同じハイパーリンクを特定し、マウスポインタ位置特定機能は、ハイパーリンク取得機能で特定したハイパーリンクを用いて、表示中のＷｅｂページ０３上でのマウスポインタ（→）の移動位置と、仮想Ｗｅｂページ０６上でのマウスポインタの移動位置（→）との同期制御を行うことで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【００２１】
例えば、ブラウザ０２は、図２８で示すように、Ｗｅｂページ上のマウスポインタが位置する箇所のリンク（「おもしろ動画」）に対応したＵＲＬ（「ｈｔｔｐ：／／ｗｗｗ．・・・」）を表示している。すなわち、ブラウザ０２は、マウスポインタ下の各リンクのＵＲＬを検知して表示する機能を有しており、本例のポインティングデバイス操作支援システム０４は、マウスポインタ下のハイパーリンクに対してブラウザ０２が検知したＵＲＬと同じＵＲＬを、仮想Ｗｅｂページ０６において検索して読み出すことで、表示中のＷｅｂページ０３上でのマウスポインタ（→）の移動位置と、仮想Ｗｅｂページ０６上でのマウスポインタの移動位置（→）の同定制御を行う。
【００２２】
尚、ポインティングデバイス操作支援システム０４のハイパーリンク取得機能では、ハイパーリンクに対するブラウザ０２による検知情報に基づき特定する仮想Ｗｅｂページ０６における同じハイパーリンクが複数ある場合、当該ハイパーリンクの前もしくは後の少なくともいずれか一方で特定したハイパーリンクとの位置関係が近いものを選択することで、Ｗｅｂページ０２でのマウスポインタ位置の認識操作を支援する。
【００２３】
また、マウスポインタ位置特定機能には、グラフィック座標を基にした軌跡情報生成機能が含まれ、この軌跡情報生成機能においては、マウスポインタ（→）が表示中のＷｅｂページ０３上で複数のハイパーリンクを順次に経由して移動するのに伴い、ハイパーリンク取得機能が仮想Ｗｅｂページ０６における当該複数のハイパーリンクを順次に特定する結果に基づき、当該仮想Ｗｅｂページ０６におけるマウスポインタの移動跡を示す軌跡情報を生成することで、Ｗｅｂページ０２でのマウスポインタ移動の認識操作を支援する。
【００２４】
また、本例のポインティングデバイス操作支援システム０４は、第１の読み上げ機能を具備し、この第１の読み上げ機能により、ハイパーリンク取得機能で特定したハイパーリンクに関しての情報と、軌跡情報生成機能で生成した軌跡情報との、少なくともいずれかを音声出力することで、Ｗｅｂページ０２でのマウスポインタ移動の認識操作を支援する。尚、ハイパーリンク取得機能で特定したハイパーリンクに関しての情報としては、ハイパーリンクのＵＲＬそのものも含まれ、また、軌跡情報生成機能で生成した軌跡情報としては、ブラウザの表示域外にマウスポインタが出てしまった場合の情報も含まれる。
【００２５】
また、この第１の読み上げ機能は、ハイパーリンク取得機能で特定したハイパーリンクに予め定められた範囲内で仮想Ｗｅｂページに存在する情報を読み出して音声出力することで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【００２６】
また、本例のポインティングデバイス操作支援システム０４は、アドオン機能を有し、このアドオン機能により、ブラウザ０２に、Ｗｅｂページ０３上および仮想Ｗｅｂページ０６上の予め定められた位置にナビゲータメニューを表示させる。そして、このナビゲータメニュー上にマウスポインタが置かれると、ポインティングデバイス操作支援システム０４を起動することで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。
【００２７】
ナビゲータメニューは、例えば、図２６に示すように、ブラウザ０２を起動するための起動メニューと、当該ブラウザに対する上スクロールメニューと下スクロールメニュー、戻るメニュー、お気に入りメニュー、検索キーワードメニューを少なくとも含み、表示装置の画面上の予め定められた位置、例えば画面左上に表示され、アドオン機能により、マウスポインタ（→）下にある当該メニューの機能を音声出力することで、Ｗｅｂページ０２での操作を支援する。
【００２８】
また、本例のポインティングデバイス操作支援システム０４は、操作履歴管理機能と第２の読み上げ機能および仮想Ｗｅｂページ操作機能を有し、操作履歴管理機能により、Ｗｅｂページ０２でのリンク選択操作とページ更新操作を含むマウスポインタ操作に伴う仮想Ｗｅｂページ０６でのマウスポインタ操作の履歴をデータベース０５に蓄積し、第２の読み上げ機能は、操作履歴管理機能でデータベース０５に蓄積したマウスポインタ操作履歴情報を読み出して音声出力し、仮想Ｗｅｂページ操作機能は、第２の読み上げ機能の音声出力に応じて入力装置を介して入力される、リンク選択操作とページ更新操作を含むマウスポインタ操作指示情報に対応して、仮想Ｗｅｂページ０６およびＷｅｂページ０２でのマウスポインタ操作を実行することで、Ｗｅｂページ０２でのマウスポインタ操作を支援する。これにより、例えば、Ｗｅｂページ０２でのマウスポインタ操作に伴う仮想Ｗｅｂページ０６での情報の音声出力（読み上げ）と読み上げ時のマウスポインタの位置の履歴を、正順または逆順に再生することができる。
【００２９】
また、本例のポインティングデバイス操作支援システム０４は、表示機能を有し、この表示機能により、例えばＬＣＤ表示装置等の画面上に、仮想Ｗｅｂページ０６の全体を俯瞰表示もしくはサムネイル表示することで、Ｗｅｂページ０２の認識動作に係る操作を支援する。
【００３０】
また、本例のポインティングデバイス操作支援システム０４は、コンテキスト情報蓄積機能を有し、このコンテキスト情報蓄積機能により、Ｗｅｂページ０２における画像データを含む、読上げできないオブジェクトに対するコンテキスト情報をソース解析して読み込み、当該オブジェクトに対応付けてデータベース０５に蓄積し、マウスポインタ位置特定機能の同期制御により、マウスポインタの移動位置にあるオブジェクトを特定し、特定したオブジェクトに対するコンテキスト情報を読み出して音声出力することで、コンテキスト情報の認識操作を支援する。
【００３１】
また、本例のポインティングデバイス操作支援システム０４は、キーワード制御機能を具備し、このキーワード制御機能は、Ｗｅｂページ０２のソース解析により、当該Ｗｅｂページ０２に対応する仮想Ｗｅｂページ０６における検索キーワードの入力ボックスを特定し、キーボードや音声認識装置等の入力装置から入力されたキーワードを、特定した仮想Ｗｅｂページ０６における入力ボックス、および、対応するＷｅｂページ０２における入力ボックスに入力することで、キーワードの入力操作を支援する。
【００３２】
図２および図３においては、ポインティングデバイス操作支援システム０４の、ハイパーリンク取得機能とマウスポインタ位置特定機能および軌跡情報生成機能による本発明に係る処理動作例を示している。
【００３３】
例えば、図２において、マウスポインタが点線矢印の経路で移動した時、Ｗｅｂページの「サイト内リンクＡ」→「画像リンク１」→「他サイトリンク」上を通過するので、メモリ上に構築された仮想Ｗｅｂページ上のオブジェクトの位置情報と比較することにより、現在、マウスポインタが「フレーム２」のテキストの領域にあることを推測することできる。
【００３４】
例えば、図３において示すように、従来技術により、Ｗｅｂページ０２上のリンク選択をＴＡＢキーのみで順または逆順移動する場合、図３の二点差線矢印で示した様な順移動となる。しかも、フレーム内の順移動で、フレーム最終から次のフレーム先頭に移動するため、点線矢印で示す様な、いきなり「フレーム１」の「サイト内リンクＡ」から「フレーム２」の「他サイトリンク」に移動させることはできず、また、リンクや入力ボックス、ボタン等ではないため、ＴＡＢキー移動されないテキスト表示部分（網掛けの領域）を選択することはできない。更に、このリンクが大量に存在するＹａｈｏｏ（登録商標）などの一般検索サイトでは、この順移動が一巡するには、不要なリンク、入力ボックス、ボタン上も経由して移動する必要があり、また、そのため膨大なＴＡＢキー移動操作が必要になる。
【００３５】
図４においては、ブラウザ０２が表示装置の画面上に表示しているＷｅｂページ０２と、本例のポインティングデバイス操作支援システム０４が生成した仮想Ｗｅｂページ０６との関連を示しており、仮想Ｗｅｂページ０６として、Ｗｅｂページ０２の全体が生成されている。
【００３６】
そして、図中の丸付き数字の１〜１２で示される各フレームが相互に対応付けられており、Ｗｅｂページ０２は、その一部分が表示装置の画面上に表示され、上スクロール操作により上部部分が画面上に表示され、下スクロール操作により下部部分が画面上に表示される。
【００３７】
図５および図６においては、本例のポインティングデバイス操作支援システム０４による、マウスポインタの移動軌跡を特定する同期制御動作の例を示しており、図５におけるブラウザが画面表示しているＷｅｂページ上での丸付き数字の１〜４（以下、丸付き１〜４と記載）に示されるマウスポインタの移動に対応して、ポインティングデバイス操作支援システム０４が生成した仮想Ｗｅｂページ上で、マウスポインタの移動位置が順次に特定されている。
【００３８】
すなわち、マウスポインタが、図５における丸付き１〜４の順にＷｅｂページ上で移動すると、本例のポインティングデバイス操作支援システム０４は、仮想Ｗｅｂページ上で、四角で囲まれたＡ〜Ｉ（以下、四角Ａ〜Ｉと記載）での、図６において示されている内容で、マウスポインタの位置の特定を行う。
【００３９】
四角Ａにおいては、マウスポインタ位置の特定動作を開始するが、仮想Ｗｅｂページでの前回のリンクの特定はされておらず、また、マウスポインタはＷｅｂページおよび仮想ＷｅｂページのＵＲＬ上に無く、ＵＲＬ情報も取得されず、現在のマウスポインタ位置も特定されていない。
【００４０】
四角Ｂにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き１〜２となり、ＵＲＬ（・・・／／ｗｗｗ．ｂ．ｊ／・・・）上に来ており、このＵＲＬ（・・・／／ｗｗｗ．ｂ．ｊ／・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｂ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ１，Ｙ１、 サイズ：Ｗ１×Ｈ１、 テキスト情報：リンクＢ、 ＵＲＬ：・・・／／ｗｗｗ．ｂ．ｊ／・・・）として特定する。
【００４１】
四角Ｃにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き１〜２の途中で、ＵＲＬの無い箇所に来ているが、前回のリンク位置としてリンクＢ領域上を記憶しており、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、リンクＢとテキストＸ領域の間として特定している。
【００４２】
四角Ｄにおいては、マウスポインタは、Ｗｅｂページ上での移動で丸付き２の位置となり、ＵＲＬの無い箇所に来ているが、前回のリンク位置としてリンクＢ領域上を記憶しており、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、テキストＸ領域上（左上グラフィック座標：Ｘ２，Ｙ２、 サイズ：Ｗ２×Ｈ２、 テキスト情報：テキストＸ、 ＵＲＬ：なし）として特定している。
【００４３】
四角Ｅにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き２〜３の途中となり、ＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）上であり、このＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｅ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ３，Ｙ３、 サイズ：Ｗ３×Ｈ３、 テキスト情報：リンクＡ、 ＵＲＬ：・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）として特定する。
【００４４】
四角Ｆにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き３での折り返しであり、ＵＲＬの無い箇所で、前回のリンク位置としてリンクＡ領域上を記憶し、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、読み上げ可能領域外として特定している。
【００４５】
四角Ｇにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き３〜４の途中となり、ＵＲＬの無い箇所にあり、前回のリンク位置としてリンクＡ領域上を記憶しており、仮想Ｗｅｂページ上でのマウスポインタ現在位置として、テキストＸ領域上（左上グラフィック座標：Ｘ２，Ｙ２、 サイズ：Ｗ２×Ｈ２、 テキスト情報：テキストＸ、 ＵＲＬ：なし）として特定している。
【００４６】
四角Ｈにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き３〜４の途中となり、ＵＲＬ（・・・／／ｗｗｗ．ｃ．ｎｅｔ／ｉｍｇ／ｃ．ｇｉｆ・・・）上であり、このＵＲＬ（・・・／／ｗｗｗ．ｃ．ｎｅｔ／ｉｍｇ／ｃ．ｇｉｆ・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｈ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ４，Ｙ４、 サイズ：Ｗ４×Ｈ４、 テキスト情報：コンテキスト、 ＵＲＬ：・・・／／ｗｗｗ．ｃ．ｎｅｔ／ｉｍｇ／ｃ．ｇｉｆ・・・）として特定する。
【００４７】
四角Ｉにおいては、マウスポインタは、Ｗｅｂページ上での移動が丸付き４で停止し、ＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）上であり、このＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）と同じＵＲＬを仮想Ｗｅｂページから抽出し、このＵＲＬが存在する領域（四角Ｉ）の位置を取得して、当該マウスポインタの仮想Ｗｅｂページの現在位置（左上グラフィック座標：Ｘ５，Ｙ５、 サイズ：Ｗ５×Ｈ５、 テキスト情報：リンクＡ、 ＵＲＬ：・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）として特定する。
【００４８】
この四角Ｉにおいて特定されるマウスポインタの位置におけるＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）は、四角Ｅにおいて特定されたＵＲＬ（・・・／／ｗｗｗ．ａ．ｃｏｍ／・・・）と同じであるが、本例のポインティングデバイス操作支援システム０４は、仮想Ｗｅｂページにおける前回のリンク位置（イメージＣ領域上）等の情報に基づき、この四角Ｉの位置にあるリンクＡ領域を特定する。すなわち、リンクＡ領域はＷｅｂページ上の位置Ｅと位置Ｉの２ヶ所に設けられているが、位置Ｉの仮想ページ前回リンク位置はイメージＣ領域上であり、そこからのグラフィック相対座標および移動方向、距離を追跡することにより、位置Ｉ側のリンクＡ領域上にあると判断する。
【００４９】
このように、本例のポインティングデバイス操作支援システム０４は、表示装置の画面上に表示されたＷｅｂページでのグラフィック座標と、仮想Ｗｅｂページの前回リンクＵＲＬの位置から仮想ページ上の相対位置を算出する。
【００５０】
従って、仮想Ｗｅｂページは、それぞれのオブジェクトの相対位置関係とサイズの比率が正確に一致していれば、実際のＷｅｂページと完全な相似関係にある必要はない。図５においては、それを表すために、敢えて縦尺を縮小して図示している。また、図５に示す仮想Ｗｅｂページは、メモリ上の物理的な配置を意味するものではなく、論理的な配置である。
【００５１】
図７においては、図１における本例のポインティングデバイス操作支援システム０４の機能構成を示しており、機能１〜１７を有し、機能１においては、仮想Ｗｅｂページの構築とデータベースに対するデータの保存と参照を行い、この機能１には、機能１ａ〜１ｄが含まれ、機能１ａは、Ｗｅｂページのソース（ｈｔｍｌ：ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の読み込みと解析を行い、機能１ｂは、機能ａの解析結果に基づきメモリ上に仮想Ｗｅｂページを展開し、機能１ｃは、機能１ｂが生成した仮想Ｗｅｂページの情報をデータベースに保存すると共に履歴更新を行い、機能１ｄは、データベースから仮想Ｗｅｂページの情報および履歴、アクセス履歴等の情報を読み出す。
【００５２】
機能２は、各機能を利用して利用者に対するナビゲート（案内）と操作指示を行い、機能３は、機能３ａ〜３ｃを含み、この機能３ａ〜３ｃにより、Ｗｅｂページと仮想Ｗｅｂページでのマウスポインタの位置の同期制御を行い追跡する。
【００５３】
例えば、機能３ａでは、マウスポインタの仮想Ｗｅｂページ上での相対位置を算出し、機能３ｂでは、マウスポインタがＷｅｂページのリンク上にある場合のＵＲＬを取得し、機能３ｃでは、マウスポインタが画像リンク上にある場合のＵＲＬを取得する。
【００５４】
機能４〜７は、機能２からの指示に応じて各処理を実行するものであり、機能４はリンク先への移動、機能５はリンクの選択、機能６はブラウザの起動、機能７はブラウザの終了処理を行う。
【００５５】
機能８と機能９は、機能２からの指示に応じて、Ｗｅｂページに対する検索キーワードの取得と設定、検索タグの実行を行い、機能１０は、Ｗｅｂページの表示と仮想Ｗｅｂページの生成完了の音声案内を行う。
【００５６】
機能１１では、機能１１ａ〜１１ｄから入力される利用者からの操作指示情報を取得する。機能１１ａは音声認識、機能１１ｂは打鍵検知、機能１１ｃはクリック検知、機能１１ｄはマウスポインタの追跡処理を実行する。
【００５７】
機能１２〜１７は、機能２からの指示に応じて、種々の情報を出力する。機能１２はマウスポインタ近傍のテキスト読み上げを実行し、機能１３はリンク情報読み上げ、機能１４は画像のコンテキスト情報読み上げ、機能１５はリンク一覧の読み上げ、機能１６はブックマーク一覧の読み上げ、機能１７はアクセス一覧の読み上げ、の各処理を実行する。
【００５８】
図８においては、ブラウザナビゲータの起動からＷｅｂページの表示完了までの処理手順を示しており、ブラウザナビゲータ起動（ステップ２０１）、Ｗｅｂブラウザ（全画面）起動（ステップＳ２０２）、ホームページＵＲＬ取得（ステップ２０３）、Ｗｅｂページのロード（ステップ２０４）、Ｗｅｂページ（ＨＴＭＬ）の解析（ステップ２０５）、Ｗｅｂページ上オブジェクト情報保存（ステップ２０６）、仮想ページ作成（ステップ２０７）、Ｗｅｂページの表示（ステップ２０８）、Ｗｅｂページの表示完了音声通知（ステップ２０９）の各ステップでの処理手順を含む。
【００５９】
図９においては、ブラウザナビゲータの終了処理手順を示しており、ブラウザナビゲータの終了指示がキーボードや音声認識装置等の入力装置から入力されると（ステップ３０１）、Ｗｅｂブラウザの終了（ステップ３０２）とブラウザナビゲータ終了（ステップ３０３）の各ステップでの処理手順を含む。
【００６０】
図１０においては、図８のＴ１に対応するデータベースに関しての処理手順を示しており、データベース４０１ａに対するデータベース情報更新（ステップ４０１）と、データベース４０１ｂからのデータベース情報読み出し（ステップ４０２）の各ステップでの処理手順を含む。
【００６１】
図１１においては、図８のＵ１に対応するオブジェクトに対する処理手順を示しており、オブジェクトをメモリ上の仮想Ｗｅｂページ５０１ａ上に展開する処理（ステップ５０１）、仮想Ｗｅｂページ５０１ａからオブジェクト配置情報取得処理（ステップ５０２）の各ステップでの処理手順を含む。
【００６２】
図１２においては、図８のＶ１に対応するテキスト読み上げ処理手順を示しており、例えば、図８のステップ２０９でのＷｅｂページの表示完了を表す音声通知に対応するテキスト情報を、音声出力装置６０１ａを介して読み上げる処理（ステップ６０１）手順を含む。
【００６３】
図１３においては、図１２の処理とは逆の処理として、音声入力装置７０１ａから入力された音声情報を聞き取る処理（ステップ７０１）手順を含む。
【００６４】
図１４においては、マウスポインタ追跡に関しての処理手順を示しており、Ｗｅｂページ上でのマウスポインタの移動に伴う（ステップ８０１）、画面上でのマウスポインタのグラフィック座標取得処理（ステップ８０２）、マウスポインタのハイパーリンク上での存在の判定処理（ステップ８０３）、存在した際の、Ｗｅｂページ上のマウスポインタ下リンクＵＲＬ取得処理（ステップ８０４）、仮想Ｗｅｂページでの前回のリンク位置の照会処理（ステップ８０５）、リンク一覧より同リンクＵＲＬを読込む処理（ステップ８０６）、マウスポインタの相対位置の整合判定処理（ステップ８０７）、仮想Ｗｅｂページでの今回のマウスポインタの位置算出処理（ステップ８０８）、仮想Ｗｅｂページでの今回のマウスポインタの位置保存処理（ステップ８０９）と、ステップ８０３で存在しないと判定した際の、仮想Ｗｅｂページでの前回のリンクのＵＲＬ位置照会処理（ステップ８１０）、Ｗｅｂページ前回リンクＵＲＬグラフィック座標照会処理（ステップ８１１）、仮想Ｗｅｂページでの今回のマウスポインタの位置算出処理（ステップ８１２）、仮想Ｗｅｂページでの今回のマウスポインタの位置保存処理（ステップ８１３）の各ステップでの処理手順を含む。
【００６５】
図１５においては、情報の読み上げ処理に関しての処理手順を示しており、読み上げ指示に伴う（ステップ９０１）、現在の仮想ページ上でのマウスポインタ位置照会処理（ステップ９０２）、現在の仮想Ｗｅｂページ上でのマウスポインタ位置判定処理（ステップ９０３）、マウスポインタがハイパーリンク領域にあると判定した際の、仮想ページのリンクに付随するテキスト取得処理（ステップ９０４）、仮想Ｗｅｂページのリンクに付随するテキストの音声読上げ処理（ステップ９０５）、ステップ９０３においてマウスポインタが読み上げ可能なテキストや画像領域にあると判定した際の、仮想Ｗｅｂページのテキスト・画像に付随するテキスト取得処理（ステップ９０６）、仮想Ｗｅｂページのテキスト・画像に付随するテキストの音声読上げ処理（ステップ９０７）、ステップ９０３においてマウスポインタが読み上げ可能領域外にあると判定した際の、読上げ可能領域外であることを通知する音声通知処理（ステップ９０８）の各ステップでの処理手順を含む。
【００６６】
図１６においては、操作指示のイベントが発生した際の処理に関しての処理手順を示しており、操作指示の入力に伴い（ステップ１００１）、指示されたイベント内容の判定を行う処理（ステップ１００２）手順を含む。指示イベントの内容に応じて、リンク順読上げ（Ｂ１）、ページ戻り（Ｃ１）、ページ進む（Ｄ１）、ページ更新（Ｅ１）、ホーム戻り（Ｆ１）、検索（Ｇ１）、ブックマーク読み上げ（Ｈ１）、ブックマーク登録（Ｉ１）、アクセス履歴読み上げ（Ｊ１）、指示中止（Ａ４）の各ステップでの処理手順を実行する。
【００６７】
図１７においては、リンク読み上げに関しての処理手順を示しており、リンク一覧情報取得処理（ステップ１１０１）、リンク一覧よりのリンクＵＲＬ順読込み処理（ステップ１１０２）、リンクに付随するテキストの取得処理（ステップ１１０３）、リンクに付随するテキストの読上げ処理（ステップ１１０４）、リンク一覧終了判定処理（ステップ１１０５）、操作指示割り込み有無判定処理（ステップ１１０６）、リンク一覧参照ポインタ保持処理（ステップ１１０７）、リンク一覧順読み出しへの切り替え処理（ステップ１１０８）、リンク一覧逆読み出しへの切り替え処理（ステップ１１０９）、ＵＲＬへのリンク処理（ステップ１１１０）、リンク情報の一括読上げ終了音声通知処理（ステップ１１１１）の各ステップでの処理手順を含む。
【００６８】
図１８においては、「ページ戻る」に関しての処理手順を示しており、前ページの履歴情報の取得処理（ステップ１２０１）、前ページの履歴情報の有無の判定処理（ステップ１２０２）、戻る操作の不可音声通知処理（ステップ１２０３）、前ページの履歴情報より仮想ページを作成する処理（ステップ１２０４）、ページ戻る処理（ステップ１２０５）の各ステップでの処理手順を含む。
【００６９】
図１９においては、「ページ進む」に関しての処理手順を示しており、次ページの履歴情報の取得処理（ステップ１３０１）、次ページの履歴情報の有無判定処理（ステップ１３０２）、進む操作の不可音声通知処理（ステップ１３０３）、次ページの履歴情報を用いた仮想ページ作成処理（ステップ１３０４）、ページ進む処理（ステップ１３０５）の各ステップでの処理手順を含む。
【００７０】
図２０においては、「ページ更新」に関しての処理手順を示しており、図１０での処理で読み出される情報としての「現ページＵＲＬ情報」を取得する処理（ステップ１４０１）からなる。
【００７１】
図２１においては、「ホームページに戻る」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「ホーム戻る」であった際に、図８でのＷｅｂブラウザ起動処理（ステップ２０２）からホームページＵＲＬ取得処理（ステップ２０３）に移る際の処理に呼び出される。
【００７２】
図２２においては、「検索」操作に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「検索」であった際、例えば音声で入力された検索キーワードを取得する処理（ステップ１６０１）、検索ボックスの値としてキーワードを設定する処理（ステップ１６０２）、検索エンジン１６０３ａに対して検索ＨＴＭＬを実行する処理（ステップ１６０３）の各ステップでの処理手順を含む。
【００７３】
図２３においては、「ブックマーク読み上げ」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「ブックマーク読み上げ」であった際の処理であり、ブックマーク一覧情報取得処理（ステップ１７０１）、ブックマーク一覧よりのブックマーク順読込み処理（ステップ１７０２）、ブックマークに付随するテキストの取得処理（ステップ１７０３）、ブックマークに付随するテキストの読上げ処理（ステップ１７０４）、ブックマーク一覧終了判定処理（ステップ１７０５）、ブックマーク情報の一括読上げ終了の音声通知処理（ステップ１７０６）、操作指示の割り込み有無の判定処理（ステップ１７０７）、判定処理結果に伴う、ブックマーク一覧参照ポインタ保持処理（ステップ１７０８）、ブックマーク一覧順読み出しへの切り替え処理（ステップ１７０９）、ブックマーク一覧逆読み出しへの切り替え処理（ステップ１７１０）、ブックマークＵＲＬへのリンク処理（ステップ１７１１）の各ステップでの処理手順を含む。
【００７４】
図２４においては、「ブックマーク登録」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「ブックマーク登録」であった際の処理であり、ブックマーク登録指示の入力処理（ステップ１８０１）に伴う、現在ＷｅｂページＵＲＬのブックマーク参照処理（ステップ１８０２）、ブックマークの既登録判定処理（ステップ１８０３）、ブックマーク情報の保存処理（ステップ１８０４）、ブックマーク情報の保存完了の音声通知処理（ステップ１８０５）、ブックマーク情報の登録済み音声通知処理（ステップ１８０６）の各ステップでの処理手順を含む。
【００７５】
図２５においては、「アクセス履歴読み上げ」に関しての処理手順を示しており、例えば図１６での処理で判定した指示イベントが「アクセス履歴読み上げ」であった際の処理であり、アクセス履歴の一覧情報の取得処理（ステップ１９０１）、アクセス履歴一覧からの履歴順読込み処理（ステップ１９０２）、アクセス履歴に付随するテキストの取得処理（ステップ１９０３）、アクセス履歴に付随するテキストの読上げ処理（ステップ１９０４）、アクセス履歴の一覧終了判定処理（ステップ１９０５）、アクセス履歴情報の一括読上げ終了の音声通知処理（ステップ１９０６）、操作指示割り込み有無判定処理（ステップ１９０７）、アクセス履歴一覧の参照ポインタ保持処理（ステップ１９０８）、アクセス履歴一覧の順読み出しへの切り替え処理（ステップ１９０９）、アクセス履歴一覧の逆読み出しへの切り替え処理（ステップ１９１０）、アクセス履歴ＵＲＬへのリンク処理（ステップ１９１１）の各ステップでの処理手順を含む。
【００７６】
図２６においては、ナビゲータメニューの構成例を示しており、ブラウザの起動メニューと、当該ブラウザに対する上スクロールメニューと下スクロールメニュー、戻るメニュー、お気に入りメニュー、検索キーワードメニューを少なくとも含み、画面の定位置、例えば画面左上に表示される。
【００７７】
図２７においては、仮想Ｗｅｂページの生成動作に係る手順に関して示しており、Ｗｅｂページ２１０１のロードとＨＴＭＬの解析を行い、その解析結果をデータベース２１０２に保存すると共に、解析結果であるリンクをマッピングすることで仮想Ｗｅｂページ（リンク仮想マップ）２１０３を生成する。
【００７８】
例えば、Ｗｅｂページ２１０１における、文章とその範囲、ボタン、ハイパーリンク、画像名などの情報と、画面に表示される位置などを解析して、データベース２１０２として保存する。
【００７９】
また、一般検索サイト上のマウスポインタ（マウスマウスポインタ）のトラッキングでは、例えばマウスマウスポインタが、Ｗｅｂページ２１０１における（Ａ）から（Ｂ）に移動したとき、リンク丸付き３，７，１０の上を通過するので、マウスマウスポインタが重なったＵＲＬを、それぞれ、「Ｙａｈｏｏサービス，［左フレーム１］，［ｒ／ｌｓｔ］」（リンク丸付き３）、「国民年金の・・・，［ｆ／ｔｏｐｉｃｓ／ｔｏｐ／・・・］」（リンク丸付き７）、「初めての映画館，［ｐｉｃｕｐ．ｇｉｆ］」（リンク丸付き１０）として取得することができる。
【００８０】
このように、マウスマウスポインタの位置とリンクマップを関連付けてトラッキングすることにより、現在マウスのマウスポインタが検索画面上のどこにあるかを推測することが可能である。
【００８１】
図２８においては、一般的なブラウザによる、Ｗｅｂページ上のマウスポインタが位置する箇所のリンク（「おもしろ動画」）に対応したＵＲＬ（「ｈｔｔｐ：／／ｗｗｗ．・・・」）を検知して表示する動作例を示しており、このように、一般的なブラウザは、マウスポインタ下の各リンクのＵＲＬを検知して表示する機能を有しており、本例のポインティングデバイス操作支援システムは、マウスポインタ下のハイパーリンクに対してブラウザが検知したＵＲＬと同じＵＲＬを、仮想Ｗｅｂページにおいて検索して読み出すことで、表示中のＷｅｂページ上でのマウスポインタの移動位置と、仮想Ｗｅｂページ上でのマウスポインタの移動位置の同定制御を行うことができる。
【００８２】
図２９においては、本例のポインティングデバイス操作支援システムによる検索キーワードの入力と、検索結果の表示処理を実行するためのコンピュータ処理システムの構成例を示しており、検索キーワードの入力ボックスに対して、キーボードやソフトウェアキーボード、音声入力処理装置などから、「季節 梅雨明け 予想」とのキーワードが入力され、「検索」ボタンが押下されると、キーワードＤＢ検索の処理を実行して、キーワードデータベースから当該検索結果を抽出して、例えばスピーカー等を介して出力する。
【００８３】
図３０においては、図２９に示すシステムによる処理で用いられるＷｅｂページの検索動作に係る箇所のソースを示しており、「検索キーワード設定」箇所において、検索キーワードの値「ｖａｌｕｅ」として「季節 梅雨明け 予想」が記述されている。
【００８４】
図３１においては、図２９に示すシステムによるキーワード検索処理結果を示しており、Ｗｅｂページにおける検索キーワードの入力ボックスには「季節 梅雨明け 予想」が設定されており、この検索キーワードに対応した検索結果が、ウェブ検索結果として表示されている。
【００８５】
以上、図１〜図３１を用いて説明したように、本例では、例えば、アドオン・ソフトとして開発されたブラウザナビゲータを、インターネット・ブラウザにアドオンしておき、このブラウザナビゲータソフトにより、ブラウザ起動、ブラウザ操作ボタンを含むナビゲータメニューを画面の左上角など、常に一定の位置に配置する。
【００８６】
このナビゲータメニューは、そのメニュー項目上をマウスマウスポインタが通過すると、それぞれ機能を読み上げる機能を持ち、マウスや音声によりナビゲータメニューからブラウザを起動すると、ロードされたＷｅｂページにおけるＨＴＭＬ文書を読み取り、ＨＴＭＬに従ってタグや、文章とその範囲、ボタン、ハイパーリンク、画像名などの情報と、画面に表示される位置などを解析して、データベースとして保存する。
【００８７】
また、Ｗｅｂページのロードが終わり、ＨＴＭＬ情報の取得や解析が完了すると、ナビゲータメニューは、ロード完了とページのタイトルを音声案内する。
【００８８】
そして、本例のポインティングデバイス操作支援システムは、ホームページ（Ｗｅｂページ）上をマウスマウスポインタが移動し、ハイパーリンクやボタン等の上を通過した時に得られるＵＲＬを参照して、マウスポインタが、ホームページの何処を移動しているかをモニターする。設定または操作次第で随時読み上げさせることもできる。
【００８９】
さらに、マウスマウスポインタが停止した地点付近の文章を含む範囲を、特定のキー操作で読み上げる機能を持ち、また、ブラウザの操作や入力に影響を及ぼさないその他のキー押下で、前後左右の範囲の文章の読み上げも行う。
【００９０】
代表的な検索サイトでは、検索キーワードの入力ボックスはＨＴＭＬから予め分かるので、本例のポインティングデバイス操作支援システムは、別途起動された入力パネルに入力されたキーワードを読み上げて、検索ボックスの機能を代行する。この入力パネルへの入力は、キーボードやソフトウェアキーボード、音声などが可能である。
【００９１】
また、お気に入り登録やインターネットオプションのホームページの設定、セキュリティレベルなどの操作も可能であり、さらに、コンテンツ提供者がＨＴＭＬに、規定に則ったコメントやタグを挿入することにより、ナビゲータの精度を更に向上させることもできる。
【００９２】
これにより、下記理由による従来の「視覚障害者向けに作成されていない一般のインターネット・ホームページを視覚障害者が閲覧することは不可能である」との問題点を解消することができる。
（１）ハイパーリンクやボタンをマウスでクリックするため、操作は視覚に頼らざるを得ない。
（２）文字情報が主体で、音声による読み上げ機能を持つホームページはほとんどない。
（３）現在、ブラウザ上に何が表示され、検索サイトでは何処に検索文字を入力すべきか判断できない。
（４）読み上げを指示する場合も、何処に文字があり、どの範囲を読み上げさせるかの範囲選択ができない。
【００９３】
尚、本発明は、図１〜図３１を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、主に、視覚障害者向けの操作支援を目的に説明しているが、仮想Ｗｅｂページ全体を、表示装置の画面上に、俯瞰表示もしくはサムネイル表示することにより、Ｗｅｂページの全体像の把握が容易となり、高齢者や幼齢者など操作に不慣れな人のみならず一般者の利用者も、一般検索サイトを容易に閲覧できるように操作を誘導（ナビゲート）することができる。
【００９４】
このように、本例では、Ｗｅｂページ内のリンクの位置を基準として仮想Ｗｅｂページの位置情報と比較することにより、マウスポインタのページ上の位置を特定するので、Ｗｅｂページ上のマウスポインタの位置から導いた仮想Ｗｅｂページ上の位置で、その近傍にある文章の領域も特定可能となり、一般の検索サイトなどのように、豊富なリンクやテキスト情報を含むＷｅｂページでも適用できる。むしろ、大量のリンクが存在するほど動作の精度が上がる。
【００９５】
また、ページ更新、リンク選択の都度、データベースに保存、履歴管理をすることにより、「戻る」、「進む」の操作で発生するキャッシュの表示に対する問題を解決する機能を実現することや、アクセス履歴の参照や、ブックマーク選択、登録などの操作も容易になる。
【００９６】
また、マウスポインタの追跡、位置特定機能により、Ｗｅｂページ上の対象位置の指示を、キー操作ではなく、マウス操作のみで可能となる。
【００９７】
また、Ｗｅｂページのソースを解析し、仮想ページとして事前に全体像をメモリ中に構築するので、そのイメージをサムネイル化して別表示して、実際の表示項目と連携させることも可能である。
【００９８】
また、仮想Ｗｅｂページを構築する際に、画像データなどの読上げ不可能なオブジェクトに対しても、ＨＴＭＬソース中にコンテキスト情報が記入されていれば、合わせて仮想Ｗｅｂ情報として取り出し関連付けて記憶することができる。
【００９９】
これにより、高齢者や幼齢者など操作に不慣れな人、肢体不自由者、全盲者を含む視覚障害者も一般検索サイトを一般利用者と同ように閲覧できるように操作を誘導（ナビゲート）することができる。
【０１００】
また、マウスポインタの位置より、関連する案内や操作ガイダンスを音声通知したり表示したり、ページ全体の俯瞰イメージをサムネイルなどで別表示しておき、これをクリックしてスクロール操作なしに目的の箇所に直接移動するなど、一般者が利用する上での付加機能も提供できる。
【０１０１】
また、イントラネットの社内ポータルやＥラーニング、幼児の読み書きの学習にも応用可能である。
【０１０２】
また、本例では、表示するＨＴＭＬを動的に解析してＷｅｂページに対する操作をナビゲートするので、従来のＷｅｂページに、そのまま適用可能であり、また、ＨＴＭＬソース中のリンク情報を事前に取得して一覧を一括参照可能とすることにより、要約ページを別途用意する必要はない。
【０１０３】
これにより、ページ提供側は、視覚障害者向けのページや要約ページなどを別途作成する必要はない。
【０１０４】
また、本例では、Ｗｅｂページ上のマウスポインタの追跡と位置特定機能を、他の既存ソフトと組み合わせて利用することが容易にでき、かつ、ＨＴＭＬを解析して仮想Ｗｅｂページを構築したり、マウスポインタと重なったリンクのＵＲＬを取得したり、「戻る」、「進む」、「更新」等の操作などと密接に連携して動き、ブラウザの一部機能としての実装に適している。
【０１０５】
例えば、マウスポインタの位置特定と近傍テキスト情報の取得機能を、既存のスクリーンリーダーや、その他の読上げユーティリティと組み合わせることにより、更に簡便で自由度の高い操作環境を提供できる。
【０１０６】
また、例えば、マイクロソフト社のＩｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）やＧｏｏｇｌｅ社のＣｒｏｍｅ（登録商標）、Ａｐｐｌｅ社のＳａｆａｒｉ（登録商標）などのブラウザの機能の一部またはアドオン機能として組み込むことにより、全盲者も含むバリアフリーで高機能なブラウザを提供することができる。
【０１０７】
尚、本例のコンピュータ構成例に関しては、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良く、また、プログラムを記憶する記録媒体としては、光ディスクやＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を用いることができ、また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。
【０１０８】
また、本例では、ポインティングデバイスとして、マウスを例に説明しているが、トラックボールあるいはタッチパッド（トラックパッド）等をポインティングデバイスとして用いることでも良い。
【符号の説明】
【０１０９】
０１：インターネット、０２：ブラウザ、０３：Ｗｅｂページ、０４：ポインティングデバイス操作支援システム、０５：データベース、０６：仮想Ｗｅｂページ、１〜１７，１ａ〜１ｄ，３ａ〜３ｃ，１１ａ〜１１ｄ：機能（プログラムされたコンピュータ処理機能）、２１０１：Ｗｅｂページ、２１０２：データベース、２１０３：リンク仮想マップ（仮想Ｗｅｂページ）。
【先行技術文献】
【特許文献】
【０１１０】
【特許文献１】特開２００２−２８８０７１号公報
【特許請求の範囲】
【請求項１】
表示装置の画面にブラウザが表示しているＷｅｂページに対するポインティングデバイスの操作を、プログラムされたコンピュータ処理により支援するポインティングデバイス操作支援システムであって、
プログラムされたコンピュータ処理を実行する手段として、
表示中のＷｅｂページのソース解析を行い、当該Ｗｅｂページと同じ内容の仮想Ｗｅｂページを生成して記憶装置に格納する仮想Ｗｅｂページ構築手段と、
前記表示中のＷｅｂページ上で移動するマウスポインタが当該Ｗｅｂページのハイパーリンク上に来ると、該ハイパーリンクに対する前記ブラウザによる検知情報に基づき、前記仮想Ｗｅｂページにおける同じハイパーリンクを特定するハイパーリンク取得手段と、
該ハイパーリンク取得手段が特定したハイパーリンクを用いて、前記表示中のＷｅｂページ上での前記マウスポインタの移動位置および方向と、前記仮想Ｗｅｂページ上での前記マウスポインタの移動位置および方向の同期制御を行うマウスポインタ位置特定手段と
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項２】
請求項１に記載のポインティングデバイス操作支援システムであって、
前記ハイパーリンク取得手段は、
前記ハイパーリンクに対する前記ブラウザによる検知情報に基づき、対応する前記仮想Ｗｅｂページにおける同じハイパーリンクが複数ある場合、
当該ハイパーリンクの前もしくは後の少なくともいずれか一方で特定したハイパーリンクとの位置関係が近いものを選択する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項３】
請求項１もしくは請求項２のいずれかに記載のポインティングデバイス操作支援システムであって、
前記マウスポインタ位置特定手段は、
前記マウスポインタが前記表示中のＷｅｂページ上で複数のハイパーリンクを順次に経由して移動するのに伴い、前記ハイパーリンク取得手段が前記仮想Ｗｅｂページにおける当該複数のハイパーリンクを順次に特定する結果に基づき、
当該仮想Ｗｅｂページにおける前記マウスポインタの移動跡を示す軌跡情報を生成する軌跡情報生成手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項４】
請求項３に記載のポインティングデバイス操作支援システムであって、
前記ハイパーリンク取得手段が特定するハイパーリンクに関しての情報と、
前記軌跡情報生成手段が生成する軌跡情報との、少なくともいずれかを音声出力する第１の読み上げ手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項５】
請求項４に記載のポインティングデバイス操作支援システムであって、
前記第１の読み上げ手段は、
前記ハイパーリンク取得手段が特定するハイパーリンクに、予め定められた範囲内で前記仮想Ｗｅｂページに存在するハイパーリンクに関する文字情報を読み出して音声出力する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項６】
請求項１から請求項５のいずれかに記載のポインティングデバイス操作支援システムであって、
前記ブラウザにアドオンして、前記Ｗｅｂページ上および前記仮想Ｗｅｂページ上の予め定められた位置に、該ポインティングデバイス操作支援システムを起動させるナビゲータメニューを表示させるアドオン手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項７】
請求項６に記載のポインティングデバイス操作支援システムであって、
前記ナビゲータメニューは、
前記ポインティングデバイス操作支援システムの起動メニューと、前記Ｗｅｂページに対する上スクロールメニューと下スクロールメニュー、戻るメニュー、お気に入りメニュー、検索キーワードメニューを少なくとも含み、
前記アドオン手段は、マウスポインタ下にある当該メニューの機能を音声出力する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項８】
請求項１から請求項７のいずれかに記載のポインティングデバイス操作支援システムであって、
前記Ｗｅｂページでのリンク選択操作とページ更新操作を含むマウスポインタ操作に伴う前記仮想Ｗｅｂページでのマウスポインタ操作の履歴を記憶装置に蓄積する操作履歴管理手段と、
該操作履歴管理手段が記憶装置に蓄積したマウスポインタ操作履歴情報を読み出し、音声出力する第２の読み上げ手段と、
該第２の読み上げ手段の音声出力に応じて入力装置を介して入力される、リンク選択操作とページ更新操作を含むマウスポインタ操作指示情報に対応して、前記仮想Ｗｅｂページおよび前記Ｗｅｂページでのマウスポインタ操作を実行する仮想Ｗｅｂページ操作手段と
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項９】
請求項１から請求項８のいずれかに記載のポインティングデバイス操作支援システムであって、
前記仮想Ｗｅｂページ全体を、表示装置の画面上に、俯瞰表示もしくはサムネイル表示する表示手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項１０】
請求項１から請求項９のいずれかに記載のポインティングデバイス操作支援システムであって、
前記Ｗｅｂページにおける画像データを含む、
前記ハイパーリンク取得手段が読上げる事ができないオブジェクトに対するコンテキスト情報をソース解析して読み込み、前記仮想Ｗｅｂページにおける当該オブジェクトに対応付けて記憶装置に蓄積するコンテキスト情報蓄積手段
を有し、
前記マウスポインタ位置特定手段の同期制御により、前記マウスポインタの移動位置にあるオブジェクトを特定し、
該特定したオブジェクトに対するコンテキスト情報を読み出して音声出力する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項１１】
請求項１から請求項１０のいずれかに記載のポインティングデバイス操作支援システムであって、
前記Ｗｅｂページのソース解析により、当該Ｗｅｂページに対応する前記仮想Ｗｅｂページにおける検索キーワードの入力ボックスを特定し、
入力装置から入力されたキーワードを特定した前記仮想Ｗｅｂページにおける入力ボックスおよび対応する前記Ｗｅｂページにおける入力ボックスに入力するキーワード制御手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項１２】
コンピュータを、請求項１から請求項１１のいずれかに記載のポインティングデバイス操作支援システムにおける各手段として機能させるためのプログラム。
【請求項１３】
プログラムされたコンピュータ処理を実行する手段として、請求項１から請求項１１のいずれかに記載のポインティングデバイス操作支援システムにおける各手段を有し、
各手段によるコンピュータ処理により、表示装置の画面にブラウザが表示しているＷｅｂページに対するポインティングデバイスの操作を支援する
ことを特徴とするポインティングデバイス操作支援方法。
【請求項１】
表示装置の画面にブラウザが表示しているＷｅｂページに対するポインティングデバイスの操作を、プログラムされたコンピュータ処理により支援するポインティングデバイス操作支援システムであって、
プログラムされたコンピュータ処理を実行する手段として、
表示中のＷｅｂページのソース解析を行い、当該Ｗｅｂページと同じ内容の仮想Ｗｅｂページを生成して記憶装置に格納する仮想Ｗｅｂページ構築手段と、
前記表示中のＷｅｂページ上で移動するマウスポインタが当該Ｗｅｂページのハイパーリンク上に来ると、該ハイパーリンクに対する前記ブラウザによる検知情報に基づき、前記仮想Ｗｅｂページにおける同じハイパーリンクを特定するハイパーリンク取得手段と、
該ハイパーリンク取得手段が特定したハイパーリンクを用いて、前記表示中のＷｅｂページ上での前記マウスポインタの移動位置および方向と、前記仮想Ｗｅｂページ上での前記マウスポインタの移動位置および方向の同期制御を行うマウスポインタ位置特定手段と
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項２】
請求項１に記載のポインティングデバイス操作支援システムであって、
前記ハイパーリンク取得手段は、
前記ハイパーリンクに対する前記ブラウザによる検知情報に基づき、対応する前記仮想Ｗｅｂページにおける同じハイパーリンクが複数ある場合、
当該ハイパーリンクの前もしくは後の少なくともいずれか一方で特定したハイパーリンクとの位置関係が近いものを選択する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項３】
請求項１もしくは請求項２のいずれかに記載のポインティングデバイス操作支援システムであって、
前記マウスポインタ位置特定手段は、
前記マウスポインタが前記表示中のＷｅｂページ上で複数のハイパーリンクを順次に経由して移動するのに伴い、前記ハイパーリンク取得手段が前記仮想Ｗｅｂページにおける当該複数のハイパーリンクを順次に特定する結果に基づき、
当該仮想Ｗｅｂページにおける前記マウスポインタの移動跡を示す軌跡情報を生成する軌跡情報生成手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項４】
請求項３に記載のポインティングデバイス操作支援システムであって、
前記ハイパーリンク取得手段が特定するハイパーリンクに関しての情報と、
前記軌跡情報生成手段が生成する軌跡情報との、少なくともいずれかを音声出力する第１の読み上げ手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項５】
請求項４に記載のポインティングデバイス操作支援システムであって、
前記第１の読み上げ手段は、
前記ハイパーリンク取得手段が特定するハイパーリンクに、予め定められた範囲内で前記仮想Ｗｅｂページに存在するハイパーリンクに関する文字情報を読み出して音声出力する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項６】
請求項１から請求項５のいずれかに記載のポインティングデバイス操作支援システムであって、
前記ブラウザにアドオンして、前記Ｗｅｂページ上および前記仮想Ｗｅｂページ上の予め定められた位置に、該ポインティングデバイス操作支援システムを起動させるナビゲータメニューを表示させるアドオン手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項７】
請求項６に記載のポインティングデバイス操作支援システムであって、
前記ナビゲータメニューは、
前記ポインティングデバイス操作支援システムの起動メニューと、前記Ｗｅｂページに対する上スクロールメニューと下スクロールメニュー、戻るメニュー、お気に入りメニュー、検索キーワードメニューを少なくとも含み、
前記アドオン手段は、マウスポインタ下にある当該メニューの機能を音声出力する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項８】
請求項１から請求項７のいずれかに記載のポインティングデバイス操作支援システムであって、
前記Ｗｅｂページでのリンク選択操作とページ更新操作を含むマウスポインタ操作に伴う前記仮想Ｗｅｂページでのマウスポインタ操作の履歴を記憶装置に蓄積する操作履歴管理手段と、
該操作履歴管理手段が記憶装置に蓄積したマウスポインタ操作履歴情報を読み出し、音声出力する第２の読み上げ手段と、
該第２の読み上げ手段の音声出力に応じて入力装置を介して入力される、リンク選択操作とページ更新操作を含むマウスポインタ操作指示情報に対応して、前記仮想Ｗｅｂページおよび前記Ｗｅｂページでのマウスポインタ操作を実行する仮想Ｗｅｂページ操作手段と
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項９】
請求項１から請求項８のいずれかに記載のポインティングデバイス操作支援システムであって、
前記仮想Ｗｅｂページ全体を、表示装置の画面上に、俯瞰表示もしくはサムネイル表示する表示手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項１０】
請求項１から請求項９のいずれかに記載のポインティングデバイス操作支援システムであって、
前記Ｗｅｂページにおける画像データを含む、
前記ハイパーリンク取得手段が読上げる事ができないオブジェクトに対するコンテキスト情報をソース解析して読み込み、前記仮想Ｗｅｂページにおける当該オブジェクトに対応付けて記憶装置に蓄積するコンテキスト情報蓄積手段
を有し、
前記マウスポインタ位置特定手段の同期制御により、前記マウスポインタの移動位置にあるオブジェクトを特定し、
該特定したオブジェクトに対するコンテキスト情報を読み出して音声出力する
ことを特徴とするポインティングデバイス操作支援システム。
【請求項１１】
請求項１から請求項１０のいずれかに記載のポインティングデバイス操作支援システムであって、
前記Ｗｅｂページのソース解析により、当該Ｗｅｂページに対応する前記仮想Ｗｅｂページにおける検索キーワードの入力ボックスを特定し、
入力装置から入力されたキーワードを特定した前記仮想Ｗｅｂページにおける入力ボックスおよび対応する前記Ｗｅｂページにおける入力ボックスに入力するキーワード制御手段
を有することを特徴とするポインティングデバイス操作支援システム。
【請求項１２】
コンピュータを、請求項１から請求項１１のいずれかに記載のポインティングデバイス操作支援システムにおける各手段として機能させるためのプログラム。
【請求項１３】
プログラムされたコンピュータ処理を実行する手段として、請求項１から請求項１１のいずれかに記載のポインティングデバイス操作支援システムにおける各手段を有し、
各手段によるコンピュータ処理により、表示装置の画面にブラウザが表示しているＷｅｂページに対するポインティングデバイスの操作を支援する
ことを特徴とするポインティングデバイス操作支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１２−２１２３３９（Ｐ２０１２−２１２３３９Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７７９７０（Ｐ２０１１−７７９７０）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３９６０１７４５３）リコーＩＴソリューションズ株式会社 (22)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３９６０１７４５３）リコーＩＴソリューションズ株式会社 (22)
【Ｆターム（参考）】
[ Back to top ]