説明

表示プログラム

【課題】 ブラウザにおいて、ウェブページの読み上げ処理機能を備え、テキストの読み上げに連動して読みやすいページ表示を可能とする。
【解決手段】 ブラウザ1は、通常のページ表示時の横スクロールの発生を判定し、横スクロールが発生していれば、表示したページの表示部品を、横幅が表示画面の領域の幅以下に縮小し、さらに表示部品が表示領域内に収まるようにレイアウトを再構成する。そして、ブラウザ1は、再構成したページを表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、HTML(HyperText Markup Language)データなどのマークアップ言語で記述されたデータを閲覧するブラウザに関する。なお、関連する発明は、表示したHTMLデータ内のテキストデータを音声合成して出力する読み上げ機能を備えたHTMLデータのブラウザ処理を行うための読み上げ機能付きブラウザプログラム、読み上げ機能付きブラウザ(ブラウジング装置)、ブラウジング処理方法およびブラウザプログラム記録媒体に関する。
【背景技術】
【0002】
コンピュータのデータ処理機能の一つとして、電子データ化された文書(テキストデータ)などを音声合成して出力するというテキスト読み上げ機能がある。テキスト読み上げ機能により、ユーザは、表示装置や印刷装置によって出力された文書を見る代わりに、スピーカから出力される音声を聞くことによって、その内容を把握することができる。
インターネットのウェブページ(Webページ)などのデータについては、通常、HTMLデータの閲覧装置(ブラウザ)は、所定の表示領域にウェブページのコンテンツを表示するが、テキスト読み上げ機能を備える場合には、ウェブページ内のテキストデータを音声出力することができる。
【0003】
読み上げ機能では、ユーザがテキストのどの部分を読み上げているかを確認できるように、読み上げの音声出力に連動させて、読み上げた箇所の前後の文章が明確になるように表示する処理が行われる。一方、ブラウザは、ウェブページの表示サイズがブラウザのコンテンツ表示領域サイズを超える場合には、表示領域サイズに収まる部分を表示し、スクロール機能によって表示部分を切り替えていく。
【0004】
一般的なウェブページは、パソコンの表示装置などのある程度大きな画面を想定して作成されているため、カーナビゲーションシステム、携帯電話、PDA(Personal Digital Assistant)のような携帯情報端末など、表示画面が小さい装置で一般的なウェブページを閲覧する場合に、上下左右のスクロールを強いられることになる。そのため、表示画面サイズが制約される装置において、ウェブページの読み上げが行われる場合に、ブラウザは、例えば横書きテキストの読み上げ箇所を表示するために左右(横)スクロールを頻繁に行うことになる。
【0005】
図18は、ウェブページを表示するコンテンツ表示領域91が小さいブラウザで一般的なHTMLデータ90をスクロール表示し、読み上げる場合の問題を説明するための図である。図18の上部に示すように、ウェブページのHTMLデータ90の表示サイズがコンテンツ表示領域91の横幅を超える場合に、ブラウザが、読み上げ部分92をコンテンツ表示領域91内に表示していなければ、音声出力にともなって読み上げ部分92を表示するために、ウェブページを横スクロールし、図18の下部に示すように、該当する読み上げ部分92がコンテンツ表示領域91内に入るようにウェブページの表示部分を切り替える。さらに、読み上げが進み、該当する読み上げ部分92が移動すると、同様に、ウェブページの表示部分を切り替えて、その読み上げ部分92をコンテンツ表示領域91で表示する。ユーザにとって、表示の頻繁な切り替えは煩わしく感じられる。
【0006】
このような、読み上げ箇所の表示による横スクロールを発生させずにウェブページを表示できるようにするために、従来では、以下のように対処していた。
【0007】
1)コンテンツ提供者が、所定の装置の表示画面において横スクロールをせずにウェブページが表示できるように、読み上げ対象となるコンテンツについて表示サイズを考慮した読み上げ専用のHTMLデータを提供し、ブラウザは、読み上げ時には読み上げ専用のウェブページを表示していた。
【0008】
2)ブラウザ側で、ユーザ指定されたHTMLタグ(例えば<B></B>、<I></I>など)や予め定義しておいた特殊タグをもとに、読み上げに適応させた表示となるように、HTMLデータを再構成する。
【0009】
例えば、以下に示す特許文献1の技術では、再構成用の特殊タグをユーザの嗜好に応じた表示形態を記述したユーザプロファイルに予め設定しておき、ブラウザでは、取得したHMTLデータをユーザプロファイルの記述に従って再構成して表示する。ユーザプロファイルに読み上げ用の特殊タグを設定しておくことにより、読み上げに適応させた表示が行えるようになる。
【0010】
さらに、読み上げ機能では、読み上げ対象となるテキストデータは、すべて音声合成されて出力される。しかし、文字表示による出力を想定したテキストデータをすべて音声出力すると、テキストデータ中の括弧や特殊記号などは、自然な音声の流れを妨げて煩わしく聞こえ、かえって内容の把握を妨げることがある。
【0011】
そのため、例えば以下に示す特許文献2の技術のように、音声合成処理して読み上げる必要がない括弧や特殊記号などを予め設定しておき、テキストデータ内の設定された記号を読み飛ばし、文字のみを読み上げる処理手法がある。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2003−223463号公報
【特許文献2】特開平11−338673号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
表示されるコンテンツを注視できないような状況下であっても、ウェブサイトから情報を得たいと考えるユーザは多く、ウェブページのデータの音声出力を聞き、かつ読み上げられた箇所や気になる画像などを表示画面で簡単に確認できるようなブラウザに対する要求は高い。
【0014】
しかし、表示画面が小さいブラウザで横スクロールが生じるようなウェブページを読み上げた場合に、読み出し部分表示のための画面の切り替りはさらに頻繁になる。ブラウザのコンテンツ表示領域に合わせた読み上げ専用に別のHTMLデータを予め用意することは、コンテンツ提供者にとって大きな負担となる。
【0015】
また、特許文献1の技術のように、再構成用の特殊タグを付加したHTMLデータと特殊タグによる表示形態を記述したユーザプロファイルとを用意し、ブラウザでは読み上げに適応させて再構成したウェブページを表示する場合に、再構成されたウェブページでは、元のウェブページの構成が保持されない。さらに、再構成の際に元のウェブページから特定の情報だけが抽出されるため、情報の欠落が生じ、本来の情報を提供できないおそれがある。
【0016】
一方、一般的なウェブページは、他のページへのリンク指示や広告バナーなど本来のコンテンツとして得られる情報とは無関係の情報、社名や著作権表示など複数ページで繰り返し表示される情報などが多数含まれている。このようなコンテンツ提供者が本来提供したい情報以外の情報まで読み上げることは冗長であり、かえってユーザの混乱を招くことになる。
【課題を解決するための手段】
【0017】
本発明の目的は、ウェブページ内のテキストデータを音声合成し音声出力する読み上げ機能を備えて、読み上げ専用のHTMLデータを用いることなく、煩わしい画面の切り替えおよびコンテンツの欠落が生じないようにして読み上げに適応したレイアウトでウェブページを表示する読み上げ機能付きブラウザプログラム、読み上げ機能付きブラウザ、ブラウジング処理方法およびブラウザプログラム記録媒体を提供することである。
【0018】
また、本発明の別の目的は、ウェブページ内のテキストデータを音声合成し音声出力する読み上げ機能を備えて、読み上げ対象のウェブページから、本来提供したいコンテンツだけを読み上げることができる読み上げ機能付きブラウザプログラム、読み上げ機能付きブラウザ、ブラウジング処理方法およびブラウザプログラム記録媒体を提供することである。
【0019】
本発明の表示プログラムは,コンピュータに,マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の少なくともいずれかが表示画面の横方向の表示幅を超える場合に,該表示画面の横方向の表示幅を超える部品が非テキスト部品であるときは,該非テキスト部品を縮小して前記表示画面の横方向の表示幅を超えない非テキスト部品を生成して,前記テキスト部品と合わせて表示する処理を,実行させるものである。
【0020】
なお,本発明の関連発明である読み上げ機能付きブラウザは、テキストデータを音声合成して音声データとして出力する読み上げ処理手段を備えて、HTMLデータを表示用データに変換して所定の表示領域に表示し、ユーザの要求に応じて前記テキストデータの読み上げ処理を行う読み上げ機能付きブラウザにおいて、前記表示領域に表示する表示用データを横方向へのスクロールが可能な状態で表示しているか否かを判定する横スクロール判定処理手段と、前記表示用データを横方向へのスクロールが可能な状態で表示している場合に、前記表示用データの各表示部品の横幅が前記表示領域の横幅値以下になるようにサイズを変更し、前記変更した表示部品を前記表示領域内に収まるようにレイアウトを再構成する最適化レイアウト処理手段と、前記最適化レイアウト処理手段により再構成した表示用データを、縦方向へのスクロールが可能な状態で前記表示領域に表示し、前記読み上げ処理手段により音声出力された前記表示用データの読み上げ部分を、前記読み上げ部分以外の部分と異なる表示態様で前記表示領域内に表示するスクロール処理手段とを備える。
【0021】
本発明は、横スクロール判定処理手段により、例えばインターネットのウェブページなどのHTMLデータを表示用データに変換して所定の表示領域に表示する場合に、前記表示領域に表示する表示用データを横方向へのスクロールが可能な状態で表示しているか否かを判定する。
【0022】
そして、前記表示用データを横方向へのスクロールが可能な状態で表示している場合には、最適化レイアウト処理手段により、前記表示用データの各表示部品の横幅が前記表示領域の横幅値以下になるようにサイズを変更し、変更した前記表示部品を前記表示領域内に収まるようにレイアウトを再構成する。具体的には、前記表示用データの各表示部品の横幅値を求め、前記表示部品のうちテキストデータを表示するテキスト表示部品の横幅値を前記表示領域の横幅値以下に変更し、前記テキスト表示部品以外の表示部品を前記表示領域に収まるように縮小し、前記表示用データを横方向へのスクロールを行わずに表示できるように前記表示部品のレイアウトを再構成する。
【0023】
そして、スクロール処理手段により、前記最適化レイアウト処理手段により再構成した表示用データを、縦方向へのスクロールが可能な状態で前記表示領域に表示し、前記読み上げ処理手段により音声出力された前記表示用データの読み上げ部分を、前記読み上げ部分以外の部分と異なる表示態様で前記表示領域内に表示する。
【0024】
これにより、本発明のブラウザは、インターネットから取得したウェブページを所定の小画面に表示している場合に、ウェブページのテキストコンテンツの読み上げ処理が開始されると、小画面において横スクロールせずにウェブページを表示できるように表示部品を再構成し、表示領域に再構成したウェブページを表示する。そして、読み上げ処理手段により音声出力されるテキストコンテンツに合わせて、ウェブページのテキストコンテンツを出力された読み上げ部分が目立つような表示態様で表示する。
【0025】
また、本発明の読み上げ機能付きブラウザは、テキストデータを音声合成して音声データとして出力する読み上げ処理手段を備えて、HTMLデータを表示用データに変換して所定の表示領域に表示し、ユーザの要求に応じて前記テキストデータの読み上げ処理を行う読み上げ機能付きブラウザにおいて、1)前記読み上げ処理手段による音声出力を行わないテキストデータの範囲を示す特定記号情報を記憶する手段と、2)前記HTMLデータから前記読み上げ処理手段が読み上げるテキストデータを取得し、前記特定記号情報をもとに前記テキストデータから前記範囲の開始位置を示す特定開始記号および終了位置を示す特定終了記号で囲まれたテキストデータを抽出し、前記抽出したテキストデータを削除する読み飛ばし範囲判定処理手段とを備える。
【0026】
また、本発明は、例えば、前記読み上げ処理手段による音声出力を行わないテキストデータの範囲の開始位置を示す特定開始記号および前記範囲の終了位置を示す特定終了記号との組み合わせを設定した特定記号情報を記憶する手段を備える。特定記号情報は、文字コードで特定可能な記号や文字であり、例えば、”[”と”]”、”*”と”*”、”※”と”※”、”#”と”。”などの組み合わせであってもよい。また、”※※”と”※※”、”※※”と”※”などのように複数の文字や記号を組み合わせたものであってもよい。
【0027】
そして、小画面に表示したテキストコンテンツの読み上げ処理を行う場合に、ブラウザの読み飛ばし範囲判定処理手段は、前記HTMLデータから前記読み上げ処理手段が読み上げるテキストデータを取得し、前記特定記号情報をもとに前記テキストデータから組み合わせられた前記特定開始記号および前記特定終了記号で囲まれたテキストデータを抽出し、読み上げ処理のためのテキストデータから削除する。
【0028】
これにより、本発明は、読み上げ対象のテキストコンテンツから、予め設定された特定記号情報を用いて、本来のコンテンツとして提供される情報とは無関係な注意書きや著作権表示などの情報を読み飛ばすことができる。これにより、ユーザは、コンテンツ提供者が本来提供したい情報を効率的に聞くことができる。
【発明の効果】
【0029】
本発明は、一般的なウェブページの表示サイズに比べて表示画面が小さいデータ処理装置、例えば、カーナビゲーション装置、データ通信機能付き携帯電話やPDAなどの可搬型小型情報端末、情報家電(例えば、システムキッチンに組み込まれたデータ処理装置)などに搭載されるブラウザに利用することができる。これらのデータ処理装置は、運転中や作業中など表示画面に表示されたコンテンツを注視できない状況下で利用される可能性が高い。
【0030】
本発明によれば、ウェブページは、コンテンツの音声出力に伴って、音声出力された読み上げ部分を中心に横スクロールされることなく小さな表示画面に合わせて表示される。これにより、大きさに制約がある表示画面において読み上げ部分を表示させる場合の頻繁な画面の切り替りを防ぐことができる。このようなコンテンツの表示と連動した読み上げにより、運転中や作業中にウェブページから情報を取得したい場合に、ユーザは、コンテンツを聞きながら、読み上げ箇所を容易に確認することができる。
【0031】
また、本発明によれば、表示画面が小さい装置向けに読み上げ専用HTMLデータを作成する必要がなく、パソコン向けの一般的なウェブページのコンテンツの読み上げが可能になる。これにより、コンテンツ提供者のコンテンツ作成負担を軽減することができる。
【0032】
また、本発明によれば、元のウェブページの情報を欠落させることなく読み上げに連動した表示を行うことができる。これにより、ユーザは、表示画面が小さい装置でも、パソコン向けの一般的なウェブページを閲覧することができる。
【0033】
また、本発明によれば、本来のコンテンツとして提供される情報とは無関係な情報を読み飛ばして音声出力することができる。これにより、ユーザは、ウェブページの有用な情報を効率的に収集することができる。
【図面の簡単な説明】
【0034】
【図1】本発明の最良の実施形態における構成例を示す図である。
【図2】ウェブサイトのサーバから取得したHTMLデータ例を示す図である。
【図3】図2に示すHTMLデータのDOMツリー例を示す図である。
【図4】図2に示すHTMLデータから生成されるウィジェットツリーの例を示す図である。
【図5】図4に示すウィジェットツリーにもとづくウィジェットの配置例を示す図である。
【図6】最適化レイアウト処理前後のコンテンツの表示の相違を示すための図である。
【図7】図18に示すHTMLデータについて本発明の処理を施した場合の表示例を示す図である。
【図8】本発明の概要処理フローを示す図である。
【図9】最適化処理の処理フローを示す図である。
【図10】図9に示すステップS24の詳細処理フローを示す図である。
【図11】図9に示すステップS26の詳細処理フローを示す図である。
【図12】図9に示すステップS28の詳細処理フローを示す図である。
【図13】図8に示すステップS3の詳細処理フローを示す図である。
【図14】一般的なニュース提供サイトのウェブページの表示例を示す図である。
【図15】別の一般的なニュース提供サイトのウェブページの表示例を示す図である。
【図16】読み飛ばし範囲判定処理の詳細処理フローを示す図である。
【図17】読み飛ばし範囲判定処理を行う場合におけるステップS3の読み上げ表示処理の詳細処理フローを示す図である。
【図18】ブラウザのスクロール表示における読み上げ箇所の指摘表示の問題を説明するための図である。
【発明を実施するための形態】
【0035】
本発明を実施するための最良の形態として、インターネット上のウェブサイトのサーバから取得したHTMLデータを表示装置に表示し、読み上げ処理時に、読み上げに連動してウェブページの最適な表示を行うためにレイアウトを再構成する処理と、所定の特定記号情報をもとにテキストコンテンツから特定した範囲を読み飛ばして音声出力する処理とを行うブラウザの実施例を説明する。
【0036】
図1に、本発明の最良の実施形態における構成例を示す。
【0037】
本発明にかかる読み上げ機能付きブラウザ(ブラウザ)1は、表示装置2、スピーカ3、ブラウジング処理制御部110、通信処理部111、HTML解析処理部112、レイアウト処理部113、画像表示処理部115、読み上げ処理制御部120、横スクロール判定処理部121、最適化レイアウト処理部122、読み上げテキスト取得処理部123、スクロール処理部124、ページ切替処理部125、特定記号情報記憶部126、読み飛ばし範囲判定処理部127、音声合成処理部131、波形生成処理部132、および音声出力処理部133を備える。
【0038】
ブラウジング処理制御部110は、HTMLデータを取得して、表示装置2に表示するブラウジング処理に関する一連の処理を制御する処理手段である。また、ブラウジング処理制御部110は、ユーザが、読み上げを要求した場合に、読み上げ処理制御部120へ要求を通知する。
【0039】
通信処理部111は、HTTPプロトコルにしたがって、ウェブサイトのサーバからHTMLデータを取得する処理手段である。図2に、ウェブサイトのサーバから取得したHTMLデータ例を示す。
【0040】
HTML解析処理部112は、HTMLデータのタグを解析し、DOM(Document Object Model)ツリーと呼ばれる形式に変換する処理手段である。
【0041】
図3に、図2に示すHTMLデータのDOMツリー例を示す。DOMツリーは、HTMLデータの階層関係を示すものである。
【0042】
レイアウト処理部113は、DOMツリーの情報を、タグの情報に従ってレイアウトする処理を行う。レイアウトされたHTMLデータは、ウィジェット(Widget)と呼ばれるGUI(Graphical User Interface)用の表示部品で表現する。
【0043】
図4に、図2に示すHTMLデータから生成されるウィジェットツリーの例を示す。ウィジェットツリーは、ウィジェット(表示部品)W1〜W7間の関係を示すものである。
【0044】
画像表示処理部115は、ウィジェットツリーに記述されている情報をもとに、HTMLデータを表示装置2に表示する処理手段である。
【0045】
読み上げ処理制御部120は、ブラウザ1のユーザによって、表示装置2に表示されたHTMLデータの読み上げ処理が要求されたときに、読み上げ処理に関する一連の処理を制御する処理手段である。
【0046】
横スクロール判定処理部121は、表示装置2に現在表示されているウェブページを、横スクロールを行う状態で表示しているか否かを判断する処理手段である。
【0047】
最適化レイアウト処理部122は、DOMツリーの情報を、タグの情報に従って、ブラウザ1の所定のコンテンツ表示領域において横スクロールが発生しない状態で表示するようにレイアウトする処理手段である。レイアウトされたHTMLデータは、ウィジェットと呼ばれる表示部品で表現する。
【0048】
読み上げテキスト取得処理部123は、DOMツリーから、読み上げ処理の対象となるテキストデータを順番に取得する処理手段である。
【0049】
スクロール処理部124は、HTMLデータ中のテキストデータの音声出力している部分(読み上げ部分)をスクロールして表示する処理手段である。
【0050】
ページ切替処理部125は、HTMLデータ上に記述されているURLにジャンプする処理手段である。なお、ジャンプするか否かは環境設定で規定することができる。
【0051】
特定記号情報記憶部126は、読み上げ処理時に読み飛ばす部分、すなわち読み上げ対象のテキストデータのなかで音声出力しないテキストデータの範囲を特定するための特定記号情報を記憶する処理手段である。特定記号情報は、読み飛ばす開始位置を示す特定開始記号および前記範囲の終了位置を示す特定終了記号との組み合わせとして設定される。
【0052】
読み飛ばし範囲判定処理部127は、読み上げ対象として取得されたテキストデータの文字コードを解析して、特定記号情報をもとに、読み上げ処理時に読み飛ばす範囲を抽出し削除する処理手段である。
【0053】
音声合成処理部131は、読み上げテキスト取得処理部123が取得したテキストデータを表音文字列に変換する処理手段である。
【0054】
波形生成処理部132は、表音文字列を波形データに変換する処理手段である。
【0055】
音声出力処理部133は、波形データを音声としてスピーカ3から出力する処理手段である。
〔最適化レイアウト処理〕
以下に、最適化レイアウト処理をより詳細に説明する。処理するコンテンツは、図2に示すHTMLデータとし、ブラウザ1のコンテンツ表示領域の画面幅は240ピクセルとする。
【0056】
ブラウジング処理制御部110の制御のもと、あるウェブサイトのサーバから取得されたHTMLデータは、図4に示すウィジェットツリーに展開され,図6(A)に示すようなウェブページがコンテンツ表示領域に表示される。コンテンツ表示領域の画面幅は240ピクセルであり、すべてのコンテンツを同時に表示することはできないため、画像表示処理部115は、コンテンツ表示領域で横スクロールができるような表示状態でコンテンツを表示する。なお、これらの一連の処理は、一般的なブラウジング処理であるので説明を省略する。
【0057】
このような状態でウェブページが表示されている時に、ユーザから読み上げ処理の要求があると、横スクロール判定処理部121は、横スクロール可能な状態での表示であると判定し、最適化レイアウト処理部122へ判定結果を渡す。
【0058】
最適化レイアウト処理部122は、レイアウト処理部113によって生成された図4のウィジェットツリーをコンテンツ表示領域に表示するために、ウィジェットW1〜W7の配置座標を決定する。ウィジェットツリーの階層構造にしたがって、上位のウィジェットから順番にコンテンツ表示領域の左上から配置し、ウインドウウィジェットW1の幅(以下、画面幅)=240ピクセル内に各ウィジェットが収まるようにサイズ(大きさ)を変更して配置する。図5に、図4のウィジェットツリーにもとづくウィジェットの配置例を示す。
【0059】
まず、イメージウィジェットW2については、イメージウィジェットW2の横幅が画面幅より大きいため、イメージの縦横比率を維持した形状で画面幅に収まるサイズに縮小して配置する。
【0060】
次に、表ウィジェットW3については、サイズ指定がないため、セルウィジェットW4、W5の最小サイズを求めてから決定する。まず、セルウィジェットW4のサイズを決定するために、中身のウィジェットのサイズを求める。セルウィジェットW4の中身であるイメージウィジェットW6のサイズが、画面幅に収まる大きさであるため、イメージの縮小は行わない。よって、セルウィジェットW4のサイズが定まる。
【0061】
次に、セルウィジェットW5のサイズを決定するために、同様に、中身のウィジェットのサイズを求める。テキストウィジェットW7の文字列は、NOBR(改行禁止)指定であるが、文字列の折り返しを行わないと画面幅に収まらないため、NOBR指定を無効として、最小セルウィジェットのサイズが1文字分のサイズに決定する。
【0062】
セルウィジェットW4、W5のサイズが決定したことにより表ウィジェットW3のサイズが決定する。しかし、決定した表ウィジェットW3のサイズが画面幅より大きく、セルウィジェットW4、W5の2つのウィジェットを横に配置することができないため、図6(B)に示すように、セルウィジェットW5を、セルウィジェットW4の下に配置するようにセルを分割する。そして、決定したセルウィジェットW4、W5の配置位置に従ってそれぞれのセルウィジェット内をレイアウトする。
【0063】
図7に、図18に示すHTMLデータ90について本発明の処理を施した場合の表示例を示す。本発明によれば、HTMLデータ90から展開されるウェブページの幅がコンテンツ表示領域の画面幅に収まるように表示処理されるため、横スクロールが発生しない。よって、読み上げ処理時に読み上げ部分を表示する場合には縦スクロールのみで画面が切り替り、頻繁な画面切り替えを発生させないため、ユーザは、容易に読み上げ部分を確認することができる。
【0064】
図8〜図12に、本発明の処理フローを示す。
【0065】
図8に、本発明の概要処理フローを示す。
【0066】
ブラウジング処理制御部110の制御下でHTMLデータを表示処理している際に読み上げ処理の要求があると、本処理が開始される。横スクロール判定処理部121は、横スクロールが発生しているかどうかを判定する(ステップS1)。横スクロールが発生していると判定した場合は、最適化レイアウト処理を行って(ステップS2)、読み上げ処理を行う(ステップS3)。一方、横スクロールが発生していないと判定した場合は、そのまま、読み上げ処理を行う(ステップS3)。
【0067】
図9は、最適化処理の処理フローを示す。
【0068】
最適化レイアウト処理部122は、ウィジェットツリーから、レイアウト処理を行うウィジェットを順次取得する(ステップS21)。レイアウトを行うウィジェットがあれば(ステップS22)、そのウィジェットがテキストウィジェットか否かを判定する(ステップS23)。テキストウィジェットであれば、テキストの処理を行う(ステップS24)。テキストウィジェットでなければ、イメージウィジェットまたはフォームウィジェットか否かを判定する(ステップS25)。
【0069】
そのウィジェットが、イメージウィジェットまたはフォームウィジェット(Textarea,pushButtonなど)であれば、イメージ、フォームの処理を行い(ステップS26)、イメージウィジェットまたはフォームウィジェットのいずれでもなければ、表ウィジェットか否かを判定する(ステップS27)。そのウィジェットが表ウィジェットであれば、表の処理を行い(ステップS28)、表ウィジェットでなければ、ステップS21の処理へ戻る。
【0070】
また、ステップS22の処理でレイアウトを行うウィジェットがなければ処理を終了する。
【0071】
図10に、図9に示すステップS24の詳細処理フローを示す。
【0072】
最適化レイアウト処理部122は、テキストウィジェットにおいてタグ<BR>が連続している場合は、タグ<BR>を1つとして処理する(ステップS241)。そして、テキストに未レイアウトの文字列があるか否かを判定する(ステップS242)。未レイアウトの文字列があれば、未レイアウトの文字列を画面幅で分割する(ステップS243)。なお、折り返し抑止(<nowrap><nobr>など)の指定は無効とする。
【0073】
さらに、分割禁止文字列(英単語、数値、句読点や括弧などの行頭/行末禁則文字など)が分割されたかどうかを判定し(ステップS244)、分割禁止文字列が分割されていれば、さらに配置位置が行頭であるか否かを判定する(ステップS245)。配置位置が行頭でなければ、分割された分割禁止文字列を分割後方へ追い出す(ステップS246)。一方、配置位置が行頭であればそのままにする。一方、分割禁止文字列が分割されていなければ、分割した前方の文字列を配置する(ステップS247)。
【0074】
また、ステップS242で、テキストに未レイアウトの文字列がなければ、処理を終了する。
【0075】
図11に、図9に示すステップS26の詳細処理フローを示す。
【0076】
最適化レイアウト処理部122は、イメージウィジェットまたはフォームウィジェットが画面幅で収まるか否かを判定する(ステップS261)。イメージウィジェットまたはフォームウィジェットが画面幅で収まらない場合には、イメージまたはフォームを幅値(width)、高さ値(height)の指定の有無にかかわらず、画面幅に縮小する。イメージの高さは、幅と同一の縮小率で縮小する(ステップS262)。一方、イメージウィジェットまたはフォームウィジェットが画面幅で収まる場合には、ステップS263の処理へ進む。
【0077】
そして、イメージまたはフォームを配置する(ステップS263)。
【0078】
図12に、図9に示すステップS28の詳細処理フローを示す。
【0079】
最適化レイアウト処理部122は、表およびセルの解析処理を行い、セル内の最大幅値、最小幅値を取得する(ステップS281)。表が画面幅で収まるか否かを判定する(ステップS282)。表が画面幅で収まらない場合には、表のすべての列で下線が揃うラインを基準にセルをブロック化し、順番を決める(ステップS283)。そして、未処理のセルブロックがあるか否かを判定する(ステップS284)。未処理のセルブロックがあれば、優先度の高い1未処理セルブロックに対して、セル幅の調整、次行への送り出しなどの処理を行い、画面幅に収まるようにする。高さは各セルウィジェット内容の最大の高さで揃える(ステップS285)。そして、ステップS284の処理へ戻る。
【0080】
一方、ステップS282で表が画面幅で収まる場合またはステップS284の処理で未処理のセルブロックがない場合には、ステップS286の処理へ進む。
【0081】
ステップS286では、表を配置して、処理を終了する。
【0082】
図13に、図8に示すステップS3の詳細処理フローを示す。
【0083】
読み上げテキスト取得処理部123は、DOMツリーに読み上げ対象のテキストがあるかどうかを判定する(ステップS31)。読み上げ対象があれば、DOMツリーからテキストを取得し(ステップS32)、読み上げるテキストに対応するウィジェットを求める(ステップS33)。
【0084】
そして、ウィジェットの先頭が表示領域内であるかどうかを判定する(ステップS34)。ウィジェットの先頭が表示領域内でなければ、読み上げるテキストの先頭が表示領域内に収まるように縦スクロールし(ステップS35)、読み上げる部分の文字列の色を変更して強調表示する(ステップS36)。さらに、音声合成処理部131、波形生成処理部132、および音声出力処理部131は、読み上げ部分の文字列を音声データに変換して読み上げる(ステップS37)。その後、ステップS31の処理へ戻る。
【0085】
一方、ウィジェットの先頭が表示領域内であれば、ステップS36の処理へ進む。
〔読み飛ばし範囲判定処理〕
以下に、コンテンツの読み上げ時に、音声出力する必要がない部分を判定する処理を説明する。
【0086】
図14に、一般的なニュース提供サイトのウェブページの表示例を示す。図14に示すウェブページのコンテンツの中で、コンテンツ提供者がユーザ提供したいと考える情報はニュース自体である。ユーザにとって、ニュース分類を表示するタイトル表示部分C1、ニュースの本文を表示する本文表示部分C2が読み上げ対象として必要であり、補足的な情報や著作権表示などを表示する補足情報表示部分C3は不要である。
【0087】
そこで、予め、補足情報などに使用されやすい記号を特定記号情報として設定し、特定記号情報記憶部126に記憶しておく。特定記号情報は、読み飛ばす範囲の開始位置を示す特定開始記号と、読み飛ばす範囲の終了位置を示す特定終了記号との組み合わせとしてもよい。
【0088】
読み飛ばし判定処理部127は、特定記号情報記憶部126を参照して、読み上げテキスト取得処理部123が取得して一時的な読み上げテキストバッファに格納したテキストデータの文字コードを解析して、特定開始記号を検索し、テキストデータ内に特定開始記号があれば、さらに対応する特定終了記号を検索する。そして、特定開始記号と特定終了記号とに囲まれた文字列を、読み上げ対象のテキストデータから削除する。
【0089】
例えば、特定記号情報として“※”と“※”、“※”と“.(ピリオド)”、“※”と“。(読点)”などの組み合わせを設定しておくとする。読み飛ばし判定処理部127は、読み上げテキスト取得処理部123が取得した図14のタイトル表示部分C1、本文表示部分C2、補足情報表示部分C3のテキストデータから、特定記号情報として設定された文字コードを検索する。補足情報表示部分C3のテキストの先頭文字が「※」であり、最後の文字が「.(ピリオド)」であるので、補足情報表示部分C3のテキストの文字列は、読み上げ対象のテキストから削除される。よって、読み上げテキストバッファには、図14に示すように表示されたウェブページのテキストのうち補足情報表示部分C3が削除されたテキストデータが格納される。そして、音声合成処理部131、波形生成処理部132および音声出力処理部133の処理を介して、読み上げテキストバッファのテキストデータであるタイトル表示部分C1、本文表示部分C2の内容が音声に変換されてスピーカ3から出力される。
【0090】
さらに、図15に別の一般的なニュース提供サイトのウェブページの表示例を示す。図15のウェブページは、先頭ページの各ニュース見出しC21、C22、C23、…から、それぞれのニュース本文のページを表示させるスタイルである。この場合に、先頭ページの補足情報表示部分C3が、各ニュース本文のページにも表示されているとする。従来の読み上げ処理では、それぞれのページを読み上げるたびに補足情報表示部分C3の内容を読み上げることになる。
【0091】
しかし、前述の処理と同様に、読み飛ばし範囲判定処理部127は、補足情報表示部分C3のテキストデータの先頭文字「※」と最後の文字「。(読点)」の特定記号を検出して、これらの特定記号に囲まれた部分を読み出し、テキストバッファのテキストデータから削除する。よって、ユーザは、有用なニュース本文のみを聞くことができる。
【0092】
図16、図17に、本発明の処理フローを示す。
【0093】
図16に、読み飛ばし範囲判定処理の詳細処理フローを示す。
【0094】
読み飛ばし範囲判定処理部127は、読み上げテキストバッファからテキストデータを読み込む(ステップS41)。テキストデータ内から特定開始記号を検索する(ステップS42)。特定開始記号をヒットした場合に(ステップS43)、さらに、テキストデータ内から特定終了記号を検索する(ステップS44)。そして、特定終了記号をヒットした場合に(ステップS45)、テキストデータ内の特定開始記号から特定終了記号までの間の文字列を削除し(ステップS46)、削除したテキストデータを読み上げテキストバッファに書き戻す(ステップS47)。
【0095】
一方、ステップS43の処理で、特定開始記号をヒットしなかった場合には、ステップS47の処理を行う。
【0096】
図17に、読み飛ばし範囲判定処理を行う場合におけるステップS3の読み上げ表示処理の詳細フローを示す。
【0097】
図17に示す処理フローのステップS51〜S57の処理は、図13に示す処理フローのステップS31〜S37の各ステップの処理に対応する。読み飛ばし範囲判定処理を行う場合の読み上げ表示処理では、ステップS52およびステップS53の処理の間に、ステップS58の処理を行う点が異なる。
【0098】
ステップS58の処理では、読み飛ばし範囲判定処理(読み飛ばし処理)後のテキストに読み上げる文字列があるか否かを判定する。読み上げる文字列があれば、ステップS53の処理へ進み、読み上げる文字列がなければ、ステップS51の処理へ戻る。
【0099】
以上、本発明をその実施の形態により説明したが、本発明はその主旨の範囲において種々の変形が可能であることは当然である。
【0100】
また、本発明は、コンピュータにより読み取られ実行される処理プログラムとして実施することができる。本発明を実現する処理プログラムは、コンピュータが読み取り可能な、可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介して種々の通信網を利用した送受信により提供されるものである。
【産業上の利用可能性】
【0101】
本発明は、一般的なウェブページの表示サイズに比べて表示画面が小さいデータ処理装置、例えば、カーナビゲーション装置、データ通信機能付き携帯電話やPDAなどの可搬型小型情報端末、情報家電(例えば、システムキッチンに組み込まれたデータ処理装置)などに搭載されるブラウザに利用することができる。これらのデータ処理装置は、表示画面に表示されたコンテンツを注視できない状況下で利用される可能性が高く、読み上げ箇所の確認が容易にできるウェブページ読み上げ機能に対する要求は高い。
【符号の説明】
【0102】
1 ブラウザ
2 表示装置
3 スピーカ
110 ブラウジング処理制御部
111 通信処理部
112 HTML解析処理部
113 レイアウト処理部
115 画像表示処理部
120 読み上げ処理制御部
121 横スクロール判定処理部
122 最適化レイアウト処理部
123 読み上げテキスト取得処理部
124 スクロール処理部
125 ページ切替処理部
126 特定記号情報記憶部
127 読み飛ばし範囲判定処理部
131 音声合成処理部
132 波形生成処理部
133 音声出力処理部

【特許請求の範囲】
【請求項1】
コンピュータに,
マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の少なくともいずれかが表示画面の横方向の表示幅を超える場合に,該表示画面の横方向の表示幅を超える部品が非テキスト部品であるときは,該非テキスト部品を縮小して前記表示画面の横方向の表示幅を超えない非テキスト部品を生成して,前記テキスト部品と合わせて表示する処理を,実行させる
ことを特徴とする表示プログラム。
【請求項2】
コンピュータに,
マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の少なくともいずれかが表示画面の横方向の表示幅を超える場合に,該表示画面の横方向の表示幅を超える部品がテキスト部品であるときは,該テキスト部品の改行位置を変更して前記表示画面の横方向の表示幅を超えないテキスト部品を生成して,前記非テキスト部品と合わせて表示する処理を,実行させる
ことを特徴とする表示プログラム。
【請求項3】
コンピュータに,
マークアップ言語で記述されたデータに基づく表示部品が,テキスト部品と非テキスト部品とを含み,前記テキスト部品と前記非テキスト部品の双方が表示画面の横方向の表示幅を超える場合に,表示部品がテキスト部品であるか非テキスト部品であるかに応じて異なる処理により,前記表示画面の横方向の表示幅を超えないテキスト部品および非テキスト部品を生成して双方を表示する処理を実行させ,
前記異なる処理は,改行位置の変更処理および縮小処理を含み,前記テキスト部品については改行位置の変更処理を適用し,前記非テキスト部品については縮小処理を適用することを実行させる
ことを特徴とする表示プログラム。
【請求項4】
前記表示する処理の際に,前記テキスト部品と前記非テキスト部品を前記表示画面の横方向の表示幅に収まるように配置変更する処理を行う
ことを特徴とする請求項1ないし請求項3のいずれか一項に記載の表示プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2013−101707(P2013−101707A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2013−37661(P2013−37661)
【出願日】平成25年2月27日(2013.2.27)
【分割の表示】特願2011−153588(P2011−153588)の分割
【原出願日】平成16年7月6日(2004.7.6)
【出願人】(000005223)富士通株式会社 (25,993)
【出願人】(591128763)株式会社富士通ソーシアルサイエンスラボラトリ (57)
【Fターム(参考)】