音声合成機能付き文字情報表示装置およびその制御方法
【課題】リンク箇所を音声で明確に表示することが可能で、リンクから遷移中であることを認識可能な音声合成機能付き文字情報表示装置およびその制御方法を提供する。
【解決手段】表示部１６に表示中の文字情報に含まれる文字列を音声合成部１７にて音声に変換する際に、音声に変換する文字列が、リンク先の対応付けられた表示オブジェクトの場合には第１の音声で音声変換させ、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声にて音声変換させるように音声合成部１７を制御する制御部１９と、操作部１８と、を備え、制御部１９は、リンク先の対応付けられた表示オブジェクトが操作部１８により選択指示または決定指示されると、リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる。
【解決手段】表示部１６に表示中の文字情報に含まれる文字列を音声合成部１７にて音声に変換する際に、音声に変換する文字列が、リンク先の対応付けられた表示オブジェクトの場合には第１の音声で音声変換させ、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声にて音声変換させるように音声合成部１７を制御する制御部１９と、操作部１８と、を備え、制御部１９は、リンク先の対応付けられた表示オブジェクトが操作部１８により選択指示または決定指示されると、リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示中の項目を音声にて読み上げる機能を有する音声合成機能付き文字情報表示装置およびその制御方法に関するものである。
【背景技術】
【０００２】
近年、携帯端末装置としてキー操作に対応して、このキー操作により設定された機能名等をアナウンスするようにした携帯電話機が提案されている（たとえば特許文献１参照）。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
【０００３】
また、音声出力機能を採用したシステムとして、電子メールによりテキストを送信する際に、送信者が受信側でのテキスト読み上げに使用される音質を選択することができる電子メールシステムが提案されている（たとえば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２５２２１６号公報
【特許文献２】特開２００４−１８５０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したような音声読み上げ機能を有する携帯端末装置においては、読み上げるべき文章等を読み上げ用エンジン（制御部や音声合成部）に通知することで実現している。
【０００６】
ところが、インターネット等のブラウザからは文字列を表示するための描画情報が携帯端末装置側に通知されるが、読み上げ用の文字列は通知されない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知することができない。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、仮に通知される順序で読み上げを行うと、適切な文章とならない。
すなわち、描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
【０００７】
また、多くのコンテンツでは、画面を遷移させるために、ユーザにリンクを押下させるように作成されている。そのため多くのリンクがコンテンツに配置されているのが現状である。したがって、ユーザのリンクを読み上げで認識させると同時に、リンク押下が正しく行われたことをユーザに読み上げで通知する必要がある。
すなわち、リンク箇所を音声で明確に通知することができず、リンクから遷移中であることを容易に認識することが困難である。
【０００８】
また、ブラウザ側に修正を加え、読み上げインタフェースを追加して音声読み上げを実現しているものも知られているが、この場合であっても、一般のサイト（ＨＴＭＬ等）は表示することができず、特定サイトにしか対応してないのが現状である。
【０００９】
本発明の目的は、ブラウザで表示される画面上の文章についても、なめらかな音声読み上げを実現できることはもとより、リンク箇所を音声で明確に読み上げたり、リンクから遷移中であることを読み上げたりすることにより、容易にブラウザの状態を認識可能な音声合成機能付き文字情報表示装置およびその制御方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の第１の観点の文字情報表示装置は、文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶する記憶部と、前記記憶部に記憶される表示オブジェクトを表示する表示部と、文字列を音声に変換する音声合成部と、前記表示部に表示中の前記文字情報に含まれる文字列を前記音声合成部にて音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定の場合には第１の音声で音声変換させ、所定の表示規定ではない場合には第２の音声にて音声変換させるように前記音声合成部を制御する制御部とを備える。
【００１１】
好適には、ネットワークに接続し、当該ネットワークに接続されるサーバから前記文字情報を取得する通信部を、さらに備える。
【００１２】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトを選択指示する操作部を、さらに備え、前記所定の表示規定は、前記操作部により選択指示されている表示オブジェクトであることを示す選択位置表示規定を含む。
【００１３】
好適には、前記所定の表示規定は、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
【００１４】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトを選択指示または決定指示する操作部を、さらに備え、前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により選択指示または決定指示されると、当該表示オブジェクトに含まれる文字列を第３の音声にて前記音声合成部に音声変換させる。
【００１５】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトを決定指示する操作部を、さらに備え、前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により決定指示されると、前記通信部により前記リンク先へのアクセスがなされた後に、前記決定指示された表示オブジェクトに含まれる文字列を前記音声合成部に音声変換させる。
【００１６】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトの選択指示と決定指示とを行う操作部を、さらに備え、前記表示規定は、前記操作部により選択指示されている表示オブジェクトであることを示す選択位置表示規定を含み、前記制御部は、前記操作部により決定指示がなされると、前記選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を前記音声変換部にて音声変換させる。
【００１７】
本発明の第２の観点は、文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶し、前記表示オブジェクトを表示させる文字情報表示装置における音声合成方法であって、前記表示オブジェクトに含まれる文字列を音声に変換する音声合成ステップと、前記音声合成ステップにて音声に変換する際に、音声に変換する文字列の表示規定を参照するステップと、所定の表示規定にて規定される表示オブジェクトの文字列は第１の音声で音声変換するステップと、所定の表示規定にて規定されていない表示オブジェクトの文字列は第２の音声にて音声変換させるステップとを備える。
【００１８】
本発明の第３の観点は、文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶し、前記表示オブジェクトを表示させる文字情報表示装置における音声合成をコンピュータで実行可能な音声合成プログラムであって、前記表示オブジェクトに含まれる文字列を音声に変換する音声合成ステップと、前記音声合成ステップにて音声に変換する際に、音声に変換する文字列の表示規定を参照するステップと、所定の表示規定にて規定される表示オブジェクトの文字列は第１の音声で音声変換するステップと、所定の表示規定にて規定されていない表示オブジェクトの文字列は第２の音声にて音声変換させるステップとを備える。
【発明の効果】
【００１９】
本発明によれば、Ｗｅｂ画面におけるリンク箇所などを音声で再現することが可能で、ブラウザ画面の状態を音声によっても容易に認識可能である。
【図面の簡単な説明】
【００２０】
【図１】携帯電話機のシステム構成の一例を図解したブロック図である。
【図２】携帯電話機の外観の一例を図解した図であり、（ａ）は正面の外観図を、（ｂ）は背面の外観図を、（ｃ）は正面の外観図を、（ｄ）は背面の外観図を、それぞれ示す。
【図３】本実施形態に係るブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
【図４】本実施形態に係る特定スタイルでの表示画像のイメージを示す図である。
【図５】本実施形態に係る通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
【図６】本実施形態に係る文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図７】本実施形態に係る文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図８】本実施形態に係る読み上げ要求のイメージ例を示す図である。
【図９】Ｗｅｂ記述言語を表示した場合の概要を示す図である。
【図１０】本実施形態に係るＷｅｂ読み上げ機能の処理概要を示す概念図である。
【図１１】＜ａｄｄｒ＞タグでも声を反転して読み上げ可能であることを説明するための図である。
【図１２】Ｘ，Ｙ座標のソート処理を説明するための図である。
【図１３】テキストのリンクにカーソルが当たっている場合の描画要求について説明するための図である。
【図１４】ソートアルゴリズムを説明するための図である。
【図１５】ページ全体を読み上げる際の基本シーケンスを示す図である。
【図１６】行方向スクロール時の読み上げシーケンスを示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２２】
図１は、本発明の音声合成機能付き文字情報表示装置としての携帯電話機１０のシステム構成の一例を示すブロック図である。図２は、携帯電話機１の外観の一例を示す図である。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
【００２３】
本実施形態に係る携帯電話機１０は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を表示部に表示可能に構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
【００２４】
さらに、本実施形態に係る携帯電話機１０は、以下の処理機能を備えて構成されている。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、文字列や絵記号や画像などの表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、ゴシック体などのフォントタイプやアンダーラインなどの付加的表示などを指示する表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示方法を規定するスタイルなどの表示規定を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
【００２５】
携帯電話機１０は、表示部に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定の場合には第１の音声で音声変換し、所定の表示規定でない場合には第２の音声にて音声変換する機能を有する。
ここで、所定の表示規定は、操作部により選択指示されている表示オブジェクトである（つまり、カーソルのあてられている）ことを示す選択位置表示規定を含む。また、所定の表示規定は、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
そして、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する機能を有する。
また、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換する機能を有する。
さらに、携帯電話機１０は、操作部により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換する機能を有する。
【００２６】
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声に変換する機能を有する。
携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
【００２７】
以下、本実施形態に係る携帯電話機１０の各部の構成、機能、並びに、音声読み上げ制御について順を追って説明する。
【００２８】
図１に示すように、携帯電話機１０は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、キー操作部１３と、ダイヤル入力部１４と、サブ表示部１５と、メイン表示部１６と、スピーカ１７１およびマイクロフォン１７２を含む音声合成処理部１７と、読み上げキー入力部１８と、制御部（ＣＰＵ）１９とを有している。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
【００２９】
通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵されている。
【００３０】
メモリ（記憶部）１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される、表示部１６，１５への表示方法を規定する表示規定とが対応付けられた形態で格納される。上述したように、この表示規定には、キー操作部１３により選択指示される表示オブジェクトであることを示す選択位置表示規定、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
【００３１】
キー操作部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部１９に出力する。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
キー操作部１３の操作により、ユーザは表示部１６，１５に表示される文字情報に含まれる表示オブジェクトの選択指示と決定指示とを行うことが可能である。
【００３２】
ダイヤル入力部１４は、図２（ｃ）に示すように、ユーザが開状態の携帯電話機１０を保持した時にユーザの親指により操作がしやすくなるように、表示側本体ケース１０２の側面に配設されるダイヤル式の入力部であり、上下２方向の操作が可能に構成される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
【００３３】
サブ表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ｃ）に示すように、閉状態においてユーザに視認される。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
【００３４】
音声合成処理部１７は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１７１と音声入力を行うマイクロフォン１７２とが接続されている。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、読み上げエンジンとして音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
音声合成処理部１７は、制御部１９の制御の下、音声変換する際に、たとえばリンク先あり、カーソル位置表示などの所定の表示規定の場合には第１の音声で音声変換し、所定の表示規定で無い場合には第２の音声で音声変換し、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する。
【００３５】
読み上げキー操作部１８は、図２（ｂ）に示すように、表示側本体ケース１０２の中央に配設される押下式ボタン１８ａと、このボタンによるスイッチ入力に対する入力回路と、を含んで構成される。
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１８ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１ａより音声出力するように制御部１９により制御される。
【００３６】
制御部１９は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部１９は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１７に対する音声情報の処理、メイン表示部１６への情報の表示制御、キー入力部１３の入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
【００３７】
制御部１９は、基本的にユーザによる押下式ボタン１８ａの操作がなされると、表示されるテキストの読み上げ機能を実行する。その際、読み上げ機能として、テキスト列を抽出／生成してそのテキストを読み上げるテキスト読み上げ方式を用いている。
【００３８】
制御部１９は、後で詳述するように、ブラウザが起動し、取得したＷｅｂ情報から表示オブジェクトと、この表示オブジェクトを提供するサーバ３０上のコンテンツごとに規定される表示規定を抽出し、表示オブジェクトと表示規定とを対応付けてメモリ１２に格納し、抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
【００３９】
制御部１９は、表示部１６，１５に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定（リンク先あり、カーソル位置表示など）の場合には第１の音声で音声変換し、所定の表示規定でない場合には第１の音声と音質等が異なる第２の音声にて音声変換するように音声合成処理部１７を制御する。
また、制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換するように音声合成処理部１７を制御する。
このように、本実施形態の制御部１９は、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更するように音声合成処理部１７を制御する機能を有する。
制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。また、制御部１９は、キー操作部１３により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。
【００４０】
なお、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声合成処理部１７に音声への変換を行わせる。
制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
【００４１】
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について音声合成処理部１７に音声に変換させる。
【００４２】
制御部１９は、別画面が表示されたときは読み上げを中断し、点滅などが指定されても同じ文字列に対して描画要求が複数通知されても一度目しか読み上げないように制御する。制御部１９は、同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げるように音声合成処理部１７を制御する。制御部１９は、読み上げ中断を防止するために、読み上げ中は、新規に表示された文字列をバッファリングする。また、制御部１９は、別画面が表示されたときは読み上げを中断し、また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げるように音声合成処理部１７を制御する。また、制御部１９は、重複した読み上げを防止するため、表示部１６，１５の表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定する。また、制御部１９は、キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うように構成されている。
【００４３】
次に、上記構成による動作を、ブラウザ起動時の情報の表示および音声読み上げ動作を中心に、図３から図８に関連付けて説明する。
【００４４】
図３は、ブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
【００４５】
ブラウザが起動され（ＳＴ１）、描画開始要求通知が出されると（ＳＴ２）、描画すべき文字列、スタイル、座標が通知される（ＳＴ３）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列のバッファをクリアする（ＳＴ１４）。
【００４６】
なお、本実施形態においては、ブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱う。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
【００４７】
ステップＳＴ７の座標補正は次のような処理となる。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリンクのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
【００４８】
また、ステップＳＴ１１においては、描画要求を通知された順序で読み上げると文章にならないことがあることから、文字列に付随する座標値を用いてソート処理を行う。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」の順であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」の順となっている。
【００４９】
また、表示オブジェクトごとに異なる描画スタイルが通知されることから、表示オブジェクトに応じた読み上げを行う。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
【００５０】
また、カーソルが遷移しているオブジェクトを描画スタイルによって特定し、該当する文字列を音声の種別を変更して読み上げを行う。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
【００５１】
また、行またはオブジェクトごとに描画要求が通知されるため、バッファリングし複数の描画要求をまとめて読み上げエンジン（制御部および音声合成処理部）に通知することでなめらかな読み上げを行う。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
【００５２】
また、読み上げ中の行スクロールは新規に表示された行をバッファリングし、読み上げが終了した時点で読み上げエンジンに受け渡す。
【００５３】
また、ページスクロールや別画面へのジャンプについては、読み上げ中の文字列を破棄し、ページの先頭から読み上げを行う。
【００５４】
また、描画開始要求と描画終了要求の間に通知される文字列を読み上げ対象とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
【００５５】
選択可能なオブジェクトにカーソルを移動した場合は読み上げ中の文字列を中断して該当オブジェクトを読み上げる。
【００５６】
画面表示上、上部や下部において文字列が欠けて表示されることがあるが、この場合には座標値にて読み上げ対象範囲を決定する。
【００５７】
キャッシュに保存されている画面などを表示する場合は、描画要求が通知されないため、再描画要求を行うことで文字列を取得する。
【００５８】
文字列を有しないオブジェクトをスタイルによって判定し、特定の文言の読み上げを行う。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
【００５９】
次に、リンクを含んだコンテンツに対するブラウザの機能を含む具体的な処理について説明する。
【００６０】
本実施形態の携帯電話機１０においては、リンクを含んだコンテンツに対して以下の処理を行う。
【００６１】
１．リンクにカーソル遷移したとき、設定値とは異なる音質（たとえば設定した音質が男声の場合、女声）で読み上げを行う。
ブラウザから通知される文字種（リンク文字）によって判定する。
ブラウザではリンクを認識した場合、リンク文字（イタリック、青色、アンダーライン）などリンクに条件を付けて描画を行う。
【００６２】
２．リンクの文字列を、次画面のタイトルとして扱う。
リンクにカーソル遷移したとき、リンクに指定されている文字列を全て取得し、リンクから次画面に遷移した後リンクの文字列を読み上げることで、タイトル読み上げ効果を演出可能である。
リンク押下による遷移は、リンク遷移先情報（URLto）が通知されたときにリンク先を判定する。
【００６３】
３．リンク中である旨をユーザに通知する。
リンクを押下し次画面へ遷移する場合、次画面の描画が始まるまでの間は、別途メモリ１２に記憶しておいた次画面遷移中であることを示す文字列を読み上げ、ユーザにリンク中である旨を読み上げで通知する。
【００６４】
４．リンクに指定されている文字列をすべて読み上げる。
リンクの文字列を読み上げ中にリンク押下で画面遷移を行った場合でも、リンクの文字列をすべて読み上げることを可能にする。
【００６５】
５．画面中のリンクの文字列のみを抽出し、リンクのみを読み上げ可能とする。リンクにカーソル遷移したときは設定した音質（たとえば男声）で読み上げ、リンク押下時は設定値と異なる音質（たとえば設定した音質が男声の場合、女声）で読み上げを行う。
【００６６】
６．リンク押下後、画面遷移の通知が端末側に一定時間以上通知されていない場合は、ユーザに通信継続中である旨を別途メモリに記憶しておいた通信継続中である旨を示す文字列を読み上げることにより通知する。
【００６７】
リンクを含んだコンテンツの記述例（リンク部分）は以下の通りである。
<a href＝ｈｔｔｐ：//ｋｙｏｃｅｒａ．ｊｐ title＝京セラ>ジャンプする</a>
【００６８】
上記のＷｅｂ記述言語の内容は以下の通りであり、その概要を図９に示す。
１．リンク指定タグ（ａタグ）の中にリンク先を記述する。
２．Titleはソフトキー対応の領域に表示する（ガイド部分に表示する）。
３．“ジャンプする”の部分が実際のリンク文字列になる。
【００６９】
上記Ｗｅｂ記述言語をブラウザが解析して、端末側に以下の情報を通知する。
［リンク画面表示時］
“ジャンプする”をリンク文字スタイルで座標Ｘ，Ｙに書け。
［リンクにカーソル遷移したとき］
座標Ｘ，Ｙの色を反転しろ。
ガイド部分に”京セラ“を書け。
［リンク押下されたとき］
ＵＲＬを通知するので遷移しろ。
【００７０】
リンクを含んだ画面を表示させるときは、ブラウザが取得したＷｅｂ記述言語から文字列に対し、文字サイズ、文字種を決定して通知を行っている。
ブラウザがリンク部分の文字列の”ジャンプする”を取得した場合は、「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」とリンクのための表示設定を行う。
読み上げキー１８を押下した場合、画面の先頭から最後までの読み上げを行う。画面描画の際に用いた文字列の描画情報をメモリに格納しておき、文字列の座標をソートして座標の上位（画面上部）から順に読み上げを行う。リンク文字の”ジャンプする”は「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」という指定があるため、この指定された文字列をリンクと判断し、読み上げエンジンに対し声種別を変更して読み上げを行う。
リンクが連続して表示されている場合は、声種別の設定を継続して読み上げを行うが、リンク文字列から通常のテキストが表示された場合は声種別を元に戻す。
【００７１】
ユーザのキー操作によりカーソルを動かし、リンクにカーソルが遷移した場合は、リンク文字列の”ジャンプする”が指定されている座標を範囲指定して、色を反転して表示を行う。ブラウザでは、リンクにカーソル遷移を行ったとき、リンク部分にtitle“京セラ”が設定されていることを把握し、表示部に文字キーガイド部分に”京セラ”の表示を行う。
声は反転された契機を元にリンクにカーソルが遷移したとして扱い、声種別を変更して読み上げる。画面全体を描画後に、「特定座標の色を反転させろ」という命令はリンクにカーソル遷移した場合のみのため、読み上げ中の文字列を破棄して優先的にカーソル遷移しリンク文字列を読み上げる。
【００７２】
図９に示すように携帯電話機１０は、ソフトキーＳＦＴＫ１〜３を備えている。ここでいうソフトキーとは、画面の状態が遷移する都度、頻繁に用いる機能を特に割り当てられる、機能の固定されていないキーのことであり、表示部１６の最下段にガイド領域を有し、このガイド領域に、画面に応じてソフトキーに現在割り当てられている機能が表示される。ソフトキーは決定キーＳＦＴＫ２を含んで複数個を備えることが多い。
ユーザが方向キーを操作すると、制御部１９は表示部１６の画面上のカーソルを押下された方向に応じて移動させる。このときに、リンク文字列である“ジャンプする”の上にカーソルがあてられると、先に述べたような表示色の反転処理を行う。すなわち、制御部１９のブラウザ機能としては、Ｗｅｂ情報として取得した表示規定に対し、表示部１６の描画としては色の反転処理という表示規定を付加した上で描画更新を行う。この表示規定に色の反転処理が加えたときにtitle“京セラ”という文字列も取得し、ガイド領域の特に決定キーＳＦＴＫ２に対応させた箇所に表示させる。
【００７３】
リンクを押下したときは、リンク先のURL“ｈｔｔｐ：//ｋｙｏｃｅｒａ．ｊｐ”を遷移先に設定してサーバ３０と通信を行い、サーバ３０から取得した新たなＷｅｂ記述言語を元に遷移先の画面を描画する。
通信開始時にタイマにより計時し、一定時間経過後も新規画面が描画されない場合は、「接続中です」なども読み上げを可能にする。
リンク押下時に、リンク元のtitle“京セラ”をメモリに記憶しておき、新規画面の描画が完了したら、新規画面の文字列の読み上げに先んじて”京セラ”を読み上げることにより、タイトルの効果を出す。
【００７４】
図１０は、本実施形態に係るＷｅｂ読み上げ機能の処理概要を示す概念図である。
この読み上げ機能は、全て制御部１９の制御部のもとで処理され、デバイスレイヤ１９１にブラウザ１９２を含み、さらに、バッファ１９３、スピーチインタフェース１９４、音声エンジン部１９５を有する。音声エンジン部１９５は、音声合成処理部１７の機能を含んで構成される。
【００７５】
Ｗｅｂ読み上げ機能の処理は、以下のように行われる。
１．サーバ３０よりＨＴＭＬ（読み上げ対象）を取得する。
２．ブラウザ１９２がＨＴＭＬ中の文字の描画をデバイスレイヤ１９１に要求する。デバイスレイヤ１９１はこれをバッファ１９３に蓄積する。
３．ブラウザ１９２から描画完了をデバイスレイヤ１９１に通知する。
これを契機にスピーチインタフェース１９４に蓄積した文言の読み上げを要求する。
４．音声エンジン部１９５で文字列を音声に変換し、読み上げを行う。
【００７６】
本実施形態においては、図１１（Ａ），（Ｂ）に示すようなアドレス情報がリンク付けられていることを示す＜ａｄｄｒ＞タグでも声を反転して読み上げが可能である。
この場合の標記例は次の通りである。
<addr title＝“addr link click”>html</addr>
このように、表示規定の例は多数存在する。もちろん他にも電話番号の対応付けられたものや、メールアドレス等もリンク付けがあれば表示規定に通常とは異なる規定が加わる。
【００７７】
ブラウザ１９２から文字列通知命令で描画文字列を受け取ってから、読み上げ文字列として音声エンジン部１９５のタスクにわたるまでは、以下の手順になる。
１．画面更新完了の通知、
２．Ｘ，Ｙ座標によるソート、
の手順である。
以下、各手順について説明する。
【００７８】
１．画面更新完了の通知
ブラウザ１９２は、文字列通知命令により、何度も描画要求を行う。そこで、画面の描画が終わったという通知をブラウザから検出する必要がある。
これには、ブラウザ１９２から発行されるWML形式が変更されたことを示す通知関数を検知し、その後の画面更新が終わったという通知関数を検知することにより実現する。
【００７９】
２．Ｘ，Ｙ座標によるソート
描画される文字列は、ブラウザから文字列通知命令によりデバイスレイヤに通知される。図１２に示すように、表示部１６のピクト領域を除いた一番上の左上を基底として（０，０）、上から順に描画される文字列が通知される。
しかし、テキストによりリンク先が指定してある文字列が含まれており、かつそのリンクにカーソルが当たっている場合、文字列通知命令はその文字列のみ、一番最後に描画要求を行う。
その状態を図１３（Ａ），（Ｂ）に示す。
【００８０】
このブラウザ１９２の描画要求の順に文字列を読み上げると、「ABCDEFGHIJIKLPQRSTUVWXYZMNO」となってしまう。つまり、正しい順序で読み上げるため、文字列のソート処理が必要になる。これには、描画要求の文字列通知命令の（Ｘ，Ｙ）座標を基に行う。
図１４（Ａ）〜（Ｃ）に、ソートアルゴリズムを示す。
この例では、Ｙ座標で昇順にソートする。ただし、Ｙの値が同じであった場合、Ｘ座標の値を昇順で比較する。Ｘの値も同じであった場合は、描画要求が先にあった方を優先する。
このソート処理の結果、読み上げ文字列は、「ABCDEFGHIJKLMNOPQRSTUVWXYZ」となる。
【００８１】
次に、Ｗｅｂ読み上げにおける全画面描画／スクロール描画判定について説明する。
【００８２】
＜全画面描画判定>
図１５は、ページ全体を読み上げる際の基本シーケンスを示す図である。
描画開始命令が呼ばれた直後の描画から、描画完了の描画終了命令が呼ばれる前までの描画を全画面描画とみなす。
この場合、文字列、描画座標、フォーカス有リンク／ノーマルをバッファ１９３に蓄積し描画する。
描画完了がデバイスレイヤ１９１に通知されると、所定時間、たとえば１秒待って座標でソートを行い、ソートバッファに蓄積する。
そして、デバイスレイヤ１９１は声指定する。ノーマルの場合は設定の声とし、フォーカス有リンクの場合は設定と異なる（逆）の声とする。たとえば、設定が男声なら女声とする。
デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
【００８３】
＜スクロール描画判定＞
図１６は、行方向スクロール時の読み上げシーケンスを示す図である。
スクロール開始命令が呼ばれた後の描画から、描画終了命令が呼ばれるまでの描画をスクロール描画とみなす。
また、スクロール開始命令が、プラス(+)の値でコールされれば下方向のスクロール、マイナス(-)の値でコールされれば上方向のスクロールと判定する。
既に描画した行の移動のための描画の場合にはバッファに蓄積せず、新しく現れた行の描画の場合には読み上げるために、バッファに蓄積する。
そして、デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
【００８４】
本実施形態によれば、メイン表示部１６に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定（リンク先あり、カーソル位置表示など）の場合には第１の音声で音声変換し、所定の表示規定でない場合には第１の音声と音質等が異なる第２の音声にて音声変換するように音声合成処理部１７を制御し、また、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換するように音声合成処理部１７を制御する制御部１９を有することから、リンク箇所を音声で明確に表示することが可能で、リンクから遷移中であることを容易に認識可能である。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
【００８５】
なめらかな音声読み上げを実現することができる。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
【００８６】
なお、以上説明したような音声読み上げ処理は、端末装置（コンピュータ）で読み出し可能な記録媒体、半導体記憶装置（メモリ）、光ディスク、ハードディスク等に音声読み上げプログラムとして記録され、端末装置で読み出されて実行される。
【符号の説明】
【００８７】
１０…携帯電話機
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
１９１…デバイスレイヤ
１９２…ブラウザ
１９３…バッファ
１９４…スピーチインタフェース
１９５…音声エンジン部
２０…無線通信ネットワーク
３０…サーバ
【技術分野】
【０００１】
本発明は、表示中の項目を音声にて読み上げる機能を有する音声合成機能付き文字情報表示装置およびその制御方法に関するものである。
【背景技術】
【０００２】
近年、携帯端末装置としてキー操作に対応して、このキー操作により設定された機能名等をアナウンスするようにした携帯電話機が提案されている（たとえば特許文献１参照）。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
【０００３】
また、音声出力機能を採用したシステムとして、電子メールによりテキストを送信する際に、送信者が受信側でのテキスト読み上げに使用される音質を選択することができる電子メールシステムが提案されている（たとえば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２５２２１６号公報
【特許文献２】特開２００４−１８５０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したような音声読み上げ機能を有する携帯端末装置においては、読み上げるべき文章等を読み上げ用エンジン（制御部や音声合成部）に通知することで実現している。
【０００６】
ところが、インターネット等のブラウザからは文字列を表示するための描画情報が携帯端末装置側に通知されるが、読み上げ用の文字列は通知されない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知することができない。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、仮に通知される順序で読み上げを行うと、適切な文章とならない。
すなわち、描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
【０００７】
また、多くのコンテンツでは、画面を遷移させるために、ユーザにリンクを押下させるように作成されている。そのため多くのリンクがコンテンツに配置されているのが現状である。したがって、ユーザのリンクを読み上げで認識させると同時に、リンク押下が正しく行われたことをユーザに読み上げで通知する必要がある。
すなわち、リンク箇所を音声で明確に通知することができず、リンクから遷移中であることを容易に認識することが困難である。
【０００８】
また、ブラウザ側に修正を加え、読み上げインタフェースを追加して音声読み上げを実現しているものも知られているが、この場合であっても、一般のサイト（ＨＴＭＬ等）は表示することができず、特定サイトにしか対応してないのが現状である。
【０００９】
本発明の目的は、ブラウザで表示される画面上の文章についても、なめらかな音声読み上げを実現できることはもとより、リンク箇所を音声で明確に読み上げたり、リンクから遷移中であることを読み上げたりすることにより、容易にブラウザの状態を認識可能な音声合成機能付き文字情報表示装置およびその制御方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の第１の観点の文字情報表示装置は、文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶する記憶部と、前記記憶部に記憶される表示オブジェクトを表示する表示部と、文字列を音声に変換する音声合成部と、前記表示部に表示中の前記文字情報に含まれる文字列を前記音声合成部にて音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定の場合には第１の音声で音声変換させ、所定の表示規定ではない場合には第２の音声にて音声変換させるように前記音声合成部を制御する制御部とを備える。
【００１１】
好適には、ネットワークに接続し、当該ネットワークに接続されるサーバから前記文字情報を取得する通信部を、さらに備える。
【００１２】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトを選択指示する操作部を、さらに備え、前記所定の表示規定は、前記操作部により選択指示されている表示オブジェクトであることを示す選択位置表示規定を含む。
【００１３】
好適には、前記所定の表示規定は、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
【００１４】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトを選択指示または決定指示する操作部を、さらに備え、前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により選択指示または決定指示されると、当該表示オブジェクトに含まれる文字列を第３の音声にて前記音声合成部に音声変換させる。
【００１５】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトを決定指示する操作部を、さらに備え、前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により決定指示されると、前記通信部により前記リンク先へのアクセスがなされた後に、前記決定指示された表示オブジェクトに含まれる文字列を前記音声合成部に音声変換させる。
【００１６】
好適には、前記表示部に表示される文字情報に含まれる少なくとも一つの表示オブジェクトの選択指示と決定指示とを行う操作部を、さらに備え、前記表示規定は、前記操作部により選択指示されている表示オブジェクトであることを示す選択位置表示規定を含み、前記制御部は、前記操作部により決定指示がなされると、前記選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を前記音声変換部にて音声変換させる。
【００１７】
本発明の第２の観点は、文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶し、前記表示オブジェクトを表示させる文字情報表示装置における音声合成方法であって、前記表示オブジェクトに含まれる文字列を音声に変換する音声合成ステップと、前記音声合成ステップにて音声に変換する際に、音声に変換する文字列の表示規定を参照するステップと、所定の表示規定にて規定される表示オブジェクトの文字列は第１の音声で音声変換するステップと、所定の表示規定にて規定されていない表示オブジェクトの文字列は第２の音声にて音声変換させるステップとを備える。
【００１８】
本発明の第３の観点は、文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶し、前記表示オブジェクトを表示させる文字情報表示装置における音声合成をコンピュータで実行可能な音声合成プログラムであって、前記表示オブジェクトに含まれる文字列を音声に変換する音声合成ステップと、前記音声合成ステップにて音声に変換する際に、音声に変換する文字列の表示規定を参照するステップと、所定の表示規定にて規定される表示オブジェクトの文字列は第１の音声で音声変換するステップと、所定の表示規定にて規定されていない表示オブジェクトの文字列は第２の音声にて音声変換させるステップとを備える。
【発明の効果】
【００１９】
本発明によれば、Ｗｅｂ画面におけるリンク箇所などを音声で再現することが可能で、ブラウザ画面の状態を音声によっても容易に認識可能である。
【図面の簡単な説明】
【００２０】
【図１】携帯電話機のシステム構成の一例を図解したブロック図である。
【図２】携帯電話機の外観の一例を図解した図であり、（ａ）は正面の外観図を、（ｂ）は背面の外観図を、（ｃ）は正面の外観図を、（ｄ）は背面の外観図を、それぞれ示す。
【図３】本実施形態に係るブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
【図４】本実施形態に係る特定スタイルでの表示画像のイメージを示す図である。
【図５】本実施形態に係る通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
【図６】本実施形態に係る文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図７】本実施形態に係る文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図８】本実施形態に係る読み上げ要求のイメージ例を示す図である。
【図９】Ｗｅｂ記述言語を表示した場合の概要を示す図である。
【図１０】本実施形態に係るＷｅｂ読み上げ機能の処理概要を示す概念図である。
【図１１】＜ａｄｄｒ＞タグでも声を反転して読み上げ可能であることを説明するための図である。
【図１２】Ｘ，Ｙ座標のソート処理を説明するための図である。
【図１３】テキストのリンクにカーソルが当たっている場合の描画要求について説明するための図である。
【図１４】ソートアルゴリズムを説明するための図である。
【図１５】ページ全体を読み上げる際の基本シーケンスを示す図である。
【図１６】行方向スクロール時の読み上げシーケンスを示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２２】
図１は、本発明の音声合成機能付き文字情報表示装置としての携帯電話機１０のシステム構成の一例を示すブロック図である。図２は、携帯電話機１の外観の一例を示す図である。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
【００２３】
本実施形態に係る携帯電話機１０は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を表示部に表示可能に構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
【００２４】
さらに、本実施形態に係る携帯電話機１０は、以下の処理機能を備えて構成されている。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、文字列や絵記号や画像などの表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、ゴシック体などのフォントタイプやアンダーラインなどの付加的表示などを指示する表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示方法を規定するスタイルなどの表示規定を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
【００２５】
携帯電話機１０は、表示部に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定の場合には第１の音声で音声変換し、所定の表示規定でない場合には第２の音声にて音声変換する機能を有する。
ここで、所定の表示規定は、操作部により選択指示されている表示オブジェクトである（つまり、カーソルのあてられている）ことを示す選択位置表示規定を含む。また、所定の表示規定は、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
そして、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する機能を有する。
また、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換する機能を有する。
さらに、携帯電話機１０は、操作部により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換する機能を有する。
【００２６】
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声に変換する機能を有する。
携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
【００２７】
以下、本実施形態に係る携帯電話機１０の各部の構成、機能、並びに、音声読み上げ制御について順を追って説明する。
【００２８】
図１に示すように、携帯電話機１０は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、キー操作部１３と、ダイヤル入力部１４と、サブ表示部１５と、メイン表示部１６と、スピーカ１７１およびマイクロフォン１７２を含む音声合成処理部１７と、読み上げキー入力部１８と、制御部（ＣＰＵ）１９とを有している。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
【００２９】
通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵されている。
【００３０】
メモリ（記憶部）１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される、表示部１６，１５への表示方法を規定する表示規定とが対応付けられた形態で格納される。上述したように、この表示規定には、キー操作部１３により選択指示される表示オブジェクトであることを示す選択位置表示規定、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
【００３１】
キー操作部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部１９に出力する。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
キー操作部１３の操作により、ユーザは表示部１６，１５に表示される文字情報に含まれる表示オブジェクトの選択指示と決定指示とを行うことが可能である。
【００３２】
ダイヤル入力部１４は、図２（ｃ）に示すように、ユーザが開状態の携帯電話機１０を保持した時にユーザの親指により操作がしやすくなるように、表示側本体ケース１０２の側面に配設されるダイヤル式の入力部であり、上下２方向の操作が可能に構成される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
【００３３】
サブ表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ｃ）に示すように、閉状態においてユーザに視認される。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
【００３４】
音声合成処理部１７は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１７１と音声入力を行うマイクロフォン１７２とが接続されている。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、読み上げエンジンとして音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
音声合成処理部１７は、制御部１９の制御の下、音声変換する際に、たとえばリンク先あり、カーソル位置表示などの所定の表示規定の場合には第１の音声で音声変換し、所定の表示規定で無い場合には第２の音声で音声変換し、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する。
【００３５】
読み上げキー操作部１８は、図２（ｂ）に示すように、表示側本体ケース１０２の中央に配設される押下式ボタン１８ａと、このボタンによるスイッチ入力に対する入力回路と、を含んで構成される。
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１８ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１ａより音声出力するように制御部１９により制御される。
【００３６】
制御部１９は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部１９は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１７に対する音声情報の処理、メイン表示部１６への情報の表示制御、キー入力部１３の入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
【００３７】
制御部１９は、基本的にユーザによる押下式ボタン１８ａの操作がなされると、表示されるテキストの読み上げ機能を実行する。その際、読み上げ機能として、テキスト列を抽出／生成してそのテキストを読み上げるテキスト読み上げ方式を用いている。
【００３８】
制御部１９は、後で詳述するように、ブラウザが起動し、取得したＷｅｂ情報から表示オブジェクトと、この表示オブジェクトを提供するサーバ３０上のコンテンツごとに規定される表示規定を抽出し、表示オブジェクトと表示規定とを対応付けてメモリ１２に格納し、抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
【００３９】
制御部１９は、表示部１６，１５に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定（リンク先あり、カーソル位置表示など）の場合には第１の音声で音声変換し、所定の表示規定でない場合には第１の音声と音質等が異なる第２の音声にて音声変換するように音声合成処理部１７を制御する。
また、制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換するように音声合成処理部１７を制御する。
このように、本実施形態の制御部１９は、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更するように音声合成処理部１７を制御する機能を有する。
制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。また、制御部１９は、キー操作部１３により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。
【００４０】
なお、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声合成処理部１７に音声への変換を行わせる。
制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
【００４１】
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について音声合成処理部１７に音声に変換させる。
【００４２】
制御部１９は、別画面が表示されたときは読み上げを中断し、点滅などが指定されても同じ文字列に対して描画要求が複数通知されても一度目しか読み上げないように制御する。制御部１９は、同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げるように音声合成処理部１７を制御する。制御部１９は、読み上げ中断を防止するために、読み上げ中は、新規に表示された文字列をバッファリングする。また、制御部１９は、別画面が表示されたときは読み上げを中断し、また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げるように音声合成処理部１７を制御する。また、制御部１９は、重複した読み上げを防止するため、表示部１６，１５の表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定する。また、制御部１９は、キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うように構成されている。
【００４３】
次に、上記構成による動作を、ブラウザ起動時の情報の表示および音声読み上げ動作を中心に、図３から図８に関連付けて説明する。
【００４４】
図３は、ブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
【００４５】
ブラウザが起動され（ＳＴ１）、描画開始要求通知が出されると（ＳＴ２）、描画すべき文字列、スタイル、座標が通知される（ＳＴ３）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列のバッファをクリアする（ＳＴ１４）。
【００４６】
なお、本実施形態においては、ブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱う。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
【００４７】
ステップＳＴ７の座標補正は次のような処理となる。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリンクのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
【００４８】
また、ステップＳＴ１１においては、描画要求を通知された順序で読み上げると文章にならないことがあることから、文字列に付随する座標値を用いてソート処理を行う。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」の順であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」の順となっている。
【００４９】
また、表示オブジェクトごとに異なる描画スタイルが通知されることから、表示オブジェクトに応じた読み上げを行う。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
【００５０】
また、カーソルが遷移しているオブジェクトを描画スタイルによって特定し、該当する文字列を音声の種別を変更して読み上げを行う。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
【００５１】
また、行またはオブジェクトごとに描画要求が通知されるため、バッファリングし複数の描画要求をまとめて読み上げエンジン（制御部および音声合成処理部）に通知することでなめらかな読み上げを行う。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
【００５２】
また、読み上げ中の行スクロールは新規に表示された行をバッファリングし、読み上げが終了した時点で読み上げエンジンに受け渡す。
【００５３】
また、ページスクロールや別画面へのジャンプについては、読み上げ中の文字列を破棄し、ページの先頭から読み上げを行う。
【００５４】
また、描画開始要求と描画終了要求の間に通知される文字列を読み上げ対象とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
【００５５】
選択可能なオブジェクトにカーソルを移動した場合は読み上げ中の文字列を中断して該当オブジェクトを読み上げる。
【００５６】
画面表示上、上部や下部において文字列が欠けて表示されることがあるが、この場合には座標値にて読み上げ対象範囲を決定する。
【００５７】
キャッシュに保存されている画面などを表示する場合は、描画要求が通知されないため、再描画要求を行うことで文字列を取得する。
【００５８】
文字列を有しないオブジェクトをスタイルによって判定し、特定の文言の読み上げを行う。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
【００５９】
次に、リンクを含んだコンテンツに対するブラウザの機能を含む具体的な処理について説明する。
【００６０】
本実施形態の携帯電話機１０においては、リンクを含んだコンテンツに対して以下の処理を行う。
【００６１】
１．リンクにカーソル遷移したとき、設定値とは異なる音質（たとえば設定した音質が男声の場合、女声）で読み上げを行う。
ブラウザから通知される文字種（リンク文字）によって判定する。
ブラウザではリンクを認識した場合、リンク文字（イタリック、青色、アンダーライン）などリンクに条件を付けて描画を行う。
【００６２】
２．リンクの文字列を、次画面のタイトルとして扱う。
リンクにカーソル遷移したとき、リンクに指定されている文字列を全て取得し、リンクから次画面に遷移した後リンクの文字列を読み上げることで、タイトル読み上げ効果を演出可能である。
リンク押下による遷移は、リンク遷移先情報（URLto）が通知されたときにリンク先を判定する。
【００６３】
３．リンク中である旨をユーザに通知する。
リンクを押下し次画面へ遷移する場合、次画面の描画が始まるまでの間は、別途メモリ１２に記憶しておいた次画面遷移中であることを示す文字列を読み上げ、ユーザにリンク中である旨を読み上げで通知する。
【００６４】
４．リンクに指定されている文字列をすべて読み上げる。
リンクの文字列を読み上げ中にリンク押下で画面遷移を行った場合でも、リンクの文字列をすべて読み上げることを可能にする。
【００６５】
５．画面中のリンクの文字列のみを抽出し、リンクのみを読み上げ可能とする。リンクにカーソル遷移したときは設定した音質（たとえば男声）で読み上げ、リンク押下時は設定値と異なる音質（たとえば設定した音質が男声の場合、女声）で読み上げを行う。
【００６６】
６．リンク押下後、画面遷移の通知が端末側に一定時間以上通知されていない場合は、ユーザに通信継続中である旨を別途メモリに記憶しておいた通信継続中である旨を示す文字列を読み上げることにより通知する。
【００６７】
リンクを含んだコンテンツの記述例（リンク部分）は以下の通りである。
<a href＝ｈｔｔｐ：//ｋｙｏｃｅｒａ．ｊｐ title＝京セラ>ジャンプする</a>
【００６８】
上記のＷｅｂ記述言語の内容は以下の通りであり、その概要を図９に示す。
１．リンク指定タグ（ａタグ）の中にリンク先を記述する。
２．Titleはソフトキー対応の領域に表示する（ガイド部分に表示する）。
３．“ジャンプする”の部分が実際のリンク文字列になる。
【００６９】
上記Ｗｅｂ記述言語をブラウザが解析して、端末側に以下の情報を通知する。
［リンク画面表示時］
“ジャンプする”をリンク文字スタイルで座標Ｘ，Ｙに書け。
［リンクにカーソル遷移したとき］
座標Ｘ，Ｙの色を反転しろ。
ガイド部分に”京セラ“を書け。
［リンク押下されたとき］
ＵＲＬを通知するので遷移しろ。
【００７０】
リンクを含んだ画面を表示させるときは、ブラウザが取得したＷｅｂ記述言語から文字列に対し、文字サイズ、文字種を決定して通知を行っている。
ブラウザがリンク部分の文字列の”ジャンプする”を取得した場合は、「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」とリンクのための表示設定を行う。
読み上げキー１８を押下した場合、画面の先頭から最後までの読み上げを行う。画面描画の際に用いた文字列の描画情報をメモリに格納しておき、文字列の座標をソートして座標の上位（画面上部）から順に読み上げを行う。リンク文字の”ジャンプする”は「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」という指定があるため、この指定された文字列をリンクと判断し、読み上げエンジンに対し声種別を変更して読み上げを行う。
リンクが連続して表示されている場合は、声種別の設定を継続して読み上げを行うが、リンク文字列から通常のテキストが表示された場合は声種別を元に戻す。
【００７１】
ユーザのキー操作によりカーソルを動かし、リンクにカーソルが遷移した場合は、リンク文字列の”ジャンプする”が指定されている座標を範囲指定して、色を反転して表示を行う。ブラウザでは、リンクにカーソル遷移を行ったとき、リンク部分にtitle“京セラ”が設定されていることを把握し、表示部に文字キーガイド部分に”京セラ”の表示を行う。
声は反転された契機を元にリンクにカーソルが遷移したとして扱い、声種別を変更して読み上げる。画面全体を描画後に、「特定座標の色を反転させろ」という命令はリンクにカーソル遷移した場合のみのため、読み上げ中の文字列を破棄して優先的にカーソル遷移しリンク文字列を読み上げる。
【００７２】
図９に示すように携帯電話機１０は、ソフトキーＳＦＴＫ１〜３を備えている。ここでいうソフトキーとは、画面の状態が遷移する都度、頻繁に用いる機能を特に割り当てられる、機能の固定されていないキーのことであり、表示部１６の最下段にガイド領域を有し、このガイド領域に、画面に応じてソフトキーに現在割り当てられている機能が表示される。ソフトキーは決定キーＳＦＴＫ２を含んで複数個を備えることが多い。
ユーザが方向キーを操作すると、制御部１９は表示部１６の画面上のカーソルを押下された方向に応じて移動させる。このときに、リンク文字列である“ジャンプする”の上にカーソルがあてられると、先に述べたような表示色の反転処理を行う。すなわち、制御部１９のブラウザ機能としては、Ｗｅｂ情報として取得した表示規定に対し、表示部１６の描画としては色の反転処理という表示規定を付加した上で描画更新を行う。この表示規定に色の反転処理が加えたときにtitle“京セラ”という文字列も取得し、ガイド領域の特に決定キーＳＦＴＫ２に対応させた箇所に表示させる。
【００７３】
リンクを押下したときは、リンク先のURL“ｈｔｔｐ：//ｋｙｏｃｅｒａ．ｊｐ”を遷移先に設定してサーバ３０と通信を行い、サーバ３０から取得した新たなＷｅｂ記述言語を元に遷移先の画面を描画する。
通信開始時にタイマにより計時し、一定時間経過後も新規画面が描画されない場合は、「接続中です」なども読み上げを可能にする。
リンク押下時に、リンク元のtitle“京セラ”をメモリに記憶しておき、新規画面の描画が完了したら、新規画面の文字列の読み上げに先んじて”京セラ”を読み上げることにより、タイトルの効果を出す。
【００７４】
図１０は、本実施形態に係るＷｅｂ読み上げ機能の処理概要を示す概念図である。
この読み上げ機能は、全て制御部１９の制御部のもとで処理され、デバイスレイヤ１９１にブラウザ１９２を含み、さらに、バッファ１９３、スピーチインタフェース１９４、音声エンジン部１９５を有する。音声エンジン部１９５は、音声合成処理部１７の機能を含んで構成される。
【００７５】
Ｗｅｂ読み上げ機能の処理は、以下のように行われる。
１．サーバ３０よりＨＴＭＬ（読み上げ対象）を取得する。
２．ブラウザ１９２がＨＴＭＬ中の文字の描画をデバイスレイヤ１９１に要求する。デバイスレイヤ１９１はこれをバッファ１９３に蓄積する。
３．ブラウザ１９２から描画完了をデバイスレイヤ１９１に通知する。
これを契機にスピーチインタフェース１９４に蓄積した文言の読み上げを要求する。
４．音声エンジン部１９５で文字列を音声に変換し、読み上げを行う。
【００７６】
本実施形態においては、図１１（Ａ），（Ｂ）に示すようなアドレス情報がリンク付けられていることを示す＜ａｄｄｒ＞タグでも声を反転して読み上げが可能である。
この場合の標記例は次の通りである。
<addr title＝“addr link click”>html</addr>
このように、表示規定の例は多数存在する。もちろん他にも電話番号の対応付けられたものや、メールアドレス等もリンク付けがあれば表示規定に通常とは異なる規定が加わる。
【００７７】
ブラウザ１９２から文字列通知命令で描画文字列を受け取ってから、読み上げ文字列として音声エンジン部１９５のタスクにわたるまでは、以下の手順になる。
１．画面更新完了の通知、
２．Ｘ，Ｙ座標によるソート、
の手順である。
以下、各手順について説明する。
【００７８】
１．画面更新完了の通知
ブラウザ１９２は、文字列通知命令により、何度も描画要求を行う。そこで、画面の描画が終わったという通知をブラウザから検出する必要がある。
これには、ブラウザ１９２から発行されるWML形式が変更されたことを示す通知関数を検知し、その後の画面更新が終わったという通知関数を検知することにより実現する。
【００７９】
２．Ｘ，Ｙ座標によるソート
描画される文字列は、ブラウザから文字列通知命令によりデバイスレイヤに通知される。図１２に示すように、表示部１６のピクト領域を除いた一番上の左上を基底として（０，０）、上から順に描画される文字列が通知される。
しかし、テキストによりリンク先が指定してある文字列が含まれており、かつそのリンクにカーソルが当たっている場合、文字列通知命令はその文字列のみ、一番最後に描画要求を行う。
その状態を図１３（Ａ），（Ｂ）に示す。
【００８０】
このブラウザ１９２の描画要求の順に文字列を読み上げると、「ABCDEFGHIJIKLPQRSTUVWXYZMNO」となってしまう。つまり、正しい順序で読み上げるため、文字列のソート処理が必要になる。これには、描画要求の文字列通知命令の（Ｘ，Ｙ）座標を基に行う。
図１４（Ａ）〜（Ｃ）に、ソートアルゴリズムを示す。
この例では、Ｙ座標で昇順にソートする。ただし、Ｙの値が同じであった場合、Ｘ座標の値を昇順で比較する。Ｘの値も同じであった場合は、描画要求が先にあった方を優先する。
このソート処理の結果、読み上げ文字列は、「ABCDEFGHIJKLMNOPQRSTUVWXYZ」となる。
【００８１】
次に、Ｗｅｂ読み上げにおける全画面描画／スクロール描画判定について説明する。
【００８２】
＜全画面描画判定>
図１５は、ページ全体を読み上げる際の基本シーケンスを示す図である。
描画開始命令が呼ばれた直後の描画から、描画完了の描画終了命令が呼ばれる前までの描画を全画面描画とみなす。
この場合、文字列、描画座標、フォーカス有リンク／ノーマルをバッファ１９３に蓄積し描画する。
描画完了がデバイスレイヤ１９１に通知されると、所定時間、たとえば１秒待って座標でソートを行い、ソートバッファに蓄積する。
そして、デバイスレイヤ１９１は声指定する。ノーマルの場合は設定の声とし、フォーカス有リンクの場合は設定と異なる（逆）の声とする。たとえば、設定が男声なら女声とする。
デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
【００８３】
＜スクロール描画判定＞
図１６は、行方向スクロール時の読み上げシーケンスを示す図である。
スクロール開始命令が呼ばれた後の描画から、描画終了命令が呼ばれるまでの描画をスクロール描画とみなす。
また、スクロール開始命令が、プラス(+)の値でコールされれば下方向のスクロール、マイナス(-)の値でコールされれば上方向のスクロールと判定する。
既に描画した行の移動のための描画の場合にはバッファに蓄積せず、新しく現れた行の描画の場合には読み上げるために、バッファに蓄積する。
そして、デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
【００８４】
本実施形態によれば、メイン表示部１６に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定（リンク先あり、カーソル位置表示など）の場合には第１の音声で音声変換し、所定の表示規定でない場合には第１の音声と音質等が異なる第２の音声にて音声変換するように音声合成処理部１７を制御し、また、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換するように音声合成処理部１７を制御する制御部１９を有することから、リンク箇所を音声で明確に表示することが可能で、リンクから遷移中であることを容易に認識可能である。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
【００８５】
なめらかな音声読み上げを実現することができる。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
【００８６】
なお、以上説明したような音声読み上げ処理は、端末装置（コンピュータ）で読み出し可能な記録媒体、半導体記憶装置（メモリ）、光ディスク、ハードディスク等に音声読み上げプログラムとして記録され、端末装置で読み出されて実行される。
【符号の説明】
【００８７】
１０…携帯電話機
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
１９１…デバイスレイヤ
１９２…ブラウザ
１９３…バッファ
１９４…スピーチインタフェース
１９５…音声エンジン部
２０…無線通信ネットワーク
３０…サーバ
【特許請求の範囲】
【請求項１】
文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶する記憶部と、
前記記憶部に記憶される表示オブジェクトを表示する表示部と、
文字列を音声に変換する音声合成部と、
前記表示部に表示中の前記文字情報に含まれる文字列を前記音声合成部にて音声に変換する際に、音声に変換する文字列が、リンク先の対応付けられた表示オブジェクトの場合には第１の音声で音声変換させ、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声にて音声変換させるように前記音声合成部を制御する制御部と、
操作部と、
を備え、
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる
音声合成機能付き文字情報表示装置。
【請求項２】
ネットワークに接続し、当該ネットワークに接続されるサーバから前記文字情報を取得する通信部を、さらに備える
請求項１に記載の音声合成機能付き文字情報表示装置。
【請求項３】
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により決定指示されると、前記通信部により前記リンク先へのアクセスがなされた後に、前記決定指示された表示オブジェクトに含まれる文字列を前記音声合成部に音声変換させる
請求項２に記載の音声合成機能付き文字情報表示装置。
【請求項４】
文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶する記憶部と、前記記憶部に記憶される表示オブジェクトを表示する表示部と、文字列を音声に変換する音声合成部と、前記表示部に表示中の前記文字情報に含まれる文字列を前記音声合成部にて音声に変換する際に、音声に変換する文字列が、リンク先の対応付けられた表示オブジェクトの場合には第１の音声で音声変換させ、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声にて音声変換させるように前記音声合成部を制御する制御部と、操作部と、を備える音声合成機能付き文字情報表示装置の制御方法において、
前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換するステップを備える
音声合成機能付き文字情報表示装置の制御方法。
【請求項５】
ネットワークに接続し、当該ネットワークに接続されるサーバから前記文字情報を取得する通信部を、さらに備える
請求項４に記載の音声合成機能付き文字情報表示装置の制御方法。
【請求項６】
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により決定指示されると、前記通信部により前記リンク先へのアクセスがなされた後に、前記決定指示された表示オブジェクトに含まれる文字列を前記音声合成部に音声変換させる
請求項５に記載の音声合成機能付き文字情報表示装置の制御方法。
【請求項７】
表示部と、文字列を音声に変換する音声合成部と、
前記表示部に表示中の文字情報に含まれる文字列がリンク先の対応付けられた表示オブジェクトの場合には第１の音声を用い、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声を用いて音声変換する前記音声合成部を制御する制御部と、
操作部と、を備え、
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる
音声合成機能付き文字情報表示装置。
【請求項８】
表示部と、文字列を音声に変換する音声合成部と、
前記表示部に表示中の文字情報に含まれる文字列がリンク先の対応付けられた表示オブジェクトの場合には第１の音声を用い、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声を用いて音声変換する前記音声合成部を制御する制御部と、
操作部と、を備える音声合成機能付き文字情報表示装置の制御方法であって、
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる
音声合成機能付き文字情報表示装置の制御方法。
【請求項１】
文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶する記憶部と、
前記記憶部に記憶される表示オブジェクトを表示する表示部と、
文字列を音声に変換する音声合成部と、
前記表示部に表示中の前記文字情報に含まれる文字列を前記音声合成部にて音声に変換する際に、音声に変換する文字列が、リンク先の対応付けられた表示オブジェクトの場合には第１の音声で音声変換させ、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声にて音声変換させるように前記音声合成部を制御する制御部と、
操作部と、
を備え、
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる
音声合成機能付き文字情報表示装置。
【請求項２】
ネットワークに接続し、当該ネットワークに接続されるサーバから前記文字情報を取得する通信部を、さらに備える
請求項１に記載の音声合成機能付き文字情報表示装置。
【請求項３】
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により決定指示されると、前記通信部により前記リンク先へのアクセスがなされた後に、前記決定指示された表示オブジェクトに含まれる文字列を前記音声合成部に音声変換させる
請求項２に記載の音声合成機能付き文字情報表示装置。
【請求項４】
文字列を含む表示オブジェクトと、当該表示オブジェクトの表示方法を規定する表示規定とを含む文字情報を記憶する記憶部と、前記記憶部に記憶される表示オブジェクトを表示する表示部と、文字列を音声に変換する音声合成部と、前記表示部に表示中の前記文字情報に含まれる文字列を前記音声合成部にて音声に変換する際に、音声に変換する文字列が、リンク先の対応付けられた表示オブジェクトの場合には第１の音声で音声変換させ、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声にて音声変換させるように前記音声合成部を制御する制御部と、操作部と、を備える音声合成機能付き文字情報表示装置の制御方法において、
前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換するステップを備える
音声合成機能付き文字情報表示装置の制御方法。
【請求項５】
ネットワークに接続し、当該ネットワークに接続されるサーバから前記文字情報を取得する通信部を、さらに備える
請求項４に記載の音声合成機能付き文字情報表示装置の制御方法。
【請求項６】
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが前記操作部により決定指示されると、前記通信部により前記リンク先へのアクセスがなされた後に、前記決定指示された表示オブジェクトに含まれる文字列を前記音声合成部に音声変換させる
請求項５に記載の音声合成機能付き文字情報表示装置の制御方法。
【請求項７】
表示部と、文字列を音声に変換する音声合成部と、
前記表示部に表示中の文字情報に含まれる文字列がリンク先の対応付けられた表示オブジェクトの場合には第１の音声を用い、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声を用いて音声変換する前記音声合成部を制御する制御部と、
操作部と、を備え、
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる
音声合成機能付き文字情報表示装置。
【請求項８】
表示部と、文字列を音声に変換する音声合成部と、
前記表示部に表示中の文字情報に含まれる文字列がリンク先の対応付けられた表示オブジェクトの場合には第１の音声を用い、リンク先の対応付けられた表示オブジェクトではない場合には第２の音声を用いて音声変換する前記音声合成部を制御する制御部と、
操作部と、を備える音声合成機能付き文字情報表示装置の制御方法であって、
前記制御部は、前記リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、前記リンク先の対応付けられた表示オブジェクトに含まれる文字列を第３の音声にて音声変換させる
音声合成機能付き文字情報表示装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−５８７４５（Ｐ２０１２−５８７４５Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１１−２３４７３２（Ｐ２０１１−２３４７３２）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【分割の表示】特願２００５−１００１３３（Ｐ２００５−１００１３３）の分割
【原出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【分割の表示】特願２００５−１００１３３（Ｐ２００５−１００１３３）の分割
【原出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]