携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム
【課題】なめらかな音声読み上げを実現できる携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムを提供する。
【解決手段】メモリ１２と、文字列を音声に変換する音声合成処理部１７と、通信部１１によりネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報から表示オブジェクトと、表示オブジェクトを提供するサーバ３０にて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けてメモリ１２に格納し、表示規定に準じて表示部１６，１５に表示させる制御部１９と、を有し、制御部１９は、取得したＷｅｂ情報の表示状態において、音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
【解決手段】メモリ１２と、文字列を音声に変換する音声合成処理部１７と、通信部１１によりネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報から表示オブジェクトと、表示オブジェクトを提供するサーバ３０にて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けてメモリ１２に格納し、表示規定に準じて表示部１６，１５に表示させる制御部１９と、を有し、制御部１９は、取得したＷｅｂ情報の表示状態において、音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示中の項目を音声にて読み上げる機能を有する携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムに関するものである。
【背景技術】
【０００２】
近年、携帯端末装置としてキー操作に対応して、このキー操作により設定された機能名等をアナウンスするようにした携帯電話機が提案されている（たとえば特許文献１参照）。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
【０００３】
また、音声出力機能を採用したシステムとして、電子メールによりテキストを送信する際に、送信者が受信側でのテキスト読み上げに使用される音質を選択することができる電子メールシステムが提案されている（たとえば特許文献２参照）。
【特許文献１】特開平１１−２５２２１６号公報
【特許文献２】特開２００４−１８５０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述したような音声読み上げ機能を有する携帯端末装置においては、読み上げるべき文章等を読み上げようエンジン（制御部や音声合成部）に通知することで実現している。
【０００５】
ところが、ＥＺｗｅｂ等の組み込みブラウザからは文字列を表示するための描画情報が携帯端末装置側に通知されるが、読み上げ用の文字列は通知されない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知すると文章が頻繁に途切れることになる。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、通知される順序で読み上げを行うと、適切な文章とならない。
描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
【０００６】
また、ブラウザ側に修正を加え、読み上げインタフェースを追加して音声読み上げを実現しているものも知られているが、この場合であっても、一般のサイト（ＨＴＭＬ等）は表示することができず、特定サイトした対応してないのが現状である。
また、ブラウザに修正を加えているため、描画が通常のブラウザと大きく異なり（表示される文字列すべてにリンクが当たる状態）、ブラウザの閲覧に多くの制約をもたらしている。
【０００７】
本発明の目的は、なめらかな音声読み上げを実現できる携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第１の観点は、通信部によりネットワークに接続されるサーバから取得した取得情報を表示部に表示可能な携帯端末装置であって、記憶部と、文字列を音声に変換する音声合成部と、前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けて前記記憶部に格納し、当該表示規定に準じて前記表示部に表示させる制御部と、を有し、前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を前記音声合成部により音声に変換させる。
【０００９】
好適には、前記表示規定は、少なくとも表示座標を含み、前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示オブジェクトをそれぞれの表示座標についてソートした上で音声への変換を行わせる。
【００１０】
好適には、前記表示規定は、少なくとも表示座標と表示形式を含み、前記記憶部は、複数の表示形式それぞれについて表示座標に対する補正値を格納し、前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示形式に応じて前記補正値にて補正した上で行う。
【００１１】
好適には、前記表示規定は、少なくとも表示座標と表示サイズを含み、前記記憶部は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納し、前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
【００１２】
好適には、前記表示規定は、少なくとも表示形式を含み、前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される複数の表示オブジェクトの中から、カーソルが位置していることを示すための表示形式の対応付けられる表示オブジェクトを検索し、当該検索された表示オブジェクトの有する文字列について、少なくとも音声に変換させる。
【００１３】
本発明の第２の観点は、音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げ方法であって、前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、前記第２ステップにおいては、前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する。
【００１４】
本発明の第３の観点は、音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げをコンピュータで実行可能な音声読み上げプログラムであって、前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、前記第２ステップにおいては、前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する。
【発明の効果】
【００１５】
本発明によれば、描画スタイルによらず、表示している文章を途切れることなく、なめらかな音声読み上げを実現することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００１７】
図１は、本発明の携帯端末装置としての携帯電話機１０のシステム構成の一例を示すブロック図である。図２は、携帯電話機１の外観の一例を示す図である。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
【００１８】
本実施形態に係る携帯電話機１０は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を表示部に表示可能に構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
【００１９】
さらに、本実施形態に係る携帯電話機１０は、以下の処理機能を備えて構成されている。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得情報したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納されるスタイル（表示規定）を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
【００２０】
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声に変換する機能を有する。
また、携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
【００２１】
以下、本実施形態に係る携帯電話機１０の各部の構成、機能、並びに、音声読み上げ制御について順を追って説明する。
【００２２】
図１に示すように、携帯電話機１０は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、キー操作部１３と、ダイヤル入力部１４と、サブ表示部１５と、メイン表示部１６と、スピーカ１７１およびマイクロフォン１７２を含む音声合成処理部１７と、読み上げキー入力部１８と、制御部（ＣＰＵ）１９とを有している。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
【００２３】
通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵され、図２において外部に露出されていない。
【００２４】
メモリ（記憶部）１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される表示規定とが対応付けられた形態で格納される。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
【００２５】
キー操作部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部１９に出力する。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
【００２６】
ダイヤル入力部１４は、図２（ｃ）に示すように、ユーザが開状態の携帯電話機１０を保持した時にユーザの親指により操作がしやすくなるように、表示側本体ケース１０２の側面に配設されるダイヤル式の入力部であり、上下２方向の操作が可能に構成される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
【００２７】
サブ表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ｃ）に示すように、閉状態においてユーザに視認される。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、ブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
【００２８】
音声合成処理部１７は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１７１と音声入力を行うマイクロフォン１７２とが接続されている。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
【００２９】
読み上げキー操作部１８は、図２（ｂ）に示すように、表示側本体ケース１０２の中央に配設される押下式ボタン１８ａと、このボタンによるスイッチ入力に対する入力回路と、を含んで構成される。
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１９ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１より音声出力するように制御部１９により制御される。
【００３０】
制御部１９は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部１９は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１７に対する音声情報の処理、メイン表示部１６への情報の表示制御、キー入力部１３の入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
【００３１】
制御部１９は、基本的にユーザによる押下式ボタン１８ａの操作がなされると、表示されるテキストの読み上げ機能を実行する。その際、読み上げ機能として、読み上げ用の音声データを出力する方式ではなく、テキスト列を抽出／生成してそのテキストを読み上げるテキスト読み上げ方式を用いている。
【００３２】
制御部１９は、ブラウザが起動し、取得したＷｅｂ情報から表示オブジェクトと、この表示オブジェクトを提供するサーバ３０上のコンテンツごとに規定される表示規定を抽出し、表示オブジェクトと表示規定とを対応付けてメモリ１２に格納する。
制御部１９は、抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
【００３３】
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声合成処理部１７に音声への変換を行わせる。
【００３４】
また、制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。
【００３５】
また、制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
【００３６】
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について音声合成処理部１７に音声に変換させる。
【００３７】
また、制御部１９は、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行うように制御する機能に加えて、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更するように音声合成処理部１７を制御する機能を有する。
また、制御部１９は別画面が表示されたときは読み上げを中断するように制御する。
また、制御部１９は、点滅などが指定されても同じ文字列に対して描画要求が複数通知されても一度目しか読み上げないように制御する。
制御部１９は、同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げるように音声合成処理部１７を制御する。
【００３８】
また、制御部１９は、読み上げ中断を防止するために、読み上げ中は、新規に表示された文字列をバッファリングする。
また、制御部１９は、別画面が表示されたときは読み上げを中断するように音声合成処理部１７を制御する。
また、制御部１９は、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げるように音声合成処理部１７を制御する。
また、制御部１９は、重複した読み上げを防止するため、表示部１６，１５の表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定する。
また、制御部１９は、キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うように構成されている。
【００３９】
次に、上記構成による動作を、ブラウザ起動時の情報の表示および音声読み上げ動作を中心に、図３から図８に関連付けて説明する。
【００４０】
図３は、ブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
【００４１】
ブラウザが起動され（ＳＴ１）、描画開始要求通知が出されると（ＳＴ２）、描画すべき文字列、スタイル、座標が通知される（ＳＴ３）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング'）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴＲ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列をバッファをクリアする（ＳＴ１４）。
【００４２】
なお、本実施形態においては、ブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱う。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
【００４３】
ステップＳＴ７の座標補正は次のような処理となる。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリングのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
【００４４】
また、ステップＳＴ１１においては、描画要求を通知された順序で読み上げると文章にならないことがあることから、文字列に付随する座標値を用いてソート処理を行う。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」となっている。
【００４５】
また、表示オブジェクトごとに異なる描画スタイルが通知されることから、表示オブジェクトに応じた読み上げを行う。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
【００４６】
また、カーソルが遷移しているオブジェクトを描画スタイルによって特定し、該当する文字列を音声の種別を変更して読み上げを行う。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
【００４７】
また、行またはオブジェクトごとに描画要求が通知されるため、バッファリングし複数の描画要求をまとめて読み上げエンジン（制御部および音声合成処理部）に通知することでなめらかな読み上げを行う。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
【００４８】
また、読み上げ中の行スクロールは新規に表示された行をバッファリングし、読み上げが終了した時点で読み上げエンジンに受け渡す。
【００４９】
また、ページスクロールや別画面へのジャンプについては、読み上げ中の文字列を破棄し、ページの先頭から読み上げを行う。
【００５０】
また、描画開始要求と描画終了要求の間に通知される文字列を読み上げ対象とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
【００５１】
選択可能なオブジェクトにカーソルを移動した場合は読み上げ中の文字列を中断して該当オブジェクトを読み上げる。
【００５２】
画面表示上、上部や下部において文字列が欠けて表示されることがあるが、この場合には座標値にて読み上げ対象範囲を決定する。
【００５３】
キャッシュに保存されている画面などを表示する場合は、描画要求が通知されないため、再描画要求を行うことで文字列を取得する。
【００５４】
文字列を有しないオブジェクトをスタイルによって判定し、特定の文言の読み上げを行う。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
【００５５】
以上説明したように、本実施形態によれば、メモリ１２と、文字列を音声に変換する音声合成処理部１７と、通信部１１によりネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報から表示オブジェクトと、表示オブジェクトを提供するサーバ３０にて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けてメモリ１２に格納し、表示規定に準じて表示部１６，１５に表示させる制御部１９と、を有し、制御部１９は、取得したＷｅｂ情報の表示状態において、音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
【００５６】
なめらかな音声読み上げを実現することができる。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
【００５７】
なお、以上説明したような音声読み上げ処理は、端末装置（コンピュータ）で読み出し可能な記録媒体、半導体記憶装置（メモリ）、光ディスク、ハードディスク等に音声読み上げプログラムとして記録され、端末装置で読み出されて実行される。
【図面の簡単な説明】
【００５８】
【図１】携帯電話機のシステム構成の一例を図解したブロック図である。
【図２】携帯電話機の外観の一例を図解した図であり、（ａ）は正面の外観図を、（ｂ）は背面の外観図を、（ｃ）は正面の外観図を、（ｄ）は背面の外観図を、それぞれ示す。
【図３】本実施形態に係るラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
【図４】本実施形態に係る特定スタイルでの表示画像のイメージを示す図である。
【図５】本実施形態に係る通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
【図６】本実施形態に係る文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図７】本実施形態に係る文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図８】本実施形態に係る読み上げ要求のイメージ例を示す図である。
【符号の説明】
【００５９】
１０…携帯電話機
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
【技術分野】
【０００１】
本発明は、表示中の項目を音声にて読み上げる機能を有する携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムに関するものである。
【背景技術】
【０００２】
近年、携帯端末装置としてキー操作に対応して、このキー操作により設定された機能名等をアナウンスするようにした携帯電話機が提案されている（たとえば特許文献１参照）。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
【０００３】
また、音声出力機能を採用したシステムとして、電子メールによりテキストを送信する際に、送信者が受信側でのテキスト読み上げに使用される音質を選択することができる電子メールシステムが提案されている（たとえば特許文献２参照）。
【特許文献１】特開平１１−２５２２１６号公報
【特許文献２】特開２００４−１８５０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述したような音声読み上げ機能を有する携帯端末装置においては、読み上げるべき文章等を読み上げようエンジン（制御部や音声合成部）に通知することで実現している。
【０００５】
ところが、ＥＺｗｅｂ等の組み込みブラウザからは文字列を表示するための描画情報が携帯端末装置側に通知されるが、読み上げ用の文字列は通知されない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知すると文章が頻繁に途切れることになる。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、通知される順序で読み上げを行うと、適切な文章とならない。
描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
【０００６】
また、ブラウザ側に修正を加え、読み上げインタフェースを追加して音声読み上げを実現しているものも知られているが、この場合であっても、一般のサイト（ＨＴＭＬ等）は表示することができず、特定サイトした対応してないのが現状である。
また、ブラウザに修正を加えているため、描画が通常のブラウザと大きく異なり（表示される文字列すべてにリンクが当たる状態）、ブラウザの閲覧に多くの制約をもたらしている。
【０００７】
本発明の目的は、なめらかな音声読み上げを実現できる携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第１の観点は、通信部によりネットワークに接続されるサーバから取得した取得情報を表示部に表示可能な携帯端末装置であって、記憶部と、文字列を音声に変換する音声合成部と、前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けて前記記憶部に格納し、当該表示規定に準じて前記表示部に表示させる制御部と、を有し、前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を前記音声合成部により音声に変換させる。
【０００９】
好適には、前記表示規定は、少なくとも表示座標を含み、前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示オブジェクトをそれぞれの表示座標についてソートした上で音声への変換を行わせる。
【００１０】
好適には、前記表示規定は、少なくとも表示座標と表示形式を含み、前記記憶部は、複数の表示形式それぞれについて表示座標に対する補正値を格納し、前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示形式に応じて前記補正値にて補正した上で行う。
【００１１】
好適には、前記表示規定は、少なくとも表示座標と表示サイズを含み、前記記憶部は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納し、前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
【００１２】
好適には、前記表示規定は、少なくとも表示形式を含み、前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される複数の表示オブジェクトの中から、カーソルが位置していることを示すための表示形式の対応付けられる表示オブジェクトを検索し、当該検索された表示オブジェクトの有する文字列について、少なくとも音声に変換させる。
【００１３】
本発明の第２の観点は、音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げ方法であって、前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、前記第２ステップにおいては、前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する。
【００１４】
本発明の第３の観点は、音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げをコンピュータで実行可能な音声読み上げプログラムであって、前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、前記第２ステップにおいては、前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する。
【発明の効果】
【００１５】
本発明によれば、描画スタイルによらず、表示している文章を途切れることなく、なめらかな音声読み上げを実現することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００１７】
図１は、本発明の携帯端末装置としての携帯電話機１０のシステム構成の一例を示すブロック図である。図２は、携帯電話機１の外観の一例を示す図である。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
【００１８】
本実施形態に係る携帯電話機１０は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を表示部に表示可能に構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
【００１９】
さらに、本実施形態に係る携帯電話機１０は、以下の処理機能を備えて構成されている。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得情報したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納されるスタイル（表示規定）を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
【００２０】
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声に変換する機能を有する。
また、携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
【００２１】
以下、本実施形態に係る携帯電話機１０の各部の構成、機能、並びに、音声読み上げ制御について順を追って説明する。
【００２２】
図１に示すように、携帯電話機１０は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、キー操作部１３と、ダイヤル入力部１４と、サブ表示部１５と、メイン表示部１６と、スピーカ１７１およびマイクロフォン１７２を含む音声合成処理部１７と、読み上げキー入力部１８と、制御部（ＣＰＵ）１９とを有している。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
【００２３】
通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵され、図２において外部に露出されていない。
【００２４】
メモリ（記憶部）１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される表示規定とが対応付けられた形態で格納される。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
【００２５】
キー操作部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部１９に出力する。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
【００２６】
ダイヤル入力部１４は、図２（ｃ）に示すように、ユーザが開状態の携帯電話機１０を保持した時にユーザの親指により操作がしやすくなるように、表示側本体ケース１０２の側面に配設されるダイヤル式の入力部であり、上下２方向の操作が可能に構成される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
【００２７】
サブ表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ｃ）に示すように、閉状態においてユーザに視認される。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、ブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
【００２８】
音声合成処理部１７は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１７１と音声入力を行うマイクロフォン１７２とが接続されている。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
【００２９】
読み上げキー操作部１８は、図２（ｂ）に示すように、表示側本体ケース１０２の中央に配設される押下式ボタン１８ａと、このボタンによるスイッチ入力に対する入力回路と、を含んで構成される。
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１９ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１より音声出力するように制御部１９により制御される。
【００３０】
制御部１９は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部１９は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１７に対する音声情報の処理、メイン表示部１６への情報の表示制御、キー入力部１３の入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
【００３１】
制御部１９は、基本的にユーザによる押下式ボタン１８ａの操作がなされると、表示されるテキストの読み上げ機能を実行する。その際、読み上げ機能として、読み上げ用の音声データを出力する方式ではなく、テキスト列を抽出／生成してそのテキストを読み上げるテキスト読み上げ方式を用いている。
【００３２】
制御部１９は、ブラウザが起動し、取得したＷｅｂ情報から表示オブジェクトと、この表示オブジェクトを提供するサーバ３０上のコンテンツごとに規定される表示規定を抽出し、表示オブジェクトと表示規定とを対応付けてメモリ１２に格納する。
制御部１９は、抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
【００３３】
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声合成処理部１７に音声への変換を行わせる。
【００３４】
また、制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。
【００３５】
また、制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
【００３６】
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について音声合成処理部１７に音声に変換させる。
【００３７】
また、制御部１９は、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行うように制御する機能に加えて、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更するように音声合成処理部１７を制御する機能を有する。
また、制御部１９は別画面が表示されたときは読み上げを中断するように制御する。
また、制御部１９は、点滅などが指定されても同じ文字列に対して描画要求が複数通知されても一度目しか読み上げないように制御する。
制御部１９は、同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げるように音声合成処理部１７を制御する。
【００３８】
また、制御部１９は、読み上げ中断を防止するために、読み上げ中は、新規に表示された文字列をバッファリングする。
また、制御部１９は、別画面が表示されたときは読み上げを中断するように音声合成処理部１７を制御する。
また、制御部１９は、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げるように音声合成処理部１７を制御する。
また、制御部１９は、重複した読み上げを防止するため、表示部１６，１５の表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定する。
また、制御部１９は、キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うように構成されている。
【００３９】
次に、上記構成による動作を、ブラウザ起動時の情報の表示および音声読み上げ動作を中心に、図３から図８に関連付けて説明する。
【００４０】
図３は、ブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
【００４１】
ブラウザが起動され（ＳＴ１）、描画開始要求通知が出されると（ＳＴ２）、描画すべき文字列、スタイル、座標が通知される（ＳＴ３）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング'）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴＲ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列をバッファをクリアする（ＳＴ１４）。
【００４２】
なお、本実施形態においては、ブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱う。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
【００４３】
ステップＳＴ７の座標補正は次のような処理となる。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリングのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
【００４４】
また、ステップＳＴ１１においては、描画要求を通知された順序で読み上げると文章にならないことがあることから、文字列に付随する座標値を用いてソート処理を行う。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」となっている。
【００４５】
また、表示オブジェクトごとに異なる描画スタイルが通知されることから、表示オブジェクトに応じた読み上げを行う。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
【００４６】
また、カーソルが遷移しているオブジェクトを描画スタイルによって特定し、該当する文字列を音声の種別を変更して読み上げを行う。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
【００４７】
また、行またはオブジェクトごとに描画要求が通知されるため、バッファリングし複数の描画要求をまとめて読み上げエンジン（制御部および音声合成処理部）に通知することでなめらかな読み上げを行う。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
【００４８】
また、読み上げ中の行スクロールは新規に表示された行をバッファリングし、読み上げが終了した時点で読み上げエンジンに受け渡す。
【００４９】
また、ページスクロールや別画面へのジャンプについては、読み上げ中の文字列を破棄し、ページの先頭から読み上げを行う。
【００５０】
また、描画開始要求と描画終了要求の間に通知される文字列を読み上げ対象とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
【００５１】
選択可能なオブジェクトにカーソルを移動した場合は読み上げ中の文字列を中断して該当オブジェクトを読み上げる。
【００５２】
画面表示上、上部や下部において文字列が欠けて表示されることがあるが、この場合には座標値にて読み上げ対象範囲を決定する。
【００５３】
キャッシュに保存されている画面などを表示する場合は、描画要求が通知されないため、再描画要求を行うことで文字列を取得する。
【００５４】
文字列を有しないオブジェクトをスタイルによって判定し、特定の文言の読み上げを行う。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
【００５５】
以上説明したように、本実施形態によれば、メモリ１２と、文字列を音声に変換する音声合成処理部１７と、通信部１１によりネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報から表示オブジェクトと、表示オブジェクトを提供するサーバ３０にて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けてメモリ１２に格納し、表示規定に準じて表示部１６，１５に表示させる制御部１９と、を有し、制御部１９は、取得したＷｅｂ情報の表示状態において、音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
【００５６】
なめらかな音声読み上げを実現することができる。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
【００５７】
なお、以上説明したような音声読み上げ処理は、端末装置（コンピュータ）で読み出し可能な記録媒体、半導体記憶装置（メモリ）、光ディスク、ハードディスク等に音声読み上げプログラムとして記録され、端末装置で読み出されて実行される。
【図面の簡単な説明】
【００５８】
【図１】携帯電話機のシステム構成の一例を図解したブロック図である。
【図２】携帯電話機の外観の一例を図解した図であり、（ａ）は正面の外観図を、（ｂ）は背面の外観図を、（ｃ）は正面の外観図を、（ｄ）は背面の外観図を、それぞれ示す。
【図３】本実施形態に係るラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
【図４】本実施形態に係る特定スタイルでの表示画像のイメージを示す図である。
【図５】本実施形態に係る通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
【図６】本実施形態に係る文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図７】本実施形態に係る文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
【図８】本実施形態に係る読み上げ要求のイメージ例を示す図である。
【符号の説明】
【００５９】
１０…携帯電話機
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
【特許請求の範囲】
【請求項１】
通信部によりネットワークに接続されるサーバから取得した取得情報を表示部に表示可能な携帯端末装置であって、
記憶部と、
文字列を音声に変換する音声合成部と、
前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けて前記記憶部に格納し、当該表示規定に準じて前記表示部に表示させる制御部と、を有し、
前記制御部は、
前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を前記音声合成部により音声に変換させる
ことを特徴とする携帯端末装置。
【請求項２】
前記表示規定は、少なくとも表示座標を含み、
前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示オブジェクトをそれぞれの表示座標についてソートした上で音声への変換を行わせる
ことを特徴とする請求項１に記載の携帯端末装置。
【請求項３】
前記表示規定は、少なくとも表示座標と表示形式を含み、
前記記憶部は、複数の表示形式それぞれについて表示座標に対する補正値を格納し、
前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示形式に応じて前記補正値にて補正した上で行う
ことを特徴とする請求項２に記載の携帯端末装置。
【請求項４】
前記表示規定は、少なくとも表示座標と表示サイズを含み、
前記記憶部は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納し、
前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う
ことを特徴とする請求項２に記載の携帯端末装置。
【請求項５】
前記表示規定は、少なくとも表示形式を含み、
前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される複数の表示オブジェクトの中から、カーソルが位置していることを示すための表示形式の対応付けられる表示オブジェクトを検索し、当該検索された表示オブジェクトの有する文字列について、少なくとも音声に変換させる
ことを特徴とする請求項１に記載の携帯端末装置。
【請求項６】
前記制御部は、前記音声合成部にカーソルの位置の表示オブジェクトを標準と異なる音声で読み上げを行わせる
ことを特徴とする請求項５に記載の携帯端末装置。
【請求項７】
前記制御部は、リンクする表示オブジェクトが複数ある場合、前記音声合成部にリンクする表示オブジェクトを標準と異なる音声で読み上げを行わせる
ことを特徴とする請求項１から５のいずれか一に記載の携帯端末装置。
【請求項８】
音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げ方法であって、
前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、
表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、
前記第２ステップにおいては、
前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する
ことを特徴とする携帯端末装置の音声読み上げ方法。
【請求項９】
音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げをコンピュータで実行可能な音声読み上げプログラムであって、
前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、
表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、
前記第２ステップにおいては、
前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する
ことを特徴とする音声読み上げプログラム。
【請求項１】
通信部によりネットワークに接続されるサーバから取得した取得情報を表示部に表示可能な携帯端末装置であって、
記憶部と、
文字列を音声に変換する音声合成部と、
前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けて前記記憶部に格納し、当該表示規定に準じて前記表示部に表示させる制御部と、を有し、
前記制御部は、
前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を前記音声合成部により音声に変換させる
ことを特徴とする携帯端末装置。
【請求項２】
前記表示規定は、少なくとも表示座標を含み、
前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示オブジェクトをそれぞれの表示座標についてソートした上で音声への変換を行わせる
ことを特徴とする請求項１に記載の携帯端末装置。
【請求項３】
前記表示規定は、少なくとも表示座標と表示形式を含み、
前記記憶部は、複数の表示形式それぞれについて表示座標に対する補正値を格納し、
前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示形式に応じて前記補正値にて補正した上で行う
ことを特徴とする請求項２に記載の携帯端末装置。
【請求項４】
前記表示規定は、少なくとも表示座標と表示サイズを含み、
前記記憶部は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納し、
前記制御部は、前記表示オブジェクトのソートを、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う
ことを特徴とする請求項２に記載の携帯端末装置。
【請求項５】
前記表示規定は、少なくとも表示形式を含み、
前記制御部は、前記取得情報の表示状態において前記音声合成部の起動が要求されると、前記記憶部に格納される複数の表示オブジェクトの中から、カーソルが位置していることを示すための表示形式の対応付けられる表示オブジェクトを検索し、当該検索された表示オブジェクトの有する文字列について、少なくとも音声に変換させる
ことを特徴とする請求項１に記載の携帯端末装置。
【請求項６】
前記制御部は、前記音声合成部にカーソルの位置の表示オブジェクトを標準と異なる音声で読み上げを行わせる
ことを特徴とする請求項５に記載の携帯端末装置。
【請求項７】
前記制御部は、リンクする表示オブジェクトが複数ある場合、前記音声合成部にリンクする表示オブジェクトを標準と異なる音声で読み上げを行わせる
ことを特徴とする請求項１から５のいずれか一に記載の携帯端末装置。
【請求項８】
音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げ方法であって、
前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、
表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、
前記第２ステップにおいては、
前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する
ことを特徴とする携帯端末装置の音声読み上げ方法。
【請求項９】
音声合成機能および表示機能を有し、ネットワークに接続されるサーバから取得した取得情報を表示する携帯端末装置の音声読み上げをコンピュータで実行可能な音声読み上げプログラムであって、
前記取得情報から、表示オブジェクトと、当該表示オブジェクトを提供するサーバにて規定される表示規定を抽出する第１ステップと、
表示オブジェクトと表示規定を対応付けて記憶部に格納し、当該表示規定に準じて表示する第２ステップと、を有し、
前記第２ステップにおいては、
前記取得情報の表示状態において前記音声合成機能の起動が要求されると、前記記憶部に格納される前記表示規定を参照して表示オブジェクトから抽出される文字列を音声に変換する
ことを特徴とする音声読み上げプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２０１９７７（Ｐ２００６−２０１９７７Ａ）
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願番号】特願２００５−１２０２６（Ｐ２００５−１２０２６）
【出願日】平成１７年１月１９日（２００５．１．１９）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願日】平成１７年１月１９日（２００５．１．１９）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]