表示装置、表示装置方法、および、表示プログラム
【課題】ユーザが文中に含まれている擬声語を読む時刻に合わせて、擬声語に対応する音声を再生する時刻を簡便に調整する。
【解決手段】表示装置は、検出部、抽出部、設定部、表示デバイス、および、再生デバイスを備える。検出部は、文字列の表示を指示する表示指示を検出する。抽出部は、取得した取得文字列から、擬声語を表す擬声語文字列を抽出する。設定部は、擬声語文字列と、取得文字列のうちの擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定する。表示デバイスは、取得文字列の先頭を含む表示領域が画面に表示されているときに表示指示が検出されると、画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始する。再生デバイスは、擬声語文字列を含む表示領域の表示が開始されるときに、擬声語文字列に対応付けられた前記音声ファイルを再生する。
【解決手段】表示装置は、検出部、抽出部、設定部、表示デバイス、および、再生デバイスを備える。検出部は、文字列の表示を指示する表示指示を検出する。抽出部は、取得した取得文字列から、擬声語を表す擬声語文字列を抽出する。設定部は、擬声語文字列と、取得文字列のうちの擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定する。表示デバイスは、取得文字列の先頭を含む表示領域が画面に表示されているときに表示指示が検出されると、画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始する。再生デバイスは、擬声語文字列を含む表示領域の表示が開始されるときに、擬声語文字列に対応付けられた前記音声ファイルを再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声の再生が可能な表示装置と、その表示装置で実現される表示方法に関する。
【背景技術】
【０００２】
近年、電子書籍や電子書籍端末が普及してきている。電子書籍の多くは、文字情報の電子ファイルと画像ファイルを含むコンテンツであるが、音声情報も含むものもある。例えば、書籍の読み上げを行う電子書籍装置も知られており、中には、ユーザが希望するキャラクターに対応する音声で書籍データが読上げられる装置も考案されている。
【０００３】
コンテンツ中に音声情報を含む電子書籍には、文字情報の一部だけに対応する効果音や改ページなどのイベントに対応付けられた音声などを含むものもある。このような電子書籍を表示する場合、電子書籍端末は、音声情報で指定されている効果音などを指定されたタイミングで再生する。例えば、電子書籍の改ページを行う際に書籍の内容と意味的に一致した音声の再生を行うための音声出力制御装置が考案されている。ある装置では、ユーザから改ページの指示があったときに、効果音情報と発音条件を用いて、そのページへの移動が発音を行うための条件を満たしているかの判断が行われ、発音の条件を満たしている場合に音声が再生される。
【０００４】
また、電子書籍によるコミック出版物には、コミック原画をスキャナで読み込んで得られた画像データと、吹き出し部分の台詞や擬態語などの音声データを、同時再生できる方式で記録したものもある。さらに、ユーザが見ている位置（視線位置）を検出して、視線位置が予め決められたイベント発生位置になったときにイベントを発生させる電子書籍表示装置も考案されている。また、視線位置は、表示されているコンテンツのパーツ単位で検出される場合もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１２２５５４号公報
【特許文献２】特開平１０−１１４６８号公報
【特許文献３】特開平９−１６１４５３号公報
【特許文献４】特開平７−９３３６８号公報
【特許文献５】特開２００６−３４９８４５号公報
【特許文献６】特開２００６−１０７０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ユーザが読んでいる単語を特定するために視線位置を検出する場合、電子書籍端末に視線位置を検出する装置を搭載することにより、電子書籍端末の大きさが大きくなってしまうという問題や、コストが高くなるという問題がある。しかし、視線位置の検出を行わない場合、ユーザが文中に含まれている擬声語を読む時刻に合わせて、擬声語に対応する音声を再生する時刻を調整することは困難である。
【０００７】
例えば、改ページを行った時刻からユーザが擬態語を読む時刻までの時間は、擬声語が表示されている位置によって異なる。また、改ページした時刻からユーザが擬声語を読む時刻までの時間のユーザ間でのばらつきは、１度に表示される文章の量が多くなるほど大きくなる。そのため、コミックのように１コマずつ表示できる書籍に比べて、小説などの文章量の多い書籍では音声を再生するタイミングの調整が難しい。以上の記載では電子書籍端末を例として述べたが、電子書籍端末以外の電子書籍を表示することができる表示装置でも、同様の問題がある。
【０００８】
本発明は、ユーザが文中に含まれている擬声語を読む時刻に合わせて、擬声語に対応する音声を再生する時刻を簡便に調整する方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
ある実施形態にかかる表示装置は、検出部、抽出部、設定部、表示デバイス、および、再生デバイスを備える。検出部は、文字列の表示を指示する表示指示を検出する。抽出部は、取得した取得文字列から、擬声語を表す擬声語文字列を抽出する。設定部は、前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定する。表示デバイスは、前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始する。再生デバイスは、前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する。
【発明の効果】
【００１０】
ユーザが文中に含まれている擬声語を読む時刻に合わせて、擬声語に対応する音声が再生される。
【図面の簡単な説明】
【００１１】
【図１】表示装置での表示と音声の再生の例を示す図である。
【図２】第１の実施形態に係る表示装置の構成の例を示す図である。
【図３】擬声語テーブルの例を示す図である。
【図４】ファイルＩＤテーブルの例を示す図である。
【図５】効果音テーブルの例を示す図である。
【図６】第１の実施形態に係る表示装置のハードウェア構成の例を示す図である。
【図７】表示装置で行われる動作の例を説明するフローチャートである。
【図８】表示位置決定部によって生成される管理データの例を示す図である。
【図９】表示再生制御部が保持するデータの例を示すテーブルである。
【図１０】要素の位置と大きさの例を示す図である。
【図１１】抽出部の動作の例を説明するフローチャートである。
【図１２】要素の位置と大きさの例を示す図である。
【図１３】クリップ領域の例とクリップ領域テーブルの例を示す図である。
【図１４】表示装置での表示の例を示す図である。
【図１５】設定部と表示位置決定部の動作の例を説明するフローチャートを示す。
【図１６】先頭文字テーブルの例を示す図である。
【図１７】効果音決定部の動作の例を説明するフローチャートである。
【図１８】表示装置の構成の例を示す図である。
【図１９】属性情報を含む管理データの例を示す図である。
【図２０】レンダリング処理部で行われる処理の例を説明するフローチャートである。
【図２１】表示再生制御部が備えるテーブルの例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、ある実施形態に係る表示装置での表示と音声の再生の例を示す。表示装置は、ユーザから表示するページの変更の要求を受けると、表示中のページの次に表示されるページに含まれるコンテンツを読み込む。例えば、次に表示されるページを印刷した場合、図１（ａ）に示すようになるとする。
【００１３】
次に、表示装置は、読み込んだコンテンツに含まれている文字列を解析して、文字列に擬声語が含まれているかを確認する。以下の説明では、擬音語、擬態語、音喩、オノマトペ等として認識される単語を「擬声語」と記載する。図１（ａ）の例では「ちゅどーん」という文字列が擬声語に該当する。読み込んだコンテンツに含まれる文字列から擬声語が検出されると、表示装置は、擬声語を表す文字列（擬声語文字列）を、読み込まれた他の文字列と異なる表示領域に分類する。例えば、読み込まれた文字列の途中に擬声語が含まれている場合、表示装置は、文字列の先頭から擬声語文字列の前までを第１の表示領域に設定し、擬声語文字列を第２の表示領域に設定する。表示装置は、図１（ｂ）に示すように、第１の表示領域を画面に表示する。さらに、表示装置は、第２の表示領域に設定された擬声語文字列に対応付けられた音声ファイルを取得する。
【００１４】
ユーザは、第１の表示領域に含まれている文字列を読み終わると、続きの文字列を読むために、表示装置に続きの文字列の表示を指示する。すると、表示装置は、図１（ｃ）に示すように第２の表示領域を画面に表示すると共に、第２の表示領域に対応付けられた音声ファイルを再生デバイスで再生する。その後さらにユーザから続きの文字列の表示が要求された場合、図１（ｄ）に示すように、表示装置は、擬声語文字列より後の文字列を画面に表示する。
【００１５】
このように、実施形態にかかる表示装置は、擬声語文字列をコンテンツに含まれる文字列から検出し、擬声語文字列を画面に表示する際に、表示する擬声語文字列に対応付けられた音声ファイルを再生する。このため、図１（ｃ）に示すように擬声語文字列が画面に表示されたときに擬声語文字列に対応付けられた音声が再生される。従って、実施形態に係る表示装置は、ユーザが擬声語文字列を読み始めたときにユーザが読んでいる擬声語に対応する音声を再生できる。
【００１６】
＜第１の実施形態＞
図２は、第１の実施形態に係る表示装置１０の構成の例を示す。表示装置１０は、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、リフロー処理部２０、入力デバイス３１、表示デバイス３２、再生デバイス３３を備える。リフロー処理部２０は、設定部２１と表示位置決定部２２を有する。さらに、表示装置１０は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４などのデータを使用する。
【００１７】
ユーザ操作検出部１１は、ユーザが入力デバイス３１を介して行ったキー入力などによる操作イベントを検出する。表示再生制御部１２は、ユーザ操作検出部１１で検出されたイベントに応じて、表示デバイス３２の画面に表示されている文字列の続きの文字列の表示をリフロー処理部２０やレンダリング処理部１６に指示する。さらに、表示再生制御部１２は、次に表示される文字列が擬声語文字列であるかを判定する。判定方法については後述する。表示再生制御部１２は、擬声語文字列が表示対象である場合、擬声語文字列に対応付けられた音声ファイルを識別する識別情報を音声取得部１７に通知する。さらに、表示中のページの最後までが画面に表示されたかに基づいて、表示再生制御部１２は、新たなコンテンツの読み込みを行うかも判断し、判断した結果をコンテンツ読み込み部１３に通知する。ここで、表示再生制御部１２は、擬声語文字列が表示されるタイミングと、擬声語文字列に対応付けられた音声ファイルの再生のタイミングの関係を最適化できるように、音声取得部１７へ識別情報を通知する時刻を調整することもできる。例えば、音声ファイルの取得に時間がかかる場合、表示再生制御部１２は、リフロー処理部２０やレンダリング処理部１６への指示に先立って、音声取得部１７への識別情報の出力を行うことができる。
【００１８】
コンテンツ読み込み部１３は、表示再生制御部１２からの通知に応じて、電子書籍コンテンツ４１に含まれている文字列や画像を読み込む。例えば、コンテンツ読み込み部１３は、１ページ分に相当するコンテンツデータを電子書籍コンテンツ４１から読み出すことができるものとする。１ページ分に相当するコンテンツデータは、例えば、コンテンツの読み込みが要求される前に画面に表示されていた文字列の後から、ページ区切りを示す情報に関連付けられた文字列までのデータとすることができる。コンテンツ読み込み部１３は、読み込んだコンテンツデータを表示位置決定部２２に出力する。なお、コンテンツ読み込み部１３が読み込んだコンテンツデータが１ページ分に足りない旨が表示位置決定部２２から通知された場合、コンテンツ読み込み部１３は、さらにデータを電子書籍コンテンツ４１から取得する。
【００１９】
表示位置決定部２２は、コンテンツに含まれる要素の配置を決定する。まず、表示位置決定部２２は、コンテンツ読み込み部１３から入力されたコンテンツを要素へ分割する。ここで、要素は文字列と画像などの文字列以外のデータなどが別の要素として認識されるような任意の方法により分割されるものとする。また、例えば、文字列に含まれる要素は単語単位や文章単位に分割される場合がある。表示位置決定部２２は、個々の要素の大きさを算出し、個々の要素について画像上での表示位置を確定する。例えば、同じ文字情報であっても、フォントサイズ、段組、コンテンツが縦書きと横書きのいずれであるかなどによって表示位置が異なる可能性がある。そこで、表示位置決定部２２は、個々の要素について適用される書式に基づいて、表示位置を決定し、得られた結果をレンダリング処理部１６に通知する。また、表示位置決定部２２は、文字列に分類された要素を抽出部１４に出力する。
【００２０】
抽出部１４は、擬声語辞書データ４２を参照して、表示位置決定部２２から入力された文字列から擬声語を抽出する。擬声語辞書データ４２は、例えば、擬声語テーブル５１を含む。図３に擬声語テーブル５１の例を示す。抽出部１４は、文字列を単語単位に区切って、擬声語テーブル５１に記録されている単語のいずれかと一致するかを確認する。抽出部１４は、擬声語テーブル５１と一致した単語を擬声語と判断し、効果音決定部１５に出力する。さらに、抽出部１４は、抽出した擬声語文字列を設定部２１に通知する。
【００２１】
効果音決定部１５は、効果音辞書データ４３を参照して擬声語文字列に対応付けられた音声ファイルを識別する識別情報を取得する。ここでは、効果音辞書データ４３は、効果音テーブル５２とファイルＩＤテーブル５３を含むものとする。ファイルＩＤテーブル５３の例を図４、効果音テーブル５２の例を図５に示す。識別情報は、例えば、擬声語文字列に対応付けられた音声ファイルのファイル名など、音声ファイルを一意に識別できる任意の識別子とすることができる。以下の説明では、識別情報は音声ファイルのファイル名であるものとする。効果音決定部１５は、抽出部１４から通知された擬声語をキーとしてファイルＩＤテーブル５３を検索し、擬声語文字列に対応するファイルＩＤを取得する。次に、効果音決定部１５は、ファイルＩＤをキーとして、効果音テーブル５２を検索し、ファイルＩＤに対応付けられた音声ファイル名を取得する。効果音決定部１５は、音声ファイル名を擬声語文字列に対応付けて表示再生制御部１２に通知する。
【００２２】
設定部２１は、抽出部１４から擬声語文字列が通知されると、擬声語文字列が開始する位置と、擬声語文字列が終了する位置を境界として、表示領域を設定する。このため、設定部２１は、擬声語文字列と擬声語以外の文字列とを、それぞれ異なる表示領域に設定することができる。例えば、図１（ａ）に示すように文中に１つの擬声語文字列が含まれている場合、次のように表示領域を分類する。
第１の表示領域 ：ページの先頭から擬声語文字列の前まで
第２の表示領域 ：擬声語文字列
第３の表示領域 ：擬声語文字列が終了した位置からページの最後まで
また、設定部２１は、擬声語の有無、個数、擬声語の表示位置などの情報を表示再生制御部１２に通知する。設定部２１の動作については後で詳しく説明する。
【００２３】
レンダリング処理部１６は、表示位置決定部２２で決定された表示位置に従って、文字列や画像などの要素を配置した描画ファイルを作成する。このとき、描画ファイルに含まれる領域（クリップ領域）は、表示再生制御部１２などからの指示に従って決定する。レンダリング処理部１６は、描画ファイルを表示デバイス３２に出力する。表示デバイス３２は、描画ファイルを表示する。
【００２４】
音声取得部１７は、表示再生制御部１２から音声ファイルのファイル名を通知されると、通知された音声ファイルを音声データ４４から取得する。さらに、音声取得部１７は、取得した音声ファイルを再生デバイス３３に出力する。再生デバイス３３は、音声取得部１７から入力された音声ファイルを再生する。
【００２５】
図６は、第１の実施形態に係る表示装置１０のハードウェア構成の例を示す。表示装置１０は、Central Processing Unit（ＣＰＵ）６１、メモリ６２、入力装置６３、出力装置６４、バス６５、外部記憶装置６６、媒体駆動装置６７、ネットワーク接続装置６９を備える。ＣＰＵ６１は、プログラムを実行することにより、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、リフロー処理部２０として動作する。メモリ４２は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４の一部、もしくは、全部を格納する。また、表示装置１０は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４などのデータを、ネットワーク７０もしくは可搬記憶媒体６８から取得することもできる。入力装置６３は、入力デバイス３１として動作する。入力デバイス３１は、例えば、ボタン、キーボードやマウスなどであり、ユーザは、入力デバイス３１を用いて表示装置１０に改ページの指示などを入力できる。出力装置６４は、表示デバイス３２、再生デバイス３３として動作する。表示デバイス３２は、ディスプレイなど、文字や図を表示するための画面を備えた任意の装置として実現される。再生デバイス３３は、スピーカなど、音声データ４４を再生することができる任意の装置として実現される。バス６５は、ＣＰＵ６１、メモリ６２、入力装置６３、出力装置６４、外部記憶装置６６、媒体駆動装置６７、ネットワーク接続装置６９の間を相互にデータの受け渡しが行えるように接続する。外部記憶装置６６は、プログラムやデータなどを格納し、適宜、ＣＰＵ６１などに格納している情報を提供する。媒体駆動装置６７は、メモリ６２や外部記憶装置６６のデータを可搬記憶媒体６８に出力することができ、また、可搬記憶媒体６８からプログラムやデータ等を読み出すことができる。ここで、可搬記憶媒体６８は、フロッピイディスク、Magneto-Optical（ＭＯ）ディスク、Compact Disc Recordable（ＣＤ−Ｒ）やDigital Versatile Disk Recordable（ＤＶＤ−Ｒ）を含む、持ち運びが可能な任意の記憶媒体とすることができる。
【００２６】
図７は、表示装置１０で行われる動作の例を説明するフローチャートである。以下、図７を参照しながら、図１（ａ）に示すコンテンツが読み込まれたときに行われる処理を例として説明する。ここで、以下の説明では、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを用いるものとする。
【００２７】
「未表示データフラグ」は、コンテンツ読み込み部１３によって読み込まれた要素の中で表示デバイス３２に表示されていない要素があるかを表す。未表示データフラグが１の場合は、読み込まれたコンテンツの中で、まだ表示デバイス３２に表示されていない要素があることを示すものとする。一方、未表示データフラグが０である場合、読み込まれたが表示デバイス３２に表示されていない要素は残っていないことを示す。
【００２８】
「擬声語表示前フラグ」は、表示デバイス３２に次に表示される要素が擬声語文字列であるかを判定するために用いられる。次に表示される要素が擬声語文字列である場合、擬声語表示前フラグは１に設定されているものとする。一方、次に表示される要素が擬声語文字列ではない場合、擬声語表示前フラグは０に設定されている。
【００２９】
表示装置１０が起動されると、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを０に設定する（ステップＳ１）。表示装置１０は、入力デバイス３１を介してユーザから改ページ指示が入力されるまで待機する（ステップＳ２）。ユーザ操作検出部１１は、ユーザから改ページ指示があったことを検出すると、改ページ指示を検出したことを表示再生制御部１２に通知する（ステップＳ２でＹｅｓ）。
【００３０】
表示再生制御部１２は、未表示データフラグの値を確認することにより、コンテンツ読み込み部１３に電子書籍コンテンツ４１の読み込みを要求するかを決定する（ステップＳ３）。表示装置１０が起動された後でコンテンツの表示が開始されていない場合、未表示データフラグは０のままである。そこで、表示再生制御部１２は、コンテンツ読み込み部１３に電子書籍コンテンツ４１の読み込みを要求する（ステップＳ３でＮｏ）。表示再生制御部１２から要求を受けると、コンテンツ読み込み部１３は電子書籍コンテンツ４１を読み込む（ステップＳ４）。例えば、コンテンツ読み込み部１３は、図１（ａ）に示すデータを電子書籍コンテンツ４１から読み込む。
【００３１】
コンテンツ読み込み部１３は、読み込んだデータを表示位置決定部２２に出力する。表示位置決定部２２は、受け取ったデータを要素ごとに分割する。例えば、読み込まれたデータには、文字列の他に、挿絵を表す画像データ、ページ数を示すフッタ、ヘッダに表示されるロゴなどが含まれる場合がある。表示位置決定部２２は、これらのデータを異なる要素に分割する。さらに、表示位置決定部２２は、個々の要素を識別する識別子（エレメントＩＤ、element identifier）を要素ごとに割り振る。ここで、エレメントＩＤは、ページの先頭に近い文字列ほど小さな値になるように割り振られるものとする。ここで、表示位置決定部２２は、要素ごとに、その要素の種類や大きさ、ディスプレイ上の表示位置などを、管理データとして記憶できるものとする。
【００３２】
図８に管理データの例を示す。図８の例では、エレメントＩＤ、エレメントタイプ、表示位置、画面上で表示される大きさ、および、表示されるデータが１つの管理データに含まれている。ここで、エレメントタイプは、要素が文字、画像、その他のデータのいずれの形式であるのかを示す。表示位置は、画面での要素の表示位置をｘｙ座標で表す。ここでは、まだ表示位置が決定されていないため、管理データには表示位置の情報がまだ含まれていない。表示位置の決定については後述する。表示位置決定部２２は、個々の要素に含まれている文字数、文字に指定されているフォント情報、画像ファイルの解像度などに応じて、個々の要素を表示したときの大きさを決定する。表示位置決定部２２は、要素が表示される領域の大きさを特定できる情報を、管理データ中のｓｉｚｅに記録する。図８は、要素を表示したときの形状が長方形であり、表示領域の横幅（ｗ）と高さ（ｈ）の組み合わせとして要素の大きさを記録する場合の例を示している。表示位置決定部２２は、個々の要素のエレメントＩＤと大きさに応じて、改行位置、１ページに表示される要素などを決定する（ステップＳ５）。このとき、適宜、予めユーザにより設定された一行あたりの文字数や１回に表示できる行数の最大値などの設定条件も用いられる。
【００３３】
次に、表示位置決定部２２は、エレメントタイプが文字列である要素の管理データを、抽出部１４に出力する。抽出部１４は、表示位置決定部２２から入力された要素と擬声語テーブル５１に含まれている擬声語を比較して、その要素が擬声語文字列であるかを確認する（ステップＳ６）。抽出部１４の処理については後で詳しく述べる。
【００３４】
ステップＳ６で擬声語が抽出された場合、抽出部１４は、擬声語であると判断された文字列に対応付けられているエレメントＩＤを設定部２１に通知する。さらに、抽出部１４は、擬声語であると判断した文字列を、その文字列に対応付けられたエレメントＩＤと対応付けて効果音決定部１５に出力する（ステップＳ７）。例えば、図１（ａ）に示すデータが読み込まれた場合、「ちゅどーん」という文字列が、抽出部１４で擬声語として抽出されたとする。また、例えば、図１（ａ）に示す文字列がエレメントＩＤ＝１〜２０の要素に分けられており、「ちゅどーん」という文字列のエレメントＩＤは１６であるとする。すると、抽出部１４は、「ちゅどーん」という文字列を、エレメントＩＤ＝１６に対応付けて効果音決定部１５に出力する。また、抽出部１４は、エレメントＩＤ＝１６が擬声語文字列であることを設定部２１に通知する。
【００３５】
効果音決定部１５は、抽出部１４から入力された文字列をキーとしてファイルＩＤテーブル５３を検索し、文字列に対応付けられたファイルＩＤを取得する。次に、効果音決定部１５は、得られたファイルＩＤに対応するファイル名を、効果音テーブル５２を用いて取得する（ステップＳ８）。さらに、効果音決定部１５は、得られたファイル名をエレメントＩＤに対応付けて表示再生制御部１２に出力する。
【００３６】
例えば、効果音決定部１５は、「ちゅどーん」という文字列をキーとしてファイルＩＤテーブル５３（図４）を検索した結果、ファイルＩＤ＝２を取得する。そこで、効果音決定部１５は、効果音テーブル５２（図５）を参照して、ファイルＩＤが２である音声ファイルの名称が「ｔｙｕｄｏｎ．ｗａｖ」であることを特定する。その後、効果音決定部１５は、エレメントＩＤ＝１６に対応付けて、「ｔｙｕｄｏｎ．ｗａｖ」というファイル名を表示再生制御部１２に通知する。
【００３７】
一方、設定部２１は、表示領域を設定するために、ステップＳ４で読み込まれた文字列に割り振られているエレメントＩＤを、表示位置決定部２２から取得する。設定部２１は、擬声語文字列に割り振られたエレメントＩＤを表示位置決定部２２から取得したエレメントＩＤと比較し、擬声語を表す文字列のエレメントＩＤよりも小さいエレメントＩＤが読み込まれているかを判定する。この処理により、設定部２１は、擬声語文字列が表示されるページの最初に来ているかを判定する（ステップＳ９）。
【００３８】
例えば、表示位置決定部２２から取得したエレメントＩＤの中に擬声語文字列のエレメントＩＤよりも小さいエレメントＩＤがある場合、擬声語文字列はページの最初ではない。そこで、設定部２１は、エレメントタイプが文字列に設定されている要素のうちで抽出部１４から通知されたエレメントＩＤよりも小さなエレメントＩＤが割り振られている要素を、第１の表示領域に設定する。また、抽出部１４から通知されたエレメントＩＤのうちで最も小さい値に対応する文字列を、第２の表示領域とする。第２の表示領域以降も同様に、設定部２１は、擬声語文字列と擬声語文字列を含まない文字列が別の表示領域に分類されるように表示領域を設定する。例えば、図１（ａ）に示すデータについて、エレメントＩＤ＝１６の要素が擬声語文字列として抽出されている。そこで、設定部２１は、エレメントＩＤ＝１〜１５の文字列を第１の表示領域、エレメントＩＤ＝１６の文字列を第２の表示領域、エレメントＩＤ＝１７〜２０の文字列を第３の表示領域とする。
【００３９】
設定部２１は、設定した表示領域を表示再生制御部１２と表示位置決定部２２に通知する。さらに、設定部２１は、抽出された擬声語文字列の数と、擬声語文字列のエレメントＩＤも表示再生制御部１２に通知する。従って、図１（ａ）について処理が行われた場合、ステップＳ８とＳ９の処理により、表示再生制御部１２は、図９（ａ）に示すようなデータを保持する。
【００４０】
設定部２１で表示領域が設定されると、表示位置決定部２２は、第１の表示領域に含まれている各要素について表示位置を決定する。このとき、表示位置決定部２２は、エレメントＩＤ、各要素の大きさ、およびディスプレイの大きさ、改行位置などの情報を用いる。例えば、図１０に示すように、表示デバイス３２に備えられた画面の右上隅を原点としたｘｙ座標を用いて個々の要素の表示位置が決定される。図１０の例では、エレメントＩＤが最も小さいＩＤ＝１の要素が原点から最も近い位置に表示されるように表示位置が決定される。さらに、その他の要素はエレメントＩＤが小さい順にｙ軸に沿って改行位置まで配置される。ここでは、エレメントＩＤ＝５の後に改行位置が設定されているものとする。改行位置にくると、表示位置決定部２２は１行目の表示位置と重ならないように、エレメントＩＤ＝６から次の改行位置までに含まれる要素が配置される。すると、表示位置決定部２２は、エレメントＩＤ＝１〜１５の各要素について、要素の表示領域の右上隅の座標を取得し、管理データに記録する。
【００４１】
次に、表示位置決定部２２は、第１の表示領域に指定された要素の管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、表示位置決定部２２から取得した管理データを用いて、第１の表示領域に分類された要素を表示する表示データを生成する。ここで、表示データは、例えば、ビットマップ形式のような画像データとして生成される。次に、レンダリング処理部１６が表示データを表示デバイス３２に出力すると、最初の擬声語の直前までの文字列が表示デバイス３２に表示される（ステップＳ１０）。例えば、エレメントＩＤ＝１〜１５を含む表示データが表示デバイス３２に出力されることにより、図１（ｂ）に示すように、第１の表示領域が表示される。
【００４２】
さらに、レンダリング処理部１６は、表示デバイス３２に表示データを出力したことを表示再生制御部１２に通知する。表示再生制御部１２は、通知を受けると、第１の表示領域が表示されたと認識する。すると、次に擬声語を表す文字列を表示することになるため、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを１に設定する（ステップＳ１１）。このとき、表示再生制御部１２は、図９（ｂ）に示すようなテーブルを用いて未表示データフラグと擬声語表示前フラグを設定することができる。例えば、第１の表示領域が表示されたことが通知されると、表示再生制御部１２は、図９（ａ）を図９（ｂ）に変更することにより、第１の表示領域が表示済みであることを記憶する。すると、次に表示される第２の表示領域は擬声語文字列であるため、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを１に設定する。
【００４３】
一方、文字列に擬声語が含まれていないと判定された場合、抽出部１４は、擬声語が含まれていないことを設定部２１に通知する（ステップＳ７で「なし」）。すると、設定部２１は、読み込まれた文字列に擬声語が含まれていないことを表示再生制御部１２に通知する。さらに、設定部２１は表示位置決定部２２から通知された全ての文字列を第１の表示領域に設定し、設定した結果を表示位置決定部２２に通知する。また、表示位置決定部２２は、第１の表示領域に含まれている各要素の表示位置を決定し、管理データをレンダリング処理部１６に出力する。
【００４４】
レンダリング処理部１６は、表示位置決定部２２から入力された情報に基づいて、表示位置決定部２２から通知された文字列の全てを含む表示データを生成して表示デバイス３２に出力する（ステップＳ１２）。さらに、レンダリング処理部１６は、表示デバイス３２に表示データを出力したことを表示再生制御部１２に通知する。表示再生制御部１２は、設定部２１から擬声語が検出されなかったことを通知されているので、コンテンツ読み込み部１３が読み込んだ要素の全てが表示デバイス３２に表示されたと判断する。そこで、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを０に設定する（ステップＳ１３）。
【００４５】
次に、２回目以降の改ページ指示が検出された場合に表示装置１０で行われる動作の例について説明する。ステップＳ１１もしくはステップＳ１３の処理が行われた後にユーザから改ページ指示があったとする（ステップＳ２）。すると、表示再生制御部１２は、未表示データフラグの値を確認する（ステップＳ３）。未表示データフラグが０の場合は、ステップＳ４〜Ｓ１３の処理が行われる。
【００４６】
一方、改ページ指示が検出されたときに、未表示データフラグが１である場合、表示再生制御部１２は、まだ表示されていないが読み込み済みのデータがあると判断する（ステップＳ３でＹｅｓ）。そこで、表示再生制御部１２は擬声語表示前フラグの値を確認する（ステップＳ１４）。
【００４７】
擬声語表示前フラグの値が１である場合、表示再生制御部１２は、次の表示領域を表示することを表示位置決定部２２に通知する。すると、表示位置決定部２２は、擬声語文字列の表示位置を決定し、表示対象の擬声語文字列についての管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、管理データに基づいて表示データを生成する。表示再生制御部１２は、さらに、表示される擬声語文字列に対応する音声ファイルのファイル名を、音声取得部１７に通知する。すると、音声取得部１７は、擬声語文字列に対応付けられた音声ファイルを音声データ４４から取得する。音声取得部１７は、表示データが表示デバイス３２の画面に表示される時刻に合わせて、音声ファイルを再生デバイス３３で再生させる（ステップＳ１５）。
【００４８】
例えば、表示再生制御部１２が図９（ｂ）に示すデータを保持しているときに、改ページ指示が検出されたとする。すると、ステップＳ１１で設定されたとおり、未表示データフラグと擬声語表示前フラグは、いずれも１である。さらに、第１の表示領域は既に表示済みである。そこで、表示再生制御部１２は、表示位置決定部２２に第２の表示領域（エレメントＩＤ＝１６）が表示対象となったことを通知する。表示位置決定部２２は、エレメントＩＤ＝１６を原点の近くに表示するように設定し、エレメントＩＤ＝１６の要素の表示位置を管理データに記憶する。さらに、表示位置決定部２２は、エレメントＩＤ＝１６の要素の管理データをレンダリング処理部１６に出力する。また、エレメントＩＤ＝１６の要素には「ｔｙｕｄｏｎ．ｗａｖ」という音声ファイルが対応付けられている。そこで、表示再生制御部１２は、「ｔｙｕｄｏｎ．ｗａｖ」というファイル名を音声取得部１７に通知する。音声取得部１７は、音声データ４４から「ｔｙｕｄｏｎ．ｗａｖ」を取得して再生デバイス３３に出力する。再生デバイス３３は、レンダリング処理部１６で生成された表示データが表示デバイス３２の画面に表示される時刻に合わせて「ｔｙｕｄｏｎ．ｗａｖ」を再生する。このため、図１（ｃ）に示す画面が表示されたときに、「ｔｙｕｄｏｎ．ｗａｖ」が再生される。
【００４９】
ステップＳ１５において、レンダリング処理部１６は、擬声語文字列を表示したことを表示再生制御部１２に通知する。すると、表示再生制御部１２は、保持しているデータを適宜変更し、ページ末まで表示されたかを確認する（ステップＳ１７）。ページ末まで表示されていない場合、表示再生制御部１２は、次の表示対象が擬声語文字列であるかを確認する（ステップＳ１８）。次の表示対象が擬声語文字列である場合、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを１に設定する（ステップＳ１１）。一方、次に表示される対象が擬声語文字列ではない場合、表示再生制御部１２は、未表示データフラグを１に設定し、擬声語表示前フラグを０に設定する（ステップＳ１９）。
【００５０】
例えば、図１（ｃ）に示す画面が表示されると、表示再生制御部１２は、保持しているデータを図９（ｂ）から図９（ｃ）に変更する。すると、表示再生制御部１２は、まだ表示されていないデータが表示位置決定部２２に保持されていることと、次に表示されるデータが擬声語ではないことを認識する。そこで、表示再生制御部１２は、未表示データフラグを１、擬声語表示前フラグを０に設定する。
【００５１】
次に、ユーザの改ページ要求によって、擬声語ではないデータが表示される場合の動作について説明する。ステップＳ２、Ｓ３の処理が行われ、未表示データフラグが１の場合、ステップＳ１４の判定が行われる。擬声語表示前フラグが０である場合、表示再生制御部１２は、次の表示領域の表示が要求されていることを表示位置決定部２２に通知する。すると、表示位置決定部２２は、未表示の文字列で次の擬声語の前までの文字列について表示位置を決定し、管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、表示データを生成して表示デバイス３２に出力する。表示デバイス３２はレンダリング処理部１６から入力された表示データを画面に表示する（ステップＳ１６）。なお、このときは、表示される文字列が擬声語ではないため、音声ファイル名の通知や音声ファイルの再生は行われない。その後、ページ末まで表示されたかが判定され、ページ末まで表示が終わっている場合、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを０に設定する（ステップＳ１７、Ｓ２０）。
【００５２】
例えば、表示再生制御部１２が図９（ｃ）に示すデータを保持している場合、表示再生制御部１２は、第３の表示領域（エレメントＩＤ＝１７〜２０）の表示が要求されていることを表示位置決定部２２に通知する。表示位置決定部２２は、エレメントＩＤ＝１７〜２０の表示位置を求めた後で、管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、エレメントＩＤ＝１７〜２０の管理データを用いて表示データを生成する。その後、表示再生制御部１２は、保持しているデータを図９（ｃ）から図９（ｄ）に変更する。また、ページ末まで表示が終了しているので、未表示データフラグと擬声語表示前フラグを０に設定する。
【００５３】
なお、以上の説明では、図１（ａ）に示すように、擬声語がページの先頭に無い場合を例として説明したが、コンテンツ読み込み部１３で読み込まれるコンテンツによっては、ページの先頭に擬声語が来る場合もありえる。擬声語がページの先頭に有る場合も、ステップＳ１〜Ｓ８までの処理は前述のとおりである。次に、設定部２１は、擬声語が表示されるページの最初に来ていることを検出する（ステップＳ９でＹｅｓ）。そこで、設定部２１は、抽出部１４から通知されたエレメントＩＤのうちで最も小さい値に対応する文字列を、第１の表示領域とする。第１の表示領域以降も同様に、設定部２１は、擬声語と擬声語以外の文字列が別の表示領域に分類されるように表示領域を設定する。さらに、設定部２１は、表示位置決定部２２と表示再生制御部１２に、ページの先頭に擬声語があることを通知する。
【００５４】
すると、表示位置決定部２２は、第１の表示領域に表示される文字列の表示位置を決定し、表示位置を含む管理データを、レンダリング処理部１６に出力する。レンダリング処理部１６は、第１の表示領域に設定された要素を表示する表示データを生成する。一方、表示再生制御部１２は、音声取得部１７に、表示される擬声語に対応する音声ファイルのファイル名を通知する。すると、音声取得部１７は、表示再生制御部１２から通知された音声ファイルを音声データ４４から取得する。音声取得部１７は、表示データが画面に表示される時刻に合わせて、音声ファイルを再生デバイス３３で再生させる（ステップＳ１５）。ステップＳ１５以降の処理は、前述のとおりである。
【００５５】
図７を参照しながら説明した処理は表示装置１０で行われる処理の一例であり、処理が変更される場合がある。
【００５６】
図１１は、抽出部１４の動作の例を説明するフローチャートである。図１１は、図７のステップＳ６の処理の例を示す。抽出部１４は、表示位置決定部２２から文字列を受け取ると、検出した擬声語の数を表す変数を０に設定する（ステップＳ３１）。さらに、抽出部１４は、表示位置決定部２２から入力された文字列の先頭に抽出開始位置を設定する。次に、抽出部１４は、抽出開始位置の後ろに文字列があるかを判定する（ステップＳ３２）。抽出開始位置の後ろに文字列がある場合、抽出部１４は、抽出開始位置から開始する単語を取得する（ステップＳ３３）。抽出部１４は、抽出開始位置を、取得した単語の後ろに移動する（ステップＳ３４）。
【００５７】
抽出部１４は、取得した単語をキーとして擬声語テーブル５１を検索し、取得した単語が擬声語テーブル５１に含まれているかを判定する（ステップＳ３５）。取得した単語が擬声語テーブル５１に含まれている場合、抽出部１４は、表示位置決定部２２から入力された文字列の先頭から取得した単語の開始位置までの文字数を、取得した単語に対応付けて保存する（ステップＳ３６）。例えば、要素の先頭の単語が擬声語である場合、抽出部１４は、擬声語を、その擬声語が検出された要素に割り振られたエレメントＩＤ、および、その擬声語が要素の０文字目からはじまる単語であることを記憶する。抽出部１４は、検出した擬声語の数を１つインクリメントする（ステップＳ３７）。一方、取得した単語が擬声語テーブル５１に含まれていない場合、ステップＳ３６、Ｓ３７の処理は行われない（ステップＳ３５でＮｏ）。その後、抽出開始位置の後に文字列がなくなるまでステップＳ３２〜Ｓ３７の処理が繰り返される。抽出開始位置の後に文字列がなくなると、抽出部１４は、検出した擬声語と擬声語の数を効果音決定部１５に通知する（ステップＳ３８）。また、抽出部１４は、擬声語の数と開始位置を設定部２１に通知する（ステップＳ３９）。
【００５８】
図７のフローチャートを参照しながら説明したように、本実施形態にかかる表示装置は、擬声語を示す文字列を画面に表示する際に、表示する擬声語に対応付けられた音声ファイルを再生することができる。従って、ユーザが擬声語文字列を読み始めたときにユーザが読んでいる擬声語に対応する音声を再生できる。
【００５９】
このため、実施形態に係る表示装置では、音声の再生による演出効果が高いという効果がある。例えば、改ページ指示に従って図１（ａ）に示すようにページが表示される表示装置では、ユーザによって文字列を読む速さが異なるため、ユーザが擬声語文字列を読み始めるときに擬声語文字列に対応する音声を再生することは困難である。もし、図１（ａ）に示すページが表示されたときに「ちゅどーん」という文字列に対応付けられた音声を再生すると、ユーザが擬声語文字列を読み始める時刻と、擬声語に対応する音声を再生する時刻のずれが大きい。このため、音声の再生による演出効果が低下してしまう。一方、実施形態にかかる表示装置は、図１（ｂ）と図１（ｃ）を参照しながら説明したように、ユーザが擬声語文字列を読み始める時刻と、擬声語に対応する音声を再生する時刻のずれを小さくすることができる。このため、実施形態にかかる表示装置では、音声の再生による演出効果が大きくなる。特に、例えば、ライトノベルなどの擬声語が頻繁に用いられる書籍を読むときに表示装置１０を用いることにより、ユーザは、音声の再生による効果を楽しむことができる。
【００６０】
さらに、表示装置１０は、音声の再生時刻とユーザが擬声語文字列を読み始める時刻の差を小さくするために、視線位置を検出するための装置を用いない。このため、表示装置１０は、視線位置を検出する方式が用いられる装置に比べて安価に製造できる可能性や、検出装置を搭載していない分だけ小型化できる可能性がある。
【００６１】
また、表示装置１０を用いると、電子書籍コンテンツ４１にタグなどを用いて文中の擬声語の周辺に音声ファイルの特定に用いられる情報を埋め込まなくても、再生対象の音声ファイルを特定することができる。従って、擬声語文字列の周辺に音声ファイルを特定するための情報を埋め込む方式を用いて電子書籍コンテンツが製造される場合に比べて、電子書籍コンテンツ４１を製造する手間やコストを削減することができる。特に、絶版本スキャンデータなどの既存データを利用して生成される電子書籍コンテンツ４１の場合、電子書籍コンテンツ４１の生成に使われるデータが既に存在しているため、ユーザは、電子書籍コンテンツ４１を安価に入手できると期待している。このため、絶版本スキャンデータなどを用いた電子書籍コンテンツ４１では、低コストで生成することが求められることが多い。なお、電子書籍コンテンツ４１を生成する際のコストを低くすることは、絶版本スキャンデータ以外にも、画像取り込みや、ＯＣＲテキスト抽出などの技術を用いて生成される任意の電子書籍コンテンツ４１の際に求められる。本実施形態に係る表示装置１０を用いると、低コストで電子書籍コンテンツ４１や表示装置１０を生成できる上、ユーザが擬声語文字列を読み始める時刻と、擬声語に対応付けられた音声ファイルの再生が開始される時刻の差を小さくして音声再生効果を高めることができる。
【００６２】
＜第２の実施形態＞
次に、最終的に表示される画面が、電子書籍コンテンツ４１を作成した出版社などで意図されている版面と同じ場合の表示装置１０の動作について説明する。第２の実施形態においても、表示装置１０が起動されてから設定部２１で表示領域が設定されるまでの動作は、第１の実施形態と同様である。また、抽出された擬声語文字列に対応付けられた音声ファイルのファイル名の取得方法も、第１の実施形態と同様である。さらに、効果音決定部１５は、音声ファイルのファイル名を第１の実施形態と同様に表示再生制御部１２に通知するものとする。
【００６３】
設定部２１で表示領域が設定されると、表示位置決定部２２は、表示されるページに含まれる全ての要素について表示位置を決定する。例えば、表示対象のページにエレメントＩＤ＝１〜２０の要素が含まれているとする。すると、図１２に示すように、表示位置決定部２２は、エレメントＩＤ＝１〜２０の要素が一緒に配置された場合について、個々の要素の表示位置を求める。図１２の例でも表示デバイス３２の画面の右上隅を原点としたｘｙ座標を用いて個々の要素の表示位置が決定されるものとする。なお、図１２は文字列が縦書きの場合の例であり、エレメントＩＤが小さい程、右側の行になるように配置され、さらに、同じ行の中ではエレメントＩＤが小さいほど上側に表示されるものとする。表示位置決定部２２は、各要素について、要素の表示領域の右上隅の座標を取得し、管理データに記録する。
【００６４】
設定部２１は、レンダリング処理部１６に表示領域の情報を通知する。また、設定部２１は、擬声語文字列の数や表示領域に含まれる要素のエレメントＩＤなどの情報を、表示再生制御部１２に通知する。一方、表示位置決定部２２は、表示位置を決定した要素についての管理データをレンダリング処理部１６に出力する。
【００６５】
レンダリング処理部１６は、表示位置決定部２２から入力された管理情報を用いて、表示対象のページの全体についての表示データを生成する。レンダリング処理部１６は、例えば、図１（ａ）に示す表示になるような表示データを生成する。さらに、レンダリング処理部１６は、設定部２１から通知された情報と表示位置決定部２２から得られた管理情報に基づいて「クリップ領域」を決定する。クリップ領域は、設定部２１で設定されている表示領域を単位として決定される。個々のクリップ領域は、ユーザの改ページ指示の回数と対応付けられており、あるクリップ領域に対応付けられた回数の改ページ指示が検出されると、そのクリップ領域が画面に表示される。
【００６６】
例えば、図１２において、エレメントＩＤ＝１〜１５が第１の表示領域、エレメントＩＤ＝１６が第２の表示領域、エレメントＩＤ＝１７〜２０が第３の表示領域に設定されているものとする。するとレンダリング処理部１６は、第１の表示領域を第１のクリップ領域に指定する。すなわち、図１２に網掛けで示すように、エレメントＩＤ＝１〜１５を含む領域が第１のクリップ領域に指定され、第１のクリップ領域は、コンテンツ読み込み部１３での読み込みの契機となった改ページ指示の後で画面に表示される。一方、レンダリング処理部１６は、第１の表示領域と第２の表示領域を、第２のクリップ領域に指定し、第１〜第３の表示領域を第３のクリップ領域に指定する。
【００６７】
レンダリング処理部１６は、第１のクリップ領域がディスプレイに表示されているときに改ページ指示があると、第２のクリップ領域の表示データを画面に出力する。従って、第１のクリップ領域がディスプレイに表示されているときに改ページ指示があると、エレメントＩＤ＝１〜１６の要素が画面に表示される。ここで、第２の表示領域に表示される文字列は擬声語文字列であるため、第２のクリップ領域が画面に出力される際に、エレメントＩＤ＝１６の擬声語文字列に対応付けられた音声ファイルが再生デバイス３３で再生される。表示再生制御部１２、音声取得部１７、再生デバイス３３が音声ファイルの再生のために行う動作は、第１の実施形態と同様である。
【００６８】
さらに、第２のクリップ領域が表示されている間に改ページ指示が検出されると、レンダリング処理部１６は、第３のクリップ領域の表示データを画面に出力する。従って、画面には、エレメントＩＤ＝１〜２０の要素が表示される。
【００６９】
図１３にクリップ領域の例とクリップ領域テーブルの例を示す。図１３（ａ）の例では、クリップ領域は長方形であるが、クリップ領域は任意の形状とすることができる。また、クリップ領域テーブルは、クリップ領域の数とクリップ領域の特定に用いられる任意の情報を格納する。図１３（ｂ）は、クリップ領域が図１３（ａ）に示すように設定された場合のクリップ領域テーブルの例である。図１３（ｂ）の例では、クリップ領域の右上隅のｘ座標、クリップ領域の右上隅のｙ座標、クリップ領域の幅、高さが、クリップ領域の総数と共に記録されている。なお、クリップ領域は、互いに重なり合わないように設定されても良く、また、あるクリップ領域の一部もしくは全部が他のクリップ領域に重なるように設定されても良い。
【００７０】
次に、図１（ａ）に示すコンテンツの表示が行われる場合を例として、第２の実施形態で行われる動作の例を説明する。第１のクリップ領域の表示データにより、エレメントＩＤ＝１〜１５の要素が表示される。従って、第１のクリップ領域による表示では、第１の表示領域が表示されることになり、図１（ｂ）に示す画面がディスプレイに表示される。第１の表示領域に含まれる要素が表示されてから、次の改ページ指示が検出されるまでの動作は、第１の実施形態と同様である。すなわち、表示再生制御部１２は、読み込まれたが未表示となっているデータがあることと、次に表示が開始される文字列は擬声語文字列であることを認識する。
【００７１】
ユーザからの改ページ指示があると、表示再生制御部１２は、未表示データフラグを参照して未表示のデータがあることを確認し、表示するクリップ領域を変更することをレンダリング処理部１６に要求する。さらに表示再生制御部１２は、次に表示されるクリップ領域に擬声語文字列が含まれていることを確認し、音声取得部１７に対して、擬声語に対応付けられた音声ファイルの再生を要求する。レンダリング処理部１６は、表示再生制御部１２からの要求に応じて、表示デバイス３２に第２のクリップ領域の表示データを出力する。このとき、第１の表示領域に含まれている要素と第２の表示領域に含まれている要素が表示されるため、画面には、図１４（ａ）のように表示される。
【００７２】
一方、音声取得部１７は、擬声語に対応付けられた音声ファイルを音声データ４４から取得する。音声取得部１７の動作は、第１の実施形態と同様である。音声取得部１７は、取得した音声ファイルを再生デバイス３３に出力する。このとき、音声取得部１７は、図１４（ａ）に示す画面が表示される時刻に再生デバイス３３での再生が行われるように、音声ファイルを出力するタイミングを調整することができる。第２の表示領域に含まれる要素が表示されてから、次の改ページ指示が検出されるまでの動作も、第１の実施形態と同様である。すなわち、表示再生制御部１２は、読み込まれたが未表示となっているデータがあることと、次に表示が開始される文字列が擬声語文字列ではないことを認識する。
【００７３】
改ページ指示が検出されると、表示再生制御部１２は、未表示のデータがあることを確認し、表示するクリップ領域の変更をレンダリング処理部１６に要求する。レンダリング処理部１６は、表示再生制御部１２からの要求に応じて、表示デバイス３２に第３のクリップ領域を含む表示データを出力する。そこで、表示デバイス３２は、第１〜第３の表示領域に含まれている要素を画面に表示するため、ディスプレイの表示は図１４（ｂ）のようになる。
【００７４】
図１５は、設定部２１と表示位置決定部２２の動作の例を説明するフローチャートを示す。なお、図１５は一例であり、例えば、ステップＳ５５とＳ５６の順序が入れ替えられるなどの変更が加えられる場合がある。また、ステップＳ５９に示すように、擬声語文字列を含むことが確認された要素について、その要素の表示位置（表示座標）が表示再生制御部１２に通知されることがある。この場合は、表示再生制御部１２で記憶される情報には、図９に示す情報に加え、擬声語を表す文字列の表示座標も含まれる。
【００７５】
設定部２１、表示位置決定部２２は、コンテンツ読み込み部１３で読み込まれたデータを取得する（ステップＳ５１）。表示位置決定部２２は、改行位置を決定し、１ページに表示されるデータを特定する（ステップＳ５２）。表示位置決定部２２は、エレメントタイプが文字列である要素について、擬声語テーブル５１に含まれている単語に合致する単語の抽出を、抽出部１４に要求する（ステップＳ５３）。抽出部１４で擬声語が抽出されると、表示位置決定部２２は、１ページ中に含まれる各要素の表示位置を算出する（ステップＳ５４でＹｅｓ、ステップＳ５５）。さらに、設定部２１は、文字列中での擬声語を表す文字列の位置や数に応じて表示領域を決定する（ステップＳ５６）。一方、擬声語が抽出されなかった場合、表示位置決定部２２は各要素の表示位置を算出し、設定部２１は、ページ全体を第１の表示領域に設定する（ステップＳ５４でＮｏ、ステップＳ５７）。設定部２１は、表示領域の設定結果をレンダリング処理部１６に通知する（ステップＳ５８）。さらに、設定部２１は、抽出された擬声語の数と擬声語の表示位置を、表示再生制御部１２に通知する（ステップＳ５９）。
【００７６】
このように、第２の実施形態では、ユーザは、電子書籍コンテンツ４１を作成した出版社などで意図されていた版面を目視することができる。このため、擬声語を表す文字列とその他の文字列のフォントの大きさを変更するなど書式変更により擬声語の表示効果を出そうと意図されている場合は、第２の実施形態が有効である。
【００７７】
＜第３の実施形態＞
第３の実施形態では、擬声語に対応する音声ファイルが存在しない場合にも、擬声語を表す文字列の表示に伴って音声の再生が可能な表示装置１０について説明する。第３の実施形態に係る表示装置１０は、先頭文字テーブル５４を記憶しているものとする。
【００７８】
図１６は、先頭文字テーブル５４の例を示す。先頭文字テーブル５４は、擬声語の先頭の文字列とファイルＩＤを対応付けている。先頭文字テーブル５４は、全ての仮名文字に対応するエントリを備え、各エントリは、１つの仮名文字と１つのファイルＩＤを対応付けている。さらに、先頭文字テーブル５４は、複数の文字の組み合わせについてのエントリを備えることもでき、複数の文字の組み合わせのエントリについても、各エントリに１つのファイルＩＤが対応付けられている。例えば、擬声語文字列の先頭の文字が「あ」である場合、対応付けられた音声ファイルのＩＤは「１」である。また、先頭の文字が「ず」である擬声語文字列は音声ファイルＩＤ＝ｎのファイルに対応付けられ、先頭の文字が「ん」である擬声語文字列は音声ファイルＩＤ＝ｐのファイルに対応付けられている。
【００７９】
先頭文字テーブル５４は、擬声語文字列についてのエントリがファイルＩＤテーブル５３に無い場合に用いられる。例えば、擬声語テーブル５１には記録されているが、抽出された擬声語に対応付けられた音声ファイルのＩＤがファイルＩＤテーブル５３に登録されていない場合、効果音決定部１５は先頭文字テーブル５４を参照する。効果音決定部１５は、擬声語文字列の先頭の文字についてのエントリが先頭文字テーブル５４に記録されている場合、そのエントリに記録されている音声ファイルＩＤを取得する。なお、先頭文字テーブル５４に複数の文字の組み合わせについてのエントリが含まれている場合、擬声語文字列と一致する文字数が最も多いエントリに対応付けられたファイルＩＤが、擬声語文字列に対応付けられているファイルＩＤとされる。効果音決定部１５は、得られたファイルＩＤに対応付けられたファイル名を効果音テーブル５２から取得すると、表示再生制御部１２に通知する。
【００８０】
このように変形すると、擬声語文字列の最初の文字に応じて、再生する音声ファイルが選択される。擬声語は、最初の文字が共通している場合、類似した効果音であることが多い。そこで、本実施形態によると、擬声語文字列のエントリがファイルＩＤテーブル５３に無い場合であっても、擬声語で使用される先頭の子音（Ｇ、Ｚ、Ｄ、……）が共通の場合は類似の効果音であるという仮定に基づいてファイルＩＤを選択することができる。
【００８１】
さらに、擬声語に対応する音声ファイルを発見できない場合には、デフォルトの音声ファイルが再生されるように、表示装置１０の動作が変形される場合がある。かかる場合の表示装置１０での効果音決定部１５の動作の例を、図１７に示す。
【００８２】
効果音決定部１５は、抽出部１４から擬声語文字列を取得する（ステップＳ７１）。効果音決定部１５は、擬声語文字列に対応付けられたファイルＩＤがファイルＩＤテーブル５３に格納されているかを判定する（ステップＳ７２）。擬声語文字列に対応付けられたファイルＩＤがファイルＩＤテーブル５３に含まれている場合、効果音決定部１５は、擬声語文字列に対応付けられたファイルＩＤを取得する（ステップＳ７２でＹｅｓ、ステップＳ７３）。さらに、効果音決定部１５は、取得したファイルＩＤが効果音テーブル５２に記録されているかを確認する（ステップＳ７４）。取得したファイルＩＤが効果音テーブル５２に記録されている場合、効果音決定部１５は、ファイルＩＤに対応付けられている音声ファイル名を効果音テーブル５２から取得する（ステップＳ７４でＹｅｓ、ステップＳ７５）。一方、ステップＳ７２において擬声語文字列に対応付けられたファイルＩＤが無かった場合、効果音決定部１５は、デフォルト効果音ファイルのファイル名を取得する（ステップＳ７２でＮｏ、ステップＳ７６）。同様に、取得したファイルＩＤが効果音テーブル５２に記録されていない場合も、効果音決定部１５は、デフォルト効果音ファイルのファイル名を取得する（ステップＳ７４でＮｏ、ステップＳ７６）。
【００８３】
効果音決定部１５の処理を図１７で説明するように変更することにより、擬声語に対応付けられた音声ファイルの検索に失敗した場合、デフォルト効果音ファイルのファイル名が表示再生制御部１２を介して音声取得部１７に通知される。このため、擬声語に対応付けられた音声ファイルが音声データ４４に含まれていなくても、表示装置１０は、擬声語文字列の表示に合わせてデフォルト効果音ファイルを再生することができる。
【００８４】
＜第４の実施形態＞
第４の実施形態では、電子書籍コンテンツ４１に含まれるタグ情報を用いて、表示の際に音声が再生される文字列を限定する表示装置９０について説明する。
【００８５】
図１８は、表示装置９０の構成の例を示す図である。表示装置９０は、リフロー処理部８０を備える。リフロー処理部８０は、設定部２１、表示位置決定部２２、候補検出部８１を備える。表示装置９０は、さらに、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、入力デバイス３１、表示デバイス３２、再生デバイス３３を備えている。また、表示装置９０は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４を記憶する。なお、表示装置９０のハードウェア構成も図６と同様であり、リフロー処理部８０は、ＣＰＵ６１により実現されるものとする。
【００８６】
候補検出部８１は、コンテンツ読み込み部１３から読み込まれたコンテンツ情報とコンテンツ情報に含まれているタグ情報を用いて、音声の再生を行う対象とする擬声語を含む文字列を特定する。例えば、図１（ａ）に示すコンテンツが読み込まれた場合、「ちゅどーん」という文字列は他の文字列よりも大きなフォントに対応付けられている。例えば、文字情報とタグ情報は、
「〜だった。</paragraph> <paragraph> <font size=big>ちゅどーん</font> </paragraph>」
と記載されているとする。この場合、「ちゅどーん」という文字列には、フォントの大きさを、font size=bigに対応付けられた大きさにすることが指定されている。また、「ちゅどーん」という文字列以外には、特にフォントの大きさの指定が無いものとする。すると、「ちゅどーん」という文字列以外は、基本設定のフォントが使用される。そこで、候補検出部８１は、「ちゅどーん」という文字列が、他の文字列よりも大きなフォントで記載されていると認識し、擬声語を検索する候補とする。以下、擬声語を検索する候補の文字列を「候補文字列」と記載する。候補検出部８１は、抽出部１４に候補文字列を出力する。
【００８７】
表示位置決定部２２は、第１〜第３の実施形態と同様に、各要素の位置を決定する。さらに、表示位置決定部２２は、各要素について、図１９に示すように属性情報（Ａｔｔｒｉｂｕｔｅ）を含む管理データを生成する。ここで、属性情報の種類は、要素の種類に応じて設定される情報であるものとする。例えば、文字列の要素に対しては、フォントタイプ、フォントの大きさ、フォントの色などが設定される。
【００８８】
設定部２１、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、入力デバイス３１、表示デバイス３２、再生デバイス３３の動作は、第１〜３の実施形態と同様である。また、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４も第１〜３の実施形態と同様である。
【００８９】
このように、第４の実施形態では、フォントなどの書式が他の文字列と異なるなど、他の文字列とは異なる形式で表示される擬声語文字列が表示されるときに、表示対象となる擬声語に対応付けられた音声ファイルを再生する。本実施形態では、音声の再生の対象となる擬声語が限定されるので、他の実施形態に比べて、音声の対象となる擬声語に対してのユーザの印象が強くなる。また、候補検出部８１で選択された候補文字列について抽出部１４が抽出処理を行うため、抽出部１４の処理量が他の実施形態に比べて少ない。擬声語が頻繁に用いられるライトノベルでは、特に強調される擬声語について、他の文字列とは異なるフォントが指定されている場合や、他の文字列よりも大きな文字が用いられている場合がある。このような小説を表示する場合、表示装置９０を用いると、作者が強調しようとした擬声語について音声を再生することになるため、ユーザは音声の再生による効果を楽しむことができる。
【００９０】
＜その他＞
なお、実施形態は上記に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
【００９１】
抽出部１４は、擬声語テーブル５１に含まれていない文字列でも、一定の回数以上同じ文字列が繰り返された場合に、擬声語として抽出してもよい。例えば、「ドドド」や「ずりずりずり」など、３回以上同じ文字列が繰り返された場合に擬声語として抽出するように、抽出部１４の動作を設定することができる。
【００９２】
また、予め、コンテンツ中に、音声ファイルが文字列と関連付けられている場合、表示装置１０は、音声ファイルが関連付けられている文字列を表示する際に、コンテンツ中で関連付けられた音声ファイルを再生する。例えば、
「~だった。</paragraph><paragraph><font size=big><sound source=filename.wav>ちゅどーん</sound></font></paragraph>」
というコンテンツをコンテンツ読み込み部１３が読み込んだとする。この場合、読み込まれたコンテンツに音声ファイルの指定が含まれているので、表示位置決定部２２は、文字列を抽出部１４に出力しない。その代わり、設定部２１は、soundタグで指定されている音声ファイルの名称と、音声ファイルが対応付けられている文字列を表示再生制御部１２に通知する。また、設定部２１は、soundタグによる音声ファイルの指定がある部分が他の部分と別の表示領域に属するように表示領域を設定する。一方、表示位置決定部２２は、管理データを生成してレンダリング処理部１６に出力する。表示再生制御部１２は、設定部２１と表示位置決定部２２から受信した情報に応じて音声取得部１７に音声ファイルの取得を要求する。音声ファイルの取得と音声の再生のタイミングは第１もしくは第２の実施形態で述べたとおりである。なお、音声ファイルが関連付けられている文字列を含むコンテンツを、表示装置９０が読み込んだ場合も、表示装置１０での場合と同様に処理される。ただし、表示装置９０の場合、候補検出部８１が文字列を抽出部１４に出力しないために、表示装置９０での抽出が行われない。
【００９３】
さらに、ユーザからの入力に応じて第１の実施形態と第２の実施形態を切り替えることもできる。例えば、ユーザ操作検出部１１でユーザから表示方法の切り替えの指示が検出されると、表示領域ごとに画面に表示する設定から、改ページのたびに表示領域を増やす設定になるように、リフロー処理部２０やレンダリング処理部１６が処理を変更することができる。リフロー処理部２０での変更は、レンダリング処理部１６に出力するデータを表示領域ごとにするか、ページの全体にするかを切り替えることにより行われる。レンダリング処理部１６で行われる処理の例を、図２０のフローチャートを参照しながら説明する。なお、図２０は、未表示であるが読み込み済みのデータが表示装置１０に記憶されている場合のレンダリング処理部１６の動作の例を示す。
【００９４】
レンダリング処理部１６は、複数の領域にわたってデータが入力されているかを確認する（ステップＳ８１）。入力されているデータが複数の表示領域にまたがっている場合、設定部２１から表示領域に含まれている要素を特定する情報がレンダリング処理部１６に入力される。従って、設定部２１から表示領域を特定する情報が入力されていない場合、レンダリング処理部１６は、複数の表示領域のデータを取得していないと判定する（ステップＳ８１でＮｏ）。すると、レンダリング処理部１６は、表示位置決定部２２から入力された要素を表示する表示データを生成する（ステップＳ８２）。ここで生成された表示データには、既に画面に表示された要素は含まれない。その後、レンダリング処理部１６は、１つの表示領域に含まれている要素をディスプレイに表示するために表示データを、表示デバイス３２に出力する（ステップＳ８３）。一方、設定部２１から表示領域を特定するための情報を取得している場合、レンダリング処理部１６は、表示領域単位でクリップ領域を指定する。さらに、前の画面に表示されている表示領域と、次の表示領域の両方を表示するための表示データを生成して表示デバイス３２に表示させる（ステップＳ８４）。
【００９５】
以上の記載で説明した、表示装置１０や表示装置９０に記憶されているテーブルなどは
一例であり、実装に応じて変形することができる。例えば、図９（ａ）に示したテーブルのかわりに、設定部２１は、図２１に示すテーブルを保持することもできる。図２１の例では、図９に示したテーブルに含まれている情報に加え、擬声語の総数の情報が含まれている。さらに、図２１のテーブルでは、擬声語文字列ごとに擬声語文字列の前の表示領域の要素、擬声語を含む表示領域の要素、擬声語の後から次の擬声語までの間に含まれる要素が記録されている。
【００９６】
なお、抽出部１４で複数の擬声語が抽出された場合、抽出された個々の擬声語についてファイル名が検索され、検索結果が表示再生制御部１２に通知される。文中に２つ以上の擬声語が含まれている場合も、設定部２１は、同様に表示領域を分類する。例えば、２つの擬声語が含まれている場合、以下のように表示領域が設定される。
第１の表示領域：ページの先頭から最初の擬声語の前まで
第２の表示領域：最初の擬声語文字列
第３の表示領域：最初の擬声語文字列が終了した位置から２つ目の擬声語文字列の前まで
第４の表示領域：２つ目の擬声語文字列
第５の表示領域：２つ目の擬声語文字列が終了した位置からページの最後まで
【００９７】
さらに、コンテンツ読み込み部１３は、コンテンツを読み込む際に、読み込むデータに対応付けられたページ数を特定する情報を取得することもできる。この場合、コンテンツ読み込み部１３は、ページ数を特定する情報の変動を確認することにより、表示されるページ数が大きくなっているかを確認する。表示されるページ数が小さくなっている場合、ユーザがページを戻していることになる。この場合はユーザがコンテンツを読んでいる可能性よりも、コンテンツ中の記載や画像などを探している可能性が高いといえる。そこで、コンテンツ読み込み部１３は、表示されるページ数が小さくなっている場合、音声データの再生が不要であると判定し、表示位置決定部２２や候補検出部８１に対して、抽出部１４へ文字列を出力しないように要求する。抽出部１４に文字列が入力されない場合、擬声語の抽出、音声の再生等が行われない。また、複数ページ単位で表示位置がスキップしている場合も、表示装置１０、９０はユーザがコンテンツ中の記載等を検索していると判断して、同様に、音声の再生を行わない。
【００９８】
さらに、画面がスクロールされる表示装置１０、９０の場合は、スクロールボタンが１度押されたときには、第１の表示領域が表示され、スクロールボタンが２回押されると第２の表示領域の表示が行われるものとする。
【００９９】
表示装置１０や表示装置９０は、携帯電話端末、コンピュータ、電子書籍端末など、コンテンツの表示と音声の再生が可能な任意の装置として実現されうる。
【符号の説明】
【０１００】
１０、９０ 表示装置
１１ ユーザ操作検出部
１２ 表示再生制御部
１３ コンテンツ読み込み部
１４ 抽出部
１５ 効果音決定部
１６ レンダリング処理部
１７ 音声取得部
２０、８０ リフロー処理部
２１ 設定部
２２ 表示位置決定部
３１ 入力デバイス
３２ 表示デバイス
３３ 再生デバイス
４１ 電子書籍コンテンツ
４２ 擬声語辞書データ
４３ 効果音辞書データ
４４ 音声データ
５１ 擬声語テーブル
５２ 効果音テーブル
５３ ファイルＩＤテーブル
５４ 先頭文字テーブル
６１ ＣＰＵ
６２ メモリ
６３ 入力装置
６４ 出力装置
６５ バス
６６ 外部記憶装置
６７ 媒体駆動装置
６８ 可搬記憶媒体
６９ ネットワーク接続装置
７０ ネットワーク
８１ 候補検出部
【技術分野】
【０００１】
本発明は、音声の再生が可能な表示装置と、その表示装置で実現される表示方法に関する。
【背景技術】
【０００２】
近年、電子書籍や電子書籍端末が普及してきている。電子書籍の多くは、文字情報の電子ファイルと画像ファイルを含むコンテンツであるが、音声情報も含むものもある。例えば、書籍の読み上げを行う電子書籍装置も知られており、中には、ユーザが希望するキャラクターに対応する音声で書籍データが読上げられる装置も考案されている。
【０００３】
コンテンツ中に音声情報を含む電子書籍には、文字情報の一部だけに対応する効果音や改ページなどのイベントに対応付けられた音声などを含むものもある。このような電子書籍を表示する場合、電子書籍端末は、音声情報で指定されている効果音などを指定されたタイミングで再生する。例えば、電子書籍の改ページを行う際に書籍の内容と意味的に一致した音声の再生を行うための音声出力制御装置が考案されている。ある装置では、ユーザから改ページの指示があったときに、効果音情報と発音条件を用いて、そのページへの移動が発音を行うための条件を満たしているかの判断が行われ、発音の条件を満たしている場合に音声が再生される。
【０００４】
また、電子書籍によるコミック出版物には、コミック原画をスキャナで読み込んで得られた画像データと、吹き出し部分の台詞や擬態語などの音声データを、同時再生できる方式で記録したものもある。さらに、ユーザが見ている位置（視線位置）を検出して、視線位置が予め決められたイベント発生位置になったときにイベントを発生させる電子書籍表示装置も考案されている。また、視線位置は、表示されているコンテンツのパーツ単位で検出される場合もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１２２５５４号公報
【特許文献２】特開平１０−１１４６８号公報
【特許文献３】特開平９−１６１４５３号公報
【特許文献４】特開平７−９３３６８号公報
【特許文献５】特開２００６−３４９８４５号公報
【特許文献６】特開２００６−１０７０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ユーザが読んでいる単語を特定するために視線位置を検出する場合、電子書籍端末に視線位置を検出する装置を搭載することにより、電子書籍端末の大きさが大きくなってしまうという問題や、コストが高くなるという問題がある。しかし、視線位置の検出を行わない場合、ユーザが文中に含まれている擬声語を読む時刻に合わせて、擬声語に対応する音声を再生する時刻を調整することは困難である。
【０００７】
例えば、改ページを行った時刻からユーザが擬態語を読む時刻までの時間は、擬声語が表示されている位置によって異なる。また、改ページした時刻からユーザが擬声語を読む時刻までの時間のユーザ間でのばらつきは、１度に表示される文章の量が多くなるほど大きくなる。そのため、コミックのように１コマずつ表示できる書籍に比べて、小説などの文章量の多い書籍では音声を再生するタイミングの調整が難しい。以上の記載では電子書籍端末を例として述べたが、電子書籍端末以外の電子書籍を表示することができる表示装置でも、同様の問題がある。
【０００８】
本発明は、ユーザが文中に含まれている擬声語を読む時刻に合わせて、擬声語に対応する音声を再生する時刻を簡便に調整する方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
ある実施形態にかかる表示装置は、検出部、抽出部、設定部、表示デバイス、および、再生デバイスを備える。検出部は、文字列の表示を指示する表示指示を検出する。抽出部は、取得した取得文字列から、擬声語を表す擬声語文字列を抽出する。設定部は、前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定する。表示デバイスは、前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始する。再生デバイスは、前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する。
【発明の効果】
【００１０】
ユーザが文中に含まれている擬声語を読む時刻に合わせて、擬声語に対応する音声が再生される。
【図面の簡単な説明】
【００１１】
【図１】表示装置での表示と音声の再生の例を示す図である。
【図２】第１の実施形態に係る表示装置の構成の例を示す図である。
【図３】擬声語テーブルの例を示す図である。
【図４】ファイルＩＤテーブルの例を示す図である。
【図５】効果音テーブルの例を示す図である。
【図６】第１の実施形態に係る表示装置のハードウェア構成の例を示す図である。
【図７】表示装置で行われる動作の例を説明するフローチャートである。
【図８】表示位置決定部によって生成される管理データの例を示す図である。
【図９】表示再生制御部が保持するデータの例を示すテーブルである。
【図１０】要素の位置と大きさの例を示す図である。
【図１１】抽出部の動作の例を説明するフローチャートである。
【図１２】要素の位置と大きさの例を示す図である。
【図１３】クリップ領域の例とクリップ領域テーブルの例を示す図である。
【図１４】表示装置での表示の例を示す図である。
【図１５】設定部と表示位置決定部の動作の例を説明するフローチャートを示す。
【図１６】先頭文字テーブルの例を示す図である。
【図１７】効果音決定部の動作の例を説明するフローチャートである。
【図１８】表示装置の構成の例を示す図である。
【図１９】属性情報を含む管理データの例を示す図である。
【図２０】レンダリング処理部で行われる処理の例を説明するフローチャートである。
【図２１】表示再生制御部が備えるテーブルの例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、ある実施形態に係る表示装置での表示と音声の再生の例を示す。表示装置は、ユーザから表示するページの変更の要求を受けると、表示中のページの次に表示されるページに含まれるコンテンツを読み込む。例えば、次に表示されるページを印刷した場合、図１（ａ）に示すようになるとする。
【００１３】
次に、表示装置は、読み込んだコンテンツに含まれている文字列を解析して、文字列に擬声語が含まれているかを確認する。以下の説明では、擬音語、擬態語、音喩、オノマトペ等として認識される単語を「擬声語」と記載する。図１（ａ）の例では「ちゅどーん」という文字列が擬声語に該当する。読み込んだコンテンツに含まれる文字列から擬声語が検出されると、表示装置は、擬声語を表す文字列（擬声語文字列）を、読み込まれた他の文字列と異なる表示領域に分類する。例えば、読み込まれた文字列の途中に擬声語が含まれている場合、表示装置は、文字列の先頭から擬声語文字列の前までを第１の表示領域に設定し、擬声語文字列を第２の表示領域に設定する。表示装置は、図１（ｂ）に示すように、第１の表示領域を画面に表示する。さらに、表示装置は、第２の表示領域に設定された擬声語文字列に対応付けられた音声ファイルを取得する。
【００１４】
ユーザは、第１の表示領域に含まれている文字列を読み終わると、続きの文字列を読むために、表示装置に続きの文字列の表示を指示する。すると、表示装置は、図１（ｃ）に示すように第２の表示領域を画面に表示すると共に、第２の表示領域に対応付けられた音声ファイルを再生デバイスで再生する。その後さらにユーザから続きの文字列の表示が要求された場合、図１（ｄ）に示すように、表示装置は、擬声語文字列より後の文字列を画面に表示する。
【００１５】
このように、実施形態にかかる表示装置は、擬声語文字列をコンテンツに含まれる文字列から検出し、擬声語文字列を画面に表示する際に、表示する擬声語文字列に対応付けられた音声ファイルを再生する。このため、図１（ｃ）に示すように擬声語文字列が画面に表示されたときに擬声語文字列に対応付けられた音声が再生される。従って、実施形態に係る表示装置は、ユーザが擬声語文字列を読み始めたときにユーザが読んでいる擬声語に対応する音声を再生できる。
【００１６】
＜第１の実施形態＞
図２は、第１の実施形態に係る表示装置１０の構成の例を示す。表示装置１０は、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、リフロー処理部２０、入力デバイス３１、表示デバイス３２、再生デバイス３３を備える。リフロー処理部２０は、設定部２１と表示位置決定部２２を有する。さらに、表示装置１０は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４などのデータを使用する。
【００１７】
ユーザ操作検出部１１は、ユーザが入力デバイス３１を介して行ったキー入力などによる操作イベントを検出する。表示再生制御部１２は、ユーザ操作検出部１１で検出されたイベントに応じて、表示デバイス３２の画面に表示されている文字列の続きの文字列の表示をリフロー処理部２０やレンダリング処理部１６に指示する。さらに、表示再生制御部１２は、次に表示される文字列が擬声語文字列であるかを判定する。判定方法については後述する。表示再生制御部１２は、擬声語文字列が表示対象である場合、擬声語文字列に対応付けられた音声ファイルを識別する識別情報を音声取得部１７に通知する。さらに、表示中のページの最後までが画面に表示されたかに基づいて、表示再生制御部１２は、新たなコンテンツの読み込みを行うかも判断し、判断した結果をコンテンツ読み込み部１３に通知する。ここで、表示再生制御部１２は、擬声語文字列が表示されるタイミングと、擬声語文字列に対応付けられた音声ファイルの再生のタイミングの関係を最適化できるように、音声取得部１７へ識別情報を通知する時刻を調整することもできる。例えば、音声ファイルの取得に時間がかかる場合、表示再生制御部１２は、リフロー処理部２０やレンダリング処理部１６への指示に先立って、音声取得部１７への識別情報の出力を行うことができる。
【００１８】
コンテンツ読み込み部１３は、表示再生制御部１２からの通知に応じて、電子書籍コンテンツ４１に含まれている文字列や画像を読み込む。例えば、コンテンツ読み込み部１３は、１ページ分に相当するコンテンツデータを電子書籍コンテンツ４１から読み出すことができるものとする。１ページ分に相当するコンテンツデータは、例えば、コンテンツの読み込みが要求される前に画面に表示されていた文字列の後から、ページ区切りを示す情報に関連付けられた文字列までのデータとすることができる。コンテンツ読み込み部１３は、読み込んだコンテンツデータを表示位置決定部２２に出力する。なお、コンテンツ読み込み部１３が読み込んだコンテンツデータが１ページ分に足りない旨が表示位置決定部２２から通知された場合、コンテンツ読み込み部１３は、さらにデータを電子書籍コンテンツ４１から取得する。
【００１９】
表示位置決定部２２は、コンテンツに含まれる要素の配置を決定する。まず、表示位置決定部２２は、コンテンツ読み込み部１３から入力されたコンテンツを要素へ分割する。ここで、要素は文字列と画像などの文字列以外のデータなどが別の要素として認識されるような任意の方法により分割されるものとする。また、例えば、文字列に含まれる要素は単語単位や文章単位に分割される場合がある。表示位置決定部２２は、個々の要素の大きさを算出し、個々の要素について画像上での表示位置を確定する。例えば、同じ文字情報であっても、フォントサイズ、段組、コンテンツが縦書きと横書きのいずれであるかなどによって表示位置が異なる可能性がある。そこで、表示位置決定部２２は、個々の要素について適用される書式に基づいて、表示位置を決定し、得られた結果をレンダリング処理部１６に通知する。また、表示位置決定部２２は、文字列に分類された要素を抽出部１４に出力する。
【００２０】
抽出部１４は、擬声語辞書データ４２を参照して、表示位置決定部２２から入力された文字列から擬声語を抽出する。擬声語辞書データ４２は、例えば、擬声語テーブル５１を含む。図３に擬声語テーブル５１の例を示す。抽出部１４は、文字列を単語単位に区切って、擬声語テーブル５１に記録されている単語のいずれかと一致するかを確認する。抽出部１４は、擬声語テーブル５１と一致した単語を擬声語と判断し、効果音決定部１５に出力する。さらに、抽出部１４は、抽出した擬声語文字列を設定部２１に通知する。
【００２１】
効果音決定部１５は、効果音辞書データ４３を参照して擬声語文字列に対応付けられた音声ファイルを識別する識別情報を取得する。ここでは、効果音辞書データ４３は、効果音テーブル５２とファイルＩＤテーブル５３を含むものとする。ファイルＩＤテーブル５３の例を図４、効果音テーブル５２の例を図５に示す。識別情報は、例えば、擬声語文字列に対応付けられた音声ファイルのファイル名など、音声ファイルを一意に識別できる任意の識別子とすることができる。以下の説明では、識別情報は音声ファイルのファイル名であるものとする。効果音決定部１５は、抽出部１４から通知された擬声語をキーとしてファイルＩＤテーブル５３を検索し、擬声語文字列に対応するファイルＩＤを取得する。次に、効果音決定部１５は、ファイルＩＤをキーとして、効果音テーブル５２を検索し、ファイルＩＤに対応付けられた音声ファイル名を取得する。効果音決定部１５は、音声ファイル名を擬声語文字列に対応付けて表示再生制御部１２に通知する。
【００２２】
設定部２１は、抽出部１４から擬声語文字列が通知されると、擬声語文字列が開始する位置と、擬声語文字列が終了する位置を境界として、表示領域を設定する。このため、設定部２１は、擬声語文字列と擬声語以外の文字列とを、それぞれ異なる表示領域に設定することができる。例えば、図１（ａ）に示すように文中に１つの擬声語文字列が含まれている場合、次のように表示領域を分類する。
第１の表示領域 ：ページの先頭から擬声語文字列の前まで
第２の表示領域 ：擬声語文字列
第３の表示領域 ：擬声語文字列が終了した位置からページの最後まで
また、設定部２１は、擬声語の有無、個数、擬声語の表示位置などの情報を表示再生制御部１２に通知する。設定部２１の動作については後で詳しく説明する。
【００２３】
レンダリング処理部１６は、表示位置決定部２２で決定された表示位置に従って、文字列や画像などの要素を配置した描画ファイルを作成する。このとき、描画ファイルに含まれる領域（クリップ領域）は、表示再生制御部１２などからの指示に従って決定する。レンダリング処理部１６は、描画ファイルを表示デバイス３２に出力する。表示デバイス３２は、描画ファイルを表示する。
【００２４】
音声取得部１７は、表示再生制御部１２から音声ファイルのファイル名を通知されると、通知された音声ファイルを音声データ４４から取得する。さらに、音声取得部１７は、取得した音声ファイルを再生デバイス３３に出力する。再生デバイス３３は、音声取得部１７から入力された音声ファイルを再生する。
【００２５】
図６は、第１の実施形態に係る表示装置１０のハードウェア構成の例を示す。表示装置１０は、Central Processing Unit（ＣＰＵ）６１、メモリ６２、入力装置６３、出力装置６４、バス６５、外部記憶装置６６、媒体駆動装置６７、ネットワーク接続装置６９を備える。ＣＰＵ６１は、プログラムを実行することにより、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、リフロー処理部２０として動作する。メモリ４２は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４の一部、もしくは、全部を格納する。また、表示装置１０は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４などのデータを、ネットワーク７０もしくは可搬記憶媒体６８から取得することもできる。入力装置６３は、入力デバイス３１として動作する。入力デバイス３１は、例えば、ボタン、キーボードやマウスなどであり、ユーザは、入力デバイス３１を用いて表示装置１０に改ページの指示などを入力できる。出力装置６４は、表示デバイス３２、再生デバイス３３として動作する。表示デバイス３２は、ディスプレイなど、文字や図を表示するための画面を備えた任意の装置として実現される。再生デバイス３３は、スピーカなど、音声データ４４を再生することができる任意の装置として実現される。バス６５は、ＣＰＵ６１、メモリ６２、入力装置６３、出力装置６４、外部記憶装置６６、媒体駆動装置６７、ネットワーク接続装置６９の間を相互にデータの受け渡しが行えるように接続する。外部記憶装置６６は、プログラムやデータなどを格納し、適宜、ＣＰＵ６１などに格納している情報を提供する。媒体駆動装置６７は、メモリ６２や外部記憶装置６６のデータを可搬記憶媒体６８に出力することができ、また、可搬記憶媒体６８からプログラムやデータ等を読み出すことができる。ここで、可搬記憶媒体６８は、フロッピイディスク、Magneto-Optical（ＭＯ）ディスク、Compact Disc Recordable（ＣＤ−Ｒ）やDigital Versatile Disk Recordable（ＤＶＤ−Ｒ）を含む、持ち運びが可能な任意の記憶媒体とすることができる。
【００２６】
図７は、表示装置１０で行われる動作の例を説明するフローチャートである。以下、図７を参照しながら、図１（ａ）に示すコンテンツが読み込まれたときに行われる処理を例として説明する。ここで、以下の説明では、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを用いるものとする。
【００２７】
「未表示データフラグ」は、コンテンツ読み込み部１３によって読み込まれた要素の中で表示デバイス３２に表示されていない要素があるかを表す。未表示データフラグが１の場合は、読み込まれたコンテンツの中で、まだ表示デバイス３２に表示されていない要素があることを示すものとする。一方、未表示データフラグが０である場合、読み込まれたが表示デバイス３２に表示されていない要素は残っていないことを示す。
【００２８】
「擬声語表示前フラグ」は、表示デバイス３２に次に表示される要素が擬声語文字列であるかを判定するために用いられる。次に表示される要素が擬声語文字列である場合、擬声語表示前フラグは１に設定されているものとする。一方、次に表示される要素が擬声語文字列ではない場合、擬声語表示前フラグは０に設定されている。
【００２９】
表示装置１０が起動されると、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを０に設定する（ステップＳ１）。表示装置１０は、入力デバイス３１を介してユーザから改ページ指示が入力されるまで待機する（ステップＳ２）。ユーザ操作検出部１１は、ユーザから改ページ指示があったことを検出すると、改ページ指示を検出したことを表示再生制御部１２に通知する（ステップＳ２でＹｅｓ）。
【００３０】
表示再生制御部１２は、未表示データフラグの値を確認することにより、コンテンツ読み込み部１３に電子書籍コンテンツ４１の読み込みを要求するかを決定する（ステップＳ３）。表示装置１０が起動された後でコンテンツの表示が開始されていない場合、未表示データフラグは０のままである。そこで、表示再生制御部１２は、コンテンツ読み込み部１３に電子書籍コンテンツ４１の読み込みを要求する（ステップＳ３でＮｏ）。表示再生制御部１２から要求を受けると、コンテンツ読み込み部１３は電子書籍コンテンツ４１を読み込む（ステップＳ４）。例えば、コンテンツ読み込み部１３は、図１（ａ）に示すデータを電子書籍コンテンツ４１から読み込む。
【００３１】
コンテンツ読み込み部１３は、読み込んだデータを表示位置決定部２２に出力する。表示位置決定部２２は、受け取ったデータを要素ごとに分割する。例えば、読み込まれたデータには、文字列の他に、挿絵を表す画像データ、ページ数を示すフッタ、ヘッダに表示されるロゴなどが含まれる場合がある。表示位置決定部２２は、これらのデータを異なる要素に分割する。さらに、表示位置決定部２２は、個々の要素を識別する識別子（エレメントＩＤ、element identifier）を要素ごとに割り振る。ここで、エレメントＩＤは、ページの先頭に近い文字列ほど小さな値になるように割り振られるものとする。ここで、表示位置決定部２２は、要素ごとに、その要素の種類や大きさ、ディスプレイ上の表示位置などを、管理データとして記憶できるものとする。
【００３２】
図８に管理データの例を示す。図８の例では、エレメントＩＤ、エレメントタイプ、表示位置、画面上で表示される大きさ、および、表示されるデータが１つの管理データに含まれている。ここで、エレメントタイプは、要素が文字、画像、その他のデータのいずれの形式であるのかを示す。表示位置は、画面での要素の表示位置をｘｙ座標で表す。ここでは、まだ表示位置が決定されていないため、管理データには表示位置の情報がまだ含まれていない。表示位置の決定については後述する。表示位置決定部２２は、個々の要素に含まれている文字数、文字に指定されているフォント情報、画像ファイルの解像度などに応じて、個々の要素を表示したときの大きさを決定する。表示位置決定部２２は、要素が表示される領域の大きさを特定できる情報を、管理データ中のｓｉｚｅに記録する。図８は、要素を表示したときの形状が長方形であり、表示領域の横幅（ｗ）と高さ（ｈ）の組み合わせとして要素の大きさを記録する場合の例を示している。表示位置決定部２２は、個々の要素のエレメントＩＤと大きさに応じて、改行位置、１ページに表示される要素などを決定する（ステップＳ５）。このとき、適宜、予めユーザにより設定された一行あたりの文字数や１回に表示できる行数の最大値などの設定条件も用いられる。
【００３３】
次に、表示位置決定部２２は、エレメントタイプが文字列である要素の管理データを、抽出部１４に出力する。抽出部１４は、表示位置決定部２２から入力された要素と擬声語テーブル５１に含まれている擬声語を比較して、その要素が擬声語文字列であるかを確認する（ステップＳ６）。抽出部１４の処理については後で詳しく述べる。
【００３４】
ステップＳ６で擬声語が抽出された場合、抽出部１４は、擬声語であると判断された文字列に対応付けられているエレメントＩＤを設定部２１に通知する。さらに、抽出部１４は、擬声語であると判断した文字列を、その文字列に対応付けられたエレメントＩＤと対応付けて効果音決定部１５に出力する（ステップＳ７）。例えば、図１（ａ）に示すデータが読み込まれた場合、「ちゅどーん」という文字列が、抽出部１４で擬声語として抽出されたとする。また、例えば、図１（ａ）に示す文字列がエレメントＩＤ＝１〜２０の要素に分けられており、「ちゅどーん」という文字列のエレメントＩＤは１６であるとする。すると、抽出部１４は、「ちゅどーん」という文字列を、エレメントＩＤ＝１６に対応付けて効果音決定部１５に出力する。また、抽出部１４は、エレメントＩＤ＝１６が擬声語文字列であることを設定部２１に通知する。
【００３５】
効果音決定部１５は、抽出部１４から入力された文字列をキーとしてファイルＩＤテーブル５３を検索し、文字列に対応付けられたファイルＩＤを取得する。次に、効果音決定部１５は、得られたファイルＩＤに対応するファイル名を、効果音テーブル５２を用いて取得する（ステップＳ８）。さらに、効果音決定部１５は、得られたファイル名をエレメントＩＤに対応付けて表示再生制御部１２に出力する。
【００３６】
例えば、効果音決定部１５は、「ちゅどーん」という文字列をキーとしてファイルＩＤテーブル５３（図４）を検索した結果、ファイルＩＤ＝２を取得する。そこで、効果音決定部１５は、効果音テーブル５２（図５）を参照して、ファイルＩＤが２である音声ファイルの名称が「ｔｙｕｄｏｎ．ｗａｖ」であることを特定する。その後、効果音決定部１５は、エレメントＩＤ＝１６に対応付けて、「ｔｙｕｄｏｎ．ｗａｖ」というファイル名を表示再生制御部１２に通知する。
【００３７】
一方、設定部２１は、表示領域を設定するために、ステップＳ４で読み込まれた文字列に割り振られているエレメントＩＤを、表示位置決定部２２から取得する。設定部２１は、擬声語文字列に割り振られたエレメントＩＤを表示位置決定部２２から取得したエレメントＩＤと比較し、擬声語を表す文字列のエレメントＩＤよりも小さいエレメントＩＤが読み込まれているかを判定する。この処理により、設定部２１は、擬声語文字列が表示されるページの最初に来ているかを判定する（ステップＳ９）。
【００３８】
例えば、表示位置決定部２２から取得したエレメントＩＤの中に擬声語文字列のエレメントＩＤよりも小さいエレメントＩＤがある場合、擬声語文字列はページの最初ではない。そこで、設定部２１は、エレメントタイプが文字列に設定されている要素のうちで抽出部１４から通知されたエレメントＩＤよりも小さなエレメントＩＤが割り振られている要素を、第１の表示領域に設定する。また、抽出部１４から通知されたエレメントＩＤのうちで最も小さい値に対応する文字列を、第２の表示領域とする。第２の表示領域以降も同様に、設定部２１は、擬声語文字列と擬声語文字列を含まない文字列が別の表示領域に分類されるように表示領域を設定する。例えば、図１（ａ）に示すデータについて、エレメントＩＤ＝１６の要素が擬声語文字列として抽出されている。そこで、設定部２１は、エレメントＩＤ＝１〜１５の文字列を第１の表示領域、エレメントＩＤ＝１６の文字列を第２の表示領域、エレメントＩＤ＝１７〜２０の文字列を第３の表示領域とする。
【００３９】
設定部２１は、設定した表示領域を表示再生制御部１２と表示位置決定部２２に通知する。さらに、設定部２１は、抽出された擬声語文字列の数と、擬声語文字列のエレメントＩＤも表示再生制御部１２に通知する。従って、図１（ａ）について処理が行われた場合、ステップＳ８とＳ９の処理により、表示再生制御部１２は、図９（ａ）に示すようなデータを保持する。
【００４０】
設定部２１で表示領域が設定されると、表示位置決定部２２は、第１の表示領域に含まれている各要素について表示位置を決定する。このとき、表示位置決定部２２は、エレメントＩＤ、各要素の大きさ、およびディスプレイの大きさ、改行位置などの情報を用いる。例えば、図１０に示すように、表示デバイス３２に備えられた画面の右上隅を原点としたｘｙ座標を用いて個々の要素の表示位置が決定される。図１０の例では、エレメントＩＤが最も小さいＩＤ＝１の要素が原点から最も近い位置に表示されるように表示位置が決定される。さらに、その他の要素はエレメントＩＤが小さい順にｙ軸に沿って改行位置まで配置される。ここでは、エレメントＩＤ＝５の後に改行位置が設定されているものとする。改行位置にくると、表示位置決定部２２は１行目の表示位置と重ならないように、エレメントＩＤ＝６から次の改行位置までに含まれる要素が配置される。すると、表示位置決定部２２は、エレメントＩＤ＝１〜１５の各要素について、要素の表示領域の右上隅の座標を取得し、管理データに記録する。
【００４１】
次に、表示位置決定部２２は、第１の表示領域に指定された要素の管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、表示位置決定部２２から取得した管理データを用いて、第１の表示領域に分類された要素を表示する表示データを生成する。ここで、表示データは、例えば、ビットマップ形式のような画像データとして生成される。次に、レンダリング処理部１６が表示データを表示デバイス３２に出力すると、最初の擬声語の直前までの文字列が表示デバイス３２に表示される（ステップＳ１０）。例えば、エレメントＩＤ＝１〜１５を含む表示データが表示デバイス３２に出力されることにより、図１（ｂ）に示すように、第１の表示領域が表示される。
【００４２】
さらに、レンダリング処理部１６は、表示デバイス３２に表示データを出力したことを表示再生制御部１２に通知する。表示再生制御部１２は、通知を受けると、第１の表示領域が表示されたと認識する。すると、次に擬声語を表す文字列を表示することになるため、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを１に設定する（ステップＳ１１）。このとき、表示再生制御部１２は、図９（ｂ）に示すようなテーブルを用いて未表示データフラグと擬声語表示前フラグを設定することができる。例えば、第１の表示領域が表示されたことが通知されると、表示再生制御部１２は、図９（ａ）を図９（ｂ）に変更することにより、第１の表示領域が表示済みであることを記憶する。すると、次に表示される第２の表示領域は擬声語文字列であるため、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを１に設定する。
【００４３】
一方、文字列に擬声語が含まれていないと判定された場合、抽出部１４は、擬声語が含まれていないことを設定部２１に通知する（ステップＳ７で「なし」）。すると、設定部２１は、読み込まれた文字列に擬声語が含まれていないことを表示再生制御部１２に通知する。さらに、設定部２１は表示位置決定部２２から通知された全ての文字列を第１の表示領域に設定し、設定した結果を表示位置決定部２２に通知する。また、表示位置決定部２２は、第１の表示領域に含まれている各要素の表示位置を決定し、管理データをレンダリング処理部１６に出力する。
【００４４】
レンダリング処理部１６は、表示位置決定部２２から入力された情報に基づいて、表示位置決定部２２から通知された文字列の全てを含む表示データを生成して表示デバイス３２に出力する（ステップＳ１２）。さらに、レンダリング処理部１６は、表示デバイス３２に表示データを出力したことを表示再生制御部１２に通知する。表示再生制御部１２は、設定部２１から擬声語が検出されなかったことを通知されているので、コンテンツ読み込み部１３が読み込んだ要素の全てが表示デバイス３２に表示されたと判断する。そこで、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを０に設定する（ステップＳ１３）。
【００４５】
次に、２回目以降の改ページ指示が検出された場合に表示装置１０で行われる動作の例について説明する。ステップＳ１１もしくはステップＳ１３の処理が行われた後にユーザから改ページ指示があったとする（ステップＳ２）。すると、表示再生制御部１２は、未表示データフラグの値を確認する（ステップＳ３）。未表示データフラグが０の場合は、ステップＳ４〜Ｓ１３の処理が行われる。
【００４６】
一方、改ページ指示が検出されたときに、未表示データフラグが１である場合、表示再生制御部１２は、まだ表示されていないが読み込み済みのデータがあると判断する（ステップＳ３でＹｅｓ）。そこで、表示再生制御部１２は擬声語表示前フラグの値を確認する（ステップＳ１４）。
【００４７】
擬声語表示前フラグの値が１である場合、表示再生制御部１２は、次の表示領域を表示することを表示位置決定部２２に通知する。すると、表示位置決定部２２は、擬声語文字列の表示位置を決定し、表示対象の擬声語文字列についての管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、管理データに基づいて表示データを生成する。表示再生制御部１２は、さらに、表示される擬声語文字列に対応する音声ファイルのファイル名を、音声取得部１７に通知する。すると、音声取得部１７は、擬声語文字列に対応付けられた音声ファイルを音声データ４４から取得する。音声取得部１７は、表示データが表示デバイス３２の画面に表示される時刻に合わせて、音声ファイルを再生デバイス３３で再生させる（ステップＳ１５）。
【００４８】
例えば、表示再生制御部１２が図９（ｂ）に示すデータを保持しているときに、改ページ指示が検出されたとする。すると、ステップＳ１１で設定されたとおり、未表示データフラグと擬声語表示前フラグは、いずれも１である。さらに、第１の表示領域は既に表示済みである。そこで、表示再生制御部１２は、表示位置決定部２２に第２の表示領域（エレメントＩＤ＝１６）が表示対象となったことを通知する。表示位置決定部２２は、エレメントＩＤ＝１６を原点の近くに表示するように設定し、エレメントＩＤ＝１６の要素の表示位置を管理データに記憶する。さらに、表示位置決定部２２は、エレメントＩＤ＝１６の要素の管理データをレンダリング処理部１６に出力する。また、エレメントＩＤ＝１６の要素には「ｔｙｕｄｏｎ．ｗａｖ」という音声ファイルが対応付けられている。そこで、表示再生制御部１２は、「ｔｙｕｄｏｎ．ｗａｖ」というファイル名を音声取得部１７に通知する。音声取得部１７は、音声データ４４から「ｔｙｕｄｏｎ．ｗａｖ」を取得して再生デバイス３３に出力する。再生デバイス３３は、レンダリング処理部１６で生成された表示データが表示デバイス３２の画面に表示される時刻に合わせて「ｔｙｕｄｏｎ．ｗａｖ」を再生する。このため、図１（ｃ）に示す画面が表示されたときに、「ｔｙｕｄｏｎ．ｗａｖ」が再生される。
【００４９】
ステップＳ１５において、レンダリング処理部１６は、擬声語文字列を表示したことを表示再生制御部１２に通知する。すると、表示再生制御部１２は、保持しているデータを適宜変更し、ページ末まで表示されたかを確認する（ステップＳ１７）。ページ末まで表示されていない場合、表示再生制御部１２は、次の表示対象が擬声語文字列であるかを確認する（ステップＳ１８）。次の表示対象が擬声語文字列である場合、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを１に設定する（ステップＳ１１）。一方、次に表示される対象が擬声語文字列ではない場合、表示再生制御部１２は、未表示データフラグを１に設定し、擬声語表示前フラグを０に設定する（ステップＳ１９）。
【００５０】
例えば、図１（ｃ）に示す画面が表示されると、表示再生制御部１２は、保持しているデータを図９（ｂ）から図９（ｃ）に変更する。すると、表示再生制御部１２は、まだ表示されていないデータが表示位置決定部２２に保持されていることと、次に表示されるデータが擬声語ではないことを認識する。そこで、表示再生制御部１２は、未表示データフラグを１、擬声語表示前フラグを０に設定する。
【００５１】
次に、ユーザの改ページ要求によって、擬声語ではないデータが表示される場合の動作について説明する。ステップＳ２、Ｓ３の処理が行われ、未表示データフラグが１の場合、ステップＳ１４の判定が行われる。擬声語表示前フラグが０である場合、表示再生制御部１２は、次の表示領域の表示が要求されていることを表示位置決定部２２に通知する。すると、表示位置決定部２２は、未表示の文字列で次の擬声語の前までの文字列について表示位置を決定し、管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、表示データを生成して表示デバイス３２に出力する。表示デバイス３２はレンダリング処理部１６から入力された表示データを画面に表示する（ステップＳ１６）。なお、このときは、表示される文字列が擬声語ではないため、音声ファイル名の通知や音声ファイルの再生は行われない。その後、ページ末まで表示されたかが判定され、ページ末まで表示が終わっている場合、表示再生制御部１２は、未表示データフラグと擬声語表示前フラグを０に設定する（ステップＳ１７、Ｓ２０）。
【００５２】
例えば、表示再生制御部１２が図９（ｃ）に示すデータを保持している場合、表示再生制御部１２は、第３の表示領域（エレメントＩＤ＝１７〜２０）の表示が要求されていることを表示位置決定部２２に通知する。表示位置決定部２２は、エレメントＩＤ＝１７〜２０の表示位置を求めた後で、管理データをレンダリング処理部１６に出力する。レンダリング処理部１６は、エレメントＩＤ＝１７〜２０の管理データを用いて表示データを生成する。その後、表示再生制御部１２は、保持しているデータを図９（ｃ）から図９（ｄ）に変更する。また、ページ末まで表示が終了しているので、未表示データフラグと擬声語表示前フラグを０に設定する。
【００５３】
なお、以上の説明では、図１（ａ）に示すように、擬声語がページの先頭に無い場合を例として説明したが、コンテンツ読み込み部１３で読み込まれるコンテンツによっては、ページの先頭に擬声語が来る場合もありえる。擬声語がページの先頭に有る場合も、ステップＳ１〜Ｓ８までの処理は前述のとおりである。次に、設定部２１は、擬声語が表示されるページの最初に来ていることを検出する（ステップＳ９でＹｅｓ）。そこで、設定部２１は、抽出部１４から通知されたエレメントＩＤのうちで最も小さい値に対応する文字列を、第１の表示領域とする。第１の表示領域以降も同様に、設定部２１は、擬声語と擬声語以外の文字列が別の表示領域に分類されるように表示領域を設定する。さらに、設定部２１は、表示位置決定部２２と表示再生制御部１２に、ページの先頭に擬声語があることを通知する。
【００５４】
すると、表示位置決定部２２は、第１の表示領域に表示される文字列の表示位置を決定し、表示位置を含む管理データを、レンダリング処理部１６に出力する。レンダリング処理部１６は、第１の表示領域に設定された要素を表示する表示データを生成する。一方、表示再生制御部１２は、音声取得部１７に、表示される擬声語に対応する音声ファイルのファイル名を通知する。すると、音声取得部１７は、表示再生制御部１２から通知された音声ファイルを音声データ４４から取得する。音声取得部１７は、表示データが画面に表示される時刻に合わせて、音声ファイルを再生デバイス３３で再生させる（ステップＳ１５）。ステップＳ１５以降の処理は、前述のとおりである。
【００５５】
図７を参照しながら説明した処理は表示装置１０で行われる処理の一例であり、処理が変更される場合がある。
【００５６】
図１１は、抽出部１４の動作の例を説明するフローチャートである。図１１は、図７のステップＳ６の処理の例を示す。抽出部１４は、表示位置決定部２２から文字列を受け取ると、検出した擬声語の数を表す変数を０に設定する（ステップＳ３１）。さらに、抽出部１４は、表示位置決定部２２から入力された文字列の先頭に抽出開始位置を設定する。次に、抽出部１４は、抽出開始位置の後ろに文字列があるかを判定する（ステップＳ３２）。抽出開始位置の後ろに文字列がある場合、抽出部１４は、抽出開始位置から開始する単語を取得する（ステップＳ３３）。抽出部１４は、抽出開始位置を、取得した単語の後ろに移動する（ステップＳ３４）。
【００５７】
抽出部１４は、取得した単語をキーとして擬声語テーブル５１を検索し、取得した単語が擬声語テーブル５１に含まれているかを判定する（ステップＳ３５）。取得した単語が擬声語テーブル５１に含まれている場合、抽出部１４は、表示位置決定部２２から入力された文字列の先頭から取得した単語の開始位置までの文字数を、取得した単語に対応付けて保存する（ステップＳ３６）。例えば、要素の先頭の単語が擬声語である場合、抽出部１４は、擬声語を、その擬声語が検出された要素に割り振られたエレメントＩＤ、および、その擬声語が要素の０文字目からはじまる単語であることを記憶する。抽出部１４は、検出した擬声語の数を１つインクリメントする（ステップＳ３７）。一方、取得した単語が擬声語テーブル５１に含まれていない場合、ステップＳ３６、Ｓ３７の処理は行われない（ステップＳ３５でＮｏ）。その後、抽出開始位置の後に文字列がなくなるまでステップＳ３２〜Ｓ３７の処理が繰り返される。抽出開始位置の後に文字列がなくなると、抽出部１４は、検出した擬声語と擬声語の数を効果音決定部１５に通知する（ステップＳ３８）。また、抽出部１４は、擬声語の数と開始位置を設定部２１に通知する（ステップＳ３９）。
【００５８】
図７のフローチャートを参照しながら説明したように、本実施形態にかかる表示装置は、擬声語を示す文字列を画面に表示する際に、表示する擬声語に対応付けられた音声ファイルを再生することができる。従って、ユーザが擬声語文字列を読み始めたときにユーザが読んでいる擬声語に対応する音声を再生できる。
【００５９】
このため、実施形態に係る表示装置では、音声の再生による演出効果が高いという効果がある。例えば、改ページ指示に従って図１（ａ）に示すようにページが表示される表示装置では、ユーザによって文字列を読む速さが異なるため、ユーザが擬声語文字列を読み始めるときに擬声語文字列に対応する音声を再生することは困難である。もし、図１（ａ）に示すページが表示されたときに「ちゅどーん」という文字列に対応付けられた音声を再生すると、ユーザが擬声語文字列を読み始める時刻と、擬声語に対応する音声を再生する時刻のずれが大きい。このため、音声の再生による演出効果が低下してしまう。一方、実施形態にかかる表示装置は、図１（ｂ）と図１（ｃ）を参照しながら説明したように、ユーザが擬声語文字列を読み始める時刻と、擬声語に対応する音声を再生する時刻のずれを小さくすることができる。このため、実施形態にかかる表示装置では、音声の再生による演出効果が大きくなる。特に、例えば、ライトノベルなどの擬声語が頻繁に用いられる書籍を読むときに表示装置１０を用いることにより、ユーザは、音声の再生による効果を楽しむことができる。
【００６０】
さらに、表示装置１０は、音声の再生時刻とユーザが擬声語文字列を読み始める時刻の差を小さくするために、視線位置を検出するための装置を用いない。このため、表示装置１０は、視線位置を検出する方式が用いられる装置に比べて安価に製造できる可能性や、検出装置を搭載していない分だけ小型化できる可能性がある。
【００６１】
また、表示装置１０を用いると、電子書籍コンテンツ４１にタグなどを用いて文中の擬声語の周辺に音声ファイルの特定に用いられる情報を埋め込まなくても、再生対象の音声ファイルを特定することができる。従って、擬声語文字列の周辺に音声ファイルを特定するための情報を埋め込む方式を用いて電子書籍コンテンツが製造される場合に比べて、電子書籍コンテンツ４１を製造する手間やコストを削減することができる。特に、絶版本スキャンデータなどの既存データを利用して生成される電子書籍コンテンツ４１の場合、電子書籍コンテンツ４１の生成に使われるデータが既に存在しているため、ユーザは、電子書籍コンテンツ４１を安価に入手できると期待している。このため、絶版本スキャンデータなどを用いた電子書籍コンテンツ４１では、低コストで生成することが求められることが多い。なお、電子書籍コンテンツ４１を生成する際のコストを低くすることは、絶版本スキャンデータ以外にも、画像取り込みや、ＯＣＲテキスト抽出などの技術を用いて生成される任意の電子書籍コンテンツ４１の際に求められる。本実施形態に係る表示装置１０を用いると、低コストで電子書籍コンテンツ４１や表示装置１０を生成できる上、ユーザが擬声語文字列を読み始める時刻と、擬声語に対応付けられた音声ファイルの再生が開始される時刻の差を小さくして音声再生効果を高めることができる。
【００６２】
＜第２の実施形態＞
次に、最終的に表示される画面が、電子書籍コンテンツ４１を作成した出版社などで意図されている版面と同じ場合の表示装置１０の動作について説明する。第２の実施形態においても、表示装置１０が起動されてから設定部２１で表示領域が設定されるまでの動作は、第１の実施形態と同様である。また、抽出された擬声語文字列に対応付けられた音声ファイルのファイル名の取得方法も、第１の実施形態と同様である。さらに、効果音決定部１５は、音声ファイルのファイル名を第１の実施形態と同様に表示再生制御部１２に通知するものとする。
【００６３】
設定部２１で表示領域が設定されると、表示位置決定部２２は、表示されるページに含まれる全ての要素について表示位置を決定する。例えば、表示対象のページにエレメントＩＤ＝１〜２０の要素が含まれているとする。すると、図１２に示すように、表示位置決定部２２は、エレメントＩＤ＝１〜２０の要素が一緒に配置された場合について、個々の要素の表示位置を求める。図１２の例でも表示デバイス３２の画面の右上隅を原点としたｘｙ座標を用いて個々の要素の表示位置が決定されるものとする。なお、図１２は文字列が縦書きの場合の例であり、エレメントＩＤが小さい程、右側の行になるように配置され、さらに、同じ行の中ではエレメントＩＤが小さいほど上側に表示されるものとする。表示位置決定部２２は、各要素について、要素の表示領域の右上隅の座標を取得し、管理データに記録する。
【００６４】
設定部２１は、レンダリング処理部１６に表示領域の情報を通知する。また、設定部２１は、擬声語文字列の数や表示領域に含まれる要素のエレメントＩＤなどの情報を、表示再生制御部１２に通知する。一方、表示位置決定部２２は、表示位置を決定した要素についての管理データをレンダリング処理部１６に出力する。
【００６５】
レンダリング処理部１６は、表示位置決定部２２から入力された管理情報を用いて、表示対象のページの全体についての表示データを生成する。レンダリング処理部１６は、例えば、図１（ａ）に示す表示になるような表示データを生成する。さらに、レンダリング処理部１６は、設定部２１から通知された情報と表示位置決定部２２から得られた管理情報に基づいて「クリップ領域」を決定する。クリップ領域は、設定部２１で設定されている表示領域を単位として決定される。個々のクリップ領域は、ユーザの改ページ指示の回数と対応付けられており、あるクリップ領域に対応付けられた回数の改ページ指示が検出されると、そのクリップ領域が画面に表示される。
【００６６】
例えば、図１２において、エレメントＩＤ＝１〜１５が第１の表示領域、エレメントＩＤ＝１６が第２の表示領域、エレメントＩＤ＝１７〜２０が第３の表示領域に設定されているものとする。するとレンダリング処理部１６は、第１の表示領域を第１のクリップ領域に指定する。すなわち、図１２に網掛けで示すように、エレメントＩＤ＝１〜１５を含む領域が第１のクリップ領域に指定され、第１のクリップ領域は、コンテンツ読み込み部１３での読み込みの契機となった改ページ指示の後で画面に表示される。一方、レンダリング処理部１６は、第１の表示領域と第２の表示領域を、第２のクリップ領域に指定し、第１〜第３の表示領域を第３のクリップ領域に指定する。
【００６７】
レンダリング処理部１６は、第１のクリップ領域がディスプレイに表示されているときに改ページ指示があると、第２のクリップ領域の表示データを画面に出力する。従って、第１のクリップ領域がディスプレイに表示されているときに改ページ指示があると、エレメントＩＤ＝１〜１６の要素が画面に表示される。ここで、第２の表示領域に表示される文字列は擬声語文字列であるため、第２のクリップ領域が画面に出力される際に、エレメントＩＤ＝１６の擬声語文字列に対応付けられた音声ファイルが再生デバイス３３で再生される。表示再生制御部１２、音声取得部１７、再生デバイス３３が音声ファイルの再生のために行う動作は、第１の実施形態と同様である。
【００６８】
さらに、第２のクリップ領域が表示されている間に改ページ指示が検出されると、レンダリング処理部１６は、第３のクリップ領域の表示データを画面に出力する。従って、画面には、エレメントＩＤ＝１〜２０の要素が表示される。
【００６９】
図１３にクリップ領域の例とクリップ領域テーブルの例を示す。図１３（ａ）の例では、クリップ領域は長方形であるが、クリップ領域は任意の形状とすることができる。また、クリップ領域テーブルは、クリップ領域の数とクリップ領域の特定に用いられる任意の情報を格納する。図１３（ｂ）は、クリップ領域が図１３（ａ）に示すように設定された場合のクリップ領域テーブルの例である。図１３（ｂ）の例では、クリップ領域の右上隅のｘ座標、クリップ領域の右上隅のｙ座標、クリップ領域の幅、高さが、クリップ領域の総数と共に記録されている。なお、クリップ領域は、互いに重なり合わないように設定されても良く、また、あるクリップ領域の一部もしくは全部が他のクリップ領域に重なるように設定されても良い。
【００７０】
次に、図１（ａ）に示すコンテンツの表示が行われる場合を例として、第２の実施形態で行われる動作の例を説明する。第１のクリップ領域の表示データにより、エレメントＩＤ＝１〜１５の要素が表示される。従って、第１のクリップ領域による表示では、第１の表示領域が表示されることになり、図１（ｂ）に示す画面がディスプレイに表示される。第１の表示領域に含まれる要素が表示されてから、次の改ページ指示が検出されるまでの動作は、第１の実施形態と同様である。すなわち、表示再生制御部１２は、読み込まれたが未表示となっているデータがあることと、次に表示が開始される文字列は擬声語文字列であることを認識する。
【００７１】
ユーザからの改ページ指示があると、表示再生制御部１２は、未表示データフラグを参照して未表示のデータがあることを確認し、表示するクリップ領域を変更することをレンダリング処理部１６に要求する。さらに表示再生制御部１２は、次に表示されるクリップ領域に擬声語文字列が含まれていることを確認し、音声取得部１７に対して、擬声語に対応付けられた音声ファイルの再生を要求する。レンダリング処理部１６は、表示再生制御部１２からの要求に応じて、表示デバイス３２に第２のクリップ領域の表示データを出力する。このとき、第１の表示領域に含まれている要素と第２の表示領域に含まれている要素が表示されるため、画面には、図１４（ａ）のように表示される。
【００７２】
一方、音声取得部１７は、擬声語に対応付けられた音声ファイルを音声データ４４から取得する。音声取得部１７の動作は、第１の実施形態と同様である。音声取得部１７は、取得した音声ファイルを再生デバイス３３に出力する。このとき、音声取得部１７は、図１４（ａ）に示す画面が表示される時刻に再生デバイス３３での再生が行われるように、音声ファイルを出力するタイミングを調整することができる。第２の表示領域に含まれる要素が表示されてから、次の改ページ指示が検出されるまでの動作も、第１の実施形態と同様である。すなわち、表示再生制御部１２は、読み込まれたが未表示となっているデータがあることと、次に表示が開始される文字列が擬声語文字列ではないことを認識する。
【００７３】
改ページ指示が検出されると、表示再生制御部１２は、未表示のデータがあることを確認し、表示するクリップ領域の変更をレンダリング処理部１６に要求する。レンダリング処理部１６は、表示再生制御部１２からの要求に応じて、表示デバイス３２に第３のクリップ領域を含む表示データを出力する。そこで、表示デバイス３２は、第１〜第３の表示領域に含まれている要素を画面に表示するため、ディスプレイの表示は図１４（ｂ）のようになる。
【００７４】
図１５は、設定部２１と表示位置決定部２２の動作の例を説明するフローチャートを示す。なお、図１５は一例であり、例えば、ステップＳ５５とＳ５６の順序が入れ替えられるなどの変更が加えられる場合がある。また、ステップＳ５９に示すように、擬声語文字列を含むことが確認された要素について、その要素の表示位置（表示座標）が表示再生制御部１２に通知されることがある。この場合は、表示再生制御部１２で記憶される情報には、図９に示す情報に加え、擬声語を表す文字列の表示座標も含まれる。
【００７５】
設定部２１、表示位置決定部２２は、コンテンツ読み込み部１３で読み込まれたデータを取得する（ステップＳ５１）。表示位置決定部２２は、改行位置を決定し、１ページに表示されるデータを特定する（ステップＳ５２）。表示位置決定部２２は、エレメントタイプが文字列である要素について、擬声語テーブル５１に含まれている単語に合致する単語の抽出を、抽出部１４に要求する（ステップＳ５３）。抽出部１４で擬声語が抽出されると、表示位置決定部２２は、１ページ中に含まれる各要素の表示位置を算出する（ステップＳ５４でＹｅｓ、ステップＳ５５）。さらに、設定部２１は、文字列中での擬声語を表す文字列の位置や数に応じて表示領域を決定する（ステップＳ５６）。一方、擬声語が抽出されなかった場合、表示位置決定部２２は各要素の表示位置を算出し、設定部２１は、ページ全体を第１の表示領域に設定する（ステップＳ５４でＮｏ、ステップＳ５７）。設定部２１は、表示領域の設定結果をレンダリング処理部１６に通知する（ステップＳ５８）。さらに、設定部２１は、抽出された擬声語の数と擬声語の表示位置を、表示再生制御部１２に通知する（ステップＳ５９）。
【００７６】
このように、第２の実施形態では、ユーザは、電子書籍コンテンツ４１を作成した出版社などで意図されていた版面を目視することができる。このため、擬声語を表す文字列とその他の文字列のフォントの大きさを変更するなど書式変更により擬声語の表示効果を出そうと意図されている場合は、第２の実施形態が有効である。
【００７７】
＜第３の実施形態＞
第３の実施形態では、擬声語に対応する音声ファイルが存在しない場合にも、擬声語を表す文字列の表示に伴って音声の再生が可能な表示装置１０について説明する。第３の実施形態に係る表示装置１０は、先頭文字テーブル５４を記憶しているものとする。
【００７８】
図１６は、先頭文字テーブル５４の例を示す。先頭文字テーブル５４は、擬声語の先頭の文字列とファイルＩＤを対応付けている。先頭文字テーブル５４は、全ての仮名文字に対応するエントリを備え、各エントリは、１つの仮名文字と１つのファイルＩＤを対応付けている。さらに、先頭文字テーブル５４は、複数の文字の組み合わせについてのエントリを備えることもでき、複数の文字の組み合わせのエントリについても、各エントリに１つのファイルＩＤが対応付けられている。例えば、擬声語文字列の先頭の文字が「あ」である場合、対応付けられた音声ファイルのＩＤは「１」である。また、先頭の文字が「ず」である擬声語文字列は音声ファイルＩＤ＝ｎのファイルに対応付けられ、先頭の文字が「ん」である擬声語文字列は音声ファイルＩＤ＝ｐのファイルに対応付けられている。
【００７９】
先頭文字テーブル５４は、擬声語文字列についてのエントリがファイルＩＤテーブル５３に無い場合に用いられる。例えば、擬声語テーブル５１には記録されているが、抽出された擬声語に対応付けられた音声ファイルのＩＤがファイルＩＤテーブル５３に登録されていない場合、効果音決定部１５は先頭文字テーブル５４を参照する。効果音決定部１５は、擬声語文字列の先頭の文字についてのエントリが先頭文字テーブル５４に記録されている場合、そのエントリに記録されている音声ファイルＩＤを取得する。なお、先頭文字テーブル５４に複数の文字の組み合わせについてのエントリが含まれている場合、擬声語文字列と一致する文字数が最も多いエントリに対応付けられたファイルＩＤが、擬声語文字列に対応付けられているファイルＩＤとされる。効果音決定部１５は、得られたファイルＩＤに対応付けられたファイル名を効果音テーブル５２から取得すると、表示再生制御部１２に通知する。
【００８０】
このように変形すると、擬声語文字列の最初の文字に応じて、再生する音声ファイルが選択される。擬声語は、最初の文字が共通している場合、類似した効果音であることが多い。そこで、本実施形態によると、擬声語文字列のエントリがファイルＩＤテーブル５３に無い場合であっても、擬声語で使用される先頭の子音（Ｇ、Ｚ、Ｄ、……）が共通の場合は類似の効果音であるという仮定に基づいてファイルＩＤを選択することができる。
【００８１】
さらに、擬声語に対応する音声ファイルを発見できない場合には、デフォルトの音声ファイルが再生されるように、表示装置１０の動作が変形される場合がある。かかる場合の表示装置１０での効果音決定部１５の動作の例を、図１７に示す。
【００８２】
効果音決定部１５は、抽出部１４から擬声語文字列を取得する（ステップＳ７１）。効果音決定部１５は、擬声語文字列に対応付けられたファイルＩＤがファイルＩＤテーブル５３に格納されているかを判定する（ステップＳ７２）。擬声語文字列に対応付けられたファイルＩＤがファイルＩＤテーブル５３に含まれている場合、効果音決定部１５は、擬声語文字列に対応付けられたファイルＩＤを取得する（ステップＳ７２でＹｅｓ、ステップＳ７３）。さらに、効果音決定部１５は、取得したファイルＩＤが効果音テーブル５２に記録されているかを確認する（ステップＳ７４）。取得したファイルＩＤが効果音テーブル５２に記録されている場合、効果音決定部１５は、ファイルＩＤに対応付けられている音声ファイル名を効果音テーブル５２から取得する（ステップＳ７４でＹｅｓ、ステップＳ７５）。一方、ステップＳ７２において擬声語文字列に対応付けられたファイルＩＤが無かった場合、効果音決定部１５は、デフォルト効果音ファイルのファイル名を取得する（ステップＳ７２でＮｏ、ステップＳ７６）。同様に、取得したファイルＩＤが効果音テーブル５２に記録されていない場合も、効果音決定部１５は、デフォルト効果音ファイルのファイル名を取得する（ステップＳ７４でＮｏ、ステップＳ７６）。
【００８３】
効果音決定部１５の処理を図１７で説明するように変更することにより、擬声語に対応付けられた音声ファイルの検索に失敗した場合、デフォルト効果音ファイルのファイル名が表示再生制御部１２を介して音声取得部１７に通知される。このため、擬声語に対応付けられた音声ファイルが音声データ４４に含まれていなくても、表示装置１０は、擬声語文字列の表示に合わせてデフォルト効果音ファイルを再生することができる。
【００８４】
＜第４の実施形態＞
第４の実施形態では、電子書籍コンテンツ４１に含まれるタグ情報を用いて、表示の際に音声が再生される文字列を限定する表示装置９０について説明する。
【００８５】
図１８は、表示装置９０の構成の例を示す図である。表示装置９０は、リフロー処理部８０を備える。リフロー処理部８０は、設定部２１、表示位置決定部２２、候補検出部８１を備える。表示装置９０は、さらに、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、入力デバイス３１、表示デバイス３２、再生デバイス３３を備えている。また、表示装置９０は、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４を記憶する。なお、表示装置９０のハードウェア構成も図６と同様であり、リフロー処理部８０は、ＣＰＵ６１により実現されるものとする。
【００８６】
候補検出部８１は、コンテンツ読み込み部１３から読み込まれたコンテンツ情報とコンテンツ情報に含まれているタグ情報を用いて、音声の再生を行う対象とする擬声語を含む文字列を特定する。例えば、図１（ａ）に示すコンテンツが読み込まれた場合、「ちゅどーん」という文字列は他の文字列よりも大きなフォントに対応付けられている。例えば、文字情報とタグ情報は、
「〜だった。</paragraph> <paragraph> <font size=big>ちゅどーん</font> </paragraph>」
と記載されているとする。この場合、「ちゅどーん」という文字列には、フォントの大きさを、font size=bigに対応付けられた大きさにすることが指定されている。また、「ちゅどーん」という文字列以外には、特にフォントの大きさの指定が無いものとする。すると、「ちゅどーん」という文字列以外は、基本設定のフォントが使用される。そこで、候補検出部８１は、「ちゅどーん」という文字列が、他の文字列よりも大きなフォントで記載されていると認識し、擬声語を検索する候補とする。以下、擬声語を検索する候補の文字列を「候補文字列」と記載する。候補検出部８１は、抽出部１４に候補文字列を出力する。
【００８７】
表示位置決定部２２は、第１〜第３の実施形態と同様に、各要素の位置を決定する。さらに、表示位置決定部２２は、各要素について、図１９に示すように属性情報（Ａｔｔｒｉｂｕｔｅ）を含む管理データを生成する。ここで、属性情報の種類は、要素の種類に応じて設定される情報であるものとする。例えば、文字列の要素に対しては、フォントタイプ、フォントの大きさ、フォントの色などが設定される。
【００８８】
設定部２１、ユーザ操作検出部１１、表示再生制御部１２、コンテンツ読み込み部１３、抽出部１４、効果音決定部１５、レンダリング処理部１６、音声取得部１７、入力デバイス３１、表示デバイス３２、再生デバイス３３の動作は、第１〜３の実施形態と同様である。また、電子書籍コンテンツ４１、擬声語辞書データ４２、効果音辞書データ４３、音声データ４４も第１〜３の実施形態と同様である。
【００８９】
このように、第４の実施形態では、フォントなどの書式が他の文字列と異なるなど、他の文字列とは異なる形式で表示される擬声語文字列が表示されるときに、表示対象となる擬声語に対応付けられた音声ファイルを再生する。本実施形態では、音声の再生の対象となる擬声語が限定されるので、他の実施形態に比べて、音声の対象となる擬声語に対してのユーザの印象が強くなる。また、候補検出部８１で選択された候補文字列について抽出部１４が抽出処理を行うため、抽出部１４の処理量が他の実施形態に比べて少ない。擬声語が頻繁に用いられるライトノベルでは、特に強調される擬声語について、他の文字列とは異なるフォントが指定されている場合や、他の文字列よりも大きな文字が用いられている場合がある。このような小説を表示する場合、表示装置９０を用いると、作者が強調しようとした擬声語について音声を再生することになるため、ユーザは音声の再生による効果を楽しむことができる。
【００９０】
＜その他＞
なお、実施形態は上記に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
【００９１】
抽出部１４は、擬声語テーブル５１に含まれていない文字列でも、一定の回数以上同じ文字列が繰り返された場合に、擬声語として抽出してもよい。例えば、「ドドド」や「ずりずりずり」など、３回以上同じ文字列が繰り返された場合に擬声語として抽出するように、抽出部１４の動作を設定することができる。
【００９２】
また、予め、コンテンツ中に、音声ファイルが文字列と関連付けられている場合、表示装置１０は、音声ファイルが関連付けられている文字列を表示する際に、コンテンツ中で関連付けられた音声ファイルを再生する。例えば、
「~だった。</paragraph><paragraph><font size=big><sound source=filename.wav>ちゅどーん</sound></font></paragraph>」
というコンテンツをコンテンツ読み込み部１３が読み込んだとする。この場合、読み込まれたコンテンツに音声ファイルの指定が含まれているので、表示位置決定部２２は、文字列を抽出部１４に出力しない。その代わり、設定部２１は、soundタグで指定されている音声ファイルの名称と、音声ファイルが対応付けられている文字列を表示再生制御部１２に通知する。また、設定部２１は、soundタグによる音声ファイルの指定がある部分が他の部分と別の表示領域に属するように表示領域を設定する。一方、表示位置決定部２２は、管理データを生成してレンダリング処理部１６に出力する。表示再生制御部１２は、設定部２１と表示位置決定部２２から受信した情報に応じて音声取得部１７に音声ファイルの取得を要求する。音声ファイルの取得と音声の再生のタイミングは第１もしくは第２の実施形態で述べたとおりである。なお、音声ファイルが関連付けられている文字列を含むコンテンツを、表示装置９０が読み込んだ場合も、表示装置１０での場合と同様に処理される。ただし、表示装置９０の場合、候補検出部８１が文字列を抽出部１４に出力しないために、表示装置９０での抽出が行われない。
【００９３】
さらに、ユーザからの入力に応じて第１の実施形態と第２の実施形態を切り替えることもできる。例えば、ユーザ操作検出部１１でユーザから表示方法の切り替えの指示が検出されると、表示領域ごとに画面に表示する設定から、改ページのたびに表示領域を増やす設定になるように、リフロー処理部２０やレンダリング処理部１６が処理を変更することができる。リフロー処理部２０での変更は、レンダリング処理部１６に出力するデータを表示領域ごとにするか、ページの全体にするかを切り替えることにより行われる。レンダリング処理部１６で行われる処理の例を、図２０のフローチャートを参照しながら説明する。なお、図２０は、未表示であるが読み込み済みのデータが表示装置１０に記憶されている場合のレンダリング処理部１６の動作の例を示す。
【００９４】
レンダリング処理部１６は、複数の領域にわたってデータが入力されているかを確認する（ステップＳ８１）。入力されているデータが複数の表示領域にまたがっている場合、設定部２１から表示領域に含まれている要素を特定する情報がレンダリング処理部１６に入力される。従って、設定部２１から表示領域を特定する情報が入力されていない場合、レンダリング処理部１６は、複数の表示領域のデータを取得していないと判定する（ステップＳ８１でＮｏ）。すると、レンダリング処理部１６は、表示位置決定部２２から入力された要素を表示する表示データを生成する（ステップＳ８２）。ここで生成された表示データには、既に画面に表示された要素は含まれない。その後、レンダリング処理部１６は、１つの表示領域に含まれている要素をディスプレイに表示するために表示データを、表示デバイス３２に出力する（ステップＳ８３）。一方、設定部２１から表示領域を特定するための情報を取得している場合、レンダリング処理部１６は、表示領域単位でクリップ領域を指定する。さらに、前の画面に表示されている表示領域と、次の表示領域の両方を表示するための表示データを生成して表示デバイス３２に表示させる（ステップＳ８４）。
【００９５】
以上の記載で説明した、表示装置１０や表示装置９０に記憶されているテーブルなどは
一例であり、実装に応じて変形することができる。例えば、図９（ａ）に示したテーブルのかわりに、設定部２１は、図２１に示すテーブルを保持することもできる。図２１の例では、図９に示したテーブルに含まれている情報に加え、擬声語の総数の情報が含まれている。さらに、図２１のテーブルでは、擬声語文字列ごとに擬声語文字列の前の表示領域の要素、擬声語を含む表示領域の要素、擬声語の後から次の擬声語までの間に含まれる要素が記録されている。
【００９６】
なお、抽出部１４で複数の擬声語が抽出された場合、抽出された個々の擬声語についてファイル名が検索され、検索結果が表示再生制御部１２に通知される。文中に２つ以上の擬声語が含まれている場合も、設定部２１は、同様に表示領域を分類する。例えば、２つの擬声語が含まれている場合、以下のように表示領域が設定される。
第１の表示領域：ページの先頭から最初の擬声語の前まで
第２の表示領域：最初の擬声語文字列
第３の表示領域：最初の擬声語文字列が終了した位置から２つ目の擬声語文字列の前まで
第４の表示領域：２つ目の擬声語文字列
第５の表示領域：２つ目の擬声語文字列が終了した位置からページの最後まで
【００９７】
さらに、コンテンツ読み込み部１３は、コンテンツを読み込む際に、読み込むデータに対応付けられたページ数を特定する情報を取得することもできる。この場合、コンテンツ読み込み部１３は、ページ数を特定する情報の変動を確認することにより、表示されるページ数が大きくなっているかを確認する。表示されるページ数が小さくなっている場合、ユーザがページを戻していることになる。この場合はユーザがコンテンツを読んでいる可能性よりも、コンテンツ中の記載や画像などを探している可能性が高いといえる。そこで、コンテンツ読み込み部１３は、表示されるページ数が小さくなっている場合、音声データの再生が不要であると判定し、表示位置決定部２２や候補検出部８１に対して、抽出部１４へ文字列を出力しないように要求する。抽出部１４に文字列が入力されない場合、擬声語の抽出、音声の再生等が行われない。また、複数ページ単位で表示位置がスキップしている場合も、表示装置１０、９０はユーザがコンテンツ中の記載等を検索していると判断して、同様に、音声の再生を行わない。
【００９８】
さらに、画面がスクロールされる表示装置１０、９０の場合は、スクロールボタンが１度押されたときには、第１の表示領域が表示され、スクロールボタンが２回押されると第２の表示領域の表示が行われるものとする。
【００９９】
表示装置１０や表示装置９０は、携帯電話端末、コンピュータ、電子書籍端末など、コンテンツの表示と音声の再生が可能な任意の装置として実現されうる。
【符号の説明】
【０１００】
１０、９０ 表示装置
１１ ユーザ操作検出部
１２ 表示再生制御部
１３ コンテンツ読み込み部
１４ 抽出部
１５ 効果音決定部
１６ レンダリング処理部
１７ 音声取得部
２０、８０ リフロー処理部
２１ 設定部
２２ 表示位置決定部
３１ 入力デバイス
３２ 表示デバイス
３３ 再生デバイス
４１ 電子書籍コンテンツ
４２ 擬声語辞書データ
４３ 効果音辞書データ
４４ 音声データ
５１ 擬声語テーブル
５２ 効果音テーブル
５３ ファイルＩＤテーブル
５４ 先頭文字テーブル
６１ ＣＰＵ
６２ メモリ
６３ 入力装置
６４ 出力装置
６５ バス
６６ 外部記憶装置
６７ 媒体駆動装置
６８ 可搬記憶媒体
６９ ネットワーク接続装置
７０ ネットワーク
８１ 候補検出部
【特許請求の範囲】
【請求項１】
文字列の表示を指示する表示指示を検出する検出部と、
取得した取得文字列から、擬声語を表す擬声語文字列を抽出する抽出部と、
前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定する設定部と、
前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始する表示デバイスと、
前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する再生デバイス
を備えることを特徴とする表示装置。
【請求項２】
前記擬声語文字列が前記取得文字列の先頭に位置していない場合、前記設定部は、前記取得文字列の先頭から前記擬声語文字列の前までを第１の表示領域に設定するとともに、前記擬声語文字列を第２の表示領域に設定し、
前記表示デバイスは、前記第１の表示領域を画面に表示しているときに前記表示指示を受信すると、前記第２の表示領域を画面に表示し、
前記再生デバイスは、前記第２の表示領域の表示が開始されるときに、前記音声情報に対応する音声を再生する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記擬声語文字列に対応付けられた音声ファイルを決定する決定部と、
前記音声ファイルを識別する識別情報が入力されると、前記音声ファイルを取得して前記再生デバイスに出力する音声取得部と、
次に表示される表示領域に擬声語文字列が含まれる場合に、前記識別情報を前記音声取得部に出力することにより、前記音声情報が再生される時刻と前記擬声語文字列が表示される時刻の差が小さくなるように制御する制御部
をさらに備えることを特徴とする請求項１もしくは２に記載の表示装置。
【請求項４】
前記取得文字列に、第１の書式が設定されている文字列と、前記第１の書式とは異なる第２の書式が設定されている文字列が含まれており、前記第２の書式で設定されている文字の大きさが前記第１の書式で設定されている文字の大きさよりも大きい場合、前記第２の文字列を、前記擬声語の候補を含む候補文字列として検出する候補検出部をさらに備え、
前記候補検出部は、前記候補文字列を前記抽出部に出力し、
前記抽出部は、前記候補文字列から擬声語文字列を抽出する
ことを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
【請求項５】
文字列の表示を指示する表示指示を検出し、
取得した取得文字列から、擬声語を表す擬声語文字列を抽出し、
前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定し、
前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始し、
前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する
処理をコンピュータに行わせることを特徴とする表示方法。
【請求項６】
文字列の表示を指示する表示指示を検出し、
取得した取得文字列から、擬声語を表す擬声語文字列を抽出し、
前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定し、
前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始し、
前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する
処理をコンピュータに行わせることを特徴とする表示プログラム。
【請求項１】
文字列の表示を指示する表示指示を検出する検出部と、
取得した取得文字列から、擬声語を表す擬声語文字列を抽出する抽出部と、
前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定する設定部と、
前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始する表示デバイスと、
前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する再生デバイス
を備えることを特徴とする表示装置。
【請求項２】
前記擬声語文字列が前記取得文字列の先頭に位置していない場合、前記設定部は、前記取得文字列の先頭から前記擬声語文字列の前までを第１の表示領域に設定するとともに、前記擬声語文字列を第２の表示領域に設定し、
前記表示デバイスは、前記第１の表示領域を画面に表示しているときに前記表示指示を受信すると、前記第２の表示領域を画面に表示し、
前記再生デバイスは、前記第２の表示領域の表示が開始されるときに、前記音声情報に対応する音声を再生する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記擬声語文字列に対応付けられた音声ファイルを決定する決定部と、
前記音声ファイルを識別する識別情報が入力されると、前記音声ファイルを取得して前記再生デバイスに出力する音声取得部と、
次に表示される表示領域に擬声語文字列が含まれる場合に、前記識別情報を前記音声取得部に出力することにより、前記音声情報が再生される時刻と前記擬声語文字列が表示される時刻の差が小さくなるように制御する制御部
をさらに備えることを特徴とする請求項１もしくは２に記載の表示装置。
【請求項４】
前記取得文字列に、第１の書式が設定されている文字列と、前記第１の書式とは異なる第２の書式が設定されている文字列が含まれており、前記第２の書式で設定されている文字の大きさが前記第１の書式で設定されている文字の大きさよりも大きい場合、前記第２の文字列を、前記擬声語の候補を含む候補文字列として検出する候補検出部をさらに備え、
前記候補検出部は、前記候補文字列を前記抽出部に出力し、
前記抽出部は、前記候補文字列から擬声語文字列を抽出する
ことを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
【請求項５】
文字列の表示を指示する表示指示を検出し、
取得した取得文字列から、擬声語を表す擬声語文字列を抽出し、
前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定し、
前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始し、
前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する
処理をコンピュータに行わせることを特徴とする表示方法。
【請求項６】
文字列の表示を指示する表示指示を検出し、
取得した取得文字列から、擬声語を表す擬声語文字列を抽出し、
前記擬声語文字列と、前記取得文字列のうちの前記擬声語文字列ではない文字列が互いに異なる表示領域に分類されるように表示領域を設定し、
前記取得文字列の先頭を含む表示領域が画面に表示されているときに前記表示指示が検出されると、前記画面に表示されている表示領域中の文字列の続きを含む表示領域の表示を開始し、
前記擬声語文字列を含む表示領域の表示が開始されるときに、前記擬声語文字列に対応付けられた前記音声ファイルを再生する
処理をコンピュータに行わせることを特徴とする表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図１０】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図１０】
【図１２】
【公開番号】特開２０１３−１５６９８（Ｐ２０１３−１５６９８Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８９０５（Ｐ２０１１−１４８９０５）
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（３１００２２３７２）富士通モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（３１００２２３７２）富士通モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]