電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラムならびに該ビューワプログラムが記録された記録媒体
【課題】コミック内に描かれた擬音を再生する電子コミックビューワおよびその方法を提供する。
【解決手段】まず、音声再生部26は、コンテンツ表示制御部25が現在表示している詳細画像に対応するセリフと、セリフに対応する音声と、そのセリフの属するコマに対応する付随音声を判断し、音声再生に関する情報(テキスト情報、登場人物の属性情報、自動読み上げの属性情報、擬音)を付帯情報から取得する。音声再生部26は、取得した付帯情報に基づき、付随音声を再生する。吹き出しのセリフの表示開始/終了と当該吹き出しのセリフの読み上げの開始/終了は同期する。例えば、吹き出しに関する情報に吹き出しの読み順が含まれていれば、その順に沿って吹き出し内のセリフが読み上げられる。
【解決手段】まず、音声再生部26は、コンテンツ表示制御部25が現在表示している詳細画像に対応するセリフと、セリフに対応する音声と、そのセリフの属するコマに対応する付随音声を判断し、音声再生に関する情報(テキスト情報、登場人物の属性情報、自動読み上げの属性情報、擬音)を付帯情報から取得する。音声再生部26は、取得した付帯情報に基づき、付随音声を再生する。吹き出しのセリフの表示開始/終了と当該吹き出しのセリフの読み上げの開始/終了は同期する。例えば、吹き出しに関する情報に吹き出しの読み順が含まれていれば、その順に沿って吹き出し内のセリフが読み上げられる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マンガ、新聞、雑誌、書類、教科書、参考書などの紙ベースのコンテンツを電子化した各種のコンテンツを表示する装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、iPadやKindleなどの専用の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。
【0003】
特許文献1によると、コマの特性をスコア化し、それに合わせてズームパンなどの演出を加える。
【0004】
特許文献2によると、携帯で音声広告の読み上げ音質を変える。
【0005】
特許文献3によると、書誌情報に関連する曲内容情報を抽出し、曲を流す。
【0006】
特許文献4によると、漫画に対するイベント(音声再生動作、振動など)を発生する。叫んでいる場合、効果音を例であげれば、音が高い、大きい、長いなど、フキダシ形状に合わせた音声再生が行われる。
【0007】
特許文献5によると、タッチ部分のテキストを音声出力する。
【0008】
特許文献6によると、登場人物毎に異なる声質の音声で再生したり、ユーザ好みの声質の音声で再生する。また、現在の音声再生部分を色で表示する。
【0009】
特許文献7によると、吹き出し文字を音声へ変換する。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2007-037057号公報
【特許文献2】特開2006-048663号公報
【特許文献3】特開2010-068044号公報
【特許文献4】特開2007-241942号公報
【特許文献5】特開2007-102360号公報
【特許文献6】特開2005-321706号公報
【特許文献7】特開2004-194002号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
コミックでは、各コマの背景の雰囲気やキャラクタの精神状態など擬音や吹き出し形状で表現することがよく行われている。これらの属性に従って音を再生するとコミックの興趣性も向上すると思われるが、いずれの従来技術も、コミックに画として描かれた効果音に関連する再生に言及していない。例えば、特許文献3の単なるBGMの再生は、コミックの画の擬音とは関係ない。
【0012】
本発明は、コミック内に描かれた擬音を再生する電子コミックビューワおよびその方法を提供する。
【課題を解決するための手段】
【0013】
本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの領域以外に描画されている擬音を示す文字に対応する第1のテキスト情報であって、画像に関連づけられた第1のテキスト情報と、ページ毎又はコマ毎の画像を表示手段の画面上でスクロール再生又はコマ再生による閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、取得した表示制御情報に基づいてページ毎又はコマ毎の画像を表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、表示手段に画像が表示された際に、該画像に関連づけられた第1のテキスト情報に基づいて擬音を発生させる擬音発生手段と、を備えたことを特徴とする電子コミックのビューワ装置を提供する。
【0014】
第1のテキスト情報は、擬音をそのまま文字にした情報、又は擬音を説明する情報であり、擬音発生手段は、第1のテキスト情報に基づいて擬音を音声合成し、又は擬音に対応した効果音を選択して擬音を発生させることを特徴とする。
【0015】
第1のテキスト情報は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報を含み、擬音発生手段は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報に基づいて擬音の発生を制御することを特徴とする。
【0016】
情報取得手段により取得される電子コミックの情報は、吹き出しに入る台詞を示す第2のテキスト情報であって、画像及び該画像内での台詞の順番に関連づけられた第2のテキスト情報と、第2のテキスト情報毎に関連づけられたコミックに登場する登場人物の属性情報とを含み、第2のテキスト情報に関連づけられた登場人物の属性情報に基づいて複数の合成音声の音質のうちから属性情報に対応する音質を選択する音質選択手段と、表示手段に画像が表示された際に、画像及び該画像内での台詞の順番に関連づけられた第2のテキスト情報に基づいて該第2のテキスト情報に対応する台詞を、音質選択手段により選択された音質の合成音声により自動的に読み上げる自動読み上げ手段と、を備えたことを特徴とする。
【0017】
登場人物の属性情報は、コミックに登場する登場人物を識別するための識別情報と、登場人物の性別及び年齢のうちの少なくとも一方の情報とを含むことを特徴とする。
【0018】
情報取得手段により取得される電子コミックの情報は、第2のテキスト情報毎に関連づけられ、該第2のテキスト情報に対応する台詞の読み上げ時の読み上げ速度及び音量のうちの少なくとも1つを含む自動読み上げの属性情報を含み、自動読み上げ手段は、第2のテキスト情報による読み上げ時に、該第2のテキスト情報に関連づけられた自動読み上げの属性情報に基づいて台詞の読み上げ速度及び音量のうちの少なくとも1つを制御して読み上げることを特徴とする。
【0019】
情報取得手段により取得される電子コミックの情報は、吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて、吹き出し情報及び第2のテキスト情報に基づいて第2のテキスト情報から生成した文字を表示させる文字表示制御手段と、を備え、文字表示制御手段は、自動読み上げ手段により現在読み上げている台詞に対応する文字を、他の吹き出しの台詞の文字と識別可能に表示させることを特徴とする。
【0020】
第2のテキスト情報は、吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を示すテキスト情報であることを特徴とする。
【0021】
情報取得手段により取得される電子コミックの情報は、吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、吹き出し情報及び第2のテキスト情報に基づいて表示手段の画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、判別手段により翻訳文の全文が入ると判別されると、吹き出し領域内に翻訳文の全文を表示させ、判別手段により翻訳文の全文が入らないと判別されると、吹き出し領域内で翻訳文をスクロールさせる翻訳文表示制御手段と、を備えたことを特徴とする。
【0022】
翻訳文表示制御手段は、判別手段により翻訳文の全文が入らないと判別されると、自動読み上げ手段により現在読み上げている台詞に対応する翻訳文のみをスクロールさせることを特徴とする。
【0023】
本発明は、上記のビューワ装置の機能を含むユーザ端末と、ユーザ端末からの要求に応じて電子コミックの情報を提供するサーバと、からなる電子コミックの閲覧システムを含む。
【0024】
本発明は、上記のビューワ装置を実現させるビューワプログラムを含む。
【0025】
本発明は、上記のビューワプログラムが記録された記録媒体を含む。
【発明の効果】
【0026】
本発明によると、電子コミックの進行に応じたスクロール再生またはコマ再生に連動した、擬音の再生が可能となる。
【図面の簡単な説明】
【0027】
【図1】コンテンツ再生システムの概略構成図
【図2】コンテンツファイルの概念説明図
【図3】吹き出しの形状に関する情報の一例を示す図
【図4】配信処理のフローチャート
【図5】表示処理(スクロールビュー)のフローチャート
【図6】表示処理(コマビュー)のフローチャート
【図7】セリフ処理のフローチャート
【図8】吹き出し内のテキスト情報(横)の表示の一例を示す図
【図9】吹き出し内のテキスト情報(縦)の表示の一例を示す図
【図10】表示中の詳細画像に対応する音声再生に関する情報の一例を示す図
【図11】吹き出し内のテキスト情報の表示の他の例(1行スクロール)を示す図
【図12】吹き出し内のテキスト情報の表示の他の例(らせん状スクロール)を示す図
【図13】吹き出し内のテキスト情報の表示の他の例(複数行スクロール)を示す図
【図14】吹き出し内のテキスト情報の表示の他の例(吹き出しの形状に合わせたらせん状スクロール)を示す図
【発明を実施するための形態】
【0028】
<第1実施形態>
図1は本発明の好ましい実施形態に係るコンテンツ配信システムの構成を示す。このシステムは、サーバ1と電子書籍ビューワ2とを含む。サーバ1は、演算装置(CPU)、記憶装置、入出力回路などを備えたコンピュータ(情報処理装置)で構成される。
【0029】
電子書籍ビューワ2は、画像を再生可能な表示手段、通信手段、演算装置(CPU)、記憶装置、入出力回路、操作手段、音声を再生可能な音声再生手段などを備えた情報端末であり、例えば、スマートフォンやタブレット型コンピュータで構成される。なお、サーバ1にアクセスする電子書籍ビューワ2は不特定多数であってもよいものとする。
【0030】
具体的には、サーバ1は、ページ情報解析部10、データベース(DB)11、操作部16、入出力部17を備える。
【0031】
ページ情報解析部10は、CPUなどの情報処理装置で構成される。DB11は、ハードディスクやメモリなどの記憶媒体で構成される。操作部16は、キーボード、マウス、タッチパッドなどの操作手段である。
【0032】
DB11は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナーなどでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書(プレゼンテーション文書など)、教科書、参考書など、ページ単位で組まれている。また、オリジナルコンテンツ画像はページ番号と対応づけられている。
【0033】
コンテンツ画像とその付帯情報の保存形式は任意であり、XMLファイルなどで保存される。オリジナルコンテンツ画像には付帯情報が記録されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者(出版社)などが含まれうる。
【0034】
コンテンツ画像は、概略画像、詳細画像(高解像度データ)を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。
【0035】
コンテンツ画像に付帯する付帯情報は、操作部16から入力された情報、ページ情報解析部10の解析結果の情報、あるいは、入出力部17を経由して入力された情報を含む。
【0036】
図2はコンテンツファイルの概念説明図である。コンテンツファイルは、ページごとの概略画像と当該ページ内の各アンカーポイントに対応する詳細画像を含むスクロールビュー用のコンテンツファイルと、ページごとの概略画像とコマごとの詳細画像を含むコマビュー用のコンテンツファイルの双方を含む。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。
【0037】
ヘッダは、ファイルの属性(ファイル名など)を示す。
【0038】
付帯情報は、検索タグ情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、ページ情報、その他情報によって構成されている。
【0039】
検索タグ情報。検索タグ情報は、検索に用いるタグ情報である。例えば、ページ番号(ページ識別情報)、コマ番号(コマ識別情報)、エピソード番号(エピソード識別情報、例えば第何話であるかを示す)、タイトル、作者、出版社(版権者)、総ページ数などの情報を含んでいてもよい。
【0040】
吹き出し情報。吹き出し情報は、ページ単位(又はコマ単位)のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの起点(吹き出しの頂点)の位置と向き、吹き出しの描線の属性(点線、実線など)、コンテンツ画像の要素(話者など)と吹き出しの起点との相対的位置関係(例えば吹き出しの頂点と吹き出しの頂点が指し示す話者の顔と最小間隔)、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線(枠線)のコンテンツ画像内での位置を示す情報(例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報)である。吹き出し領域情報は、吹き出しの全領域(範囲)を示すビットマップ情報でもよい。また、吹き出しの特定位置(中心位置)と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図3(A)〜(D)のような4つの吹き出し種類があれば、その各々に対応する識別情報A〜Dを吹き出しの描線の属性として記憶する。
【0041】
テキスト情報。テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト(文章)、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き/横書き、読み方向の区別などである。文字属性情報には、文字サイズ(ポイント数など)、文字種別(フォント、強調文字など)がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語(2以上の言語の翻訳文でもよい)も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト(ナレーション、擬音を示す文字列など)やその翻訳文とそのテキストの属性(文字サイズ、フォント、文字装飾など)と、それらの音声読み上げ属性(ボリューム、スピード、繰り返し回数、開始/停止タイミングなど)、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール方法を含みうる。
【0042】
登場人物の情報。登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、話者(登場人物)のコンテンツ画像(概略画像および詳細画像)内での存在領域を示す話者領域情報(顔領域情報など)、話者の識別情報(名称など)、話者の属性(性別、年齢など)。なお、話者とは、吹き出しのセリフ(台詞)の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物が発するセリフも含む。
【0043】
表示制御情報は、ページ単位又はコマ単位の表示制御に関する情報である。この情報は、画面スクロールおよび/または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位(コマなど)、切り替えタイミングの決定方法(手動、自動、半自動)、切り替えに付随する表示効果(ワイプ、フェードイン/フェードアウト、ディゾルブ)などを含みうる。
【0044】
自動読み上げの属性情報。例えば、読み上げ速度、音量、話者の感情など。
【0045】
表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法(スクロール、フェードアウト/フェードインなど)、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ(ページ、セクション)、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、1ページごとの画像の部分領域(典型的にはコマかコマの一部)の視線の止まる位置(アイストップ)である。
【0046】
再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。
【0047】
あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ1にアクセスしてきた電子書籍ビューワ2か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。
【0048】
あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ1にアクセスしてきた電子書籍ビューワ2のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ2から再生状態情報として取得した過去の閲覧のスピードを所定の算術式(平均など)に適用することで決定してもよい。
【0049】
表示切り替え方法は、電子書籍ビューワ2のユーザによる操作部27への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマaのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマbと一致するならば、コマaからコマbへの表示切り替え方法をスクロールに設定する。
【0050】
読み上げ音声に関する情報。例えば、読み上げ音声の内容、開始タイミング/終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性(性別、年齢など)。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび/または付随音声の内容と共通化できる。
【0051】
ページ情報。例えば、左開き/右開き、改行方向(縦書きの場合)。
【0052】
付随音声に関する情報。例えば、擬音や効果音の内容(擬音を説明するテキスト情報か音声情報)、出現回数、出現コマ、ボリューム、開始タイミング/終了タイミング、繰り返し回数、スピード、音量、擬音はページ情報解析部10によりコンテンツ画像から取得されたものでもよいし入出力部17などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。
【0053】
再生エフェクトに関する情報。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミング。
【0054】
画面拡大などのレイアウト変更の可否を示す変更可否情報。
【0055】
その他の情報。例えば、ページ余白の領域とその領域に配置する広告データ。その他の情報に含まれる変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生(スクロールビュー)は許可するが、コマ再生(コマビュー)は禁止するといった設定も可能である。あるいはその他の情報は、ページめくりに関する情報(たとえば、左開き/右開き)、改行方向(縦書きの場合)などのページ情報を含む。
【0056】
ページ情報解析部10は、DB11に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。例えば、ページ解析結果に関する情報は、ページごとのコンテンツの要素(コマ、描画、描画内の登場キャラクタの種類、吹き出し、セリフ、テキスト、表、図など)のレイアウト、コンテンツの要素の読み順、キャラクタの特徴(キャラクタ名、キャラクタの視線方向、キャラクタのサイズ、位置など)、セリフなどのテキストの内容、位置、量(文字数)、ページ/セクション/章などの区切りなどを含む。
【0057】
ページ情報解析部10によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
【0058】
あるいは、OCRにより、吹き出し内部のテキスト文章(セリフ)を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【0059】
コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点(コマまたは吹き出しの中心や重心など)を順次水平方向に走査することでページ番号またはセリフ番号が決定される。
【0060】
各コマの代表点は、1ページごとのコンテンツの要素の視線の止まる位置(アンカーポイント)となり、そのアンカーポイントを起点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
【0061】
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。
【0062】
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
【0063】
ルール学習は、例えば次のように行う。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。ページ情報解析部10は、複数の基本パターンについてそれぞれ特徴量(コマ境界線の太さや長さなど)を抽出する。そしてページ情報解析部10は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。ページ情報解析部10は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。ページ情報解析部10は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
【0064】
説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵(実写、描画を問わない)とセリフの双方からなるコンテンツである。
【0065】
再び図1を参照すると、電子書籍ビューワ2はスマートフォン、タブレットコンピュータなどの携帯型情報端末で構成され、画像を再生可能な表示手段、通信手段、操作検知手段、音声再生手段、情報処理装置などを備えている。
【0066】
具体的には、電子書籍ビューワ2は、データベース(DB)21、表示部24、コンテンツ表示制御部25、音声再生部26、操作部27、スピーカ28、入出力部29を備える。
【0067】
表示部24は、LCDなどの表示装置で構成される表示手段である。操作部27は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部27は、表示部24に積層されており、表示部24に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。
【0068】
音声再生部26は、コンテンツファイルに格納された音声に関する情報(読み上げ音声に関する情報および/または付随音声に関する情報)を音声化してスピーカ28から出力する回路である。
【0069】
入出力部29は、サーバ1の入出力部17から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部17および入出力部29は、通信手段であるが、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出し手段であってもよい。
【0070】
DB21は、DB11と同等の情報を格納する。すなわち、電子書籍ビューワ2が、サーバ1に電子書籍の送信を要求すると、サーバ1は、入出力部29を介してDB11のコンテンツファイルをDB21にエクスポートし、DB21に格納される。ただし、DB11の情報とDB21の情報は完全に同じである必要はない。DB11は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。DB21には、電子書籍ビューワ2のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。
【0071】
コンテンツ表示制御部25は、表示部24に対するコンテンツの表示制御を行う。詳細は後述する。
【0072】
図4はサーバ1と電子書籍ビューワ2との間で実行される配信処理のフローチャートを示す。S1・S4は電子書籍ビューワ2が実行し、S2・S3はサーバ1が実行する。この処理をサーバ1および電子書籍ビューワ2にそれぞれ実行させるプログラムは、サーバ1および電子書籍ビューワ2にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体(RAM、ROM、CDROMなど)に記憶されている。
【0073】
S1では、電子書籍ビューワ2は、入出力部29を介して、コンテンツ要求をサーバ1に送信する。
【0074】
S2では、サーバ1は、スクロールビューまたはコマビューに対応するコンテンツ要求を待機しており、入出力部17を介して電子書籍ビューワ2からコンテンツ要求を受信すると、S3に進む。
【0075】
S3では、サーバ1は、コンテンツファイルを電子書籍ビューワ2に送信する。すなわち、サーバ1は、スクロールビューに対応するコンテンツ要求があった場合は、スクロールビューに対応するコンテンツファイルを送信し、コマビューに対応するコンテンツ要求があった場合は、コマビューに対応するコンテンツファイルを送信する。
【0076】
S4では、電子書籍ビューワ2は、コンテンツファイルを受信し、DB21に格納する。そして、後述の表示処理に進む。コンテンツ画像の送信は、ページ単位あるいはコマ単位で行われてもよく、付帯情報も、送信されたコンテンツ画像の単位に対応する情報のみを送信してもよい。
【0077】
図5は電子書籍ビューワ2の実行する表示処理(スクロールビュー)のフローチャートを示す。図6は電子書籍ビューワ2の実行する表示処理(コマビュー)のフローチャートを示す。図5または図6のいずれかの処理は、操作部27からの選択に従って実行される。
【0078】
図5を参照すると、S10では、コンテンツ表示制御部25は、DB21のコンテンツファイルに基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。
【0079】
S11では、コンテンツ表示制御部25は、カレントアンカーポイントを基準にして、当該ページ全体の概略画像から表示用の詳細画像を切り出し、これをカレント画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を読み出してカレント画像とすることもできる。
【0080】
S12では、コンテンツ表示制御部25は、詳細画像を表示部24に表示する。
【0081】
S13では、コンテンツ表示制御部25は、DB21のコンテンツファイルの付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Yesの場合はS14に進み、Noの場合はS12に戻る。
【0082】
S14では、コンテンツ表示制御部25は、カレントアンカーポイントは、当該ページの最後のアンカーポイントであるか否かを判断する。Yesの場合はS21に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、S10以降を繰り返す。Noの場合はS15に進む。
【0083】
S15では、コンテンツ表示制御部25は、カレントアンカーポイントからその次の順のアンカーポイントまでを結ぶ線分に沿って、カレントアンカーポイントを起点に所定の単位ずつ(例えば1ドットずつ)増分した位置を、仮アンカーポイントに設定する。この増分はS16〜S19のループの回数分だけ繰り返される。
【0084】
S16・S17では、コンテンツ表示制御部25は、当該ページ全体の画像から仮アンカーポイントを基準にして、表示用の詳細画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。
【0085】
S18では、コンテンツ表示制御部25は、現在の仮アンカーポイントに対応する詳細画像から次の仮アンカーポイントに対応する詳細画像に切り替えて表示する。この結果、画面は所定の単位ずつスクロールすることになる。
【0086】
S19では、コンテンツ表示制御部25は、仮アンカーポイントが、カレントアンカーポイントの次のアンカーポイントに到達したか否かを判断する。Yesの場合はS12に戻り、次のアンカーポイントを新たなカレントアンカーポイントとし、そのカレントアンカーポイントに対応する詳細画像を表示する。Noの場合はS16に戻り、所定の単位ずつのスクロールを継続する。
【0087】
図6を参照すると、S31では、コンテンツ表示制御部25は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。
【0088】
S32では、コンテンツ表示制御部25は、カレントコマに対応する詳細画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。
【0089】
S33では、コンテンツ表示制御部25は、カレントコマ画像を表示部24に表示する。
【0090】
S34では、コンテンツ表示制御部25は、コンテンツファイルの付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Yesの場合はS35に進み、Noの場合はS33に戻る。
【0091】
S35では、コンテンツ表示制御部25は、カレントコマは、当該ページの最後のコマであるか否かを判断する。Yesの場合はS36に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、S31以降を繰り返す。Noの場合はS37に進む。
【0092】
S37では、コンテンツ表示制御部25は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、S32に戻り、カレントコマに対応する詳細画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。
【0093】
なお、S12またはS33において、画像は、操作部27に入力される画像送り指示に従って切り替わってもよい。切り替わる単位は、アンカーポイント(S12)かコマ(S33)となる。また、切り替わる順序は、アンカーポイント順あるいはコマ順に従う。ただし、ユーザがページの読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。
【0094】
図7は電子書籍ビューワ2の実行するセリフ処理のフローチャートを示す。この処理は、S12またはS33と並行して実行される。
【0095】
S41では、コンテンツ表示制御部25は、DB21のコンテンツファイルに基づき、コンテンツ画像の表示を開始する。これはS12またはS33と同様である。
【0096】
S42では、コンテンツ表示制御部25は、操作部16から、吹き出し内のセリフ表示方向として「横書き」が指示されたか、「縦書き」が指示されたかを判断する。「横書き」の指示があった場合はS51に進み、「縦書き」の指示があった場合はS61に進む。
【0097】
S51では、コンテンツ表示制御部25は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する横書きのセリフ(翻訳文)のテキスト情報に含まれるテキスト属性(サイズ、フォント、文字間隔、行間隔、行数など)と、当該吹き出しの話者である登場人物の情報を読み出す。
【0098】
S52では、コンテンツ表示制御部25は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を横書きに配置する。コンテンツ表示制御部25は、テキスト属性に従った横書きの配置でテキスト情報が収まるか否かを判断し、収まらないと判断した場合は、当該吹き出し内で、テキスト情報のスクロールを開始する。スクロールの態様は任意である。例えば、図8のように、テキスト情報の文字を1行か複数行に並べ、各行の先頭の文字から末尾の文字まで順次行方向にスクロールする。スクロール方向は言語の種類に依存する。英語ならば左から右へ読むから、スクロール方向は左である。全ての文字のスクロールが終わった場合、先頭の文字からスクロールを繰り返してもよい。
【0099】
S61では、コンテンツ表示制御部25は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する縦書きのセリフ(原文)のテキスト情報およびテキスト属性と、当該吹き出しの話者である登場人物の情報を読み出す。
【0100】
S62では、コンテンツ表示制御部25は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を縦書きに配置する(図9参照)。
【0101】
S71では、音声再生部26は、音声に関する情報に基づき、音声を再生する。
【0102】
まず、音声再生部26は、コンテンツ表示制御部25が現在表示している詳細画像に対応するセリフと、セリフに対応する音声と、そのセリフの属するコマに対応する付随音声を判断し、音声再生に関する情報(テキスト情報、登場人物の属性情報、自動読み上げの属性情報、擬音)を付帯情報から取得する。
【0103】
図10は、表示中の詳細画像(アンカーポイント3)に対応する音声再生に関する情報の一例を示す。
【0104】
音声再生部26は、音声再生に関する情報から、セリフ音声の属性を識別し、その属性に応じた音声を、スピーカ28から出力する。例えば、属性が、セリフ話者の年齢=15、セリフ話者の性別=女を示していれば、音声再生部26は、予め定められた十代前半の女性の音声の属性でセリフ音声を合成し、スピーカ28から出力する。
【0105】
話者に重要性がない(1回限りで登場するなど)、話者に個性がないなどの理由で、セリフ音声の属性がない場合は、デフォルトの属性でセリフ音声を合成する。
【0106】
また、読み上げボリュームや読み上げスピードなどの属性がない場合は、対応するセリフの配置される吹き出しの属性や、セリフの属性に基づいてセリフ音声を合成する。
【0107】
例えば、吹き出しの種類が、図3(B)のような大声のセリフを表す場合、音声再生部26は、当該セリフの読み上げボリュームを「大」とする。あるいは、吹き出しの種類が、図3(C)のような想像または回想のセリフを表す場合、音声再生部26は、当該セリフの読み上げボリュームを「小」とする。あるいは、吹き出しの種類が、図3(B)・図3(C)以外の場合、音声再生部26は、当該セリフの読み上げボリュームを「中」とする。
【0108】
あるいは、セリフの文字が強調文字や「!」マークを含む場合、音声再生部26は、当該セリフの読み上げボリュームを「大」とする。
【0109】
あるいは、セリフの文字間隔が「大」である場合、音声再生部26は、当該セリフの読み上げスピードを「スロー」とし、セリフの文字間隔が「小」である場合、音声再生部26は、当該セリフの読み上げスピードを「クイック」とする。
【0110】
ここで、音声再生部26は、吹き出しに配置するセリフの言語と同一の言語で音声化する。ただし、音声再生部26は、吹き出しの言語とは異なる言語の指定が操作部27からあれば、その言語で音声化する。
【0111】
音声再生部26は、取得した付帯情報に基づき、付随音声を再生する。吹き出しのセリフの表示開始/終了と当該吹き出しのセリフの読み上げの開始/終了は同期する。例えば、吹き出しに関する情報に吹き出しの読み順が含まれていれば、その順に沿って吹き出し内のセリフが読み上げられる。この際、制御部25は、読み上げられているセリフの再生に同期して、セリフ文字に視覚的効果を付与することもできる。例えば、セリフ文字への視覚的効果として、読み上げられているセリフの個々の文字をハイライトしたり、アンダーライン・傍点・着色などの装飾を付与したり、読み上げられているセリフ部分のみをスクロールで示したり、読み上げられていないセリフの個々の文字をグレーアウトしたり、読み上げられたセリフはフェードアウトさせるなどが挙げられる。
【0112】
付随音声に関する情報で、付随音声の開始/終了タイミングや繰り返し回数が指定されている場合、付随音声はそれに従って再生される。そのような指定がない場合、吹き出しのセリフの読み上げの開始/終了と、当該吹き出しの属するコマの付随音声の開始/終了も同期する。例えば、バックグラウンドの文字「わー」といった文字がある場合は、その文字が含まれている詳細画像の表示開始から終了まで、対応する歓声が再生される。
【0113】
音声再生部26は、同一の付随音声が複数のコマに渡って配置されている場合は、それらのコマの表示開始から終了までの間、当該付随音声を繰り返すなどして継続的に再生する。
【0114】
このように、本願のコンテンツファイルが電子書籍ビューワ2に提供されることにより、電子書籍ビューワ2は、セリフの言語に応じたセリフ配置、スクロール、セリフの音声再生、擬音や効果音の再生が可能となる。
【0115】
<第2実施形態>
第1実施形態の表示処理のS52における吹き出し内のテキスト情報のスクロールのさせ方は、各種のものが採用できる。例えば、図11のように、テキスト情報を1行でスクロールさせる。あるいは、図12のように、1行目のテキストを左方向にスクロールさせるともに、そのスクロールで生じた1行目の空白に、2行目以下のテキスト情報を繰り上げるらせん状スクロールをさせる。あるいは、図13のように、各行を同時にスクロールさせる。あるいは、図14のように、吹き出しの形状に合わせて、らせん状スクロールをさせる。
【0116】
なお、図4〜7の各処理をコンテンツ配信システム、サーバ1、電子書籍ビューワ2に実行させるためのプログラムは、DB11,DB21などのコンピュータ読み取り可能な記録媒体に記録されている。
【符号の説明】
【0117】
1:サーバ、2:電子書籍ビューワ
【技術分野】
【0001】
本発明は、マンガ、新聞、雑誌、書類、教科書、参考書などの紙ベースのコンテンツを電子化した各種のコンテンツを表示する装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、iPadやKindleなどの専用の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。
【0003】
特許文献1によると、コマの特性をスコア化し、それに合わせてズームパンなどの演出を加える。
【0004】
特許文献2によると、携帯で音声広告の読み上げ音質を変える。
【0005】
特許文献3によると、書誌情報に関連する曲内容情報を抽出し、曲を流す。
【0006】
特許文献4によると、漫画に対するイベント(音声再生動作、振動など)を発生する。叫んでいる場合、効果音を例であげれば、音が高い、大きい、長いなど、フキダシ形状に合わせた音声再生が行われる。
【0007】
特許文献5によると、タッチ部分のテキストを音声出力する。
【0008】
特許文献6によると、登場人物毎に異なる声質の音声で再生したり、ユーザ好みの声質の音声で再生する。また、現在の音声再生部分を色で表示する。
【0009】
特許文献7によると、吹き出し文字を音声へ変換する。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2007-037057号公報
【特許文献2】特開2006-048663号公報
【特許文献3】特開2010-068044号公報
【特許文献4】特開2007-241942号公報
【特許文献5】特開2007-102360号公報
【特許文献6】特開2005-321706号公報
【特許文献7】特開2004-194002号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
コミックでは、各コマの背景の雰囲気やキャラクタの精神状態など擬音や吹き出し形状で表現することがよく行われている。これらの属性に従って音を再生するとコミックの興趣性も向上すると思われるが、いずれの従来技術も、コミックに画として描かれた効果音に関連する再生に言及していない。例えば、特許文献3の単なるBGMの再生は、コミックの画の擬音とは関係ない。
【0012】
本発明は、コミック内に描かれた擬音を再生する電子コミックビューワおよびその方法を提供する。
【課題を解決するための手段】
【0013】
本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの領域以外に描画されている擬音を示す文字に対応する第1のテキスト情報であって、画像に関連づけられた第1のテキスト情報と、ページ毎又はコマ毎の画像を表示手段の画面上でスクロール再生又はコマ再生による閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、取得した表示制御情報に基づいてページ毎又はコマ毎の画像を表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、表示手段に画像が表示された際に、該画像に関連づけられた第1のテキスト情報に基づいて擬音を発生させる擬音発生手段と、を備えたことを特徴とする電子コミックのビューワ装置を提供する。
【0014】
第1のテキスト情報は、擬音をそのまま文字にした情報、又は擬音を説明する情報であり、擬音発生手段は、第1のテキスト情報に基づいて擬音を音声合成し、又は擬音に対応した効果音を選択して擬音を発生させることを特徴とする。
【0015】
第1のテキスト情報は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報を含み、擬音発生手段は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報に基づいて擬音の発生を制御することを特徴とする。
【0016】
情報取得手段により取得される電子コミックの情報は、吹き出しに入る台詞を示す第2のテキスト情報であって、画像及び該画像内での台詞の順番に関連づけられた第2のテキスト情報と、第2のテキスト情報毎に関連づけられたコミックに登場する登場人物の属性情報とを含み、第2のテキスト情報に関連づけられた登場人物の属性情報に基づいて複数の合成音声の音質のうちから属性情報に対応する音質を選択する音質選択手段と、表示手段に画像が表示された際に、画像及び該画像内での台詞の順番に関連づけられた第2のテキスト情報に基づいて該第2のテキスト情報に対応する台詞を、音質選択手段により選択された音質の合成音声により自動的に読み上げる自動読み上げ手段と、を備えたことを特徴とする。
【0017】
登場人物の属性情報は、コミックに登場する登場人物を識別するための識別情報と、登場人物の性別及び年齢のうちの少なくとも一方の情報とを含むことを特徴とする。
【0018】
情報取得手段により取得される電子コミックの情報は、第2のテキスト情報毎に関連づけられ、該第2のテキスト情報に対応する台詞の読み上げ時の読み上げ速度及び音量のうちの少なくとも1つを含む自動読み上げの属性情報を含み、自動読み上げ手段は、第2のテキスト情報による読み上げ時に、該第2のテキスト情報に関連づけられた自動読み上げの属性情報に基づいて台詞の読み上げ速度及び音量のうちの少なくとも1つを制御して読み上げることを特徴とする。
【0019】
情報取得手段により取得される電子コミックの情報は、吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて、吹き出し情報及び第2のテキスト情報に基づいて第2のテキスト情報から生成した文字を表示させる文字表示制御手段と、を備え、文字表示制御手段は、自動読み上げ手段により現在読み上げている台詞に対応する文字を、他の吹き出しの台詞の文字と識別可能に表示させることを特徴とする。
【0020】
第2のテキスト情報は、吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を示すテキスト情報であることを特徴とする。
【0021】
情報取得手段により取得される電子コミックの情報は、吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、吹き出し情報及び第2のテキスト情報に基づいて表示手段の画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、判別手段により翻訳文の全文が入ると判別されると、吹き出し領域内に翻訳文の全文を表示させ、判別手段により翻訳文の全文が入らないと判別されると、吹き出し領域内で翻訳文をスクロールさせる翻訳文表示制御手段と、を備えたことを特徴とする。
【0022】
翻訳文表示制御手段は、判別手段により翻訳文の全文が入らないと判別されると、自動読み上げ手段により現在読み上げている台詞に対応する翻訳文のみをスクロールさせることを特徴とする。
【0023】
本発明は、上記のビューワ装置の機能を含むユーザ端末と、ユーザ端末からの要求に応じて電子コミックの情報を提供するサーバと、からなる電子コミックの閲覧システムを含む。
【0024】
本発明は、上記のビューワ装置を実現させるビューワプログラムを含む。
【0025】
本発明は、上記のビューワプログラムが記録された記録媒体を含む。
【発明の効果】
【0026】
本発明によると、電子コミックの進行に応じたスクロール再生またはコマ再生に連動した、擬音の再生が可能となる。
【図面の簡単な説明】
【0027】
【図1】コンテンツ再生システムの概略構成図
【図2】コンテンツファイルの概念説明図
【図3】吹き出しの形状に関する情報の一例を示す図
【図4】配信処理のフローチャート
【図5】表示処理(スクロールビュー)のフローチャート
【図6】表示処理(コマビュー)のフローチャート
【図7】セリフ処理のフローチャート
【図8】吹き出し内のテキスト情報(横)の表示の一例を示す図
【図9】吹き出し内のテキスト情報(縦)の表示の一例を示す図
【図10】表示中の詳細画像に対応する音声再生に関する情報の一例を示す図
【図11】吹き出し内のテキスト情報の表示の他の例(1行スクロール)を示す図
【図12】吹き出し内のテキスト情報の表示の他の例(らせん状スクロール)を示す図
【図13】吹き出し内のテキスト情報の表示の他の例(複数行スクロール)を示す図
【図14】吹き出し内のテキスト情報の表示の他の例(吹き出しの形状に合わせたらせん状スクロール)を示す図
【発明を実施するための形態】
【0028】
<第1実施形態>
図1は本発明の好ましい実施形態に係るコンテンツ配信システムの構成を示す。このシステムは、サーバ1と電子書籍ビューワ2とを含む。サーバ1は、演算装置(CPU)、記憶装置、入出力回路などを備えたコンピュータ(情報処理装置)で構成される。
【0029】
電子書籍ビューワ2は、画像を再生可能な表示手段、通信手段、演算装置(CPU)、記憶装置、入出力回路、操作手段、音声を再生可能な音声再生手段などを備えた情報端末であり、例えば、スマートフォンやタブレット型コンピュータで構成される。なお、サーバ1にアクセスする電子書籍ビューワ2は不特定多数であってもよいものとする。
【0030】
具体的には、サーバ1は、ページ情報解析部10、データベース(DB)11、操作部16、入出力部17を備える。
【0031】
ページ情報解析部10は、CPUなどの情報処理装置で構成される。DB11は、ハードディスクやメモリなどの記憶媒体で構成される。操作部16は、キーボード、マウス、タッチパッドなどの操作手段である。
【0032】
DB11は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナーなどでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書(プレゼンテーション文書など)、教科書、参考書など、ページ単位で組まれている。また、オリジナルコンテンツ画像はページ番号と対応づけられている。
【0033】
コンテンツ画像とその付帯情報の保存形式は任意であり、XMLファイルなどで保存される。オリジナルコンテンツ画像には付帯情報が記録されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者(出版社)などが含まれうる。
【0034】
コンテンツ画像は、概略画像、詳細画像(高解像度データ)を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。
【0035】
コンテンツ画像に付帯する付帯情報は、操作部16から入力された情報、ページ情報解析部10の解析結果の情報、あるいは、入出力部17を経由して入力された情報を含む。
【0036】
図2はコンテンツファイルの概念説明図である。コンテンツファイルは、ページごとの概略画像と当該ページ内の各アンカーポイントに対応する詳細画像を含むスクロールビュー用のコンテンツファイルと、ページごとの概略画像とコマごとの詳細画像を含むコマビュー用のコンテンツファイルの双方を含む。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。
【0037】
ヘッダは、ファイルの属性(ファイル名など)を示す。
【0038】
付帯情報は、検索タグ情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、ページ情報、その他情報によって構成されている。
【0039】
検索タグ情報。検索タグ情報は、検索に用いるタグ情報である。例えば、ページ番号(ページ識別情報)、コマ番号(コマ識別情報)、エピソード番号(エピソード識別情報、例えば第何話であるかを示す)、タイトル、作者、出版社(版権者)、総ページ数などの情報を含んでいてもよい。
【0040】
吹き出し情報。吹き出し情報は、ページ単位(又はコマ単位)のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの起点(吹き出しの頂点)の位置と向き、吹き出しの描線の属性(点線、実線など)、コンテンツ画像の要素(話者など)と吹き出しの起点との相対的位置関係(例えば吹き出しの頂点と吹き出しの頂点が指し示す話者の顔と最小間隔)、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線(枠線)のコンテンツ画像内での位置を示す情報(例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報)である。吹き出し領域情報は、吹き出しの全領域(範囲)を示すビットマップ情報でもよい。また、吹き出しの特定位置(中心位置)と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図3(A)〜(D)のような4つの吹き出し種類があれば、その各々に対応する識別情報A〜Dを吹き出しの描線の属性として記憶する。
【0041】
テキスト情報。テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト(文章)、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き/横書き、読み方向の区別などである。文字属性情報には、文字サイズ(ポイント数など)、文字種別(フォント、強調文字など)がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語(2以上の言語の翻訳文でもよい)も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト(ナレーション、擬音を示す文字列など)やその翻訳文とそのテキストの属性(文字サイズ、フォント、文字装飾など)と、それらの音声読み上げ属性(ボリューム、スピード、繰り返し回数、開始/停止タイミングなど)、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール方法を含みうる。
【0042】
登場人物の情報。登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、話者(登場人物)のコンテンツ画像(概略画像および詳細画像)内での存在領域を示す話者領域情報(顔領域情報など)、話者の識別情報(名称など)、話者の属性(性別、年齢など)。なお、話者とは、吹き出しのセリフ(台詞)の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物が発するセリフも含む。
【0043】
表示制御情報は、ページ単位又はコマ単位の表示制御に関する情報である。この情報は、画面スクロールおよび/または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位(コマなど)、切り替えタイミングの決定方法(手動、自動、半自動)、切り替えに付随する表示効果(ワイプ、フェードイン/フェードアウト、ディゾルブ)などを含みうる。
【0044】
自動読み上げの属性情報。例えば、読み上げ速度、音量、話者の感情など。
【0045】
表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法(スクロール、フェードアウト/フェードインなど)、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ(ページ、セクション)、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、1ページごとの画像の部分領域(典型的にはコマかコマの一部)の視線の止まる位置(アイストップ)である。
【0046】
再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。
【0047】
あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ1にアクセスしてきた電子書籍ビューワ2か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。
【0048】
あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ1にアクセスしてきた電子書籍ビューワ2のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ2から再生状態情報として取得した過去の閲覧のスピードを所定の算術式(平均など)に適用することで決定してもよい。
【0049】
表示切り替え方法は、電子書籍ビューワ2のユーザによる操作部27への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマaのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマbと一致するならば、コマaからコマbへの表示切り替え方法をスクロールに設定する。
【0050】
読み上げ音声に関する情報。例えば、読み上げ音声の内容、開始タイミング/終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性(性別、年齢など)。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび/または付随音声の内容と共通化できる。
【0051】
ページ情報。例えば、左開き/右開き、改行方向(縦書きの場合)。
【0052】
付随音声に関する情報。例えば、擬音や効果音の内容(擬音を説明するテキスト情報か音声情報)、出現回数、出現コマ、ボリューム、開始タイミング/終了タイミング、繰り返し回数、スピード、音量、擬音はページ情報解析部10によりコンテンツ画像から取得されたものでもよいし入出力部17などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。
【0053】
再生エフェクトに関する情報。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミング。
【0054】
画面拡大などのレイアウト変更の可否を示す変更可否情報。
【0055】
その他の情報。例えば、ページ余白の領域とその領域に配置する広告データ。その他の情報に含まれる変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生(スクロールビュー)は許可するが、コマ再生(コマビュー)は禁止するといった設定も可能である。あるいはその他の情報は、ページめくりに関する情報(たとえば、左開き/右開き)、改行方向(縦書きの場合)などのページ情報を含む。
【0056】
ページ情報解析部10は、DB11に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。例えば、ページ解析結果に関する情報は、ページごとのコンテンツの要素(コマ、描画、描画内の登場キャラクタの種類、吹き出し、セリフ、テキスト、表、図など)のレイアウト、コンテンツの要素の読み順、キャラクタの特徴(キャラクタ名、キャラクタの視線方向、キャラクタのサイズ、位置など)、セリフなどのテキストの内容、位置、量(文字数)、ページ/セクション/章などの区切りなどを含む。
【0057】
ページ情報解析部10によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
【0058】
あるいは、OCRにより、吹き出し内部のテキスト文章(セリフ)を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【0059】
コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点(コマまたは吹き出しの中心や重心など)を順次水平方向に走査することでページ番号またはセリフ番号が決定される。
【0060】
各コマの代表点は、1ページごとのコンテンツの要素の視線の止まる位置(アンカーポイント)となり、そのアンカーポイントを起点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
【0061】
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。
【0062】
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
【0063】
ルール学習は、例えば次のように行う。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。ページ情報解析部10は、複数の基本パターンについてそれぞれ特徴量(コマ境界線の太さや長さなど)を抽出する。そしてページ情報解析部10は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。ページ情報解析部10は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。ページ情報解析部10は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
【0064】
説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵(実写、描画を問わない)とセリフの双方からなるコンテンツである。
【0065】
再び図1を参照すると、電子書籍ビューワ2はスマートフォン、タブレットコンピュータなどの携帯型情報端末で構成され、画像を再生可能な表示手段、通信手段、操作検知手段、音声再生手段、情報処理装置などを備えている。
【0066】
具体的には、電子書籍ビューワ2は、データベース(DB)21、表示部24、コンテンツ表示制御部25、音声再生部26、操作部27、スピーカ28、入出力部29を備える。
【0067】
表示部24は、LCDなどの表示装置で構成される表示手段である。操作部27は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部27は、表示部24に積層されており、表示部24に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。
【0068】
音声再生部26は、コンテンツファイルに格納された音声に関する情報(読み上げ音声に関する情報および/または付随音声に関する情報)を音声化してスピーカ28から出力する回路である。
【0069】
入出力部29は、サーバ1の入出力部17から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部17および入出力部29は、通信手段であるが、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出し手段であってもよい。
【0070】
DB21は、DB11と同等の情報を格納する。すなわち、電子書籍ビューワ2が、サーバ1に電子書籍の送信を要求すると、サーバ1は、入出力部29を介してDB11のコンテンツファイルをDB21にエクスポートし、DB21に格納される。ただし、DB11の情報とDB21の情報は完全に同じである必要はない。DB11は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。DB21には、電子書籍ビューワ2のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。
【0071】
コンテンツ表示制御部25は、表示部24に対するコンテンツの表示制御を行う。詳細は後述する。
【0072】
図4はサーバ1と電子書籍ビューワ2との間で実行される配信処理のフローチャートを示す。S1・S4は電子書籍ビューワ2が実行し、S2・S3はサーバ1が実行する。この処理をサーバ1および電子書籍ビューワ2にそれぞれ実行させるプログラムは、サーバ1および電子書籍ビューワ2にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体(RAM、ROM、CDROMなど)に記憶されている。
【0073】
S1では、電子書籍ビューワ2は、入出力部29を介して、コンテンツ要求をサーバ1に送信する。
【0074】
S2では、サーバ1は、スクロールビューまたはコマビューに対応するコンテンツ要求を待機しており、入出力部17を介して電子書籍ビューワ2からコンテンツ要求を受信すると、S3に進む。
【0075】
S3では、サーバ1は、コンテンツファイルを電子書籍ビューワ2に送信する。すなわち、サーバ1は、スクロールビューに対応するコンテンツ要求があった場合は、スクロールビューに対応するコンテンツファイルを送信し、コマビューに対応するコンテンツ要求があった場合は、コマビューに対応するコンテンツファイルを送信する。
【0076】
S4では、電子書籍ビューワ2は、コンテンツファイルを受信し、DB21に格納する。そして、後述の表示処理に進む。コンテンツ画像の送信は、ページ単位あるいはコマ単位で行われてもよく、付帯情報も、送信されたコンテンツ画像の単位に対応する情報のみを送信してもよい。
【0077】
図5は電子書籍ビューワ2の実行する表示処理(スクロールビュー)のフローチャートを示す。図6は電子書籍ビューワ2の実行する表示処理(コマビュー)のフローチャートを示す。図5または図6のいずれかの処理は、操作部27からの選択に従って実行される。
【0078】
図5を参照すると、S10では、コンテンツ表示制御部25は、DB21のコンテンツファイルに基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。
【0079】
S11では、コンテンツ表示制御部25は、カレントアンカーポイントを基準にして、当該ページ全体の概略画像から表示用の詳細画像を切り出し、これをカレント画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を読み出してカレント画像とすることもできる。
【0080】
S12では、コンテンツ表示制御部25は、詳細画像を表示部24に表示する。
【0081】
S13では、コンテンツ表示制御部25は、DB21のコンテンツファイルの付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Yesの場合はS14に進み、Noの場合はS12に戻る。
【0082】
S14では、コンテンツ表示制御部25は、カレントアンカーポイントは、当該ページの最後のアンカーポイントであるか否かを判断する。Yesの場合はS21に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、S10以降を繰り返す。Noの場合はS15に進む。
【0083】
S15では、コンテンツ表示制御部25は、カレントアンカーポイントからその次の順のアンカーポイントまでを結ぶ線分に沿って、カレントアンカーポイントを起点に所定の単位ずつ(例えば1ドットずつ)増分した位置を、仮アンカーポイントに設定する。この増分はS16〜S19のループの回数分だけ繰り返される。
【0084】
S16・S17では、コンテンツ表示制御部25は、当該ページ全体の画像から仮アンカーポイントを基準にして、表示用の詳細画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。
【0085】
S18では、コンテンツ表示制御部25は、現在の仮アンカーポイントに対応する詳細画像から次の仮アンカーポイントに対応する詳細画像に切り替えて表示する。この結果、画面は所定の単位ずつスクロールすることになる。
【0086】
S19では、コンテンツ表示制御部25は、仮アンカーポイントが、カレントアンカーポイントの次のアンカーポイントに到達したか否かを判断する。Yesの場合はS12に戻り、次のアンカーポイントを新たなカレントアンカーポイントとし、そのカレントアンカーポイントに対応する詳細画像を表示する。Noの場合はS16に戻り、所定の単位ずつのスクロールを継続する。
【0087】
図6を参照すると、S31では、コンテンツ表示制御部25は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。
【0088】
S32では、コンテンツ表示制御部25は、カレントコマに対応する詳細画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。
【0089】
S33では、コンテンツ表示制御部25は、カレントコマ画像を表示部24に表示する。
【0090】
S34では、コンテンツ表示制御部25は、コンテンツファイルの付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Yesの場合はS35に進み、Noの場合はS33に戻る。
【0091】
S35では、コンテンツ表示制御部25は、カレントコマは、当該ページの最後のコマであるか否かを判断する。Yesの場合はS36に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、S31以降を繰り返す。Noの場合はS37に進む。
【0092】
S37では、コンテンツ表示制御部25は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、S32に戻り、カレントコマに対応する詳細画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。
【0093】
なお、S12またはS33において、画像は、操作部27に入力される画像送り指示に従って切り替わってもよい。切り替わる単位は、アンカーポイント(S12)かコマ(S33)となる。また、切り替わる順序は、アンカーポイント順あるいはコマ順に従う。ただし、ユーザがページの読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。
【0094】
図7は電子書籍ビューワ2の実行するセリフ処理のフローチャートを示す。この処理は、S12またはS33と並行して実行される。
【0095】
S41では、コンテンツ表示制御部25は、DB21のコンテンツファイルに基づき、コンテンツ画像の表示を開始する。これはS12またはS33と同様である。
【0096】
S42では、コンテンツ表示制御部25は、操作部16から、吹き出し内のセリフ表示方向として「横書き」が指示されたか、「縦書き」が指示されたかを判断する。「横書き」の指示があった場合はS51に進み、「縦書き」の指示があった場合はS61に進む。
【0097】
S51では、コンテンツ表示制御部25は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する横書きのセリフ(翻訳文)のテキスト情報に含まれるテキスト属性(サイズ、フォント、文字間隔、行間隔、行数など)と、当該吹き出しの話者である登場人物の情報を読み出す。
【0098】
S52では、コンテンツ表示制御部25は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を横書きに配置する。コンテンツ表示制御部25は、テキスト属性に従った横書きの配置でテキスト情報が収まるか否かを判断し、収まらないと判断した場合は、当該吹き出し内で、テキスト情報のスクロールを開始する。スクロールの態様は任意である。例えば、図8のように、テキスト情報の文字を1行か複数行に並べ、各行の先頭の文字から末尾の文字まで順次行方向にスクロールする。スクロール方向は言語の種類に依存する。英語ならば左から右へ読むから、スクロール方向は左である。全ての文字のスクロールが終わった場合、先頭の文字からスクロールを繰り返してもよい。
【0099】
S61では、コンテンツ表示制御部25は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する縦書きのセリフ(原文)のテキスト情報およびテキスト属性と、当該吹き出しの話者である登場人物の情報を読み出す。
【0100】
S62では、コンテンツ表示制御部25は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を縦書きに配置する(図9参照)。
【0101】
S71では、音声再生部26は、音声に関する情報に基づき、音声を再生する。
【0102】
まず、音声再生部26は、コンテンツ表示制御部25が現在表示している詳細画像に対応するセリフと、セリフに対応する音声と、そのセリフの属するコマに対応する付随音声を判断し、音声再生に関する情報(テキスト情報、登場人物の属性情報、自動読み上げの属性情報、擬音)を付帯情報から取得する。
【0103】
図10は、表示中の詳細画像(アンカーポイント3)に対応する音声再生に関する情報の一例を示す。
【0104】
音声再生部26は、音声再生に関する情報から、セリフ音声の属性を識別し、その属性に応じた音声を、スピーカ28から出力する。例えば、属性が、セリフ話者の年齢=15、セリフ話者の性別=女を示していれば、音声再生部26は、予め定められた十代前半の女性の音声の属性でセリフ音声を合成し、スピーカ28から出力する。
【0105】
話者に重要性がない(1回限りで登場するなど)、話者に個性がないなどの理由で、セリフ音声の属性がない場合は、デフォルトの属性でセリフ音声を合成する。
【0106】
また、読み上げボリュームや読み上げスピードなどの属性がない場合は、対応するセリフの配置される吹き出しの属性や、セリフの属性に基づいてセリフ音声を合成する。
【0107】
例えば、吹き出しの種類が、図3(B)のような大声のセリフを表す場合、音声再生部26は、当該セリフの読み上げボリュームを「大」とする。あるいは、吹き出しの種類が、図3(C)のような想像または回想のセリフを表す場合、音声再生部26は、当該セリフの読み上げボリュームを「小」とする。あるいは、吹き出しの種類が、図3(B)・図3(C)以外の場合、音声再生部26は、当該セリフの読み上げボリュームを「中」とする。
【0108】
あるいは、セリフの文字が強調文字や「!」マークを含む場合、音声再生部26は、当該セリフの読み上げボリュームを「大」とする。
【0109】
あるいは、セリフの文字間隔が「大」である場合、音声再生部26は、当該セリフの読み上げスピードを「スロー」とし、セリフの文字間隔が「小」である場合、音声再生部26は、当該セリフの読み上げスピードを「クイック」とする。
【0110】
ここで、音声再生部26は、吹き出しに配置するセリフの言語と同一の言語で音声化する。ただし、音声再生部26は、吹き出しの言語とは異なる言語の指定が操作部27からあれば、その言語で音声化する。
【0111】
音声再生部26は、取得した付帯情報に基づき、付随音声を再生する。吹き出しのセリフの表示開始/終了と当該吹き出しのセリフの読み上げの開始/終了は同期する。例えば、吹き出しに関する情報に吹き出しの読み順が含まれていれば、その順に沿って吹き出し内のセリフが読み上げられる。この際、制御部25は、読み上げられているセリフの再生に同期して、セリフ文字に視覚的効果を付与することもできる。例えば、セリフ文字への視覚的効果として、読み上げられているセリフの個々の文字をハイライトしたり、アンダーライン・傍点・着色などの装飾を付与したり、読み上げられているセリフ部分のみをスクロールで示したり、読み上げられていないセリフの個々の文字をグレーアウトしたり、読み上げられたセリフはフェードアウトさせるなどが挙げられる。
【0112】
付随音声に関する情報で、付随音声の開始/終了タイミングや繰り返し回数が指定されている場合、付随音声はそれに従って再生される。そのような指定がない場合、吹き出しのセリフの読み上げの開始/終了と、当該吹き出しの属するコマの付随音声の開始/終了も同期する。例えば、バックグラウンドの文字「わー」といった文字がある場合は、その文字が含まれている詳細画像の表示開始から終了まで、対応する歓声が再生される。
【0113】
音声再生部26は、同一の付随音声が複数のコマに渡って配置されている場合は、それらのコマの表示開始から終了までの間、当該付随音声を繰り返すなどして継続的に再生する。
【0114】
このように、本願のコンテンツファイルが電子書籍ビューワ2に提供されることにより、電子書籍ビューワ2は、セリフの言語に応じたセリフ配置、スクロール、セリフの音声再生、擬音や効果音の再生が可能となる。
【0115】
<第2実施形態>
第1実施形態の表示処理のS52における吹き出し内のテキスト情報のスクロールのさせ方は、各種のものが採用できる。例えば、図11のように、テキスト情報を1行でスクロールさせる。あるいは、図12のように、1行目のテキストを左方向にスクロールさせるともに、そのスクロールで生じた1行目の空白に、2行目以下のテキスト情報を繰り上げるらせん状スクロールをさせる。あるいは、図13のように、各行を同時にスクロールさせる。あるいは、図14のように、吹き出しの形状に合わせて、らせん状スクロールをさせる。
【0116】
なお、図4〜7の各処理をコンテンツ配信システム、サーバ1、電子書籍ビューワ2に実行させるためのプログラムは、DB11,DB21などのコンピュータ読み取り可能な記録媒体に記録されている。
【符号の説明】
【0117】
1:サーバ、2:電子書籍ビューワ
【特許請求の範囲】
【請求項1】
表示手段と、
コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出しの領域以外に描画されている擬音を示す文字に対応する第1のテキスト情報であって、前記画像に関連づけられた第1のテキスト情報と、前記ページ毎又はコマ毎の画像を前記表示手段の画面上でスクロール再生又はコマ再生による閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、
前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、
前記表示手段に画像が表示された際に、該画像に関連づけられた第1のテキスト情報に基づいて擬音を発生させる擬音発生手段と、
を備えたことを特徴とする電子コミックのビューワ装置。
【請求項2】
前記第1のテキスト情報は、前記擬音をそのまま文字にした情報、又は前記擬音を説明する情報であり、
前記擬音発生手段は、前記第1のテキスト情報に基づいて前記擬音を音声合成し、又は前記擬音に対応した効果音を選択して擬音を発生させることを特徴とする請求項1に記載の電子コミックのビューワ装置。
【請求項3】
前記第1のテキスト情報は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報を含み、
前記擬音発生手段は、前記擬音の発生タイミング、又は擬音の繰り返し回数を示す情報に基づいて前記擬音の発生を制御することを特徴とする請求項1又は2に記載の電子コミックのビューワ装置。
【請求項4】
前記情報取得手段により取得される電子コミックの情報は、前記吹き出しに入る台詞を示す第2のテキスト情報であって、前記画像及び該画像内での台詞の順番に関連づけられた第2のテキスト情報と、第2のテキスト情報毎に関連づけられた前記コミックに登場する登場人物の属性情報とを含み、
前記第2のテキスト情報に関連づけられた登場人物の属性情報に基づいて複数の合成音声の音質のうちから前記属性情報に対応する音質を選択する音質選択手段と、
前記表示手段に画像が表示された際に、前記画像及び該画像内での台詞の順番に関連づけられた前記第2のテキスト情報に基づいて該第2のテキスト情報に対応する台詞を、前記音質選択手段により選択された音質の合成音声により自動的に読み上げる自動読み上げ手段と、
を備えたことを特徴とする請求項1から3のいずれか1項に記載の電子コミックのビューワ装置。
【請求項5】
前記登場人物の属性情報は、前記コミックに登場する登場人物を識別するための識別情報と、前記登場人物の性別及び年齢のうちの少なくとも一方の情報とを含むことを特徴とする請求項4に記載の電子コミックのビューワ装置。
【請求項6】
前記情報取得手段により取得される電子コミックの情報は、前記第2のテキスト情報毎に関連づけられ、該第2のテキスト情報に対応する台詞の読み上げ時の読み上げ速度及び音量のうちの少なくとも1つを含む自動読み上げの属性情報を含み、
前記自動読み上げ手段は、前記第2のテキスト情報による読み上げ時に、該第2のテキスト情報に関連づけられた前記自動読み上げの属性情報に基づいて台詞の読み上げ速度及び音量のうちの少なくとも1つを制御して読み上げることを特徴とする請求項4又は5に記載の電子コミックのビューワ装置。
【請求項7】
前記情報取得手段により取得される電子コミックの情報は、前記吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、
前記表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて、前記吹き出し情報及び第2のテキスト情報に基づいて前記第2のテキスト情報から生成した文字を表示させる文字表示制御手段と、を備え、
前記文字表示制御手段は、前記自動読み上げ手段により現在読み上げている台詞に対応する文字を、他の吹き出しの台詞の文字と識別可能に表示させることを特徴とする請求項4から6のいずれか1項に記載の電子コミックのビューワ装置。
【請求項8】
前記第2のテキスト情報は、前記吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を示すテキスト情報であることを特徴とする請求項4から6のいずれか1項に記載の電子コミックのビューワ装置。
【請求項9】
前記情報取得手段により取得される電子コミックの情報は、前記吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、
前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
前記吹き出し情報及び第2のテキスト情報に基づいて前記表示手段の画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により翻訳文の全文が入ると判別されると、前記吹き出し領域内に前記翻訳文の全文を表示させ、前記判別手段により翻訳文の全文が入らないと判別されると、前記吹き出し領域内で前記翻訳文をスクロールさせる翻訳文表示制御手段と、
を備えたことを特徴とする請求項8に記載の電子コミックのビューワ装置。
【請求項10】
前記翻訳文表示制御手段は、前記判別手段により翻訳文の全文が入らないと判別されると、前記自動読み上げ手段により現在読み上げている台詞に対応する翻訳文のみをスクロールさせることを特徴とする請求項9に記載の電子コミックのビューワ装置。
【請求項11】
請求項1から10のいずれか1項に記載のビューワ装置の機能を含むユーザ端末と、
前記ユーザ端末からの要求に応じて前記電子コミックの情報を提供するサーバと、
からなる電子コミックの閲覧システム。
【請求項12】
請求項1から10のいずれか1項に記載のビューワ装置を実現させるビューワプログラム。
【請求項13】
請求項12に記載のビューワプログラムが記録された記録媒体。
【請求項1】
表示手段と、
コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出しの領域以外に描画されている擬音を示す文字に対応する第1のテキスト情報であって、前記画像に関連づけられた第1のテキスト情報と、前記ページ毎又はコマ毎の画像を前記表示手段の画面上でスクロール再生又はコマ再生による閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、
前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、
前記表示手段に画像が表示された際に、該画像に関連づけられた第1のテキスト情報に基づいて擬音を発生させる擬音発生手段と、
を備えたことを特徴とする電子コミックのビューワ装置。
【請求項2】
前記第1のテキスト情報は、前記擬音をそのまま文字にした情報、又は前記擬音を説明する情報であり、
前記擬音発生手段は、前記第1のテキスト情報に基づいて前記擬音を音声合成し、又は前記擬音に対応した効果音を選択して擬音を発生させることを特徴とする請求項1に記載の電子コミックのビューワ装置。
【請求項3】
前記第1のテキスト情報は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報を含み、
前記擬音発生手段は、前記擬音の発生タイミング、又は擬音の繰り返し回数を示す情報に基づいて前記擬音の発生を制御することを特徴とする請求項1又は2に記載の電子コミックのビューワ装置。
【請求項4】
前記情報取得手段により取得される電子コミックの情報は、前記吹き出しに入る台詞を示す第2のテキスト情報であって、前記画像及び該画像内での台詞の順番に関連づけられた第2のテキスト情報と、第2のテキスト情報毎に関連づけられた前記コミックに登場する登場人物の属性情報とを含み、
前記第2のテキスト情報に関連づけられた登場人物の属性情報に基づいて複数の合成音声の音質のうちから前記属性情報に対応する音質を選択する音質選択手段と、
前記表示手段に画像が表示された際に、前記画像及び該画像内での台詞の順番に関連づけられた前記第2のテキスト情報に基づいて該第2のテキスト情報に対応する台詞を、前記音質選択手段により選択された音質の合成音声により自動的に読み上げる自動読み上げ手段と、
を備えたことを特徴とする請求項1から3のいずれか1項に記載の電子コミックのビューワ装置。
【請求項5】
前記登場人物の属性情報は、前記コミックに登場する登場人物を識別するための識別情報と、前記登場人物の性別及び年齢のうちの少なくとも一方の情報とを含むことを特徴とする請求項4に記載の電子コミックのビューワ装置。
【請求項6】
前記情報取得手段により取得される電子コミックの情報は、前記第2のテキスト情報毎に関連づけられ、該第2のテキスト情報に対応する台詞の読み上げ時の読み上げ速度及び音量のうちの少なくとも1つを含む自動読み上げの属性情報を含み、
前記自動読み上げ手段は、前記第2のテキスト情報による読み上げ時に、該第2のテキスト情報に関連づけられた前記自動読み上げの属性情報に基づいて台詞の読み上げ速度及び音量のうちの少なくとも1つを制御して読み上げることを特徴とする請求項4又は5に記載の電子コミックのビューワ装置。
【請求項7】
前記情報取得手段により取得される電子コミックの情報は、前記吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、
前記表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて、前記吹き出し情報及び第2のテキスト情報に基づいて前記第2のテキスト情報から生成した文字を表示させる文字表示制御手段と、を備え、
前記文字表示制御手段は、前記自動読み上げ手段により現在読み上げている台詞に対応する文字を、他の吹き出しの台詞の文字と識別可能に表示させることを特徴とする請求項4から6のいずれか1項に記載の電子コミックのビューワ装置。
【請求項8】
前記第2のテキスト情報は、前記吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を示すテキスト情報であることを特徴とする請求項4から6のいずれか1項に記載の電子コミックのビューワ装置。
【請求項9】
前記情報取得手段により取得される電子コミックの情報は、前記吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、
前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
前記吹き出し情報及び第2のテキスト情報に基づいて前記表示手段の画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により翻訳文の全文が入ると判別されると、前記吹き出し領域内に前記翻訳文の全文を表示させ、前記判別手段により翻訳文の全文が入らないと判別されると、前記吹き出し領域内で前記翻訳文をスクロールさせる翻訳文表示制御手段と、
を備えたことを特徴とする請求項8に記載の電子コミックのビューワ装置。
【請求項10】
前記翻訳文表示制御手段は、前記判別手段により翻訳文の全文が入らないと判別されると、前記自動読み上げ手段により現在読み上げている台詞に対応する翻訳文のみをスクロールさせることを特徴とする請求項9に記載の電子コミックのビューワ装置。
【請求項11】
請求項1から10のいずれか1項に記載のビューワ装置の機能を含むユーザ端末と、
前記ユーザ端末からの要求に応じて前記電子コミックの情報を提供するサーバと、
からなる電子コミックの閲覧システム。
【請求項12】
請求項1から10のいずれか1項に記載のビューワ装置を実現させるビューワプログラム。
【請求項13】
請求項12に記載のビューワプログラムが記録された記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−133662(P2012−133662A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2010−286394(P2010−286394)
【出願日】平成22年12月22日(2010.12.22)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願日】平成22年12月22日(2010.12.22)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]