ビューワ装置、閲覧システム、ビューワプログラム及び記録媒体
【課題】電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を原文表示のときと同じような感覚で適切に観察できるようにすること。
【解決手段】表示部２４の画面に表示される画像中の吹き出し内に、この吹き出しに対応する台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別する実行制御部３０と、取得された吹き出し情報及びテキスト情報に基づいて画面に表示される画像中の吹き出し内の原文の台詞に替えて台詞の翻訳文を表示させる表示制御部２５であって、吹き出し内に台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、吹き出し内に台詞の翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に台詞の翻訳文を表示させる表示制御部２５を備えた。
【解決手段】表示部２４の画面に表示される画像中の吹き出し内に、この吹き出しに対応する台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別する実行制御部３０と、取得された吹き出し情報及びテキスト情報に基づいて画面に表示される画像中の吹き出し内の原文の台詞に替えて台詞の翻訳文を表示させる表示制御部２５であって、吹き出し内に台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、吹き出し内に台詞の翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に台詞の翻訳文を表示させる表示制御部２５を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子コミックの画像の吹き出し内に原文の台詞を所定の言語に翻訳した翻訳文を表示することができるビューワ装置、閲覧システム、ビューワプログラム及び記録媒体に関する。
【背景技術】
【０００２】
近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、携帯端末等の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。
【０００３】
特許文献１によると、原稿縦書き、翻訳文横書きなら、レイアウト情報を回転し、横書きのレイアウトに変換する。
【０００４】
特許文献２によると、ネームが吹き出しの枠に収まらない場合には、文字の級数を下げたり、文字間隔を詰めたりする。
【０００５】
特許文献３によると、文字列を含むブロックの縦方向のサイズは固定し、横方向のサイズのみを拡大する。
【０００６】
特許文献４によると、流し込んだネームの全文字が縦横過不足無く収まるようにテキストボックスの大きさを調整する。
【０００７】
特許文献５によると、表示画面に帯状のテロップ領域を設けて、吹き出し内の台詞に対する翻訳文を、テロップ領域に字幕で表示させる。
【０００８】
特許文献６によると、画像の元位置に生じるパターンの抜けを周囲の画像の構成パターンから補って塞ぐ。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平6-96288号公報
【特許文献２】特開2006-185435号公報
【特許文献３】特開2005-056043号公報
【特許文献４】特開2005-004738号公報
【特許文献５】特開2009-098727号公報
【特許文献６】特開2000-20687号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
単に画像の倍率に応じてテキストボックスの大きさを調整する画像処理技術（特許文献４を参照）や、翻訳文を帯状のテロップ領域に字幕で流して表示する画像処理技術（特許文献５を参照）は知られているが、そのような従来技術を吹き出しに台詞の翻訳文を入れる場合に適用しても、コミックに特有の課題を解決することができない。
【００１１】
電子コミックでは、縦書きの台詞（例えば日本文）が描かれた吹き出し内に、その台詞の翻訳文（例えば英文）を横書きで表示しようとすると、画像の表示倍率とは無関係に、翻訳文の全文が吹き出しに入らなくなる場合が多い。また、字幕表示では、画像の周囲に（すなわち翻訳文を十分に表示可能な位置）に翻訳文を表示する場合が一般的である。もしも吹き出しの位置にテロップ領域を設け、吹き出しから翻訳文がはみ出してしまえば、登場人物の絵に翻訳文が重なってしまうという問題もある。吹き出し内に翻訳文を収めようとして、数文字ずつテロップで流すようにした場合には、その翻訳文の全体の内容をユーザが把握し難くなるという問題もある。また、縦長の吹き出しを横長の吹き出しに替える場合には、絵柄の無い吹き出し領域の一部に絵柄を追加する必要が出てきてしまう。登場人物の絵柄をそのままユーザに見せたいという著作者の要求もある。このような電子コミックに特有の課題についても、その課題を解決可能な構成についても、先行技術文献に開示されていない。
【００１２】
本発明はこのような事情に鑑みてなされたもので、電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を原文表示のときと同じような感覚で適切に観察できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備えたことを特徴とするビューワ装置を提供する。
【００１４】
即ち、本発明によれば、吹き出し内に台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別し、台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、台詞の翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に台詞の翻訳文を表示させるので、ユーザは、原文表示の場合と同じような感覚で吹き出し内の翻訳文を観察することができる。
【００１５】
本発明の一実施形態にて、前記電子コミック情報は、前記画像内の登場人物の存在領域を示す登場人物領域情報を含む登場人物情報を有し、前記翻訳文表示制御手段は、前記登場人物領域情報に基づいて前記登場人物の存在領域と重ならないように前記吹き出しを拡大させることを特徴とする。
【００１６】
本発明の一実施形態にて、前記翻訳文表示制御手段は、前記電子コミック情報に基づいて前記吹き出し内の原文が縦書きであり前記翻訳文の所定の言語が横書きであることを検知、又は前記吹き出し内の原文が横書きであり前記翻訳文の所定の言語が縦書きであることを検知すると、前記吹き出しを横方向及び縦方向のうち前記翻訳文の所定の言語の方向のみに拡大させることを特徴とする。
【００１７】
本発明の一実施形態にて、前記吹き出し情報は、吹き出し口の位置情報を含み、前記翻訳文表示制御手段は、前記吹き出し口の位置情報に基づいて前記吹き出し口の位置が移動しないように前記吹き出しを拡大させることを特徴とする。
【００１８】
本発明の一実施形態にて、前記吹き出情報は、吹き出しの描線の種類を含み、前記翻訳文表示制御手段は、前記吹き出しの描線の種類に基づいて前記同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なうことを特徴とする。
【００１９】
本発明の一実施形態にて、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記翻訳文の全文が吹き出し内に入るように前記画像を拡大させるとともに、この拡大させた前記画像の吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備えたことを特徴とするビューワ装置を提供する。
【００２０】
即ち、本発明によれば、吹き出し内に台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別し、台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、台詞の翻訳文の全文が入らないと判別されると、台詞の翻訳文の全文が吹き出し内に入るように画像を拡大させるとともに、この拡大させた画像の吹き出し内に台詞の翻訳文を表示させるので、ユーザは、原文表示の場合と同じような感覚で吹き出し内の翻訳文を観察することができる。
【００２１】
本発明の一実施形態にて、前記判別手段は、前記表示手段の画面サイズに応じて表示される吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別することを特徴とする。
【００２２】
本発明の一実施形態にて、前記テキスト情報は、文字サイズ及び文字種を示す文字属性情報を含み、前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成することを特徴とする。
【００２３】
本発明の一実施形態にて、前記文字サイズを変更させる文字サイズ変更手段を備えたことを特徴とする。
【００２４】
本発明の一実施形態にて、前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中の吹き出し内に配置する前記翻訳文の行数、行間隔又は文字間隔を調整する機能を有し、前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別することを特徴とする。
【００２５】
また、本発明は、前記ビューワ装置の機能を含むユーザ端末と、前記ユーザ端末からの要求に応じて前記電子コミック情報を提供するサーバと、からなる閲覧システムを提供する。
【００２６】
また、本発明は、前記ビューワ装置を実現させるビューワプログラムを提供する。
【００２７】
また、本発明は、前記ビューワプログラムが記録された記録媒体を提供する。
【００２８】
なお、スクロール再生は、いわゆるスクロールビューの再生を含む。スクロール再生では、ページ毎のコンテンツ画像を表示画面上で自動的に（あるいは操作により）スクロールして表示する。コマ再生は、いわゆるコマビューの再生を含む。コマ再生では、コマ毎のコンテンツ画像（ページ毎のコンテンツ画像からコマ単位で切り出された画像を含む）を表示画面上で自動的に（あるいは手動で）切替えて表示する。
【発明の効果】
【００２９】
本発明によれば、電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を原文表示のときと同じような感覚で適切に観察できるようにすることができる。
【図面の簡単な説明】
【００３０】
【図１】閲覧システムの概略構成図
【図２】吹き出しの例を示す図
【図３】電子コミック情報のフォーマットの一例を示す図
【図４】電子コミック情報の配信処理を示すフローチャート
【図５】スクロールビューにおける表示処理の概略を示すフローチャート
【図６】コマビューにおける表示処理の概略を示すフローチャート
【図７】表示処理の一例の詳細を示すフローチャート
【図８】原文の台詞入りの表示画像の一例を示す図
【図９】拡大させた吹き出し内に翻訳文を表示した表示画像であって吹き出しを周囲に拡大した場合の表示画像を示す図
【図１０】拡大させた吹き出し内に翻訳文を表示した表示画像であって吹き出し口の位置が移動しないように吹き出しを拡大した場合の表示画像を示す図
【図１１】拡大させた吹き出し内に翻訳文を表示した表示画像であって吹き出しをコマの内側に向けて拡大した場合の表示画像を示す図
【図１２】拡大させた画像の吹き出し内に翻訳文を表示した表示画像を示す図
【図１３】表示処理の他の例の詳細を示すフローチャート
【発明を実施するための形態】
【００３１】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３２】
図１は本発明の好ましい実施形態に係る電子書籍閲覧システムの構成を示す。このシステムは、サーバ１と電子書籍ビューワ２とを含む。サーバ１は、特定の管理者の指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイス、記憶デバイスを備えたコンピュータ装置である。電子書籍ビューワ２は、画像を表示可能な表示デバイス、音を出力可能な音出力デバイス、ユーザの指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイスを備えたユーザ端末である。電子書籍ビューワ２は、例えば、携帯電話、携帯型ゲーム機、携帯型コンピュータ装置などの携帯端末で構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。
【００３３】
サーバ１は、解析部１０、データベース（ＤＢ）１１、操作部１６、入出力部１７を備える。
【００３４】
ＤＢ１１は、電子コミック情報１２を記憶する。電子コミック情報の詳細は後述する。
【００３５】
解析部１０は、ＣＰＵなどの制御デバイスで構成される。ＤＢ１１は、ハードディスクやメモリなどの記憶デバイスで構成される。操作部１６は、キーボード、マウス、タッチパッドなどの操作デバイスで構成される。
【００３６】
電子コミック情報は、解析部１０から出力された解析結果、操作部１６から入力された情報、あるいは、入出力部１７を介して入力された情報を含む。
【００３７】
解析部１０は、オリジナルコンテンツから生成されたデジタルのコンテンツ画像（マンガ画像）を解析し、コンテンツ画像の付帯情報を生成する。
【００３８】
説明の簡略のため、オリジナルコンテンツはマンガ画像を含む書籍であり、配信されるコンテンツ画像はページ単位（又はコマ単位）の画像（実写、描画を問わない）であるものとする。また、コンテンツ画像は、図２（Ａ）〜（Ｄ）に示すような吹き出しと、吹き出し内の台詞を含んでいるものとする。ただし、吹き出し及び台詞の一方または両方がないページやコマがあってもよい。
【００３９】
図３は、ヘッダ、ページ単位（又はコマ単位）のコンテンツ画像、及びコンテンツ画像の付帯情報によって構成された電子コミック情報を示す。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。
【００４０】
ヘッダは、ファイルの属性（ファイル名など）を示す。
【００４１】
コンテンツ画像は、ページ単位（又はコマ単位）のマンガの画像であり、ページ番号（又はコマ番号）に対応づけられている。コンテンツ画像は、例えば、スキャナなどでオリジナルコンテンツを電子データ化して作成される。オリジナルコンテンツは、マンガ書籍、新聞、週刊誌、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。コンテンツ画像の保存形式は任意であり、ＰＤＦファイルやＪＰＥＧ画像ファイルなどの形式で保存される。
【００４２】
コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。拡大許可領域を示す情報が付加されていてもよい。
【００４３】
付帯情報は、図３に示すように、検索情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、その他の情報によって構成されている。
【００４４】
検索情報は、検索に用いるタグ情報である。例えば、ページ番号（ページ識別情報）、コマ番号（コマ識別情報）、エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、タイトル、作者、出版社（版権者）などの情報を含んでいてもよい。
【００４５】
吹き出し情報は、ページ単位（又はコマ単位）のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの基点（吹き出し口）の位置と向き、吹き出しの描線の種類（点線、実線など）、コンテンツ画像の要素（話者など）と吹き出しの基点との相対的位置関係（例えば吹き出しの口と吹き出しの口が指し示す話者の顔との位置関係及び間隔）、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（枠線）のコンテンツ画像内での位置を示す情報（例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報）である。吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報でもよい。また、吹き出しの代表位置（例えば中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図２（Ａ）〜（Ｄ）のような４つの吹き出し種類があれば、その各々に対応する識別情報Ａ〜Ｄを吹き出しの描線の種類として記憶する。
【００４６】
テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文章）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）も、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール制御情報（スクロール方法）を含みうる。
【００４７】
登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、登場人物（「話者」ともいう）のコンテンツ画像（概略画像および詳細画像）内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）。なお、本明細書中の「登場人物」（話者）とは、吹き出しのセリフ（台詞）の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物が発するセリフも含む。
【００４８】
表示制御情報は、ページ単位又はコマ単位のコンテンツ画像の表示制御に関する情報である。この情報は、画面スクロールおよび／または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位（コマなど）、切り替えタイミングの決定方法（手動、自動、半自動）、切り替えに付随する表示効果（ワイプ、フェードイン／フェードアウト、ディゾルブ）などを含みうる。
【００４９】
自動読み上げの属性情報は、例えば、読み上げ速度、音量、話者の感情などである。
【００５０】
表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、１ページごとの画像の部分領域（典型的にはコマかコマの一部）の視線の止まる位置（アイストップ）である。
【００５１】
再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。
【００５２】
あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ１にアクセスしてきた電子書籍ビューワ２か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。
【００５３】
あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ１にアクセスしてきた電子書籍ビューワ２のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ２から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。
【００５４】
表示切り替え方法は、電子書籍ビューワ２のユーザによる操作部２７への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。
【００５５】
また、表示制御情報には、ページ画像内のコマの存在領域を示すコマ領域情報が含まれる。
【００５６】
読み上げ音声に関する情報は、例えば、読み上げ音声の内容、開始タイミング／終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性（性別、年齢など）である。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび／または付随音声の内容と共通化できる。
【００５７】
また、付随音声に関する情報が含まれる。例えば、擬音や効果音の内容（原文および翻訳文のテキスト情報）、出現回数、出現コマ、ボリューム、開始タイミング／終了タイミング、スピード、音量、擬音は解析部１０によりコンテンツ画像から取得されたものでもよいし入出力部１７などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。
【００５８】
再生エフェクト情報は、再生エフェクトに関する情報である。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミングである。
【００５９】
その他の情報には、ページめくりに関する情報（たとえば、左開き／右開き）、改行方向（縦書きの場合）などのページ情報が含まれる。また、その他の情報には、ページ余白の領域とその領域に配置する広告データが含まれる。また、その他の情報には、変更可否情報が含まれる。変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生（スクロールビュー）は許可するが、コマ再生（コマビュー）は禁止するといった設定も可能である。
【００６０】
サーバ１の解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。その解析の結果得られた付帯情報は、コンテンツ画像とともに、電子コミック情報となる。電子コミック情報は、ページ単位又はコマ単位でもよいし、エピソード単位でもよい。解析部１０によるコンテンツ画像の解析のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出してもよい。コンテンツ画像の要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の形状のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
【００６１】
また、ＯＣＲ（光学文字読取）により、吹き出し内の台詞（原文）を認識し、それを囲む領域を吹き出しの領域と認識してもよい。読み出された台詞の各文字は、文字の向きに応じてソートされる。例えば、台詞が縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【００６２】
コマ番号または台詞番号は、所定のルールに従って決定される。例えば、コンテンツ解析結果の情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号または台詞番号が決定される。
【００６３】
各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを基点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
【００６４】
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号または台詞番号が決定されることもできる。
【００６５】
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
【００６６】
ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
【００６７】
解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。
【００６８】
電子コミック情報には解析部１０のページ解析結果に関する情報が含まれる。解析部１０によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
【００６９】
あるいは、ＯＣＲにより、吹き出し内部のテキスト文章（セリフ）を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【００７０】
コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号またはセリフ番号が決定される。
【００７１】
各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを基点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
【００７２】
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。
【００７３】
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
【００７４】
ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
【００７５】
説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵（実写、描画を問わない）とセリフの双方からなるコンテンツである。
【００７６】
次に、電子書籍ビューワ２について説明する。
【００７７】
電子書籍ビューワ２は、図１に示すように、データベース（ＤＢ）２１、表示部２４、表示制御部２５、音声再生部２６、操作部２７、入出力部２９、実行制御部３０を備える。
【００７８】
ＤＢ２１は、電子コミック情報などの各種情報を格納する。電子コミック情報は、前述のように、コミックのページ毎又はコマ毎のコンテンツ画像と、コミックの登場人物の台詞が入る吹き出しのコンテンツ画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面にコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む。
【００７９】
表示部２４は、画像を表示可能な表示デバイスで構成される表示手段である。表示部２４は、例えばＬＣＤにより構成される。
【００８０】
表示制御部２５は、画像表示制御手段として、付帯情報内の表示制御情報に基づいて、コンテンツ画像を表示部２４の画面にスクロール再生（又はコマ再生）で表示させる。
【００８１】
また、表示制御部２５は、翻訳文表示制御手段として、付帯情報内の吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内の原文の台詞に替えて、その吹き出し内に翻訳文を表示させる。表示制御部２５は、具体的には、付帯情報のテキスト情報と文字属性情報とに基づいて、表示用の文字を生成する。本例では、吹き出し内に原文の台詞が表示されている場合、その原文の台詞の替わりに翻訳文を表示する。
【００８２】
音声再生部２６及びスピーカ２８は、自動読み上げ手段として、付帯情報のテキスト情報及び自動読み上げ属性情報に基づいて、コンテンツ画像内のテキストを読み上げる。
【００８３】
操作部２７は、ユーザの指示入力を受け付ける。操作部２７は、表示部２４の画面上に配置したタッチセンサでもよいし、キー入力デバイス、ポインティングデバイスでもよい。
【００８４】
入出力部２９は、各種情報の入出力を行なう。本例の入出力部２９は、サーバ１と通信する通信デバイスで構成されており、サーバ１に電子コミック情報要求を送信して、サーバ１から電子コミック情報を受信することで、電子コミック情報を取得する。入出力部２９は、本例のような通信手段には特に限定されず、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出しを行なう手段であってもよい。
【００８５】
実行制御部３０は、判別手段として、表示部２４の画面に表示される画像中の吹き出し内に、この吹き出しに対応する翻訳文の全文が入るか否かを判別する。実行制御部３０は、具体的には、ＤＢ２１に予め記憶された画面サイズ情報と、付帯情報の吹き出し情報及びテキスト情報とに基づいて、表示部２４の画面サイズに応じて表示される吹き出し内に、翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。
【００８６】
なお、表示部２４に表示される文字のサイズは、操作部２７の操作により、変更させることが可能である。
【００８７】
表示制御部２５は、実行制御部３０により吹き出し内に翻訳文の全文が入ると判別されると、吹き出し内に翻訳文の全文を表示させ、実行制御部３０により前記翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる。
【００８８】
また、表示制御部２５は、表示部２４の画面に表示される画像中の吹き出し内に配置する翻訳文の行数、行間隔又は文字間隔を調整する機能を有する。実行制御部３０は、表示制御部２５により調整される場合の翻訳文の全文が、吹き出し内に入るか否かを判別する。
【００８９】
また、表示制御部２５は、付帯情報内の登場人物の領域情報に基づいて登場人物の存在領域と重ならないように前記吹き出しを拡大させる。
【００９０】
また、表示制御部２５は、表示制御部２５は、付帯情報で示された吹き出しの描線の種類に基づいて、同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なう。
【００９１】
サーバ１のＤＢ１１の情報と電子書籍ビューワ２のＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻の画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したい電子コミック情報のみが格納されていれば足りる。
【００９２】
図４はサーバ１と電子書籍ビューワ２との間で実行される配信処理のフローチャートをである。Ｓ１・Ｓ４は電子書籍ビューワ２が実行し、Ｓ２・Ｓ３はサーバ１が実行する。この処理をサーバ１および電子書籍ビューワ２にそれぞれ実行させるプログラムは、サーバ１および電子書籍ビューワ２にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。
【００９３】
Ｓ１では、電子書籍ビューワ２は、入出力部２９を介して、コンテンツ要求をサーバ１に送信する。
【００９４】
Ｓ２では、サーバ１は、コンテンツ要求を待機しており、入出力部１７を介して電子書籍ビューワ２からコンテンツ要求を受信すると、Ｓ３に進む。
【００９５】
Ｓ３では、サーバ１は、ＤＢ１１に記憶されている電子コミック情報１２をコンテンツとして、入出力部１７を介して電子書籍ビューワ２に送信する。なお、電子コミック情報１２の送信は、ページ単位あるいはコマ単位で行われてもよい。
【００９６】
Ｓ４では、電子書籍ビューワ２は、入出力部１７を介して、電子コミック情報１２を受信し、ＤＢ２１に格納する。
【００９７】
本例では、電子書籍ビューワ２が、電子コミック情報１２を通信で取得する場合を例に説明したが、電子コミック情報の取得態様は特に限定されない。例えば、メモリカードなどの記録媒体から電子コミック情報を読み込むようにしてもよい。
【００９８】
電子コミック情報を取得した電子書籍ビューワ２は、後述の表示処理に進む。
【００９９】
図５は電子書籍ビューワ２の実行するスクロールビューの表示処理のフローチャートを示す。図６は電子書籍ビューワ２の実行するコマビューの表示処理のフローチャートを示す。図５または図６のいずれかの処理は、操作部２７からの選択に従って実行される。
【０１００】
図５を参照すると、Ｓ１０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。
【０１０１】
Ｓ１１では、表示制御部２５は、当該ページ全体のコンテンツ画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これをカレント画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出してカレント画像とすることもできる。
【０１０２】
Ｓ１２では、表示制御部２５は、詳細画像を表示部２４に表示する。
【０１０３】
Ｓ１３では、表示制御部２５は、付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ１４に進み、Ｎｏの場合はＳ１２に戻る。
【０１０４】
Ｓ１４では、表示制御部２５は、カレントアンカーポイントが当該ページの最後のアンカーポイントであるか否かを判断する。Ｙｅｓの場合はＳ２１に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ１０以降を繰り返す。Ｎｏの場合はＳ１５に進む。
【０１０５】
Ｓ１５では、表示制御部２５は、カレントアンカーポイントの次の順のアンカーポイントを、新たにカレントアンカーポイントに設定する。
【０１０６】
Ｓ１６・Ｓ１７では、表示制御部２５は、当該ページ全体の画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、電子コミック情報２２の詳細画像を用いることもできる。
【０１０７】
Ｓ１８では、表示制御部２５は、現在表示されている詳細画像から次の詳細画像に向けて、コンテンツ画像を所定の増分ずつ（例えば１ドットずつ）スクロールしつつ表示する。
【０１０８】
Ｓ１９では、コンテンツ表示制御部２５は、コンテンツ画像のスクロール表示が次の詳細画像に到達したか否かを判断する。Ｙｅｓの場合はＳ１２に戻り、次の詳細画像を表示する。Ｎｏの場合はＳ１６に戻り、スクロールを継続する。
【０１０９】
図６を参照すると、Ｓ３１では、表示制御部２５は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。
【０１１０】
Ｓ３２では、表示制御部２５は、カレントコマに対応する部分画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出して用いることもできる。
【０１１１】
Ｓ３３では、表示制御部２５は、カレントコマ画像を表示部２４に表示する。
【０１１２】
Ｓ３４では、表示制御部２５は、電子コミック情報２２の付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ３５に進み、Ｎｏの場合はＳ３３に戻る。
【０１１３】
Ｓ３５では、表示制御部２５は、カレントコマは、当該ページの最後のコマであるか否かを判断する。Ｙｅｓの場合はＳ３６に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ３１以降を繰り返す。Ｎｏの場合はＳ３７に進む。
【０１１４】
Ｓ３７では、表示制御部２５は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、Ｓ３２に戻り、カレントコマに対応する部分画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。
【０１１５】
図７は、電子書籍ビューワ２にて実行されるコンテンツ画像の表示処理（図５のＳ１２及び図６のＳ３３）の一例を示すフローチャートである。本処理は、電子書籍ビューワ２の制御デバイス（実行制御部３０）によって、ビューワプログラムに従って実行される。図８は、サーバ１から配信されたコンテンツ画像であって、吹き出し内に原文の台詞が入っているコンテンツ画像を示す。
【０１１６】
ステップＳ４０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、画像の表示処理を開始する。コンテンツ画像は、操作部２７に入力される画像送り指示に従って切り替わりうる。コンテンツ画像の切り替わる単位は、ページ（あるいはコマ）である。また、切り替わる順序は、ページ番号（あるいはコマ番号）に従う。ただし、ユーザがページ（あるいはコマ）の読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。
【０１１７】
ステップＳ４２では、表示制御部２５は、コンテンツ画像内に埋め込まれている原文のまま台詞を表示する原文表示を行なうか、コンテンツ画像の付帯情報に含まれる翻訳文を表示する翻訳文表示を行なうかを判定する。原文表示の場合にはステップＳ５２に進み、翻訳文表示の場合にはステップＳ４４に進む。
【０１１８】
例えば、操作部２７により、原文表示を行なうか翻訳文表示を行なうかの選択指示を受け付けうる。本例では、原文表示をデフォルトとし、翻訳文表示が選択指示された場合のみ翻訳文表示を行なう。
【０１１９】
ステップＳ４４では、表示制御部２５は、付帯情報の吹き出し情報とテキスト情報とＤＢ２１に記憶されている画面サイズ情報とに基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出しの領域内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。Ｙｅｓ（吹き出しの領域内に翻訳文の全文が入る場合）であればステップＳ４６に進み、Ｎｏ（吹き出しの領域内に翻訳文の全文が入らない場合）であればステップＳ４８に進む。
【０１２０】
例えば、台詞の翻訳文が横書きである場合には、その翻訳文の横方向の各行ごとに、吹き出しの横方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。台詞の翻訳文が縦書きである場合には、その翻訳文の縦方向の各行ごとに、吹き出しの縦方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。
【０１２１】
吹き出しの領域内に翻訳文の全文が入ると判別された場合、ステップＳ４６にて、表示制御部２５は、吹き出しを拡大させることなく、コンテンツ画像の吹き出しの領域内に、翻訳文の全文を合成する。
【０１２２】
吹き出しの領域内に翻訳文の全文が入らないと判別された場合、ステップ４８にて、表示制御部２５は、コミック画像の吹き出しを拡大させるとともに、ステップＳ５０にて、表示制御部２５は、その拡大させた吹き出しの領域内に、翻訳文を合成する。
【０１２３】
ステップＳ５２にて、表示制御部２５は、コンテンツ画像内の全ての吹き出しの翻訳文合成が終了したか否かを判定する。
【０１２４】
ステップＳ５４では、表示制御部２５は、コンテンツ画像を表示部２４に表示させる。原文表示（翻訳文非表示）の場合、例えば図８に示すコンテンツ画像が表示部２４の画面に表示される。翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入ると判別されていれば、図９中の左側の吹き出し内に示すように、吹き出しを拡大することなく、翻訳文の全文（”You’re great. Ritsuko.）を吹き出し内に一度に表示させる。また、翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入らないと判別されていれば、図９中の右側の吹き出し内に示すように、吹き出しを拡大して、翻訳文の全文（"An assistant has been ready for this situation.”）を表示させる。
【０１２５】
以上のように本実施形態では、コンテンツ画像（ページ毎のページ画像又はコマ毎のコマ画像）と、そのコンテンツ画像内の吹き出しの領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを有する電子コミックを取得し（Ｓ４）、取得された表示制御情報に基づいて表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させる表示処理では、少なくとも吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別し（Ｓ４４）、翻訳文の全文が入ると判別された場合には、コンテンツ画像中の吹き出し内の原文の台詞に替えて翻訳文の全文を吹き出し内に合成して表示させ（Ｓ４６及びＳ５４）、翻訳文の全文が入らないと判別された場合には、吹き出しを拡大させるとともに（Ｓ４８）、この拡大させた吹き出し内に翻訳文の全文を合成して表示させる（Ｓ５０及びＳ５４）。
【０１２６】
したがって、吹き出しからはみ出てしまうような長い翻訳文であっても、吹き出しが拡大され、この拡大された吹き出し内に翻訳文の全文を表示し、ユーザに閲覧させることができる。
【０１２７】
吹き出し拡大の態様には各種ある。
【０１２８】
図９では、表示制御部２５により、吹き出しの代表点（例えば中心点）を基準にして、吹き出しを周囲に拡大した場合を示している。吹き出しは登場人物の存在領域に重ならないように拡大することが、好ましい。本例では、吹き出しを、その吹き出しの描線の外側に等間隔で拡大している。
【０１２９】
図１０は、表示制御部２５により、付帯情報内の吹き出し口の位置情報（例えば吹き出しの基点の位置）に基づいて、吹き出し口の位置が移動しないように、吹き出しを拡大させた場合を示している。図１０には、翻訳文が横書きである場合に吹き出しを横方向に伸ばして拡大させた場合を示したが、表示制御部２５は、翻訳文が縦書きである場合、吹き出しを縦方向に伸ばすように拡大させる。
【０１３０】
また、本例では、三角形の吹き出し口を示したが、吹き出しの形状は特に限定されない。図２（Ｃ）に示したような複数の小円からなる吹き出し口もある。吹き出しは、吹き出し口が設けられている側とは反対側の方向に拡大される。
【０１３１】
本例では、必要に応じて、コマの枠外に、吹き出しを拡大させる。表示制御部２５は、付帯情報内の表示制御情報（コマ領域情報など）に基づいて、ページの画像のうち現在のアンカーポインがある現在コマの周辺領域を検出し、その周辺領域に向けて吹き出しを拡大する。
【０１３２】
図１１は、表示制御部２５により、付帯情報内の登場人物領域情報に基づいて、登場人物の存在領域と重ならないように、且つ、コマの枠内に吹き出しが入るようにして、吹き出しを拡大させた場合を示す。なお、登場人物の存在領域のうち特定部分（例えば顔部分）の領域のみと重ならないように、吹き出しを拡大してもよい。また、登場人物の顔部分と吹き出し口との間隔が閾値よりも大きければ、吹き出し口を登場人物の顔部分に重ならない範囲内で顔部分に近づけるようにしてもよい。
【０１３３】
吹き出しをどの方向に拡大するかは、事前に優先順位をつけておき、付帯情報に設定しておくことができる。また、数種類の吹き出し拡大パターン（拡大方向など）を付帯情報に設定しておき、操作部２７でユーザに選択させるようにしてもよい。
【０１３４】
また、図１１のようにコマの枠内で吹き出しを拡大させた場合、登場人物の吹き出しが重ならないように表示制御しても、現画像の絵の一部に吹き出しの拡大部分が重なってしまう。このようなコマ枠内での吹き出し拡大を好まない著作者（またはユーザ）が存在する。そこで、設定により、図１０のように積極的にコマの枠外に吹き出しを拡大させるようにしてもよい。例えば、電子コミック情報内の吹き出し情報に、コマ枠外への吹き出し拡大を優先するか否かを示す吹き出し拡大制御情報を設定し、表示制御部２５が拡大制御情報に基づいてコマ枠外への吹き出し拡大を優先するか（あるいはコマ枠内への吹き出し拡大を優先するか）を判別し、その判別結果に基づいて吹き出し拡大方法（コマ枠外への拡大／コマ枠内への吹き出し拡大）を切替えるようにしてもよい。また、操作部２７からの指示入力により、上記吹き出し拡大方法を切替えるようにしてもよい。また、表示制御部２５が、スクロール再生の場合には、自コマに吹き出し拡大部分がかからないようにコマ枠外への拡大を優先し、コマ再生の場合にはコマ枠内への吹き出し拡大を行なうように、切替えてもよい。
【０１３５】
なお、付帯情報内のテキスト情報は、吹き出し内の原文が横書きか縦書きかを示す情報と、翻訳文の所定の言語が横書きか縦書きかを示す情報とを有する。図１０及び図１１に示した場合では、表示制御部２５は、テキスト情報（または吹き出し情報）から、吹き出し内の原文が縦書きであって翻訳文の所定の言語が横書きであることを検知すると、吹き出しを翻訳文の全文が入るように、横方向のみに拡大させている。その一方で、表示制御部２５は、テキスト情報（または吹き出し情報）から、吹き出し内の原文が横書きであって翻訳文の所定の言語が縦書きであることを検知すると、吹き出しを翻訳文の全文が入るように、縦方向のみに拡大させる。
【０１３６】
また、表示制御部２５は、原文の台詞よりも翻訳文が短くなる場合、翻訳文の表示位置をセンタリングする（あるいは文字サイズを大きくする）ようにしてもよい。例えば、スペイン語を英語に翻訳した場合などに翻訳文が短くなりうる。
【０１３７】
また、表示制御部２５は、コマの縮小率等に応じて、吹き出しの拡大率を変える。また、吹き出しをどの方向・形に拡大するかは、事前に優先順位をつけておいたり、パターンを用意しておき、操作部２７で指定可能にしてもよい。さらに、吹き出しの形状に応じて翻訳文の文字のフォント（書体）やポイント数を変えるようにしてもよい。
【０１３８】
以上、図７〜図１１を用いて、吹き出し内に翻訳文の全文が入らないと判別された場合に吹き出しを拡大する形態について説明したが、翻訳文の全文が吹き出しに入らないと判別された場合、図１２に示すように、表示制御部２５が、吹き出し内に翻訳文の全て入るようにコンテンツ画像を拡大することでコマ全体を拡大するようにしてもよい。この場合に電子書籍ビューワ２で実行されるコンテンツ画像の表示処理（図５のＳ１２及び図６のＳ３３）の一例のフローチャートをを図１３に示す。本処理は、電子書籍ビューワ２の制御デバイス（実行制御部３０）によって、ビューワプログラムに従って実行される。
【０１３９】
ステップＳ４０〜Ｓ４４及びステップＳ５２は、図７の場合（吹き出し拡大の場合）と同様であり、説明を省略する。
【０１４０】
吹き出しの領域内に翻訳文の全文が入らないと判別された場合、ステップＳ４９にて、表示制御部２５は、台詞の翻訳文の全文が吹き出し内に入るようにコミック画像を拡大させることでコマ全体を拡大させるとともに、ステップＳ５１にて、表示制御部２５は、その拡大させたコンテンツ画像の吹き出しの領域内に、翻訳文を合成する。
【０１４１】
ステップＳ５４では、表示制御部２５は、コンテンツ画像を表示部２４に表示させる。原文表示（翻訳文非表示）の場合、例えば図１２の上半分に示すコンテンツ画像が表示部２４の画面に表示される。翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入らないと判別されていれば、図１２の下半分に示すように原文表示の場合よりも拡大されたコマのコンテンツ画像が表示部２４の画面に表示され、そのコマの各吹き出し内に翻訳文の全文（例えば"An assistant has been ready for this situation.”）が表示される。
【０１４２】
したがって、吹き出しからはみ出てしまうような長い翻訳文であっても、コマが拡大され、この拡大されたコマの吹き出し内に翻訳文の全文を表示し、ユーザに閲覧させることができる。
【０１４３】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行なってよいのはもちろんである。
【０１４４】
図１の実行制御部３０及び表示制御部２５は、図３の付帯情報に基づいて、本明細書に記載した以外の各種の制御処理（例えば、検索、翻訳文表示、自動読み上げ、再生エフェクト、その他）を行なってもよい。
【０１４５】
なお、ビューワ装置は、画像を表示可能な表示手段を備えたどのようなユーザ端末で実施してもよい。また、本明細書に記載のビューワ装置（実施形態では電子書籍ビューワ２）を実現させるビューワプログラムを記録した記録媒体はプログラムを記録可能などのような記録媒体であってもよい。
【符号の説明】
【０１４６】
１：サーバ、２：電子書籍ビューワ、２４：表示部、２５：表示制御部、２６：音声再生部、２７：操作部、２９：入出力部、３０：実行制御部
【技術分野】
【０００１】
本発明は、電子コミックの画像の吹き出し内に原文の台詞を所定の言語に翻訳した翻訳文を表示することができるビューワ装置、閲覧システム、ビューワプログラム及び記録媒体に関する。
【背景技術】
【０００２】
近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、携帯端末等の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。
【０００３】
特許文献１によると、原稿縦書き、翻訳文横書きなら、レイアウト情報を回転し、横書きのレイアウトに変換する。
【０００４】
特許文献２によると、ネームが吹き出しの枠に収まらない場合には、文字の級数を下げたり、文字間隔を詰めたりする。
【０００５】
特許文献３によると、文字列を含むブロックの縦方向のサイズは固定し、横方向のサイズのみを拡大する。
【０００６】
特許文献４によると、流し込んだネームの全文字が縦横過不足無く収まるようにテキストボックスの大きさを調整する。
【０００７】
特許文献５によると、表示画面に帯状のテロップ領域を設けて、吹き出し内の台詞に対する翻訳文を、テロップ領域に字幕で表示させる。
【０００８】
特許文献６によると、画像の元位置に生じるパターンの抜けを周囲の画像の構成パターンから補って塞ぐ。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平6-96288号公報
【特許文献２】特開2006-185435号公報
【特許文献３】特開2005-056043号公報
【特許文献４】特開2005-004738号公報
【特許文献５】特開2009-098727号公報
【特許文献６】特開2000-20687号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
単に画像の倍率に応じてテキストボックスの大きさを調整する画像処理技術（特許文献４を参照）や、翻訳文を帯状のテロップ領域に字幕で流して表示する画像処理技術（特許文献５を参照）は知られているが、そのような従来技術を吹き出しに台詞の翻訳文を入れる場合に適用しても、コミックに特有の課題を解決することができない。
【００１１】
電子コミックでは、縦書きの台詞（例えば日本文）が描かれた吹き出し内に、その台詞の翻訳文（例えば英文）を横書きで表示しようとすると、画像の表示倍率とは無関係に、翻訳文の全文が吹き出しに入らなくなる場合が多い。また、字幕表示では、画像の周囲に（すなわち翻訳文を十分に表示可能な位置）に翻訳文を表示する場合が一般的である。もしも吹き出しの位置にテロップ領域を設け、吹き出しから翻訳文がはみ出してしまえば、登場人物の絵に翻訳文が重なってしまうという問題もある。吹き出し内に翻訳文を収めようとして、数文字ずつテロップで流すようにした場合には、その翻訳文の全体の内容をユーザが把握し難くなるという問題もある。また、縦長の吹き出しを横長の吹き出しに替える場合には、絵柄の無い吹き出し領域の一部に絵柄を追加する必要が出てきてしまう。登場人物の絵柄をそのままユーザに見せたいという著作者の要求もある。このような電子コミックに特有の課題についても、その課題を解決可能な構成についても、先行技術文献に開示されていない。
【００１２】
本発明はこのような事情に鑑みてなされたもので、電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を原文表示のときと同じような感覚で適切に観察できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備えたことを特徴とするビューワ装置を提供する。
【００１４】
即ち、本発明によれば、吹き出し内に台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別し、台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、台詞の翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に台詞の翻訳文を表示させるので、ユーザは、原文表示の場合と同じような感覚で吹き出し内の翻訳文を観察することができる。
【００１５】
本発明の一実施形態にて、前記電子コミック情報は、前記画像内の登場人物の存在領域を示す登場人物領域情報を含む登場人物情報を有し、前記翻訳文表示制御手段は、前記登場人物領域情報に基づいて前記登場人物の存在領域と重ならないように前記吹き出しを拡大させることを特徴とする。
【００１６】
本発明の一実施形態にて、前記翻訳文表示制御手段は、前記電子コミック情報に基づいて前記吹き出し内の原文が縦書きであり前記翻訳文の所定の言語が横書きであることを検知、又は前記吹き出し内の原文が横書きであり前記翻訳文の所定の言語が縦書きであることを検知すると、前記吹き出しを横方向及び縦方向のうち前記翻訳文の所定の言語の方向のみに拡大させることを特徴とする。
【００１７】
本発明の一実施形態にて、前記吹き出し情報は、吹き出し口の位置情報を含み、前記翻訳文表示制御手段は、前記吹き出し口の位置情報に基づいて前記吹き出し口の位置が移動しないように前記吹き出しを拡大させることを特徴とする。
【００１８】
本発明の一実施形態にて、前記吹き出情報は、吹き出しの描線の種類を含み、前記翻訳文表示制御手段は、前記吹き出しの描線の種類に基づいて前記同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なうことを特徴とする。
【００１９】
本発明の一実施形態にて、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記翻訳文の全文が吹き出し内に入るように前記画像を拡大させるとともに、この拡大させた前記画像の吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備えたことを特徴とするビューワ装置を提供する。
【００２０】
即ち、本発明によれば、吹き出し内に台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別し、台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、台詞の翻訳文の全文が入らないと判別されると、台詞の翻訳文の全文が吹き出し内に入るように画像を拡大させるとともに、この拡大させた画像の吹き出し内に台詞の翻訳文を表示させるので、ユーザは、原文表示の場合と同じような感覚で吹き出し内の翻訳文を観察することができる。
【００２１】
本発明の一実施形態にて、前記判別手段は、前記表示手段の画面サイズに応じて表示される吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別することを特徴とする。
【００２２】
本発明の一実施形態にて、前記テキスト情報は、文字サイズ及び文字種を示す文字属性情報を含み、前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成することを特徴とする。
【００２３】
本発明の一実施形態にて、前記文字サイズを変更させる文字サイズ変更手段を備えたことを特徴とする。
【００２４】
本発明の一実施形態にて、前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中の吹き出し内に配置する前記翻訳文の行数、行間隔又は文字間隔を調整する機能を有し、前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別することを特徴とする。
【００２５】
また、本発明は、前記ビューワ装置の機能を含むユーザ端末と、前記ユーザ端末からの要求に応じて前記電子コミック情報を提供するサーバと、からなる閲覧システムを提供する。
【００２６】
また、本発明は、前記ビューワ装置を実現させるビューワプログラムを提供する。
【００２７】
また、本発明は、前記ビューワプログラムが記録された記録媒体を提供する。
【００２８】
なお、スクロール再生は、いわゆるスクロールビューの再生を含む。スクロール再生では、ページ毎のコンテンツ画像を表示画面上で自動的に（あるいは操作により）スクロールして表示する。コマ再生は、いわゆるコマビューの再生を含む。コマ再生では、コマ毎のコンテンツ画像（ページ毎のコンテンツ画像からコマ単位で切り出された画像を含む）を表示画面上で自動的に（あるいは手動で）切替えて表示する。
【発明の効果】
【００２９】
本発明によれば、電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を原文表示のときと同じような感覚で適切に観察できるようにすることができる。
【図面の簡単な説明】
【００３０】
【図１】閲覧システムの概略構成図
【図２】吹き出しの例を示す図
【図３】電子コミック情報のフォーマットの一例を示す図
【図４】電子コミック情報の配信処理を示すフローチャート
【図５】スクロールビューにおける表示処理の概略を示すフローチャート
【図６】コマビューにおける表示処理の概略を示すフローチャート
【図７】表示処理の一例の詳細を示すフローチャート
【図８】原文の台詞入りの表示画像の一例を示す図
【図９】拡大させた吹き出し内に翻訳文を表示した表示画像であって吹き出しを周囲に拡大した場合の表示画像を示す図
【図１０】拡大させた吹き出し内に翻訳文を表示した表示画像であって吹き出し口の位置が移動しないように吹き出しを拡大した場合の表示画像を示す図
【図１１】拡大させた吹き出し内に翻訳文を表示した表示画像であって吹き出しをコマの内側に向けて拡大した場合の表示画像を示す図
【図１２】拡大させた画像の吹き出し内に翻訳文を表示した表示画像を示す図
【図１３】表示処理の他の例の詳細を示すフローチャート
【発明を実施するための形態】
【００３１】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３２】
図１は本発明の好ましい実施形態に係る電子書籍閲覧システムの構成を示す。このシステムは、サーバ１と電子書籍ビューワ２とを含む。サーバ１は、特定の管理者の指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイス、記憶デバイスを備えたコンピュータ装置である。電子書籍ビューワ２は、画像を表示可能な表示デバイス、音を出力可能な音出力デバイス、ユーザの指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイスを備えたユーザ端末である。電子書籍ビューワ２は、例えば、携帯電話、携帯型ゲーム機、携帯型コンピュータ装置などの携帯端末で構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。
【００３３】
サーバ１は、解析部１０、データベース（ＤＢ）１１、操作部１６、入出力部１７を備える。
【００３４】
ＤＢ１１は、電子コミック情報１２を記憶する。電子コミック情報の詳細は後述する。
【００３５】
解析部１０は、ＣＰＵなどの制御デバイスで構成される。ＤＢ１１は、ハードディスクやメモリなどの記憶デバイスで構成される。操作部１６は、キーボード、マウス、タッチパッドなどの操作デバイスで構成される。
【００３６】
電子コミック情報は、解析部１０から出力された解析結果、操作部１６から入力された情報、あるいは、入出力部１７を介して入力された情報を含む。
【００３７】
解析部１０は、オリジナルコンテンツから生成されたデジタルのコンテンツ画像（マンガ画像）を解析し、コンテンツ画像の付帯情報を生成する。
【００３８】
説明の簡略のため、オリジナルコンテンツはマンガ画像を含む書籍であり、配信されるコンテンツ画像はページ単位（又はコマ単位）の画像（実写、描画を問わない）であるものとする。また、コンテンツ画像は、図２（Ａ）〜（Ｄ）に示すような吹き出しと、吹き出し内の台詞を含んでいるものとする。ただし、吹き出し及び台詞の一方または両方がないページやコマがあってもよい。
【００３９】
図３は、ヘッダ、ページ単位（又はコマ単位）のコンテンツ画像、及びコンテンツ画像の付帯情報によって構成された電子コミック情報を示す。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。
【００４０】
ヘッダは、ファイルの属性（ファイル名など）を示す。
【００４１】
コンテンツ画像は、ページ単位（又はコマ単位）のマンガの画像であり、ページ番号（又はコマ番号）に対応づけられている。コンテンツ画像は、例えば、スキャナなどでオリジナルコンテンツを電子データ化して作成される。オリジナルコンテンツは、マンガ書籍、新聞、週刊誌、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。コンテンツ画像の保存形式は任意であり、ＰＤＦファイルやＪＰＥＧ画像ファイルなどの形式で保存される。
【００４２】
コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。拡大許可領域を示す情報が付加されていてもよい。
【００４３】
付帯情報は、図３に示すように、検索情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、その他の情報によって構成されている。
【００４４】
検索情報は、検索に用いるタグ情報である。例えば、ページ番号（ページ識別情報）、コマ番号（コマ識別情報）、エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、タイトル、作者、出版社（版権者）などの情報を含んでいてもよい。
【００４５】
吹き出し情報は、ページ単位（又はコマ単位）のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの基点（吹き出し口）の位置と向き、吹き出しの描線の種類（点線、実線など）、コンテンツ画像の要素（話者など）と吹き出しの基点との相対的位置関係（例えば吹き出しの口と吹き出しの口が指し示す話者の顔との位置関係及び間隔）、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（枠線）のコンテンツ画像内での位置を示す情報（例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報）である。吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報でもよい。また、吹き出しの代表位置（例えば中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図２（Ａ）〜（Ｄ）のような４つの吹き出し種類があれば、その各々に対応する識別情報Ａ〜Ｄを吹き出しの描線の種類として記憶する。
【００４６】
テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文章）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）も、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール制御情報（スクロール方法）を含みうる。
【００４７】
登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、登場人物（「話者」ともいう）のコンテンツ画像（概略画像および詳細画像）内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）。なお、本明細書中の「登場人物」（話者）とは、吹き出しのセリフ（台詞）の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物が発するセリフも含む。
【００４８】
表示制御情報は、ページ単位又はコマ単位のコンテンツ画像の表示制御に関する情報である。この情報は、画面スクロールおよび／または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位（コマなど）、切り替えタイミングの決定方法（手動、自動、半自動）、切り替えに付随する表示効果（ワイプ、フェードイン／フェードアウト、ディゾルブ）などを含みうる。
【００４９】
自動読み上げの属性情報は、例えば、読み上げ速度、音量、話者の感情などである。
【００５０】
表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、１ページごとの画像の部分領域（典型的にはコマかコマの一部）の視線の止まる位置（アイストップ）である。
【００５１】
再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。
【００５２】
あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ１にアクセスしてきた電子書籍ビューワ２か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。
【００５３】
あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ１にアクセスしてきた電子書籍ビューワ２のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ２から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。
【００５４】
表示切り替え方法は、電子書籍ビューワ２のユーザによる操作部２７への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。
【００５５】
また、表示制御情報には、ページ画像内のコマの存在領域を示すコマ領域情報が含まれる。
【００５６】
読み上げ音声に関する情報は、例えば、読み上げ音声の内容、開始タイミング／終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性（性別、年齢など）である。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび／または付随音声の内容と共通化できる。
【００５７】
また、付随音声に関する情報が含まれる。例えば、擬音や効果音の内容（原文および翻訳文のテキスト情報）、出現回数、出現コマ、ボリューム、開始タイミング／終了タイミング、スピード、音量、擬音は解析部１０によりコンテンツ画像から取得されたものでもよいし入出力部１７などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。
【００５８】
再生エフェクト情報は、再生エフェクトに関する情報である。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミングである。
【００５９】
その他の情報には、ページめくりに関する情報（たとえば、左開き／右開き）、改行方向（縦書きの場合）などのページ情報が含まれる。また、その他の情報には、ページ余白の領域とその領域に配置する広告データが含まれる。また、その他の情報には、変更可否情報が含まれる。変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生（スクロールビュー）は許可するが、コマ再生（コマビュー）は禁止するといった設定も可能である。
【００６０】
サーバ１の解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。その解析の結果得られた付帯情報は、コンテンツ画像とともに、電子コミック情報となる。電子コミック情報は、ページ単位又はコマ単位でもよいし、エピソード単位でもよい。解析部１０によるコンテンツ画像の解析のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出してもよい。コンテンツ画像の要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の形状のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
【００６１】
また、ＯＣＲ（光学文字読取）により、吹き出し内の台詞（原文）を認識し、それを囲む領域を吹き出しの領域と認識してもよい。読み出された台詞の各文字は、文字の向きに応じてソートされる。例えば、台詞が縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【００６２】
コマ番号または台詞番号は、所定のルールに従って決定される。例えば、コンテンツ解析結果の情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号または台詞番号が決定される。
【００６３】
各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを基点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
【００６４】
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号または台詞番号が決定されることもできる。
【００６５】
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
【００６６】
ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
【００６７】
解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。
【００６８】
電子コミック情報には解析部１０のページ解析結果に関する情報が含まれる。解析部１０によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
【００６９】
あるいは、ＯＣＲにより、吹き出し内部のテキスト文章（セリフ）を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【００７０】
コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号またはセリフ番号が決定される。
【００７１】
各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを基点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。
【００７２】
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。
【００７３】
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。
【００７４】
ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
【００７５】
説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵（実写、描画を問わない）とセリフの双方からなるコンテンツである。
【００７６】
次に、電子書籍ビューワ２について説明する。
【００７７】
電子書籍ビューワ２は、図１に示すように、データベース（ＤＢ）２１、表示部２４、表示制御部２５、音声再生部２６、操作部２７、入出力部２９、実行制御部３０を備える。
【００７８】
ＤＢ２１は、電子コミック情報などの各種情報を格納する。電子コミック情報は、前述のように、コミックのページ毎又はコマ毎のコンテンツ画像と、コミックの登場人物の台詞が入る吹き出しのコンテンツ画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面にコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む。
【００７９】
表示部２４は、画像を表示可能な表示デバイスで構成される表示手段である。表示部２４は、例えばＬＣＤにより構成される。
【００８０】
表示制御部２５は、画像表示制御手段として、付帯情報内の表示制御情報に基づいて、コンテンツ画像を表示部２４の画面にスクロール再生（又はコマ再生）で表示させる。
【００８１】
また、表示制御部２５は、翻訳文表示制御手段として、付帯情報内の吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内の原文の台詞に替えて、その吹き出し内に翻訳文を表示させる。表示制御部２５は、具体的には、付帯情報のテキスト情報と文字属性情報とに基づいて、表示用の文字を生成する。本例では、吹き出し内に原文の台詞が表示されている場合、その原文の台詞の替わりに翻訳文を表示する。
【００８２】
音声再生部２６及びスピーカ２８は、自動読み上げ手段として、付帯情報のテキスト情報及び自動読み上げ属性情報に基づいて、コンテンツ画像内のテキストを読み上げる。
【００８３】
操作部２７は、ユーザの指示入力を受け付ける。操作部２７は、表示部２４の画面上に配置したタッチセンサでもよいし、キー入力デバイス、ポインティングデバイスでもよい。
【００８４】
入出力部２９は、各種情報の入出力を行なう。本例の入出力部２９は、サーバ１と通信する通信デバイスで構成されており、サーバ１に電子コミック情報要求を送信して、サーバ１から電子コミック情報を受信することで、電子コミック情報を取得する。入出力部２９は、本例のような通信手段には特に限定されず、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出しを行なう手段であってもよい。
【００８５】
実行制御部３０は、判別手段として、表示部２４の画面に表示される画像中の吹き出し内に、この吹き出しに対応する翻訳文の全文が入るか否かを判別する。実行制御部３０は、具体的には、ＤＢ２１に予め記憶された画面サイズ情報と、付帯情報の吹き出し情報及びテキスト情報とに基づいて、表示部２４の画面サイズに応じて表示される吹き出し内に、翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。
【００８６】
なお、表示部２４に表示される文字のサイズは、操作部２７の操作により、変更させることが可能である。
【００８７】
表示制御部２５は、実行制御部３０により吹き出し内に翻訳文の全文が入ると判別されると、吹き出し内に翻訳文の全文を表示させ、実行制御部３０により前記翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる。
【００８８】
また、表示制御部２５は、表示部２４の画面に表示される画像中の吹き出し内に配置する翻訳文の行数、行間隔又は文字間隔を調整する機能を有する。実行制御部３０は、表示制御部２５により調整される場合の翻訳文の全文が、吹き出し内に入るか否かを判別する。
【００８９】
また、表示制御部２５は、付帯情報内の登場人物の領域情報に基づいて登場人物の存在領域と重ならないように前記吹き出しを拡大させる。
【００９０】
また、表示制御部２５は、表示制御部２５は、付帯情報で示された吹き出しの描線の種類に基づいて、同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なう。
【００９１】
サーバ１のＤＢ１１の情報と電子書籍ビューワ２のＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻の画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したい電子コミック情報のみが格納されていれば足りる。
【００９２】
図４はサーバ１と電子書籍ビューワ２との間で実行される配信処理のフローチャートをである。Ｓ１・Ｓ４は電子書籍ビューワ２が実行し、Ｓ２・Ｓ３はサーバ１が実行する。この処理をサーバ１および電子書籍ビューワ２にそれぞれ実行させるプログラムは、サーバ１および電子書籍ビューワ２にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。
【００９３】
Ｓ１では、電子書籍ビューワ２は、入出力部２９を介して、コンテンツ要求をサーバ１に送信する。
【００９４】
Ｓ２では、サーバ１は、コンテンツ要求を待機しており、入出力部１７を介して電子書籍ビューワ２からコンテンツ要求を受信すると、Ｓ３に進む。
【００９５】
Ｓ３では、サーバ１は、ＤＢ１１に記憶されている電子コミック情報１２をコンテンツとして、入出力部１７を介して電子書籍ビューワ２に送信する。なお、電子コミック情報１２の送信は、ページ単位あるいはコマ単位で行われてもよい。
【００９６】
Ｓ４では、電子書籍ビューワ２は、入出力部１７を介して、電子コミック情報１２を受信し、ＤＢ２１に格納する。
【００９７】
本例では、電子書籍ビューワ２が、電子コミック情報１２を通信で取得する場合を例に説明したが、電子コミック情報の取得態様は特に限定されない。例えば、メモリカードなどの記録媒体から電子コミック情報を読み込むようにしてもよい。
【００９８】
電子コミック情報を取得した電子書籍ビューワ２は、後述の表示処理に進む。
【００９９】
図５は電子書籍ビューワ２の実行するスクロールビューの表示処理のフローチャートを示す。図６は電子書籍ビューワ２の実行するコマビューの表示処理のフローチャートを示す。図５または図６のいずれかの処理は、操作部２７からの選択に従って実行される。
【０１００】
図５を参照すると、Ｓ１０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。
【０１０１】
Ｓ１１では、表示制御部２５は、当該ページ全体のコンテンツ画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これをカレント画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出してカレント画像とすることもできる。
【０１０２】
Ｓ１２では、表示制御部２５は、詳細画像を表示部２４に表示する。
【０１０３】
Ｓ１３では、表示制御部２５は、付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ１４に進み、Ｎｏの場合はＳ１２に戻る。
【０１０４】
Ｓ１４では、表示制御部２５は、カレントアンカーポイントが当該ページの最後のアンカーポイントであるか否かを判断する。Ｙｅｓの場合はＳ２１に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ１０以降を繰り返す。Ｎｏの場合はＳ１５に進む。
【０１０５】
Ｓ１５では、表示制御部２５は、カレントアンカーポイントの次の順のアンカーポイントを、新たにカレントアンカーポイントに設定する。
【０１０６】
Ｓ１６・Ｓ１７では、表示制御部２５は、当該ページ全体の画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、電子コミック情報２２の詳細画像を用いることもできる。
【０１０７】
Ｓ１８では、表示制御部２５は、現在表示されている詳細画像から次の詳細画像に向けて、コンテンツ画像を所定の増分ずつ（例えば１ドットずつ）スクロールしつつ表示する。
【０１０８】
Ｓ１９では、コンテンツ表示制御部２５は、コンテンツ画像のスクロール表示が次の詳細画像に到達したか否かを判断する。Ｙｅｓの場合はＳ１２に戻り、次の詳細画像を表示する。Ｎｏの場合はＳ１６に戻り、スクロールを継続する。
【０１０９】
図６を参照すると、Ｓ３１では、表示制御部２５は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。
【０１１０】
Ｓ３２では、表示制御部２５は、カレントコマに対応する部分画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出して用いることもできる。
【０１１１】
Ｓ３３では、表示制御部２５は、カレントコマ画像を表示部２４に表示する。
【０１１２】
Ｓ３４では、表示制御部２５は、電子コミック情報２２の付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ３５に進み、Ｎｏの場合はＳ３３に戻る。
【０１１３】
Ｓ３５では、表示制御部２５は、カレントコマは、当該ページの最後のコマであるか否かを判断する。Ｙｅｓの場合はＳ３６に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ３１以降を繰り返す。Ｎｏの場合はＳ３７に進む。
【０１１４】
Ｓ３７では、表示制御部２５は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、Ｓ３２に戻り、カレントコマに対応する部分画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。
【０１１５】
図７は、電子書籍ビューワ２にて実行されるコンテンツ画像の表示処理（図５のＳ１２及び図６のＳ３３）の一例を示すフローチャートである。本処理は、電子書籍ビューワ２の制御デバイス（実行制御部３０）によって、ビューワプログラムに従って実行される。図８は、サーバ１から配信されたコンテンツ画像であって、吹き出し内に原文の台詞が入っているコンテンツ画像を示す。
【０１１６】
ステップＳ４０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、画像の表示処理を開始する。コンテンツ画像は、操作部２７に入力される画像送り指示に従って切り替わりうる。コンテンツ画像の切り替わる単位は、ページ（あるいはコマ）である。また、切り替わる順序は、ページ番号（あるいはコマ番号）に従う。ただし、ユーザがページ（あるいはコマ）の読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。
【０１１７】
ステップＳ４２では、表示制御部２５は、コンテンツ画像内に埋め込まれている原文のまま台詞を表示する原文表示を行なうか、コンテンツ画像の付帯情報に含まれる翻訳文を表示する翻訳文表示を行なうかを判定する。原文表示の場合にはステップＳ５２に進み、翻訳文表示の場合にはステップＳ４４に進む。
【０１１８】
例えば、操作部２７により、原文表示を行なうか翻訳文表示を行なうかの選択指示を受け付けうる。本例では、原文表示をデフォルトとし、翻訳文表示が選択指示された場合のみ翻訳文表示を行なう。
【０１１９】
ステップＳ４４では、表示制御部２５は、付帯情報の吹き出し情報とテキスト情報とＤＢ２１に記憶されている画面サイズ情報とに基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出しの領域内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。Ｙｅｓ（吹き出しの領域内に翻訳文の全文が入る場合）であればステップＳ４６に進み、Ｎｏ（吹き出しの領域内に翻訳文の全文が入らない場合）であればステップＳ４８に進む。
【０１２０】
例えば、台詞の翻訳文が横書きである場合には、その翻訳文の横方向の各行ごとに、吹き出しの横方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。台詞の翻訳文が縦書きである場合には、その翻訳文の縦方向の各行ごとに、吹き出しの縦方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。
【０１２１】
吹き出しの領域内に翻訳文の全文が入ると判別された場合、ステップＳ４６にて、表示制御部２５は、吹き出しを拡大させることなく、コンテンツ画像の吹き出しの領域内に、翻訳文の全文を合成する。
【０１２２】
吹き出しの領域内に翻訳文の全文が入らないと判別された場合、ステップ４８にて、表示制御部２５は、コミック画像の吹き出しを拡大させるとともに、ステップＳ５０にて、表示制御部２５は、その拡大させた吹き出しの領域内に、翻訳文を合成する。
【０１２３】
ステップＳ５２にて、表示制御部２５は、コンテンツ画像内の全ての吹き出しの翻訳文合成が終了したか否かを判定する。
【０１２４】
ステップＳ５４では、表示制御部２５は、コンテンツ画像を表示部２４に表示させる。原文表示（翻訳文非表示）の場合、例えば図８に示すコンテンツ画像が表示部２４の画面に表示される。翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入ると判別されていれば、図９中の左側の吹き出し内に示すように、吹き出しを拡大することなく、翻訳文の全文（”You’re great. Ritsuko.）を吹き出し内に一度に表示させる。また、翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入らないと判別されていれば、図９中の右側の吹き出し内に示すように、吹き出しを拡大して、翻訳文の全文（"An assistant has been ready for this situation.”）を表示させる。
【０１２５】
以上のように本実施形態では、コンテンツ画像（ページ毎のページ画像又はコマ毎のコマ画像）と、そのコンテンツ画像内の吹き出しの領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを有する電子コミックを取得し（Ｓ４）、取得された表示制御情報に基づいて表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させる表示処理では、少なくとも吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別し（Ｓ４４）、翻訳文の全文が入ると判別された場合には、コンテンツ画像中の吹き出し内の原文の台詞に替えて翻訳文の全文を吹き出し内に合成して表示させ（Ｓ４６及びＳ５４）、翻訳文の全文が入らないと判別された場合には、吹き出しを拡大させるとともに（Ｓ４８）、この拡大させた吹き出し内に翻訳文の全文を合成して表示させる（Ｓ５０及びＳ５４）。
【０１２６】
したがって、吹き出しからはみ出てしまうような長い翻訳文であっても、吹き出しが拡大され、この拡大された吹き出し内に翻訳文の全文を表示し、ユーザに閲覧させることができる。
【０１２７】
吹き出し拡大の態様には各種ある。
【０１２８】
図９では、表示制御部２５により、吹き出しの代表点（例えば中心点）を基準にして、吹き出しを周囲に拡大した場合を示している。吹き出しは登場人物の存在領域に重ならないように拡大することが、好ましい。本例では、吹き出しを、その吹き出しの描線の外側に等間隔で拡大している。
【０１２９】
図１０は、表示制御部２５により、付帯情報内の吹き出し口の位置情報（例えば吹き出しの基点の位置）に基づいて、吹き出し口の位置が移動しないように、吹き出しを拡大させた場合を示している。図１０には、翻訳文が横書きである場合に吹き出しを横方向に伸ばして拡大させた場合を示したが、表示制御部２５は、翻訳文が縦書きである場合、吹き出しを縦方向に伸ばすように拡大させる。
【０１３０】
また、本例では、三角形の吹き出し口を示したが、吹き出しの形状は特に限定されない。図２（Ｃ）に示したような複数の小円からなる吹き出し口もある。吹き出しは、吹き出し口が設けられている側とは反対側の方向に拡大される。
【０１３１】
本例では、必要に応じて、コマの枠外に、吹き出しを拡大させる。表示制御部２５は、付帯情報内の表示制御情報（コマ領域情報など）に基づいて、ページの画像のうち現在のアンカーポインがある現在コマの周辺領域を検出し、その周辺領域に向けて吹き出しを拡大する。
【０１３２】
図１１は、表示制御部２５により、付帯情報内の登場人物領域情報に基づいて、登場人物の存在領域と重ならないように、且つ、コマの枠内に吹き出しが入るようにして、吹き出しを拡大させた場合を示す。なお、登場人物の存在領域のうち特定部分（例えば顔部分）の領域のみと重ならないように、吹き出しを拡大してもよい。また、登場人物の顔部分と吹き出し口との間隔が閾値よりも大きければ、吹き出し口を登場人物の顔部分に重ならない範囲内で顔部分に近づけるようにしてもよい。
【０１３３】
吹き出しをどの方向に拡大するかは、事前に優先順位をつけておき、付帯情報に設定しておくことができる。また、数種類の吹き出し拡大パターン（拡大方向など）を付帯情報に設定しておき、操作部２７でユーザに選択させるようにしてもよい。
【０１３４】
また、図１１のようにコマの枠内で吹き出しを拡大させた場合、登場人物の吹き出しが重ならないように表示制御しても、現画像の絵の一部に吹き出しの拡大部分が重なってしまう。このようなコマ枠内での吹き出し拡大を好まない著作者（またはユーザ）が存在する。そこで、設定により、図１０のように積極的にコマの枠外に吹き出しを拡大させるようにしてもよい。例えば、電子コミック情報内の吹き出し情報に、コマ枠外への吹き出し拡大を優先するか否かを示す吹き出し拡大制御情報を設定し、表示制御部２５が拡大制御情報に基づいてコマ枠外への吹き出し拡大を優先するか（あるいはコマ枠内への吹き出し拡大を優先するか）を判別し、その判別結果に基づいて吹き出し拡大方法（コマ枠外への拡大／コマ枠内への吹き出し拡大）を切替えるようにしてもよい。また、操作部２７からの指示入力により、上記吹き出し拡大方法を切替えるようにしてもよい。また、表示制御部２５が、スクロール再生の場合には、自コマに吹き出し拡大部分がかからないようにコマ枠外への拡大を優先し、コマ再生の場合にはコマ枠内への吹き出し拡大を行なうように、切替えてもよい。
【０１３５】
なお、付帯情報内のテキスト情報は、吹き出し内の原文が横書きか縦書きかを示す情報と、翻訳文の所定の言語が横書きか縦書きかを示す情報とを有する。図１０及び図１１に示した場合では、表示制御部２５は、テキスト情報（または吹き出し情報）から、吹き出し内の原文が縦書きであって翻訳文の所定の言語が横書きであることを検知すると、吹き出しを翻訳文の全文が入るように、横方向のみに拡大させている。その一方で、表示制御部２５は、テキスト情報（または吹き出し情報）から、吹き出し内の原文が横書きであって翻訳文の所定の言語が縦書きであることを検知すると、吹き出しを翻訳文の全文が入るように、縦方向のみに拡大させる。
【０１３６】
また、表示制御部２５は、原文の台詞よりも翻訳文が短くなる場合、翻訳文の表示位置をセンタリングする（あるいは文字サイズを大きくする）ようにしてもよい。例えば、スペイン語を英語に翻訳した場合などに翻訳文が短くなりうる。
【０１３７】
また、表示制御部２５は、コマの縮小率等に応じて、吹き出しの拡大率を変える。また、吹き出しをどの方向・形に拡大するかは、事前に優先順位をつけておいたり、パターンを用意しておき、操作部２７で指定可能にしてもよい。さらに、吹き出しの形状に応じて翻訳文の文字のフォント（書体）やポイント数を変えるようにしてもよい。
【０１３８】
以上、図７〜図１１を用いて、吹き出し内に翻訳文の全文が入らないと判別された場合に吹き出しを拡大する形態について説明したが、翻訳文の全文が吹き出しに入らないと判別された場合、図１２に示すように、表示制御部２５が、吹き出し内に翻訳文の全て入るようにコンテンツ画像を拡大することでコマ全体を拡大するようにしてもよい。この場合に電子書籍ビューワ２で実行されるコンテンツ画像の表示処理（図５のＳ１２及び図６のＳ３３）の一例のフローチャートをを図１３に示す。本処理は、電子書籍ビューワ２の制御デバイス（実行制御部３０）によって、ビューワプログラムに従って実行される。
【０１３９】
ステップＳ４０〜Ｓ４４及びステップＳ５２は、図７の場合（吹き出し拡大の場合）と同様であり、説明を省略する。
【０１４０】
吹き出しの領域内に翻訳文の全文が入らないと判別された場合、ステップＳ４９にて、表示制御部２５は、台詞の翻訳文の全文が吹き出し内に入るようにコミック画像を拡大させることでコマ全体を拡大させるとともに、ステップＳ５１にて、表示制御部２５は、その拡大させたコンテンツ画像の吹き出しの領域内に、翻訳文を合成する。
【０１４１】
ステップＳ５４では、表示制御部２５は、コンテンツ画像を表示部２４に表示させる。原文表示（翻訳文非表示）の場合、例えば図１２の上半分に示すコンテンツ画像が表示部２４の画面に表示される。翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入らないと判別されていれば、図１２の下半分に示すように原文表示の場合よりも拡大されたコマのコンテンツ画像が表示部２４の画面に表示され、そのコマの各吹き出し内に翻訳文の全文（例えば"An assistant has been ready for this situation.”）が表示される。
【０１４２】
したがって、吹き出しからはみ出てしまうような長い翻訳文であっても、コマが拡大され、この拡大されたコマの吹き出し内に翻訳文の全文を表示し、ユーザに閲覧させることができる。
【０１４３】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行なってよいのはもちろんである。
【０１４４】
図１の実行制御部３０及び表示制御部２５は、図３の付帯情報に基づいて、本明細書に記載した以外の各種の制御処理（例えば、検索、翻訳文表示、自動読み上げ、再生エフェクト、その他）を行なってもよい。
【０１４５】
なお、ビューワ装置は、画像を表示可能な表示手段を備えたどのようなユーザ端末で実施してもよい。また、本明細書に記載のビューワ装置（実施形態では電子書籍ビューワ２）を実現させるビューワプログラムを記録した記録媒体はプログラムを記録可能などのような記録媒体であってもよい。
【符号の説明】
【０１４６】
１：サーバ、２：電子書籍ビューワ、２４：表示部、２５：表示制御部、２６：音声再生部、２７：操作部、２９：入出力部、３０：実行制御部
【特許請求の範囲】
【請求項１】
表示手段と、
コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、
前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、
前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、
を備えたことを特徴とするビューワ装置。
【請求項２】
前記電子コミック情報は、前記画像内の登場人物の存在領域を示す登場人物領域情報を含む登場人物情報を有し、
前記翻訳文表示制御手段は、前記登場人物領域情報に基づいて前記登場人物の存在領域と重ならないように前記吹き出しを拡大させることを特徴とする請求項１に記載のビューワ装置。
【請求項３】
前記翻訳文表示制御手段は、前記電子コミック情報に基づいて前記吹き出し内の原文が縦書きであり前記翻訳文の所定の言語が横書きであることを検知、又は前記吹き出し内の原文が横書きであり前記翻訳文の所定の言語が縦書きであることを検知すると、前記吹き出しを横方向及び縦方向のうち前記翻訳文の所定の言語の方向のみに拡大させることを特徴とする請求項１または２に記載のビューワ装置。
【請求項４】
前記吹き出し情報は、吹き出し口の位置情報を含み、
前記翻訳文表示制御手段は、前記吹き出し口の位置情報に基づいて前記吹き出し口の位置が移動しないように前記吹き出しを拡大させることを特徴とする請求項１から３のいずれか１項に記載のビューワ装置。
【請求項５】
前記吹き出情報は、吹き出しの描線の種類を含み、
前記翻訳文表示制御手段は、前記吹き出しの描線の種類に基づいて前記同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なうことを特徴とする請求項１から４のいずれか１項に記載のビューワ装置。
【請求項６】
表示手段と、
コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、
前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、
前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記翻訳文の全文が吹き出し内に入るように前記画像を拡大させるとともに、この拡大させた前記画像の吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、
を備えたことを特徴とするビューワ装置。
【請求項７】
前記判別手段は、前記表示手段の画面サイズに応じて表示される吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別することを特徴とする請求項１から６のいずれか１項に記載のビューワ装置。
【請求項８】
前記テキスト情報は、文字サイズ及び文字種を示す文字属性情報を含み、
前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成することを特徴とする請求項１から７のいずれか１項に記載のビューワ装置。
【請求項９】
前記文字サイズを変更させる文字サイズ変更手段を備えたことを特徴とする請求項１から８のいずれか１項に記載のビューワ装置。
【請求項１０】
前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中の吹き出し内に配置する前記翻訳文の行数、行間隔又は文字間隔を調整する機能を有し、
前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別することを特徴とする請求項１から９のいずれか１項に記載のビューワ装置。
【請求項１１】
請求項１から１０のいずれか１項に記載のビューワ装置の機能を含むユーザ端末と、
前記ユーザ端末からの要求に応じて前記電子コミック情報を提供するサーバと、
からなる閲覧システム。
【請求項１２】
請求項１から１０のいずれか１項に記載のビューワ装置を実現させるビューワプログラム。
【請求項１３】
請求項１２に記載のビューワプログラムが記録された記録媒体。
【請求項１】
表示手段と、
コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、
前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、
前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、
を備えたことを特徴とするビューワ装置。
【請求項２】
前記電子コミック情報は、前記画像内の登場人物の存在領域を示す登場人物領域情報を含む登場人物情報を有し、
前記翻訳文表示制御手段は、前記登場人物領域情報に基づいて前記登場人物の存在領域と重ならないように前記吹き出しを拡大させることを特徴とする請求項１に記載のビューワ装置。
【請求項３】
前記翻訳文表示制御手段は、前記電子コミック情報に基づいて前記吹き出し内の原文が縦書きであり前記翻訳文の所定の言語が横書きであることを検知、又は前記吹き出し内の原文が横書きであり前記翻訳文の所定の言語が縦書きであることを検知すると、前記吹き出しを横方向及び縦方向のうち前記翻訳文の所定の言語の方向のみに拡大させることを特徴とする請求項１または２に記載のビューワ装置。
【請求項４】
前記吹き出し情報は、吹き出し口の位置情報を含み、
前記翻訳文表示制御手段は、前記吹き出し口の位置情報に基づいて前記吹き出し口の位置が移動しないように前記吹き出しを拡大させることを特徴とする請求項１から３のいずれか１項に記載のビューワ装置。
【請求項５】
前記吹き出情報は、吹き出しの描線の種類を含み、
前記翻訳文表示制御手段は、前記吹き出しの描線の種類に基づいて前記同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なうことを特徴とする請求項１から４のいずれか１項に記載のビューワ装置。
【請求項６】
表示手段と、
コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、
前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、
前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記翻訳文の全文が吹き出し内に入るように前記画像を拡大させるとともに、この拡大させた前記画像の吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、
を備えたことを特徴とするビューワ装置。
【請求項７】
前記判別手段は、前記表示手段の画面サイズに応じて表示される吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別することを特徴とする請求項１から６のいずれか１項に記載のビューワ装置。
【請求項８】
前記テキスト情報は、文字サイズ及び文字種を示す文字属性情報を含み、
前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成することを特徴とする請求項１から７のいずれか１項に記載のビューワ装置。
【請求項９】
前記文字サイズを変更させる文字サイズ変更手段を備えたことを特徴とする請求項１から８のいずれか１項に記載のビューワ装置。
【請求項１０】
前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中の吹き出し内に配置する前記翻訳文の行数、行間隔又は文字間隔を調整する機能を有し、
前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別することを特徴とする請求項１から９のいずれか１項に記載のビューワ装置。
【請求項１１】
請求項１から１０のいずれか１項に記載のビューワ装置の機能を含むユーザ端末と、
前記ユーザ端末からの要求に応じて前記電子コミック情報を提供するサーバと、
からなる閲覧システム。
【請求項１２】
請求項１から１０のいずれか１項に記載のビューワ装置を実現させるビューワプログラム。
【請求項１３】
請求項１２に記載のビューワプログラムが記録された記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１３３６６１（Ｐ２０１２−１３３６６１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６３９３（Ｐ２０１０−２８６３９３）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]