電子コミック編集装置、方法及びプログラム
【課題】マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集する。
【解決手段】画像ファイルに基づいて画像を表示手段に表示させるとともに、情報ファイルに含まれる２以上の情報に基づいて２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルを更新する電子コミック編集装置によって上記課題を解決する。
【解決手段】画像ファイルに基づいて画像を表示手段に表示させるとともに、情報ファイルに含まれる２以上の情報に基づいて２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルを更新する電子コミック編集装置によって上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子コミック編集装置、方法及びプログラムに係り、特にマンガコンテンツを電子化する技術に関する。
【背景技術】
【０００２】
近年、通信ネットワークを介してウェブ上のサイトを閲覧する機能を備えた携帯通信端末が普及している。また、携帯通信端末において閲覧されるコンテンツとして、雑誌等に掲載されたコミック（マンガ）をスキャナによって取り込むなどして電子化した電子コミックが知られている。
【０００３】
電子コミックについては、その電子化の際に、携帯通信端末の表示部において適切に表示できるようにデータを生成する様々な技術が提案されている。
【０００４】
例えば特許文献１には、マンガ等のコマ単位でストーリー展開する画像群を、サーバから携帯通信端末に送信するシステムにおいて、コマ単位でストーリー展開する原稿画像群を格納する原稿画像群格納手段と、格納手段に格納された画像群の各コマの配列を設定するコマ配列設定手段と、コマ配列設定手段により設定された画像群の各コマの写植を設定する写植設定手段と、コマ配列設定手段により設定されたコマ配列情報を記憶するコマ配列情報記憶手段と、写植設定手段により設定された写植情報を記憶する写植情報記憶手段とを有する画像編集装置が開示されている。
【０００５】
特許文献１によれば、コマ単位でストーリー展開する画像群に対する処理としてコマ配列に関する情報に加えて、各コマの写植情報も並行して格納されることになり、ユーザに閲覧用の画像を提供する場合も、各コマに対応した写植情報により、鮮明な表示や、他の言語での表示あるいは閲覧ユーザによる編集なども可能となり、画像群を閲覧する楽しみを増加させることができる。例えば、セリフ部分が小さすぎてよく見えないというような問題に対し、写植情報などによりセリフ部分も確実に閲覧できるようになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１２９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１には、各コマの写植情報を取得する際に、複数のコマにまたがって存在する写植をどのように処理するのかについては開示されていない。したがって、その写植とコマの関連付けが不適切な場合において、関連付けをどのように修正するのかは不明である。
【０００８】
さらに、マンガの構成要素には、コマ内に配置された写植情報（テキスト）の他にも、関心領域であるキャラクタやキャラクタの台詞を示す吹き出し等があり、特許文献１では、これらの情報を有効に用いることができないという問題点があった。
【０００９】
本発明はこのような事情に鑑みてなされたもので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる電子コミック編集装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために本発明の一の態様に係る電子コミック編集装置は、コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、前記表示手段に表示された画像上の位置を指示する指示手段と、前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段とを備えた。
【００１１】
本態様によれば、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルに含まれる関連付け情報を更新するようにしたので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
【００１２】
前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させることが好ましい。これにより、ユーザが関連付けられている領域を適切に認識することができる。
【００１３】
また、前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させてもよい。このように表示させても、ユーザに関連付けられている領域を適切に認識させることができる。
【００１４】
前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報であることが好ましい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
【００１５】
前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報であってもよい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
【００１６】
前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータであることが好ましい。これにより、適切なコマ領域情報を得ることができる。
【００１７】
前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータであることが好ましい。これにより、適切な吹き出し領域情報を得ることができる。
【００１８】
前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータであることが好ましい。これにより、適切なテキスト領域情報を得ることができる。
【００１９】
前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータであることが好ましい。これにより、適切なコマ関心領域情報を得ることができる。
【００２０】
前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの２以上の領域を自動的に抽出する領域抽出手段と、前記領域抽出手段により抽出した２以上の領域を示す情報と、該２以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段とを備え、前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得することが好ましい。このように、自動的に情報ファイルを生成することで、短時間でのコミックの電子化が可能となる。
【００２１】
前記目的を達成するために本発明の一の態様に係る電子コミック編集方法は、コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、前記表示手段に表示された画像上の位置を指示する指示工程と、前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程とを含む。
【００２２】
前記目的を達成するために本発明の一の態様に係るコンピュータにより実現させる電子コミック編集プログラムは、コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させると共に、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、前記表示手段に表示された画像上の位置を指示する指示機能と、前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能とを含む。
【発明の効果】
【００２３】
本発明によれば、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係るコンテンツ配信システムの構成を示す図
【図２】マスタデータ生成のフローチャート
【図３】コンテンツ画像の一例
【図４】モニタ表示の一例
【図５】コンテンツ画像から自動的にコマを検出した結果を示す図
【図６】図５に示すコマ検出結果を修正した結果を示す図
【図７】コンテンツ画像から自動的にコマを検出した結果を示す図
【図８】図７に示すコマ検出結果を修正した結果を示す図
【図９】コマ境界の修正について説明する図
【図１０】コンテンツ画像から自動的に吹き出しを抽出した結果を示す図
【図１１】図１０に示す吹き出し抽出結果を修正した結果を示す図
【図１２】コンテンツ画像から自動的に吹き出しを抽出した結果を示す図
【図１３】図１２に示す吹き出し抽出結果を修正した結果を示す図
【図１４】コンテンツ画像から自動的に吹き出しを抽出した結果を示す図
【図１５】吹き出しの抽出を説明する図
【図１６】吹き出しの抽出を説明する図
【図１７】吹き出しの抽出を説明する図
【図１８】吹き出しの抽出を説明する図
【図１９】吹き出しの抽出を説明する図
【図２０】コンテンツ画像から自動的にテキストを抽出した結果を示す図
【図２１】図２０に示すテキスト抽出結果を修正した結果を示す図
【図２２】コンテンツ画像から自動的に関心領域を抽出した結果を示す図
【図２３】図２０に示す関心領域抽出結果を修正した結果を示す図
【図２４】吹き出しと関心領域との関連付けを説明する図
【図２５】吹き出しと関心領域との関連付けを説明する図
【図２６】情報ファイルの構造の模式図
【図２７】マスタデータ編集時のモニタ画面の一例
【図２８】マスタデータ編集時のモニタ画面の一例
【図２９】マスタデータ編集時のモニタ画面の一例
【図３０】プレビュー画面の一例
【図３１】オーサリング部１０の内部構成を示すブロック図
【図３２】モニタに表示される画像を示す図
【図３３】モニタに表示される画像を示す図
【図３４】モニタに表示される画像を示す図
【図３５】モニタに表示される画像を示す図
【図３６】モニタに表示される画像を示す図
【図３７】モニタに表示される画像を示す図
【発明を実施するための形態】
【００２５】
以下、添付図面に従って本発明に係る電子コミック編集装置、方法及びプログラムの実施の形態について説明する。
【００２６】
［コンテンツ配信システムの構成］
図１は、本実施形態に係るコンテンツ配信システムの一態様を示す構成図である。このシステムは、コンピュータ（情報処理装置）で構成されるサーバ１と、スマートフォンやタブレット型コンピュータで構成される電子書籍ビューワとを含んで構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。
【００２７】
サーバ１は、オーサリング部１０、データベース（ＤＢ）１１、操作部１２、入出力部１３、スキャナ１４、モニタ１５等を備えている。
【００２８】
オーサリング部１０は、ＣＰＵなどの情報処理装置及び電子コミック編集プログラム等が格納されている記憶部により構成され、電子コミック編集プログラムに従って各種の情報処理を行う。ＤＢ１１は、ハードディスクやメモリなどの記憶媒体で構成される。操作部１２は、キーボード、マウス、タッチパッドなどの操作手段である。モニタ１５は、ＬＣＤなどの表示装置で構成される表示手段である。
【００２９】
オーサリング部１０は、コンテンツ画像を解析してページ情報、コマ情報、吹き出し座標、ＲＯＩ情報等の付帯情報を作成し、これらを紐付けた電子書籍用のマスタデータを生成する。また、オーサリング部１０は、電子書籍ビューワ２毎に最適化されたデータをマスタデータから生成する。オーサリング部１０の詳細については後に詳述する。
【００３０】
ＤＢ１１は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナ１４などでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。また、コンテンツ画像はページ番号と対応づけられている。
【００３１】
コンテンツ画像とその付帯情報は、例えばＥＰＵＢ形式で保存される。コンテンツ画像には付帯情報が記憶されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者（出版社）などが含まれうる。
【００３２】
コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。
【００３３】
コンテンツ画像に付帯する付帯情報は、操作部１２から入力された情報、オーサリング部１０の解析結果の情報、あるいは、入出力部１３を経由して入力された情報を含む。
【００３４】
また、電子書籍ビューワ２は、データベース（ＤＢ）２１、表示部２４、コンテンツ表示制御部２５、音声再生部２６、操作部２７、スピーカ２８、入出力部２９等を備えている。
【００３５】
表示部２４は、ＬＣＤなどの表示装置で構成される表示手段である。操作部２７は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部２７は、表示部２４に積層されており、表示部２４に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。
【００３６】
音声再生部２６は、コンテンツファイルに格納された音声に関する情報（読み上げ音声に関する情報及び／又は付随音声に関する情報）を音声化してスピーカ２８から出力する回路である。
【００３７】
入出力部２９は、サーバ１の入出力部１３から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部１３及び入出力部２９は、通信手段であるが、コンピュータ読み取り可能な記憶媒体に対する書き込み・読み出し手段であってもよい。
【００３８】
ＤＢ２１は、ＤＢ１１と同等の情報を格納する。すなわち、電子書籍ビューワ２が、サーバ１に電子書籍の送信を要求すると、サーバ１は、入出力部２９を介してＤＢ１１のコンテンツファイルをＤＢ２１にエクスポートし、ＤＢ２１に格納される。ただし、ＤＢ１１の情報とＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。
【００３９】
コンテンツ表示制御部２５は、表示部２４に対するコンテンツの表示制御を行う。
【００４０】
［コンテンツ配信システムの動作］
（Ａ）マスタデータ生成処理
図２は、オーサリング部１０がマスタデータを生成する処理の流れを示すフローチャートである。
【００４１】
最初に、コンテンツ画像を取得し、ＤＢ１１に記憶する（ステップＳ１）。サーバ１は、マンガの各ページに対応するページ全体の画像（高解像度の画像、例えば３０００×５０００画素又は１５００×２０００画素）を、記憶メディアやネットワークを介して取得し、あるいはマンガをスキャナ１４で読み取ることにより取得し、オーサリング部１０はこれらの方法によりサーバ１に取得されたコンテンツ画像を取得する。オーサリング部１０は、既にＤＢ１１にコンテンツ画像が記憶されている場合には、ＤＢ１１に記憶されたコンテンツ画像を取得してもよい。
【００４２】
オーサリング部１０は、ステップＳ１で取得したコンテンツ画像に対して各種情報を登録する画面である登録画面をモニタ１５に表示させる。そして、ユーザが登録画面の指示に従って、操作部１２を介して各種情報を入力すると、オーサリング部１０はそれを取得し、コンテンツ画像に関連付けてＤＢ１１に登録する（ステップＳ２）。オーサリング部１０は情報ファイルを作成し、各種情報を情報ファイルに記憶する。オーサリング部１０は、コンテンツ画像と情報ファイルとを紐付けてマスタデータを作成する。マスタデータは、ＤＢ１１に記憶される。
【００４３】
各種情報（ページ情報）とは、コンテンツに関する情報（コンテンツ固有のタイトルＩＤ、タイトル名、著者、出版社（版権者）、出版年、言語等）、ページに関する情報、ページ名、ページＩＤの情報を含む。なお、ページに関する情報とは、コンテンツ画像が１ページか見開き２ページかを示す情報、右開き/左開き、オリジナルコンテンツの大きさ等を含む情報である。
【００４４】
ステップＳ１で図３に示すコンテンツ画像を取得した場合には、オーサリング部１０は、図４に示す登録画面をモニタ１５に表示する。登録画面は、右側にコンテンツ画像Ｇが表示され、左側に取得されたコンテンツ画像の一覧Ｌが表示される。「Index」はファイルＩＤであり、コンテンツ画像が取得されると自動的に付与される。一覧Ｌには、取得されたコンテンツ画像の情報がファイルＩＤ順に並べて表示される。登録前は、「Index」以外の欄は「０」が表示されている。
【００４５】
ユーザが操作部１２を介して「filename」、「speaking」、「Language」、「Translation」の欄を入力すると、オーサリング部１０は、入力された文字情報を一覧Ｌに表示させると共に、ＤＢ１１に記憶させる。なお、「filename」はファイル名であり、「speaking」は音声情報の有無であり、「Language」はコンテンツ画像に含まれる文字情報の言語であり、「Translation」はコンテンツ画像に含まれる文字情報の多言語への翻訳の有無である。なお、「koma」はコマ数であるが、現段階では「０」が表示されている（後で自動入力される）。
【００４６】
オーサリング部１０は、コンテンツ画像を自動解析する（ステップＳ３）。自動解析は、図４に示す登録画面において、ユーザが操作部１２を介して「Auto Koma」及び／又は「Auto Speech Balloon」のチェックボックスにチェックを入れ（選択）、ＯＫボタンＡを押すことによって行われる。本実施の形態では、「Auto Koma」及び「Auto Speech Balloon」が選択されたとして説明する。
【００４７】
「Auto Koma」が選択された場合には、オーサリング部１０は、コンテンツ画像に含まれる線の情報に基づいて自動的にコマの検出を行う。コンテンツ画像に含まれる線の情報は、例えばコンテンツ画像のコントラストが強い領域が直線的に現れている部分を線と認識することにより取得することができる。
【００４８】
「Auto Speech Balloon」が選択された場合には、オーサリング部１０は、コンテンツ画像からテキストを抽出し、テキストの周囲を囲む閉じた領域を吹き出し領域とすることにより、コンテンツ画像に含まれる吹き出しを抽出する。テキストの抽出は、オーサリング部１０に含まれる光学式文字読取装置（ＯＣＲ）により行われる。なお、ＯＣＲにより読み出されたテキストは、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【００４９】
なお、コマの検出や吹き出しの抽出は、マシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定するようにすればよい。
【００５０】
情報ファイルには、コマに関する情報であるコマ情報が記憶され、吹き出しに関する情報である吹き出し情報が記憶され、テキストに関する情報であるテキスト情報が記憶される。
【００５１】
コマ情報はコマ領域情報を含む。コマ領域情報は、コマ領域を示す情報であり、ページに含まれるコマ数、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、各コマの形状が含まれる。コマ領域情報は、コマ境界を示すベクトルデータであっても良いし、コマ領域を示すマスクデータであっても良い。また、コマ情報には、各コマのコマ順序（再生順）に関するコマ順序情報などがさらに含まれる。コマ順序は、例えば、右開き/左開きのページに関する情報、使用言語を示すコンテンツに関する情報、コマ領域情報から検知されるコマ割り等に基づいてページの右上から左下、左上から右下、移動方向（左右方向又は上下方向）等のいくつかのコマ順序の遷移パターンのうちから適切なパターンを選択し、その選択した遷移パターンにしたがって自動的に決定される。
【００５２】
吹き出し情報は吹き出し領域情報を含む。吹き出し領域情報は、ページ単位（又はコマ単位）の内での吹き出しの存在領域を示す情報であり、描線上の吹き出しの形状に対応する複数点を示す位置情報（例えば座標データ）、吹き出しの形状（例えばベクトルデータ）、吹き出しの起点（吹き出しの頂点）の位置と向き、吹き出しのサイズが含まれる。なお吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報（マスクデータ）でもよい。また、吹き出しの特定位置（例えば中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。吹き出し情報には、吹き出しに含まれるテキストの情報、吹き出しの描線の属性（破線、実線など）、吹き出しの話者の識別情報、吹き出しの属するコマなどがさらに含まれる。
【００５３】
テキスト情報は、テキスト領域情報とテキストの内容に関する情報とを含む。テキスト領域情報は、描線上のテキスト領域の多角形の外周縁の各頂点を示す位置情報（例えば座標データ）が含まれる。なおテキスト領域情報は、テキスト領域の外周縁を示すベクトルデータでもよいし、テキスト領域（範囲）を示すビットマップ情報（マスクデータ）でもよい。
【００５４】
また、テキストの内容に関する情報は、ＯＣＲにより特定されたテキスト（文章）文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などを含む。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。
【００５５】
また、オーサリング部１０は、関連付け情報として、テキストと吹き出しとを関連付けた情報や吹き出し又はテキストとコマとを関連付けた情報を情報ファイルに記憶する。吹き出しの抽出時にテキストを抽出するので、テキストはそのテキストが抽出された吹き出しと関連付けられる。また、吹き出し情報に含まれる座標とコマ情報に含まれる座標とを比較することで、吹き出しがどのコマに含まれるかが判断できるため、吹き出しはその吹き出しが含まれるコマと関連付けられる。なお、テキストの周りに閉じた領域が発見できなかった場合には、コマに文字のみが含まれる場合であるため、テキストはそのテキストが含まれるコマと紐付けられる。
【００５６】
オーサリング部１０は、コマ情報、吹き出し情報、テキスト情報を情報ファイルに記憶することで、マスタデータを更新する。本ステップの処理を全て手作業で行う場合には膨大な作業量が必要になるが、このように自動的に処理を行うことにより効率的にマスタデータを作成することができる。
【００５７】
オーサリング部１０は、元のコンテンツ画像とステップＳ３で自動解析されたコンテンツ画像のコマの検出の結果とを並べてモニタ１５に表示し、操作部１２を介してコマ検出結果の補正入力を受け付け、その結果に基づいてコマ設定を行う（ステップＳ４）。
【００５８】
ステップＳ４の処理について詳細に説明する。図５は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析によるコマ検出結果である。実際は図３に示すコンテンツ画像と図５に示すコマ検出結果とが並べてモニタ１５に表示されが、図５に示すコマ検出結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいてコマ検出結果を表示する。コマ検出結果は、各コマの境界（以下、コマ境界という）がコントラスト画像に重ねて太破線で表示され、各コマの中央にはコマの読み順を示すコマ順序が表示される。これにより、ユーザは現在のコマ領域情報（コマ割り）及びコマ順序を確認することができる。
【００５９】
ユーザによって所定のコマが選択されると、オーサリング部１０は、そのコマのコマ境の色を他のコマ境界の色と異なる色に変更し（例えば、選択されているコマは赤線、選択されていないコマは青線）、選択されたコマに対する補正入力の受け付けを開始する。これにより、編集対象のコマをユーザが確認することができる。
【００６０】
（１）コマの増加
コマが選択された状態で、コマ内のある位置が選択されると、オーサリング部１０は、選択された位置の近傍にコマ境界を増やし、それに伴いコマ順序を更新する。ステップＳ３において線が抽出、認識されているが、それがコマ境界とされていないために発生する不具合である。コマ内のある位置が選択されると、オーサリング部１０は、選択指示が入力された位置近傍の線であって、線として認識されているがコマ境界とされていない線を抽出し、これをコマ境界とすることにより、コマ境界が追加される。
【００６１】
図５に示すコマ検出結果では、コンテンツ画像中央部のコマ順序２のコマが、実際は２コマであるにもかかわらず１コマとして認識されている。したがって、ユーザが操作部１２を介してコマ中央近傍の線Ａの近傍を選択すると、オーサリング部１０は、図６に示すように、コンテンツ画像中央部のコマをコマ順序２のコマと、コマ順序３のコマとに分割する。
【００６２】
コマの増加に伴い、オーサリング部１０は、コマ順序を修正する。この場合には、図５におけるコマ順序３のコマのコマ順序を４に変更し、図５におけるコマ順序４のコマのコマ順序を５に変更する。
【００６３】
（２）コマの削除
図７に示す例では、木Ｂの幹をコマ分割の線であると誤認識された結果、コンテンツ画像上部のコマが２つに分割されているが、実際にはコンテンツ画像上部は１コマである。図７に示す画像がモニタ１５に表示されている場合に、コマ順序１のコマ又はコマ順序２のコマが選択された状態で、ユーザが操作部１２を介してコマ順序１のコマとコマ順序２のコマとの間のコマ境界を選択すると、オーサリング部１０は、図７におけるコマ順序１のコマとコマ順序２のコマとの間のコマ境界を消し、図８に示すようにコンテンツ画像上部のコマをコマ順序１の１つのコマにする。
【００６４】
コマの削除に伴い、オーサリング部１０は、コマ順序を修正する。この場合には、図７におけるコマ順序３のコマのコマ順序を２に変更し、図７におけるコマ順序４のコマのコマ順序を３に変更し、図７におけるコマ順序６のコマのコマ順序を４に変更する。
【００６５】
なお、コマ境界の増加、削除において、増加するコマ境界及び削除するコマ境界を他のコマ境界と識別可能に表示させてもよい。これにより、どのコマ境界が増加されるか及びどのコマ境界が削除されるかをユーザが把握することができる。
【００６６】
（３）コマ境界の修正
選択されたコマがダブルクリックされると、オーサリング部１０は、頂点の数や座標の補正入力の受け付けを行う。これにより、コマの形状や大きさを補正することができる。
【００６７】
選択されたコマがダブルクリックされると、図９に示すように、コマ境界の修正画面が表示される。コマは３個以上の頂点を有する多角形で表現され、コマ境界は３個以上の頂点と頂点を結ぶ線とで表現される。図９においてはコマが正方形であるため、正方形の各頂点と辺の略中央の合計８個の頂点が表示される。
【００６８】
ユーザが操作部１２を介してコマ境界の所望の位置をダブルクリック等して指示を入力すると、その位置に頂点が追加される。また、ユーザが操作部１２を介して所望の頂点をダブルクリック等して指示を入力すると、その頂点が削除される。
【００６９】
ユーザが操作部１２を介して所望の頂点をドラッグすると、図９に示すように頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状や大きさを変更することができる。
【００７０】
（４）コマ順序の修正
オーサリング部１０は、操作部１２を介してコマ順序を示す番号上がダブルクリックされると、そのコマ順序の修正を受け付けるようにし、その後に操作部１２により入力された番号をコマ順序として修正する。これにより、自動解析されたコマ順序が誤っている場合にコマ順序を修正することができる。
【００７１】
このようにしてコマ設定が行われたら、オーサリング部１０は、それに合わせて情報ファイルのコマ情報を修正する。また、オーサリング部１０は、コマ設定後に登録画面の表示が指示されると、一覧Ｌの「koma」にコマ数が入力されたものをモニタ１５に表示する。図６に示す結果が設定された場合には、図４に示すようにファイルＩＤが１の「koma」に５が入力される。
【００７２】
以上によりコマ設定が行われた（ステップＳ４）ら、オーサリング部１０は、元のコンテンツ画像とステップＳ３で自動解析されたコンテンツ画像の吹き出しの抽出結果とを並べてモニタ１５に表示し、操作部１２を介して吹き出しの抽出結果の補正入力を受け付け、その結果に基づいて吹き出し設定を行う（ステップＳ５）。
【００７３】
ステップＳ５の処理について詳細に説明する。図１０は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析による吹き出しの抽出結果である。実際は図３に示すコンテンツ画像と図９に示す吹き出し抽出結果とが並べてモニタ１５に表示されが、図９に示す吹き出し抽出結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいて吹き出し抽出結果を表示する。オーサリング部１０は、抽出された吹き出しを塗りつぶした画像をモニタ１５に表示することで、抽出された吹き出しとその他の領域とを認識可能とする。図９においては、吹き出し領域を示す画像としてハッチングにより抽出された吹き出しを塗りつぶした画像を示しているが、吹き出し領域を示す画像として吹き出しの外周縁を太く描画する等した画像を表示するようにしてもよい。
【００７４】
（１）吹き出しの追加
図１０に示す抽出結果では、左下の吹き出しＸの境界線の一部が途切れているため、自動的に検出されていない。まず、ユーザが操作部１２を介して境界線の途切れている部分を連結して閉領域とする。その後、ユーザが操作部１２を介して閉領域を選択して認識を指示すると、オーサリング部１０が自動的に選択された閉領域を吹き出しと認識する。その結果、図１１に示すように、吹き出しＸについてもハッチングが表示され、他の吹き出しと同様に吹き出しとして設定される。
【００７５】
（２）吹き出しの削除
風船Ｙは閉領域であるため、図１２に示す抽出結果では、風船Ｙが吹き出しではないにもかかわらず吹き出しとして抽出されている。これは、風船Ｙ内の文字をテキストとご認識することにより発生する。ユーザが操作部１２を介して風船Ｙを選択すると、オーサリング部１０が自動的に選択された閉領域（この場合は、風船Ｙの内側）を吹き出しから削除する。その結果、図１３に示すように、風船Ｙからハッチングが消去される。
【００７６】
（３）吹き出し領域が綺麗に検出されていない場合の補正
図１４に示す抽出結果では、吹き出しＺの右上の一部が抽出されていない。これは、図１５の１点鎖線で示すように吹き出し内の文字が境界線に近かったり接していたりする場合や、図１５の２点鎖線で示すように吹き出し内の文字同士が近かったり接していたりする場合に発生する。
【００７７】
図１６は、図１４の吹き出しＺの抽出結果の拡大図であり、図１７は、図１６の中から文字を削除した図である。図１７に示すように、吹き出しＺは、境界線の一部が文字と連結されており（図１７ａ）、また文字の一部が吹き出し外になってしまっている（図１７ｂ）。したがって、ユーザが操作部１２を介して吹き出し内の閉じた領域ｂを選択すると、図１８に示すようにオーサリング部１０が自動的に閉じた領域ｂ（図１７参照）を吹き出しとする。また、図１８に示すようにユーザが操作部１２を介して吹き出しの境界線ｃを追加すると、図１９に示すようにオーサリング部１０が自動的に境界線ｃ（図１８参照）により生成された閉じた領域を吹き出しとする。この結果、図１９に示すように、綺麗に検出されていなかった吹き出しが正確に抽出される。
【００７８】
このようにして吹き出しの抽出結果の補正入力が行われたら、オーサリング部１０は、それに合わせて情報ファイルの吹き出し情報を修正する。
【００７９】
以上により吹き出し設定が行われた（ステップＳ５）ら、オーサリング部１０は、元のコンテンツ画像とステップＳ３で自動解析されたコンテンツ画像のテキスト認識結果とを並べてモニタ１５に表示し、操作部１２を介してテキストの認識結果の補正入力を受け付け、その結果に基づいてテキスト設定を行う（ステップＳ６）。
【００８０】
ステップＳ６の処理について詳細に説明する。図２０は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析によるテキスト認識結果である。実際は図３に示すコンテンツ画像と図２０に示す認識結果とが並べてモニタ１５に表示されが、図２０に示すテキスト認識結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいてテキストの抽出結果を表示する。オーサリング部１０は、テキスト領域の外周縁を太く描画する画像をモニタ１５に表示することで、テキスト領域とその他の領域とを認識可能とする。図２０においては、テキスト領域を示す画像としてテキスト領域の外周縁を太く描画した画像を示しているが、テキスト領域を示す画像としてテキスト領域を半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがテキストを認識できるようにする。
【００８１】
（１）テキストの追加
図２０においては、手書き文字からなるテキスト「え？」が認識されていない。ユーザが操作部１２を介して「え？」を囲んで認識を指示すると、オーサリング部１０が「え？」を囲む閉領域をテキスト領域と認識する。その結果、図２１に示すように、「え？」についてもテキスト領域として設定され、テキスト領域情報が取得される。
【００８２】
テキスト領域が設定されたら、オーサリング部１０の光学式文字読取装置により文字データが特定される。文字データが特定できなかった場合には、オーサリング部１０はユーザに入力を促し、ユーザが操作部１２を介して文字を入力する。これにより、テキストの内容に関する情報が取得される。
【００８３】
このようにしてテキストの抽出結果の補正入力が行われたら、オーサリング部１０は、それに合わせて情報ファイルのテキスト情報を修正する。
【００８４】
（２）テキストの削除
間違ってテキスト領域が認識されている場合には、ユーザが操作部１２を介して誤ったテキスト領域上の所望の位置を選択して認識を指示すると、オーサリング部１０が自動的に情報ファイルから選択されたテキスト領域を削除する。オーサリング部１０は、削除されたテキスト領域のテキストの内容に関する情報も情報ファイルから合わせて削除する。
【００８５】
テキスト設定（ステップＳ６）が終了したら、オーサリング部１０は、元のコンテンツ画像から関心領域（以下、ＲＯＩという）を自動抽出する（ステップＳ７）。ＲＯＩは、電子書籍ビューワ２で必ず表示したいものを示し、コンテンツ画像の基となるコミックのキャラクタの顔（又は顔に相当する領域）である。なお、キャラクタは人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含まれる。
【００８６】
オーサリング部１０は、公知の画像解析技術、例えば顔検出の手法を用いてキャラクタの顔を自動的に検出する顔検出手段を有し、顔検出手段はコンテンツ画像からキャラクタの顔を検出する。オーサリング部１０は、検出された顔を囲む多角形領域を関心領域として設定する。また、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、公知の画像解析技術を用いて、それらの画像情報に関する特徴量に基づき自動検出されてもよい。
【００８７】
また、オーサリング部１０は、関心領域（ＲＯＩ）に関する情報である関心領域情報を情報ファイルに記憶する。関心領域情報は、ＲＯＩの多角形の外周縁の各頂点を示す座標データ、ＲＯＩの形状、ＲＯＩの外周縁を示すベクトルデータ、又はＲＯＩを示すマスクデータであっても良い。また、関心領域情報には、ＲＯＩに含まれるキャラクタに関する情報（例えば、自動的につけられたキャラクタＩＤ）がさらに含まれる。また、関心領域情報には、優先順位、表示に当っての重要度、キャラクタの識別情報（名称など）、キャラクタの属性（性別、年齢など）が含まれても良い。
【００８８】
ＲＯＩの自動抽出（ステップＳ７）が終了したら、オーサリング部１０は、抽出したＲＯＩの情報を用いて、情報ファイルに記憶された関連付け情報を更新する。即ち、吹き出しとテキストとを関連付けた関連付け情報に対して、さらにＲＯＩ情報を関連付けたり、コマと吹き出しとテキストとを関連付けた関連付け情報に対して、さらにＲＯＩ情報を関連付ける。なお、関連付け情報は、コマ情報、吹き出し情報、テキスト領域情報、関心領域情報のうち、２以上の情報を関連付けるものであればよく、ＲＯＩ情報が必須なわけではない。
【００８９】
次に、オーサリング部１０は、ＲＯＩ抽出結果の補正入力を受け付け、この結果に基づいてＲＯＩ設定を行う（ステップＳ８）。
【００９０】
ステップＳ８の処理について詳細に説明する。図２２は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析によるＲＯＩ抽出結果である。実際は図３に示すコンテンツ画像と図２２に示す認識結果とが並べてモニタ１５に表示されが、図２２に示すＲＯＩ抽出結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいてＲＯＩ抽出結果を表示する。オーサリング部１０は、ＲＯＩの外周縁を太く描画する画像をモニタ１５に表示することで、ＲＯＩとその他の領域とを認識可能とする。図２２においては、ＲＯＩを示す画像としてＲＯＩの外周縁を太く描画した画像を示しているが、ＲＯＩ域を示す画像としてＲＯＩを半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがキャラクタを認識できるようにする。
【００９１】
（１）ＲＯＩの追加
図２２においては、キャラクタは男性Ｍと女性Ｆとを含むが、横を向いている男性Ｍのうち左向きの顔Ｃが認識されていない。ユーザが操作部１２を介して横を向いている男性Ｍの左向きの顔Ｃ上の所望の位置を選択して認識を指示すると、オーサリング部１０が指示された位置を含む閉領域をＲＯＩと認識する。また、オーサリング部１０は、それに合わせて情報ファイルの関心領域情報を修正する。その結果、図２３に示すように、男性Ｍの左向きの顔ＣにＲＯＩを示す画像が表示される。
【００９２】
（２）ＲＯＩの削除
誤ってＲＯＩが抽出された場合には、ユーザが操作部１２を介して誤ったＲＯＩ上の所望の位置を選択して認識を指示すると、オーサリング部１０が自動的に情報ファイルから選択された関心領域情報を削除する。これにより、誤ったＲＯＩを示す画像がモニタ１５条から削除される。
【００９３】
ＲＯＩ設定を行うと、それに応じて情報ファイルに記憶された関連付け情報が更新される。
【００９４】
ＲＯＩ設定（ステップＳ８）が終了したら、オーサリング部１０は、ペアリング設定（関連付け設定）を行う（ステップＳ９）。
【００９５】
関連付け設定は、例えば人物であるＲＯＩと、その人物の台詞と考えられる吹き出しを関連付ける。ＲＯＩが複数存在する場合には、吹き出しに最も近いＲＯＩに関連があると判断して関連付けを行ったり、吹き出しの向きに存在するＲＯＩと関連があると判断して関連付けを行う。しかし、これらの判断が誤っている場合も存在する。また、適切にＲＯＩが抽出できない場合や、複数のＲＯＩの台詞が１つの吹き出しに混在する場合にも、関連付け設定を誤る可能性がある。
【００９６】
図２４は、情報ファイルに記憶された関連付け情報に基づいて、関連付けられている吹き出しとＲＯＩとが、それぞれ関連付けられていることを示す破線の円を、画像上に重畳してモニタ１５に表示した一例を示す図である。
【００９７】
図２４には、吹き出しとして吹き出しｉ〜ｘｉｉが含まれ、ＲＯＩとして女性Ｆ（Ｆ１〜Ｆ３）、男性Ｍ（Ｍ１〜Ｍ４）が含まれる。女性Ｆ１〜Ｆ３は全て同一人物（女性Ｆ）であるが、説明の便宜上女性Ｆ１〜Ｆ３とした。同様に、男性Ｍ１〜Ｍ４も全て同一人物（男性Ｍ）であるが、説明の便宜上女性男性Ｍ１〜Ｍ４とした。
【００９８】
図２４に示す場合においては、吹き出しｉと女性Ｆ１とがペア１に、吹き出しｉｉと男性Ｍ１とがペア２に、吹き出しｉｉｉと男性Ｍ３とがペア３に、吹き出しｉｖと男性Ｍ３とがペア４に、吹き出しｖと女性Ｆ２とがペア５にし、吹き出しｖｉと女性Ｆ２とがペア６に、吹き出しｖｉｉと男性Ｍ３とがペア７に、吹き出しｖｉｉｉと男性Ｍ３とがペア８に、吹き出しｉｘと男性Ｍ３とがペア９に、吹き出しｘと男性Ｍ４とがペア１０に、吹き出しｘｉと女性Ｆ３とがペア１１に、吹き出しｘｉｉと女性Ｆ３とがペア１２に設定されており、それぞれのペアを囲むように破線の円が重畳表示されている。
【００９９】
ユーザが操作部１２を介して所定のペア同士を破線で囲んだ画像を選択すると、オーサリング部１０は、そのペアに関する修正を受け付ける。
【０１００】
図２４に示す例では、オーサリング部１０における関連付け設定では、吹き出しｘｉは、吹き出しｘｉに最も近い女性Ｆ３に関連付けられている。しかし、実際には吹き出しｘｉは女性Ｆ３ではなく、男性Ｍ４と関連付けすべきである。したがって、ペア１１について修正を行う必要がある。
【０１０１】
ユーザが操作部１２を介してペア１１をダブルクリック等するとペア１１の編集が可能となり、吹き出しｘｉと男性Ｍ４とが選択されると、オーサリング部１０は、吹き出しｘｉと男性Ｍ４とをペア１１に再設定し、情報ファイルを修正する。
【０１０２】
オーサリング部１０は、修正された情報ファイルに基づいて関連付けの結果を認識可能にした状態でコンテンツ画像をモニタ１５に表示する。その結果、図２５に示すようにペア１１が修正された結果がモニタ１５上で確認される。
【０１０３】
関連付けした情報に番号をつけても良い。オーサリング部１０は、右上にある吹き出しの関連付けから順に番号をつけても良いし、操作部１２からの入力に基づいて番号をつけても良い。この番号は、吹き出しの表示順序を兼ねてもよい。
【０１０４】
最後に、オーサリング部１０は、ステップＳ４〜Ｓ９で更新された情報ファイルとコンテンツ画像とにより構成されるマスタデータをＤＢ１１に保存する（ステップＳ１０）。
【０１０５】
なお、手動で全ての関連付けを態様も可能である。この場合、オーサリング部１０は、情報ファイルに基づいてステップＳ５、Ｓ７で設定された吹き出し及びＲＯＩを選択可能な状態でコンテンツ画像をモニタ１５に表示する。ユーザが操作部１２を介して所定の吹き出しとＲＯＩとを１つずつ選択すると、オーサリング部１０はそれを認識し、これらをペアとして設定する。吹き出しｉは女性Ｆ１が話しているため、操作部１２を介して吹き出しｉと女性Ｆ１とが選択されると、オーサリング部１０は、自動的に吹き出しｉと女性Ｆ１とをペアと認識し、吹き出しｉと女性Ｆ１とをペア１に設定する。同様に、操作部１２を介して吹き出しｉｉと男性Ｍ１とが選択されると、オーサリング部１０は、自動的に吹き出しｉｉと男性Ｍ１とをペアと認識し、吹き出しｉｉと男性Ｍ１とをペア２に設定する。このようにして全ての吹き出しについて関連付けが行われると、オーサリング部１０は、関連付けの結果を情報ファイルに記憶させる。
【０１０６】
情報ファイルとしては、例えばＸＭＬファイル形式のファイルを用いることができる。図２６は、情報ファイルの構造を示す図である。本実施の形態では、コミック毎に情報ファイルを有するため、情報ファイルには複数のページ情報が含まれる。各ページ毎に、まずページ情報があり、ページ情報に関連付けてコマ情報があり、コマ情報に関連付けて吹き出し情報、テキスト情報、関心領域情報、及び関連付け情報がある。
【０１０７】
関連付け情報は、上述したように、ページ内の各コマのコマ領域情報を含むコマ情報、吹き出しの画像内の領域を示す吹き出し領域情報を含む吹き出し情報、コミックのテキストの領域を示すテキスト領域情報、及びコミックの関心領域を示す関心領域情報（ＲＯＩ）のうちの２以上の情報から、関連があるものとしてオーサリング部１０によって関連付けされたことを示す情報が記録されている。
【０１０８】
なお、情報ファイルは、コミック毎ではなく、各ページ毎に生成するようにしてもよい。
【０１０９】
コミックの画像ファイルと、その情報ファイルとにより構成されたマスタデータを生成することで、電子書籍ビューワに合わせた編集、テキストの自動翻訳、翻訳編集及び共有、電子書籍ビューワにおける適切な表示処理などが可能となり、電子書籍の供給が容易となる。
【０１１０】
なお、本実施の形態では、オーサリング部１０はコンテンツ画像を取得して、コマ情報、吹き出し情報、テキスト情報等が記憶されたマスタデータを生成したが、オーサリング部１０は各種情報が記憶された情報ファイルを有するマスタデータ（図２のステップＳ２で生成されたマスタデータに相当）を取得し、ステップＳ３〜Ｓ１０の処理を行って最終的なマスタデータをＤＢに保存しても良い。また、オーサリング部１０はコマ、吹き出し、テキストの自動抽出が行われ、コマ情報、吹き出し情報、テキスト情報が記憶された情報ファイルを有するマスタデータ（図２のステップＳ３で生成されたマスタデータに相当）を取得し、ステップＳ４〜Ｓ１０の処理を行って最終的なマスタデータをＤＢに保存しても良い。
【０１１１】
（Ｂ）マスタデータ編集処理
図２７は、電子書籍ビューワに合わせた編集を行う表示画面を示す。オーサリング部１０は、コンテンツ画像をモニタ１５に表示する。オーサリング部１０は、情報ファイルに基づいて各コマのコマ境界を太線で表示する。また、各コマの略中央にはコマの読み順を示すコマ順序が表示される。なお、コマ順序の表示はこれに限られず、コマの隅に表示するようにしてもよい。
【０１１２】
また、オーサリング部１０は、ＤＢ１１等から電子書籍ビューワ２の画面サイズを取得し、電子書籍ビューワ２の画面サイズの情報と情報ファイルとの情報に基づいて電子書籍ビューワ２の画面サイズを示す枠Ｆをコンテンツ画像に重ねて表示する。ユーザが操作部１２を介してフレームＦを左右上下に移動させる指示を入力すると、オーサリング部１０は操作部１２の指示に応じてフレームＦを左右上下に移動させる。
【０１１３】
また、オーサリング部１０は、電子書籍ビューワ２の画面サイズの情報と情報ファイルとの情報に基づいて各コマを全て表示するのに必要な最小の表示回数、すなわちスクロール数が何回であるかを求め、その情報（マーカ）をコンテンツ画像に重ねて表示する。本実施の形態ではマーカは各コマの略中央に表示されるため、図２７においてはコマ順序はマーカに重ねて表示されている。
【０１１４】
図２７においては、矩形形状のマーカでスクロール数を表現している。スクロール数が１回の場合には、図２７のコマ順序が３、４のコマのように、一辺の長さがａの正方形のマーカが表示される。スクロール数が２回以上の場合には、一辺の長さがａの整数倍となる矩形形状のマーカが表示される。垂直方向のスクロール数がｎ回、水平方向のスクロール数がｍ回の場合には、縦横サイズがｎａ×ｍａの矩形形状のマーカが表示される。図２７のコマ順序が１、２、６、７においては、横のスクロール数が２回、縦のスクロール数が１回であるため、横が２ａ、縦がａの長方形のマーカが表示される。このようなマーカを表示することで、各コマにフレームＦを重ねることなく、マーカを見るだけでスクロール回数を把握することができる。
【０１１５】
ユーザは、このようにしてモニタ１５に表示された画像を見ながらコマ境界を移動させる。図２８に示すように、ユーザが操作部１２を介してコマ境界をダブルクリック等すると、オーサリング部１０は、コマ境界に頂点を表示させてコマ境界を編集可能とする。ステップＳ４（図９）と同様にユーザが操作部１２を介して所望の頂点をドラッグすると、頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状（例えば５角形から矩形へ変更）や大きさを変更することができる。また、頂点の追加、削除も可能である。頂点の追加、削除はステップＳ４と同じであるため、説明を省略する。
【０１１６】
また、オーサリング部１０は、電子書籍ビューワ２の画面サイズの情報と情報ファイルとの情報に基づいて、コマのサイズが電子書籍ビューワ２の画面サイズよりわずかに大きい場合には、電子書籍ビューワ２の画面サイズよりわずかに大きいコマのコマ境界を他のコマ境界とは異なる色で表示する。コマの縦横のサイズが電子書籍ビューワ２の画面サイズよりわずかに大きい場合とは、例えば、電子書籍ビューワ２の画面サイズの略１０％を閾値とし、コマの辺の長さが電子書籍ビューワ２の画面サイズより１０％程度大きい場合等が考えられる。図２７においては、コマ順序５のコマのコマ境界が他のコマ境界とは異なる色で表現されている。
【０１１７】
電子書籍ビューワ２の画面サイズよりわずかに大きいコマの場合には、コマの重要でない部分をコマに含まれないとして見せないようにするだけで、スクロール回数を１回にして、視認性を向上させることができる。図２９に示すように、フレームＦよりわずかに大きいコマ順序５のコマのコマ境界の位置を変え、スクロール数が１となるようにコマの形状を変える。図２９においては、コマ順序５のコマの左端の一部をコマに含まれないようにコマを細くすることでスクロール数を１にしている。
【０１１８】
このようにしてスクロール数が変更されたら、オーサリング部１０は、これを検出し、情報ファイルを書きかえる。また、オーサリング部１０は、マーカの大きさをａ×ａに変更し、コマ順序５のコマのコマ境界の色を他のコマの色を同じ色に変更する。
【０１１９】
コマ境界の削除、追加も可能である。コマ境界の追加、削除はステップＳ４と同じであるため説明を省略する。例えば所定のコマが選択された状態で、ユーザが操作部１２を介してそのコマの所定のコマ境界を選択すると、選択されたコマ削除が削除される。例えばコマの大きさが小さく、フレームＦに２個のコマが含まれる場合等には、コマを１つにすることで効率のよい表示が可能となる。
【０１２０】
オーサリング部１０は、プレビュー画面をモニタ１５に表示させることもできる。図３０はプレビュー画面の一例である。オーサリング部１０は、コンテンツ画像をモニタ１５に表示し、電子書籍ビューワ２の画面サイズを示す枠Ｆをコンテンツ画像に重ねて表示する。そして、オーサリング部１０は、フレームＦの外側を半透明に塗りつぶし、フレームＦの内側のみが視認可能なプレビュー画面とする。フレームＦの外側を半透明に塗りつぶす場合に限らず、フレームＦの外側をグレー表示にしても良い。
【０１２１】
ユーザが操作部１２を介して指示すると、オーサリング部１０はフレームＦをスクロールして次のプレビュー画面を表示する。現在プレビュー中のコマが全てプレビューされていない場合には、オーサリング部１０は、現在プレビュー中のコマが全てプレビューされるようにフレームＦを移動させて、フレームＦの外側を半透明表示する。図３０に示す例においては、フレームＦをｔだけ左側に移動させる。
【０１２２】
現在プレビュー中のコマが全てプレビューされている場合には、オーサリング部１０は、次のコマ順序のコマの右端とフレームＦの右端とを一致させるようにフレームＦを移動させて、フレームＦの外側を半透明表示する。
【０１２３】
これにより、電子書籍ビューワ２での見え方を確認することができる。したがって、より適切なマスタデータ編集をすることができる。
【０１２４】
なお、マスタデータ編集処理は、オーサリング部１０がマスタデータを生成した場合に限らず、外部の電子コミック生成装置により生成されたマスタデータをサーバ１のＤＢ１１に保存して、それを編集するようにしてもよい。
【０１２５】
［関連付けの修正処理の詳細］
図３１は、オーサリング部１０の内部構成を示すブロック図であり、主に関連付け情報に関する機能ブロックを示している。同図に示すように、オーサリング部１０は、マスタデータ取得部１０ａ、関連付け情報画像生成部１０ｂ、関連付け情報画像重畳部１０ｃ、関連付け情報削除部１０ｄ、関連付け情報追加部１０ｅ、及び関連付け情報更新部１０ｆ等から構成されている。
【０１２６】
マスタデータ取得部１０ａは、ＤＢ１１からコンテンツ画像と情報ファイルとが紐付けされたマスタデータを取得するマスタデータ取得手段として機能し、取得したデータをＲＡＭ（不図示）に格納する。
【０１２７】
関連付け情報画像生成部１０ｂは、ＲＡＭに格納されたマスタデータ内の情報ファイルに含まれる関連付け情報を読み出し、それぞれ関連付けられた各領域を示す画像を生成する画像生成手段として機能する。関連付け情報画像重畳部１０ｃは、ユーザによる操作部１２の操作に応じて、ＲＡＭに格納されたマスタデータ内の画像ファイルのページ画像と、関連付け情報画像生成部１０ｂによって生成された画像とを重畳し、モニタ１５に表示させる表示制御手段として機能する。
【０１２８】
関連付け情報削除部１０ｄは、ユーザによる操作部１２の操作に応じて、ＲＡＭに格納されたマスタデータ内の情報ファイルの関連付け情報を削除する関連付け情報削除手段として機能する。同様に、関連付け情報追加部１０ｅは、ユーザによる操作部１２の操作に応じて、ＲＡＭに格納されたマスタデータ内の情報ファイルの関連付け情報を追加する関連付け情報追加手段として機能する。
【０１２９】
関連付け情報更新部１０ｆは、関連付け情報削除部１０ｄ又は関連付け情報追加部１０ｅによって関連付け情報が削除、追加されたＲＡＭ内の情報ファイルに基づいて、ＤＢ１１内のマスタデータを更新する編集手段として機能する。
【０１３０】
図３２は、情報ファイルに記憶された関連付け情報に基づいて行われた関連付け情報表示を示す図であり、図２４とは異なる態様を示す図である。同図に示すように、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びＲＯＩの各領域の外周縁を描画した画像が、画像上に重畳されてモニタ１５に表示されている。
【０１３１】
図３２の例では、操作部１２によりコマ１００が選択された場合を示している。マスタデータ取得部１０ａは、当該ページのマスタデータをＤＢ１１から取得し、ＲＡＭに格納する。さらに、選択されたコマ１００の関連付け情報を、このＲＡＭに格納されたマスタデータの情報ファイルから取得する。ここでは、吹き出し１１１、１１２、テキスト領域１２１、１２２ａ、１２２ｂ、ＲＯＩ１３１、１３２が、コマ１００に関連付けられているものとする。さらに、吹き出し１１１、テキスト領域１２１、及びＲＯＩ１３１が１つのまとまりとしてそれぞれ関連付けられており（グループａとする）、吹き出し１１２、テキスト領域１２２ａ、１２２ｂ、及びＲＯＩ１３２が他の１つのまとまりとしてそれぞれ関連付けられている（グループｂとする）ものとする。
【０１３２】
関連付け情報画像生成部１０ｂは、コマ１００に関連付けられている吹き出し１１１、１１２、テキスト領域１２１、１２２ａ、１２２ｂ、ＲＯＩ１３１、１３２の外周縁を描画した画像を生成する。このとき、それぞれ異なる関連付けがされているグループａとグループｂとでは、異なる線種となるように画像を生成する。図３１の例では、グループａについては破線で、グループｂについては一点鎖線でそれぞれの外周縁を描画する画像を生成している。
【０１３３】
関連付け情報画像重畳部１０ｃは、この生成した画像とＲＡＭに格納されたマスタデータ内の画像データとをモニタ１５に重畳して表示させる。このように重畳表示させることで、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びＲＯＩを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
【０１３４】
なお、外周縁を描画する線の線種を変えるのではなく、色を変えてもよい。また、表示されている画像（ページ）の、選択されたコマ１００以外の部分については、非選択であることを明確にするためにコントラストを下げて表示する等をしてもよい。さらに、複数のコマを選択可能に構成してもよいし、全てのコマについて同時に関連付け情報表示を行ってもよい。
【０１３５】
また、関連付け情報表示は、図３３に示すように行ってもよい。即ち、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びＲＯＩの各領域をそれぞれ接続する引き出し線を描画した画像を、画像上に重畳してもよい。
【０１３６】
図３３の例では、操作部１２によりコマ１００が選択された場合に、コマ１００に関連付けられている吹き出し１１１、１１２、ＲＯＩ１３１、１３２から引き出し線１４１、１４２が描画される。また、それぞれ関連付けられている吹き出し１１１とＲＯＩ１３１とが引き出し線１４１、吹き出し１１２とＲＯＩ１３２とが引き出し線１４２によって接続されている。
【０１３７】
ここではテキスト領域を省略しているが、コマ１００の関連付けにテキスト領域が含まれている場合には、同様に引き出し線により接続する画像を生成して重畳表示すればよい。また、引き出し線１４１と１４２とで、線種や色を変更してもよい。
【０１３８】
図３３のように表示しても、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びＲＯＩを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
【０１３９】
次に、関連付けの修正処理の詳細について説明する。ここでは、マスタデータの情報ファイルにおいて、コマ１５０に対して吹き出し１６０ａ、１６０ｂ、１６０ｃが関連付けられており、コマ１５２に吹き出し１６２が関連付けられているものとする。
【０１４０】
操作部１２によってコマ１５０が選択されると、マスタデータ取得部１０ａがＤＢ１１から取得したマスタデータに基づいて、関連付け情報画像生成部１０ｂがコマ１５０、吹き出し１６０ａ、１６０ｂ、１６０ｃの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部１０ｃは、この画像とページ画像とを重畳し、モニタ１５に表示する。図３４は、モニタ１５に表示される画像を示している。
【０１４１】
オーサリング部１０の自動での関連付け設定では、吹き出し１６０ａは、コマ１５０と関連付けられている。自動での関連付け設定では、吹き出し１６０ａのように複数のコマにまたがって存在する吹き出しやＲＯＩについて、例えば、どのコマに最も多く含まれているかを比較して決定する。ここでは、吹き出し１６０ａは、コマ１５２に存在する面積よりもコマ１５０に存在する面積が大きいために、コマ１５０に関連付けられたものとする。しかし、実際にはコマ１５２に関連付けるべきであり、ここでは、吹き出し１６０ａを、コマ１５２に関連付けるように修正（更新）する例について説明する。
【０１４２】
まずユーザは、モニタ１５に図３４の画像が表示された状態において、操作部１２により関連付け情報の修正アイコン（不図示）を選択し、吹き出し１６０ａを選択する。この操作に応じて、関連付け情報画像生成部１０ｂは、吹き出し１６０ａの領域の外周縁の描画のない、コマ１５０、吹き出し１６０ｂ及び１６０ｃの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部１０ｃは、この画像を当該ページの画像に重畳してモニタ１５に表示する。図３５は、このときのモニタ１５に表示される画像を示している。
【０１４３】
この状態で修正を終了すると、関連付け情報削除部１０ｄは、ＲＡＭに格納されたマスタデータの情報ファイル内のコマ１５０の関連付け情報から吹き出し１６０ａを削除する。また、関連付け情報更新部１０ｆは、ＲＡＭに格納されたマスタデータに基づいて、ＤＢ１１のマスタデータを更新する。これにより、コマ１５０と吹き出し１６０ａとは、関連付けがないものとなる。
【０１４４】
次に、操作部１２によりコマ１５２を選択すると、この操作に応じて、関連付け情報画像生成部１０ｂは、コマ１５２と、コマ１５２に関連付けられた吹き出し１６２の領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部１０ｃは、この画像を当該ページの画像に重畳してモニタ１５に表示する。図３６は、このときにモニタ１５に表示される画像を示している。
【０１４５】
この状態で、再び関連付け情報の修正アイコン（不図示）を選択し、吹き出し１６０ａを選択する。この操作に応じて、関連付け情報画像生成部１０ｂは、コマ１５２に関連付けられた吹き出し１６２と、選択された吹き出し１６０ａの各領域の外周縁を描画した画像を生成し、関連付け情報画像重畳部１０ｃは、この画像を当該ページの画像に重畳してモニタ１５に表示する。
【０１４６】
これにより、図３７に示すように、コマ１５２、吹き出し１６２及び吹き出し１６０ａの各領域の外周縁を描画した画像が重畳表示される。
【０１４７】
この状態で修正を終了すると、関連付け情報追加部１０ｅは、ＲＡＭに格納されたマスタデータの情報ファイル内のコマ１５２の関連付け情報に吹き出し１６０ａを追加する。また、関連付け情報更新部１０ｆは、ＲＡＭに格納されたマスタデータに基づいて、ＤＢ１１のマスタデータを更新する。これにより、コマ１５２と吹き出し１６０ａとは、関連付けがされているものとなる。
【０１４８】
以上のように構成することで、関連付け情報の更新をユーザが手動で行うことが可能となる。
【０１４９】
なお、コマの関連付け情報に新たに吹き出しやテキストを追加する際に、そのコマに複数のＲＯＩが存在する場合には、その追加した吹き出しやテキストがどのＲＯＩと関連付けられるのか不明となる場合がある。このような場合には、ユーザにどのＲＯＩと関連付ければよいのかを選択させればよい。
【０１５０】
この実施形態では、電子書籍のコンテンツを配信するサーバにより電子コミックのマスタデータを作成編集するようにしているが、このマスタデータを作成する装置は、コンテンツを配信するサーバとは別の電子コミック編集装置であってもよい。また、この電子コミック編集装置は、本発明に係る電子コミック編集プログラムが記録された記録媒体を介して該電子コミック編集プログラムを、汎用のパーソナルコンピュータにインストールすることにより構成することができる。
【０１５１】
また、上記のように作成編集されたマスタデータは、各種の携帯端末からの配信要求に応じてサーバ（配信サーバ）から配信されるが、この場合、配信サーバは、携帯端末の機種情報を取得し、マスタデータをその機種（画面サイズ等）での閲覧に適したデータに加工して配信してもよいし、マスタデータをそのまま配信してもよい。尚、マスタデータをそのまま配信する場合、携帯端末側のビューワソフトでマスタデータをその携帯端末に適したデータに変換して閲覧可能にする必要があるが、マスタデータには前述したように情報ファイルが含まれているため、ビューワソフトは情報ファイルに記述された情報を利用して携帯端末にコンテンツを表示させることができる。
【０１５２】
更に、本発明の技術的範囲は、上記実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合せることができる。
【符号の説明】
【０１５３】
１：サーバ、２：電子書籍ビューワ、１０：オーサリング部、１０ａ：マスタデータ取得部、１０ｂ：関連付け情報画像生成部、１０ｃ：関連付け情報画像重畳部、１０ｄ：関連付け情報削除部、１０ｅ：関連付け情報追加部、１０ｆ：関連付け情報更新部、１１：データベース（ＤＢ）、１２：操作部、１５：モニタ
【技術分野】
【０００１】
本発明は電子コミック編集装置、方法及びプログラムに係り、特にマンガコンテンツを電子化する技術に関する。
【背景技術】
【０００２】
近年、通信ネットワークを介してウェブ上のサイトを閲覧する機能を備えた携帯通信端末が普及している。また、携帯通信端末において閲覧されるコンテンツとして、雑誌等に掲載されたコミック（マンガ）をスキャナによって取り込むなどして電子化した電子コミックが知られている。
【０００３】
電子コミックについては、その電子化の際に、携帯通信端末の表示部において適切に表示できるようにデータを生成する様々な技術が提案されている。
【０００４】
例えば特許文献１には、マンガ等のコマ単位でストーリー展開する画像群を、サーバから携帯通信端末に送信するシステムにおいて、コマ単位でストーリー展開する原稿画像群を格納する原稿画像群格納手段と、格納手段に格納された画像群の各コマの配列を設定するコマ配列設定手段と、コマ配列設定手段により設定された画像群の各コマの写植を設定する写植設定手段と、コマ配列設定手段により設定されたコマ配列情報を記憶するコマ配列情報記憶手段と、写植設定手段により設定された写植情報を記憶する写植情報記憶手段とを有する画像編集装置が開示されている。
【０００５】
特許文献１によれば、コマ単位でストーリー展開する画像群に対する処理としてコマ配列に関する情報に加えて、各コマの写植情報も並行して格納されることになり、ユーザに閲覧用の画像を提供する場合も、各コマに対応した写植情報により、鮮明な表示や、他の言語での表示あるいは閲覧ユーザによる編集なども可能となり、画像群を閲覧する楽しみを増加させることができる。例えば、セリフ部分が小さすぎてよく見えないというような問題に対し、写植情報などによりセリフ部分も確実に閲覧できるようになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１２９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１には、各コマの写植情報を取得する際に、複数のコマにまたがって存在する写植をどのように処理するのかについては開示されていない。したがって、その写植とコマの関連付けが不適切な場合において、関連付けをどのように修正するのかは不明である。
【０００８】
さらに、マンガの構成要素には、コマ内に配置された写植情報（テキスト）の他にも、関心領域であるキャラクタやキャラクタの台詞を示す吹き出し等があり、特許文献１では、これらの情報を有効に用いることができないという問題点があった。
【０００９】
本発明はこのような事情に鑑みてなされたもので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる電子コミック編集装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために本発明の一の態様に係る電子コミック編集装置は、コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、前記表示手段に表示された画像上の位置を指示する指示手段と、前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段とを備えた。
【００１１】
本態様によれば、指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加し、指示手段により指示された位置に対応する複数の領域情報の関連付けを削除し、追加又は削除された関連付け情報に基づいて情報ファイルに含まれる関連付け情報を更新するようにしたので、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
【００１２】
前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させることが好ましい。これにより、ユーザが関連付けられている領域を適切に認識することができる。
【００１３】
また、前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させてもよい。このように表示させても、ユーザに関連付けられている領域を適切に認識させることができる。
【００１４】
前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報であることが好ましい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
【００１５】
前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報であってもよい。このような情報を関連付けることにより、適切なマスタデータを生成することができる。
【００１６】
前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータであることが好ましい。これにより、適切なコマ領域情報を得ることができる。
【００１７】
前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータであることが好ましい。これにより、適切な吹き出し領域情報を得ることができる。
【００１８】
前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータであることが好ましい。これにより、適切なテキスト領域情報を得ることができる。
【００１９】
前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータであることが好ましい。これにより、適切なコマ関心領域情報を得ることができる。
【００２０】
前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの２以上の領域を自動的に抽出する領域抽出手段と、前記領域抽出手段により抽出した２以上の領域を示す情報と、該２以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段とを備え、前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得することが好ましい。このように、自動的に情報ファイルを生成することで、短時間でのコミックの電子化が可能となる。
【００２１】
前記目的を達成するために本発明の一の態様に係る電子コミック編集方法は、コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、前記表示手段に表示された画像上の位置を指示する指示工程と、前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程とを含む。
【００２２】
前記目的を達成するために本発明の一の態様に係るコンピュータにより実現させる電子コミック編集プログラムは、コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させると共に、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、前記表示手段に表示された画像上の位置を指示する指示機能と、前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能とを含む。
【発明の効果】
【００２３】
本発明によれば、マンガコンテンツを電子化する場合に、コマ情報、吹き出しやテキスト、関心領域などが関連付けられた関連付けの結果を簡単に編集することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係るコンテンツ配信システムの構成を示す図
【図２】マスタデータ生成のフローチャート
【図３】コンテンツ画像の一例
【図４】モニタ表示の一例
【図５】コンテンツ画像から自動的にコマを検出した結果を示す図
【図６】図５に示すコマ検出結果を修正した結果を示す図
【図７】コンテンツ画像から自動的にコマを検出した結果を示す図
【図８】図７に示すコマ検出結果を修正した結果を示す図
【図９】コマ境界の修正について説明する図
【図１０】コンテンツ画像から自動的に吹き出しを抽出した結果を示す図
【図１１】図１０に示す吹き出し抽出結果を修正した結果を示す図
【図１２】コンテンツ画像から自動的に吹き出しを抽出した結果を示す図
【図１３】図１２に示す吹き出し抽出結果を修正した結果を示す図
【図１４】コンテンツ画像から自動的に吹き出しを抽出した結果を示す図
【図１５】吹き出しの抽出を説明する図
【図１６】吹き出しの抽出を説明する図
【図１７】吹き出しの抽出を説明する図
【図１８】吹き出しの抽出を説明する図
【図１９】吹き出しの抽出を説明する図
【図２０】コンテンツ画像から自動的にテキストを抽出した結果を示す図
【図２１】図２０に示すテキスト抽出結果を修正した結果を示す図
【図２２】コンテンツ画像から自動的に関心領域を抽出した結果を示す図
【図２３】図２０に示す関心領域抽出結果を修正した結果を示す図
【図２４】吹き出しと関心領域との関連付けを説明する図
【図２５】吹き出しと関心領域との関連付けを説明する図
【図２６】情報ファイルの構造の模式図
【図２７】マスタデータ編集時のモニタ画面の一例
【図２８】マスタデータ編集時のモニタ画面の一例
【図２９】マスタデータ編集時のモニタ画面の一例
【図３０】プレビュー画面の一例
【図３１】オーサリング部１０の内部構成を示すブロック図
【図３２】モニタに表示される画像を示す図
【図３３】モニタに表示される画像を示す図
【図３４】モニタに表示される画像を示す図
【図３５】モニタに表示される画像を示す図
【図３６】モニタに表示される画像を示す図
【図３７】モニタに表示される画像を示す図
【発明を実施するための形態】
【００２５】
以下、添付図面に従って本発明に係る電子コミック編集装置、方法及びプログラムの実施の形態について説明する。
【００２６】
［コンテンツ配信システムの構成］
図１は、本実施形態に係るコンテンツ配信システムの一態様を示す構成図である。このシステムは、コンピュータ（情報処理装置）で構成されるサーバ１と、スマートフォンやタブレット型コンピュータで構成される電子書籍ビューワとを含んで構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。
【００２７】
サーバ１は、オーサリング部１０、データベース（ＤＢ）１１、操作部１２、入出力部１３、スキャナ１４、モニタ１５等を備えている。
【００２８】
オーサリング部１０は、ＣＰＵなどの情報処理装置及び電子コミック編集プログラム等が格納されている記憶部により構成され、電子コミック編集プログラムに従って各種の情報処理を行う。ＤＢ１１は、ハードディスクやメモリなどの記憶媒体で構成される。操作部１２は、キーボード、マウス、タッチパッドなどの操作手段である。モニタ１５は、ＬＣＤなどの表示装置で構成される表示手段である。
【００２９】
オーサリング部１０は、コンテンツ画像を解析してページ情報、コマ情報、吹き出し座標、ＲＯＩ情報等の付帯情報を作成し、これらを紐付けた電子書籍用のマスタデータを生成する。また、オーサリング部１０は、電子書籍ビューワ２毎に最適化されたデータをマスタデータから生成する。オーサリング部１０の詳細については後に詳述する。
【００３０】
ＤＢ１１は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナ１４などでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。また、コンテンツ画像はページ番号と対応づけられている。
【００３１】
コンテンツ画像とその付帯情報は、例えばＥＰＵＢ形式で保存される。コンテンツ画像には付帯情報が記憶されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者（出版社）などが含まれうる。
【００３２】
コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。
【００３３】
コンテンツ画像に付帯する付帯情報は、操作部１２から入力された情報、オーサリング部１０の解析結果の情報、あるいは、入出力部１３を経由して入力された情報を含む。
【００３４】
また、電子書籍ビューワ２は、データベース（ＤＢ）２１、表示部２４、コンテンツ表示制御部２５、音声再生部２６、操作部２７、スピーカ２８、入出力部２９等を備えている。
【００３５】
表示部２４は、ＬＣＤなどの表示装置で構成される表示手段である。操作部２７は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部２７は、表示部２４に積層されており、表示部２４に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。
【００３６】
音声再生部２６は、コンテンツファイルに格納された音声に関する情報（読み上げ音声に関する情報及び／又は付随音声に関する情報）を音声化してスピーカ２８から出力する回路である。
【００３７】
入出力部２９は、サーバ１の入出力部１３から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部１３及び入出力部２９は、通信手段であるが、コンピュータ読み取り可能な記憶媒体に対する書き込み・読み出し手段であってもよい。
【００３８】
ＤＢ２１は、ＤＢ１１と同等の情報を格納する。すなわち、電子書籍ビューワ２が、サーバ１に電子書籍の送信を要求すると、サーバ１は、入出力部２９を介してＤＢ１１のコンテンツファイルをＤＢ２１にエクスポートし、ＤＢ２１に格納される。ただし、ＤＢ１１の情報とＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。
【００３９】
コンテンツ表示制御部２５は、表示部２４に対するコンテンツの表示制御を行う。
【００４０】
［コンテンツ配信システムの動作］
（Ａ）マスタデータ生成処理
図２は、オーサリング部１０がマスタデータを生成する処理の流れを示すフローチャートである。
【００４１】
最初に、コンテンツ画像を取得し、ＤＢ１１に記憶する（ステップＳ１）。サーバ１は、マンガの各ページに対応するページ全体の画像（高解像度の画像、例えば３０００×５０００画素又は１５００×２０００画素）を、記憶メディアやネットワークを介して取得し、あるいはマンガをスキャナ１４で読み取ることにより取得し、オーサリング部１０はこれらの方法によりサーバ１に取得されたコンテンツ画像を取得する。オーサリング部１０は、既にＤＢ１１にコンテンツ画像が記憶されている場合には、ＤＢ１１に記憶されたコンテンツ画像を取得してもよい。
【００４２】
オーサリング部１０は、ステップＳ１で取得したコンテンツ画像に対して各種情報を登録する画面である登録画面をモニタ１５に表示させる。そして、ユーザが登録画面の指示に従って、操作部１２を介して各種情報を入力すると、オーサリング部１０はそれを取得し、コンテンツ画像に関連付けてＤＢ１１に登録する（ステップＳ２）。オーサリング部１０は情報ファイルを作成し、各種情報を情報ファイルに記憶する。オーサリング部１０は、コンテンツ画像と情報ファイルとを紐付けてマスタデータを作成する。マスタデータは、ＤＢ１１に記憶される。
【００４３】
各種情報（ページ情報）とは、コンテンツに関する情報（コンテンツ固有のタイトルＩＤ、タイトル名、著者、出版社（版権者）、出版年、言語等）、ページに関する情報、ページ名、ページＩＤの情報を含む。なお、ページに関する情報とは、コンテンツ画像が１ページか見開き２ページかを示す情報、右開き/左開き、オリジナルコンテンツの大きさ等を含む情報である。
【００４４】
ステップＳ１で図３に示すコンテンツ画像を取得した場合には、オーサリング部１０は、図４に示す登録画面をモニタ１５に表示する。登録画面は、右側にコンテンツ画像Ｇが表示され、左側に取得されたコンテンツ画像の一覧Ｌが表示される。「Index」はファイルＩＤであり、コンテンツ画像が取得されると自動的に付与される。一覧Ｌには、取得されたコンテンツ画像の情報がファイルＩＤ順に並べて表示される。登録前は、「Index」以外の欄は「０」が表示されている。
【００４５】
ユーザが操作部１２を介して「filename」、「speaking」、「Language」、「Translation」の欄を入力すると、オーサリング部１０は、入力された文字情報を一覧Ｌに表示させると共に、ＤＢ１１に記憶させる。なお、「filename」はファイル名であり、「speaking」は音声情報の有無であり、「Language」はコンテンツ画像に含まれる文字情報の言語であり、「Translation」はコンテンツ画像に含まれる文字情報の多言語への翻訳の有無である。なお、「koma」はコマ数であるが、現段階では「０」が表示されている（後で自動入力される）。
【００４６】
オーサリング部１０は、コンテンツ画像を自動解析する（ステップＳ３）。自動解析は、図４に示す登録画面において、ユーザが操作部１２を介して「Auto Koma」及び／又は「Auto Speech Balloon」のチェックボックスにチェックを入れ（選択）、ＯＫボタンＡを押すことによって行われる。本実施の形態では、「Auto Koma」及び「Auto Speech Balloon」が選択されたとして説明する。
【００４７】
「Auto Koma」が選択された場合には、オーサリング部１０は、コンテンツ画像に含まれる線の情報に基づいて自動的にコマの検出を行う。コンテンツ画像に含まれる線の情報は、例えばコンテンツ画像のコントラストが強い領域が直線的に現れている部分を線と認識することにより取得することができる。
【００４８】
「Auto Speech Balloon」が選択された場合には、オーサリング部１０は、コンテンツ画像からテキストを抽出し、テキストの周囲を囲む閉じた領域を吹き出し領域とすることにより、コンテンツ画像に含まれる吹き出しを抽出する。テキストの抽出は、オーサリング部１０に含まれる光学式文字読取装置（ＯＣＲ）により行われる。なお、ＯＣＲにより読み出されたテキストは、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。
【００４９】
なお、コマの検出や吹き出しの抽出は、マシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定するようにすればよい。
【００５０】
情報ファイルには、コマに関する情報であるコマ情報が記憶され、吹き出しに関する情報である吹き出し情報が記憶され、テキストに関する情報であるテキスト情報が記憶される。
【００５１】
コマ情報はコマ領域情報を含む。コマ領域情報は、コマ領域を示す情報であり、ページに含まれるコマ数、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、各コマの形状が含まれる。コマ領域情報は、コマ境界を示すベクトルデータであっても良いし、コマ領域を示すマスクデータであっても良い。また、コマ情報には、各コマのコマ順序（再生順）に関するコマ順序情報などがさらに含まれる。コマ順序は、例えば、右開き/左開きのページに関する情報、使用言語を示すコンテンツに関する情報、コマ領域情報から検知されるコマ割り等に基づいてページの右上から左下、左上から右下、移動方向（左右方向又は上下方向）等のいくつかのコマ順序の遷移パターンのうちから適切なパターンを選択し、その選択した遷移パターンにしたがって自動的に決定される。
【００５２】
吹き出し情報は吹き出し領域情報を含む。吹き出し領域情報は、ページ単位（又はコマ単位）の内での吹き出しの存在領域を示す情報であり、描線上の吹き出しの形状に対応する複数点を示す位置情報（例えば座標データ）、吹き出しの形状（例えばベクトルデータ）、吹き出しの起点（吹き出しの頂点）の位置と向き、吹き出しのサイズが含まれる。なお吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報（マスクデータ）でもよい。また、吹き出しの特定位置（例えば中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。吹き出し情報には、吹き出しに含まれるテキストの情報、吹き出しの描線の属性（破線、実線など）、吹き出しの話者の識別情報、吹き出しの属するコマなどがさらに含まれる。
【００５３】
テキスト情報は、テキスト領域情報とテキストの内容に関する情報とを含む。テキスト領域情報は、描線上のテキスト領域の多角形の外周縁の各頂点を示す位置情報（例えば座標データ）が含まれる。なおテキスト領域情報は、テキスト領域の外周縁を示すベクトルデータでもよいし、テキスト領域（範囲）を示すビットマップ情報（マスクデータ）でもよい。
【００５４】
また、テキストの内容に関する情報は、ＯＣＲにより特定されたテキスト（文章）文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などを含む。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。
【００５５】
また、オーサリング部１０は、関連付け情報として、テキストと吹き出しとを関連付けた情報や吹き出し又はテキストとコマとを関連付けた情報を情報ファイルに記憶する。吹き出しの抽出時にテキストを抽出するので、テキストはそのテキストが抽出された吹き出しと関連付けられる。また、吹き出し情報に含まれる座標とコマ情報に含まれる座標とを比較することで、吹き出しがどのコマに含まれるかが判断できるため、吹き出しはその吹き出しが含まれるコマと関連付けられる。なお、テキストの周りに閉じた領域が発見できなかった場合には、コマに文字のみが含まれる場合であるため、テキストはそのテキストが含まれるコマと紐付けられる。
【００５６】
オーサリング部１０は、コマ情報、吹き出し情報、テキスト情報を情報ファイルに記憶することで、マスタデータを更新する。本ステップの処理を全て手作業で行う場合には膨大な作業量が必要になるが、このように自動的に処理を行うことにより効率的にマスタデータを作成することができる。
【００５７】
オーサリング部１０は、元のコンテンツ画像とステップＳ３で自動解析されたコンテンツ画像のコマの検出の結果とを並べてモニタ１５に表示し、操作部１２を介してコマ検出結果の補正入力を受け付け、その結果に基づいてコマ設定を行う（ステップＳ４）。
【００５８】
ステップＳ４の処理について詳細に説明する。図５は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析によるコマ検出結果である。実際は図３に示すコンテンツ画像と図５に示すコマ検出結果とが並べてモニタ１５に表示されが、図５に示すコマ検出結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいてコマ検出結果を表示する。コマ検出結果は、各コマの境界（以下、コマ境界という）がコントラスト画像に重ねて太破線で表示され、各コマの中央にはコマの読み順を示すコマ順序が表示される。これにより、ユーザは現在のコマ領域情報（コマ割り）及びコマ順序を確認することができる。
【００５９】
ユーザによって所定のコマが選択されると、オーサリング部１０は、そのコマのコマ境の色を他のコマ境界の色と異なる色に変更し（例えば、選択されているコマは赤線、選択されていないコマは青線）、選択されたコマに対する補正入力の受け付けを開始する。これにより、編集対象のコマをユーザが確認することができる。
【００６０】
（１）コマの増加
コマが選択された状態で、コマ内のある位置が選択されると、オーサリング部１０は、選択された位置の近傍にコマ境界を増やし、それに伴いコマ順序を更新する。ステップＳ３において線が抽出、認識されているが、それがコマ境界とされていないために発生する不具合である。コマ内のある位置が選択されると、オーサリング部１０は、選択指示が入力された位置近傍の線であって、線として認識されているがコマ境界とされていない線を抽出し、これをコマ境界とすることにより、コマ境界が追加される。
【００６１】
図５に示すコマ検出結果では、コンテンツ画像中央部のコマ順序２のコマが、実際は２コマであるにもかかわらず１コマとして認識されている。したがって、ユーザが操作部１２を介してコマ中央近傍の線Ａの近傍を選択すると、オーサリング部１０は、図６に示すように、コンテンツ画像中央部のコマをコマ順序２のコマと、コマ順序３のコマとに分割する。
【００６２】
コマの増加に伴い、オーサリング部１０は、コマ順序を修正する。この場合には、図５におけるコマ順序３のコマのコマ順序を４に変更し、図５におけるコマ順序４のコマのコマ順序を５に変更する。
【００６３】
（２）コマの削除
図７に示す例では、木Ｂの幹をコマ分割の線であると誤認識された結果、コンテンツ画像上部のコマが２つに分割されているが、実際にはコンテンツ画像上部は１コマである。図７に示す画像がモニタ１５に表示されている場合に、コマ順序１のコマ又はコマ順序２のコマが選択された状態で、ユーザが操作部１２を介してコマ順序１のコマとコマ順序２のコマとの間のコマ境界を選択すると、オーサリング部１０は、図７におけるコマ順序１のコマとコマ順序２のコマとの間のコマ境界を消し、図８に示すようにコンテンツ画像上部のコマをコマ順序１の１つのコマにする。
【００６４】
コマの削除に伴い、オーサリング部１０は、コマ順序を修正する。この場合には、図７におけるコマ順序３のコマのコマ順序を２に変更し、図７におけるコマ順序４のコマのコマ順序を３に変更し、図７におけるコマ順序６のコマのコマ順序を４に変更する。
【００６５】
なお、コマ境界の増加、削除において、増加するコマ境界及び削除するコマ境界を他のコマ境界と識別可能に表示させてもよい。これにより、どのコマ境界が増加されるか及びどのコマ境界が削除されるかをユーザが把握することができる。
【００６６】
（３）コマ境界の修正
選択されたコマがダブルクリックされると、オーサリング部１０は、頂点の数や座標の補正入力の受け付けを行う。これにより、コマの形状や大きさを補正することができる。
【００６７】
選択されたコマがダブルクリックされると、図９に示すように、コマ境界の修正画面が表示される。コマは３個以上の頂点を有する多角形で表現され、コマ境界は３個以上の頂点と頂点を結ぶ線とで表現される。図９においてはコマが正方形であるため、正方形の各頂点と辺の略中央の合計８個の頂点が表示される。
【００６８】
ユーザが操作部１２を介してコマ境界の所望の位置をダブルクリック等して指示を入力すると、その位置に頂点が追加される。また、ユーザが操作部１２を介して所望の頂点をダブルクリック等して指示を入力すると、その頂点が削除される。
【００６９】
ユーザが操作部１２を介して所望の頂点をドラッグすると、図９に示すように頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状や大きさを変更することができる。
【００７０】
（４）コマ順序の修正
オーサリング部１０は、操作部１２を介してコマ順序を示す番号上がダブルクリックされると、そのコマ順序の修正を受け付けるようにし、その後に操作部１２により入力された番号をコマ順序として修正する。これにより、自動解析されたコマ順序が誤っている場合にコマ順序を修正することができる。
【００７１】
このようにしてコマ設定が行われたら、オーサリング部１０は、それに合わせて情報ファイルのコマ情報を修正する。また、オーサリング部１０は、コマ設定後に登録画面の表示が指示されると、一覧Ｌの「koma」にコマ数が入力されたものをモニタ１５に表示する。図６に示す結果が設定された場合には、図４に示すようにファイルＩＤが１の「koma」に５が入力される。
【００７２】
以上によりコマ設定が行われた（ステップＳ４）ら、オーサリング部１０は、元のコンテンツ画像とステップＳ３で自動解析されたコンテンツ画像の吹き出しの抽出結果とを並べてモニタ１５に表示し、操作部１２を介して吹き出しの抽出結果の補正入力を受け付け、その結果に基づいて吹き出し設定を行う（ステップＳ５）。
【００７３】
ステップＳ５の処理について詳細に説明する。図１０は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析による吹き出しの抽出結果である。実際は図３に示すコンテンツ画像と図９に示す吹き出し抽出結果とが並べてモニタ１５に表示されが、図９に示す吹き出し抽出結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいて吹き出し抽出結果を表示する。オーサリング部１０は、抽出された吹き出しを塗りつぶした画像をモニタ１５に表示することで、抽出された吹き出しとその他の領域とを認識可能とする。図９においては、吹き出し領域を示す画像としてハッチングにより抽出された吹き出しを塗りつぶした画像を示しているが、吹き出し領域を示す画像として吹き出しの外周縁を太く描画する等した画像を表示するようにしてもよい。
【００７４】
（１）吹き出しの追加
図１０に示す抽出結果では、左下の吹き出しＸの境界線の一部が途切れているため、自動的に検出されていない。まず、ユーザが操作部１２を介して境界線の途切れている部分を連結して閉領域とする。その後、ユーザが操作部１２を介して閉領域を選択して認識を指示すると、オーサリング部１０が自動的に選択された閉領域を吹き出しと認識する。その結果、図１１に示すように、吹き出しＸについてもハッチングが表示され、他の吹き出しと同様に吹き出しとして設定される。
【００７５】
（２）吹き出しの削除
風船Ｙは閉領域であるため、図１２に示す抽出結果では、風船Ｙが吹き出しではないにもかかわらず吹き出しとして抽出されている。これは、風船Ｙ内の文字をテキストとご認識することにより発生する。ユーザが操作部１２を介して風船Ｙを選択すると、オーサリング部１０が自動的に選択された閉領域（この場合は、風船Ｙの内側）を吹き出しから削除する。その結果、図１３に示すように、風船Ｙからハッチングが消去される。
【００７６】
（３）吹き出し領域が綺麗に検出されていない場合の補正
図１４に示す抽出結果では、吹き出しＺの右上の一部が抽出されていない。これは、図１５の１点鎖線で示すように吹き出し内の文字が境界線に近かったり接していたりする場合や、図１５の２点鎖線で示すように吹き出し内の文字同士が近かったり接していたりする場合に発生する。
【００７７】
図１６は、図１４の吹き出しＺの抽出結果の拡大図であり、図１７は、図１６の中から文字を削除した図である。図１７に示すように、吹き出しＺは、境界線の一部が文字と連結されており（図１７ａ）、また文字の一部が吹き出し外になってしまっている（図１７ｂ）。したがって、ユーザが操作部１２を介して吹き出し内の閉じた領域ｂを選択すると、図１８に示すようにオーサリング部１０が自動的に閉じた領域ｂ（図１７参照）を吹き出しとする。また、図１８に示すようにユーザが操作部１２を介して吹き出しの境界線ｃを追加すると、図１９に示すようにオーサリング部１０が自動的に境界線ｃ（図１８参照）により生成された閉じた領域を吹き出しとする。この結果、図１９に示すように、綺麗に検出されていなかった吹き出しが正確に抽出される。
【００７８】
このようにして吹き出しの抽出結果の補正入力が行われたら、オーサリング部１０は、それに合わせて情報ファイルの吹き出し情報を修正する。
【００７９】
以上により吹き出し設定が行われた（ステップＳ５）ら、オーサリング部１０は、元のコンテンツ画像とステップＳ３で自動解析されたコンテンツ画像のテキスト認識結果とを並べてモニタ１５に表示し、操作部１２を介してテキストの認識結果の補正入力を受け付け、その結果に基づいてテキスト設定を行う（ステップＳ６）。
【００８０】
ステップＳ６の処理について詳細に説明する。図２０は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析によるテキスト認識結果である。実際は図３に示すコンテンツ画像と図２０に示す認識結果とが並べてモニタ１５に表示されが、図２０に示すテキスト認識結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいてテキストの抽出結果を表示する。オーサリング部１０は、テキスト領域の外周縁を太く描画する画像をモニタ１５に表示することで、テキスト領域とその他の領域とを認識可能とする。図２０においては、テキスト領域を示す画像としてテキスト領域の外周縁を太く描画した画像を示しているが、テキスト領域を示す画像としてテキスト領域を半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがテキストを認識できるようにする。
【００８１】
（１）テキストの追加
図２０においては、手書き文字からなるテキスト「え？」が認識されていない。ユーザが操作部１２を介して「え？」を囲んで認識を指示すると、オーサリング部１０が「え？」を囲む閉領域をテキスト領域と認識する。その結果、図２１に示すように、「え？」についてもテキスト領域として設定され、テキスト領域情報が取得される。
【００８２】
テキスト領域が設定されたら、オーサリング部１０の光学式文字読取装置により文字データが特定される。文字データが特定できなかった場合には、オーサリング部１０はユーザに入力を促し、ユーザが操作部１２を介して文字を入力する。これにより、テキストの内容に関する情報が取得される。
【００８３】
このようにしてテキストの抽出結果の補正入力が行われたら、オーサリング部１０は、それに合わせて情報ファイルのテキスト情報を修正する。
【００８４】
（２）テキストの削除
間違ってテキスト領域が認識されている場合には、ユーザが操作部１２を介して誤ったテキスト領域上の所望の位置を選択して認識を指示すると、オーサリング部１０が自動的に情報ファイルから選択されたテキスト領域を削除する。オーサリング部１０は、削除されたテキスト領域のテキストの内容に関する情報も情報ファイルから合わせて削除する。
【００８５】
テキスト設定（ステップＳ６）が終了したら、オーサリング部１０は、元のコンテンツ画像から関心領域（以下、ＲＯＩという）を自動抽出する（ステップＳ７）。ＲＯＩは、電子書籍ビューワ２で必ず表示したいものを示し、コンテンツ画像の基となるコミックのキャラクタの顔（又は顔に相当する領域）である。なお、キャラクタは人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物も含まれる。
【００８６】
オーサリング部１０は、公知の画像解析技術、例えば顔検出の手法を用いてキャラクタの顔を自動的に検出する顔検出手段を有し、顔検出手段はコンテンツ画像からキャラクタの顔を検出する。オーサリング部１０は、検出された顔を囲む多角形領域を関心領域として設定する。また、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、公知の画像解析技術を用いて、それらの画像情報に関する特徴量に基づき自動検出されてもよい。
【００８７】
また、オーサリング部１０は、関心領域（ＲＯＩ）に関する情報である関心領域情報を情報ファイルに記憶する。関心領域情報は、ＲＯＩの多角形の外周縁の各頂点を示す座標データ、ＲＯＩの形状、ＲＯＩの外周縁を示すベクトルデータ、又はＲＯＩを示すマスクデータであっても良い。また、関心領域情報には、ＲＯＩに含まれるキャラクタに関する情報（例えば、自動的につけられたキャラクタＩＤ）がさらに含まれる。また、関心領域情報には、優先順位、表示に当っての重要度、キャラクタの識別情報（名称など）、キャラクタの属性（性別、年齢など）が含まれても良い。
【００８８】
ＲＯＩの自動抽出（ステップＳ７）が終了したら、オーサリング部１０は、抽出したＲＯＩの情報を用いて、情報ファイルに記憶された関連付け情報を更新する。即ち、吹き出しとテキストとを関連付けた関連付け情報に対して、さらにＲＯＩ情報を関連付けたり、コマと吹き出しとテキストとを関連付けた関連付け情報に対して、さらにＲＯＩ情報を関連付ける。なお、関連付け情報は、コマ情報、吹き出し情報、テキスト領域情報、関心領域情報のうち、２以上の情報を関連付けるものであればよく、ＲＯＩ情報が必須なわけではない。
【００８９】
次に、オーサリング部１０は、ＲＯＩ抽出結果の補正入力を受け付け、この結果に基づいてＲＯＩ設定を行う（ステップＳ８）。
【００９０】
ステップＳ８の処理について詳細に説明する。図２２は、図３に示すコンテンツ画像（ファイルＩＤ：１、ファイル名：ヤキソバ＿００３）の自動解析によるＲＯＩ抽出結果である。実際は図３に示すコンテンツ画像と図２２に示す認識結果とが並べてモニタ１５に表示されが、図２２に示すＲＯＩ抽出結果のみが表示されてもよい。オーサリング部１０は、情報ファイルに基づいてＲＯＩ抽出結果を表示する。オーサリング部１０は、ＲＯＩの外周縁を太く描画する画像をモニタ１５に表示することで、ＲＯＩとその他の領域とを認識可能とする。図２２においては、ＲＯＩを示す画像としてＲＯＩの外周縁を太く描画した画像を示しているが、ＲＯＩ域を示す画像としてＲＯＩを半透明に塗りつぶした画像等を表示するようにしてもよい。半透明に塗りつぶすことでユーザがキャラクタを認識できるようにする。
【００９１】
（１）ＲＯＩの追加
図２２においては、キャラクタは男性Ｍと女性Ｆとを含むが、横を向いている男性Ｍのうち左向きの顔Ｃが認識されていない。ユーザが操作部１２を介して横を向いている男性Ｍの左向きの顔Ｃ上の所望の位置を選択して認識を指示すると、オーサリング部１０が指示された位置を含む閉領域をＲＯＩと認識する。また、オーサリング部１０は、それに合わせて情報ファイルの関心領域情報を修正する。その結果、図２３に示すように、男性Ｍの左向きの顔ＣにＲＯＩを示す画像が表示される。
【００９２】
（２）ＲＯＩの削除
誤ってＲＯＩが抽出された場合には、ユーザが操作部１２を介して誤ったＲＯＩ上の所望の位置を選択して認識を指示すると、オーサリング部１０が自動的に情報ファイルから選択された関心領域情報を削除する。これにより、誤ったＲＯＩを示す画像がモニタ１５条から削除される。
【００９３】
ＲＯＩ設定を行うと、それに応じて情報ファイルに記憶された関連付け情報が更新される。
【００９４】
ＲＯＩ設定（ステップＳ８）が終了したら、オーサリング部１０は、ペアリング設定（関連付け設定）を行う（ステップＳ９）。
【００９５】
関連付け設定は、例えば人物であるＲＯＩと、その人物の台詞と考えられる吹き出しを関連付ける。ＲＯＩが複数存在する場合には、吹き出しに最も近いＲＯＩに関連があると判断して関連付けを行ったり、吹き出しの向きに存在するＲＯＩと関連があると判断して関連付けを行う。しかし、これらの判断が誤っている場合も存在する。また、適切にＲＯＩが抽出できない場合や、複数のＲＯＩの台詞が１つの吹き出しに混在する場合にも、関連付け設定を誤る可能性がある。
【００９６】
図２４は、情報ファイルに記憶された関連付け情報に基づいて、関連付けられている吹き出しとＲＯＩとが、それぞれ関連付けられていることを示す破線の円を、画像上に重畳してモニタ１５に表示した一例を示す図である。
【００９７】
図２４には、吹き出しとして吹き出しｉ〜ｘｉｉが含まれ、ＲＯＩとして女性Ｆ（Ｆ１〜Ｆ３）、男性Ｍ（Ｍ１〜Ｍ４）が含まれる。女性Ｆ１〜Ｆ３は全て同一人物（女性Ｆ）であるが、説明の便宜上女性Ｆ１〜Ｆ３とした。同様に、男性Ｍ１〜Ｍ４も全て同一人物（男性Ｍ）であるが、説明の便宜上女性男性Ｍ１〜Ｍ４とした。
【００９８】
図２４に示す場合においては、吹き出しｉと女性Ｆ１とがペア１に、吹き出しｉｉと男性Ｍ１とがペア２に、吹き出しｉｉｉと男性Ｍ３とがペア３に、吹き出しｉｖと男性Ｍ３とがペア４に、吹き出しｖと女性Ｆ２とがペア５にし、吹き出しｖｉと女性Ｆ２とがペア６に、吹き出しｖｉｉと男性Ｍ３とがペア７に、吹き出しｖｉｉｉと男性Ｍ３とがペア８に、吹き出しｉｘと男性Ｍ３とがペア９に、吹き出しｘと男性Ｍ４とがペア１０に、吹き出しｘｉと女性Ｆ３とがペア１１に、吹き出しｘｉｉと女性Ｆ３とがペア１２に設定されており、それぞれのペアを囲むように破線の円が重畳表示されている。
【００９９】
ユーザが操作部１２を介して所定のペア同士を破線で囲んだ画像を選択すると、オーサリング部１０は、そのペアに関する修正を受け付ける。
【０１００】
図２４に示す例では、オーサリング部１０における関連付け設定では、吹き出しｘｉは、吹き出しｘｉに最も近い女性Ｆ３に関連付けられている。しかし、実際には吹き出しｘｉは女性Ｆ３ではなく、男性Ｍ４と関連付けすべきである。したがって、ペア１１について修正を行う必要がある。
【０１０１】
ユーザが操作部１２を介してペア１１をダブルクリック等するとペア１１の編集が可能となり、吹き出しｘｉと男性Ｍ４とが選択されると、オーサリング部１０は、吹き出しｘｉと男性Ｍ４とをペア１１に再設定し、情報ファイルを修正する。
【０１０２】
オーサリング部１０は、修正された情報ファイルに基づいて関連付けの結果を認識可能にした状態でコンテンツ画像をモニタ１５に表示する。その結果、図２５に示すようにペア１１が修正された結果がモニタ１５上で確認される。
【０１０３】
関連付けした情報に番号をつけても良い。オーサリング部１０は、右上にある吹き出しの関連付けから順に番号をつけても良いし、操作部１２からの入力に基づいて番号をつけても良い。この番号は、吹き出しの表示順序を兼ねてもよい。
【０１０４】
最後に、オーサリング部１０は、ステップＳ４〜Ｓ９で更新された情報ファイルとコンテンツ画像とにより構成されるマスタデータをＤＢ１１に保存する（ステップＳ１０）。
【０１０５】
なお、手動で全ての関連付けを態様も可能である。この場合、オーサリング部１０は、情報ファイルに基づいてステップＳ５、Ｓ７で設定された吹き出し及びＲＯＩを選択可能な状態でコンテンツ画像をモニタ１５に表示する。ユーザが操作部１２を介して所定の吹き出しとＲＯＩとを１つずつ選択すると、オーサリング部１０はそれを認識し、これらをペアとして設定する。吹き出しｉは女性Ｆ１が話しているため、操作部１２を介して吹き出しｉと女性Ｆ１とが選択されると、オーサリング部１０は、自動的に吹き出しｉと女性Ｆ１とをペアと認識し、吹き出しｉと女性Ｆ１とをペア１に設定する。同様に、操作部１２を介して吹き出しｉｉと男性Ｍ１とが選択されると、オーサリング部１０は、自動的に吹き出しｉｉと男性Ｍ１とをペアと認識し、吹き出しｉｉと男性Ｍ１とをペア２に設定する。このようにして全ての吹き出しについて関連付けが行われると、オーサリング部１０は、関連付けの結果を情報ファイルに記憶させる。
【０１０６】
情報ファイルとしては、例えばＸＭＬファイル形式のファイルを用いることができる。図２６は、情報ファイルの構造を示す図である。本実施の形態では、コミック毎に情報ファイルを有するため、情報ファイルには複数のページ情報が含まれる。各ページ毎に、まずページ情報があり、ページ情報に関連付けてコマ情報があり、コマ情報に関連付けて吹き出し情報、テキスト情報、関心領域情報、及び関連付け情報がある。
【０１０７】
関連付け情報は、上述したように、ページ内の各コマのコマ領域情報を含むコマ情報、吹き出しの画像内の領域を示す吹き出し領域情報を含む吹き出し情報、コミックのテキストの領域を示すテキスト領域情報、及びコミックの関心領域を示す関心領域情報（ＲＯＩ）のうちの２以上の情報から、関連があるものとしてオーサリング部１０によって関連付けされたことを示す情報が記録されている。
【０１０８】
なお、情報ファイルは、コミック毎ではなく、各ページ毎に生成するようにしてもよい。
【０１０９】
コミックの画像ファイルと、その情報ファイルとにより構成されたマスタデータを生成することで、電子書籍ビューワに合わせた編集、テキストの自動翻訳、翻訳編集及び共有、電子書籍ビューワにおける適切な表示処理などが可能となり、電子書籍の供給が容易となる。
【０１１０】
なお、本実施の形態では、オーサリング部１０はコンテンツ画像を取得して、コマ情報、吹き出し情報、テキスト情報等が記憶されたマスタデータを生成したが、オーサリング部１０は各種情報が記憶された情報ファイルを有するマスタデータ（図２のステップＳ２で生成されたマスタデータに相当）を取得し、ステップＳ３〜Ｓ１０の処理を行って最終的なマスタデータをＤＢに保存しても良い。また、オーサリング部１０はコマ、吹き出し、テキストの自動抽出が行われ、コマ情報、吹き出し情報、テキスト情報が記憶された情報ファイルを有するマスタデータ（図２のステップＳ３で生成されたマスタデータに相当）を取得し、ステップＳ４〜Ｓ１０の処理を行って最終的なマスタデータをＤＢに保存しても良い。
【０１１１】
（Ｂ）マスタデータ編集処理
図２７は、電子書籍ビューワに合わせた編集を行う表示画面を示す。オーサリング部１０は、コンテンツ画像をモニタ１５に表示する。オーサリング部１０は、情報ファイルに基づいて各コマのコマ境界を太線で表示する。また、各コマの略中央にはコマの読み順を示すコマ順序が表示される。なお、コマ順序の表示はこれに限られず、コマの隅に表示するようにしてもよい。
【０１１２】
また、オーサリング部１０は、ＤＢ１１等から電子書籍ビューワ２の画面サイズを取得し、電子書籍ビューワ２の画面サイズの情報と情報ファイルとの情報に基づいて電子書籍ビューワ２の画面サイズを示す枠Ｆをコンテンツ画像に重ねて表示する。ユーザが操作部１２を介してフレームＦを左右上下に移動させる指示を入力すると、オーサリング部１０は操作部１２の指示に応じてフレームＦを左右上下に移動させる。
【０１１３】
また、オーサリング部１０は、電子書籍ビューワ２の画面サイズの情報と情報ファイルとの情報に基づいて各コマを全て表示するのに必要な最小の表示回数、すなわちスクロール数が何回であるかを求め、その情報（マーカ）をコンテンツ画像に重ねて表示する。本実施の形態ではマーカは各コマの略中央に表示されるため、図２７においてはコマ順序はマーカに重ねて表示されている。
【０１１４】
図２７においては、矩形形状のマーカでスクロール数を表現している。スクロール数が１回の場合には、図２７のコマ順序が３、４のコマのように、一辺の長さがａの正方形のマーカが表示される。スクロール数が２回以上の場合には、一辺の長さがａの整数倍となる矩形形状のマーカが表示される。垂直方向のスクロール数がｎ回、水平方向のスクロール数がｍ回の場合には、縦横サイズがｎａ×ｍａの矩形形状のマーカが表示される。図２７のコマ順序が１、２、６、７においては、横のスクロール数が２回、縦のスクロール数が１回であるため、横が２ａ、縦がａの長方形のマーカが表示される。このようなマーカを表示することで、各コマにフレームＦを重ねることなく、マーカを見るだけでスクロール回数を把握することができる。
【０１１５】
ユーザは、このようにしてモニタ１５に表示された画像を見ながらコマ境界を移動させる。図２８に示すように、ユーザが操作部１２を介してコマ境界をダブルクリック等すると、オーサリング部１０は、コマ境界に頂点を表示させてコマ境界を編集可能とする。ステップＳ４（図９）と同様にユーザが操作部１２を介して所望の頂点をドラッグすると、頂点が移動され、コマ境界の形状が修正される。この動作を繰り返すことにより、コマ境界の形状（例えば５角形から矩形へ変更）や大きさを変更することができる。また、頂点の追加、削除も可能である。頂点の追加、削除はステップＳ４と同じであるため、説明を省略する。
【０１１６】
また、オーサリング部１０は、電子書籍ビューワ２の画面サイズの情報と情報ファイルとの情報に基づいて、コマのサイズが電子書籍ビューワ２の画面サイズよりわずかに大きい場合には、電子書籍ビューワ２の画面サイズよりわずかに大きいコマのコマ境界を他のコマ境界とは異なる色で表示する。コマの縦横のサイズが電子書籍ビューワ２の画面サイズよりわずかに大きい場合とは、例えば、電子書籍ビューワ２の画面サイズの略１０％を閾値とし、コマの辺の長さが電子書籍ビューワ２の画面サイズより１０％程度大きい場合等が考えられる。図２７においては、コマ順序５のコマのコマ境界が他のコマ境界とは異なる色で表現されている。
【０１１７】
電子書籍ビューワ２の画面サイズよりわずかに大きいコマの場合には、コマの重要でない部分をコマに含まれないとして見せないようにするだけで、スクロール回数を１回にして、視認性を向上させることができる。図２９に示すように、フレームＦよりわずかに大きいコマ順序５のコマのコマ境界の位置を変え、スクロール数が１となるようにコマの形状を変える。図２９においては、コマ順序５のコマの左端の一部をコマに含まれないようにコマを細くすることでスクロール数を１にしている。
【０１１８】
このようにしてスクロール数が変更されたら、オーサリング部１０は、これを検出し、情報ファイルを書きかえる。また、オーサリング部１０は、マーカの大きさをａ×ａに変更し、コマ順序５のコマのコマ境界の色を他のコマの色を同じ色に変更する。
【０１１９】
コマ境界の削除、追加も可能である。コマ境界の追加、削除はステップＳ４と同じであるため説明を省略する。例えば所定のコマが選択された状態で、ユーザが操作部１２を介してそのコマの所定のコマ境界を選択すると、選択されたコマ削除が削除される。例えばコマの大きさが小さく、フレームＦに２個のコマが含まれる場合等には、コマを１つにすることで効率のよい表示が可能となる。
【０１２０】
オーサリング部１０は、プレビュー画面をモニタ１５に表示させることもできる。図３０はプレビュー画面の一例である。オーサリング部１０は、コンテンツ画像をモニタ１５に表示し、電子書籍ビューワ２の画面サイズを示す枠Ｆをコンテンツ画像に重ねて表示する。そして、オーサリング部１０は、フレームＦの外側を半透明に塗りつぶし、フレームＦの内側のみが視認可能なプレビュー画面とする。フレームＦの外側を半透明に塗りつぶす場合に限らず、フレームＦの外側をグレー表示にしても良い。
【０１２１】
ユーザが操作部１２を介して指示すると、オーサリング部１０はフレームＦをスクロールして次のプレビュー画面を表示する。現在プレビュー中のコマが全てプレビューされていない場合には、オーサリング部１０は、現在プレビュー中のコマが全てプレビューされるようにフレームＦを移動させて、フレームＦの外側を半透明表示する。図３０に示す例においては、フレームＦをｔだけ左側に移動させる。
【０１２２】
現在プレビュー中のコマが全てプレビューされている場合には、オーサリング部１０は、次のコマ順序のコマの右端とフレームＦの右端とを一致させるようにフレームＦを移動させて、フレームＦの外側を半透明表示する。
【０１２３】
これにより、電子書籍ビューワ２での見え方を確認することができる。したがって、より適切なマスタデータ編集をすることができる。
【０１２４】
なお、マスタデータ編集処理は、オーサリング部１０がマスタデータを生成した場合に限らず、外部の電子コミック生成装置により生成されたマスタデータをサーバ１のＤＢ１１に保存して、それを編集するようにしてもよい。
【０１２５】
［関連付けの修正処理の詳細］
図３１は、オーサリング部１０の内部構成を示すブロック図であり、主に関連付け情報に関する機能ブロックを示している。同図に示すように、オーサリング部１０は、マスタデータ取得部１０ａ、関連付け情報画像生成部１０ｂ、関連付け情報画像重畳部１０ｃ、関連付け情報削除部１０ｄ、関連付け情報追加部１０ｅ、及び関連付け情報更新部１０ｆ等から構成されている。
【０１２６】
マスタデータ取得部１０ａは、ＤＢ１１からコンテンツ画像と情報ファイルとが紐付けされたマスタデータを取得するマスタデータ取得手段として機能し、取得したデータをＲＡＭ（不図示）に格納する。
【０１２７】
関連付け情報画像生成部１０ｂは、ＲＡＭに格納されたマスタデータ内の情報ファイルに含まれる関連付け情報を読み出し、それぞれ関連付けられた各領域を示す画像を生成する画像生成手段として機能する。関連付け情報画像重畳部１０ｃは、ユーザによる操作部１２の操作に応じて、ＲＡＭに格納されたマスタデータ内の画像ファイルのページ画像と、関連付け情報画像生成部１０ｂによって生成された画像とを重畳し、モニタ１５に表示させる表示制御手段として機能する。
【０１２８】
関連付け情報削除部１０ｄは、ユーザによる操作部１２の操作に応じて、ＲＡＭに格納されたマスタデータ内の情報ファイルの関連付け情報を削除する関連付け情報削除手段として機能する。同様に、関連付け情報追加部１０ｅは、ユーザによる操作部１２の操作に応じて、ＲＡＭに格納されたマスタデータ内の情報ファイルの関連付け情報を追加する関連付け情報追加手段として機能する。
【０１２９】
関連付け情報更新部１０ｆは、関連付け情報削除部１０ｄ又は関連付け情報追加部１０ｅによって関連付け情報が削除、追加されたＲＡＭ内の情報ファイルに基づいて、ＤＢ１１内のマスタデータを更新する編集手段として機能する。
【０１３０】
図３２は、情報ファイルに記憶された関連付け情報に基づいて行われた関連付け情報表示を示す図であり、図２４とは異なる態様を示す図である。同図に示すように、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びＲＯＩの各領域の外周縁を描画した画像が、画像上に重畳されてモニタ１５に表示されている。
【０１３１】
図３２の例では、操作部１２によりコマ１００が選択された場合を示している。マスタデータ取得部１０ａは、当該ページのマスタデータをＤＢ１１から取得し、ＲＡＭに格納する。さらに、選択されたコマ１００の関連付け情報を、このＲＡＭに格納されたマスタデータの情報ファイルから取得する。ここでは、吹き出し１１１、１１２、テキスト領域１２１、１２２ａ、１２２ｂ、ＲＯＩ１３１、１３２が、コマ１００に関連付けられているものとする。さらに、吹き出し１１１、テキスト領域１２１、及びＲＯＩ１３１が１つのまとまりとしてそれぞれ関連付けられており（グループａとする）、吹き出し１１２、テキスト領域１２２ａ、１２２ｂ、及びＲＯＩ１３２が他の１つのまとまりとしてそれぞれ関連付けられている（グループｂとする）ものとする。
【０１３２】
関連付け情報画像生成部１０ｂは、コマ１００に関連付けられている吹き出し１１１、１１２、テキスト領域１２１、１２２ａ、１２２ｂ、ＲＯＩ１３１、１３２の外周縁を描画した画像を生成する。このとき、それぞれ異なる関連付けがされているグループａとグループｂとでは、異なる線種となるように画像を生成する。図３１の例では、グループａについては破線で、グループｂについては一点鎖線でそれぞれの外周縁を描画する画像を生成している。
【０１３３】
関連付け情報画像重畳部１０ｃは、この生成した画像とＲＡＭに格納されたマスタデータ内の画像データとをモニタ１５に重畳して表示させる。このように重畳表示させることで、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びＲＯＩを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
【０１３４】
なお、外周縁を描画する線の線種を変えるのではなく、色を変えてもよい。また、表示されている画像（ページ）の、選択されたコマ１００以外の部分については、非選択であることを明確にするためにコントラストを下げて表示する等をしてもよい。さらに、複数のコマを選択可能に構成してもよいし、全てのコマについて同時に関連付け情報表示を行ってもよい。
【０１３５】
また、関連付け情報表示は、図３３に示すように行ってもよい。即ち、選択されたコマに対応して、そのコマに関連付けられた吹き出し領域とテキスト領域、及びＲＯＩの各領域をそれぞれ接続する引き出し線を描画した画像を、画像上に重畳してもよい。
【０１３６】
図３３の例では、操作部１２によりコマ１００が選択された場合に、コマ１００に関連付けられている吹き出し１１１、１１２、ＲＯＩ１３１、１３２から引き出し線１４１、１４２が描画される。また、それぞれ関連付けられている吹き出し１１１とＲＯＩ１３１とが引き出し線１４１、吹き出し１１２とＲＯＩ１３２とが引き出し線１４２によって接続されている。
【０１３７】
ここではテキスト領域を省略しているが、コマ１００の関連付けにテキスト領域が含まれている場合には、同様に引き出し線により接続する画像を生成して重畳表示すればよい。また、引き出し線１４１と１４２とで、線種や色を変更してもよい。
【０１３８】
図３３のように表示しても、ユーザは、選択したコマに関連付けられた吹き出し領域、テキスト領域、及びＲＯＩを認識することができる。また、選択したコマの中でも、複数の異なる関連付けがされている場合には、それぞれを区別できるように表示することで、ユーザにどのような関連付けがされているのかを認識させることができる。
【０１３９】
次に、関連付けの修正処理の詳細について説明する。ここでは、マスタデータの情報ファイルにおいて、コマ１５０に対して吹き出し１６０ａ、１６０ｂ、１６０ｃが関連付けられており、コマ１５２に吹き出し１６２が関連付けられているものとする。
【０１４０】
操作部１２によってコマ１５０が選択されると、マスタデータ取得部１０ａがＤＢ１１から取得したマスタデータに基づいて、関連付け情報画像生成部１０ｂがコマ１５０、吹き出し１６０ａ、１６０ｂ、１６０ｃの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部１０ｃは、この画像とページ画像とを重畳し、モニタ１５に表示する。図３４は、モニタ１５に表示される画像を示している。
【０１４１】
オーサリング部１０の自動での関連付け設定では、吹き出し１６０ａは、コマ１５０と関連付けられている。自動での関連付け設定では、吹き出し１６０ａのように複数のコマにまたがって存在する吹き出しやＲＯＩについて、例えば、どのコマに最も多く含まれているかを比較して決定する。ここでは、吹き出し１６０ａは、コマ１５２に存在する面積よりもコマ１５０に存在する面積が大きいために、コマ１５０に関連付けられたものとする。しかし、実際にはコマ１５２に関連付けるべきであり、ここでは、吹き出し１６０ａを、コマ１５２に関連付けるように修正（更新）する例について説明する。
【０１４２】
まずユーザは、モニタ１５に図３４の画像が表示された状態において、操作部１２により関連付け情報の修正アイコン（不図示）を選択し、吹き出し１６０ａを選択する。この操作に応じて、関連付け情報画像生成部１０ｂは、吹き出し１６０ａの領域の外周縁の描画のない、コマ１５０、吹き出し１６０ｂ及び１６０ｃの各領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部１０ｃは、この画像を当該ページの画像に重畳してモニタ１５に表示する。図３５は、このときのモニタ１５に表示される画像を示している。
【０１４３】
この状態で修正を終了すると、関連付け情報削除部１０ｄは、ＲＡＭに格納されたマスタデータの情報ファイル内のコマ１５０の関連付け情報から吹き出し１６０ａを削除する。また、関連付け情報更新部１０ｆは、ＲＡＭに格納されたマスタデータに基づいて、ＤＢ１１のマスタデータを更新する。これにより、コマ１５０と吹き出し１６０ａとは、関連付けがないものとなる。
【０１４４】
次に、操作部１２によりコマ１５２を選択すると、この操作に応じて、関連付け情報画像生成部１０ｂは、コマ１５２と、コマ１５２に関連付けられた吹き出し１６２の領域の外周縁を描画した画像を生成する。関連付け情報画像重畳部１０ｃは、この画像を当該ページの画像に重畳してモニタ１５に表示する。図３６は、このときにモニタ１５に表示される画像を示している。
【０１４５】
この状態で、再び関連付け情報の修正アイコン（不図示）を選択し、吹き出し１６０ａを選択する。この操作に応じて、関連付け情報画像生成部１０ｂは、コマ１５２に関連付けられた吹き出し１６２と、選択された吹き出し１６０ａの各領域の外周縁を描画した画像を生成し、関連付け情報画像重畳部１０ｃは、この画像を当該ページの画像に重畳してモニタ１５に表示する。
【０１４６】
これにより、図３７に示すように、コマ１５２、吹き出し１６２及び吹き出し１６０ａの各領域の外周縁を描画した画像が重畳表示される。
【０１４７】
この状態で修正を終了すると、関連付け情報追加部１０ｅは、ＲＡＭに格納されたマスタデータの情報ファイル内のコマ１５２の関連付け情報に吹き出し１６０ａを追加する。また、関連付け情報更新部１０ｆは、ＲＡＭに格納されたマスタデータに基づいて、ＤＢ１１のマスタデータを更新する。これにより、コマ１５２と吹き出し１６０ａとは、関連付けがされているものとなる。
【０１４８】
以上のように構成することで、関連付け情報の更新をユーザが手動で行うことが可能となる。
【０１４９】
なお、コマの関連付け情報に新たに吹き出しやテキストを追加する際に、そのコマに複数のＲＯＩが存在する場合には、その追加した吹き出しやテキストがどのＲＯＩと関連付けられるのか不明となる場合がある。このような場合には、ユーザにどのＲＯＩと関連付ければよいのかを選択させればよい。
【０１５０】
この実施形態では、電子書籍のコンテンツを配信するサーバにより電子コミックのマスタデータを作成編集するようにしているが、このマスタデータを作成する装置は、コンテンツを配信するサーバとは別の電子コミック編集装置であってもよい。また、この電子コミック編集装置は、本発明に係る電子コミック編集プログラムが記録された記録媒体を介して該電子コミック編集プログラムを、汎用のパーソナルコンピュータにインストールすることにより構成することができる。
【０１５１】
また、上記のように作成編集されたマスタデータは、各種の携帯端末からの配信要求に応じてサーバ（配信サーバ）から配信されるが、この場合、配信サーバは、携帯端末の機種情報を取得し、マスタデータをその機種（画面サイズ等）での閲覧に適したデータに加工して配信してもよいし、マスタデータをそのまま配信してもよい。尚、マスタデータをそのまま配信する場合、携帯端末側のビューワソフトでマスタデータをその携帯端末に適したデータに変換して閲覧可能にする必要があるが、マスタデータには前述したように情報ファイルが含まれているため、ビューワソフトは情報ファイルに記述された情報を利用して携帯端末にコンテンツを表示させることができる。
【０１５２】
更に、本発明の技術的範囲は、上記実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合せることができる。
【符号の説明】
【０１５３】
１：サーバ、２：電子書籍ビューワ、１０：オーサリング部、１０ａ：マスタデータ取得部、１０ｂ：関連付け情報画像生成部、１０ｃ：関連付け情報画像重畳部、１０ｄ：関連付け情報削除部、１０ｅ：関連付け情報追加部、１０ｆ：関連付け情報更新部、１１：データベース（ＤＢ）、１２：操作部、１５：モニタ
【特許請求の範囲】
【請求項１】
コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、
前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、
前記表示手段に表示された画像上の位置を指示する指示手段と、
前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、
前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、
前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段と、
を備えた電子コミック編集装置。
【請求項２】
前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させる請求項１に記載の電子コミック編集装置。
【請求項３】
前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させる請求項１に記載の電子コミック編集装置。
【請求項４】
前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、
前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報である請求項１から３のいずれか１項に記載の電子コミック編集装置。
【請求項５】
前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報である請求項１から４のいずれか１項に記載の電子コミック編集装置。
【請求項６】
前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータである請求項１から５のいずれか１項に記載の電子コミック編集装置。
【請求項７】
前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータである請求項１から６のいずれか１項に記載の電子コミック編集装置。
【請求項８】
前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータである請求項１から７のいずれか１項に記載の電子コミック編集装置。
【請求項９】
前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータである請求項１から８のいずれか１項に記載の電子コミック編集装置。
【請求項１０】
前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、
前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの２以上の領域を自動的に抽出する領域抽出手段と、
前記領域抽出手段により抽出した２以上の領域を示す情報と、該２以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、
前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段と、を備え、
前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得する請求項１から９のいずれか１項に記載の電子コミック編集装置。
【請求項１１】
コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、
前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、
前記表示手段に表示された画像上の位置を指示する指示工程と、
前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、
前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、
前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程と、
を含む電子コミック編集方法。
【請求項１２】
コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、
前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、
前記表示手段に表示された画像上の位置を指示する指示機能と、
前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、
前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、
前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能と、
をコンピュータにより実現させる電子コミック編集プログラム。
【請求項１】
コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得手段と、
前記データ取得手段により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御手段と、
前記表示手段に表示された画像上の位置を指示する指示手段と、
前記指示手段により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加手段と、
前記指示手段により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除手段と、
前記関連付け情報追加手段により追加された関連付け情報及び前記関連付け情報削除手段により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集手段と、
を備えた電子コミック編集装置。
【請求項２】
前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域の外周縁を、同じ色又は線種により描画した画像を前記画像上に重畳して表示させる請求項１に記載の電子コミック編集装置。
【請求項３】
前記表示制御手段は、前記関連付け情報に基づいて前記関連付けられている２以上の情報に対応する領域を、それぞれ接続する引き出し線を描画した画像を前記画像上に重畳して表示させる請求項１に記載の電子コミック編集装置。
【請求項４】
前記関心領域情報は、前記コミック内のキャラクタを含む領域情報であり、
前記関連付け情報は、前記キャラクタを含む関心領域情報と、該キャラクタの台詞が入る吹き出し領域を示す吹き出し領域情報、又は前記吹き出し領域内のテキストの領域を示すテキスト領域情報とを関連付ける情報である請求項１から３のいずれか１項に記載の電子コミック編集装置。
【請求項５】
前記関連付け情報は、前記コマ情報と前記吹き出し情報、テキスト領域情報、及び関心領域情報とを関連付ける情報である請求項１から４のいずれか１項に記載の電子コミック編集装置。
【請求項６】
前記コマのコマ領域情報は、各コマを囲む多角形のコマ境界の各頂点を示す座標データ、コマ境界を示すベクトルデータ、又は各コマのコマ領域を示すマスクデータである請求項１から５のいずれか１項に記載の電子コミック編集装置。
【請求項７】
前記吹き出し領域情報は、前記吹き出しの形状に対応する複数点を示す座標データ、前記吹き出しの形状を示すベクトルデータ、又は前記吹き出しの領域を示すマスクデータである請求項１から６のいずれか１項に記載の電子コミック編集装置。
【請求項８】
前記テキスト領域情報は、前記テキスト領域の多角形の外周縁の各頂点を示す座標データ、前記テキスト領域の外周縁を示すベクトルデータ、又は前記テキスト領域を示すマスクデータである請求項１から７のいずれか１項に記載の電子コミック編集装置。
【請求項９】
前記関心領域情報は、前記関心領域の多角形の外周縁の各頂点を示す座標データ、前記関心領域の外周縁を示すベクトルデータ、又は前記領域を示すマスクデータである請求項１から８のいずれか１項に記載の電子コミック編集装置。
【請求項１０】
前記ページ全体の高解像度の画像を有する画像ファイルを取得する画像取得手段と、
前記画像取得手段により取得したページ全体の画像を解析し、該ページ内の各コマのコマ領域、吹き出し領域、テキスト領域、及び関心領域のうちの２以上の領域を自動的に抽出する領域抽出手段と、
前記領域抽出手段により抽出した２以上の領域を示す情報と、該２以上の領域の関連情報とが記述された情報ファイルを作成する情報ファイル作成手段と、
前記画像取得手段により取得した前記コミックのページ毎の画像ファイルと、前記情報ファイル作成手段により作成された前記コミックのページ毎又は全ページに対応する情報ファイルとから構成される前記電子コミックのマスタデータを作成するマスタデータ作成手段と、を備え、
前記データ取得手段は、前記マスタデータ作成手段により作成されたマスタデータを取得する請求項１から９のいずれか１項に記載の電子コミック編集装置。
【請求項１１】
コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得工程と、
前記データ取得工程により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御工程と、
前記表示手段に表示された画像上の位置を指示する指示工程と、
前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加工程と、
前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除工程と、
前記関連付け情報追加工程により追加された関連付け情報及び前記関連付け情報削除工程により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集工程と、
を含む電子コミック編集方法。
【請求項１２】
コミックの１ページ毎に対応する画像ファイルであって、ページ全体の高解像度の画像を有する画像ファイルと、前記コミックの１ページ毎又は全ページに対応する情報ファイルであって、前記ページ内の各コマのコマ領域情報を含むコマ情報、前記コミックのキャラクタの台詞が入る吹き出しの前記画像内の領域を示す吹き出し領域情報を含む吹き出し情報、前記コミックのテキストの領域を示すテキスト領域情報、及び前記コミックの関心領域を示す関心領域情報のうちの２以上の情報と、前記２以上の情報を関連付ける関連付け情報とが記述された情報ファイルとにより構成された電子コミックのマスタデータを取得するデータ取得機能と、
前記データ取得機能により取得したマスタデータ内の画像ファイルに基づいて画像を表示手段に表示させるとともに、前記マスタデータ内の情報ファイルに含まれる前記２以上の情報に基づいて前記２以上の情報に含まれる各領域情報を示す画像を前記画像上に重畳して表示させ、かつ前記関連付け情報に基づいて前記２以上の情報が関連付けられていることを示す画像を前記画像上に重畳して表示させる表示制御機能と、
前記表示手段に表示された画像上の位置を指示する指示機能と、
前記指示工程により指示された位置に対応する複数の領域情報を関連付ける関連付け情報を追加する関連付け情報追加機能と、
前記指示工程により指示された位置に対応する複数の領域情報の関連付けを削除する関連付け情報削除機能と、
前記関連付け情報追加機能により追加された関連付け情報及び前記関連付け情報削除機能により削除された関連付け情報に基づいて前記情報ファイルに含まれる関連付け情報を更新する編集機能と、
をコンピュータにより実現させる電子コミック編集プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公開番号】特開２０１３−８９１９８（Ｐ２０１３−８９１９８Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３２１５５（Ｐ２０１１−２３２１５５）
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]