電子書籍作成装置、電子書籍表示装置、電子書籍作成方法、電子書籍表示方法およびプログラム
【課題】テキストの拡大表示などが行われた場合でも、電子書籍の内容を理解し易い状態に表示できるようにする。
【解決手段】電子書籍作成装置１は、電子書籍データの作成対象である画像データを、テキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離し、オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが含まれるテキスト領域と、そのオブジェクト領域とを相互に関連付けると共に、テキスト領域においてキーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対するオブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成する。
【解決手段】電子書籍作成装置１は、電子書籍データの作成対象である画像データを、テキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離し、オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが含まれるテキスト領域と、そのオブジェクト領域とを相互に関連付けると共に、テキスト領域においてキーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対するオブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子書籍作成装置、電子書籍表示装置、電子書籍作成方法、電子書籍表示方法およびプログラムに関する。
【背景技術】
【０００２】
従来、電子化された文書の構成を容易に把握することができるようにするため、文書から図、表、テキストを画像として抽出し、それらの抽出した画像を元のページに関連付けることにより、文書構造を表示するようにしたものが知られている（例えば特許文献１）。このような従来技術によれば、文書から個別に抽出される画像が元のページに関連付けられるため、ページのプレビュー画面を表示するときにはそれらの各画像を元のページのエリアに表示することができる。そして、このような表示態様により、電子化された文書の構成を容易に把握できるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６４０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年はタブレット端末の普及に伴い、文書や書籍がいわゆる電子書籍として提供されるようになってきている。タブレット端末は、そのような電子書籍を取り込んで表示することができる。このようなタブレット端末は一般に液晶表示画面を備えているが、その表示画面のサイズは様々である。そのため、タブレット端末の表示画面に電子書籍の１ページ分をそのまま表示させてしまうと、電子書籍に含まれるテキストが小さくなって読みづらくなってしまうことがある。そのため、タブレット端末は、ユーザによるフォントサイズの拡大操作に基づき、電子書籍に含まれるテキストのフォントサイズを大きくして表示することができる。
【０００５】
しかし、電子書籍の１ページ内にテキストと図やグラフなどの画像とが混在している場合、テキストのフォントサイズを大きくして表示してしまうと、そのページに含まれる画像が表示対象領域からはみ出してしまい、表示画面に表示されなくなるケースが発生する。このようなケースが発生すると、例えば拡大表示したテキストが表示画面に表示されなくなった画像の内容などを説明するものである場合、ユーザはテキストと画像とを交互に表示画面に表示させながらテキストを読み進めていく必要がある。そのため、紙媒体などに記録された一般書籍と比較すると、電子書籍の場合は、その記載内容を理解するためにユーザが煩わしい操作を繰り返し行わなければならないことがあり、その記載内容を効率的に理解していくことが難しいという問題がある。
【０００６】
加えて、電子書籍の場合は、テキストを拡大表示したときに、テキストと画像との位置関係がずれてしまうケースが発生し得るため、テキストに含まれる説明がどの画像についての説明であるかが判り難くなってしまうこともある。このような場合にも、電子書籍に記載された内容を効率良く理解していくことが難しいという問題が生じ得る。
【０００７】
上記のような問題は、電子書籍のデータ構造に起因している。すなわち、特許文献１のように、文書から図、表、テキストなどを抽出しても、それら抽出した画像を単に元のページの位置に関連付けるだけでは、電子書籍に含まれるテキストの拡大表示を行うと、そのテキストに関連する図や表などの画像が表示画面の外側に配置されてしまうことになる。したがって、拡大表示されたテキストが、図や表などの画像に関連する内容である場合には、上述したようにユーザが手動操作を行うことによってテキストと画像とを交互に表示画面に表示させながらテキストを読み進めていくことが必要となり、電子書籍の内容を効率良く理解していくことが困難になる。
【０００８】
そこで本発明は、上記問題点を解決するためになされたものであり、電子書籍のデータ構造を改善し、電子書籍の内容を理解し易く表示できるようにデータ構造の電子書籍を作成する電子書籍作成装置、電子書籍作成方法およびプログラムを提供すると共に、その改善されたデータ構造の電子書籍を取得して電子書籍の内容を理解し易い表示態様で表示する電子書籍表示装置、電子書籍表示方法およびプログラムを提供することを、その目的とするものである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１にかかる発明は、テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成装置であって、電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する領域分離手段と、前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成する定義データ生成手段と、前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成する電子書籍データ生成手段と、を備えることを特徴とする構成である。
【００１０】
請求項２にかかる発明は、請求項１に記載の電子書籍作成装置において、前記領域分離手段は、前記画像データ取得手段によって取得される画像データから前記テキスト領域を段落ごとに抽出し、前記定義データ生成手段は、前記オブジェクト領域に含まれるオブジェクトを、前記領域分離手段によって段落ごとに抽出される複数のテキスト領域のうちの少なくとも１つに関連付けることを特徴とする構成である。
【００１１】
請求項３にかかる発明は、請求項１又は２に記載の電子書籍作成装置において、前記定義データ生成手段は、前記表示位置定義データを生成する際、前記テキスト領域のテキストにおいて前記キーワードが含まれている位置を示す位置情報を前記表示位置定義データに含めることを特徴とする構成である。
【００１２】
請求項４にかかる発明は、請求項１乃至３のいずれかに記載の電子書籍作成装置において、前記定義データ生成手段は、前記テキスト領域に対する前記オブジェクト領域の表示位置を特定してその表示位置を定義する際、その表示位置の変更の可否を示す情報を付加して前記表示位置定義データを生成することを特徴とする構成である。
【００１３】
請求項５にかかる発明は、請求項１乃至４のいずれかに記載の電子書籍作成装置において、前記電子書籍データ生成手段によって生成される電子書籍データを記憶する記憶手段と、各種情報を表示する表示手段と、前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、を更に備え、前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１４】
請求項６にかかる発明は、請求項１乃至５のいずれかに記載の電子書籍作成装置から電子書籍データを取得して表示する電子書籍表示装置であって、前記電子書籍作成装置から出力される電子書籍データを記憶する記憶手段と、各種情報を表示する表示手段と、前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、を備え、前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１５】
請求項７にかかる発明は、請求項６に記載の電子書籍表示装置において、電子書籍データに含まれるテキストデータが前記表示手段に表示されている状態でユーザによるテキストデータの表示状態に関する操作を入力する操作入力手段を更に備え、前記表示制御部は、前記操作入力手段に入力されるテキストデータの表示状態に関する変更操作に基づいて前記表示手段に表示するテキストデータの表示状態を変更すると共に、当該テキストデータに関連付けられたオブジェクトデータが存在する場合にはテキストデータの表示状態を変更した後にもそのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１６】
請求項８にかかる発明は、テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成方法であって、(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、を有することを特徴とする構成である。
【００１７】
請求項９にかかる発明は、請求項８に記載の電子書籍作成方法によって作成される電子書籍データを取得して表示する電子書籍表示方法であって、(a) 前記電子書籍作成方法によって作成された電子書籍データを取得して記憶するステップと、(b) 前記ステップ(a)において記憶された電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、を有し、前記ステップ(b)は、電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１８】
請求項１０にかかる発明は、テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、を実行させることを特徴とする構成である。
【００１９】
請求項１１にかかる発明は、請求項１０に記載のプログラムを実行することによって作成される電子書籍データを取得して表示するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、(a) 前記電子書籍データを取得して記憶するステップと、(b) 前記ステップ(a)において記憶された前記電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、を実行させ、前記ステップ(b)において前記電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【発明の効果】
【００２０】
本発明によれば、電子書籍の内容を理解し易く表示できるようなデータ構造の電子書籍データを作成することができるようになる。また、そのような電子書籍データを用いて電子書籍を表示するときには、電子書籍の内容を理解し易い表示態様で表示することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態における電子書籍作成装置と電子書籍表示装置とを含む電子書籍処理システムの一構成例を示す図である。
【図２】電子書籍作成装置におけるハードウェア構成および機能構成の一例を示すブロック図である。
【図３】画像データ取得部によって取得される画像データの一例を示す図である。
【図４】図３に示した画像データに基づいて分離される領域を示す図である。
【図５】領域分離部によるテキスト抽出の概念を示す図である。
【図６】領域分離部によるオブジェクト抽出の概念を示す図である。
【図７】定義データ生成部における詳細な機能構成の一例を示すブロック図である。
【図８】データ生成部によって生成される表示位置定義データの一例を示す図である。
【図９】電子書籍データ生成部によって生成される電子書籍データの概念を示す図である。
【図１０】電子書籍作成装置において電子書籍データを作成するために行われる処理手順のメインルーチンに関する一例を示すフローチャートである。
【図１１】領域分離処理の詳細な処理手順の一例を示すフローチャートである。
【図１２】定義データ生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１３】定義データ生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１４】電子書籍データ生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１５】電子書籍表示装置におけるハードウェア構成および機能構成の一例を示すブロック図である。
【図１６】電子書籍表示装置において電子書籍を表示するために行われる処理手順の一例を示すフローチャートである。
【図１７】電子書籍表示装置において電子書籍を表示するために行われる処理手順の一例を示すフローチャートである。
【図１８】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図１９】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２０】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２１】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２２】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２３】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２４】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２５】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２６】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。
【００２３】
図１は、本実施形態における電子書籍処理システムの一構成例を示す図である。この電子書籍処理システムは、複合機などで構成される電子書籍作成装置１と、タブレット端末や携帯電話機などで構成される電子書籍表示装置４とを有している。
【００２４】
電子書籍作成装置１は、電子書籍表示装置４で表示するための電子書籍データを作成する装置である。この電子書籍作成装置１は、装置本体の上部に原稿ＰＭを読み取って画像データを生成するスキャナ部２が設けられると共に、装置本体の正面側にユーザインタフェースとなる操作パネル３が設けられた構成である。ユーザは操作パネル３を操作することによって電子書籍作成機能の起動を指示すると、電子書籍作成装置１は、電子書籍データを作成するための処理を開始する。すなわち、電子書籍作成装置１は、例えばスキャナ部２にセットされる原稿ＰＭの読み取り動作を行い、それによって得られる画像データに基づいて電子書籍データを作成する。ただし、電子書籍の作成対象となる画像データは、必ずしもスキャナ部２によって得られるデータに限られない。例えば、電子書籍作成装置１は、図示しないＬＡＮ（Local Area Network）などのネットワークに接続されており、そのネットワークを介してコンピュータから送信されるドキュメントデータなどの画像データを受信可能である。それ故、電子書籍作成装置１は、ネットワークを介して受信する画像データに基づいて電子書籍データを作成することも可能である。
【００２５】
電子書籍表示装置４は、カラー液晶表示パネルなどで構成された各種情報を表示するための表示部５を有している。この電子書籍表示装置４は、電子書籍作成装置１によって作成される電子書籍データを取得して内部保存する。そしてユーザによる電子書籍の表示指示を検知すると、電子書籍表示装置４は、内部保存している電子書籍データを読み出し、表示部５に電子書籍として表示する。
【００２６】
上記のような電子書籍作成装置１と電子書籍表示装置４とは、例えばケーブル９を介して相互にデータ通信可能に接続されている。そのため、電子書籍作成装置１は、電子書籍データの作成が完了すると、ケーブル９を介してその電子書籍データを電子書籍表示装置４に送信することが可能である。ただし、電子書籍作成装置１と電子書籍表示装置４との間での電子書籍データの受け渡しは、必ずしもケーブル９を介したものに限られない。例えば、電子書籍作成装置１は、電子書籍表示装置４に対し、無線通信で電子書籍データを送出するものであっても良いし、またＵＳＢメモリなどの可搬型記録媒体を介して電子書籍データを出力するものであっても良い。
【００２７】
図２は、電子書籍作成装置１におけるハードウェア構成および機能構成の一例を示すブロック図である。図２に示すように、電子書籍作成装置１は、そのハードウェア構成として、上述したスキャナ部２および操作パネル３の他、ＣＰＵ１０と、ネットワークインタフェース１１と、外部インタフェース１２と、記憶装置１３とを備えている。
【００２８】
また操作パネル３は、表示部３ａと、操作部３ｂとを備えている。表示部３ａは、カラー液晶表示パネルなどで構成され、ユーザに対して各種情報を表示する。操作部３ｂは、表示部３ａの画面上に配置されたタッチパネルキーと、表示部３ａの画面周囲に配置された押しボタンキーとを備えて構成され、ユーザによって行われる各種の指示操作を検知する。
【００２９】
ＣＰＵ１０は、電子書籍作成装置１に予めインストールされている各種プログラムを実行することにより各種の演算処理を行うと共に、各部の動作を制御するものである。ネットワークインタフェース１１は、電子書籍作成装置１をＬＡＮなどのネットワークに接続するためのものである。外部インタフェース１２は、電子書籍表示装置４に対して電子書籍データを出力するインタフェースであり、例えば上述したケーブル９を接続するためのインタフェースである。記憶装置１３は、例えばハードディスクドライブ（ＨＤＤ）などの不揮発性の記憶手段である。
【００３０】
記憶装置１３には、図２に示すように予め電子書籍作成プログラム１５がインストールされている。この電子書籍作成プログラム１５は、ユーザによって電子書籍作成機能の起動が指示された場合にＣＰＵ１０によって読み出され、実行される。尚、このような電子書籍作成プログラム１５は、ＵＳＢメモリやＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体から記憶装置１３にインストールされるものであっても良いし、ネットワークインタフェース１１を介して所定のサーバからダウンロード取得することにより記憶装置１３にインストールされるものであっても良い。
【００３１】
また記憶装置１３には、電子書籍作成装置１において作成される電子書籍データ１６を記憶することができるようになっている。
【００３２】
ＣＰＵ１０は、ユーザによる電子書籍作成機能の起動指示に基づいて電子書籍作成プログラム１５を実行すると、図２に示すように、画像データ取得部２１、領域分離部２２、定義データ生成部２３、電子書籍データ生成部２４および表示制御部２５として機能する。ＣＰＵ１０は、これら各部を動作させることにより、電子書籍データの作成対象となる画像データを取得し、その取得した画像データに基づいて電子書籍データを作成する。特に本実施形態では、電子書籍データの作成対象となる画像データが、テキストと、テキスト以外の図、表、グラフ、写真、画像などのオブジェクトとを含むものである場合、互いに関連するテキストとオブジェクトとを同時に、且つ、適切な位置に表示できるようにするためのデータ構造を有する電子書籍データを作成する。以下、各部の処理について詳しく説明する。
【００３３】
画像データ取得部２１は、電子書籍データの作成対象となる画像データを取得する処理部である。この画像データ取得部２１は、スキャナ部２又はネットワークインタフェース２２から画像データを取得する。そして画像データ取得部２１は、電子書籍データの作成対象として取得する画像データを領域分離部２２に出力する。
【００３４】
図３は、画像データ取得部２１によって取得される画像データＤＡの一例を示す図である。図３に示す画像データＤＡは、１ページ内に、テキストと、テキスト以外のオブジェクトとの双方を含むデータとなっている。尚、図例では、説明を簡単にするため、画像データＤＡが１ページだけで構成される場合を例示しているが、これに限らず、複数ページから成る画像データであっても構わない。以下においては、図３に示す画像データＤＡに基づいて電子書籍データ１６を作成する場合の処理について説明する。
【００３５】
領域分離部２２は、画像データ取得部２１によって取得される画像データＤＡを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する処理部である。
【００３６】
例えば画像データＤＡがＪＰＥＧやビットマップなどのデータである場合、領域分離部２２は、画像データＤＡの全体を細分化し、それぞれのブロックについて濃度分布や空間周波数などの画像特性を判別していく。そして所定の画像特性を有する複数のブロックが一つに纏まって形成するブロック群をテキスト領域として抽出すると共に、テキストとは異なる画像特性を有する複数のブロックが一つに纏まって形成するロック群をオブジェクト領域として抽出する。ただし、ＪＰＥＧやビットマップなどの画像データＤＡからテキスト領域とオブジェクト領域とを抽出する手法は、上記手法の他にも様々な手法があるため、上記手法に代えてその他の公知の手法を採用するようにしても良い。尚、画像データＤＡにおいてページ周縁などに含まれる余白部分は、テキスト領域およびオブジェクト領域のいずれにも抽出されない。
【００３７】
また画像データＤＡがネットワークインタフェース１１を介して取得される場合、その画像データＤＡがドキュメントデータであることもある。そのような場合、領域分離部２２は、上述したように画像特性を解析する必要はなく、ドキュメントデータや、そのドキュメントデータに付加された情報を解析することにより、テキスト領域と、オブジェクト領域とを抽出することができる。
【００３８】
上記のようにして画像データＤＡから分離されるテキスト領域は、複数の段落を含むことがある。そこで、領域分離部２２は、上記のようにして画像データＤＡから分離したテキスト領域を更に解析することにより、複数の段落を含むテキスト領域を段落ごとに区切った複数のテキスト領域に分離する。その結果、画像データＤＡは、１段落単位で抽出されるテキスト領域と、オブジェクト領域とに分離される。
【００３９】
図４は、図３に示した画像データＤＡに基づいて分離される領域を示す図である。領域分離部２２が、図３に示した画像データＤＡに基づいて上記のような処理を行うことにより、図４に示すように、テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４と、オブジェクト領域ＲＢ１とが抽出される。
【００４０】
領域分離部２２は、上記のようにして画像データＤＡをテキスト領域とオブジェクト領域とに分離すると、次に、段落毎に抽出したテキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４のそれぞれに含まれるテキストをテキストデータに変換する。すなわち、領域分離部２２は、ＯＣＲ（Optical Character Reader）などの文字認識機能を有しており、テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４のそれぞれに含まれる文字を１文字ずつ認識してテキストデータを生成する。これにより、各テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４からテキストだけが抽出されることになる。ただし、元の画像データＤＡがドキュメントデータである場合は、そのドキュメントデータからテキストデータを抽出することが可能である。この場合、領域分離部２２は、各テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４に対して文字認識処理を行うことなく、ドキュメントデータから各テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４に対応するテキストデータを抽出する。
【００４１】
図５は、領域分離部２２によるテキスト抽出の概念を示す図である。図５に示すように、領域分離部２２は、画像データＤＡから抽出された複数のテキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４のそれぞれに含まれるテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４を抽出し、それらテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対応するテキストデータを生成する。このとき、各テキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対応するテキストデータは、改行を含まないデータとして生成される。
【００４２】
また領域分離部２２は、画像データＤＡから分離されたオブジェクト領域から図、表、グラフ、写真、画像などを含むオブジェクトを抽出し、そのオブジェクトに関するオブジェクトデータを生成する。図６は、領域分離部２２によるオブジェクト抽出の概念を示す図である。図６に示すように、領域分離部２２は、画像データＤＡから抽出されたオブジェクト領域ＲＢ１に含まれるオブジェクトＯＢＪ１を抽出し、そのオブジェクトＯＢＪ１に対応するオブジェクトデータを生成する。オブジェクトデータは、例えば元の画像データＤＡから切り出されたＪＰＥＧやビットマップなどの画像データとして生成される。
【００４３】
図２に戻り、次に定義データ生成部２３が機能する。定義データ生成部２３は、領域分離部２２によって生成される各種のデータを取得して後述する処理を行うことにより、互いに関連するテキスト領域とオブジェクト領域とを抽出し、それらテキスト領域とオブジェクト領域とを相互に関連付ける。そしてテキスト領域に含まれるテキストに対し、オブジェクト領域に含まれるオブジェクトをどのような位置に表示すれば適切な表示位置となるかを特定し、その特定した表示位置を定義する表示位置定義データＤＰを生成する。以下、このような定義データ生成部２３について詳しく説明する。
【００４４】
図７は、定義データ生成部２３の詳細な機能構成の一例を示すブロック図である。図７に示すように、定義データ生成部２３は、オブジェクト解析部３１、テキスト解析部３２、表示位置特定部３３およびデータ生成部３４を備えており、これらが順次機能する。
【００４５】
オブジェクト解析部３１は、領域分離部２２によって抽出されたオブジェクトＯＢＪ１を解析することにより、そのオブジェクトＯＢＪ１に含まれるキーワードを抽出する処理部である。すなわち、このオブジェクト解析部３１は、文字抽出部３１ａと、キーワード抽出部３１ｂとを備えている。文字抽出部３１ａは、領域分離部２２によって抽出されたオブジェクトＯＢＪ１に対応するオブジェクトデータに対してＯＣＲなどの文字認識処理を行い、オブジェクトＯＢＪ１に含まれている文字又は文字列を抽出する。キーワード抽出部３１ｂは、文字抽出部３１ａによって抽出される文字又は文字列の中に、キーワード登録情報１８に予め登録されているキーワードが含まれているか否かを判断し、キーワード登録情報１８に予め登録されているキーワードに一致する文字又は文字列をキーワードとして抽出する。
【００４６】
キーワード登録情報１８は、例えば「図」、「表」、「グラフ」、「写真」、「画像」といったキーワードが予め登録された情報である。このようなキーワード登録情報１８は、電子書籍作成プログラム１５に予め組み込まれた情報である。そのため、キーワード抽出部３１ｂは、電子書籍作成プログラム１５に予め組み込まれたキーワード登録情報１８を取得し、そのキーワード登録情報１８に基づいて、文字抽出部３１ａによって抽出された文字又は文字列からキーワードを抽出する。
【００４７】
またキーワード抽出部３１ｂは、文字抽出部３１ａによって抽出された文字又は文字列からキーワードを抽出するとき、そのキーワードに数字やアルファベットが付されていれば、それら数字やアルファベットを含む文字列をキーワードとして抽出する。つまり、文字抽出部３１ａによって抽出された文字列が「図１」や「表Ａ」などの文字列である場合、キーワード抽出部３１ｂは、「図１」や「表Ａ」などの数字やアルファベットを含む文字列全体をキーワードとして抽出する。
【００４８】
例えば図６に示したようなオブジェクトＯＢＪ１が領域分離部２２によって抽出されている場合、オブジェクト解析部３１は、上記のような処理を行うことにより、オブジェクトＯＢＪ１からキーワードとして「図１」を抽出する。
【００４９】
テキスト解析部３２は、領域分離部２２によって抽出されたテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４を解析することにより、オブジェクト解析部３１によってオブジェクトＯＢＪ１から抽出されたキーワードと同一のキーワードを含むテキストを特定する処理部である。すなわち、このテキスト解析部３２は、キーワード抽出部３２ａを備えている。このキーワード抽出部３２ａは、領域分離部２２によって抽出されたテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対応するテキストデータを入力し、それらのテキストデータにオブジェクトＯＢＪ１から抽出されたキーワードと同一のキーワードが含まれるか否かを判断する。そしてオブジェクトＯＢＪ１から抽出されたキーワードと同一のキーワードを含むテキストを全て特定する。
【００５０】
例えば図５に示したようなテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４が領域分離部２２によって抽出されている場合、テキスト解析部３２は、上記のような処理を行うことにより、オブジェクトＯＢＪ１から抽出されたキーワード「図１」と同一のキーワードを含むテキストとして、テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４を特定する。
【００５１】
表示位置特定部３３は、上述したオブジェクト解析部３１およびテキスト解析部３２の処理結果に基づき、同一のキーワードを含むテキストとオブジェクトとを相互に関連付けると共に、そのテキストが表示される場合にそれに関連付けられたオブジェクトを表示する表示位置を特定する処理部である。すなわち、オブジェクトと同一のキーワードを含むテキストは、そのオブジェクトの内容を説明するための文章などを含むコンテンツである。そのため、互いに同一のキーワードを含むテキストとオブジェクトは、その内容が互いに関連している。このようなことから、表示位置特定部３３は、まず同一のキーワードを含むテキストとオブジェクトとを相互に関連付ける。図５および図６に示す例の場合、表示位置特定部３３は、テキストＴＸＴ２とオブジェクトＯＢＪ１、テキストＴＸＴ３とオブジェクトＯＢＪ１、および、テキストＴＸＴ４とオブジェクトＯＢＪ１のそれぞれを相互に関連付ける。そして表示位置特定部３３は、テキストに関連付けられたオブジェクトの表示位置を特定する処理を行う。
【００５２】
表示位置特定部３３は、テキストに関連付けられたオブジェクトの表示位置を特定する際、そのオブジェクトが関連付けられたテキストのテキストデータを取得し、そのテキストにおいてキーワードが含まれている位置を特定する。そして、そのキーワードが含まれている位置の前後近傍のテキストに、「上」、「下」、「右」、「左」、「前」、「先」、「後」などの位置や方向を示す文字又は文字列が含まれているか否かを判断する。その結果、位置や方向を示す文字又は文字列が含まれている場合、表示位置特定部３３は、その文字又は文字列に基づいてオブジェクトの表示位置を特定する。
【００５３】
図５に示した例の場合、テキストＴＸＴ２において、キーワード「図１」の２文字前に「下」という文字が含まれている。そのため、表示位置特定部３３は、テキストＴＸＴ２が表示されるときのオブジェクトＯＢＪ１の表示位置として「下」を特定する。またテキストＴＸＴ４には、キーワード「図１」の１文字前に「上」という文字が含まれている。そのため、表示位置特定部３３は、テキストＴＸＴ４が表示されるときのオブジェクトＯＢＪ１の表示位置として「上」を特定する。
【００５４】
これに対し、図５の例においてテキストＴＸＴ３には、キーワード「図１」が含まれる位置の近傍に位置や方向を示す文字などが含まれていない。このような場合、表示位置特定部３３は、元の画像データＤＡにおいてオブジェクトＯＢＪ１がテキストＴＸＴ３に対してどのような位置に表示されているかを判別し、その判別した位置を表示位置として特定する。図５の例の場合、オブジェクトＯＢＪ１は、テキストＴＸＴ３が抽出されたテキスト領域ＲＡ３に対して左下の位置に表示されているため、表示位置特定部３３は、オブジェクトＯＢＪ１の表示位置として「下」と「左」の２つの位置を特定する。
【００５５】
データ生成部３４は、上述した表示位置特定部３３による処理結果に基づき、テキストに関連付けられたオブジェクトの表示位置を定義した表示位置定義データＤＰを生成する処理部である。
【００５６】
図８は、データ生成部３４によって生成される表示位置定義データＤＰの一例を示す図である。この表示位置定義データＤＰは、テキスト情報４１と、関連オブジェクト情報４２と、オブジェクト表示位置情報４３と、表示位置変更情報４４と、キーワード位置情報４５とが、領域分離部２２によって抽出されたテキストＴＸＴ１〜ＴＸＴ４ごとに登録されるテーブルデータとなっている。
【００５７】
テキスト情報４１は、テキストＴＸＴ１〜ＴＸＴ４のそれぞれに対応するテキストデータを特定するための情報である。データ生成部３４は、領域分離部２２によって段落ごとに抽出される複数のテキストＴＸＴ１〜ＴＸＴ４のそれぞれをテキスト情報４１に登録する。このとき、データ生成部３４は、元の画像データＤＡにおいて各テキストＴＸＴ１〜ＴＸＴ４が出現する順番に従ってテキスト情報４１に登録する。これにより、テキスト情報４１には、複数のテキストＴＸＴ１〜ＴＸＴ４の表示順序が定義される。
【００５８】
関連オブジェクト情報４２は、表示位置特定部３３によってテキストＴＸＴ１〜ＴＸＴ４のそれぞれに関連付けられたオブジェクトに対応するオブジェクトデータを特定するための情報である。データ生成部３４は、表示位置特定部３３によって各テキストＴＸＴ１〜ＴＸＴ４に関連付けられたオブジェクトがある場合、その関連付けられたオブジェクトを特定するための情報を登録する。図例では、テキストＴＸＴ１に関連付けられたオブジェクトがないため、テキストＴＸＴ１に対応する関連オブジェクト情報４２は空欄となっている。また、上述したようにテキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれにはオブジェクトＯＢＪ１が関連付けられるため、テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれに対応する関連オブジェクト情報４２には、オブジェクトＯＢＪ１に対応するオブジェクトデータを特定するための情報が登録される。
【００５９】
オブジェクト表示位置情報４３は、テキストに関連するオブジェクトが登録される場合にそのオブジェクトの表示位置を定義する情報である。データ生成部３４は、表示位置特定部３３によって各テキストＴＸＴ１〜ＴＸＴ４に関連付けられたオブジェクトがある場合、表示位置特定部３３によって特定されるオブジェクトの表示位置を示す情報を登録する。図例では、テキストＴＸＴ１に関連付けられたオブジェクトがないため、テキストＴＸＴ１に対応するオブジェクト表示位置情報４３は空欄となっている。また、上述したようにテキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれにはオブジェクトＯＢＪ１が関連付けられるため、これらに対応するオブジェクト表示位置情報４３にはオブジェクトＯＢＪ１の表示位置が登録される。すなわち、テキストＴＸＴ２については「下」が登録され、テキストＴＸＴ３については「下」と「左」とが登録され、テキストＴＸＴ４については「上」が登録される。
【００６０】
表示位置変更情報４４は、オブジェクト表示位置情報４３に定義された表示位置を変更することが可能であるか否かを示す情報である。例えば、オブジェクトに関連付けられたテキストに、そのオブジェクトが表示されている位置や方向を示す文字又は文字列が含まれている場合、それとは異なる位置や方向にオブジェクトを表示してしまうと、テキストにおける説明文との不整合が生じ、理解し難い電子書籍となってしまう。これを防止するため、データ生成部３４は、表示位置特定部３３によって特定された表示位置がテキストから抽出された文字又は文字列に基づいて特定されたものである場合、表示位置変更不可として表示位置変更情報４４に登録する。
【００６１】
これに対し、オブジェクトに関連付けられたテキストに、そのオブジェクトが表示されている位置や方向を示す文字又は文字列が含まれていない場合には、どのような位置にオブジェクトを表示しても、テキストにおける説明文との不整合は生じない。そのため、データ生成部３４は、表示位置特定部３３によって特定された表示位置が元の画像データＤＡにおける位置に基づいて特定されたものである場合、表示位置変更可として表示位置変更情報４４に登録する。
【００６２】
図８の例では、テキストＴＸＴ２，ＴＸＴ４に対応するオブジェクトＯＢＪ１の表示位置が、それらテキストＴＸＴ２，ＴＸＴ４に含まれる文字又は文字列に基づいて特定されたものであるため、これらの対応する表示位置変更情報４４には「不可」が登録されている。また、テキストＴＸＴ３に対応するオブジェクトＯＢＪ１の表示位置が元の画像データＤＡにおける位置に基づいて特定されたものであるため、テキストＴＸＴ３に対応する表示位置変更情報４４には「可」が登録されている。
【００６３】
キーワード位置情報４５は、テキストに関連するオブジェクトが登録される場合にそのテキストにおいてオブジェクトと同一のキーワードが含まれている位置を特定する情報である。データ生成部３４は、表示位置特定部３３において特定されるキーワードの位置に基づいてキーワード位置情報４５を登録する。このキーワード位置情報４５は、例えば各テキストＴＸＴ２〜ＴＸＴ４においてオブジェクトＯＢＪ１と同一のキーワードが先頭から何文字目に含まれているかを示す情報となる。
【００６４】
したがって、このような表示位置定義データＤＰを参照すれば、特定のテキストを表示する際、そのテキストに関連するオブジェウトの有無を瞬時に判断することができるので、テキストの表示に伴ってそれに関連するオブジェクトを同時に表示することができるようになる。また、テキストとオブジェクトとを同時に表示するときには、オブジェクトがテキストに対して不適切な位置に表示されてしまうことを防止することができるようになる。
【００６５】
データ生成部３４が上記のようにして図８に示すような表示位置定義データＤＰを生成すると、定義データ生成部２３における処理が完了する。そして次に、図２に示す電子書籍データ生成部２４が機能する。
【００６６】
電子書籍データ生成部２４は、上記のような処理結果に基づき電子書籍データ１６を生成する処理部である。図９は、電子書籍データ生成部２４によって生成される電子書籍データ１６の概念を示す図である。図９に示すように、電子書籍データ生成部２４は、領域分離部２２によって段落ごとに抽出される複数のテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれに対応するテキストデータと、オブジェクトＯＢＪ１に対応するオブジェクトデータと、定義データ生成部２３によって生成される表示位置定義データＤＰとを組み合わせた電子書籍データ１６を生成する。
【００６７】
電子書籍データ生成部２４は、電子書籍データ１６を生成すると、その電子書籍データ１６を外部インタフェース１２に出力する。これにより、電子書籍データ１６は、電子書籍作成装置１から電子書籍表示装置４へ出力される。また電子書籍データ生成部２４は、生成した電子書籍データ１６を記憶装置１３に保存しておくこともできる。
【００６８】
表示制御部２５は、電子書籍データ生成部２４によって記憶装置１３に保存された電子書籍データ１６を読み出し、操作パネル３に設けられた表示部３ａに対して電子書籍としての表示を行う処理部である。つまり、電子書籍作成装置１は、画像データＤＡに基づいて電子書籍データ１６を作成するだけでなく、その作成した電子書籍データ１６に基づいて電子書籍の表示を行うことができる構成となっている。尚、表示制御部２５によって行われる具体的な表示処理は、後述する電子書籍表示装置４における表示処理と同様であるため、ここでは詳細な説明を省略する。
【００６９】
図１０乃至図１４は、電子書籍作成装置１において電子書籍データ１６を作成するために行われる処理手順の一例を示すフローチャートである。図１０は、電子書籍データ１６を作成するためのメインルーチンとなるフローチャートである。尚、この処理は、ＣＰＵ１０が電子書籍作成プログラム１５を実行することによって行われるものである。
【００７０】
図１０に示すように、電子書籍作成装置１は、この処理を開始すると、まず電子書籍データの作成対象となる画像データＤＡを取得する（ステップＳ１）。その後、電子書籍作成装置１は、領域分離処理（ステップＳ２）、定義データ生成処理（ステップＳ３）、および、電子書籍データ生成処理（ステップＳ４）を順次実行することにより、電子書籍データ１６を生成する。そして電子書籍作成装置１は、最終的に、生成した電子書籍データ１６を電子書籍表示装置４に出力するための電子書籍データ出力処理（ステップＳ５）を行う。これにより、全ての処理が終了する。
【００７１】
図１１は、領域分離処理（ステップＳ２）の詳細な処理手順の一例を示すフローチャートである。電子書籍作成装置１は、この処理を開始すると、画像データＤＡに対して領域判別処理を行い（ステップＳ１０）、画像データＤＡに含まれる画像成分を、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する（ステップＳ１１）。そしてさらに、電子書籍作成装置１は、テキストのみから成るテキスト領域に複数の段落が含まれていれば、そのテキスト領域を段落ごとに分離する（ステップＳ１２）。これにより、段落ごとに複数のテキスト領域が抽出される。
【００７２】
そして電子書籍作成装置１は、段落ごとに抽出された各テキスト領域に含まれるテキストをテキストデータに変換する（ステップＳ１３）。このとき、必要に応じて文字認識処理などを行うことにより、各テキスト領域からテキストだけを抽出し、テキストデータに変換する。また電子書籍作成装置１は、オブジェクト領域からオブジェクトデータを抽出する（ステップＳ１４）。電子書籍作成装置１は、上記のようにして画像データＤＡから分離した各データを図示しないメモリ又は記憶装置１３に対して一時的に保存する（ステップＳ１５）。以上で、領域分離処理（ステップＳ２）が終了する。
【００７３】
図１２および図１３は、定義データ生成処理（ステップＳ３）の詳細な処理手順の一例を示すフローチャートである。電子書籍作成装置１は、この処理を開始すると、領域分離処理（ステップＳ２）において抽出されたオブジェクト領域を１つ選択する（ステップＳ２０）。そしてその選択したオブジェクト領域から文字又は文字列を抽出するための文字抽出処理を行う（ステップＳ２１）。次に、電子書籍作成装置１は、キーワード登録情報１８を読み出し（ステップＳ２２）、オブジェクト領域から抽出した文字又は文字列に、キーワード登録情報１８に登録されているキーワードが含まれるか否かを判断する（ステップＳ２３）。その結果、キーワードが含まれている場合（ステップＳ２３でＹＥＳ）、電子書籍作成装置１は、そのキーワードとオブジェクトとを相互に関連付けた情報を、図示しないメモリ又は記憶装置１３に対して一時的に保存する（ステップＳ２４）。尚、オブジェクト領域にキーワードが含まれていない場合は（ステップＳ２３でＮＯ）、ステップＳ２４の処理は行われない。電子書籍作成装置１は、上記ステップＳ２０〜Ｓ２４の処理を領域分離処理（ステップＳ２）において抽出された全てのオブジェクト領域に対して実行する。全てのオブジェクト領域に対する処理が終了すると（ステップＳ２５でＮＯ）、図１３のステップＳ３０に進む。
【００７４】
次に、電子書籍作成装置１は、領域分離処理（ステップＳ２）において抽出された段落ごとのテキスト領域を１つ選択する（ステップＳ３０）。そしてその選択したテキスト領域に対する文字認識処理を行う（ステップＳ３１）。ただし、元の画像データＤＡがドキュメントデータなどである場合、この文字認識処理（ステップＳ３１）は特に行う必要がない。そして電子書籍作成装置１は、選択したテキスト領域が、オブジェクト領域に含まれるキーワードと同一のキーワードを含んでいるか否かを判断する（ステップＳ３２）。
【００７５】
その結果、テキスト領域がオブジェクト領域と同一のキーワードを含んでいる場合（ステップＳ３２でＹＥＳ）、電子書籍作成装置１は、当該テキスト領域と、オブジェクト領域とを相互に関連付ける（ステップＳ３３）。そして、当該テキスト領域において、オブジェクト領域と同一のキーワードが含まれている位置（キーワード位置）を特定し（ステップＳ３４）、そのキーワード位置の近傍にオブジェクトの表示位置を限定する文字や文字列が存在しているか否かを判断する（ステップＳ３５）。
【００７６】
テキスト領域のキーワード位置近傍にオブジェクトの表示位置を限定する文字や文字列がある場合（ステップＳ３５でＹＥＳ）、電子書籍作成装置１は、その文字や文字列に基づいてオブジェクトの表示位置を特定する（ステップＳ３６）。そして、その表示位置は、変更不可であることを設定する（ステップＳ３７）。
【００７７】
これに対し、テキスト領域のキーワード位置近傍にオブジェクトの表示位置を限定する文字や文字列がない場合（ステップＳ３５でＮＯ）、電子書籍作成装置１は、元の画像データＤＡにおけるページ上での位置に基づいて表示位置を特定する（ステップＳ３８）。そして、その表示位置は、変更可能であることを設定する（ステップＳ３９）。
【００７８】
尚、選択したテキスト領域がオブジェクト領域と同一のキーワードを含んでいない場合（ステップＳ３２でＮＯ）、上記ステップＳ３３〜Ｓ３９の処理は行われない。
【００７９】
そして電子書籍作成装置１は、上記ステップＳ３１〜Ｓ３９の処理結果に基づき、選択したテキスト領域に関する情報を、表示位置定義データＤＰに記録する（ステップＳ４０）。電子書籍作成装置１は、上記ステップＳ３０〜Ｓ４０の処理を、領域分離処理（ステップＳ２）によって抽出された全てのテキスト領域に対して実行する。そして全てのテキスト領域に対する処理が終了すると（ステップＳ４１でＮＯ）、定義データ生成処理（ステップＳ３）が終了する。
【００８０】
図１４は、電子書籍データ生成処理（ステップＳ４）の詳細な処理手順の一例を示すフローチャートである。電子書籍作成装置１は、この処理を開始すると、テキスト領域に含まれるテキストデータを全て読み出すと共に（ステップＳ５０）、オブジェクト領域に含まれるオブジェクトデータを全て読み出す（ステップＳ５１）。さらに、定義データ生成処理（ステップＳ３）によって生成される表示位置定義データＤＰを読み出す（ステップＳ５２）。電子書籍作成装置１は、上記ステップＳ５０〜Ｓ５２の処理で読み出したデータを１つに組み合わせて電子書籍データ１６を生成する。以上で、電子書籍データ生成処理（ステップＳ４）が終了する。
【００８１】
次に電子書籍表示装置４について説明する。図１５は、電子書籍表示装置４におけるハードウェア構成および機能構成の一例を示すブロック図である。図１５に示すように、電子書籍表示装置４は、そのハードウェア構成として、上述した表示部５の他、ＣＰＵ５０と、外部インタフェース５１と、記憶装置５２と、操作部５３とを備えている。
【００８２】
ＣＰＵ５０は、電子書籍表示装置４に予めインストールされている各種プログラムを実行することにより各種の演算処理を行うと共に、各部の動作を制御するものである。外部インタフェース５１は、電子書籍作成装置１から出力される電子書籍データ１６を入力するためのインタフェースであり、例えば上述したケーブル９を接続するためのインタフェースである。記憶装置５２は、例えばソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶手段である。操作部５３は、例えば表示部５の表示画面上に配置されるタッチパネルセンサなどによって構成され、ユーザによって行われる各種の指示操作を検知する。
【００８３】
記憶装置５２には、図１５に示すように予め電子書籍表示プログラム５８がインストールされている。この電子書籍表示プログラム５８は、ユーザによる電子書籍の表示指示が検知された場合にＣＰＵ５０によって読み出され、実行される。尚、このような電子書籍表示プログラム５８は、ＵＳＢメモリやＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体から記憶装置５２にインストールされるものであっても良いし、図示しないネットワークインタフェースを介して所定のサーバからダウンロード取得することにより記憶装置５２にインストールされるものであっても良い。
【００８４】
また記憶装置５２には、電子書籍作成装置１から取得する電子書籍データ１６が記憶されるようになっている。
【００８５】
ＣＰＵ５０は、外部インタフェース５１を介して電子書籍データ１６を入力すると、その電子書籍データ１６を記憶装置５２へ保存する。このとき、ＣＰＵ５０は、電子書籍取得部６１および電子書籍保存処理部６２として機能する。これらの処理部は、例えば電子書籍表示装置４におけるオペレーティングシステム（ＯＳ）によって実現される機能である。電子書籍取得部６１は、例えば外部インタフェース５１に接続されるケーブル９を介して電子書籍作成装置１とデータ通信を行い、電子書籍作成装置１によって作成された電子書籍データ１６を取得する。そして電子書籍保存処理部６２は、電子書籍取得部６１によって取得された電子書籍データ１６を、ユーザの指示に基づいて記憶装置５２に保存する。このような処理が繰り返し行われることにより、記憶装置５２には、電子書籍データ１６が蓄積されていく。
【００８６】
その後、ユーザが電子書籍の表示指示を行うと、ＣＰＵ５０は、記憶装置５２から電子書籍表示プログラム５８を読み出して実行する。ＣＰＵ５０は、電子書籍表示プログラム５８を実行することにより、表示制御部６３として機能する。尚、ＣＰＵ５０が電子書籍表示プログラム５８を実行することにより、表示制御部６３だけではなく、上述した電子書籍取得部６１および電子書籍保存処理部６２としての機能が動作するように構成しても良い。
【００８７】
表示制御部６３は、記憶装置５２に記憶されている電子書籍データ１６を読み出し、表示部５に電子書籍として表示する処理部である。この表示制御部６３は、電子書籍データ１６に含まれる複数のテキストＴＸＴ１〜ＴＸＴ４を、その表示順序に従って順次読み出し、表示部５に表示する。このとき、表示制御部６３は、表示位置定義データＤＰを参照し、表示部５への表示対象となるテキストにオブジェクトが関連付けられている場合、少なくともそのテキストに含まれるキーワードの部分が表示部５に表示されている間は、そのテキストに関連付けられたオブジェクトをテキストと共に表示部５へ表示する。またオブジェクトをテキストと共に表示する際には、表示位置定義データＤＰにおいて定義された表示位置に基づき、オブジェクトをテキストに対して適切な位置に表示する。
【００８８】
また表示制御部６３は、電子書籍を表示しているとき、操作部５３がユーザによる指示操作を検知すると、その指示操作に基づいて電子書籍の表示状態を更新する。例えば、ユーザが表示部５に表示しているテキストのフォントサイズを拡大する指示操作を行った場合、表示制御部６３は、その指示操作に基づき、テキストのフォントサイズを拡大して表示部５に表示する。そして拡大表示後においても、少なくともそのテキストに含まれるキーワードの部分が依然として表示部５に表示される状態となる場合、表示制御部６３は、そのテキストに関連するオブジェクトを適切な位置に表示した状態を継続させる。
【００８９】
また例えば、ユーザが表示部５に表示しているテキストをスクロールさせる指示操作を行った場合、表示制御部６３は、その指示操作に基づき、テキストの表示部分を変更して表示部５に表示する。そして変更表示後においても、少なくともそのテキストに含まれるキーワードの部分が依然として表示部５に表示される状態となる場合、表示制御部６３は、そのテキストに関連するオブジェクトを適切な位置に表示した状態を継続させる。
【００９０】
尚、キーワードの部分に限らず、オブジェクトが関連付けられたテキストの少なくとも１部が表示部５に表示されている間は、そのオブジェクトをテキストと共に表示部５に表示しておくようにしても良い。
【００９１】
以下、このような表示制御部６３によって行われる具体的な処理手順について説明する。図１６および図１７は、電子書籍表示装置４において電子書籍を表示するために行われる処理手順の一例を示すフローチャートである。まず、ＣＰＵ５０は、ユーザによる電子書籍の表示指示を検知すると、電子書籍表示プログラム５８を読み出して実行する。これにより、ＣＰＵ５０において表示制御部６３が機能し、図１６および図１７に示す処理の実行が開始される。
【００９２】
表示制御部６３は、この処理を開始すると、まずユーザによる指示操作に基づいて表示対象となる電子書籍データ１６を特定する（ステップＳ１０１）。そして特定した電子書籍データ１６から表示位置定義データＤＰを読み出し（ステップＳ１０２）、テキストの表示順序に従って表示部５への表示対象となるテキストを特定する（ステップＳ１０３）。表示制御部６３は、表示対象として特定したテキストに対応するテキストデータを読み出し（ステップＳ１０４）、その表示フォントサイズを決定する（ステップＳ１０５）。ユーザがフォントサイズについての指示を行っていない場合、この表示フォントサイズは予め電子書籍表示プログラム５８に設定されているデフォルト値が決定される。そして表示制御部６３は、決定されたフォントサイズと、表示部５の画面サイズとに基づき、表示対象となるテキストの少なくとも１部を画面内に配置するためのレイアウトを決定する（ステップＳ１０６）。
【００９３】
次に表示制御部６３は、表示位置定義データＤＰを参照し、表示対象として特定されたテキストに関連するオブジェクトが登録されているか否かを判断する（ステップＳ１０７）。その結果、関連するオブジェクトが登録されている場合（ステップＳ１０７でＹＥＳ）、表示制御部６３は、ステップＳ１０６で決定されたテキストのレイアウトに基づき、そのテキストに含まれるキーワードが表示部５に表示されるか否かを判断する（ステップＳ１０８）。そしてキーワードが表示される場合（ステップＳ１０８でＹＥＳ）、表示制御部６３は、そのテキストに関連付けられたオブジェクトに対応するオブジェクトデータを読み出し（ステップＳ１０９）、表示位置定義データＤＰに基づいてそのオブジェクトの表示位置を特定する（ステップＳ１１０）。
【００９４】
表示制御部６３は、ステップＳ１１０で特定した表示位置にオブジェクトを配置することが可能であるか否かを判断する（ステップＳ１１１）。例えば、テキストのキーワードが画面内の上部に位置しており、オブジェクトの表示位置が「下」として定義されている場合、キーワードの位置よりも画面下部にオブジェクトを表示するための十分な表示スペースがあれば、オブジェクトを配置可能であると判断する。このようにオブジェクトを配置可能である場合（ステップＳ１１１でＹＥＳ）、表示制御部６３は、その特定した表示位置にオブジェクトを配置する（ステップＳ１１２）。このとき、必要に応じてテキストのレイアウトを若干変更するようにしても良い。
【００９５】
これに対し、例えば、テキストのキーワードが画面内の最上部に位置しており、オブジェクトの表示位置が「上」として定義されている場合、キーワードの位置よりも画面上部にはオブジェクトを表示するための十分な表示スペースが存在しないことがある。このような場合、表示制御部６３は、オブジェクトを配置不可能であると判断する。そしてオブジェクトが配置不可能である場合（ステップＳ１１１でＮＯ）、表示制御部６３は、表示位置定義データＤＰを参照し、そのオブジェクトの表示位置を変更することが可能であるか否かを判断する（ステップＳ１１３）。
【００９６】
その結果、オブジェクトの表示位置が変更可能である場合（ステップＳ１１３でＹＥＳ）、表示制御部６３は、ステップＳ１１０で特定した表示位置を変更してオブジェクトを配置する（ステップＳ１１４）。例えば、上述したように、テキストのキーワードが画面内の最上部に位置しており、オブジェクトの表示位置が「上」として定義されている場合であって、キーワードの位置よりも画面上部に十分な表示スペースが存在しない場合、表示制御部６３は、キーワードよりも下の位置にオブジェクトを表示させるようにしてオブジェクトを配置する。このとき、必要に応じてテキストのレイアウトを若干変更するようにしても良い。
【００９７】
またオブジェクトの表示位置が変更不可である場合（ステップＳ１１３でＮＯ）、表示制御部６３は、テキストの表示位置を変更し、その変更したテキストに対して特定した表示位置となるようにオブジェクトを配置する（ステップＳ１１５）。例えば、上述したように、テキストのキーワードが画面内の最上部に位置しており、オブジェクトの表示位置が「上」として定義されている場合であって、キーワードの位置よりも画面上部に十分な表示スペースが存在しない場合、表示制御部６３は、テキストのキーワードが画面内おいて下部に位置するようにテキストの表示位置を変更し、それによってキーワードよりも上の部分に十分な表示スペースを確保する。そして、キーワードよりも上に確保された表示スペースにオブジェクトを配置する。
【００９８】
尚、表示対象となるテキストに関連するオブジェクトが登録されていない場合（ステップＳ１０７）、上述したステップＳ１０８〜Ｓ１１５の処理は行われない。また、表示対象として特定されたテキストが表示部５に表示される場合において、そのテキストに含まれるキーワードが表示部５に表示されないとき（ステップＳ１０８でＮＯ）、上述したステップＳ１０９〜Ｓ１１５の処理は行わない。そして図１７のフローチャートに進む。
【００９９】
次に表示制御部６３は、上記のような配置結果に基づいて表示画面を生成する（ステップＳ１１６）。上記ステップＳ１１２，Ｓ１１４，Ｓ１１５の処理が行われた場合、ここで生成される表示画面には、テキストと、それに互いに関連するオブジェクトとの双方が含まれる。そして表示制御部６３は、生成した表示画面を表示部５に出力することにより、表示部５において電子書籍としての表示を行う（ステップＳ１１７）。
【０１００】
その後、表示制御部６３は、ユーザによって表示更新操作が行われたか否かを判断し（ステップＳ１１８）、表示更新操作が行われた場合（ステップＳ１１８でＹＥＳ）、フォントサイズの変更であるか否かを判断する（ステップＳ１１９）。フォントサイズの変更である場合（ステップＳ１１９でＹＥＳ）、表示制御部６３は、テキストのフォントサイズを変更して表示画面を更新する（ステップＳ１２０）。このステップＳ１２０の処理では、上記ステップＳ１０５〜Ｓ１１７の処理が再び行われる。そのため、フォントサイズを変更した状態でオブジェクトが適切な位置に再配置された表示画面が表示部５に表示されるようになる。尚、ユーザによる表示更新操作がフォントサイズの変更でなかった場合は（ステップＳ１１９でＮＯ）、ステップＳ１２０の処理は行われない。
【０１０１】
次に表示制御部６３は、ユーザによる表示更新操作が表示対象テキストを変更する操作であるか否かを判断する（ステップＳ１２１）。この表示対象テキストを変更する操作には、テキストデータそのものを他のデータに変更する操作だけでなく、テキストをスクロールさせて表示部分を変更する操作も含まれる。そして表示対象テキストを変更する操作である場合（ステップＳ１２１でＹＥＳ）、表示制御部６３は、表示対象となるテキストデータを変更して表示画面を更新する（ステップＳ１２２）。このステップＳ１２２の処理では、上記ステップＳ１０３〜Ｓ１１７の処理が再び行われる。そのため、表示対象となるテキストデータを変更した状態で再びオブジェクトが適切な位置に配置された表示画面が表示部５に表示されるようになる。尚、ユーザによる表示更新操作が表示対テキストの変更でなかった場合は（ステップＳ１２１でＮＯ）、ステップＳ１２２の処理は行われない。
【０１０２】
ユーザによる表示更新操作が検知されなかった場合（ステップＳ１１８でＮＯ）、上記ステップＳ１１９〜Ｓ１２２をスキップし、表示制御部６３は、表示終了操作が行われたか否かを判断する（ステップＳ１２３）。そして表示終了操作が行われていない場合は（ステップＳ１２３でＮＯ）、ステップＳ１１８に戻り、ユーザによる表示更新操作に基づいて表示画面を更新する処理を繰り返す。一方、ユーザによる表示終了操作が行われた場合（ステップＳ１２３でＹＥＳ）、表示制御部６３は、現在の表示状態を電子書籍データ１６に関連付けて記憶装置５２に保存する（ステップＳ１２４）。これにより、次回以降、同じ電子書籍データ１６を読み出して電子書籍としての表示を行う際には、前回の表示状態を引き継いで表示することができるようになる。
【０１０３】
次に図１８〜図２６を参照して、電子書籍表示装置４における電子書籍の表示態様について説明する。尚、図１８〜図２６の各図面では、図３の画像データＤＡに基づいて生成された電子書籍データ１６に基づいて表示される電子書籍の表示態様を示している。
【０１０４】
まず図１８は、電子書籍データ１６に含まれる３つのテキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４の全体が表示部５に表示された場合を例示している。図１８の例では、各テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のフォントサイズが比較的小さいため、表示部５には元の画像データＤＡとほぼ同様の表示態様で電子書籍を表示することができる。そのため、オブジェクトＯＢＪ１は、各テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対して適切な表示位置に表示される。この状態で、例えばユーザがフォントサイズを拡大させる操作を行った場合、表示部５における電子書籍の表示態様は、図１８に示す状態から図１９に示す状態へと変化する。
【０１０５】
図１９の例では、テキストＴＸＴ２の全体と、テキストＴＸＴ３の一部とが表示された状態となっている。テキストＴＸＴ２には、オブジェクトＯＢＪ１と同一のキーワード７１が含まれている。またテキストＴＸＴ２のキーワード７１の近傍には、オブジェクトＯＢＪ１の位置を示す「下」という文字７２が含まれている。そのため、テキストＴＸＴ２に対するオブジェクトＯＢＪ１の表示位置は、少なくともキーワード７１よりも下方の位置に限定される。したがって、図１９に示すような表示画面が生成される過程では、少なくともキーワード７１よりも「下」の位置にオブジェクトＯＢＪ１が配置される。尚、テキストＴＸＴ２が表示されている状態では、少なくともキーワード７１が表示されている間は、そのテキストＴＸＴ２よりも「下」の位置にオブジェクトＯＢＪ１を配置するようにしても良い。
【０１０６】
またテキストＴＸＴ３にもオブジェクトＯＢＪ１と同一のキーワード７３が含まれている。しかし、このキーワード７３の近傍には、オブジェクトＯＢＪ１の位置を示す文字や文字列は含まれていない。そのため、テキストＴＸＴ３に対するオブジェクトＯＢＪ１の表示位置は、元の画像データＤＡに基づいて「下」および「左」として定義されるものの、その定義された表示位置は変更可能なものとなる。したがって、図１９に示すような表示画面が生成される過程では、キーワード７３の下方にオブジェクトＯＢＪ１を表示するための十分な表示スペースがないため、キーワード７３の「左」の位置にオブジェクトＯＢＪ１が配置される。尚、テキストＴＸＴ３が表示されている状態では、少なくともキーワード７３が表示されている間は、オブジェクトＯＢＪ１を画面内のいずれかの位置に配置するようにしても良い。
【０１０７】
図１９に示す表示態様では、オブジェクトＯＢＪ１は各テキストＴＸＴ２，ＴＸＴ３に対して適切な位置に表示されているため、ユーザは各テキストＴＸＴ２，ＴＸＴ３を読み進めるとき、オブジェクトＯＢＪ１の内容を同時に且つ違和感なく確認しながら読み進めることができるようになる。
【０１０８】
そしてテキストＴＸＴ２，ＴＸＴ３を読み進めて行くことに伴い、ユーザがテキストをスクロールさせる指示操作を行うと、表示部５における電子書籍の表示態様は、図１９に示す状態から図２０に示す状態へと変化する。
【０１０９】
図２０の例では、テキストＴＸＴ３の一部だけが表示された状態となっている。また図２０の例では、テキストＴＸＴ３に含まれるキーワード７３が依然として表示された状態となっている。そのため、テキストＴＸＴ３に関連するオブジェクトＯＢＪ１もまた、表示された状態となる。図２０に示す状態において、ユーザが更にテキストを１行分スクロールさせる指示操作を行うと、表示部５における電子書籍の表示態様は、例えば図２０に示す状態から図２１又は図２２に示す状態へと変化する。
【０１１０】
図２１および図２２の例では、図２０と同様に、テキストＴＸＴ３の一部だけが表示された状態となっているが、テキストＴＸＴ３に含まれるキーワード７３は表示されなくなっている。このような場合、図２１に示す表示態様のように、テキストＴＸＴ３に関連するオブジェクトＯＢＪ１を表示しないようにしても良い。ただし、図２１に示す表示態様には限られない。すなわち、図２２に示す表示態様のように、テキストＴＸＴ３の少なくとも一部が表示されている状態であれば、そのテキストＴＸＴ３に関連するオブジェクトＯＢＪ１を表示し続けるようにしても良い。
【０１１１】
そしてユーザが更にテキストをスクロールさせる指示操作を行っていくと、表示部５にはテキストＴＸＴ３に続くテキストＴＸＴ４が表示されるようになる。このとき、表示部５における電子書籍の表示態様は、例えば図２３に示す状態となる。
【０１１２】
図２３の例では、テキストＴＸＴ３の一部と、テキストＴＸＴ４の一部とが表示された状態となっている。また表示部５に表示されるテキストＴＸＴ４には、オブジェクトＯＢＪ１と同一のキーワード７４が含まれている。またテキストＴＸＴ４におけるキーワード７４の近傍には、オブジェクトＯＢＪ１の位置を示す「上」という文字７５が含まれている。そのため、テキストＴＸＴ４に対するオブジェクトＯＢＪ１の表示位置は、少なくともキーワード７４よりも上方の位置に限定される。したがって、図２３に示すような表示画面が生成される過程では、少なくともキーワード７４よりも「上」の位置にオブジェクトＯＢＪ１が配置される。尚、テキストＴＸＴ４が表示されている状態では、少なくともキーワード７４が表示されている間は、そのテキストＴＸＴ４よりも「上」の位置にオブジェクトＯＢＪ１を配置するようにしても良い。
【０１１３】
このように図２３に示す表示態様では、オブジェクトＯＢＪ１はテキストＴＸＴ４に対して適切な位置に表示されるため、ユーザはテキストＴＸＴ４を読み進めるとき、オブジェクトＯＢＪ１の内容を同時に且つ違和感なく確認しながら読み進めることができるようになる。
【０１１４】
図２３に示す状態において、ユーザがテキストをスクロールさせる指示操作を行っていくと、表示部５における電子書籍の表示態様は、例えば図２３に示す状態から図２４に示す状態へと変化していく。
【０１１５】
図２４では、テキストＴＸＴ４が画面上部に向かってスクロールしていくときでも、オブジェクトＯＢＪ１が常にテキストＴＸＴ４の上部に表示される画面例を示している。そのため、図２３に示す状態でユーザがテキストをスクロールさせていくと、オブジェクトＯＢＪ１の下側でテキストＴＸＴ４が先頭部分から順に表示されなくなっていく。そして図２４に示すような表示態様となる。
【０１１６】
図２４の例では、テキストＴＸＴ４の一部だけが表示された状態となっており、テキストＴＸＴ４に含まれるキーワード７４が依然として表示されたままである。そのため、テキストＴＸＴ４に関連するオブジェクトＯＢＪ１は、テキストＴＸＴ４の上部に表示された状態を継続している。この図２４に示す状態において、ユーザが更にテキストを１行分スクロールさせる指示操作を行うと、テキストＴＸＴ２４に含まれるキーワード７４は表示されなくなる。この場合、表示部５における電子書籍の表示態様は、例えば図２４に示す状態から図２５又は図２６に示す状態へと変化する。
【０１１７】
図２５の例では、テキストＴＸＴ４に含まれるキーワード７４が表示されなくなることに伴い、テキストＴＸＴ４に関連するオブジェクトＯＢＪ１が表示されなくなる表示態様を示している。一方、図２６の例では、テキストＴＸＴ４に含まれるキーワード７４が表示されなくなっても、テキストＴＸＴ４の一部が表示されているので、そのテキストＴＸＴ４に関連するオブジェクトＯＢＪ１を表示し続ける表示態様を示している。尚、図２６の例においても、テキストＴＸＴ４に関連するオブジェクトＯＢＪ１は、テキストＴＸＴ４の上部に表示された状態となる。
【０１１８】
このように、電子書籍表示装置４は、電子書籍データ１６に基づいて電子書籍の表示を行う際、表示対象となるテキストに、図、表、グラフ、写真、画像などを含むオブジェクトが関連付けられていれば、そのテキストと共に、それに関連付けられたオブジェクトを表示部５に表示する。このとき、表示部５に表示されるテキストに、オブジェクトの位置を指し示す記述が含まれていれば、その記述に適合した位置にオブジェクトが表示される。このような表示処理は、ユーザによって表示部５に表示されているテキストのフォントサイズが変更されたり、或いは、テキストの表示部分が変更されたりすると、その都度実行される。したがって、電子書籍表示装置４は、ユーザによる指示操作に基づいて電子書籍としての表示状態を更新する場合であっても、その都度、互いに関連するテキストとオブジェクトとを表示部５に表示することができると共に、オブジェクトを常にテキストに対して適切な位置に表示することができるようになっている。
【０１１９】
尚、上記においては、電子書籍表示装置４における表示処理について説明したが、これと同様の処理は電子書籍作成装置１においても行われる。すなわち、図２に示したように、電子書籍作成装置１において表示制御部２５が機能し、その表示制御部２５が記憶装置１３から電子書籍データ１６を読み出して操作パネル３の表示部３ａに電子書籍としての表示を行う際にも上記と同様の表示処理が行われる。したがって、本実施形態の電子書籍作成装置１は、単に電子書籍データ１６を作成するだけでなく、作成した電子書籍データ１６に基づいて電子書籍の表示を行うことも可能な構成となっている。
【０１２０】
以上のように、本実施形態における電子書籍作成装置１は、テキストとテキスト以外のオブジェクトとが含まれる画像データＤＡを取得し、その画像データＤＡに基づいてテキストとテキスト以外のオブジェクトとが混在する電子書籍データ１６を作成する構成である。この電子書籍作成装置１は、まず、画像データＤＡを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する。そしてオブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードがテキスト領域のテキストに含まれる場合、当該テキスト領域と、オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域においてキーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対するオブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データＤＰを生成する。そしてテキスト領域に含まれるテキストのテキストデータと、オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、表示位置定義データＤＰとを組み合わせた電子書籍データ１６を生成する。
【０１２１】
したがって、このような電子書籍作成装置１によって作成される電子書籍データ１６を利用すれば、電子書籍に含まれるテキストを表示するとき、それに関連するオブジェクトをテキストと共に表示することができるようになり、しかもオブジェウトをテキストに対して適切な位置に表示することができるようになる。そのため、仮にユーザが電子書籍に含まれるテキストの拡大表示を行ったとしても、互いに関連するテキストとオブジェクトとを常に同時に表示させておくことができ、しかもそれらをユーザにとって理解し易い適切な位置に表示させることができる。それ故、ユーザは、テキストの拡大表示後に、テキストと画像とを交互に表示させるような手動操作を行っていく必要がなくなるので、利便性が良く、電子書籍の内容を効率良く理解していくことが可能になる。つまり、電子書籍作成装置１によって作成される電子書籍データ１６は、電子書籍の内容を理解し易く表示できるようにしたデータ構造となっている。
【０１２２】
また本実施形態における電子書籍作成装置１は、電子書籍データ１６を作成する際、画像データＤＡからテキスト領域を段落ごとに抽出する。そしてオブジェクト領域に含まれるオブジェクトを、段落ごとに抽出される複数のテキスト領域のうちの少なくとも１つに関連付けるようにしている。そのため、このようにして作成される電子書籍データ１６に基づいて電子書籍の表示を行う際には、電子書籍に含まれる複数の段落のうち、実際に表示される段落に関連したオブジェクトだけを表示することができるようになる。言い換えると、表示される段落には関連しないオブジェクトを表示しないようにできる。
【０１２３】
また本実施形態における電子書籍作成装置１は、表示位置定義データＤＰを生成する際、テキスト領域のテキストにおいてオブジェクトと同一のキーワードが含まれている位置を示すキーワード位置情報４５を表示位置定義データＤＰに含める構成である。そのため、そのため、このようにして作成される電子書籍データ１６に基づいて電子書籍の表示を行う際には、テキスト領域のテキストのうち、少なくともキーワードが含まれている位置が表示されるときに、そのテキストに関連するオブジェクトを表示することができるようになる。
【０１２４】
また本実施形態における電子書籍作成装置１は、テキスト領域に対するオブジェクト領域の表示位置を特定してその表示位置を定義する際、その表示位置を変更可能であるか否かを判断し、その判断結果に基づいて表示位置の変更の可否を示す情報を表示位置定義データＤＰに付加する構成である。特にこのとき、電子書籍作成装置１は、テキスト領域のテキストにおいてオブジェクトと同一のキーワードが含まれる位置の近傍に、オブジェクトの位置を指し示すような文字や文字列がある場合にはオブジェクト領域の表示位置を変更不可とし、そのような文字や文字列がない場合にはオブジェクト領域の表示位置を変更可能とする。そのため、オブジェクトに関連するテキストにおいてオブジェクトの位置に関する記述がある場合には、そのような記述に従ってオブジェクトを適切な位置に表示することができる。また、テキスト中に、オブジェクトの位置に関する記述がない場合には、そのオブジェクトを十分な表示スペースのある位置に表示することができる。
【０１２５】
一方、本実施形態における電子書籍表示装置４は、上記のような電子書籍作成装置１から電子書籍データ１６を取得して電子書籍を表示する。この電子書籍表示装置４は、電子書籍データ１６に含まれるテキストを表示部５に表示するとき、表示位置定義データＤＰを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを表示位置定義データＤＰにおいて定義されている表示位置に従って表示部５に表示する構成である。
【０１２６】
したがって、このような電子書籍表示装置４によって電子書籍が表示されると、互いに関連するテキストとオブジェクトとが同時に表示されるようになり、しかもテキストに対してオブジェクトが適切な位置に表示されるようになる。また、仮にユーザが電子書籍に含まれるテキストの拡大表示を行ったとしても、互いに関連するテキストとオブジェクトとを常に同時に表示させておくことができ、しかもそれらをユーザにとって理解し易い適切な位置に表示させることができる。そのため、ユーザは、例えばテキストを拡大表示させた状態でテキストを読み進めていく場合であっても、テキストと画像とを交互に表示させるような手動操作を行っていく必要がなくなる。つまり、電子書籍表示装置４は、テキストとそれに関するオブジェクトとを同時に確認しながら読み進めることができる表示態様で電子書籍を表示するため、ユーザにとっては電子書籍の内容を効率良く理解することができるようになる。
【０１２７】
以上、本発明に関する一実施形態について説明したが、本発明は上述した内容のものに限られるものではなく、種々の変形例が適用可能である。
【０１２８】
例えば、上記実施形態における電子書籍作成装置１は、複合機などで構成される場合を説明したが、複合機以外の装置で構成されるものであっても構わない。例えば、一般的なパーソナルコンピュータ（ＰＣ）などのコンピュータに、上述した電子書籍作成プログラム１５をインストールしておき、その電子書籍作成プログラム１５を実行させることによって、コンピュータを上述した電子書籍作成装置１として機能させるものであっても構わない。
【０１２９】
また上記実施形態における電子書籍表示装置４は、タブレット端末や携帯電話機などで構成される場合を説明したが、それらの装置以外で構成されるものであっても構わない。例えば、一般的なパーソナルコンピュータ（ＰＣ）などのコンピュータに、上述した電子書籍表示プログラム５８をインストールしておき、その電子書籍表示プログラム５８を実行させることによって、コンピュータを上述した電子書籍表示装置４として機能させるものであっても構わない。
【０１３０】
また上記実施形態においては、説明を簡単にするため、１つのテキスト領域に１つのオブジェクトが関連付けられる場合を例示した。しかし、これに限られるものではなく、１つのテキスト領域に複数のオブジェクトが関連付けられるようにしても構わない。
【符号の説明】
【０１３１】
１ 電子書籍作成装置
３ａ 表示部（表示手段）
４ 電子書籍表示装置
５ 表示部（表示手段）
１５ 電子書籍作成プログラム
１６ 電子書籍データ
２１ 画像データ取得部（画像データ取得手段）
２２ 領域分離部（領域分離手段）
２３ 定義データ生成部（定義データ生成手段）
２４ 電子書籍データ生成部（電子書籍データ生成手段）
２５ 表示制御部（表示制御手段）
５２ 記憶装置（記憶手段）
５３ 操作部（操作入力手段）
５８ 電子書籍表示プログラム
６３ 表示制御部（表示制御手段）
ＤＰ 表示位置定義データ
【技術分野】
【０００１】
本発明は、電子書籍作成装置、電子書籍表示装置、電子書籍作成方法、電子書籍表示方法およびプログラムに関する。
【背景技術】
【０００２】
従来、電子化された文書の構成を容易に把握することができるようにするため、文書から図、表、テキストを画像として抽出し、それらの抽出した画像を元のページに関連付けることにより、文書構造を表示するようにしたものが知られている（例えば特許文献１）。このような従来技術によれば、文書から個別に抽出される画像が元のページに関連付けられるため、ページのプレビュー画面を表示するときにはそれらの各画像を元のページのエリアに表示することができる。そして、このような表示態様により、電子化された文書の構成を容易に把握できるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６４０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年はタブレット端末の普及に伴い、文書や書籍がいわゆる電子書籍として提供されるようになってきている。タブレット端末は、そのような電子書籍を取り込んで表示することができる。このようなタブレット端末は一般に液晶表示画面を備えているが、その表示画面のサイズは様々である。そのため、タブレット端末の表示画面に電子書籍の１ページ分をそのまま表示させてしまうと、電子書籍に含まれるテキストが小さくなって読みづらくなってしまうことがある。そのため、タブレット端末は、ユーザによるフォントサイズの拡大操作に基づき、電子書籍に含まれるテキストのフォントサイズを大きくして表示することができる。
【０００５】
しかし、電子書籍の１ページ内にテキストと図やグラフなどの画像とが混在している場合、テキストのフォントサイズを大きくして表示してしまうと、そのページに含まれる画像が表示対象領域からはみ出してしまい、表示画面に表示されなくなるケースが発生する。このようなケースが発生すると、例えば拡大表示したテキストが表示画面に表示されなくなった画像の内容などを説明するものである場合、ユーザはテキストと画像とを交互に表示画面に表示させながらテキストを読み進めていく必要がある。そのため、紙媒体などに記録された一般書籍と比較すると、電子書籍の場合は、その記載内容を理解するためにユーザが煩わしい操作を繰り返し行わなければならないことがあり、その記載内容を効率的に理解していくことが難しいという問題がある。
【０００６】
加えて、電子書籍の場合は、テキストを拡大表示したときに、テキストと画像との位置関係がずれてしまうケースが発生し得るため、テキストに含まれる説明がどの画像についての説明であるかが判り難くなってしまうこともある。このような場合にも、電子書籍に記載された内容を効率良く理解していくことが難しいという問題が生じ得る。
【０００７】
上記のような問題は、電子書籍のデータ構造に起因している。すなわち、特許文献１のように、文書から図、表、テキストなどを抽出しても、それら抽出した画像を単に元のページの位置に関連付けるだけでは、電子書籍に含まれるテキストの拡大表示を行うと、そのテキストに関連する図や表などの画像が表示画面の外側に配置されてしまうことになる。したがって、拡大表示されたテキストが、図や表などの画像に関連する内容である場合には、上述したようにユーザが手動操作を行うことによってテキストと画像とを交互に表示画面に表示させながらテキストを読み進めていくことが必要となり、電子書籍の内容を効率良く理解していくことが困難になる。
【０００８】
そこで本発明は、上記問題点を解決するためになされたものであり、電子書籍のデータ構造を改善し、電子書籍の内容を理解し易く表示できるようにデータ構造の電子書籍を作成する電子書籍作成装置、電子書籍作成方法およびプログラムを提供すると共に、その改善されたデータ構造の電子書籍を取得して電子書籍の内容を理解し易い表示態様で表示する電子書籍表示装置、電子書籍表示方法およびプログラムを提供することを、その目的とするものである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１にかかる発明は、テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成装置であって、電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する領域分離手段と、前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成する定義データ生成手段と、前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成する電子書籍データ生成手段と、を備えることを特徴とする構成である。
【００１０】
請求項２にかかる発明は、請求項１に記載の電子書籍作成装置において、前記領域分離手段は、前記画像データ取得手段によって取得される画像データから前記テキスト領域を段落ごとに抽出し、前記定義データ生成手段は、前記オブジェクト領域に含まれるオブジェクトを、前記領域分離手段によって段落ごとに抽出される複数のテキスト領域のうちの少なくとも１つに関連付けることを特徴とする構成である。
【００１１】
請求項３にかかる発明は、請求項１又は２に記載の電子書籍作成装置において、前記定義データ生成手段は、前記表示位置定義データを生成する際、前記テキスト領域のテキストにおいて前記キーワードが含まれている位置を示す位置情報を前記表示位置定義データに含めることを特徴とする構成である。
【００１２】
請求項４にかかる発明は、請求項１乃至３のいずれかに記載の電子書籍作成装置において、前記定義データ生成手段は、前記テキスト領域に対する前記オブジェクト領域の表示位置を特定してその表示位置を定義する際、その表示位置の変更の可否を示す情報を付加して前記表示位置定義データを生成することを特徴とする構成である。
【００１３】
請求項５にかかる発明は、請求項１乃至４のいずれかに記載の電子書籍作成装置において、前記電子書籍データ生成手段によって生成される電子書籍データを記憶する記憶手段と、各種情報を表示する表示手段と、前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、を更に備え、前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１４】
請求項６にかかる発明は、請求項１乃至５のいずれかに記載の電子書籍作成装置から電子書籍データを取得して表示する電子書籍表示装置であって、前記電子書籍作成装置から出力される電子書籍データを記憶する記憶手段と、各種情報を表示する表示手段と、前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、を備え、前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１５】
請求項７にかかる発明は、請求項６に記載の電子書籍表示装置において、電子書籍データに含まれるテキストデータが前記表示手段に表示されている状態でユーザによるテキストデータの表示状態に関する操作を入力する操作入力手段を更に備え、前記表示制御部は、前記操作入力手段に入力されるテキストデータの表示状態に関する変更操作に基づいて前記表示手段に表示するテキストデータの表示状態を変更すると共に、当該テキストデータに関連付けられたオブジェクトデータが存在する場合にはテキストデータの表示状態を変更した後にもそのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１６】
請求項８にかかる発明は、テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成方法であって、(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、を有することを特徴とする構成である。
【００１７】
請求項９にかかる発明は、請求項８に記載の電子書籍作成方法によって作成される電子書籍データを取得して表示する電子書籍表示方法であって、(a) 前記電子書籍作成方法によって作成された電子書籍データを取得して記憶するステップと、(b) 前記ステップ(a)において記憶された電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、を有し、前記ステップ(b)は、電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【００１８】
請求項１０にかかる発明は、テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、を実行させることを特徴とする構成である。
【００１９】
請求項１１にかかる発明は、請求項１０に記載のプログラムを実行することによって作成される電子書籍データを取得して表示するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、(a) 前記電子書籍データを取得して記憶するステップと、(b) 前記ステップ(a)において記憶された前記電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、を実行させ、前記ステップ(b)において前記電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする構成である。
【発明の効果】
【００２０】
本発明によれば、電子書籍の内容を理解し易く表示できるようなデータ構造の電子書籍データを作成することができるようになる。また、そのような電子書籍データを用いて電子書籍を表示するときには、電子書籍の内容を理解し易い表示態様で表示することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態における電子書籍作成装置と電子書籍表示装置とを含む電子書籍処理システムの一構成例を示す図である。
【図２】電子書籍作成装置におけるハードウェア構成および機能構成の一例を示すブロック図である。
【図３】画像データ取得部によって取得される画像データの一例を示す図である。
【図４】図３に示した画像データに基づいて分離される領域を示す図である。
【図５】領域分離部によるテキスト抽出の概念を示す図である。
【図６】領域分離部によるオブジェクト抽出の概念を示す図である。
【図７】定義データ生成部における詳細な機能構成の一例を示すブロック図である。
【図８】データ生成部によって生成される表示位置定義データの一例を示す図である。
【図９】電子書籍データ生成部によって生成される電子書籍データの概念を示す図である。
【図１０】電子書籍作成装置において電子書籍データを作成するために行われる処理手順のメインルーチンに関する一例を示すフローチャートである。
【図１１】領域分離処理の詳細な処理手順の一例を示すフローチャートである。
【図１２】定義データ生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１３】定義データ生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１４】電子書籍データ生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１５】電子書籍表示装置におけるハードウェア構成および機能構成の一例を示すブロック図である。
【図１６】電子書籍表示装置において電子書籍を表示するために行われる処理手順の一例を示すフローチャートである。
【図１７】電子書籍表示装置において電子書籍を表示するために行われる処理手順の一例を示すフローチャートである。
【図１８】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図１９】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２０】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２１】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２２】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２３】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２４】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２５】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【図２６】電子書籍表示装置における電子書籍の表示態様の一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。
【００２３】
図１は、本実施形態における電子書籍処理システムの一構成例を示す図である。この電子書籍処理システムは、複合機などで構成される電子書籍作成装置１と、タブレット端末や携帯電話機などで構成される電子書籍表示装置４とを有している。
【００２４】
電子書籍作成装置１は、電子書籍表示装置４で表示するための電子書籍データを作成する装置である。この電子書籍作成装置１は、装置本体の上部に原稿ＰＭを読み取って画像データを生成するスキャナ部２が設けられると共に、装置本体の正面側にユーザインタフェースとなる操作パネル３が設けられた構成である。ユーザは操作パネル３を操作することによって電子書籍作成機能の起動を指示すると、電子書籍作成装置１は、電子書籍データを作成するための処理を開始する。すなわち、電子書籍作成装置１は、例えばスキャナ部２にセットされる原稿ＰＭの読み取り動作を行い、それによって得られる画像データに基づいて電子書籍データを作成する。ただし、電子書籍の作成対象となる画像データは、必ずしもスキャナ部２によって得られるデータに限られない。例えば、電子書籍作成装置１は、図示しないＬＡＮ（Local Area Network）などのネットワークに接続されており、そのネットワークを介してコンピュータから送信されるドキュメントデータなどの画像データを受信可能である。それ故、電子書籍作成装置１は、ネットワークを介して受信する画像データに基づいて電子書籍データを作成することも可能である。
【００２５】
電子書籍表示装置４は、カラー液晶表示パネルなどで構成された各種情報を表示するための表示部５を有している。この電子書籍表示装置４は、電子書籍作成装置１によって作成される電子書籍データを取得して内部保存する。そしてユーザによる電子書籍の表示指示を検知すると、電子書籍表示装置４は、内部保存している電子書籍データを読み出し、表示部５に電子書籍として表示する。
【００２６】
上記のような電子書籍作成装置１と電子書籍表示装置４とは、例えばケーブル９を介して相互にデータ通信可能に接続されている。そのため、電子書籍作成装置１は、電子書籍データの作成が完了すると、ケーブル９を介してその電子書籍データを電子書籍表示装置４に送信することが可能である。ただし、電子書籍作成装置１と電子書籍表示装置４との間での電子書籍データの受け渡しは、必ずしもケーブル９を介したものに限られない。例えば、電子書籍作成装置１は、電子書籍表示装置４に対し、無線通信で電子書籍データを送出するものであっても良いし、またＵＳＢメモリなどの可搬型記録媒体を介して電子書籍データを出力するものであっても良い。
【００２７】
図２は、電子書籍作成装置１におけるハードウェア構成および機能構成の一例を示すブロック図である。図２に示すように、電子書籍作成装置１は、そのハードウェア構成として、上述したスキャナ部２および操作パネル３の他、ＣＰＵ１０と、ネットワークインタフェース１１と、外部インタフェース１２と、記憶装置１３とを備えている。
【００２８】
また操作パネル３は、表示部３ａと、操作部３ｂとを備えている。表示部３ａは、カラー液晶表示パネルなどで構成され、ユーザに対して各種情報を表示する。操作部３ｂは、表示部３ａの画面上に配置されたタッチパネルキーと、表示部３ａの画面周囲に配置された押しボタンキーとを備えて構成され、ユーザによって行われる各種の指示操作を検知する。
【００２９】
ＣＰＵ１０は、電子書籍作成装置１に予めインストールされている各種プログラムを実行することにより各種の演算処理を行うと共に、各部の動作を制御するものである。ネットワークインタフェース１１は、電子書籍作成装置１をＬＡＮなどのネットワークに接続するためのものである。外部インタフェース１２は、電子書籍表示装置４に対して電子書籍データを出力するインタフェースであり、例えば上述したケーブル９を接続するためのインタフェースである。記憶装置１３は、例えばハードディスクドライブ（ＨＤＤ）などの不揮発性の記憶手段である。
【００３０】
記憶装置１３には、図２に示すように予め電子書籍作成プログラム１５がインストールされている。この電子書籍作成プログラム１５は、ユーザによって電子書籍作成機能の起動が指示された場合にＣＰＵ１０によって読み出され、実行される。尚、このような電子書籍作成プログラム１５は、ＵＳＢメモリやＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体から記憶装置１３にインストールされるものであっても良いし、ネットワークインタフェース１１を介して所定のサーバからダウンロード取得することにより記憶装置１３にインストールされるものであっても良い。
【００３１】
また記憶装置１３には、電子書籍作成装置１において作成される電子書籍データ１６を記憶することができるようになっている。
【００３２】
ＣＰＵ１０は、ユーザによる電子書籍作成機能の起動指示に基づいて電子書籍作成プログラム１５を実行すると、図２に示すように、画像データ取得部２１、領域分離部２２、定義データ生成部２３、電子書籍データ生成部２４および表示制御部２５として機能する。ＣＰＵ１０は、これら各部を動作させることにより、電子書籍データの作成対象となる画像データを取得し、その取得した画像データに基づいて電子書籍データを作成する。特に本実施形態では、電子書籍データの作成対象となる画像データが、テキストと、テキスト以外の図、表、グラフ、写真、画像などのオブジェクトとを含むものである場合、互いに関連するテキストとオブジェクトとを同時に、且つ、適切な位置に表示できるようにするためのデータ構造を有する電子書籍データを作成する。以下、各部の処理について詳しく説明する。
【００３３】
画像データ取得部２１は、電子書籍データの作成対象となる画像データを取得する処理部である。この画像データ取得部２１は、スキャナ部２又はネットワークインタフェース２２から画像データを取得する。そして画像データ取得部２１は、電子書籍データの作成対象として取得する画像データを領域分離部２２に出力する。
【００３４】
図３は、画像データ取得部２１によって取得される画像データＤＡの一例を示す図である。図３に示す画像データＤＡは、１ページ内に、テキストと、テキスト以外のオブジェクトとの双方を含むデータとなっている。尚、図例では、説明を簡単にするため、画像データＤＡが１ページだけで構成される場合を例示しているが、これに限らず、複数ページから成る画像データであっても構わない。以下においては、図３に示す画像データＤＡに基づいて電子書籍データ１６を作成する場合の処理について説明する。
【００３５】
領域分離部２２は、画像データ取得部２１によって取得される画像データＤＡを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する処理部である。
【００３６】
例えば画像データＤＡがＪＰＥＧやビットマップなどのデータである場合、領域分離部２２は、画像データＤＡの全体を細分化し、それぞれのブロックについて濃度分布や空間周波数などの画像特性を判別していく。そして所定の画像特性を有する複数のブロックが一つに纏まって形成するブロック群をテキスト領域として抽出すると共に、テキストとは異なる画像特性を有する複数のブロックが一つに纏まって形成するロック群をオブジェクト領域として抽出する。ただし、ＪＰＥＧやビットマップなどの画像データＤＡからテキスト領域とオブジェクト領域とを抽出する手法は、上記手法の他にも様々な手法があるため、上記手法に代えてその他の公知の手法を採用するようにしても良い。尚、画像データＤＡにおいてページ周縁などに含まれる余白部分は、テキスト領域およびオブジェクト領域のいずれにも抽出されない。
【００３７】
また画像データＤＡがネットワークインタフェース１１を介して取得される場合、その画像データＤＡがドキュメントデータであることもある。そのような場合、領域分離部２２は、上述したように画像特性を解析する必要はなく、ドキュメントデータや、そのドキュメントデータに付加された情報を解析することにより、テキスト領域と、オブジェクト領域とを抽出することができる。
【００３８】
上記のようにして画像データＤＡから分離されるテキスト領域は、複数の段落を含むことがある。そこで、領域分離部２２は、上記のようにして画像データＤＡから分離したテキスト領域を更に解析することにより、複数の段落を含むテキスト領域を段落ごとに区切った複数のテキスト領域に分離する。その結果、画像データＤＡは、１段落単位で抽出されるテキスト領域と、オブジェクト領域とに分離される。
【００３９】
図４は、図３に示した画像データＤＡに基づいて分離される領域を示す図である。領域分離部２２が、図３に示した画像データＤＡに基づいて上記のような処理を行うことにより、図４に示すように、テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４と、オブジェクト領域ＲＢ１とが抽出される。
【００４０】
領域分離部２２は、上記のようにして画像データＤＡをテキスト領域とオブジェクト領域とに分離すると、次に、段落毎に抽出したテキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４のそれぞれに含まれるテキストをテキストデータに変換する。すなわち、領域分離部２２は、ＯＣＲ（Optical Character Reader）などの文字認識機能を有しており、テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４のそれぞれに含まれる文字を１文字ずつ認識してテキストデータを生成する。これにより、各テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４からテキストだけが抽出されることになる。ただし、元の画像データＤＡがドキュメントデータである場合は、そのドキュメントデータからテキストデータを抽出することが可能である。この場合、領域分離部２２は、各テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４に対して文字認識処理を行うことなく、ドキュメントデータから各テキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４に対応するテキストデータを抽出する。
【００４１】
図５は、領域分離部２２によるテキスト抽出の概念を示す図である。図５に示すように、領域分離部２２は、画像データＤＡから抽出された複数のテキスト領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４のそれぞれに含まれるテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４を抽出し、それらテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対応するテキストデータを生成する。このとき、各テキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対応するテキストデータは、改行を含まないデータとして生成される。
【００４２】
また領域分離部２２は、画像データＤＡから分離されたオブジェクト領域から図、表、グラフ、写真、画像などを含むオブジェクトを抽出し、そのオブジェクトに関するオブジェクトデータを生成する。図６は、領域分離部２２によるオブジェクト抽出の概念を示す図である。図６に示すように、領域分離部２２は、画像データＤＡから抽出されたオブジェクト領域ＲＢ１に含まれるオブジェクトＯＢＪ１を抽出し、そのオブジェクトＯＢＪ１に対応するオブジェクトデータを生成する。オブジェクトデータは、例えば元の画像データＤＡから切り出されたＪＰＥＧやビットマップなどの画像データとして生成される。
【００４３】
図２に戻り、次に定義データ生成部２３が機能する。定義データ生成部２３は、領域分離部２２によって生成される各種のデータを取得して後述する処理を行うことにより、互いに関連するテキスト領域とオブジェクト領域とを抽出し、それらテキスト領域とオブジェクト領域とを相互に関連付ける。そしてテキスト領域に含まれるテキストに対し、オブジェクト領域に含まれるオブジェクトをどのような位置に表示すれば適切な表示位置となるかを特定し、その特定した表示位置を定義する表示位置定義データＤＰを生成する。以下、このような定義データ生成部２３について詳しく説明する。
【００４４】
図７は、定義データ生成部２３の詳細な機能構成の一例を示すブロック図である。図７に示すように、定義データ生成部２３は、オブジェクト解析部３１、テキスト解析部３２、表示位置特定部３３およびデータ生成部３４を備えており、これらが順次機能する。
【００４５】
オブジェクト解析部３１は、領域分離部２２によって抽出されたオブジェクトＯＢＪ１を解析することにより、そのオブジェクトＯＢＪ１に含まれるキーワードを抽出する処理部である。すなわち、このオブジェクト解析部３１は、文字抽出部３１ａと、キーワード抽出部３１ｂとを備えている。文字抽出部３１ａは、領域分離部２２によって抽出されたオブジェクトＯＢＪ１に対応するオブジェクトデータに対してＯＣＲなどの文字認識処理を行い、オブジェクトＯＢＪ１に含まれている文字又は文字列を抽出する。キーワード抽出部３１ｂは、文字抽出部３１ａによって抽出される文字又は文字列の中に、キーワード登録情報１８に予め登録されているキーワードが含まれているか否かを判断し、キーワード登録情報１８に予め登録されているキーワードに一致する文字又は文字列をキーワードとして抽出する。
【００４６】
キーワード登録情報１８は、例えば「図」、「表」、「グラフ」、「写真」、「画像」といったキーワードが予め登録された情報である。このようなキーワード登録情報１８は、電子書籍作成プログラム１５に予め組み込まれた情報である。そのため、キーワード抽出部３１ｂは、電子書籍作成プログラム１５に予め組み込まれたキーワード登録情報１８を取得し、そのキーワード登録情報１８に基づいて、文字抽出部３１ａによって抽出された文字又は文字列からキーワードを抽出する。
【００４７】
またキーワード抽出部３１ｂは、文字抽出部３１ａによって抽出された文字又は文字列からキーワードを抽出するとき、そのキーワードに数字やアルファベットが付されていれば、それら数字やアルファベットを含む文字列をキーワードとして抽出する。つまり、文字抽出部３１ａによって抽出された文字列が「図１」や「表Ａ」などの文字列である場合、キーワード抽出部３１ｂは、「図１」や「表Ａ」などの数字やアルファベットを含む文字列全体をキーワードとして抽出する。
【００４８】
例えば図６に示したようなオブジェクトＯＢＪ１が領域分離部２２によって抽出されている場合、オブジェクト解析部３１は、上記のような処理を行うことにより、オブジェクトＯＢＪ１からキーワードとして「図１」を抽出する。
【００４９】
テキスト解析部３２は、領域分離部２２によって抽出されたテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４を解析することにより、オブジェクト解析部３１によってオブジェクトＯＢＪ１から抽出されたキーワードと同一のキーワードを含むテキストを特定する処理部である。すなわち、このテキスト解析部３２は、キーワード抽出部３２ａを備えている。このキーワード抽出部３２ａは、領域分離部２２によって抽出されたテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対応するテキストデータを入力し、それらのテキストデータにオブジェクトＯＢＪ１から抽出されたキーワードと同一のキーワードが含まれるか否かを判断する。そしてオブジェクトＯＢＪ１から抽出されたキーワードと同一のキーワードを含むテキストを全て特定する。
【００５０】
例えば図５に示したようなテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４が領域分離部２２によって抽出されている場合、テキスト解析部３２は、上記のような処理を行うことにより、オブジェクトＯＢＪ１から抽出されたキーワード「図１」と同一のキーワードを含むテキストとして、テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４を特定する。
【００５１】
表示位置特定部３３は、上述したオブジェクト解析部３１およびテキスト解析部３２の処理結果に基づき、同一のキーワードを含むテキストとオブジェクトとを相互に関連付けると共に、そのテキストが表示される場合にそれに関連付けられたオブジェクトを表示する表示位置を特定する処理部である。すなわち、オブジェクトと同一のキーワードを含むテキストは、そのオブジェクトの内容を説明するための文章などを含むコンテンツである。そのため、互いに同一のキーワードを含むテキストとオブジェクトは、その内容が互いに関連している。このようなことから、表示位置特定部３３は、まず同一のキーワードを含むテキストとオブジェクトとを相互に関連付ける。図５および図６に示す例の場合、表示位置特定部３３は、テキストＴＸＴ２とオブジェクトＯＢＪ１、テキストＴＸＴ３とオブジェクトＯＢＪ１、および、テキストＴＸＴ４とオブジェクトＯＢＪ１のそれぞれを相互に関連付ける。そして表示位置特定部３３は、テキストに関連付けられたオブジェクトの表示位置を特定する処理を行う。
【００５２】
表示位置特定部３３は、テキストに関連付けられたオブジェクトの表示位置を特定する際、そのオブジェクトが関連付けられたテキストのテキストデータを取得し、そのテキストにおいてキーワードが含まれている位置を特定する。そして、そのキーワードが含まれている位置の前後近傍のテキストに、「上」、「下」、「右」、「左」、「前」、「先」、「後」などの位置や方向を示す文字又は文字列が含まれているか否かを判断する。その結果、位置や方向を示す文字又は文字列が含まれている場合、表示位置特定部３３は、その文字又は文字列に基づいてオブジェクトの表示位置を特定する。
【００５３】
図５に示した例の場合、テキストＴＸＴ２において、キーワード「図１」の２文字前に「下」という文字が含まれている。そのため、表示位置特定部３３は、テキストＴＸＴ２が表示されるときのオブジェクトＯＢＪ１の表示位置として「下」を特定する。またテキストＴＸＴ４には、キーワード「図１」の１文字前に「上」という文字が含まれている。そのため、表示位置特定部３３は、テキストＴＸＴ４が表示されるときのオブジェクトＯＢＪ１の表示位置として「上」を特定する。
【００５４】
これに対し、図５の例においてテキストＴＸＴ３には、キーワード「図１」が含まれる位置の近傍に位置や方向を示す文字などが含まれていない。このような場合、表示位置特定部３３は、元の画像データＤＡにおいてオブジェクトＯＢＪ１がテキストＴＸＴ３に対してどのような位置に表示されているかを判別し、その判別した位置を表示位置として特定する。図５の例の場合、オブジェクトＯＢＪ１は、テキストＴＸＴ３が抽出されたテキスト領域ＲＡ３に対して左下の位置に表示されているため、表示位置特定部３３は、オブジェクトＯＢＪ１の表示位置として「下」と「左」の２つの位置を特定する。
【００５５】
データ生成部３４は、上述した表示位置特定部３３による処理結果に基づき、テキストに関連付けられたオブジェクトの表示位置を定義した表示位置定義データＤＰを生成する処理部である。
【００５６】
図８は、データ生成部３４によって生成される表示位置定義データＤＰの一例を示す図である。この表示位置定義データＤＰは、テキスト情報４１と、関連オブジェクト情報４２と、オブジェクト表示位置情報４３と、表示位置変更情報４４と、キーワード位置情報４５とが、領域分離部２２によって抽出されたテキストＴＸＴ１〜ＴＸＴ４ごとに登録されるテーブルデータとなっている。
【００５７】
テキスト情報４１は、テキストＴＸＴ１〜ＴＸＴ４のそれぞれに対応するテキストデータを特定するための情報である。データ生成部３４は、領域分離部２２によって段落ごとに抽出される複数のテキストＴＸＴ１〜ＴＸＴ４のそれぞれをテキスト情報４１に登録する。このとき、データ生成部３４は、元の画像データＤＡにおいて各テキストＴＸＴ１〜ＴＸＴ４が出現する順番に従ってテキスト情報４１に登録する。これにより、テキスト情報４１には、複数のテキストＴＸＴ１〜ＴＸＴ４の表示順序が定義される。
【００５８】
関連オブジェクト情報４２は、表示位置特定部３３によってテキストＴＸＴ１〜ＴＸＴ４のそれぞれに関連付けられたオブジェクトに対応するオブジェクトデータを特定するための情報である。データ生成部３４は、表示位置特定部３３によって各テキストＴＸＴ１〜ＴＸＴ４に関連付けられたオブジェクトがある場合、その関連付けられたオブジェクトを特定するための情報を登録する。図例では、テキストＴＸＴ１に関連付けられたオブジェクトがないため、テキストＴＸＴ１に対応する関連オブジェクト情報４２は空欄となっている。また、上述したようにテキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれにはオブジェクトＯＢＪ１が関連付けられるため、テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれに対応する関連オブジェクト情報４２には、オブジェクトＯＢＪ１に対応するオブジェクトデータを特定するための情報が登録される。
【００５９】
オブジェクト表示位置情報４３は、テキストに関連するオブジェクトが登録される場合にそのオブジェクトの表示位置を定義する情報である。データ生成部３４は、表示位置特定部３３によって各テキストＴＸＴ１〜ＴＸＴ４に関連付けられたオブジェクトがある場合、表示位置特定部３３によって特定されるオブジェクトの表示位置を示す情報を登録する。図例では、テキストＴＸＴ１に関連付けられたオブジェクトがないため、テキストＴＸＴ１に対応するオブジェクト表示位置情報４３は空欄となっている。また、上述したようにテキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれにはオブジェクトＯＢＪ１が関連付けられるため、これらに対応するオブジェクト表示位置情報４３にはオブジェクトＯＢＪ１の表示位置が登録される。すなわち、テキストＴＸＴ２については「下」が登録され、テキストＴＸＴ３については「下」と「左」とが登録され、テキストＴＸＴ４については「上」が登録される。
【００６０】
表示位置変更情報４４は、オブジェクト表示位置情報４３に定義された表示位置を変更することが可能であるか否かを示す情報である。例えば、オブジェクトに関連付けられたテキストに、そのオブジェクトが表示されている位置や方向を示す文字又は文字列が含まれている場合、それとは異なる位置や方向にオブジェクトを表示してしまうと、テキストにおける説明文との不整合が生じ、理解し難い電子書籍となってしまう。これを防止するため、データ生成部３４は、表示位置特定部３３によって特定された表示位置がテキストから抽出された文字又は文字列に基づいて特定されたものである場合、表示位置変更不可として表示位置変更情報４４に登録する。
【００６１】
これに対し、オブジェクトに関連付けられたテキストに、そのオブジェクトが表示されている位置や方向を示す文字又は文字列が含まれていない場合には、どのような位置にオブジェクトを表示しても、テキストにおける説明文との不整合は生じない。そのため、データ生成部３４は、表示位置特定部３３によって特定された表示位置が元の画像データＤＡにおける位置に基づいて特定されたものである場合、表示位置変更可として表示位置変更情報４４に登録する。
【００６２】
図８の例では、テキストＴＸＴ２，ＴＸＴ４に対応するオブジェクトＯＢＪ１の表示位置が、それらテキストＴＸＴ２，ＴＸＴ４に含まれる文字又は文字列に基づいて特定されたものであるため、これらの対応する表示位置変更情報４４には「不可」が登録されている。また、テキストＴＸＴ３に対応するオブジェクトＯＢＪ１の表示位置が元の画像データＤＡにおける位置に基づいて特定されたものであるため、テキストＴＸＴ３に対応する表示位置変更情報４４には「可」が登録されている。
【００６３】
キーワード位置情報４５は、テキストに関連するオブジェクトが登録される場合にそのテキストにおいてオブジェクトと同一のキーワードが含まれている位置を特定する情報である。データ生成部３４は、表示位置特定部３３において特定されるキーワードの位置に基づいてキーワード位置情報４５を登録する。このキーワード位置情報４５は、例えば各テキストＴＸＴ２〜ＴＸＴ４においてオブジェクトＯＢＪ１と同一のキーワードが先頭から何文字目に含まれているかを示す情報となる。
【００６４】
したがって、このような表示位置定義データＤＰを参照すれば、特定のテキストを表示する際、そのテキストに関連するオブジェウトの有無を瞬時に判断することができるので、テキストの表示に伴ってそれに関連するオブジェクトを同時に表示することができるようになる。また、テキストとオブジェクトとを同時に表示するときには、オブジェクトがテキストに対して不適切な位置に表示されてしまうことを防止することができるようになる。
【００６５】
データ生成部３４が上記のようにして図８に示すような表示位置定義データＤＰを生成すると、定義データ生成部２３における処理が完了する。そして次に、図２に示す電子書籍データ生成部２４が機能する。
【００６６】
電子書籍データ生成部２４は、上記のような処理結果に基づき電子書籍データ１６を生成する処理部である。図９は、電子書籍データ生成部２４によって生成される電子書籍データ１６の概念を示す図である。図９に示すように、電子書籍データ生成部２４は、領域分離部２２によって段落ごとに抽出される複数のテキストＴＸＴ１，ＴＸＴ２，ＴＸＴ３，ＴＸＴ４のそれぞれに対応するテキストデータと、オブジェクトＯＢＪ１に対応するオブジェクトデータと、定義データ生成部２３によって生成される表示位置定義データＤＰとを組み合わせた電子書籍データ１６を生成する。
【００６７】
電子書籍データ生成部２４は、電子書籍データ１６を生成すると、その電子書籍データ１６を外部インタフェース１２に出力する。これにより、電子書籍データ１６は、電子書籍作成装置１から電子書籍表示装置４へ出力される。また電子書籍データ生成部２４は、生成した電子書籍データ１６を記憶装置１３に保存しておくこともできる。
【００６８】
表示制御部２５は、電子書籍データ生成部２４によって記憶装置１３に保存された電子書籍データ１６を読み出し、操作パネル３に設けられた表示部３ａに対して電子書籍としての表示を行う処理部である。つまり、電子書籍作成装置１は、画像データＤＡに基づいて電子書籍データ１６を作成するだけでなく、その作成した電子書籍データ１６に基づいて電子書籍の表示を行うことができる構成となっている。尚、表示制御部２５によって行われる具体的な表示処理は、後述する電子書籍表示装置４における表示処理と同様であるため、ここでは詳細な説明を省略する。
【００６９】
図１０乃至図１４は、電子書籍作成装置１において電子書籍データ１６を作成するために行われる処理手順の一例を示すフローチャートである。図１０は、電子書籍データ１６を作成するためのメインルーチンとなるフローチャートである。尚、この処理は、ＣＰＵ１０が電子書籍作成プログラム１５を実行することによって行われるものである。
【００７０】
図１０に示すように、電子書籍作成装置１は、この処理を開始すると、まず電子書籍データの作成対象となる画像データＤＡを取得する（ステップＳ１）。その後、電子書籍作成装置１は、領域分離処理（ステップＳ２）、定義データ生成処理（ステップＳ３）、および、電子書籍データ生成処理（ステップＳ４）を順次実行することにより、電子書籍データ１６を生成する。そして電子書籍作成装置１は、最終的に、生成した電子書籍データ１６を電子書籍表示装置４に出力するための電子書籍データ出力処理（ステップＳ５）を行う。これにより、全ての処理が終了する。
【００７１】
図１１は、領域分離処理（ステップＳ２）の詳細な処理手順の一例を示すフローチャートである。電子書籍作成装置１は、この処理を開始すると、画像データＤＡに対して領域判別処理を行い（ステップＳ１０）、画像データＤＡに含まれる画像成分を、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する（ステップＳ１１）。そしてさらに、電子書籍作成装置１は、テキストのみから成るテキスト領域に複数の段落が含まれていれば、そのテキスト領域を段落ごとに分離する（ステップＳ１２）。これにより、段落ごとに複数のテキスト領域が抽出される。
【００７２】
そして電子書籍作成装置１は、段落ごとに抽出された各テキスト領域に含まれるテキストをテキストデータに変換する（ステップＳ１３）。このとき、必要に応じて文字認識処理などを行うことにより、各テキスト領域からテキストだけを抽出し、テキストデータに変換する。また電子書籍作成装置１は、オブジェクト領域からオブジェクトデータを抽出する（ステップＳ１４）。電子書籍作成装置１は、上記のようにして画像データＤＡから分離した各データを図示しないメモリ又は記憶装置１３に対して一時的に保存する（ステップＳ１５）。以上で、領域分離処理（ステップＳ２）が終了する。
【００７３】
図１２および図１３は、定義データ生成処理（ステップＳ３）の詳細な処理手順の一例を示すフローチャートである。電子書籍作成装置１は、この処理を開始すると、領域分離処理（ステップＳ２）において抽出されたオブジェクト領域を１つ選択する（ステップＳ２０）。そしてその選択したオブジェクト領域から文字又は文字列を抽出するための文字抽出処理を行う（ステップＳ２１）。次に、電子書籍作成装置１は、キーワード登録情報１８を読み出し（ステップＳ２２）、オブジェクト領域から抽出した文字又は文字列に、キーワード登録情報１８に登録されているキーワードが含まれるか否かを判断する（ステップＳ２３）。その結果、キーワードが含まれている場合（ステップＳ２３でＹＥＳ）、電子書籍作成装置１は、そのキーワードとオブジェクトとを相互に関連付けた情報を、図示しないメモリ又は記憶装置１３に対して一時的に保存する（ステップＳ２４）。尚、オブジェクト領域にキーワードが含まれていない場合は（ステップＳ２３でＮＯ）、ステップＳ２４の処理は行われない。電子書籍作成装置１は、上記ステップＳ２０〜Ｓ２４の処理を領域分離処理（ステップＳ２）において抽出された全てのオブジェクト領域に対して実行する。全てのオブジェクト領域に対する処理が終了すると（ステップＳ２５でＮＯ）、図１３のステップＳ３０に進む。
【００７４】
次に、電子書籍作成装置１は、領域分離処理（ステップＳ２）において抽出された段落ごとのテキスト領域を１つ選択する（ステップＳ３０）。そしてその選択したテキスト領域に対する文字認識処理を行う（ステップＳ３１）。ただし、元の画像データＤＡがドキュメントデータなどである場合、この文字認識処理（ステップＳ３１）は特に行う必要がない。そして電子書籍作成装置１は、選択したテキスト領域が、オブジェクト領域に含まれるキーワードと同一のキーワードを含んでいるか否かを判断する（ステップＳ３２）。
【００７５】
その結果、テキスト領域がオブジェクト領域と同一のキーワードを含んでいる場合（ステップＳ３２でＹＥＳ）、電子書籍作成装置１は、当該テキスト領域と、オブジェクト領域とを相互に関連付ける（ステップＳ３３）。そして、当該テキスト領域において、オブジェクト領域と同一のキーワードが含まれている位置（キーワード位置）を特定し（ステップＳ３４）、そのキーワード位置の近傍にオブジェクトの表示位置を限定する文字や文字列が存在しているか否かを判断する（ステップＳ３５）。
【００７６】
テキスト領域のキーワード位置近傍にオブジェクトの表示位置を限定する文字や文字列がある場合（ステップＳ３５でＹＥＳ）、電子書籍作成装置１は、その文字や文字列に基づいてオブジェクトの表示位置を特定する（ステップＳ３６）。そして、その表示位置は、変更不可であることを設定する（ステップＳ３７）。
【００７７】
これに対し、テキスト領域のキーワード位置近傍にオブジェクトの表示位置を限定する文字や文字列がない場合（ステップＳ３５でＮＯ）、電子書籍作成装置１は、元の画像データＤＡにおけるページ上での位置に基づいて表示位置を特定する（ステップＳ３８）。そして、その表示位置は、変更可能であることを設定する（ステップＳ３９）。
【００７８】
尚、選択したテキスト領域がオブジェクト領域と同一のキーワードを含んでいない場合（ステップＳ３２でＮＯ）、上記ステップＳ３３〜Ｓ３９の処理は行われない。
【００７９】
そして電子書籍作成装置１は、上記ステップＳ３１〜Ｓ３９の処理結果に基づき、選択したテキスト領域に関する情報を、表示位置定義データＤＰに記録する（ステップＳ４０）。電子書籍作成装置１は、上記ステップＳ３０〜Ｓ４０の処理を、領域分離処理（ステップＳ２）によって抽出された全てのテキスト領域に対して実行する。そして全てのテキスト領域に対する処理が終了すると（ステップＳ４１でＮＯ）、定義データ生成処理（ステップＳ３）が終了する。
【００８０】
図１４は、電子書籍データ生成処理（ステップＳ４）の詳細な処理手順の一例を示すフローチャートである。電子書籍作成装置１は、この処理を開始すると、テキスト領域に含まれるテキストデータを全て読み出すと共に（ステップＳ５０）、オブジェクト領域に含まれるオブジェクトデータを全て読み出す（ステップＳ５１）。さらに、定義データ生成処理（ステップＳ３）によって生成される表示位置定義データＤＰを読み出す（ステップＳ５２）。電子書籍作成装置１は、上記ステップＳ５０〜Ｓ５２の処理で読み出したデータを１つに組み合わせて電子書籍データ１６を生成する。以上で、電子書籍データ生成処理（ステップＳ４）が終了する。
【００８１】
次に電子書籍表示装置４について説明する。図１５は、電子書籍表示装置４におけるハードウェア構成および機能構成の一例を示すブロック図である。図１５に示すように、電子書籍表示装置４は、そのハードウェア構成として、上述した表示部５の他、ＣＰＵ５０と、外部インタフェース５１と、記憶装置５２と、操作部５３とを備えている。
【００８２】
ＣＰＵ５０は、電子書籍表示装置４に予めインストールされている各種プログラムを実行することにより各種の演算処理を行うと共に、各部の動作を制御するものである。外部インタフェース５１は、電子書籍作成装置１から出力される電子書籍データ１６を入力するためのインタフェースであり、例えば上述したケーブル９を接続するためのインタフェースである。記憶装置５２は、例えばソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶手段である。操作部５３は、例えば表示部５の表示画面上に配置されるタッチパネルセンサなどによって構成され、ユーザによって行われる各種の指示操作を検知する。
【００８３】
記憶装置５２には、図１５に示すように予め電子書籍表示プログラム５８がインストールされている。この電子書籍表示プログラム５８は、ユーザによる電子書籍の表示指示が検知された場合にＣＰＵ５０によって読み出され、実行される。尚、このような電子書籍表示プログラム５８は、ＵＳＢメモリやＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体から記憶装置５２にインストールされるものであっても良いし、図示しないネットワークインタフェースを介して所定のサーバからダウンロード取得することにより記憶装置５２にインストールされるものであっても良い。
【００８４】
また記憶装置５２には、電子書籍作成装置１から取得する電子書籍データ１６が記憶されるようになっている。
【００８５】
ＣＰＵ５０は、外部インタフェース５１を介して電子書籍データ１６を入力すると、その電子書籍データ１６を記憶装置５２へ保存する。このとき、ＣＰＵ５０は、電子書籍取得部６１および電子書籍保存処理部６２として機能する。これらの処理部は、例えば電子書籍表示装置４におけるオペレーティングシステム（ＯＳ）によって実現される機能である。電子書籍取得部６１は、例えば外部インタフェース５１に接続されるケーブル９を介して電子書籍作成装置１とデータ通信を行い、電子書籍作成装置１によって作成された電子書籍データ１６を取得する。そして電子書籍保存処理部６２は、電子書籍取得部６１によって取得された電子書籍データ１６を、ユーザの指示に基づいて記憶装置５２に保存する。このような処理が繰り返し行われることにより、記憶装置５２には、電子書籍データ１６が蓄積されていく。
【００８６】
その後、ユーザが電子書籍の表示指示を行うと、ＣＰＵ５０は、記憶装置５２から電子書籍表示プログラム５８を読み出して実行する。ＣＰＵ５０は、電子書籍表示プログラム５８を実行することにより、表示制御部６３として機能する。尚、ＣＰＵ５０が電子書籍表示プログラム５８を実行することにより、表示制御部６３だけではなく、上述した電子書籍取得部６１および電子書籍保存処理部６２としての機能が動作するように構成しても良い。
【００８７】
表示制御部６３は、記憶装置５２に記憶されている電子書籍データ１６を読み出し、表示部５に電子書籍として表示する処理部である。この表示制御部６３は、電子書籍データ１６に含まれる複数のテキストＴＸＴ１〜ＴＸＴ４を、その表示順序に従って順次読み出し、表示部５に表示する。このとき、表示制御部６３は、表示位置定義データＤＰを参照し、表示部５への表示対象となるテキストにオブジェクトが関連付けられている場合、少なくともそのテキストに含まれるキーワードの部分が表示部５に表示されている間は、そのテキストに関連付けられたオブジェクトをテキストと共に表示部５へ表示する。またオブジェクトをテキストと共に表示する際には、表示位置定義データＤＰにおいて定義された表示位置に基づき、オブジェクトをテキストに対して適切な位置に表示する。
【００８８】
また表示制御部６３は、電子書籍を表示しているとき、操作部５３がユーザによる指示操作を検知すると、その指示操作に基づいて電子書籍の表示状態を更新する。例えば、ユーザが表示部５に表示しているテキストのフォントサイズを拡大する指示操作を行った場合、表示制御部６３は、その指示操作に基づき、テキストのフォントサイズを拡大して表示部５に表示する。そして拡大表示後においても、少なくともそのテキストに含まれるキーワードの部分が依然として表示部５に表示される状態となる場合、表示制御部６３は、そのテキストに関連するオブジェクトを適切な位置に表示した状態を継続させる。
【００８９】
また例えば、ユーザが表示部５に表示しているテキストをスクロールさせる指示操作を行った場合、表示制御部６３は、その指示操作に基づき、テキストの表示部分を変更して表示部５に表示する。そして変更表示後においても、少なくともそのテキストに含まれるキーワードの部分が依然として表示部５に表示される状態となる場合、表示制御部６３は、そのテキストに関連するオブジェクトを適切な位置に表示した状態を継続させる。
【００９０】
尚、キーワードの部分に限らず、オブジェクトが関連付けられたテキストの少なくとも１部が表示部５に表示されている間は、そのオブジェクトをテキストと共に表示部５に表示しておくようにしても良い。
【００９１】
以下、このような表示制御部６３によって行われる具体的な処理手順について説明する。図１６および図１７は、電子書籍表示装置４において電子書籍を表示するために行われる処理手順の一例を示すフローチャートである。まず、ＣＰＵ５０は、ユーザによる電子書籍の表示指示を検知すると、電子書籍表示プログラム５８を読み出して実行する。これにより、ＣＰＵ５０において表示制御部６３が機能し、図１６および図１７に示す処理の実行が開始される。
【００９２】
表示制御部６３は、この処理を開始すると、まずユーザによる指示操作に基づいて表示対象となる電子書籍データ１６を特定する（ステップＳ１０１）。そして特定した電子書籍データ１６から表示位置定義データＤＰを読み出し（ステップＳ１０２）、テキストの表示順序に従って表示部５への表示対象となるテキストを特定する（ステップＳ１０３）。表示制御部６３は、表示対象として特定したテキストに対応するテキストデータを読み出し（ステップＳ１０４）、その表示フォントサイズを決定する（ステップＳ１０５）。ユーザがフォントサイズについての指示を行っていない場合、この表示フォントサイズは予め電子書籍表示プログラム５８に設定されているデフォルト値が決定される。そして表示制御部６３は、決定されたフォントサイズと、表示部５の画面サイズとに基づき、表示対象となるテキストの少なくとも１部を画面内に配置するためのレイアウトを決定する（ステップＳ１０６）。
【００９３】
次に表示制御部６３は、表示位置定義データＤＰを参照し、表示対象として特定されたテキストに関連するオブジェクトが登録されているか否かを判断する（ステップＳ１０７）。その結果、関連するオブジェクトが登録されている場合（ステップＳ１０７でＹＥＳ）、表示制御部６３は、ステップＳ１０６で決定されたテキストのレイアウトに基づき、そのテキストに含まれるキーワードが表示部５に表示されるか否かを判断する（ステップＳ１０８）。そしてキーワードが表示される場合（ステップＳ１０８でＹＥＳ）、表示制御部６３は、そのテキストに関連付けられたオブジェクトに対応するオブジェクトデータを読み出し（ステップＳ１０９）、表示位置定義データＤＰに基づいてそのオブジェクトの表示位置を特定する（ステップＳ１１０）。
【００９４】
表示制御部６３は、ステップＳ１１０で特定した表示位置にオブジェクトを配置することが可能であるか否かを判断する（ステップＳ１１１）。例えば、テキストのキーワードが画面内の上部に位置しており、オブジェクトの表示位置が「下」として定義されている場合、キーワードの位置よりも画面下部にオブジェクトを表示するための十分な表示スペースがあれば、オブジェクトを配置可能であると判断する。このようにオブジェクトを配置可能である場合（ステップＳ１１１でＹＥＳ）、表示制御部６３は、その特定した表示位置にオブジェクトを配置する（ステップＳ１１２）。このとき、必要に応じてテキストのレイアウトを若干変更するようにしても良い。
【００９５】
これに対し、例えば、テキストのキーワードが画面内の最上部に位置しており、オブジェクトの表示位置が「上」として定義されている場合、キーワードの位置よりも画面上部にはオブジェクトを表示するための十分な表示スペースが存在しないことがある。このような場合、表示制御部６３は、オブジェクトを配置不可能であると判断する。そしてオブジェクトが配置不可能である場合（ステップＳ１１１でＮＯ）、表示制御部６３は、表示位置定義データＤＰを参照し、そのオブジェクトの表示位置を変更することが可能であるか否かを判断する（ステップＳ１１３）。
【００９６】
その結果、オブジェクトの表示位置が変更可能である場合（ステップＳ１１３でＹＥＳ）、表示制御部６３は、ステップＳ１１０で特定した表示位置を変更してオブジェクトを配置する（ステップＳ１１４）。例えば、上述したように、テキストのキーワードが画面内の最上部に位置しており、オブジェクトの表示位置が「上」として定義されている場合であって、キーワードの位置よりも画面上部に十分な表示スペースが存在しない場合、表示制御部６３は、キーワードよりも下の位置にオブジェクトを表示させるようにしてオブジェクトを配置する。このとき、必要に応じてテキストのレイアウトを若干変更するようにしても良い。
【００９７】
またオブジェクトの表示位置が変更不可である場合（ステップＳ１１３でＮＯ）、表示制御部６３は、テキストの表示位置を変更し、その変更したテキストに対して特定した表示位置となるようにオブジェクトを配置する（ステップＳ１１５）。例えば、上述したように、テキストのキーワードが画面内の最上部に位置しており、オブジェクトの表示位置が「上」として定義されている場合であって、キーワードの位置よりも画面上部に十分な表示スペースが存在しない場合、表示制御部６３は、テキストのキーワードが画面内おいて下部に位置するようにテキストの表示位置を変更し、それによってキーワードよりも上の部分に十分な表示スペースを確保する。そして、キーワードよりも上に確保された表示スペースにオブジェクトを配置する。
【００９８】
尚、表示対象となるテキストに関連するオブジェクトが登録されていない場合（ステップＳ１０７）、上述したステップＳ１０８〜Ｓ１１５の処理は行われない。また、表示対象として特定されたテキストが表示部５に表示される場合において、そのテキストに含まれるキーワードが表示部５に表示されないとき（ステップＳ１０８でＮＯ）、上述したステップＳ１０９〜Ｓ１１５の処理は行わない。そして図１７のフローチャートに進む。
【００９９】
次に表示制御部６３は、上記のような配置結果に基づいて表示画面を生成する（ステップＳ１１６）。上記ステップＳ１１２，Ｓ１１４，Ｓ１１５の処理が行われた場合、ここで生成される表示画面には、テキストと、それに互いに関連するオブジェクトとの双方が含まれる。そして表示制御部６３は、生成した表示画面を表示部５に出力することにより、表示部５において電子書籍としての表示を行う（ステップＳ１１７）。
【０１００】
その後、表示制御部６３は、ユーザによって表示更新操作が行われたか否かを判断し（ステップＳ１１８）、表示更新操作が行われた場合（ステップＳ１１８でＹＥＳ）、フォントサイズの変更であるか否かを判断する（ステップＳ１１９）。フォントサイズの変更である場合（ステップＳ１１９でＹＥＳ）、表示制御部６３は、テキストのフォントサイズを変更して表示画面を更新する（ステップＳ１２０）。このステップＳ１２０の処理では、上記ステップＳ１０５〜Ｓ１１７の処理が再び行われる。そのため、フォントサイズを変更した状態でオブジェクトが適切な位置に再配置された表示画面が表示部５に表示されるようになる。尚、ユーザによる表示更新操作がフォントサイズの変更でなかった場合は（ステップＳ１１９でＮＯ）、ステップＳ１２０の処理は行われない。
【０１０１】
次に表示制御部６３は、ユーザによる表示更新操作が表示対象テキストを変更する操作であるか否かを判断する（ステップＳ１２１）。この表示対象テキストを変更する操作には、テキストデータそのものを他のデータに変更する操作だけでなく、テキストをスクロールさせて表示部分を変更する操作も含まれる。そして表示対象テキストを変更する操作である場合（ステップＳ１２１でＹＥＳ）、表示制御部６３は、表示対象となるテキストデータを変更して表示画面を更新する（ステップＳ１２２）。このステップＳ１２２の処理では、上記ステップＳ１０３〜Ｓ１１７の処理が再び行われる。そのため、表示対象となるテキストデータを変更した状態で再びオブジェクトが適切な位置に配置された表示画面が表示部５に表示されるようになる。尚、ユーザによる表示更新操作が表示対テキストの変更でなかった場合は（ステップＳ１２１でＮＯ）、ステップＳ１２２の処理は行われない。
【０１０２】
ユーザによる表示更新操作が検知されなかった場合（ステップＳ１１８でＮＯ）、上記ステップＳ１１９〜Ｓ１２２をスキップし、表示制御部６３は、表示終了操作が行われたか否かを判断する（ステップＳ１２３）。そして表示終了操作が行われていない場合は（ステップＳ１２３でＮＯ）、ステップＳ１１８に戻り、ユーザによる表示更新操作に基づいて表示画面を更新する処理を繰り返す。一方、ユーザによる表示終了操作が行われた場合（ステップＳ１２３でＹＥＳ）、表示制御部６３は、現在の表示状態を電子書籍データ１６に関連付けて記憶装置５２に保存する（ステップＳ１２４）。これにより、次回以降、同じ電子書籍データ１６を読み出して電子書籍としての表示を行う際には、前回の表示状態を引き継いで表示することができるようになる。
【０１０３】
次に図１８〜図２６を参照して、電子書籍表示装置４における電子書籍の表示態様について説明する。尚、図１８〜図２６の各図面では、図３の画像データＤＡに基づいて生成された電子書籍データ１６に基づいて表示される電子書籍の表示態様を示している。
【０１０４】
まず図１８は、電子書籍データ１６に含まれる３つのテキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４の全体が表示部５に表示された場合を例示している。図１８の例では、各テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４のフォントサイズが比較的小さいため、表示部５には元の画像データＤＡとほぼ同様の表示態様で電子書籍を表示することができる。そのため、オブジェクトＯＢＪ１は、各テキストＴＸＴ２，ＴＸＴ３，ＴＸＴ４に対して適切な表示位置に表示される。この状態で、例えばユーザがフォントサイズを拡大させる操作を行った場合、表示部５における電子書籍の表示態様は、図１８に示す状態から図１９に示す状態へと変化する。
【０１０５】
図１９の例では、テキストＴＸＴ２の全体と、テキストＴＸＴ３の一部とが表示された状態となっている。テキストＴＸＴ２には、オブジェクトＯＢＪ１と同一のキーワード７１が含まれている。またテキストＴＸＴ２のキーワード７１の近傍には、オブジェクトＯＢＪ１の位置を示す「下」という文字７２が含まれている。そのため、テキストＴＸＴ２に対するオブジェクトＯＢＪ１の表示位置は、少なくともキーワード７１よりも下方の位置に限定される。したがって、図１９に示すような表示画面が生成される過程では、少なくともキーワード７１よりも「下」の位置にオブジェクトＯＢＪ１が配置される。尚、テキストＴＸＴ２が表示されている状態では、少なくともキーワード７１が表示されている間は、そのテキストＴＸＴ２よりも「下」の位置にオブジェクトＯＢＪ１を配置するようにしても良い。
【０１０６】
またテキストＴＸＴ３にもオブジェクトＯＢＪ１と同一のキーワード７３が含まれている。しかし、このキーワード７３の近傍には、オブジェクトＯＢＪ１の位置を示す文字や文字列は含まれていない。そのため、テキストＴＸＴ３に対するオブジェクトＯＢＪ１の表示位置は、元の画像データＤＡに基づいて「下」および「左」として定義されるものの、その定義された表示位置は変更可能なものとなる。したがって、図１９に示すような表示画面が生成される過程では、キーワード７３の下方にオブジェクトＯＢＪ１を表示するための十分な表示スペースがないため、キーワード７３の「左」の位置にオブジェクトＯＢＪ１が配置される。尚、テキストＴＸＴ３が表示されている状態では、少なくともキーワード７３が表示されている間は、オブジェクトＯＢＪ１を画面内のいずれかの位置に配置するようにしても良い。
【０１０７】
図１９に示す表示態様では、オブジェクトＯＢＪ１は各テキストＴＸＴ２，ＴＸＴ３に対して適切な位置に表示されているため、ユーザは各テキストＴＸＴ２，ＴＸＴ３を読み進めるとき、オブジェクトＯＢＪ１の内容を同時に且つ違和感なく確認しながら読み進めることができるようになる。
【０１０８】
そしてテキストＴＸＴ２，ＴＸＴ３を読み進めて行くことに伴い、ユーザがテキストをスクロールさせる指示操作を行うと、表示部５における電子書籍の表示態様は、図１９に示す状態から図２０に示す状態へと変化する。
【０１０９】
図２０の例では、テキストＴＸＴ３の一部だけが表示された状態となっている。また図２０の例では、テキストＴＸＴ３に含まれるキーワード７３が依然として表示された状態となっている。そのため、テキストＴＸＴ３に関連するオブジェクトＯＢＪ１もまた、表示された状態となる。図２０に示す状態において、ユーザが更にテキストを１行分スクロールさせる指示操作を行うと、表示部５における電子書籍の表示態様は、例えば図２０に示す状態から図２１又は図２２に示す状態へと変化する。
【０１１０】
図２１および図２２の例では、図２０と同様に、テキストＴＸＴ３の一部だけが表示された状態となっているが、テキストＴＸＴ３に含まれるキーワード７３は表示されなくなっている。このような場合、図２１に示す表示態様のように、テキストＴＸＴ３に関連するオブジェクトＯＢＪ１を表示しないようにしても良い。ただし、図２１に示す表示態様には限られない。すなわち、図２２に示す表示態様のように、テキストＴＸＴ３の少なくとも一部が表示されている状態であれば、そのテキストＴＸＴ３に関連するオブジェクトＯＢＪ１を表示し続けるようにしても良い。
【０１１１】
そしてユーザが更にテキストをスクロールさせる指示操作を行っていくと、表示部５にはテキストＴＸＴ３に続くテキストＴＸＴ４が表示されるようになる。このとき、表示部５における電子書籍の表示態様は、例えば図２３に示す状態となる。
【０１１２】
図２３の例では、テキストＴＸＴ３の一部と、テキストＴＸＴ４の一部とが表示された状態となっている。また表示部５に表示されるテキストＴＸＴ４には、オブジェクトＯＢＪ１と同一のキーワード７４が含まれている。またテキストＴＸＴ４におけるキーワード７４の近傍には、オブジェクトＯＢＪ１の位置を示す「上」という文字７５が含まれている。そのため、テキストＴＸＴ４に対するオブジェクトＯＢＪ１の表示位置は、少なくともキーワード７４よりも上方の位置に限定される。したがって、図２３に示すような表示画面が生成される過程では、少なくともキーワード７４よりも「上」の位置にオブジェクトＯＢＪ１が配置される。尚、テキストＴＸＴ４が表示されている状態では、少なくともキーワード７４が表示されている間は、そのテキストＴＸＴ４よりも「上」の位置にオブジェクトＯＢＪ１を配置するようにしても良い。
【０１１３】
このように図２３に示す表示態様では、オブジェクトＯＢＪ１はテキストＴＸＴ４に対して適切な位置に表示されるため、ユーザはテキストＴＸＴ４を読み進めるとき、オブジェクトＯＢＪ１の内容を同時に且つ違和感なく確認しながら読み進めることができるようになる。
【０１１４】
図２３に示す状態において、ユーザがテキストをスクロールさせる指示操作を行っていくと、表示部５における電子書籍の表示態様は、例えば図２３に示す状態から図２４に示す状態へと変化していく。
【０１１５】
図２４では、テキストＴＸＴ４が画面上部に向かってスクロールしていくときでも、オブジェクトＯＢＪ１が常にテキストＴＸＴ４の上部に表示される画面例を示している。そのため、図２３に示す状態でユーザがテキストをスクロールさせていくと、オブジェクトＯＢＪ１の下側でテキストＴＸＴ４が先頭部分から順に表示されなくなっていく。そして図２４に示すような表示態様となる。
【０１１６】
図２４の例では、テキストＴＸＴ４の一部だけが表示された状態となっており、テキストＴＸＴ４に含まれるキーワード７４が依然として表示されたままである。そのため、テキストＴＸＴ４に関連するオブジェクトＯＢＪ１は、テキストＴＸＴ４の上部に表示された状態を継続している。この図２４に示す状態において、ユーザが更にテキストを１行分スクロールさせる指示操作を行うと、テキストＴＸＴ２４に含まれるキーワード７４は表示されなくなる。この場合、表示部５における電子書籍の表示態様は、例えば図２４に示す状態から図２５又は図２６に示す状態へと変化する。
【０１１７】
図２５の例では、テキストＴＸＴ４に含まれるキーワード７４が表示されなくなることに伴い、テキストＴＸＴ４に関連するオブジェクトＯＢＪ１が表示されなくなる表示態様を示している。一方、図２６の例では、テキストＴＸＴ４に含まれるキーワード７４が表示されなくなっても、テキストＴＸＴ４の一部が表示されているので、そのテキストＴＸＴ４に関連するオブジェクトＯＢＪ１を表示し続ける表示態様を示している。尚、図２６の例においても、テキストＴＸＴ４に関連するオブジェクトＯＢＪ１は、テキストＴＸＴ４の上部に表示された状態となる。
【０１１８】
このように、電子書籍表示装置４は、電子書籍データ１６に基づいて電子書籍の表示を行う際、表示対象となるテキストに、図、表、グラフ、写真、画像などを含むオブジェクトが関連付けられていれば、そのテキストと共に、それに関連付けられたオブジェクトを表示部５に表示する。このとき、表示部５に表示されるテキストに、オブジェクトの位置を指し示す記述が含まれていれば、その記述に適合した位置にオブジェクトが表示される。このような表示処理は、ユーザによって表示部５に表示されているテキストのフォントサイズが変更されたり、或いは、テキストの表示部分が変更されたりすると、その都度実行される。したがって、電子書籍表示装置４は、ユーザによる指示操作に基づいて電子書籍としての表示状態を更新する場合であっても、その都度、互いに関連するテキストとオブジェクトとを表示部５に表示することができると共に、オブジェクトを常にテキストに対して適切な位置に表示することができるようになっている。
【０１１９】
尚、上記においては、電子書籍表示装置４における表示処理について説明したが、これと同様の処理は電子書籍作成装置１においても行われる。すなわち、図２に示したように、電子書籍作成装置１において表示制御部２５が機能し、その表示制御部２５が記憶装置１３から電子書籍データ１６を読み出して操作パネル３の表示部３ａに電子書籍としての表示を行う際にも上記と同様の表示処理が行われる。したがって、本実施形態の電子書籍作成装置１は、単に電子書籍データ１６を作成するだけでなく、作成した電子書籍データ１６に基づいて電子書籍の表示を行うことも可能な構成となっている。
【０１２０】
以上のように、本実施形態における電子書籍作成装置１は、テキストとテキスト以外のオブジェクトとが含まれる画像データＤＡを取得し、その画像データＤＡに基づいてテキストとテキスト以外のオブジェクトとが混在する電子書籍データ１６を作成する構成である。この電子書籍作成装置１は、まず、画像データＤＡを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する。そしてオブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードがテキスト領域のテキストに含まれる場合、当該テキスト領域と、オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域においてキーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対するオブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データＤＰを生成する。そしてテキスト領域に含まれるテキストのテキストデータと、オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、表示位置定義データＤＰとを組み合わせた電子書籍データ１６を生成する。
【０１２１】
したがって、このような電子書籍作成装置１によって作成される電子書籍データ１６を利用すれば、電子書籍に含まれるテキストを表示するとき、それに関連するオブジェクトをテキストと共に表示することができるようになり、しかもオブジェウトをテキストに対して適切な位置に表示することができるようになる。そのため、仮にユーザが電子書籍に含まれるテキストの拡大表示を行ったとしても、互いに関連するテキストとオブジェクトとを常に同時に表示させておくことができ、しかもそれらをユーザにとって理解し易い適切な位置に表示させることができる。それ故、ユーザは、テキストの拡大表示後に、テキストと画像とを交互に表示させるような手動操作を行っていく必要がなくなるので、利便性が良く、電子書籍の内容を効率良く理解していくことが可能になる。つまり、電子書籍作成装置１によって作成される電子書籍データ１６は、電子書籍の内容を理解し易く表示できるようにしたデータ構造となっている。
【０１２２】
また本実施形態における電子書籍作成装置１は、電子書籍データ１６を作成する際、画像データＤＡからテキスト領域を段落ごとに抽出する。そしてオブジェクト領域に含まれるオブジェクトを、段落ごとに抽出される複数のテキスト領域のうちの少なくとも１つに関連付けるようにしている。そのため、このようにして作成される電子書籍データ１６に基づいて電子書籍の表示を行う際には、電子書籍に含まれる複数の段落のうち、実際に表示される段落に関連したオブジェクトだけを表示することができるようになる。言い換えると、表示される段落には関連しないオブジェクトを表示しないようにできる。
【０１２３】
また本実施形態における電子書籍作成装置１は、表示位置定義データＤＰを生成する際、テキスト領域のテキストにおいてオブジェクトと同一のキーワードが含まれている位置を示すキーワード位置情報４５を表示位置定義データＤＰに含める構成である。そのため、そのため、このようにして作成される電子書籍データ１６に基づいて電子書籍の表示を行う際には、テキスト領域のテキストのうち、少なくともキーワードが含まれている位置が表示されるときに、そのテキストに関連するオブジェクトを表示することができるようになる。
【０１２４】
また本実施形態における電子書籍作成装置１は、テキスト領域に対するオブジェクト領域の表示位置を特定してその表示位置を定義する際、その表示位置を変更可能であるか否かを判断し、その判断結果に基づいて表示位置の変更の可否を示す情報を表示位置定義データＤＰに付加する構成である。特にこのとき、電子書籍作成装置１は、テキスト領域のテキストにおいてオブジェクトと同一のキーワードが含まれる位置の近傍に、オブジェクトの位置を指し示すような文字や文字列がある場合にはオブジェクト領域の表示位置を変更不可とし、そのような文字や文字列がない場合にはオブジェクト領域の表示位置を変更可能とする。そのため、オブジェクトに関連するテキストにおいてオブジェクトの位置に関する記述がある場合には、そのような記述に従ってオブジェクトを適切な位置に表示することができる。また、テキスト中に、オブジェクトの位置に関する記述がない場合には、そのオブジェクトを十分な表示スペースのある位置に表示することができる。
【０１２５】
一方、本実施形態における電子書籍表示装置４は、上記のような電子書籍作成装置１から電子書籍データ１６を取得して電子書籍を表示する。この電子書籍表示装置４は、電子書籍データ１６に含まれるテキストを表示部５に表示するとき、表示位置定義データＤＰを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを表示位置定義データＤＰにおいて定義されている表示位置に従って表示部５に表示する構成である。
【０１２６】
したがって、このような電子書籍表示装置４によって電子書籍が表示されると、互いに関連するテキストとオブジェクトとが同時に表示されるようになり、しかもテキストに対してオブジェクトが適切な位置に表示されるようになる。また、仮にユーザが電子書籍に含まれるテキストの拡大表示を行ったとしても、互いに関連するテキストとオブジェクトとを常に同時に表示させておくことができ、しかもそれらをユーザにとって理解し易い適切な位置に表示させることができる。そのため、ユーザは、例えばテキストを拡大表示させた状態でテキストを読み進めていく場合であっても、テキストと画像とを交互に表示させるような手動操作を行っていく必要がなくなる。つまり、電子書籍表示装置４は、テキストとそれに関するオブジェクトとを同時に確認しながら読み進めることができる表示態様で電子書籍を表示するため、ユーザにとっては電子書籍の内容を効率良く理解することができるようになる。
【０１２７】
以上、本発明に関する一実施形態について説明したが、本発明は上述した内容のものに限られるものではなく、種々の変形例が適用可能である。
【０１２８】
例えば、上記実施形態における電子書籍作成装置１は、複合機などで構成される場合を説明したが、複合機以外の装置で構成されるものであっても構わない。例えば、一般的なパーソナルコンピュータ（ＰＣ）などのコンピュータに、上述した電子書籍作成プログラム１５をインストールしておき、その電子書籍作成プログラム１５を実行させることによって、コンピュータを上述した電子書籍作成装置１として機能させるものであっても構わない。
【０１２９】
また上記実施形態における電子書籍表示装置４は、タブレット端末や携帯電話機などで構成される場合を説明したが、それらの装置以外で構成されるものであっても構わない。例えば、一般的なパーソナルコンピュータ（ＰＣ）などのコンピュータに、上述した電子書籍表示プログラム５８をインストールしておき、その電子書籍表示プログラム５８を実行させることによって、コンピュータを上述した電子書籍表示装置４として機能させるものであっても構わない。
【０１３０】
また上記実施形態においては、説明を簡単にするため、１つのテキスト領域に１つのオブジェクトが関連付けられる場合を例示した。しかし、これに限られるものではなく、１つのテキスト領域に複数のオブジェクトが関連付けられるようにしても構わない。
【符号の説明】
【０１３１】
１ 電子書籍作成装置
３ａ 表示部（表示手段）
４ 電子書籍表示装置
５ 表示部（表示手段）
１５ 電子書籍作成プログラム
１６ 電子書籍データ
２１ 画像データ取得部（画像データ取得手段）
２２ 領域分離部（領域分離手段）
２３ 定義データ生成部（定義データ生成手段）
２４ 電子書籍データ生成部（電子書籍データ生成手段）
２５ 表示制御部（表示制御手段）
５２ 記憶装置（記憶手段）
５３ 操作部（操作入力手段）
５８ 電子書籍表示プログラム
６３ 表示制御部（表示制御手段）
ＤＰ 表示位置定義データ
【特許請求の範囲】
【請求項１】
テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成装置であって、
電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得する画像データ取得手段と、
前記画像データ取得手段によって取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する領域分離手段と、
前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成する定義データ生成手段と、
前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成する電子書籍データ生成手段と、
を備えることを特徴とする電子書籍作成装置。
【請求項２】
前記領域分離手段は、前記画像データ取得手段によって取得される画像データから前記テキスト領域を段落ごとに抽出し、
前記定義データ生成手段は、前記オブジェクト領域に含まれるオブジェクトを、前記領域分離手段によって段落ごとに抽出される複数のテキスト領域のうちの少なくとも１つに関連付けることを特徴とする請求項１に記載の電子書籍作成装置。
【請求項３】
前記定義データ生成手段は、前記表示位置定義データを生成する際、前記テキスト領域のテキストにおいて前記キーワードが含まれている位置を示す位置情報を前記表示位置定義データに含めることを特徴とする請求項１又は２に記載の電子書籍作成装置。
【請求項４】
前記定義データ生成手段は、前記テキスト領域に対する前記オブジェクト領域の表示位置を特定してその表示位置を定義する際、その表示位置の変更の可否を示す情報を付加して前記表示位置定義データを生成することを特徴とする請求項１乃至３のいずれかに記載の電子書籍作成装置。
【請求項５】
前記電子書籍データ生成手段によって生成される電子書籍データを記憶する記憶手段と、
各種情報を表示する表示手段と、
前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、
を更に備え、
前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする請求項１乃至４のいずれかに記載の電子書籍作成装置。
【請求項６】
請求項１乃至５のいずれかに記載の電子書籍作成装置から電子書籍データを取得して表示する電子書籍表示装置であって、
前記電子書籍作成装置から出力される電子書籍データを記憶する記憶手段と、
各種情報を表示する表示手段と、
前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、
を備え、
前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする電子書籍表示装置。
【請求項７】
電子書籍データに含まれるテキストデータが前記表示手段に表示されている状態でユーザによるテキストデータの表示状態に関する操作を入力する操作入力手段を更に備え、
前記表示制御部は、前記操作入力手段に入力されるテキストデータの表示状態に関する変更操作に基づいて前記表示手段に表示するテキストデータの表示状態を変更すると共に、当該テキストデータに関連付けられたオブジェクトデータが存在する場合にはテキストデータの表示状態を変更した後にもそのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする請求項６に記載の電子書籍表示装置。
【請求項８】
テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成方法であって、
(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、
(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、
(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、
(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、
を有することを特徴とする電子書籍作成方法。
【請求項９】
請求項８に記載の電子書籍作成方法によって作成される電子書籍データを取得して表示する電子書籍表示方法であって、
(a) 前記電子書籍作成方法によって作成された電子書籍データを取得して記憶するステップと、
(b) 前記ステップ(a)において記憶された電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、
を有し、
前記ステップ(b)は、電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする電子書籍表示方法。
【請求項１０】
テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、
(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、
(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、
(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、
(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、
を実行させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを実行することによって作成される電子書籍データを取得して表示するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、
(a) 前記電子書籍データを取得して記憶するステップと、
(b) 前記ステップ(a)において記憶された前記電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、
を実行させ、
前記ステップ(b)において前記電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とするプログラム。
【請求項１】
テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成装置であって、
電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得する画像データ取得手段と、
前記画像データ取得手段によって取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離する領域分離手段と、
前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成する定義データ生成手段と、
前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成する電子書籍データ生成手段と、
を備えることを特徴とする電子書籍作成装置。
【請求項２】
前記領域分離手段は、前記画像データ取得手段によって取得される画像データから前記テキスト領域を段落ごとに抽出し、
前記定義データ生成手段は、前記オブジェクト領域に含まれるオブジェクトを、前記領域分離手段によって段落ごとに抽出される複数のテキスト領域のうちの少なくとも１つに関連付けることを特徴とする請求項１に記載の電子書籍作成装置。
【請求項３】
前記定義データ生成手段は、前記表示位置定義データを生成する際、前記テキスト領域のテキストにおいて前記キーワードが含まれている位置を示す位置情報を前記表示位置定義データに含めることを特徴とする請求項１又は２に記載の電子書籍作成装置。
【請求項４】
前記定義データ生成手段は、前記テキスト領域に対する前記オブジェクト領域の表示位置を特定してその表示位置を定義する際、その表示位置の変更の可否を示す情報を付加して前記表示位置定義データを生成することを特徴とする請求項１乃至３のいずれかに記載の電子書籍作成装置。
【請求項５】
前記電子書籍データ生成手段によって生成される電子書籍データを記憶する記憶手段と、
各種情報を表示する表示手段と、
前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、
を更に備え、
前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする請求項１乃至４のいずれかに記載の電子書籍作成装置。
【請求項６】
請求項１乃至５のいずれかに記載の電子書籍作成装置から電子書籍データを取得して表示する電子書籍表示装置であって、
前記電子書籍作成装置から出力される電子書籍データを記憶する記憶手段と、
各種情報を表示する表示手段と、
前記記憶手段に記憶された電子書籍データを読み出して電子書籍として前記表示手段に表示する表示制御手段と、
を備え、
前記表示制御手段は、前記記憶手段から読み出した電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする電子書籍表示装置。
【請求項７】
電子書籍データに含まれるテキストデータが前記表示手段に表示されている状態でユーザによるテキストデータの表示状態に関する操作を入力する操作入力手段を更に備え、
前記表示制御部は、前記操作入力手段に入力されるテキストデータの表示状態に関する変更操作に基づいて前記表示手段に表示するテキストデータの表示状態を変更すると共に、当該テキストデータに関連付けられたオブジェクトデータが存在する場合にはテキストデータの表示状態を変更した後にもそのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする請求項６に記載の電子書籍表示装置。
【請求項８】
テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成する電子書籍作成方法であって、
(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、
(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、
(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、
(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、
を有することを特徴とする電子書籍作成方法。
【請求項９】
請求項８に記載の電子書籍作成方法によって作成される電子書籍データを取得して表示する電子書籍表示方法であって、
(a) 前記電子書籍作成方法によって作成された電子書籍データを取得して記憶するステップと、
(b) 前記ステップ(a)において記憶された電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、
を有し、
前記ステップ(b)は、電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とする電子書籍表示方法。
【請求項１０】
テキストとテキスト以外のオブジェクトとが混在する電子書籍データを作成するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、
(a) 電子書籍データの作成対象として、テキストとテキスト以外のオブジェクトとが含まれる画像データを取得するステップと、
(b) 前記ステップ(a)において取得される画像データを、テキストのみから成るテキスト領域と、テキスト以外のオブジェクトを含むオブジェクト領域とに分離するステップと、
(c) 前記オブジェクト領域に含まれるオブジェクトからキーワードを抽出し、該キーワードと同一のキーワードが前記テキスト領域のテキストに含まれる場合、当該テキスト領域と、前記オブジェクト領域に含まれるオブジェクトとを相互に関連付けると共に、当該テキスト領域において前記キーワードが含まれる位置とその近傍を文字解析することにより、当該テキスト領域に対する前記オブジェクト領域の表示位置を特定し、その表示位置を定義した表示位置定義データを生成するステップと、
(d) 前記テキスト領域に含まれるテキストのテキストデータと、前記オブジェクト領域に含まれるオブジェクトのオブジェクトデータと、前記表示位置定義データとを組み合わせた電子書籍データを生成するステップと、
を実行させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを実行することによって作成される電子書籍データを取得して表示するための処理をコンピュータに行わせるプログラムであって、前記コンピュータに、
(a) 前記電子書籍データを取得して記憶するステップと、
(b) 前記ステップ(a)において記憶された前記電子書籍データを読み出して電子書籍として所定の表示手段に表示するステップと、
を実行させ、
前記ステップ(b)において前記電子書籍データに含まれるテキストデータを前記表示手段に表示するとき、前記表示位置定義データを参照することによって当該テキストデータに関連付けられたオブジェクトデータが存在するか否かを判別し、当該テキストデータに関連付けられたオブジェクトデータが存在する場合、そのオブジェクトデータを前記表示位置定義データに定義されている表示位置に従って前記表示手段に表示することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−６９００８（Ｐ２０１３−６９００８Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５４７０（Ｐ２０１１−２０５４７０）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]