説明

電子文書閲覧装置および方法

電子書籍を生成する方法であって、電子文書の一ページの一部またはすべてを、電子書籍のページから引き出される、連続して次第に小さくなるグラフィック・テクスチャから成るグラフィック・テクスチャのシーケンスとして表すステップと、三次元グラフィックスハードウェアによる使用に適する第一のミップマップを形成するようにこれらのテクスチャを配列するステップと、当該文書の当該ページの一部またはすべてを表す第一のミップマップから成る電子書籍を出力するステップを備える。一方、これに対応する電子書籍を読む方法は、文書の一ページの一部またはすべてがミップマップにより表される文書を読む方法であって、グラフィック・テクスチャのシーケンスから成るミップマップの少なくとも一部にアクセスするステップと、一つまたは複数のポリゴンから成る3D仮想空間における表面を構成するステップと、電子書籍リーダーのグラフィカル・ディスプレイを基準としたポリゴン表面のスケーリングに対応するミップマップのアクセスされた部分から引き出されたグラフィック・テクスチャを、ポリゴン表面に当てはめるステップと、電子書籍リーダーのグラフィカル・ディスプレイ上に、テクスチャが当てはめられたポリゴン表面を表示することにより、当該文書のページの一部またはすべてを表示するステップと、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子文書閲覧装置および方法に関する。
【背景技術】
【0002】
いわゆる「電子書籍(e−books)」は、電子文書を閲覧するための在来型装置であり、専用のハードウェア(例えばSony PRS−500など)、あるいは、従来からあるハードウェアを適合させて同等の役割を実現するようにするソフトウェア・アプリケーションのいずれかの形をとる。以下、「電子書籍(e−books)」または「電子書籍リーダー(e−book reader)」と記載する場合は、ハードウェアバージョンとソフトウェアバージョンの双方を網羅しているものとする。
【0003】
これまで、電子文書を普及させるためのフォーマットに関し、電子書籍メーカの解決策には合意がほとんど見られなかった。その結果、たくさんのフォーマットが提案され、その多くはhtml/xml(ハイパーテキスト/拡張可能なマークアップ言語)を基礎としている。一方、最も普及しているフォーマットであるアドビ(Adobe)ポータブルドキュメントフォーマット(PDF)は、プリンタ用言語のPostscriptに基づくものである。過去と現在の電子書籍フォーマットの包括的なリストは、以下で参照できる。http://en.wikipedia.org/wiki/Comparison_of_e−book_formats
【0004】
これらのフォーマットにおいては、テキストの記号表現に加え、文書をスキャンして表現したもの(いわゆるラスター形式)もまた利用可能である。最も普及しているスキャンされた文書用のラスター形式は、DjVu(一般的にデジャヴュと呼ばれる)であり、アドビ(Adobe)のPDFもまたその形式である。双方とも似たような方法を使用しており、カラー画像またはグレースケール画像(例えばJPEG2000)に対してはウェーブレット系圧縮手段を採用し、一方、黒白テキストに対しては、図形文字辞書が生成される。これは、非可逆圧縮における、ある文字の選択インタンスを使用してすべての繰り返しインスタンスを置き換えるか、あるいは、可逆圧縮における、繰り返しインスタンスにそれぞれ対応するような選択インスタンスに基づいて差分符号化を使用するか、のいずれかにより生成される。
【0005】
しかしながら、このようなラスター形式を、携帯電話、携帯端末(PDA)あるいは、ソニープレイステーションポータブル(Sony Playstation Portable:登録商標)等の携帯ゲームプラットフォーム等、の電子書籍アプリケーションを実行している手持ち式の電子書籍または携帯装置上で閲覧すると、小型で比較的解像度が低い画面上での閲覧になるので、DjVuやPDF等のスキームは、目に見えるスケーリング・アーチファクト(scaling artifact)に悩まされることになる。逆に、フルスケールで高解像度のクリアな画像を提供するためには、比較的大容量の格納用メモリ、およびまたは携帯装置にダウンロードするための帯域が必要となる。後者のダウンロードのケースではさらに、ユーザーおよびまたはサービスプロバイダにとって費用がかさむ可能性がある。
【0006】
ウェブベースの文書リーダーにおけるメモリと帯域の問題に対処するための試みは、埋め込みGoogle(登録商標)マップ・アプリケーションに見られる(http://maps.google.co.uk/を参照)。Googleマップにおいては、第一のスケールで視認可能な地図のあるセクションのみをダウンロードして閲覧することにより帯域を節約する。ユーザーが、地図の現在のセクションの範囲を超えて移動する場合、新しいセクションがダウンロードされる。ユーザーがより詳細を必要とする場合、埋め込みアプリケーションが、現在のラスター画像の関連部分を次のスケールに拡大する(地図の関連部分がブロック表示される結果になる)。その後、元のマップのスケール変更対象セクションに対応する新しいマップのセクション(それ自体、追加的なフィーチャーを含む新しいドキュメント)がダウンロードされる。例えば、このようなマップの一部分上にマウスのカーソルを置いてマウスのスクロールホイールを使うことによって、この処理を行うことができる。この効果は、より詳細事項を含む連続するドキュメントの複数のセクションにアクセスしながらも、ある一定の一貫性を保つことができるということである。
【0007】
しかしながら、Googleマップは、単体の電子書籍文書の再現における視覚的な品質の問題には対処していない。
【0008】
従って、特に小型または携帯の電子書籍リーダー上のメモリ・帯域の使用法とともに、上記の視覚的品質の問題を緩和または軽減する電子書籍フォーマットを作成し、このフォーマットを活用することができる電子書籍リーダーを提供することが望ましい。
【発明の概要】
【0009】
第一の態様において、請求項1による方法が提供される。
別の態様において、請求項6による方法が提供される。
別の態様において、請求項11によるコンピュータプログラムが提供される。
別の態様において、請求項13による電子書籍リーダーが提供される。
本発明のさらなる態様および特徴の各々は、添付の請求項において定義される。
【図面の簡単な説明】
【0010】
ここで、添付の図面を参照しながら、例示として本発明の実施例を以下に説明する。
【図1】は、ソニー(登録商標)プレイステーション・ポータブル(登録商標)エンタテインメント装置の説明図である。
【図2】は、ソニー(登録商標)プレイステーション・ポータブル(登録商標)エンタテインメント装置を示す概略図である。
【図3】は、ミップマップを示す概略図である。
【図4】は、電子文書の一ページを示す概略図である。
【図5】は、電子文書の一ページに関する、データアクセス選択を示す概略図である。
【図6】は、電子文書内におけるテキスト言語の地域化を示す概略図である。
【図7】は、電子書籍文書を生成する方法を示すフロー図である。
【図8】は、電子書籍文書を読む方法を示すフロー図である。
【発明を実施するための形態】
【0011】
電子文書閲覧装置および方法を開示する。以下の記載において、いくつかの具体的な詳細事項は、本発明の実施例について十分な理解を図るために示すものである。しかしながら、本発明を実施するためにこれらの具体的な詳細事項を採用する必要がないことは当業者にとって明らかである。逆にいえば、当業者にとって周知の具体的詳細事項は、明瞭化のために必要に応じて省略される。
【実施例】
【0012】
本発明の例証としての実施例において、デジタル文書のページは、いわゆるミップマップとして、あるいはグラフィック・テクスチャのシーケンスとしてフォーマットされ、二つ以上のスケールのグラフィック・テクスチャとしての文書画像から成る。電子書籍リーダーでは、そのリーダー装置の三次元グラフィックスプロセッサが、第一のスケールのミップマップのテクスチャを一つ以上のポリゴンの一つの面に当てはめる。三次元空間内にあるこの面のx、yおよびz座標は、ユーザーまたはリーダー自体のいずれかによって操作することにより、第一のスケールの文書内でパンしたり、あるいは、装置画面により与えられる視点に近づくように、もしくはそこから離れるように効果的に文書を動かすことにより文書内でズームしたりすることができる。後者の場合、電子書籍リーダーまたはアプリケーションは、三次元グラフィックスプロセッサの能力を活用して、ミップマップ内で利用可能な最初と最後のテクスチャ間におけるいかなるスケールでも文書を高品質表示するために、(例えば、トライリニアフィルタリングにより)異なるスケールのミップマップ・テクスチャ間で滑らかに補間を行う。電子書籍リーダーまたはアプリケーションの作業メモリ、およびまたは帯域がかなり制限されている場合には、例えば、事前に設定された、あるいは、発見的にもしくは実験的に決定されたリーディングパターンに応じて、ミップマップ・テクスチャは、部分的にのみキャッシュにロードされるかダウンロードされる。
【0013】
本発明の実施例において、電子書籍リーダーのアプリケーションに適応するホストデバイスは、ソニー・プレイステーション・ポータブル(登録商標)である。
【0014】
図1を参照すると、本発明の実施例において、ソニー(登録商標)プレイステーション・ポータブル(登録商標)(PSP)エンタテインメント装置は、電子書籍リーダーのアプリケーション用のホストデバイス100である。PSP本体104は、特に、左ジョイパッド106と右ジョイパッド108を備える。これらはPSP上で実行しているソフトウェアへのインターフェースとなるために使用される。さらにPSPは、統合ディスプレイ102およびスピーカ103を備える。
【0015】
ここで図2も参照して、PSPの概略図を示す。PSPは、中央演算処理装置(CPU)101、ポリゴンレンダリング、テクスチャスケーリング等を行うグラフィックス・プロセッシング・ユニット(GPU)110、画像レンダリング、ビデオ・オーディオ再生等を行うメディア・エンジン131およびオーディオ・ビデオプロセッサ(AVC)132、およびダイレクトメモリアクセスコントローラ(DMAC)140を備え、共通バス160を介してリンクしている。DMAC140はまた、外部バス170とリンクしており、それを介して入出力通信が行われ、またワイヤレス通信手段(Tx/Rx)120、USBコネクタ125、装置の格納手段として機能するフラッシュメモリスティック・インターフェース135、光学装置(図示せず)、および統合ディスプレイ102とのやりとりを含む。
【0016】
ここで図3を参照すると、本発明の実施例において、デジタル文書の1ページは、ミップマップ形式で複数のグラフィック・テクスチャ(300A〜G)としてフォーマットされている。
【0017】
ミップマップの本来の目的は、ビデオゲーム、シミュレータ、または仮想現実システムにおける問題に対処するためであった。つまり潜在的に大きいテクスチャ(例えば2048×2048ピクセル)が画面の視点から遠ざかるにつれ、そのテクスチャの次第に小さくなっていくバージョンを表示するためには、実際に表示されている各画面ピクセルに対するテクスチャについて次第に広くなっていく部分の平均化またはサンプリングを必要とし、最終的には、z(深さ)方向において全体のテクスチャが画面から非常に離れるので、全体のテクスチャが単一のピクセルへと平均化される状況となる。表示されている画像においてこのようなピクセルが多い場合には、画像をレンダリングする計算負荷が莫大になる。この解決法の一つは、いわゆる「描画距離(draw distance)」を強化することである。これを超えてテクスチャが描画されることはない。つまり、仮想環境を描画する必要があるテクスチャの数が制限されるので、計算負荷を抑えることができる。しかしながらこれは、概念上の描画距離に至ると、仮想環境からオブジェクトが消えてしまうように見える、またはその中に突然ふいに現れるように見える、というような望ましくない結果を生むこともある。ミップマップは、事前にスケールが設定された、元の解像度の主テクスチャ300Aよりも小さいバージョン(300B〜G)、場合によっては1×1ピクセルのバージョン300G、を提供することによって解決法の一つとなると推定された。この方法においては、テクスチャの徐々に小さくなっていくバージョンの範囲内で平均化することにより、テクスチャがフルサイズからシングルピクセルへとスケールが変わるように見えるので、常にフル解像度のテクスチャ上で演算する場合の計算上のオーバーヘッドを回避することができる。
【0018】
「バイリニアフィルタリング」という一つのスキームにおいて、テクスチャを再スケーリングするための平均化は、次のテクスチャのスケールに下がるまで、ミップマップの一つのソーステクスチャについて行われる。しかし、グラフィックスシステムは、平均化されたより高い解像度のテクスチャから、元のより低い解像度のテクスチャへと切換えを行うので、目に見える「ハンドオーバー(handover)」アーチファクトという結果になり得る。さらに、新しいピクセルは、ソーステクスチャの比較的数の少ないピクセルを基礎としていた平均に組み込まれるので、スケールの変化に伴った平均アーチファクトという結果になり得る(例えば、いわゆる「ピクセルファイティング」)。よって、トライリニアフィルタリングという別のスキームにおいて、テクスチャは、現在のテクスチャのスケールに境界を設けた二つのミップマップから引き出される平均から補間され、結果として、よりスムーズなハンドオーバーをもたらし、平均アーチファクトを軽減させる。異方性フィルタリングというさらなるスキームは、トライリニアフィルタリング内に奥行きを組み入れたものである。しかしながら、閲覧している画面に平行な面におけるテクスチャに対しては、異方性フィルタリングは本質的には効果が低下してトライリニアフィルタリングと同じになってしまう。
【0019】
ミップマッピングの他の利点としては、テクスチャを前もってアンチエイリアス処理することができるので、異なるスケールで滑らかな画像を生成する場合の計算負荷をさらに減らすことが可能である。
【0020】
本発明の実施例において、電子文書の一ページ(「ページ」は、文書の単一の平面的なセクションとして解釈され、通常は一枚のページと同じであるが、場合によっては、中央見開きあるいは観音開き構成の二枚以上のページであり、または一枚のページの一部である)をスキャンする、または、所望の最も高い解像度で描画すると、「デジタルページ」と呼ばれるものになる。ソースとなる電子文書は、紙の文書をスキャンしたものであってもよいし、コンピューターで作られたラスターまたはベクター文書(アドビの.pdf、またはマイクロソフトワード(Microsoft Word:登録商標)の文書)であってもよい。
【0021】
デジタルページは、一つの主テクスチャに変換される。あるいは、解像度が、ある特定のホストデバイス上でテクスチャに許容される最大のサイズを超える場合は、二つ以上の主テクスチャに変換される。従って、一つの主テクスチャは、デジタルページの一部あるいは全体を表すことができる。
【0022】
主テクスチャの各々に対し、一つまたは複数の一連のデリバティブ・テクスチャ(derivative textures)が半分のサイズで生成される(各寸法を50%縮小)。従って、2048×2048ピクセルの主テクスチャに対し、デリバティブ・テクスチャは、1024、512、256、128、64、32、16、8、4、2、および1平方ピクセルになりうる。
【0023】
しかしながら、本実施例においては、1×1ピクセルテクスチャに下がるまでこの一連の処理を続ける必要は全くない。このテクスチャにおいて表わされる文書が読取可能な状態である、または他の視覚的品質の基準を満足する時点(例えば、デジタルページ全体が一つまたは双方の寸法で電子書籍の画面内に適合する時点)で、この処理を停止することができる。結果として、ミップマップにおいて対象とするテクスチャシーケンスが少なくとも持続している間は、テクスチャサイズは正確に2で割り切れることが好ましいのは明らかだが、特に主テクスチャの解像度は2のべき乗である必要はない。同様に、潜在的には正方形である必要はないが、それによってソースマテリアルのサイズを反映してもよい。
【0024】
従って例えば、主テクスチャは、1680×2376の解像度を有することが可能であり、これは210×297の解像度を有する最終テクスチャに至るまで2で正確に割り切れるものであり、A4サイズの用紙の相対寸法を複製するものである。このような解像度は限定されない例であるというだけであって、ソースマテリアルの寸法、ビジュアルクオリティ要件、グラフィックスハードウェアのメモリ容量、およびグラフィックスアプリケーションのインターフェースが課すいかなる制限をも含むさまざまな判断基準にもとづいて、解像度を選択してもよい。
【0025】
選択されたテクスチャのシーケンスは、リーダーまたはホストデバイスの三次元グラフィックスハードウェア(例えばGPU110)による処理に適する通常のミップマップとして、または、マイクロソフト(Microsoft:登録商標)Direct X(登録商標)もしくはOpenGLのようなインターフェースによって、そのようなハードウェアに対して表示する場合に適する通常のミップマップとしてパッケージされる。
【0026】
明らかに、ミップマップが1×1ピクセルまで下がるフルテクスチャ・シーケンスを一つ備えていると、当該ハードウェアまたはインターフェースが推定できる場合には、2のべき乗に基づいた寸法を有する正方形テクスチャを使用することが可能である。そして、残りのテクスチャシーケンスを提供する、あるいは(高い圧縮率に修正可能な)ダミーのブランクテクスチャを使用することができる。
【0027】
いずれにしても、電子書籍がデジタルページを描画するには、デジタルページの相対寸法に一致する、一つまたは複数のポリゴンから成る平面を構成し、そのデジタルページを表示するために、各ミップマップから引き出されたテクスチャを従来の方法で当該ポリゴンにうまく当てはまるように貼りつける。
【0028】
通常の電子書籍リーダーのようにラスター形式の画像のスケールを上げたり下げたりするのではなく、本発明の実施例においては、次のように文書のスケーリングを実現する。つまり、画面により表わされているユーザーの概念上の視点に、より近づくように、あるいは離れるように、z軸方向にポリゴン面を移動させ、デバイスの専用三次元グラフィックスハードウェア(例えば、GPU110)が、ミップマップのテクスチャとz軸値に基づいて、および好ましくはトライリニアフィルタリングを用いて、ポリゴン面の認識距離に対して適切なスケールでテクスチャを生成できるようにする。
【0029】
これによって、専用のグラフィックスハードウェアとメモリ(テクスチャメモリ)を利用してスケーリングを実行し、(従って、潜在的にCPU101を単体で使用するよりもより速く、およびまたはより滑らかにすることが可能になり)、実行中のCPUの計算負荷を、通常、現行のz軸の値を特定すればよい程度に低下させ、上記のトライリニアフィルタリングに関して概説したように、現在表示されているスケールのどちらかのサイドにおいて文書を二種類に表現したものにアクセスできるおかげで、分数のスケールで滑らかな画像を生成できるという利点がある。
【0030】
また別の実施例においては、ポリゴン面をディスプレイから同じ概念上の距離のところにとどめたままで、各テクスチャが当てはめられたそのポリゴン面の実際のサイズを再定義することによってスケーリングを実現することができる。この場合、結果として生じるスケールにおいてテクスチャを補間するために、ミップマップが再度使用される。しかしながら、この方法は、上記に概説した利点のほとんどの恩恵を受ける一方で、従前の実施例のときのように単一のパラメータ(z軸の値)を更新する場合と比較して、GPU110が描写を行う更新描写リストを生成する際に、ポリゴン面の再計算するために、概して、CPU101から比較的多くの計算リソースを必要とする。
【0031】
いずれの場合においても、電子書籍フォーマットは、少なくとも第一のデジタルページに対して、一つまたは複数のミップマップと、ミップマップシーケンスにおいて使用可能かつ表示可能な最小のテクスチャの表示と、フォーマット(A4など)を示すことによって相対測定値もしくは絶対測定値として明示的に、あるいは、主テクスチャの寸法(テクスチャが複数であればその合計)に基づいて非明示的に、デジタルページ寸法を示すものと、を備える。デジタルページを一ページ形成するために二つ以上のミップマップが使用される場合は、それぞれミップマップをどのようにポリゴン面上に配置するかもまた、明示的に、またはフォーマットされたファイル内でのそれらの順序によって示される。
【0032】
小型およびまたは携帯デバイスにおけるメモリや帯域の制限に対処するために、いくつかのオプションが利用可能である。
【0033】
第一に、通常のテクスチャ圧縮に加えて、ミップマップは、個別にエンコードすることが可能である。本発明の実施例において、提案されたテクスチャシーケンスの中で最小の使用テクスチャ(例えば、300D)は、従来の方法で格納され任意に圧縮される。このシーケンスの中で次に大きいテクスチャ(300C)は、そのテクスチャ300Cと、300Dのダブルスケールバージョン(double−scale version)との値の差分を求めることによって表される。これらの差分は、300Cから300Dに縮小することにより起こる忠実性におけるロスを表し、概して、テクスチャ300C単体の値よりもばらつきを非常に小さくできるので、かなり大幅な圧縮を可能とする。300Bは、同様に、300Cの再構成から個別にエンコードされ、また同様に、300Aは、300Bの再構成から個別にエンコードされる。
【0034】
これらのテクスチャ(または、ディスプレイやトライリニアフィルタリングを目的として必要とされるそれらの一部分)は、可能であればGPU110によって、またはCPUのいずれかによって、このように再構成することができる。
【0035】
このようにして、ミップマップは、格納またはダウンロードを目的として、より効果的に圧縮される。
【0036】
第二に、これに代えてまたはこれに加えて、現在必要とされているまたは次に必要とされると判断されるミップマップにおけるテクスチャだけ、あるいはテクスチャの部分だけ、キャッシュしたり任意に解凍・再構成するためにアクセスする必要がある(例えば、ネットワークからダウンロードしたり、ハードドライブ、メモリースティック、または光学ディスク等のローカルメディアからロードする)。
【0037】
まず初めに、現在の画面ディスプレイを生成するために必要とされるテクスチャの部分あるいはテクスチャのみにアクセスする必要がある。しかしながら、更新画面ディスプレイを生成するためには、一つのテクスチャの隣り合う部分、またはさらに別のテクスチャの隣り合う部分にアクセスするので、ユーザーが文書内でパンしたりズームしたりすると遅れが生じる可能性が高い。
【0038】
従って、本発明の実施例において、一つのテクスチャの隣り合う部分、またはさらに別のテクスチャの隣り合う部分は、所定のリーディングパターンに応じて前もってキャッシュしておく。
【0039】
ここで図4を参照すると、一つの例示として、漫画本400のデジタルページがパネル401から404を備える。特定レベルでズームすると、電子書籍の画面上で、点線で強調されている領域または「タイル」410が目に見える状態になっている。
【0040】
最初の例として、所定のリーディングパターンとは、現在のタイルをデジタルページ上で新たなプリセット位置に移動させる「次へ」と「戻る」ボタンの形式をとってもよい。
【0041】
このようなポジション・シーケンス(任意に、連続して異なるスケーリング情報を含む)は、ページ毎に任意のものであってもよく、電子書籍フォーマット内のメタデータとして、あるいは別のデータストリームとして埋め込まれる。複数のこのようなストリームやメタデータのセットは、画面寸法(ゆえにタイル寸法)と固有の解像度に応じて、さまざまな電子書籍デバイスに対して利用可能なので、各々のデバイスに合わせて電子文書を楽しめるように表示することができる。
【0042】
任意に、シーケンスをいくつか提供して、その中で選択してもよい。例えば、「速い」シーケンスは、ダイアログを含む表示に集中し、一方「ゆっくりな」シーケンスは、その漫画の背景や合間にあるアートワークについての追加的な表示を提供してもよい。他のシーケンスは、必要に応じてページやパネルやテキストを含めたり除いたりして、例えば、一定年齢以下のユーザーである場合に、暴力的なシーンや性的なシーンを排除してもよい。
【0043】
さらに、プレミアム付きで利用可能なシーケンスがあってもよく、これによって、電子文書の追加的エリアに対してアクセスができるようにする。
【0044】
著者、発行者、または販売業者が、このようなシーケンスを(一般的に高解像度画面を有するPCまたは他のデバイス上で)構成する際には、構成の選択のためのビジュアルコンテキストを提供することを目的として、通常、各携帯電子書籍リーダー上での閲覧を意図した表示の周囲の文書のページの一部、またはすべてを見ることができることはいうまでもない。
【0045】
あるいは、ユーザーのリーディング経験を前もって演出する代わりに、デジタルページまたはそのセクションの相対寸法を基準とした画面の相対寸法に応じて、ポジションとスケールのシーケンスをリーディング時に評価してもよい
【0046】
例えば、ここで図4を参照すると、漫画本400のデジタルページは、パネル401から404を備える。ある特定レベルでズームすると、点線で強調された領域または「タイル」410を、電子書籍の画面上で見ることができる。
【0047】
ここで図5Aから5Dを参照すると、一例としての所定のリーディングパターンによれば、リーダーはパネル401の左半分から右半分を移動し、もし一枚のタイルの二倍の幅よりやや大きければ、デフォルト設定ではパネルの右端まで移動すると規定されている。その後、パネル402へとジャンプする(図5A)。
【0048】
従って、現行のスケールで、パネル401の右半分とパネル402全体を描写するために必要なテクスチャの部分(エリア420として示される)がアクセスされ、利用可能性があるとしてキャッシュされる。
【0049】
図5Bにおいて、パネル404に達すると、このパネルは、表示寸法の二倍よりもかなり長さがある。この場合、このパネルの他端にジャンプし(パネル401のときのように)中央三分の一を逃してしまうのではなく、この所定のリーディングパターンは、次にパネル全体を等しいステップで連続的にジャンプするか、または下向きにパンする。これに関連するテクスチャは、この動きに従ってキャッシュされる。
【0050】
従って、第一の例証において、所定のリーディングパターンは、デジタルページ上で見られる構造と現行のタイルのスケールに応じたルールに従ってプリセットできる。標準テキストに対しては、このルールは左から右、上から下へのジャンプ、またはパンにゆだねられることが多く、一方、埋め込まれた画像や境界を有する文書に対しては、デジタルページの領域を自動解析し、または、そのデジタルページのどこにそのような画像や境界があるのかを指示するもの(例えば、斜めに対向するコーナーの座標)によって、それらを利用してスケールとフレーミングを決定することができる。上記のルールは、例示であって非限定的なものであり、当業者にとっては他のルールも明白である。
【0051】
所定のスケール内でジャンプやパンを行うことに加え、図5Cにおいては、ユーザーはズームアウトを選択できる。結果的に、現在のスケールからズームする必要がある、次に低いスケールのテクスチャの部分がキャッシュされ、当該次に低いスケールまで下がる間のいずれかのスケールでタイルを形成することができる。
【0052】
あるいは、ユーザーは、ズームインすることを選択できる。図5Dにおいては、現在のスケールからズームする必要がある、次に高いスケールのテクスチャの部分がキャッシュされ、当該次に高いスケールまで上がる間のいずれかのスケールでタイルを形成することができる。
【0053】
新規のタイルスケールにおいて、所定のリーディング用ルールを再度適用することができる。
【0054】
第二の例証において、所定のリーディングパターンは、もっぱらテクスチャの選択とキャッシングについて言及するものであり、リーダーがどのように文書を閲覧するかについて制限するものではない。この場合、「次へ」ボタンではなく、ジョイパッドボタン106や108のような制御を使用して自由にデジタルページを移動してもよい。
【0055】
この場合には、以下のような要因に応じた発見的方法に基づいてキャッシングが行われる。
i.現在閲覧されているタイルはデジタルページの右側までどのくらい離れているか;
− さらに右側へパンしたりジャンプしたりする可能性 vs.下方および左側へのジャンプを望んでいるか、を示す

ii.現在閲覧されているタイルはデジタルページの下端までどのくらい近いか;
− 同様に、一旦、ページの下端に近づいた場合の、下方へジャンプする可能性、およびまたは、ページをめくる可能性を示す。

iii.テキストの文字を表すために使用されるピクセルの数の推定;
− デジタルページにおけるテキストの相対寸法に関するパターンマッチングまたはメタデータにより決定、かつ、テキストサイズによってズームインをするかズームアウトをするかの可能性を示す。
【0056】
他の発見的方法もまた当業者にとって明らかである。例えば、現在のタイルが、表示された画像または漫画パネルの少なくとも一つ(部分的な場合もあるが)の寸法に、厳密にはマッチしていないかどうかを判断する(これはリーダーがもっとよくマッチさせるためにズームインやズームアウトをする可能性があることを示す)。このような発見的方法は、例えば、右から左へ読むという推定を逆向きにするなど、各言語のリーディングスタイルに適合させることができることはいうまでもない。
【0057】
このような判断基準を評価した後、テクスチャは使用可能性順にキャッシュされる。
【0058】
これに代えてまたはこれに加えて、第二の例証においては、実験的測定に基づいてキャッシングしてもよい。例えば、50人を招待してデジタルページを読んでもらい、彼らのリーディングストラテジを記録する。キャッシングは、そのデジタルページのある一定の領域・スケールで、次にとるアクションである可能性が元も高い順序でキャッシングを行う。
【0059】
これに代えてまたはこれに加えて、ユーザーの個人的なリーディングスタイルを同じような方法で評価して格納する(例えば、リーダーは拾い読みをする人で比較的低い画像スケールでページを下までスキップしてしまうことが多い人かもしれない)。そしてこれは、上記で開示した発見的あるいは実験的データに組み込むことが可能である。さらに、このようなユーザー情報は格納され、普遍的に、または、文書タイプ(漫画、書籍、新聞など)によって違いをつけて、別の文書に適用することができる
【0060】
テクスチャは、タイル毎にアクセスする必要はないことはいうまでもない。メモリおよびまたは帯域が許せば、少なくともあるスケールの複数のタイルに相当するミップマップ全体、またはその大部分、はメモリに格納され、上記に開示されたようなキャッシングストラテジの必要性を軽減する。逆に、大縮尺のデジタルページ内でパンするために、一枚のタイルよりもかなり小さいテクスチャのサブセクションを、パンニング処理全体に亘って提供してもよい。
【0061】
ここで図6AとBを参照すると、あるデジタル文書、特に画像とテキストを組み合わせたもの、に対しては、複数のミップマップを使用することにより言語の地域化を実現することができる。この場合、画像は一つのミップマップによって表されており、一方、それぞれの言語で書かれたテキストは、それぞれ別のミップマップにより表される。テキストは、背景画像を基準として前もってアンチエイリアス処理されているか、または、同様にアンチエイリアス処理された会話の吹き出しやボックス内にあってもよい。テキスト(または会話の吹き出しまたはボックス)と対応付けられていないテクスチャのピクセルは、値が均一で(効率的な圧縮を可能にし)、透明である(例えば、α値がゼロ)。このようなミップマップは、ほとんどはブランクで、比較的シンプルなカラーパレットを有するので、圧縮が非常に効率よく行われる。よって潜在的に、テキストを有するフル画像を言語ごとに格納する場合よりも、より多くの言語バージョンのデジタルドキュメントを、所定のスペース内にダウンロードまたは格納することができる。これに代えてまたこれに加えて、ある言語で書かれたテキストについて異なるバージョンも利用可能になり、例えば、年齢格付けによって修正を行って、登録されたユーザの年齢によって選択するようにしてもよい。
【0062】
画像とテキストを一緒に閲覧するために、本発明の実施例では、ほとんどの三次元ハードウェアシステムが、重畳されたテクスチャレイヤが下にあるテクスチャレイヤをマスクする範囲を決定できるα値を使って、一つのポリゴンに対して複数のテクスチャを当てはめることができるという事実を活用する。
【0063】
この場合、この画像レイヤと各々のテキストレイヤは、画像レイヤがテキストの周囲で目に見えることを確実にするテキストレイヤのα値を用いて、ポリゴン面に当てはめられる。
【0064】
言語を変えるためには、それぞれの言語に対するそれぞれのミップマップを変更するだけでよい。
【0065】
三次元ハードウェアシステムが、複数のテクスチャを当てはめることができない場合は、第一のポリゴンフレームの値を分割して小さくしたz軸値を有する第二のポリゴン面を定義し、かつ、各々のテキストミップマップのテクスチャをそれに当てはめることにより、画像上に効果的にテキストをオーバーレイさせてもよい。三次元ハードウェアは、いわゆる深さの、つまりz-バッファを含み、これは二つのポリゴン面のピクセルのうちどちらのピクセルが目に見えるかを決定する。この場合、これは、テクスチャが透明である場所を除いて、画像に優先したテキストのピクセルである。このような状況において、ビット深度が大きい(例えば24または32)を有するzバッファにより、z方向においてテクスチャを微細に区別することが可能となる(それにより、両方のテクスチャに対するスケールを実質的に同じにすることができるので、テクスチャ間で一貫したピクセルアラインメントが可能となる)。
【0066】
このような第二のテクスチャレイヤは、テキストに限定する必要がないことはいうまでもない。例えば、一ページの中のある一定のエレメントに対して代替的なアートワークを提供してもよい。例えば、若い読者に対して不適切なシーンを見えなくしたり好ましくない部分を削除したりするか、あるいは、アーティストの覚書およびまたはラフスケッチなどの追加的な情報を提供して、メイン文書の上に重ねてもよい。このような場合、複数のテクスチャレイヤを使用することにより、背景画像、適切な言語でのテキスト、および追加的なレイヤが、所望の順序で提示されるようにすることができる。また、もし三次元ハードウェアがレイヤ(あるいは十分な数のレイヤ)をサポートできない場合、以前に開示されたように、複数のポリゴン面が使用できる。
【0067】
同様に、異なるミップマップに対するデータソースがすべて同じものである必要はない。例えば、漫画は光ディスクに載せて発行しても、追加的な言語、著者の覚書、およびスケッチなどの補足コンテンツはダウンロードしてもよい。
【0068】
最後に、静的テクスチャに加え、本発明の実施例において、電子書籍文書はまた動画コンテンツを実現するリソースを備えることができる。
【0069】
第一の例証において、本発明の実施例は、ページをめくる動画に関する情報を備え(使用される場合)、このようなアニメーションが行われている間のシャドーイング効果を定義するためのステンシルバッファ値とステンシル変更子について任意の仕様を含む。
【0070】
電子書籍それ自体が実際に動いているようにする場合に加え、その文書のコンテンツのアニメーションについても考慮してもよい。
【0071】
電子書籍文書は、さらなるミップマップ・テクスチャと、ポリゴン用の具体的なカスタム仕様も含み、追加的なグラフィック要素の導入およびアニメーションを可能にする。これらは単に、ページの前に現れて動くオブジェクトであってもよいが、潜在的には、以下のように、より密接に相互作用することができる。
【0072】
電子書籍文書は任意に、zバッファ値の所定の配列(通常は、主テクスチャ用)を含み、これによって描写されたテクスチャ内の各ピクセルの相対的深さ位置を決定することができる。この準備されたzバッファ情報を三次元グラフィックスハードウェアに転送することにより(従前に開示されたように、通常は、視点からのページの現在距離に相当するオフセットを用いて)、ポリゴン面に当てはめられたフラットテクスチャは、さまざまな深度を有するものとして処理することができる。例えば、沈んだボートが左側に、パネルの中央に上から下まで亘る海藻を、そして洞窟が右側にあるというある水中シーンの絵を、漫画のパネルに入れることができる。準備されたzバッファデータにおいて、ボートはポジティブオフセットを有し(より遠くになるようにする)、海藻は、ネガティブzバッファオフセットを有し(より近くになるようにする)、一方、洞窟口の後ろ側は、ポジティブであり、前側はネガティブとする。
【0073】
電子書籍文書はまた、一匹の魚に対するポリゴンモデル(3Dまたは他のフラット面)と、その魚を描写する一つのミップマップ(またはこのアニメーションがある特定のスケールで生じる場合は一つのテクスチャ)を含む。この例において、魚はゼロのzバッファオフセットを与えられており、左から右へと移動して、ボートの前、海藻の後ろ、洞窟の中へと泳いでいくように見える。
【0074】
他のレイヤは、その上にオーバーレイすることができる追加的な所定のzバッファ情報を有してもよい。例えば、地域化されたテキストは、強いネガティブzバッファのオフセットを有しているので、このようなアニメーションの上部にいつも現れる。一方、残りのzバッファは変化せず、その画像に対応づけられている準備されたzバッファ情報に適合する。
【0075】
ここで図7を参照すると、電子書籍文書を生成する方法は、以下のステップからなる。
第一のステップs710において、電子文書の一ページの一部またはすべてを、その電子文書のそのページからの二つ以上のグラフィック・テクスチャのシーケンスとして表し、当該シーケンスは、連続して次第に小さくなるテクスチャから成り、
第二のステップs720において、三次元グラフィクスハードウェアによる使用に適するミップマップを形成するために作られたテクスチャを配列し、
第三のステップs730において、当該文書の当該ページの一部またはすべてを表すミップマップから成る電子書籍文書のファイルを出力する。
【0076】
上記の装置に関するさまざまな実施例における動作に相当する方法を変形したものは、本発明の範囲内であると考えられ、以下を含み、またそれに限定されないことは当業者にとって明らかである。
− 二つ以上のミップマップを使用して、デジタル文書の一ページを表す;
− 例えば、一つの画像レイヤおよび一つのテキストレイヤなどの、ミップマップの二つのレイヤを使ってデジタル文書の一ページを表す;
− 電子書籍文書ファイル内に、異なる言語それぞれに対応する二つ以上のテキストミップマップを組み込む;
− 電子書籍文書ファイル内に、アニメーション用の追加的リソースを組み込む
− 電子書籍文書ファイル内に、一つ以上の前もって準備されたzバッファデータセットを組み込む
− 読みやすさ、または美的基準により限定された、部分的なミップマップシーケンスを生成し、必要であれば、任意にダミーやブランクのテクスチャで、ミップマップシーケンスの残りの部分を置き換える;
− 例えばデジタル文書の寸法に基づいて、非正方形のミップマップを生成する;
− 以下から成るリストから、一つまたは複数選択したものを含むメタデータを組み込む
− あるミップマップシーケンスにおいて、使用可能または表示される最小のテクスチャを示すもの
− デジタルページの寸法を示すもの
− 相対テクスチャ配置を示すもの
− ページサイズに相対するテキストサイズを示すもの
− デジタルページ内の特徴(features)の配置を示すもの(例えばコーナーの位置)
− 一ページ内で電子書籍の視点を置く一箇所以上の場所を示すもの、およびまたはスケールを示すもの
− より大きい文書を参照して、ある特定の画面サイズに対するリーディングシーケンスを構成する。
【0077】
ここで図8を参照すると、文書の一ページの一部またはすべてがミップマップで表されている電子書籍文書を読む方法は、以下のステップを備える。
第一のステップs810において、グラフィック・テクスチャのシーケンスから成るミップマップの少なくとも一部にアクセスする。ここで、このシーケンスは、連続して次第に小さくなるテクスチャから成る;
第二のステップs820において、3D仮想空間内で、一つまたは複数のポリゴンから成る一つの表面を構成する;
第三のステップs830において、電子書籍のグラフィカル・ディスプレイを基準としたその面のスケールに対応するミップマップから引き出されたテクスチャを、そのポリゴン表面に当てはめる;
第四のステップs840において、電子書籍のグラフィカル・ディスプレイ上に、テクスチャが当てはめられたポリゴン表面を表示し、それによって、文書の一部またはすべてを表示する。
【0078】
上記の装置に関するさまざまな実施例における動作に相当する方法を変形したものは、本発明の範囲内であると考えられ、以下を含み、またそれに限定されないことは当業者にとって明らかである。
− デジタルページの異なる部分およびまたは異なるレイヤ(画像とテキストなど)に相当する二つ以上のミップマップの少なくとも一部にアクセスする;
− デジタルページの異なる部分およびまたは異なるレイヤ(画像とテキストなど)に相当する二つ以上のミップマップの少なくとも一部を、ポリゴン表面に当てはめる。
− ポリゴン表面の深度値を調整することにより、文書のズームインおよびズームアウトをする
− 現在のスケールの上下の、次に利用可能なスケールのミップマップ・テクスチャに基づいて、現在のスケールで現在表示されているテクスチャを生成する;例えば、トライリニアフィルタリングを用いる
− ミップマップ・テクスチャにより許容される最小および最大への電子書籍リーダーのズーム機能を制限する。これは、許容された最小のテクスチャが、利用可能または可能性のある最小のテクスチャではない場合を含む
− 各ミップマップの主テクスチャの寸法、または、デジタルページの寸法を示す他のなんらかのメタデータに応じて、ポリゴン表面を構築する
− 表示された文書と連動してアニメ化される追加的リソースを構築する
− 表示された文書に対応づけて準備された値のセットに基づき、zバッファ値のセットを生成する
− 現在の画面の画像を現在のスケールで描くために必要とされるテクスチャのみにアクセスする
− 以下から成るリストから選択される一つ以上の項目に基づいて、将来の視聴のために、デジタルページの異なるビュー(部分およびまたはスケール)を描くために必要とされるテクスチャにアクセスする
− プリセットの視聴・リーディングのシーケンス
− ユーザーの視聴シーケンスを予測するための発見的方法
− 可能性のあるユーザーの視聴シーケンスを実験的に測定。
【0079】
ここで記載される方法により作成される電子書籍文書は、フロッピー(登録商標)ディスク、光学ディスク、ハードディスク、PROM、RAM、フラッシュメモリ、これらのものの任意の組み合わせ、あるいは他の記憶媒体等のデータキャリアに格納してもよいし、または、イーサネット(登録商標)、無線ネットワーク、インターネット、あるいは、他のネットワークのこれらの組み合わせ等の、ネットワーク上のデータ信号を介して送信してもよい。
【0080】
最後に、ここで開示される方法は、ソフトウェアの指示により、または、専用ハードウェアの包括またはその代替によって適用可能なように好適に適合化された従来からあるハードウェア上で実行してもよい。
【0081】
従って、従来からある同等の装置内の既存の部品に対する必要な適合化は、プロセッサが実行可能な指示を備えたコンピュータプログラム製品または類似の製造物の形で実施される。このような指示は、フロッピー(登録商標)ディスク、光学ディスク、ハードディスク、PROM、RAM、フラッシュメモリ、これらのものの任意の組み合わせ、あるいは他の記憶媒体等のデータキャリアに格納してもよいし、または、イーサネット(登録商標)、無線ネットワーク、インターネット、あるいは、他のネットワークのこれらの組み合わせ等の、ネットワーク上のデータ信号を介して送信してもよいし、または、ASIC(特定用途向けIC)、FPGA(書替え可能ゲートアレイ)、従来の均等装置を採用する場合の使用に適する他の設定可能な回路等のハードウェア上に実現してもよい。

【特許請求の範囲】
【請求項1】
電子書籍文書を作成する方法であって、
電子文書の一ページの一部またはすべてを、その電子文書のそのページから引き出した、二つ以上のグラフィック・テクスチャのシーケンスであって、連続して次第に小さくなるグラフィック・テクスチャを備えるシーケンスとして表すステップと、
三次元グラフィクスハードウェアによる使用に適する第一のミップマップを形成するように生成されたテクスチャを配列するステップと、
前記文書の前記ページの一部またはすべてを表す前記第一のミップマップから成る電子書籍文書を出力するステップと、
を備えることを特徴とする方法。
【請求項2】
請求項1に記載の方法であって、
前記電子文書の前記ページからのグラフィック・テクスチャのシーケンスのうち最小のものは、読みやすさまたは美的基準によって判断されること、
を特徴とする方法。
【請求項3】
請求項1または請求項2に記載の方法であって、
テキストレイヤに相当するグラフィック・テクスチャの別のミップマップを生成するステップを備え、
当該別のミップマップのグラフィック・テクスチャは、電子書籍リーダーによる表示が行われている間、前記第一のミップマップのグラフィック・テクスチャ上への重畳に適すること、
を特徴とする方法。
【請求項4】
請求項1〜3のいずれかに記載の方法であって、
前記または各ミップマップのグラフィック・テクスチャの寸法は、前記電子文書の前記ページの寸法に対応するものであること、
を特徴とする方法。
【請求項5】
請求項1〜4のいずれかに記載の方法により生成された電子書籍文書を備えたデータキャリア。
【請求項6】
電子書籍文書を読む方法であって、
当該文書の一ページの一部またはすべては、ミップマップにより表され、
連続して次第に小さくなるテクスチャを備えたグラフィック・テクスチャのシーケンスから成るミップマップの少なくとも一部にアクセスするステップと、
3D仮想空間内で、一つまたは複数のポリゴンから成る表面を構成するステップと、
電子書籍リーダーのグラフィカル・ディスプレイを基準として前記ポリゴン表面のスケールに応じた前記ミップマップのアクセスされた部分から引き出されたテクスチャを、当該ポリゴン面に当てはめるステップと、
前記電子書籍リーダーの前記グラフィカル・ディスプレイ上に、テクスチャが当てはめられたポリゴン表面を表示し、それによって、当該文書のページの一部またはすべてを表示するステップと、
を備えることを特徴とする方法。
【請求項7】
請求項6に記載の方法であって、
前記ポリゴン表面に当てはめられる前記グラフィック・テクスチャは、トライリニアフィルタリングを使って前記ミップマップから引き出されること、
を特徴とする方法。
【請求項8】
請求項6または7に記載の方法であって、
前記電子書籍のグラフィカル・ディスプレイを基準とした前記ポリゴン表面のスケールは、前記電子書籍リーダーのグラフィカル・ディスプレイからの、前記ポリゴン表面の仮想空間内での効果的距離に対応していること、
を特徴とする方法。
【請求項9】
請求項6〜8のいずれかに記載の方法であって、
グラフィック・テクスチャのシーケンスであって、連続して次第に小さくなるグラフィック・テクスチャのシーケンスから成る、さらに別のミップマップの少なくとも一部にアクセスするステップと、
当該さらに別のミップマップのアクセスされた部分から引き出されたグラフィック・テクスチャを、さらに別のレイヤとして、前記ポリゴン表面に当てはめるステップと、
を備える方法。
【請求項10】
請求項6〜9のいずれかに記載の方法であって、
電子書籍リーダーによって電子書籍文書の第一のビューを構成し表示することを可能にするミップマップの第一の部分にアクセスするステップと、
前記電子書籍リーダーによって前記電子書籍文書の第二のビューを構成し表示することを可能にする前記ミップマップの第二の部分にアクセスするステップと、
を備える方法であって、当該第二の部分の選択は、
i.プリセットの視聴シーケンス
ii.ユーザーの視聴シーケンスを予測する発見的方法
iii.ユーザーの視聴シーケンスを予測する実験的な可能性測定
から成るリストから選択された、一つまたは複数の項目に対応するものであること、
を特徴とする方法。
【請求項11】
請求項1〜10のいずれかに記載の方法を実現するためのコンピュータプログラム。
【請求項12】
請求項11に記載のコンピュータプログラムを備えたコンピュータプログラム製品。
【請求項13】
電子書籍文書を読むための電子書籍リーダーであって、
当該文書の一ページの一部またはすべてはミップマップにより表され、
当該電子書籍リーダーは、
グラフィック・テクスチャのシーケンスであって、連続して次第に小さくなるグラフィック・テクスチャのシーケンスから成るミップマップの少なくとも一部にアクセスするために動作するよう定められたデータアクセスロジックと、
3D仮想空間内で、一つまたは複数のポリゴンから成る一つの表面を構成し、前記電子書籍リーダーのグラフィカル・ディスプレイを基準として前記表面のスケールに応じたミップマップのアクセスされた部分から引き出されたテクスチャを、当該表面に当てはめるよう動作するグラフィックスプロセッサと、
前記テクスチャが当てはめられたポリゴンの表面を表示することによって、当該文書のページの一部またはすべてを表示するためのグラフィカル・ディスプレイと、
を備えることを特徴とする電子書籍リーダー。
【請求項14】
請求項13に記載の電子書籍リーダーであって、
前記グラフィクスプロセッサは、トライリニアフィルタリングを用いて、前記表面に当てはめるグラフィック・テクスチャを前記ミップマップから引き出すこと、
を特徴とする電子書籍リーダー。
【請求項15】
請求項13または14に記載の電子書籍リーダーであって、
前記電子書籍のグラフィカル・ディスプレイを基準とした前記表面のスケーリングは、前記電子書籍リーダーのグラフィカル・ディスプレイからの、前記ポリゴン表面の3D仮想空間内での効果的距離に対応するものであること、
を特徴とする電子書籍リーダー。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公表番号】特表2011−530131(P2011−530131A)
【公表日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願番号】特願2011−521627(P2011−521627)
【出願日】平成21年7月30日(2009.7.30)
【国際出願番号】PCT/GB2009/001878
【国際公開番号】WO2010/015807
【国際公開日】平成22年2月11日(2010.2.11)
【出願人】(502070679)ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド (40)
【Fターム(参考)】