画像処理装置
【課題】ユーザに対して好適な画像を提示する技術を提供する。
【解決手段】枠領域設定部１２２が、画像データのレイアウト構造を解析して区分けし、新聞画像に少なくとも１つの枠領域を設定する。文字画素サイズ特定部１２８は、枠領域に含まれる文字の画素サイズを特定する。拡大率設定部１３２は、ディスプレイサイズおよび解像度と、特定された文字の画素サイズにもとづいて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。表示画像処理部１７０は、入力装置２０より表示画像の変更要求信号を受け取ると、設定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出し、その拡大率に調整した表示画像を生成する。
【解決手段】枠領域設定部１２２が、画像データのレイアウト構造を解析して区分けし、新聞画像に少なくとも１つの枠領域を設定する。文字画素サイズ特定部１２８は、枠領域に含まれる文字の画素サイズを特定する。拡大率設定部１３２は、ディスプレイサイズおよび解像度と、特定された文字の画素サイズにもとづいて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。表示画像処理部１７０は、入力装置２０より表示画像の変更要求信号を受け取ると、設定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出し、その拡大率に調整した表示画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をディスプレイに表示する画像処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する。
【特許文献１】米国特許第６５６３９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来より、高精細な写真などのディジタル画像から生成された複数解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像を複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【０００４】
このような画像処理装置において、ユーザは、入力装置に設けられたボタンや、十字キーなどを操作することで、ディスプレイに表示される画像を自由に変更できる。たとえば表示画像が文字情報を含む新聞画像である場合、ユーザは、入力装置を使って新聞画像を上下左右方向に動かして読みたい記事をディスプレイに表示し、また記事画像を拡大／縮小して、記事画像の文字を読みやすい大きさに調整する。
【０００５】
しかしながら、このような画像の調整操作は、ある程度の技術や慣れを必要とするため、意外に時間のかかる作業となる。そこで、ユーザの手を煩わせることなく、ディスプレイに表示する画像を調整できるような技術の登場が望まれる。
【０００６】
そこで本発明は、ユーザに対して好適な画像を提示する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様は、画像をディスプレイに表示する画像処理装置に関する。この態様の画像処理装置は、異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データを保持する記憶装置と、少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する文字画素サイズ特定部と、ディスプレイに表示されている表示画像の変更要求信号を受け付ける受付部と、変更要求信号を受け付けると、特定された文字の画素サイズに応じた拡大率に対応する解像度のタイル画像を前記記憶装置から読み出して、その拡大率に調整した表示画像を生成する表示画像処理部とを備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、ユーザに対して好適な画像を提示する技術を提供することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施例にかかる画像処理システム１の使用環境を示す。画像処理システム１は、入力装置２０と、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを備えたテレビであってよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。なお画像処理装置１０、入力装置２０および表示装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１１】
画像処理システム１において、画像処理装置１０は、ルータ１５を介してインターネットなどの外部のネットワーク１６に接続する。ネットワーク１６には、画像データを提供する提供サーバ１８が接続されている。提供サーバ１８は、たとえば新聞や雑誌などのスキャン画像を階層的に圧縮し、階層化した圧縮画像データを提供する。たとえば提供サーバ１８は、新聞社や雑誌社などにより運営され、文字や写真などを含む画像データをユーザに提供する。画像処理装置１０は、提供サーバ１８との間で通信接続を確立することで、階層化された圧縮画像データをダウンロードして取得できる。
【００１２】
画像処理装置１０は、たとえばゲーム装置であってよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。なお画像処理装置１０は、パーソナルコンピュータであってもよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。
【００１３】
画像処理装置１０は、ユーザから入力装置２０に入力される要求に応じて、表示装置１２のディスプレイに表示する画像の拡大／縮小処理や、上下左右方向への移動処理など、表示画像を変更する処理を行う。ユーザが、ディスプレイに表示された画像を見ながら入力装置２０を操作すると、入力装置２０が、表示画像の変更要求信号を画像処理装置１０に送信する。
【００１４】
画像処理装置１０は、提供サーバ１８から階層化された圧縮画像データを取得すると、少なくとも１つの解像度の画像データのレイアウト構造を解析して、一群の文字のまとまりを認識し、一群の文字を区画した枠領域を設定する。本実施例において原画像は新聞のスキャン画像であり、画像処理装置１０は、新聞の１ページに含まれる記事を区分けして、１つの記事を包含する枠領域を設定する。枠領域は、矩形領域であってもよく、また矩形以外の多辺形領域であってもよい。枠領域には、１つの記事を構成する文字や写真が含まれる。設定された枠領域は、ユーザによる入力装置２０のボタン操作で選択され、入力装置２０のディスプレイに表示される。これによりユーザは、新聞画像をスクロールして位置合わせすることなく、記事を簡易にディスプレイに表示させることができる。
【００１５】
また表示された枠領域は、入力装置２０の入力操作により、複数段階の拡大率での表示が可能なように設定される。たとえば、あるボタンが１回押されると、枠領域が第１の拡大率で拡大表示され、同じまたは別のボタンがさらに１回押されると、枠領域が第１の拡大率よりも大きい第２の拡大率で拡大表示される。この拡大率は、最も低解像度の画像データを基準として定められるものとする。画像処理装置１０が、枠領域ごとに複数段階の拡大率を予め好適に設定しておくことで、ユーザは、ボタンの押下操作のみで枠領域を段階的に拡大でき、表示画像の調整操作を簡易に行うことができる。
【００１６】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。
【００１７】
画像処理システム１において、入力装置２０の操作手段には、表示画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。また、表示画像のスクロール要求の入力機能は、左側のアナログスティック２７ａに割り当てられる。ユーザはアナログスティック２７ａを上下左右に倒すことで、倒した方向のスクロール要求を入力できる。このようにアナログスティック２７ａ、２７ｂは、表示画像を連続的にスクロールさせ、また連続的に拡大／縮小するために用いられる。
【００１８】
本実施例においては、画像処理装置１０が、新聞画像のレイアウト構造を解析して、１記事単位で枠領域を設定しており、入力装置２０の操作手段には、枠領域ごとの表示要求を入力するための機能が割り当てられる。たとえば、○ボタン２２は、ある１つの枠領域の表示要求を入力するための機能が割り当てられる。ユーザが○ボタン２２を押下すると、たとえば新聞画像の最も左上に設定された枠領域が表示されるようにしてもよい。また表示する枠領域の変更機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、表示する枠領域を、十字キー２１を押下した方向に存在する枠領域に変更する変更要求を入力できる。また枠領域が表示された状態で、△ボタン２５には枠領域を拡大表示するための機能が割り当てられ、×ボタン２３には、枠領域を縮小表示するための機能が割り当てられる。
【００１９】
入力装置２０は、入力された画像変更要求信号を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、画像変更要求信号を画像処理装置１０に伝送してもよい。
【００２０】
図３は、画像処理システム１において使用する画像データの階層構造を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２１】
画像処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態で提供サーバ１８から供給される。画像処理装置１０は、階層データにおける少なくとも１つの解像度の画像データのレイアウト構造を解析し、画像中の境界を判別して、データのまとまりを区画し、枠領域を設定する。このとき画像処理装置１０は、２種類以上の解像度の画像データに対して、枠領域を異なる単位で設定してもよい。たとえば最も低解像度の第０階層３０に対しては、枠領域を記事単位で設定し、それよりも高解像度の階層に対しては、枠領域を記事単位で設定するだけでなく、さらに記事を細分化して枠領域を設定してもよい。たとえば新聞画像中の列単位で記事を細分化してもよく、また段単位で記事を細分化してもよい。このような枠領域を形成する単位は、記事を構成する言語（文字種）やレイアウト構造に依存し、解析対象となる新聞ごとに決定されることが好ましい。
【００２２】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。画像処理装置１０は、入力装置２０から供給される画像変更要求信号から表示画像の変更量を導出すると、その変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、表示画像の生成処理に利用される。なお画像処理装置１０は、表示画像の変更量を用いて仮想空間におけるフレームの４隅の座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。
【００２３】
図４は、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２４】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ルータ１５を介してネットワーク１６に接続し、提供サーバ１８から階層化された圧縮画像データを受信してもよい。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２５】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信された圧縮画像データは、ハードディスクドライブ５０に格納されてもよい。表示処理の実行時、ハードディスクドライブ５０に格納された圧縮画像データは、メインメモリ６０に読み出される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。
【００２６】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２７】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２８】
図５は、階層間の関係を説明するための説明図を示す。この階層データ構造において、各階層はＬ０（第０階層３０）、Ｌ１（第１階層３２）、Ｌ２（第２階層３４）、Ｌ３（第３階層３６）と表現されている。図５に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、拡大率に対応し、Ｌ０の表示画像の拡大率を１とすると、Ｌ１における拡大率は４、Ｌ２における拡大率は１６となり、Ｌ３における拡大率は６４となる。したがって深さ方向において、表示画像がＬ０側からＬ３側へ向かう方向に変化する場合、表示画像は拡大していき、Ｌ３側からＬ０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２９】
第１境界３１、第２境界３３、第３境界３５は、Ｌ０を基準とした拡大率として定義され、表示画像の生成に使用するタイル画像の階層を定めるための判定基準として利用される。第１境界３１は拡大率２に設定され、表示画像の要求拡大率が２より小さければ、Ｌ０タイル画像が使用される。第２境界３３は拡大率８に設定され、表示画像の要求拡大率が２以上であり且つ８より小さければ、Ｌ１タイル画像が使用される。同様に第３境界３５は拡大率３２に設定され、表示画像の要求拡大率が８以上であり且つ３２より小さければ、Ｌ２タイル画像が使用される。また表示画像の要求拡大率が３２以上であれば、Ｌ３タイル画像が使用される。したがって画像処理装置１０は、これから表示する画像の要求拡大率が定まれば、その拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出して、その拡大率に調整した表示画像を生成することができる。
【００３０】
図６は、画像処理装置１０における制御部１００の構成を示す。制御部１００は、画像データ解析部１２０、入力信号処理部１５０および表示画像処理部１７０を備える。画像データ解析部１２０は、枠領域設定部１２２、枠領域解析部１２４および拡大率設定部１３２を有し、枠領域解析部１２４は、文字種特定部１２６、文字画素サイズ特定部１２８および位置関係特定部１３０を有する。画像データ解析部１２０は、画像データのレイアウト構造の解析処理を行う。入力信号処理部１５０は、信号受付部１５２、拡大率決定部１５４および初期位置決定部１５６を有する。入力信号処理部１５０は、入力装置２０から送信される画像変更要求信号を受け付け、表示処理に必要な情報を表示画像処理部１７０に供給する。表示画像処理部１７０は、画像データ取得部１７４、デコード部１７６、変更量導出部１７８、空間座標決定部１８０および表示画像生成部１８２を有する。表示画像処理部１７０は、タイル画像をメインメモリ６０から読み出してデコードし、要求される拡大率に調整した表示画像を生成する。
【００３１】
図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３２】
図７は、新聞のスキャン画像の一例を示す。このページには、５つの記事が含まれており、それぞれの記事は、図示されるように仕切り線で区分けされている。なお、階層化された画像データのレイアウト構造は、解像度の異なる各階層において変わりはない。画像データ解析部１２０は、入力信号処理部１５０および表示画像処理部１７０の動作に先立って、画像データのレイアウト構造を解析する。
【００３３】
枠領域設定部１２２は、画像データのレイアウト構造から仕切り線を抽出し、１つの記事を含む枠領域を設定する。なお１つの記事においては上下左右方向ともに文字間隔が密であることを利用して、枠領域設定部１２２は、仕切り線ではなく、文字間隔をもとに枠領域を設定してもよい。たとえば枠領域設定部１２２は、文字間隔が所定値以上である場合に、２つの文字の間に記事の境界があることを判定し、新聞画像を区分けして、枠領域を設定してもよい。
【００３４】
図８は、枠領域設定部１２２により設定された枠領域を示す。図示するように、枠領域設定部１２２は、記事単位で５つの枠領域２００、２０２、２０４、２０６、２０８を設定する。枠領域設定部１２２は、各階層の画像データに対して枠領域を設定し、たとえば高解像度の画像データに対しては、図８に示す枠領域内に、さらに細かな枠領域を設定してもよい。たとえば枠領域設定部１２２は、段落ごとに枠領域を設定してもよく、また記事が２列以上に分かれている場合には、列ごとに枠領域を設定してもよい。図８に示す記事単位の枠領域２００、２０２、２０４、２０６、２０８は、すべての階層の画像データに対して設定される。
【００３５】
枠領域設定部１２２は、設定した枠領域に識別情報を付与し、枠領域解析部１２４は、枠領域の解析結果を識別情報に対応づけてメインメモリ６０に保持させる。以下、枠領域２００にＩＤ１、枠領域２０２にＩＤ２、枠領域２０４にＩＤ３、枠領域２０６にＩＤ４、枠領域２０８にＩＤ５が付与されたものとする。
【００３６】
文字種特定部１２６は、枠領域に含まれる文字種を特定する。ここで文字種とは、文字体系とも呼ばれ、英字、漢字、平仮名、片仮名、アラビア文字、キリル文字など、同種の表記に使われるひとまとまりの文字の体系を意味する。文字種特定部１２６は、既存の文字認識技術を用いて枠領域に含まれる文字種を特定し、その新聞で使用されている言語を特定する。たとえば枠領域に含まれる文字種として、漢字、平仮名、片仮名が特定されると、文字種特定部１２６は、使用言語が日本語であることを特定する。また枠領域に含まれる文字種として英字が特定されると、文字種特定部１２６は、使用言語が英語であることを特定する。なお、１つの新聞画像において使用言語は通常１つであると考えられるため、文字種特定部１２６は、１つの枠領域に含まれる文字を解析して、使用言語を特定すればよい。
【００３７】
文字画素サイズ特定部１２８は、少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する。本実施例では、第０階層の画像データの解像度を拡大率の基準に設定しているため、文字画素サイズ特定部１２８は、第０階層の画像データに設定された枠領域に含まれる文字の画素サイズを特定する。なお第０階層以外の階層の解像度を、拡大率の基準に設定することも可能である。また文字画素サイズ特定部１２８は、全ての階層の画像データに対して文字画素サイズの特定処理を実行してもよい。
【００３８】
文字の画素サイズは、高さ方向（上下方向）の画素数で定義されてよい。文字画素サイズ特定部１２８は、文字列を構成する文字を抽出し、各文字の高さ方向の画素数を特定する。文字種特定部１２６により、英字新聞画像であることが特定されている場合は、文字列は横方向に構成されるため、各行を構成する全文字について高さ方向の画素数を特定する。文字画素サイズ特定部１２８は、たとえば各行における全文字に対して特定された画素数を平均して、各行の文字画素サイズを特定してもよい。また文字画素サイズ特定部１２８は、各行において最大の高さ方向の画素数を、各行の文字画素サイズとして特定してもよい。なお文字種特定部１２６により日本語の新聞画像であることが特定されている場合には、文字列は縦方向に構成されるため、各列を構成する全文字について高さ方向の画素数を特定し、文字画素サイズ特定部１２８は、各列において平均した画素数を、各列の文字画素サイズとして特定してもよい。なお文字画素サイズ特定部１２８は、各列において最大の高さ方向の画素数を、各列の文字画素サイズとして特定してもよい。
【００３９】
通常、１つの記事を包含する枠領域内には、記事の見出しを記述する文字（以下、「見出し文字」と呼ぶ）と、記事内容を記述する文字（以下、「記事文字」と呼ぶ）とが含まれる。見出し文字には、大見出しを記述する文字と、小見出しを記述する文字とが存在する場合もあるが、以下では、説明を簡略化するために、まとめて「見出し文字」と表現する。
【００４０】
続いて文字画素サイズ特定部１２８は、各行の文字画素サイズの中から、最大の文字画素サイズを決定する。最大文字画素サイズをもつ文字列には、見出し文字が含まれる。本実施例において文字画素サイズ特定部１２８は、最大文字画素サイズの３／５〜１倍の文字画素サイズをもつ文字列に見出し文字が含まれると判定し、３／５〜１倍の範囲にある各行の文字画素サイズを平均して、見出し文字の画素サイズを特定する。最大文字画素サイズの３／５倍であっても見出し文字であると判定することで、上記した小見出しを記述する文字も含めることができる。また文字画素サイズ特定部１２８は、最大文字画素サイズの３／５以下の文字画素サイズをもつ文字列には、記事文字が含まれていると判定する。文字画素サイズ特定部１２８は、最大文字画素サイズの３／５以下である各行の文字画素サイズを平均して、記事文字の画素サイズを特定する。なお、ここでは見出し文字が含まれる文字画素サイズを最大文字画素サイズの３／５〜１倍と設定したが、この範囲は、文字種特定部１２６により特定された使用言語に応じて設定されてよい。
【００４１】
以上のように文字画素サイズ特定部１２８は、見出し文字の画素サイズと、記事文字の画素サイズを、高さ方向の画素数で特定する。文字画素サイズ特定部１２８は、全ての枠領域における画素サイズを特定し、枠領域の識別情報に対応づけてメインメモリ６０に保持させる。なお画像データに、文字の画素サイズを示すメタデータが付加されている場合には、文字画素サイズ特定部１２８は、そのメタデータを用いて文字の画素サイズを特定してもよい。
【００４２】
拡大率設定部１３２は、各枠領域に対して、各枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。複数の拡大率は、文字画素サイズ特定部１２８により特定された文字の画素サイズに応じて、枠領域を表示装置１２のディスプレイに表示する際の文字の読みやすさに配慮して設定される。
【００４３】
ディスプレイサイズ保持部１４０は、ディスプレイのサイズを保持する。ディスプレイサイズは、たとえば縦および横の長さで定義されてもよい。ディスプレイ解像度保持部１４２は、ディスプレイの解像度を保持する。ディスプレイ解像度は、縦および横の画素数で定義されてもよい。ディスプレイサイズ保持部１４０およびディスプレイ解像度保持部１４２は、ハードディスクドライブ５０に形成された格納領域であってよい。ディスプレイサイズおよび解像度は、予めユーザにより画像処理装置１０に入力されて、それぞれディスプレイサイズ保持部１４０およびディスプレイ解像度保持部１４２に保持される。なお表示装置１２がＨＤＭＩ機器である場合は、画像処理装置１０が表示装置１２に問い合わせることで、表示装置１２がディスプレイサイズおよび解像度を画像処理装置１０に知らせてもよい。
【００４４】
拡大率設定部１３２は、文字画素サイズ特定部１２８により特定された文字の画素サイズに応じて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。さらに詳細には、拡大率設定部１３２は、文字の画素サイズに加えて、ディスプレイサイズ保持部１４０に保持されたディスプレイサイズ、およびディスプレイ解像度保持部１４２に保持されたディスプレイ解像度にもとづいて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。なお、拡大率設定部１３２は、ディスプレイサイズ、ディスプレイ解像度のいずれか一方にもとづいて複数の拡大率を設定してもよい。
【００４５】
後述するが、本実施例の画像処理装置１０は、新聞の表示処理に際して、まず表示装置１２のディスプレイに新聞画像を全面表示する。図９は、新聞画像が全面表示された様子を示す。全面表示をした場合、記事文字だけでなく、見出し文字も小さく表示される。ユーザが見出し文字および記事文字を読めるようにするために、画像処理装置１０は新聞画像を拡大表示する必要がある。
【００４６】
そこで画像処理装置１０は、新聞画像が全面表示された状態でユーザにより入力装置２０の○ボタン２２が押下されると、ある枠領域、たとえばＩＤ１で特定される枠領域２００（図８参照）をディスプレイに拡大表示するようにする。このとき、枠領域２００がディスプレイに対して大きければ、枠領域２００の全体をディスプレイに表示したときに、依然として見出し文字や記事文字が小さく、読みにくい事態も発生しうる。このような事態を回避するために、拡大率設定部１３２は、文字の画素サイズ、ディスプレイサイズおよびディスプレイ解像度をもとに、枠領域２００を表示する際の複数の拡大率を予め設定しておく。
【００４７】
以下、図８に示す枠領域２００を表示する際の拡大率の設定処理について説明するが、他の枠領域についても同様の拡大率設定処理を行う。図示されるように、ＩＤ１で特定される枠領域２００には、”Ｃｏａｃｈ ｂａｃｋ ｉｎ Ｊａｐａｎ”と記述される見出し文字と、その下方に記述される記事文字とが含まれる。
【００４８】
まず拡大率設定部１３２は、ディスプレイサイズおよびディスプレイ解像度から、ディスプレイの画素密度を求める。画素密度は、単位長あたりの画素数で表現される。続いて拡大率設定部１３２は、ディスプレイにおいてユーザが読みやすい基準文字サイズを決定する。基準文字サイズは、長さの単位で表現される。たとえば表示装置１２が据置型の大型ＴＶである場合、ユーザは数メートル離れた位置からディスプレイを見るため、読みやすい高さ方向の文字サイズは、約５センチメートル程度であると考えられる。一方、表示装置１２がディスプレイを備えた携帯端末装置である場合、ユーザは数１０センチメートルの位置からディスプレイを見るため、読みやすい高さ方向の文字サイズは、１センチメートル程度あれば十分と考えられる。このような事情を考慮して、拡大率設定部１３２は、ディスプレイサイズから据置型ＴＶであるか、または携帯端末装置であるかを判別し、ディスプレイサイズに応じた基準文字サイズを決定する。たとえばディスプレイの縦長さが１５ｃｍ以下であれば、携帯端末装置であると判定し、１５ｃｍよりも大きければ据置型ＴＶであると判定してもよい。
【００４９】
決定した基準文字サイズをＳｌ（単位は長さ）、ディスプレイの画素密度をＤｐ（単位は画素数／単位長）とすると、ディスプレイに表示されるべき文字の高さ方向の画素数は（Ｓｌ×Ｄｐ）となる。以下、この画素数を、基準画素数とよぶ。枠領域２００において、文字画素サイズ特定部１２８が、見出し文字の画素サイズ（単位は画素数）をＳａ、記事文字の画素サイズをＳｂ（＜Ｓａ）と特定していたとすると、拡大率設定部１３２は、見出し文字のための拡大率を（（Ｓｌ×Ｄｐ）／Ｓａ）２（以下、Ｅａと表記する）、記事文字のための拡大率を（（Ｓｌ×Ｄｐ）／Ｓｂ）２（以下、Ｅｂと表記する）と設定する。なお、見出し文字のための拡大率は、Ｅａ以上に設定されてもよく、また記事文字のための拡大率は、Ｅｂ以上に設定されてもよい。このように拡大率設定部１３２は、見出し文字がディスプレイの高さ方向において基準画素数以上となる拡大率と、記事文字が基準画素数以上となる拡大率を設定する。
【００５０】
これにより、枠領域２００を表示する際に、拡大率をＥａ以上にして記事画像を拡大表示すると、見出し文字が読むに十分な大きさとなり、また拡大率をＥｂ以上にして記事画像を拡大表示すると、記事文字が読むに十分な大きさとなる。拡大率設定部１３２は、他の枠領域についても同様に見出し文字のための拡大率と、記事文字のための拡大率を設定し、枠領域の識別情報に対応づけてメインメモリ６０に保持させる。なお本実施例において拡大率は１以上の値だけでなく、１以下の値も含むものとする。
【００５１】
位置関係特定部１３０は、枠領域間の位置関係を特定する。たとえば位置関係特定部１３０は、各枠領域の中心座標を定め、それぞれの中心座標をもとに、隣接する枠領域との間の位置関係を特定する。図８を参照して、枠領域２００の下には枠領域２０２が存在し、また右には枠領域２０６が存在する。同様に枠領域２０２の上には枠領域２００が存在し、右には枠領域２０６が存在し、また下には枠領域２０４が存在する。このように位置関係特定部１３０は、各枠領域について、その上下左右に存在する枠領域を特定し、その位置関係を枠領域の識別情報に対応づけてメインメモリ６０に保持させる。
【００５２】
以上のように、入力信号処理部１５０による入力信号の処理、および表示画像処理部１７０による表示画像の処理に先だって、拡大率設定部１３２が、設定した各枠領域における複数の拡大率を予め設定し、また位置関係特定部１３０が枠領域間の位置関係を特定しておく。これにより、入力信号処理部１５０および表示画像処理部１７０による各処理が実行される環境が整えられる。以下、制御部１００による表示処理について説明する。
【００５３】
画像処理装置１０の起動後、ユーザが１枚の新聞画像を選択すると、画像データ取得部１７４がＬ０タイル画像を取得し、デコード部１７６がデコードして、バッファメモリ７０に保持させる。表示画像生成部１８２は、バッファメモリ７０に保持された画像データを用いて、ディスプレイに収まるようにＬ０タイル画像を拡大または縮小して表示画像を生成してフレームメモリ９０に供給し、表示処理部４４がディスプレイに表示する。これにより、表示装置１２のディスプレイに新聞画像が全面表示される（図９参照）。
【００５４】
ユーザが入力装置２０を操作すると、画像変更要求信号が画像処理装置１０に送信される。信号受付部１５２は、入力装置２０から、ディスプレイに表示されている表示画像の変更要求信号を受け付ける。
【００５５】
ユーザが入力装置２０の○ボタン２２を押下すると、信号受付部１５２は、変更要求信号が枠領域２００の表示を要求していることを判定し、拡大率決定部１５４に通知する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１を用いて、拡大率設定部１３２により枠領域２００に対して設定された拡大率をメインメモリ６０から取得し、これから表示する枠領域２００の拡大率として決定する。このとき拡大率決定部１５４は、設定された複数の拡大率のうち、最小の拡大率を取得する。上記した例において、Ｅａ＜Ｅｂであるため、拡大率決定部１５４は、見出し文字の拡大率Ｅａを取得する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１および決定した拡大率Ｅａを表示画像処理部１７０に伝える。
【００５６】
また初期位置決定部１５６は、特定された文字種に応じて、枠領域２００の左上または右上のいずれかが表示画像に含まれるように枠領域の表示位置を決定する。たとえば、特定された文字種により英字新聞であることが判定された場合、英語は左から記述されるため、初期位置決定部１５６は、枠領域の左上隅が表示画像に必ず含まれるように枠領域の最初の表示位置を決定する。一方、特定された文字種により日本語新聞であることが判定された場合、日本語新聞では右から記述されるため、枠領域の右上隅が表示画像に必ず含まれるように枠領域の最初の表示位置を決定する。たとえば初期位置決定部１５６は、枠領域の左上隅または右上隅が、ディスプレイの左上隅または右上隅にくるように、最初の表示位置を決定してもよい。初期位置決定部１５６は、決定した表示位置を表示画像処理部１７０に伝える。
【００５７】
図１０は、図５に示す要求拡大率と使用するタイル画像の階層との関係表を示す。表示画像処理部１７０において、画像データ取得部１７４は、拡大率決定部１５４から枠領域２００の識別情報および決定された拡大率を受け取ると、決定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出す。画像データ取得部１７４は、図１０に示す関係表をテーブル形式で保持しており、決定された拡大率Ｅａに応じて、使用する階層を決定し、決定した階層において枠領域２００を含んだタイル画像をメインメモリ６０から取得する。デコード部１７６は、タイル画像をデコードし、バッファメモリ７０に保持させる。
【００５８】
空間座標決定部１８０は、拡大率決定部１５４により決定された拡大率Ｅａと、初期位置決定部１５６により決定された表示位置を受け取ると、拡大率および表示位置に対応したテクスチャ座標を導出して、空間座標を決定する。表示画像生成部１８２は、バッファメモリ７０に保持された画像データを用いて、決定された拡大率Ｅａに調整した表示画像を生成し、フレームメモリ９０に供給する。以上により、ディスプレイには、見出し文字が読みやすい大きさに調整された表示画像が映し出される。
【００５９】
図１１は、拡大率Ｅａに調整された枠領域２００の表示画像を示す。表示画像が拡大率Ｅａで表示されることで、見出し文字が読みやすい大きさに拡大されている。このように画像処理装置１０は、ユーザが面倒な操作を行うことなく、単純なボタン操作で画像を拡大表示できる。これにより、ユーザは見出し文字を認識でき、興味がある記事であれば、入力装置２０の△ボタン２５を押下して、記事文字を拡大する。
【００６０】
このとき信号受付部１５２は、変更要求信号が枠領域２００の拡大表示を要求していることを判定し、拡大率決定部１５４に通知する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１を用いて、拡大率設定部１３２により枠領域２００に対して設定された拡大率をメインメモリ６０から取得し、これから表示する枠領域２００の拡大率として決定する。このとき拡大率決定部１５４は、設定された複数の拡大率のうち、変更要求信号を受け付けた時点の拡大率（Ｅａ）に対して、その次に大きい値に設定されている拡大率（Ｅｂ）を選択して、取得する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１および決定した拡大率Ｅｂを表示画像処理部１７０に伝える。また既述したように初期位置決定部１５６は、枠領域の表示位置を決定し、決定した表示位置を表示画像処理部１７０に伝える。
【００６１】
表示画像処理部１７０において、画像データ取得部１７４は、拡大率決定部１５４から枠領域２００の識別情報および決定された拡大率を受け取ると、決定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出す。画像データ取得部１７４は、図１０に示す関係表を参照して、決定された拡大率Ｅｂに応じて、使用する階層を決定し、決定した階層において枠領域２００を含んだタイル画像をメインメモリ６０から取得する。デコード部１７６は、タイル画像をデコードし、バッファメモリ７０に保持させる。
【００６２】
空間座標決定部１８０は、拡大率決定部１５４により決定された拡大率Ｅｂと、初期位置決定部１５６により決定された表示位置を受け取ると、拡大率および表示位置に対応したテクスチャ座標を導出して、空間座標を決定する。表示画像生成部１８２は、バッファメモリ７０に保持された画像データを用いて、決定された拡大率Ｅｂに調整した表示画像を生成し、フレームメモリ９０に供給する。以上により、ディスプレイには、記事文字が読みやすい大きさに調整された表示画像が映し出される。
【００６３】
図１２は、拡大率Ｅｂに調整された枠領域２００の表示画像を示す。表示画像が拡大率Ｅｂで表示されることで、見出し文字だけでなく、記事文字も読みやすい大きさに拡大されている。これにより、ユーザは、面倒な操作を必要とすることなく、記事文字を読むことができる。
【００６４】
なお枠領域が表示された状態でユーザが、十字キー２１を操作すると、信号受付部１５２は、変更要求信号が枠領域２００の変更を要求していることを判定し、初期位置決定部１５６に通知する。初期位置決定部１５６は、枠領域２００の識別情報ＩＤ１を用いて、位置関係特定部１３０により枠領域２００に対して特定された位置関係をメインメモリ６０から取得し、十字キー２１で指定された方向に存在する枠領域を特定する。たとえば十字キー２１で下方向が指示された場合には、初期位置決定部１５６が、枠領域２００の下に枠領域２０２が存在する情報を取得し（図８参照）、既述したように表示位置を決定し、決定した表示位置を表示画像処理部１７０に伝える。また初期位置決定部１５６は、枠領域２０２の識別情報ＩＤ２を拡大率決定部１５４に通知する。
【００６５】
拡大率決定部１５４は、初期位置決定部１５６から通知された識別情報ＩＤ２を用いて、拡大率設定部１３２により枠領域２０２に対して設定された拡大率をメインメモリ６０から取得し、これから表示する枠領域２０２の拡大率として決定する。拡大率決定部１５４は、設定された複数の拡大率のうち、最小の拡大率を取得し、枠領域２０２の識別情報および決定した拡大率を表示画像処理部１７０に伝える。表示画像処理部１７０は、これらの情報を用いて表示画像を生成し、表示処理部４４が、ディスプレイに、見出し文字が読みやすい大きさに調整された表示画像を映し出す。
【００６６】
なお以上は枠領域の段階的な表示処理について説明したが、入力装置２０のアナログスティック２７ａ、２７ｂを用いて、新聞画像を連続的に変化させるように表示することも可能である。信号受付部１５２が、アナログスティック２７を用いた変更要求信号を受け付けると、変更量導出部１７８が、変更要求信号をもとに、要求される表示画像の変更量を導出する。表示画像の変更量は、１フレームごとの上下左右方向の移動量および深さ方向の移動量である。空間座標決定部１８０は、前回フレームのテクスチャ座標から、導出された変更量により移動する今回フレームのテクスチャ座標を決定する。表示画像生成部１８２は、テクスチャ画像をもとに、バッファメモリ７０に保持された画像データを用いて、表示画像を生成し、フレームメモリ９０に供給する。なお枠領域が表示された状態でアナログスティック２７を用いて段階的に枠領域を変更することも可能である。
【００６７】
図１３は、本実施例における画像処理のフローチャートを示す。まず枠領域設定部１２２が、画像データのレイアウト構造を解析して区分けし、新聞画像に少なくとも１つの枠領域を設定する（Ｓ１０）。枠領域が設定されると、文字画素サイズ特定部１２８が、枠領域に含まれる文字の画素サイズを特定する（Ｓ１２）。続いて拡大率設定部１３２が、ディスプレイサイズ保持部１４０からディスプレイサイズを取得し（Ｓ１４）、ディスプレイ解像度保持部１４２からディスプレイ解像度を取得する（Ｓ１６）。拡大率設定部１３２は、ディスプレイサイズおよび解像度と、特定された文字の画素サイズにもとづいて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する（Ｓ１８）。これらのステップにより表示処理の環境が整い、表示画像処理部１７０は、入力装置２０より表示画像の変更要求信号を受け取ると、設定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出し、その拡大率に調整した表示画像を生成する（Ｓ２０）。
【００６８】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
実施例では、枠領域を段階的に拡大表示する例を示したが、ユーザは入力装置２０の×ボタン２３を押下することで、枠領域の拡大前の状態に変更する、すなわち枠領域を縮小表示することも可能である。
【００７０】
実施例では、拡大率設定部１３２が、見出し文字および記事文字が読みやすい大きさとなる拡大率Ｅａ、Ｅｂを決定し、それぞれの文字の拡大率をＥａ以上、Ｅｂ以上となるように設定してもよいとした。変形例では、拡大率に上限を設定する。このとき、拡大率設定部１３２は、最小の基準文字サイズＳｌｍｉｎと、最大の基準文字サイズＳｌｍａｘを設定する。ここでＳｌｍｉｎは、実施例における基準文字サイズＳｌに対応する。
【００７１】
見出し文字の拡大率Ｅｈは、以下の範囲の値をとりうる。
（（Ｓｌｍｉｎ×Ｄｐ）／Ｓａ）２＜＝Ｅｈ＜＝（（Ｓｌｍａｘ×Ｄｐ）／Ｓａ）２
同様に記事文字の拡大率Ｅｉは、以下の範囲の値をとりうる。
（（Ｓｌｍｉｎ×Ｄｐ）／Ｓｂ）２＜＝Ｅｉ＜＝（（Ｓｌｍａｘ×Ｄｐ）／Ｓｂ）２
拡大率設定部１３２は、拡大率Ｅｈ、Ｅｉを、それぞれ上記の許容範囲内で設定できるが、Ｓａ、Ｓｂの値によっては、それぞれの許容範囲に重複が生じ、Ｅｈ、Ｅｉを同一値にすることも可能となる。
【００７２】
実施例では、枠領域２００を表示する際に、見出し文字と記事文字の拡大率を異ならせて設定しているが、枠領域２００が小さければ、見出し文字と記事文字の拡大率を同じくして、枠領域２００をディスプレイに全面表示することが好ましい。そこで、拡大率設定部１３２は、Ｅｈ、Ｅｉがそれぞれの許容範囲内であって、枠領域２００を全面表示させる拡大率が存在すれば、それを１つの拡大率として設定してもよい。具体的に拡大率設定部１３２は、枠領域２００をディスプレイに全面表示するときの拡大率を求め、その拡大率が、上記したＥｈ、Ｅｉのそれぞれの許容範囲に含まれていれば、その拡大率を、複数の拡大率の１つとして設定する。
【００７３】
なお、この手法は、拡大率の上限を設定しない場合においても利用でき、実施例において、見出し文字の拡大率をＥａ以上、記事文字の拡大率をＥｂ以上に設定可能である場合に、枠領域を全面表示するときの拡大率が、Ｅａ以上、Ｅｂ以上の値であれば、拡大率設定部１３２が、全面表示時の拡大率を、複数の拡大率の１つとして設定してもよい。
【００７４】
また拡大率設定部１３２は、ユーザのプロファイル情報に応じて、拡大率を設定してもよい。ここでプロファイル情報は、たとえばユーザの年齢情報であってよく、ユーザが画像処理装置１０にログインしたときに、拡大率設定部１３２が、ユーザ情報に対応付けられたプロファイル情報を取得してもよい。子供や老人は、小さい文字を判別しにくい傾向にあるため、拡大率設定部１３２は、ユーザが所定年齢（たとえば６歳）以下、および所定年齢以上（たとえば６５歳以上）である場合に、上記した見出し文字の拡大率、および記事文字の拡大率を、Ｋ倍（Ｋは１より大きい値）して、子供用、老人用の拡大率を設定してもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】画像処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】画像処理装置の機能ブロック図である。
【図５】階層間の関係を説明するための説明図である。
【図６】画像処理装置における制御部の構成を示す図である。
【図７】新聞のスキャン画像の一例を示す図である。
【図８】枠領域設定部により設定された枠領域を示す図である。
【図９】新聞画像が全面表示された様子を示す図である。
【図１０】要求拡大率と使用するタイル画像の階層との関係表を示す図である。
【図１１】拡大率Ｅａに調整された枠領域の表示画像を示す図である。
【図１２】拡大率Ｅｂに調整された枠領域の表示画像を示す図である。
【図１３】本実施例における画像処理のフローチャートを示す図である。
【符号の説明】
【００７６】
１・・・画像処理システム、１０・・・画像処理装置、１２・・・表示装置、２０・・・入力装置、３８・・・タイル画像、４４・・・表示処理部、５０・・・ハードディスクドライブ、６０・・・メインメモリ、７０・・・バッファメモリ、９０・・・フレームメモリ、１００・・・制御部、１２０・・・画像データ解析部、１２２・・・枠領域設定部、１２４・・・枠領域解析部、１２６・・・文字種特定部、１２８・・・文字画素サイズ特定部、１３０・・・位置関係特定部、１３２・・・拡大率設定部、１４０・・・ディスプレイサイズ保持部、１４２・・・ディスプレイ解像度保持部、１５０・・・入力信号処理部、１５２・・・信号受付部、１５４・・・拡大率決定部、１５６・・・初期位置決定部、１７０・・・表示画像処理部、１７４・・・画像データ取得部、１７６・・・デコード部、１７８・・・変更量導出部、１８０・・・空間座標決定部、１８２・・・表示画像生成部、２００，２０２，２０４，２０６，２０８・・・枠領域。
【技術分野】
【０００１】
本発明は、画像をディスプレイに表示する画像処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する。
【特許文献１】米国特許第６５６３９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来より、高精細な写真などのディジタル画像から生成された複数解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像を複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【０００４】
このような画像処理装置において、ユーザは、入力装置に設けられたボタンや、十字キーなどを操作することで、ディスプレイに表示される画像を自由に変更できる。たとえば表示画像が文字情報を含む新聞画像である場合、ユーザは、入力装置を使って新聞画像を上下左右方向に動かして読みたい記事をディスプレイに表示し、また記事画像を拡大／縮小して、記事画像の文字を読みやすい大きさに調整する。
【０００５】
しかしながら、このような画像の調整操作は、ある程度の技術や慣れを必要とするため、意外に時間のかかる作業となる。そこで、ユーザの手を煩わせることなく、ディスプレイに表示する画像を調整できるような技術の登場が望まれる。
【０００６】
そこで本発明は、ユーザに対して好適な画像を提示する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様は、画像をディスプレイに表示する画像処理装置に関する。この態様の画像処理装置は、異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データを保持する記憶装置と、少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する文字画素サイズ特定部と、ディスプレイに表示されている表示画像の変更要求信号を受け付ける受付部と、変更要求信号を受け付けると、特定された文字の画素サイズに応じた拡大率に対応する解像度のタイル画像を前記記憶装置から読み出して、その拡大率に調整した表示画像を生成する表示画像処理部とを備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、ユーザに対して好適な画像を提示する技術を提供することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施例にかかる画像処理システム１の使用環境を示す。画像処理システム１は、入力装置２０と、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを備えたテレビであってよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。なお画像処理装置１０、入力装置２０および表示装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１１】
画像処理システム１において、画像処理装置１０は、ルータ１５を介してインターネットなどの外部のネットワーク１６に接続する。ネットワーク１６には、画像データを提供する提供サーバ１８が接続されている。提供サーバ１８は、たとえば新聞や雑誌などのスキャン画像を階層的に圧縮し、階層化した圧縮画像データを提供する。たとえば提供サーバ１８は、新聞社や雑誌社などにより運営され、文字や写真などを含む画像データをユーザに提供する。画像処理装置１０は、提供サーバ１８との間で通信接続を確立することで、階層化された圧縮画像データをダウンロードして取得できる。
【００１２】
画像処理装置１０は、たとえばゲーム装置であってよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。なお画像処理装置１０は、パーソナルコンピュータであってもよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。
【００１３】
画像処理装置１０は、ユーザから入力装置２０に入力される要求に応じて、表示装置１２のディスプレイに表示する画像の拡大／縮小処理や、上下左右方向への移動処理など、表示画像を変更する処理を行う。ユーザが、ディスプレイに表示された画像を見ながら入力装置２０を操作すると、入力装置２０が、表示画像の変更要求信号を画像処理装置１０に送信する。
【００１４】
画像処理装置１０は、提供サーバ１８から階層化された圧縮画像データを取得すると、少なくとも１つの解像度の画像データのレイアウト構造を解析して、一群の文字のまとまりを認識し、一群の文字を区画した枠領域を設定する。本実施例において原画像は新聞のスキャン画像であり、画像処理装置１０は、新聞の１ページに含まれる記事を区分けして、１つの記事を包含する枠領域を設定する。枠領域は、矩形領域であってもよく、また矩形以外の多辺形領域であってもよい。枠領域には、１つの記事を構成する文字や写真が含まれる。設定された枠領域は、ユーザによる入力装置２０のボタン操作で選択され、入力装置２０のディスプレイに表示される。これによりユーザは、新聞画像をスクロールして位置合わせすることなく、記事を簡易にディスプレイに表示させることができる。
【００１５】
また表示された枠領域は、入力装置２０の入力操作により、複数段階の拡大率での表示が可能なように設定される。たとえば、あるボタンが１回押されると、枠領域が第１の拡大率で拡大表示され、同じまたは別のボタンがさらに１回押されると、枠領域が第１の拡大率よりも大きい第２の拡大率で拡大表示される。この拡大率は、最も低解像度の画像データを基準として定められるものとする。画像処理装置１０が、枠領域ごとに複数段階の拡大率を予め好適に設定しておくことで、ユーザは、ボタンの押下操作のみで枠領域を段階的に拡大でき、表示画像の調整操作を簡易に行うことができる。
【００１６】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。
【００１７】
画像処理システム１において、入力装置２０の操作手段には、表示画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。また、表示画像のスクロール要求の入力機能は、左側のアナログスティック２７ａに割り当てられる。ユーザはアナログスティック２７ａを上下左右に倒すことで、倒した方向のスクロール要求を入力できる。このようにアナログスティック２７ａ、２７ｂは、表示画像を連続的にスクロールさせ、また連続的に拡大／縮小するために用いられる。
【００１８】
本実施例においては、画像処理装置１０が、新聞画像のレイアウト構造を解析して、１記事単位で枠領域を設定しており、入力装置２０の操作手段には、枠領域ごとの表示要求を入力するための機能が割り当てられる。たとえば、○ボタン２２は、ある１つの枠領域の表示要求を入力するための機能が割り当てられる。ユーザが○ボタン２２を押下すると、たとえば新聞画像の最も左上に設定された枠領域が表示されるようにしてもよい。また表示する枠領域の変更機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、表示する枠領域を、十字キー２１を押下した方向に存在する枠領域に変更する変更要求を入力できる。また枠領域が表示された状態で、△ボタン２５には枠領域を拡大表示するための機能が割り当てられ、×ボタン２３には、枠領域を縮小表示するための機能が割り当てられる。
【００１９】
入力装置２０は、入力された画像変更要求信号を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、画像変更要求信号を画像処理装置１０に伝送してもよい。
【００２０】
図３は、画像処理システム１において使用する画像データの階層構造を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２１】
画像処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態で提供サーバ１８から供給される。画像処理装置１０は、階層データにおける少なくとも１つの解像度の画像データのレイアウト構造を解析し、画像中の境界を判別して、データのまとまりを区画し、枠領域を設定する。このとき画像処理装置１０は、２種類以上の解像度の画像データに対して、枠領域を異なる単位で設定してもよい。たとえば最も低解像度の第０階層３０に対しては、枠領域を記事単位で設定し、それよりも高解像度の階層に対しては、枠領域を記事単位で設定するだけでなく、さらに記事を細分化して枠領域を設定してもよい。たとえば新聞画像中の列単位で記事を細分化してもよく、また段単位で記事を細分化してもよい。このような枠領域を形成する単位は、記事を構成する言語（文字種）やレイアウト構造に依存し、解析対象となる新聞ごとに決定されることが好ましい。
【００２２】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。画像処理装置１０は、入力装置２０から供給される画像変更要求信号から表示画像の変更量を導出すると、その変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、表示画像の生成処理に利用される。なお画像処理装置１０は、表示画像の変更量を用いて仮想空間におけるフレームの４隅の座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。
【００２３】
図４は、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２４】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ルータ１５を介してネットワーク１６に接続し、提供サーバ１８から階層化された圧縮画像データを受信してもよい。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２５】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信された圧縮画像データは、ハードディスクドライブ５０に格納されてもよい。表示処理の実行時、ハードディスクドライブ５０に格納された圧縮画像データは、メインメモリ６０に読み出される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。
【００２６】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２７】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２８】
図５は、階層間の関係を説明するための説明図を示す。この階層データ構造において、各階層はＬ０（第０階層３０）、Ｌ１（第１階層３２）、Ｌ２（第２階層３４）、Ｌ３（第３階層３６）と表現されている。図５に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、拡大率に対応し、Ｌ０の表示画像の拡大率を１とすると、Ｌ１における拡大率は４、Ｌ２における拡大率は１６となり、Ｌ３における拡大率は６４となる。したがって深さ方向において、表示画像がＬ０側からＬ３側へ向かう方向に変化する場合、表示画像は拡大していき、Ｌ３側からＬ０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２９】
第１境界３１、第２境界３３、第３境界３５は、Ｌ０を基準とした拡大率として定義され、表示画像の生成に使用するタイル画像の階層を定めるための判定基準として利用される。第１境界３１は拡大率２に設定され、表示画像の要求拡大率が２より小さければ、Ｌ０タイル画像が使用される。第２境界３３は拡大率８に設定され、表示画像の要求拡大率が２以上であり且つ８より小さければ、Ｌ１タイル画像が使用される。同様に第３境界３５は拡大率３２に設定され、表示画像の要求拡大率が８以上であり且つ３２より小さければ、Ｌ２タイル画像が使用される。また表示画像の要求拡大率が３２以上であれば、Ｌ３タイル画像が使用される。したがって画像処理装置１０は、これから表示する画像の要求拡大率が定まれば、その拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出して、その拡大率に調整した表示画像を生成することができる。
【００３０】
図６は、画像処理装置１０における制御部１００の構成を示す。制御部１００は、画像データ解析部１２０、入力信号処理部１５０および表示画像処理部１７０を備える。画像データ解析部１２０は、枠領域設定部１２２、枠領域解析部１２４および拡大率設定部１３２を有し、枠領域解析部１２４は、文字種特定部１２６、文字画素サイズ特定部１２８および位置関係特定部１３０を有する。画像データ解析部１２０は、画像データのレイアウト構造の解析処理を行う。入力信号処理部１５０は、信号受付部１５２、拡大率決定部１５４および初期位置決定部１５６を有する。入力信号処理部１５０は、入力装置２０から送信される画像変更要求信号を受け付け、表示処理に必要な情報を表示画像処理部１７０に供給する。表示画像処理部１７０は、画像データ取得部１７４、デコード部１７６、変更量導出部１７８、空間座標決定部１８０および表示画像生成部１８２を有する。表示画像処理部１７０は、タイル画像をメインメモリ６０から読み出してデコードし、要求される拡大率に調整した表示画像を生成する。
【００３１】
図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３２】
図７は、新聞のスキャン画像の一例を示す。このページには、５つの記事が含まれており、それぞれの記事は、図示されるように仕切り線で区分けされている。なお、階層化された画像データのレイアウト構造は、解像度の異なる各階層において変わりはない。画像データ解析部１２０は、入力信号処理部１５０および表示画像処理部１７０の動作に先立って、画像データのレイアウト構造を解析する。
【００３３】
枠領域設定部１２２は、画像データのレイアウト構造から仕切り線を抽出し、１つの記事を含む枠領域を設定する。なお１つの記事においては上下左右方向ともに文字間隔が密であることを利用して、枠領域設定部１２２は、仕切り線ではなく、文字間隔をもとに枠領域を設定してもよい。たとえば枠領域設定部１２２は、文字間隔が所定値以上である場合に、２つの文字の間に記事の境界があることを判定し、新聞画像を区分けして、枠領域を設定してもよい。
【００３４】
図８は、枠領域設定部１２２により設定された枠領域を示す。図示するように、枠領域設定部１２２は、記事単位で５つの枠領域２００、２０２、２０４、２０６、２０８を設定する。枠領域設定部１２２は、各階層の画像データに対して枠領域を設定し、たとえば高解像度の画像データに対しては、図８に示す枠領域内に、さらに細かな枠領域を設定してもよい。たとえば枠領域設定部１２２は、段落ごとに枠領域を設定してもよく、また記事が２列以上に分かれている場合には、列ごとに枠領域を設定してもよい。図８に示す記事単位の枠領域２００、２０２、２０４、２０６、２０８は、すべての階層の画像データに対して設定される。
【００３５】
枠領域設定部１２２は、設定した枠領域に識別情報を付与し、枠領域解析部１２４は、枠領域の解析結果を識別情報に対応づけてメインメモリ６０に保持させる。以下、枠領域２００にＩＤ１、枠領域２０２にＩＤ２、枠領域２０４にＩＤ３、枠領域２０６にＩＤ４、枠領域２０８にＩＤ５が付与されたものとする。
【００３６】
文字種特定部１２６は、枠領域に含まれる文字種を特定する。ここで文字種とは、文字体系とも呼ばれ、英字、漢字、平仮名、片仮名、アラビア文字、キリル文字など、同種の表記に使われるひとまとまりの文字の体系を意味する。文字種特定部１２６は、既存の文字認識技術を用いて枠領域に含まれる文字種を特定し、その新聞で使用されている言語を特定する。たとえば枠領域に含まれる文字種として、漢字、平仮名、片仮名が特定されると、文字種特定部１２６は、使用言語が日本語であることを特定する。また枠領域に含まれる文字種として英字が特定されると、文字種特定部１２６は、使用言語が英語であることを特定する。なお、１つの新聞画像において使用言語は通常１つであると考えられるため、文字種特定部１２６は、１つの枠領域に含まれる文字を解析して、使用言語を特定すればよい。
【００３７】
文字画素サイズ特定部１２８は、少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する。本実施例では、第０階層の画像データの解像度を拡大率の基準に設定しているため、文字画素サイズ特定部１２８は、第０階層の画像データに設定された枠領域に含まれる文字の画素サイズを特定する。なお第０階層以外の階層の解像度を、拡大率の基準に設定することも可能である。また文字画素サイズ特定部１２８は、全ての階層の画像データに対して文字画素サイズの特定処理を実行してもよい。
【００３８】
文字の画素サイズは、高さ方向（上下方向）の画素数で定義されてよい。文字画素サイズ特定部１２８は、文字列を構成する文字を抽出し、各文字の高さ方向の画素数を特定する。文字種特定部１２６により、英字新聞画像であることが特定されている場合は、文字列は横方向に構成されるため、各行を構成する全文字について高さ方向の画素数を特定する。文字画素サイズ特定部１２８は、たとえば各行における全文字に対して特定された画素数を平均して、各行の文字画素サイズを特定してもよい。また文字画素サイズ特定部１２８は、各行において最大の高さ方向の画素数を、各行の文字画素サイズとして特定してもよい。なお文字種特定部１２６により日本語の新聞画像であることが特定されている場合には、文字列は縦方向に構成されるため、各列を構成する全文字について高さ方向の画素数を特定し、文字画素サイズ特定部１２８は、各列において平均した画素数を、各列の文字画素サイズとして特定してもよい。なお文字画素サイズ特定部１２８は、各列において最大の高さ方向の画素数を、各列の文字画素サイズとして特定してもよい。
【００３９】
通常、１つの記事を包含する枠領域内には、記事の見出しを記述する文字（以下、「見出し文字」と呼ぶ）と、記事内容を記述する文字（以下、「記事文字」と呼ぶ）とが含まれる。見出し文字には、大見出しを記述する文字と、小見出しを記述する文字とが存在する場合もあるが、以下では、説明を簡略化するために、まとめて「見出し文字」と表現する。
【００４０】
続いて文字画素サイズ特定部１２８は、各行の文字画素サイズの中から、最大の文字画素サイズを決定する。最大文字画素サイズをもつ文字列には、見出し文字が含まれる。本実施例において文字画素サイズ特定部１２８は、最大文字画素サイズの３／５〜１倍の文字画素サイズをもつ文字列に見出し文字が含まれると判定し、３／５〜１倍の範囲にある各行の文字画素サイズを平均して、見出し文字の画素サイズを特定する。最大文字画素サイズの３／５倍であっても見出し文字であると判定することで、上記した小見出しを記述する文字も含めることができる。また文字画素サイズ特定部１２８は、最大文字画素サイズの３／５以下の文字画素サイズをもつ文字列には、記事文字が含まれていると判定する。文字画素サイズ特定部１２８は、最大文字画素サイズの３／５以下である各行の文字画素サイズを平均して、記事文字の画素サイズを特定する。なお、ここでは見出し文字が含まれる文字画素サイズを最大文字画素サイズの３／５〜１倍と設定したが、この範囲は、文字種特定部１２６により特定された使用言語に応じて設定されてよい。
【００４１】
以上のように文字画素サイズ特定部１２８は、見出し文字の画素サイズと、記事文字の画素サイズを、高さ方向の画素数で特定する。文字画素サイズ特定部１２８は、全ての枠領域における画素サイズを特定し、枠領域の識別情報に対応づけてメインメモリ６０に保持させる。なお画像データに、文字の画素サイズを示すメタデータが付加されている場合には、文字画素サイズ特定部１２８は、そのメタデータを用いて文字の画素サイズを特定してもよい。
【００４２】
拡大率設定部１３２は、各枠領域に対して、各枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。複数の拡大率は、文字画素サイズ特定部１２８により特定された文字の画素サイズに応じて、枠領域を表示装置１２のディスプレイに表示する際の文字の読みやすさに配慮して設定される。
【００４３】
ディスプレイサイズ保持部１４０は、ディスプレイのサイズを保持する。ディスプレイサイズは、たとえば縦および横の長さで定義されてもよい。ディスプレイ解像度保持部１４２は、ディスプレイの解像度を保持する。ディスプレイ解像度は、縦および横の画素数で定義されてもよい。ディスプレイサイズ保持部１４０およびディスプレイ解像度保持部１４２は、ハードディスクドライブ５０に形成された格納領域であってよい。ディスプレイサイズおよび解像度は、予めユーザにより画像処理装置１０に入力されて、それぞれディスプレイサイズ保持部１４０およびディスプレイ解像度保持部１４２に保持される。なお表示装置１２がＨＤＭＩ機器である場合は、画像処理装置１０が表示装置１２に問い合わせることで、表示装置１２がディスプレイサイズおよび解像度を画像処理装置１０に知らせてもよい。
【００４４】
拡大率設定部１３２は、文字画素サイズ特定部１２８により特定された文字の画素サイズに応じて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。さらに詳細には、拡大率設定部１３２は、文字の画素サイズに加えて、ディスプレイサイズ保持部１４０に保持されたディスプレイサイズ、およびディスプレイ解像度保持部１４２に保持されたディスプレイ解像度にもとづいて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する。なお、拡大率設定部１３２は、ディスプレイサイズ、ディスプレイ解像度のいずれか一方にもとづいて複数の拡大率を設定してもよい。
【００４５】
後述するが、本実施例の画像処理装置１０は、新聞の表示処理に際して、まず表示装置１２のディスプレイに新聞画像を全面表示する。図９は、新聞画像が全面表示された様子を示す。全面表示をした場合、記事文字だけでなく、見出し文字も小さく表示される。ユーザが見出し文字および記事文字を読めるようにするために、画像処理装置１０は新聞画像を拡大表示する必要がある。
【００４６】
そこで画像処理装置１０は、新聞画像が全面表示された状態でユーザにより入力装置２０の○ボタン２２が押下されると、ある枠領域、たとえばＩＤ１で特定される枠領域２００（図８参照）をディスプレイに拡大表示するようにする。このとき、枠領域２００がディスプレイに対して大きければ、枠領域２００の全体をディスプレイに表示したときに、依然として見出し文字や記事文字が小さく、読みにくい事態も発生しうる。このような事態を回避するために、拡大率設定部１３２は、文字の画素サイズ、ディスプレイサイズおよびディスプレイ解像度をもとに、枠領域２００を表示する際の複数の拡大率を予め設定しておく。
【００４７】
以下、図８に示す枠領域２００を表示する際の拡大率の設定処理について説明するが、他の枠領域についても同様の拡大率設定処理を行う。図示されるように、ＩＤ１で特定される枠領域２００には、”Ｃｏａｃｈ ｂａｃｋ ｉｎ Ｊａｐａｎ”と記述される見出し文字と、その下方に記述される記事文字とが含まれる。
【００４８】
まず拡大率設定部１３２は、ディスプレイサイズおよびディスプレイ解像度から、ディスプレイの画素密度を求める。画素密度は、単位長あたりの画素数で表現される。続いて拡大率設定部１３２は、ディスプレイにおいてユーザが読みやすい基準文字サイズを決定する。基準文字サイズは、長さの単位で表現される。たとえば表示装置１２が据置型の大型ＴＶである場合、ユーザは数メートル離れた位置からディスプレイを見るため、読みやすい高さ方向の文字サイズは、約５センチメートル程度であると考えられる。一方、表示装置１２がディスプレイを備えた携帯端末装置である場合、ユーザは数１０センチメートルの位置からディスプレイを見るため、読みやすい高さ方向の文字サイズは、１センチメートル程度あれば十分と考えられる。このような事情を考慮して、拡大率設定部１３２は、ディスプレイサイズから据置型ＴＶであるか、または携帯端末装置であるかを判別し、ディスプレイサイズに応じた基準文字サイズを決定する。たとえばディスプレイの縦長さが１５ｃｍ以下であれば、携帯端末装置であると判定し、１５ｃｍよりも大きければ据置型ＴＶであると判定してもよい。
【００４９】
決定した基準文字サイズをＳｌ（単位は長さ）、ディスプレイの画素密度をＤｐ（単位は画素数／単位長）とすると、ディスプレイに表示されるべき文字の高さ方向の画素数は（Ｓｌ×Ｄｐ）となる。以下、この画素数を、基準画素数とよぶ。枠領域２００において、文字画素サイズ特定部１２８が、見出し文字の画素サイズ（単位は画素数）をＳａ、記事文字の画素サイズをＳｂ（＜Ｓａ）と特定していたとすると、拡大率設定部１３２は、見出し文字のための拡大率を（（Ｓｌ×Ｄｐ）／Ｓａ）２（以下、Ｅａと表記する）、記事文字のための拡大率を（（Ｓｌ×Ｄｐ）／Ｓｂ）２（以下、Ｅｂと表記する）と設定する。なお、見出し文字のための拡大率は、Ｅａ以上に設定されてもよく、また記事文字のための拡大率は、Ｅｂ以上に設定されてもよい。このように拡大率設定部１３２は、見出し文字がディスプレイの高さ方向において基準画素数以上となる拡大率と、記事文字が基準画素数以上となる拡大率を設定する。
【００５０】
これにより、枠領域２００を表示する際に、拡大率をＥａ以上にして記事画像を拡大表示すると、見出し文字が読むに十分な大きさとなり、また拡大率をＥｂ以上にして記事画像を拡大表示すると、記事文字が読むに十分な大きさとなる。拡大率設定部１３２は、他の枠領域についても同様に見出し文字のための拡大率と、記事文字のための拡大率を設定し、枠領域の識別情報に対応づけてメインメモリ６０に保持させる。なお本実施例において拡大率は１以上の値だけでなく、１以下の値も含むものとする。
【００５１】
位置関係特定部１３０は、枠領域間の位置関係を特定する。たとえば位置関係特定部１３０は、各枠領域の中心座標を定め、それぞれの中心座標をもとに、隣接する枠領域との間の位置関係を特定する。図８を参照して、枠領域２００の下には枠領域２０２が存在し、また右には枠領域２０６が存在する。同様に枠領域２０２の上には枠領域２００が存在し、右には枠領域２０６が存在し、また下には枠領域２０４が存在する。このように位置関係特定部１３０は、各枠領域について、その上下左右に存在する枠領域を特定し、その位置関係を枠領域の識別情報に対応づけてメインメモリ６０に保持させる。
【００５２】
以上のように、入力信号処理部１５０による入力信号の処理、および表示画像処理部１７０による表示画像の処理に先だって、拡大率設定部１３２が、設定した各枠領域における複数の拡大率を予め設定し、また位置関係特定部１３０が枠領域間の位置関係を特定しておく。これにより、入力信号処理部１５０および表示画像処理部１７０による各処理が実行される環境が整えられる。以下、制御部１００による表示処理について説明する。
【００５３】
画像処理装置１０の起動後、ユーザが１枚の新聞画像を選択すると、画像データ取得部１７４がＬ０タイル画像を取得し、デコード部１７６がデコードして、バッファメモリ７０に保持させる。表示画像生成部１８２は、バッファメモリ７０に保持された画像データを用いて、ディスプレイに収まるようにＬ０タイル画像を拡大または縮小して表示画像を生成してフレームメモリ９０に供給し、表示処理部４４がディスプレイに表示する。これにより、表示装置１２のディスプレイに新聞画像が全面表示される（図９参照）。
【００５４】
ユーザが入力装置２０を操作すると、画像変更要求信号が画像処理装置１０に送信される。信号受付部１５２は、入力装置２０から、ディスプレイに表示されている表示画像の変更要求信号を受け付ける。
【００５５】
ユーザが入力装置２０の○ボタン２２を押下すると、信号受付部１５２は、変更要求信号が枠領域２００の表示を要求していることを判定し、拡大率決定部１５４に通知する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１を用いて、拡大率設定部１３２により枠領域２００に対して設定された拡大率をメインメモリ６０から取得し、これから表示する枠領域２００の拡大率として決定する。このとき拡大率決定部１５４は、設定された複数の拡大率のうち、最小の拡大率を取得する。上記した例において、Ｅａ＜Ｅｂであるため、拡大率決定部１５４は、見出し文字の拡大率Ｅａを取得する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１および決定した拡大率Ｅａを表示画像処理部１７０に伝える。
【００５６】
また初期位置決定部１５６は、特定された文字種に応じて、枠領域２００の左上または右上のいずれかが表示画像に含まれるように枠領域の表示位置を決定する。たとえば、特定された文字種により英字新聞であることが判定された場合、英語は左から記述されるため、初期位置決定部１５６は、枠領域の左上隅が表示画像に必ず含まれるように枠領域の最初の表示位置を決定する。一方、特定された文字種により日本語新聞であることが判定された場合、日本語新聞では右から記述されるため、枠領域の右上隅が表示画像に必ず含まれるように枠領域の最初の表示位置を決定する。たとえば初期位置決定部１５６は、枠領域の左上隅または右上隅が、ディスプレイの左上隅または右上隅にくるように、最初の表示位置を決定してもよい。初期位置決定部１５６は、決定した表示位置を表示画像処理部１７０に伝える。
【００５７】
図１０は、図５に示す要求拡大率と使用するタイル画像の階層との関係表を示す。表示画像処理部１７０において、画像データ取得部１７４は、拡大率決定部１５４から枠領域２００の識別情報および決定された拡大率を受け取ると、決定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出す。画像データ取得部１７４は、図１０に示す関係表をテーブル形式で保持しており、決定された拡大率Ｅａに応じて、使用する階層を決定し、決定した階層において枠領域２００を含んだタイル画像をメインメモリ６０から取得する。デコード部１７６は、タイル画像をデコードし、バッファメモリ７０に保持させる。
【００５８】
空間座標決定部１８０は、拡大率決定部１５４により決定された拡大率Ｅａと、初期位置決定部１５６により決定された表示位置を受け取ると、拡大率および表示位置に対応したテクスチャ座標を導出して、空間座標を決定する。表示画像生成部１８２は、バッファメモリ７０に保持された画像データを用いて、決定された拡大率Ｅａに調整した表示画像を生成し、フレームメモリ９０に供給する。以上により、ディスプレイには、見出し文字が読みやすい大きさに調整された表示画像が映し出される。
【００５９】
図１１は、拡大率Ｅａに調整された枠領域２００の表示画像を示す。表示画像が拡大率Ｅａで表示されることで、見出し文字が読みやすい大きさに拡大されている。このように画像処理装置１０は、ユーザが面倒な操作を行うことなく、単純なボタン操作で画像を拡大表示できる。これにより、ユーザは見出し文字を認識でき、興味がある記事であれば、入力装置２０の△ボタン２５を押下して、記事文字を拡大する。
【００６０】
このとき信号受付部１５２は、変更要求信号が枠領域２００の拡大表示を要求していることを判定し、拡大率決定部１５４に通知する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１を用いて、拡大率設定部１３２により枠領域２００に対して設定された拡大率をメインメモリ６０から取得し、これから表示する枠領域２００の拡大率として決定する。このとき拡大率決定部１５４は、設定された複数の拡大率のうち、変更要求信号を受け付けた時点の拡大率（Ｅａ）に対して、その次に大きい値に設定されている拡大率（Ｅｂ）を選択して、取得する。拡大率決定部１５４は、枠領域２００の識別情報ＩＤ１および決定した拡大率Ｅｂを表示画像処理部１７０に伝える。また既述したように初期位置決定部１５６は、枠領域の表示位置を決定し、決定した表示位置を表示画像処理部１７０に伝える。
【００６１】
表示画像処理部１７０において、画像データ取得部１７４は、拡大率決定部１５４から枠領域２００の識別情報および決定された拡大率を受け取ると、決定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出す。画像データ取得部１７４は、図１０に示す関係表を参照して、決定された拡大率Ｅｂに応じて、使用する階層を決定し、決定した階層において枠領域２００を含んだタイル画像をメインメモリ６０から取得する。デコード部１７６は、タイル画像をデコードし、バッファメモリ７０に保持させる。
【００６２】
空間座標決定部１８０は、拡大率決定部１５４により決定された拡大率Ｅｂと、初期位置決定部１５６により決定された表示位置を受け取ると、拡大率および表示位置に対応したテクスチャ座標を導出して、空間座標を決定する。表示画像生成部１８２は、バッファメモリ７０に保持された画像データを用いて、決定された拡大率Ｅｂに調整した表示画像を生成し、フレームメモリ９０に供給する。以上により、ディスプレイには、記事文字が読みやすい大きさに調整された表示画像が映し出される。
【００６３】
図１２は、拡大率Ｅｂに調整された枠領域２００の表示画像を示す。表示画像が拡大率Ｅｂで表示されることで、見出し文字だけでなく、記事文字も読みやすい大きさに拡大されている。これにより、ユーザは、面倒な操作を必要とすることなく、記事文字を読むことができる。
【００６４】
なお枠領域が表示された状態でユーザが、十字キー２１を操作すると、信号受付部１５２は、変更要求信号が枠領域２００の変更を要求していることを判定し、初期位置決定部１５６に通知する。初期位置決定部１５６は、枠領域２００の識別情報ＩＤ１を用いて、位置関係特定部１３０により枠領域２００に対して特定された位置関係をメインメモリ６０から取得し、十字キー２１で指定された方向に存在する枠領域を特定する。たとえば十字キー２１で下方向が指示された場合には、初期位置決定部１５６が、枠領域２００の下に枠領域２０２が存在する情報を取得し（図８参照）、既述したように表示位置を決定し、決定した表示位置を表示画像処理部１７０に伝える。また初期位置決定部１５６は、枠領域２０２の識別情報ＩＤ２を拡大率決定部１５４に通知する。
【００６５】
拡大率決定部１５４は、初期位置決定部１５６から通知された識別情報ＩＤ２を用いて、拡大率設定部１３２により枠領域２０２に対して設定された拡大率をメインメモリ６０から取得し、これから表示する枠領域２０２の拡大率として決定する。拡大率決定部１５４は、設定された複数の拡大率のうち、最小の拡大率を取得し、枠領域２０２の識別情報および決定した拡大率を表示画像処理部１７０に伝える。表示画像処理部１７０は、これらの情報を用いて表示画像を生成し、表示処理部４４が、ディスプレイに、見出し文字が読みやすい大きさに調整された表示画像を映し出す。
【００６６】
なお以上は枠領域の段階的な表示処理について説明したが、入力装置２０のアナログスティック２７ａ、２７ｂを用いて、新聞画像を連続的に変化させるように表示することも可能である。信号受付部１５２が、アナログスティック２７を用いた変更要求信号を受け付けると、変更量導出部１７８が、変更要求信号をもとに、要求される表示画像の変更量を導出する。表示画像の変更量は、１フレームごとの上下左右方向の移動量および深さ方向の移動量である。空間座標決定部１８０は、前回フレームのテクスチャ座標から、導出された変更量により移動する今回フレームのテクスチャ座標を決定する。表示画像生成部１８２は、テクスチャ画像をもとに、バッファメモリ７０に保持された画像データを用いて、表示画像を生成し、フレームメモリ９０に供給する。なお枠領域が表示された状態でアナログスティック２７を用いて段階的に枠領域を変更することも可能である。
【００６７】
図１３は、本実施例における画像処理のフローチャートを示す。まず枠領域設定部１２２が、画像データのレイアウト構造を解析して区分けし、新聞画像に少なくとも１つの枠領域を設定する（Ｓ１０）。枠領域が設定されると、文字画素サイズ特定部１２８が、枠領域に含まれる文字の画素サイズを特定する（Ｓ１２）。続いて拡大率設定部１３２が、ディスプレイサイズ保持部１４０からディスプレイサイズを取得し（Ｓ１４）、ディスプレイ解像度保持部１４２からディスプレイ解像度を取得する（Ｓ１６）。拡大率設定部１３２は、ディスプレイサイズおよび解像度と、特定された文字の画素サイズにもとづいて、枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する（Ｓ１８）。これらのステップにより表示処理の環境が整い、表示画像処理部１７０は、入力装置２０より表示画像の変更要求信号を受け取ると、設定された拡大率に対応する解像度のタイル画像をメインメモリ６０から読み出し、その拡大率に調整した表示画像を生成する（Ｓ２０）。
【００６８】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
実施例では、枠領域を段階的に拡大表示する例を示したが、ユーザは入力装置２０の×ボタン２３を押下することで、枠領域の拡大前の状態に変更する、すなわち枠領域を縮小表示することも可能である。
【００７０】
実施例では、拡大率設定部１３２が、見出し文字および記事文字が読みやすい大きさとなる拡大率Ｅａ、Ｅｂを決定し、それぞれの文字の拡大率をＥａ以上、Ｅｂ以上となるように設定してもよいとした。変形例では、拡大率に上限を設定する。このとき、拡大率設定部１３２は、最小の基準文字サイズＳｌｍｉｎと、最大の基準文字サイズＳｌｍａｘを設定する。ここでＳｌｍｉｎは、実施例における基準文字サイズＳｌに対応する。
【００７１】
見出し文字の拡大率Ｅｈは、以下の範囲の値をとりうる。
（（Ｓｌｍｉｎ×Ｄｐ）／Ｓａ）２＜＝Ｅｈ＜＝（（Ｓｌｍａｘ×Ｄｐ）／Ｓａ）２
同様に記事文字の拡大率Ｅｉは、以下の範囲の値をとりうる。
（（Ｓｌｍｉｎ×Ｄｐ）／Ｓｂ）２＜＝Ｅｉ＜＝（（Ｓｌｍａｘ×Ｄｐ）／Ｓｂ）２
拡大率設定部１３２は、拡大率Ｅｈ、Ｅｉを、それぞれ上記の許容範囲内で設定できるが、Ｓａ、Ｓｂの値によっては、それぞれの許容範囲に重複が生じ、Ｅｈ、Ｅｉを同一値にすることも可能となる。
【００７２】
実施例では、枠領域２００を表示する際に、見出し文字と記事文字の拡大率を異ならせて設定しているが、枠領域２００が小さければ、見出し文字と記事文字の拡大率を同じくして、枠領域２００をディスプレイに全面表示することが好ましい。そこで、拡大率設定部１３２は、Ｅｈ、Ｅｉがそれぞれの許容範囲内であって、枠領域２００を全面表示させる拡大率が存在すれば、それを１つの拡大率として設定してもよい。具体的に拡大率設定部１３２は、枠領域２００をディスプレイに全面表示するときの拡大率を求め、その拡大率が、上記したＥｈ、Ｅｉのそれぞれの許容範囲に含まれていれば、その拡大率を、複数の拡大率の１つとして設定する。
【００７３】
なお、この手法は、拡大率の上限を設定しない場合においても利用でき、実施例において、見出し文字の拡大率をＥａ以上、記事文字の拡大率をＥｂ以上に設定可能である場合に、枠領域を全面表示するときの拡大率が、Ｅａ以上、Ｅｂ以上の値であれば、拡大率設定部１３２が、全面表示時の拡大率を、複数の拡大率の１つとして設定してもよい。
【００７４】
また拡大率設定部１３２は、ユーザのプロファイル情報に応じて、拡大率を設定してもよい。ここでプロファイル情報は、たとえばユーザの年齢情報であってよく、ユーザが画像処理装置１０にログインしたときに、拡大率設定部１３２が、ユーザ情報に対応付けられたプロファイル情報を取得してもよい。子供や老人は、小さい文字を判別しにくい傾向にあるため、拡大率設定部１３２は、ユーザが所定年齢（たとえば６歳）以下、および所定年齢以上（たとえば６５歳以上）である場合に、上記した見出し文字の拡大率、および記事文字の拡大率を、Ｋ倍（Ｋは１より大きい値）して、子供用、老人用の拡大率を設定してもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】画像処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】画像処理装置の機能ブロック図である。
【図５】階層間の関係を説明するための説明図である。
【図６】画像処理装置における制御部の構成を示す図である。
【図７】新聞のスキャン画像の一例を示す図である。
【図８】枠領域設定部により設定された枠領域を示す図である。
【図９】新聞画像が全面表示された様子を示す図である。
【図１０】要求拡大率と使用するタイル画像の階層との関係表を示す図である。
【図１１】拡大率Ｅａに調整された枠領域の表示画像を示す図である。
【図１２】拡大率Ｅｂに調整された枠領域の表示画像を示す図である。
【図１３】本実施例における画像処理のフローチャートを示す図である。
【符号の説明】
【００７６】
１・・・画像処理システム、１０・・・画像処理装置、１２・・・表示装置、２０・・・入力装置、３８・・・タイル画像、４４・・・表示処理部、５０・・・ハードディスクドライブ、６０・・・メインメモリ、７０・・・バッファメモリ、９０・・・フレームメモリ、１００・・・制御部、１２０・・・画像データ解析部、１２２・・・枠領域設定部、１２４・・・枠領域解析部、１２６・・・文字種特定部、１２８・・・文字画素サイズ特定部、１３０・・・位置関係特定部、１３２・・・拡大率設定部、１４０・・・ディスプレイサイズ保持部、１４２・・・ディスプレイ解像度保持部、１５０・・・入力信号処理部、１５２・・・信号受付部、１５４・・・拡大率決定部、１５６・・・初期位置決定部、１７０・・・表示画像処理部、１７４・・・画像データ取得部、１７６・・・デコード部、１７８・・・変更量導出部、１８０・・・空間座標決定部、１８２・・・表示画像生成部、２００，２０２，２０４，２０６，２０８・・・枠領域。
【特許請求の範囲】
【請求項１】
画像をディスプレイに表示する画像処理装置であって、
異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データを保持する記憶装置と、
少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する文字画素サイズ特定部と、
ディスプレイに表示されている表示画像の変更要求信号を受け付ける受付部と、
前記変更要求信号を受け付けると、特定された文字の画素サイズに応じた拡大率に対応する解像度のタイル画像を前記記憶装置から読み出して、その拡大率に調整した表示画像を生成する表示画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する拡大率設定部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ディスプレイのサイズを保持するディスプレイサイズ保持部をさらに備え、
前記拡大率設定部は、文字の画素サイズおよびディスプレイサイズにもとづいて、前記複数の拡大率を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ディスプレイの解像度を保持するディスプレイ解像度保持部をさらに備え、
前記拡大率設定部は、文字の画素サイズおよびディスプレイ解像度にもとづいて、前記複数の拡大率を設定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記表示画像処理部は、設定された複数の拡大率のうち、前記変更要求信号を受け付けた時点の表示画像の拡大率に対して、その次に大きい値に設定されている拡大率に調整した表示画像を生成することを特徴とする請求項２から４のいずれかに記載の画像処理装置。
【請求項６】
前記文字画素サイズ特定部が、枠領域に含まれる文字の画素サイズに、第１サイズと、第１サイズよりも小さい第２サイズが存在することを特定したとき、
前記拡大率設定部は、第２サイズの文字がディスプレイの所定方向において所定の画素数以上となる拡大率を少なくとも１つ設定することを特徴とする請求項２から５のいずれかに記載の画像処理装置。
【請求項７】
前記拡大率設定部は、第１サイズの文字がディスプレイの所定方向において所定の画素数以上となる第１拡大率と、第２サイズの文字がディスプレイの所定方向において所定の画素数以上となる第２拡大率とを設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
枠領域に含まれる文字種を特定する文字種特定部と、
特定された文字種に応じて、枠領域の左上または右上のいずれかが表示画像に含まれるように表示位置を決定する位置決定部と、
をさらに備えることを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
画像データのレイアウト構造を解析して区分けし、少なくとも１つの枠領域を設定する枠領域設定部をさらに備えることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
コンピュータに、
記憶装置に保持されている、異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データのうち、少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する機能と、
ディスプレイに表示されている表示画像の変更要求信号を受け付ける機能と、
前記変更要求信号を受け付けると、特定された文字の画素サイズに応じた拡大率に対応する解像度のタイル画像を記憶装置から読み出して、その拡大率に調整した表示画像を生成する機能と、
を実現させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像をディスプレイに表示する画像処理装置であって、
異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データを保持する記憶装置と、
少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する文字画素サイズ特定部と、
ディスプレイに表示されている表示画像の変更要求信号を受け付ける受付部と、
前記変更要求信号を受け付けると、特定された文字の画素サイズに応じた拡大率に対応する解像度のタイル画像を前記記憶装置から読み出して、その拡大率に調整した表示画像を生成する表示画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記枠領域内の少なくとも一部の文字を表示する際の複数の拡大率を設定する拡大率設定部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ディスプレイのサイズを保持するディスプレイサイズ保持部をさらに備え、
前記拡大率設定部は、文字の画素サイズおよびディスプレイサイズにもとづいて、前記複数の拡大率を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ディスプレイの解像度を保持するディスプレイ解像度保持部をさらに備え、
前記拡大率設定部は、文字の画素サイズおよびディスプレイ解像度にもとづいて、前記複数の拡大率を設定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記表示画像処理部は、設定された複数の拡大率のうち、前記変更要求信号を受け付けた時点の表示画像の拡大率に対して、その次に大きい値に設定されている拡大率に調整した表示画像を生成することを特徴とする請求項２から４のいずれかに記載の画像処理装置。
【請求項６】
前記文字画素サイズ特定部が、枠領域に含まれる文字の画素サイズに、第１サイズと、第１サイズよりも小さい第２サイズが存在することを特定したとき、
前記拡大率設定部は、第２サイズの文字がディスプレイの所定方向において所定の画素数以上となる拡大率を少なくとも１つ設定することを特徴とする請求項２から５のいずれかに記載の画像処理装置。
【請求項７】
前記拡大率設定部は、第１サイズの文字がディスプレイの所定方向において所定の画素数以上となる第１拡大率と、第２サイズの文字がディスプレイの所定方向において所定の画素数以上となる第２拡大率とを設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
枠領域に含まれる文字種を特定する文字種特定部と、
特定された文字種に応じて、枠領域の左上または右上のいずれかが表示画像に含まれるように表示位置を決定する位置決定部と、
をさらに備えることを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
画像データのレイアウト構造を解析して区分けし、少なくとも１つの枠領域を設定する枠領域設定部をさらに備えることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
コンピュータに、
記憶装置に保持されている、異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データのうち、少なくとも１つの解像度の画像データに設定された枠領域に含まれる文字の画素サイズを特定する機能と、
ディスプレイに表示されている表示画像の変更要求信号を受け付ける機能と、
前記変更要求信号を受け付けると、特定された文字の画素サイズに応じた拡大率に対応する解像度のタイル画像を記憶装置から読み出して、その拡大率に調整した表示画像を生成する機能と、
を実現させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１０９７００（Ｐ２０１０−１０９７００Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２７９７８１（Ｐ２００８−２７９７８１）
【出願日】平成２０年１０月３０日（２００８．１０．３０）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月３０日（２００８．１０．３０）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]