画像処理装置
【課題】画像種別に応じて、適切に画像データを処理する技術を提供する。
【解決手段】表示対象決定部１０４が表示対象となる画像データを決定すると、再生制御部８２が、表示対象となる画像データの種別を特定する。再生制御部８２は、特定した種別に応じて、表示バッファ７２の領域を分割する。画像表示制御部９０が予備バッファ７４に記憶された画像データを用いて画像を表示装置１２に表示している間に、デコード実行部８４は、画像データをデコードして、表示バッファ７２の分割領域に記憶する。
【解決手段】表示対象決定部１０４が表示対象となる画像データを決定すると、再生制御部８２が、表示対象となる画像データの種別を特定する。再生制御部８２は、特定した種別に応じて、表示バッファ７２の領域を分割する。画像表示制御部９０が予備バッファ７４に記憶された画像データを用いて画像を表示装置１２に表示している間に、デコード実行部８４は、画像データをデコードして、表示バッファ７２の分割領域に記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
ユーザによる表示画像を変更する切替表示指示に応じて、ハードディスクドライブなどの記憶装置に保存された複数の写真画像をディスプレイに次々に切り替えて表示させるビューワが存在する。デコード処理などの画像処理が、画像表示に追いつかなくなる状況を回避するために、表示対象となる可能性の高さに応じた順序で、画像データを先読みして処理する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＵＳ２００９／０２９５９７７号公開公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラの機能および性能の向上に伴って、互いに関連をもつ複数の画像データをまとめて記録するフォーマットが規定されている。カメラ映像機器工業会（Camera & Imaging Products Association）により策定された規格（standard）は、複数の画像データを記録するためのデータ構造を定義し、このデータ構造を用いた「マルチピクチャフォーマット（Multi-Picture Format）」と呼ばれるフォーマットを規定している。
【０００５】
マルチピクチャフォーマットでは、画像の種別として「マルチビュー」が定義されている。マルチビューは細分として、「パノラマ」、「立体視」、「マルチアングル」の種別を有し、細分化された各種別はビューワにおける表示形式を指定する。この画像種別は、デジタルカメラの撮影時に、ユーザが撮影モードを設定することで決定され、撮影された複数の画像データは、デジタルカメラの内部回路により、画像種別コードを含めた１つの画像ファイルとしてまとめられる。デジタルカメラにより多様な種別の写真画像が生成されることに伴い、ビューワには、画像データを適切に再生する機能を搭載することが求められている。
【０００６】
そこで本発明は、画像種別に応じて、適切に画像データを処理する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の画像処理装置は、画像データを復号する再生処理部と、復号された画像データを記憶する表示バッファと、表示バッファに記憶された画像データをディスプレイに表示させる画像表示制御部とを備え、再生処理部は、表示対象となる画像データの種別に応じて、表示バッファの領域を分割して、分割した領域に復号した画像データを記憶させる。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明の画像処理技術によると、適切に画像データを処理する技術を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】画像処理装置の機能ブロックを示す図である。
【図４】ＭＰフォーマットの基本構造を示す図である。
【図５】制御部および表示処理部の再生処理に関する機能ブロックを示す図である。
【図６】表示装置に表示されるメニュー画面の一例を示す図である。
【図７】（ａ）は、バッファメモリの構成を示す図であり、（ｂ）はバッファメモリの使用状況の例を示す図である。
【図８】（ａ）および（ｂ）は、バッファメモリの使用状況の例を示す図である。
【図９】デコード中にディスプレイに表示される代表画像を示す図である。
【図１０】デコード完了後にディスプレイに表示される代表画像を示す図である。
【図１１】画像再生処理のフローチャートを示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施例にかかる画像処理システム１の使用環境を示す。画像処理システム１は、ユーザが操作する入力装置２０と、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）により無線接続されてもよい。なお画像処理装置１０、入力装置２０および表示装置１２は、一体に形成されて、画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１２】
画像処理システム１において、画像処理装置１０は、ケーブル１４を介してパーソナルコンピュータなどの外部機器と接続し、外部機器から画像データを取得できる。また画像処理装置１０はＵＳＢ（Universal Serial Bus）端子を有し、デジタルカメラとＵＳＢケーブルで接続して、デジタルカメラから画像データを取得できる。また画像処理装置１０はメディアドライブを有し、ＲＯＭ媒体から画像データを取得してもよく、ネットワーク経由で外部サーバなどから画像データを取得してもよい。
【００１３】
画像処理装置１０は、たとえばゲーム装置であって、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現する。なお画像処理装置１０は、パーソナルコンピュータであってもよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。
【００１４】
図２は、入力装置２０の外観構成を示す。入力装置２０は、その筐体表面において、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。また入力装置２０の筐体背面には、左側にＬ１ボタン２９ａ、右側にＲ１ボタン２９ｂが設けられている。ユーザは、左グリップ２８ａを左手で把持し、右グリップ２８ｂを右手で把持して、各操作手段を操作する。
【００１５】
入力装置２０は、ユーザにより入力された操作信号を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、ユーザにより入力された操作信号を画像処理装置１０に伝送してもよい。
【００１６】
図３は、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００１７】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された操作信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００１８】
またスイッチ４２は、ケーブル１４を介して外部機器に接続し、外部機器から、複数の画像ファイルを取得する。複数の画像ファイルは、マルチピクチャフォーマット（以下、「ＭＰフォーマット」と呼ぶ）で規定された画像ファイル（以下、「ＭＰファイル」とも呼ぶ）であってよい。画像ファイルは、複数の画像データを関連付けたものを含み、複数の画像データを関連付けたＭＰファイルとしては、「マルチビュー」の画像種別が定義されている。なお、複数の画像データの関連付けは、複数の画像データ間の関連情報を別ファイルで記述することで行われてもよい。また、個々の画像データのファイル名を所定のルールで生成して、同一フォルダに格納することで、複数の画像データの関連付けがなされてもよい。このように、複数の画像データの関連付けは、様々な手法によって行われてよいが、以下では、関連付けがＭＰファイルによりなされている場合を例に説明する。
【００１９】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信されたＭＰファイルは、ハードディスクドライブ５０に格納される。表示処理の際、ハードディスクドライブ５０に格納されたＭＰファイルは、デコード処理されて、バッファメモリ７０に記憶される。
【００２０】
記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。ＭＰファイルは、リムーバブル記録媒体またはＲＯＭディスクに記録されていて、記録媒体装着部５２またはディスクドライブ５４からハードディスクドライブ５０にインストールされてもよく、また表示処理の実行時にデコード処理されてバッファメモリ７０に記憶されてもよい。
【００２１】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２２】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０はＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２３】
図４は、ＭＰフォーマットの基本構造を示す。このＭＰフォーマットは、複数の画像データを関連づけた構造を示しており、ＭＰファイルは、先頭画像に続いて、単一または複数の個別画像を記録することができる。図４には、先頭画像（個別画像（１））に続く画像として、１つの個別画像（２）のみが示されているが、複数の個別画像が、先頭画像に続けて記録されていてもよい。先頭画像およびそれに続く個別画像は、原則として、Ｅｘｉｆ付属情報と、ＭＰフォーマット付属情報を有している。
【００２４】
（Ｅｘｉｆ付属情報）
Ｅｘｉｆ（Exchangeable Image File Format）は、画像ファイルを記録するためのフォーマットであり、画像データとあわせて、撮影時の様々な付属情報を画像ファイルに含めることができる。Ｅｘｉｆ付属情報には、撮影日時やカメラ機種名、シャッタースピード、絞り値の設定といった撮影に関する情報と、撮影した画像データを正しく読み取るための圧縮モード、色空間、画素数などの情報が含まれる。また、Ｅｘｉｆ付属情報には、撮影した画像のサムネイル画像も含まれる。
【００２５】
（ＭＰフォーマット付属情報）
先頭画像のＭＰフォーマット付属情報には、ＭＰヘッダ、ＭＰインデックス、ＭＰ個別情報が含まれる。ＭＰヘッダは、ＭＰインデックスへのオフセットを記録する。
また先頭画像以外のＭＰフォーマット付属情報には、ＭＰヘッダ、ＭＰ個別情報が含まれる。ＭＰヘッダは、ＭＰ個別情報へのオフセットを記録する。
【００２６】
（１）ＭＰインデックス
ＭＰインデックスは、先頭画像にのみ含まれる。ＭＰインデックスは、少なくとも以下のインデックス情報を含んで構成される。
ａ）記録画像数
ＭＰファイル中に含まれる個別画像の数を示す。本実施例において、「マルチアングル」画像ファイルには、最大で１５個の個別画像が含まれ、「立体視」画像ファイルには、左目用、右目用の２個の個別画像が含まれる。
ｂ）ＭＰエントリ
個別画像種別管理情報、個別画像サイズ、個別画像データオフセット、従属画像エントリ番号からなるデータ群を示す。このうち、個別画像種別管理情報は、少なくとも以下の管理情報を含んで構成される。
ｂ−１）代表画像フラグ
個別画像が代表画像の場合、１に設定され、代表画像でない場合、０に設定される。１つのＭＰファイル内で、代表画像フラグが１である個別画像の数は２以上であってはならない。代表画像は、ＭＰファイル内の全ての個別画像を代表する。
ｂ−２）種別コード
個別画像のＭＰ種別を示す。ＭＰフォーマットでは、複数の異なる視点から撮影したマルチビュー画像が定義されている。マルチビュー個別画像の細分（種別）として、「パノラマ」、「立体視」、「マルチアングル」が定義されている。これらの種別を示す、「パノラマ」、「立体視」、「マルチアングル」のそれぞれに種別コードが設定されている。撮影時、ユーザが撮影モードを選択することで、ＭＰ種別が決定され、種別コードがインデックス情報として付加される。
（２）ＭＰ個別情報
ＭＰ個別情報は、撮影モードに応じた情報を含む。「パノラマ」モードで撮影された場合には、複数の個別画像を１枚のパノラマ画像にするときの配置情報や、オーバーラップさせる２つの連続画像の幅情報が含まれる。また、「立体視」モードで撮影された場合には、基準視点に対する輻輳角情報や、基準視点に対する基線長情報が含まれる。また、「マルチアングル」モードで撮影された場合には、水平軸方向の距離、鉛直軸方向の距離、視準軸方向の距離、および鉛直軸回りの回転運動の角度（ヨー角）、水平軸回りの回転運動の角度（ピッチ角）、視準軸回りの回転運動の角度（ロール角）の情報が含まれる。
【００２７】
以下、画像ファイルの再生処理について説明する。
図５は、制御部１００および表示処理部４４の再生処理に関する機能ブロックを示す。画像処理装置１０は、入力受付部１０２、表示対象決定部１０４、画像データ読出部１０６、再生処理部８０、バッファメモリ７０、画像表示制御部９０およびハードディスクドライブ５０を備える。再生処理部８０は、再生制御部８２およびデコード実行部８４を有し、バッファメモリ７０は、表示バッファ７２および予備バッファ７４を有する。画像処理装置１０における再生処理機能は、画像処理装置１０にインストールされた画像処理アプリケーション（以下、「画像ビューワ」と呼ぶ）により実現される。
【００２８】
図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００には１つのＰＰＵと複数のＳＰＵとが設けられており、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２９】
ハードディスクドライブ５０は、関連付けられた複数の画像データを記憶する記憶部である。なお本実施例の画像ビューワは、ハードディスクドライブ５０に格納された写真画像だけでなく、外部の記録媒体に記録されている写真画像も再生できる。また、画像ビューワは、複数の画像データが関連づけられたＭＰファイルを再生する機能を有するが、ＪＰＥＧやＧＩＦなどの通常フォーマットで圧縮された一枚の画像データを再生する機能も当然に有する。以下、画像ビューワが、ハードディスクドライブ５０に格納されている画像データを再生する場合について説明する。以下、ＭＰファイルや、ＪＰＥＧやＧＩＦなどで圧縮されたファイルをまとめて、単に画像ファイルと呼ぶこともある。
【００３０】
画像処理装置１０において、システムソフトウェアは、画像ファイルをハードディスクドライブ５０にインストールする際には、画像ファイルに含まれる付属情報を参照してファイルチェックを行う。画像ファイルが正常であれば、システムソフトウェアは、ファイル形式などの属性情報を抽出して、ハードディスクドライブ５０に記憶する。インストール時、システムソフトウェアは、画像データを縮小して、サムネイル画像を生成してもよい。
【００３１】
たとえば画像ファイルがＭＰファイルである場合には、システムソフトウェアは、付属情報の少なくとも一部を抽出して、属性情報としてハードディスクドライブ５０に記憶する。抽出される付属情報には、サムネイル画像など、メニュー画面に表示されるデータが含まれる。またシステムソフトウェアは、ＭＰファイルの付属情報から、ＭＰファイルの表示形式を特定し、属性情報としてハードディスクドライブ５０に記憶する。図４に関して説明したように、ＭＰインデックスには、個別画像のＭＰ種別を示す種別コードが含まれている。システムソフトウェアは、種別コードを参照して、ＭＰファイルの表示形式を特定する。たとえば、種別コードが「マルチアングル」の画像種別を示す場合、システムソフトウェアは、ＭＰファイルの表示形式をマルチアングルと特定し、種別コードが「立体視」の画像種別を示す場合、システムソフトウェアは、ＭＰファイルの表示形式を立体視と特定する。再生モードにおいて、「マルチアングル」の表示形式では、ユーザによる切替表示指示に応じて、複数の方向から撮影された画像が切り替えて表示され、「立体視」の表示形式では、右目用の画像と左目用の画像とが表示される。このようにシステムソフトウェアは、ＭＰファイルに記録されている種別コードに応じて、ＭＰファイルの表示形式を特定する。なお、上記したように、種別コードと表示形式とを一対一に対応させてもよいが、たとえば画像ファイルの種別コードが「立体視」であっても、その画像ファイルに３枚以上の画像が含まれる場合には、システムソフトウェアが、その画像ファイルの表示形式を「マルチアングル」として特定してもよい。以下、「画像データの種別」は、表示形式を意味する用語として用いる。
【００３２】
図６は、表示装置１２に表示されるメニュー画面の一例を示す。本実施例の画像処理装置１０では、システムソフトウェアがメニュー画面を生成する。横方向に配列された複数のフォルダ画像のうち、フォルダ画像２００は、写真コンテンツのフォルダを示す。縦方向には、アイコン画像２０２、２０４、２０６が配列される。ユーザは、入力装置２０を操作して所望のアイコン画像をフォーカス領域の位置までスクロールさせて動かし、入力装置２０の所定のボタンを押下することで、そのアイコン画像に対応付けられている処理を実行させることができる。図６の例では、写真コンテンツのアイコン画像２０２がフォーカス領域に配置され、ユーザが入力装置２０の○ボタン２２を押下すると再生指示が生成され、画像ビューワが起動される。なお、図６に示すメニュー画面には、画像データを記録した記録媒体のアイコン画像を示していないが、フォトアイコン画像の直下に、記録媒体のアイコン画像が表示され、媒体アイコン画像の直下または右方に、アイコン画像２０２、２０４、２０６が配列されてもよい。
【００３３】
システムソフトウェアは、画像ファイルにサムネイル画像が含まれている場合には、そのサムネイル画像を用いて、アイコン画像を生成する。なお、画像ファイルにサムネイル画像が含まれていない場合には、画像データを縮小して、アイコン画像を生成する。ＭＰファイルについては、システムソフトウェアは、ハードディスクドライブ５０から属性情報を読み出して、代表画像フラグが１に設定されている個別画像のサムネイル画像を特定し、アイコン画像を生成する。
【００３４】
図６に示すメニュー画面において、ユーザが入力装置２０の所定のボタンを押下すると、画像ファイルの再生指示が形成されて画像ビューワが起動される。これにより、フォーカス領域に配置されたアイコン画像２０２で特定される画像ファイルの再生処理が開始される。
【００３５】
本実施例において、ハードディスクドライブ５０に記憶される複数の画像ファイルには、画像ビューワによる表示順序が予め設定されている。この表示順序は、ハードディスクドライブ５０において各画像ファイルが記憶された順序であってもよく、また各画像ファイルの生成日時（撮影日時）にしたがった順序であってもよい。画像ビューワが起動され、表示装置１２に画像が表示されると、ユーザは、入力装置２０の筐体背面に設けられたＬ１ボタン２９ａまたはＲ１ボタン２９ｂを押下することで、表示対象となる画像ファイルを切り替えることができる。ある画像ファイルがデコードされて表示装置１２に表示されている場合、ユーザがＬ１ボタン２９ａを押下すると、一つ前の画像ファイルがデコードされて表示装置１２に表示され、一方でＲ１ボタン２９ｂを押下すると、一つ先の画像ファイルがデコードされて表示装置１２に表示される。このように画像処理装置１０において、ユーザによるＬ１ボタン２９ａボタンの操作は、所定の順序が設定された画像ファイル列に対して逆方向表示指示を形成し、一方で、ユーザによるＲ１ボタン２９ｂの操作は、画像ファイル列に対して順方向表示指示を形成する。以下、表示画像を切り替える指示を、「切替表示指示」と呼ぶ。
【００３６】
入力受付部１０２が、図６に示すメニュー画面において再生指示を受け付けると、表示対象決定部１０４が、表示対象となる画像ファイルを決定する。表示対象決定部１０４は、アイコン画像２０２で特定される画像ファイルを表示対象として決定し、画像データ読出部１０６は、ハードディスクドライブ５０から、表示対象となる画像ファイルおよびその属性情報を読み出して、再生処理部８０に供給する。なお、図５においては、画像データ読出部１０６が、再生処理部８０に画像ファイル等を直接供給している様子が示されているが、実際には、画像データ読出部１０６は、ハードディスクドライブ５０から読み出した画像ファイル等を一旦メインメモリ６０に記憶し、再生処理部８０が、メインメモリ６０に読み出された画像ファイル等を取得する構成となっている。
【００３７】
表示順序が定められた画像ファイル列において、表示対象となる画像ファイルの位置（順序）がｐであるとし、この画像ファイルをＩ（ｐ）で表現する。表示対象決定部１０４はＩ（ｐ）を特定すると、画像データ読出部１０６に通知する。この通知を受けると、画像データ読出部１０６は、ｐ番目の画像ファイルＩ（ｐ）だけでなく、その前後の所定の数の画像ファイルを、先読み対象として選択する。例えば所定の数が２であれば、画像データ読出部１０６は、Ｉ（ｐ−２）、Ｉ（ｐ−１）、Ｉ（ｐ）、Ｉ（ｐ＋１）、Ｉ（ｐ＋２）の５つの画像ファイルを読み出し、再生処理部８０に供給する。前後の画像ファイルを先読みするのは、ユーザによる切替表示指示の前に、前後の画像ファイルを予め復号（デコード）しておき、その後のユーザによる切替表示指示に対してリアルタイムで画像を表示できるようにするためである。
【００３８】
再生処理部８０は、画像ファイルを取得し、画像データを復号する機能を有する。再生処理部８０は、バッファメモリ７０を利用して、画像データの種別に応じた効率的なデコード処理を実行する。
【００３９】
図７（ａ）は、バッファメモリ７０の構成を示す。バッファメモリ７０は、表示バッファ７２および予備バッファ７４から構成される。表示バッファ７２および予備バッファ７４は、それぞれ３２Ｍバイトの容量を有する。本実施例において、表示バッファ７２および予備バッファ７４は、再生処理部８０によりデコードされた画像データを記憶する。表示バッファ７２は、１つの画像ファイルをデコードした画像データを記憶する。また予備バッファ７４は、原則として、先読みされた画像データをデコードした画像データを記憶する。なお表示バッファ７２と予備バッファ７４は、同じ記憶容量を有してなくてもよく、表示バッファ７２の記憶容量の方が大きくてもよい。
【００４０】
本実施例の画像処理装置１０において、ユーザが入力装置２０を操作して、切替表示指示が生成されると、画像表示制御部９０は、既にデコードされている画像データを予備バッファ７４から読み出して表示装置１２に表示し、再生処理部８０が、表示対象となる画像データをデコードして表示バッファ７２に格納した時点で、画像表示制御部９０が、画像データを表示バッファ７２から読み出して表示装置１２に表示させるようにする。
【００４１】
再生処理部８０において、デコード実行部８４は、画像データ読出部１０６により読み出された画像データをデコードし、再生制御部８２は、デコード実行部８４による復号処理を制御する。また再生制御部８２は、バッファメモリ７０における各バッファの分割処理を実行する。具体的に再生制御部８２は、予備バッファ７４の記憶領域を、所定の分割数で分割し、表示バッファ７２の記憶領域を、表示対象となる画像データの種別に応じた分割数で分割する。分割数は、表示対象となる画像ファイルに含まれる画像データの数以上に設定される。たとえば、マルチアングル画像ファイルや立体視画像ファイルなど、１つの画像ファイルが複数の画像データを含む場合、再生制御部８２は、デコード実行部８４によりデコードされた複数の画像データのそれぞれを、表示バッファ７２の分割した記憶領域に記憶させる。再生制御部８２は、画像データの種別を、ハードディスクドライブ５０に記憶されている属性情報から特定してもよいし、画像ファイルに含まれる属性情報から特定してもよい。再生制御部８２は、表示バッファ７２の記憶領域の分割数を、表示対象となる画像ファイルに含まれる画像データの数以上とすることで、画像ファイルに含まれる画像データのデコード結果の全てを、表示バッファ７２に記憶させることが可能となる。これにより、画像表示制御部９０は、表示バッファ７２のみを用いて、１つの画像ファイルに含まれる画像を表示装置１２に表示させることができるようになる。
【００４２】
本実施例において、画像データの種別は、ＭＰフォーマットにおける「マルチアングル」、「立体視」、「パノラマ」と、一枚の画像データを圧縮するＪＰＥＧやＧＩＦなどの「通常フォーマット」を含む。
【００４３】
図７（ｂ）は、バッファメモリ７０の使用状況の一例を示す。本実施例において、予備バッファ７４は、その記憶領域を８分割されて、４Ｍバイトの領域を８つ作成される。この分割処理は、再生制御部８２により実行される。したがって、予備バッファ７４は、最大で８つの画像ファイルに含まれる画像データのデコード結果を記憶することができる。なお、バッファメモリ７０において、予備バッファ７４の分割数は８個に固定されるが、表示バッファ７２の分割数は、以下に例示するように、表示対象となる画像ファイルの種別によって定められる。なお、本実施例において、分割数は、分割処理により区分けされる記憶領域の数を示し、再生制御部８２が表示バッファ７２を分割しない場合、分割数は１となる。
【００４４】
図７（ｂ）に示す表示バッファ７２の分割数は１である。再生制御部８２は、表示対象となる画像データの種別が「パノラマ」または「通常フォーマット」である場合、表示バッファ７２の領域を１分割して（１分割とは、分割しないことを示す）、表示バッファ７２に、デコード実行部８４で復号した画像データを記憶させる。
【００４５】
表示対象決定部１０４が表示対象となる画像データを決定し、再生制御部８２に通知すると、再生制御部８２は、予備バッファ７４にデコード済みの画像データが記憶されていなければ、デコード実行部８４に対して、予備バッファ７４用に画像データをデコードするように指示する。上記したように、予備バッファ７４の分割領域は４Ｍバイトであり、３２Ｍバイトの表示バッファ７２に画像データをデコードするよりも迅速な処理ができる。したがって、再生制御部８２は、まず予備バッファ７４の分割領域に合わせたサイズで画像データをデコードするようにデコード実行部８４に指示する。画像表示制御部９０は、予備バッファ７４の分割領域に、表示対象となる画像データがデコードされて記憶されると、その画像データを読み出して表示装置１２に表示する。なお、予備バッファ７４にデコード済みの画像データが既に記憶されている場合、画像表示制御部９０は、デコード済みの画像データを予備バッファ７４から読み出して、表示装置１２に表示する。
【００４６】
このように画像を迅速に表示装置１２に表示しつつ、再生制御部８２は、表示バッファ７２の分割領域に合わせたサイズで画像データをデコードするようにデコード実行部８４に指示する。図７（ｂ）の例では、表示バッファ７２が分割されていないため（分割数は１）、分割領域は３２Ｍバイトであり、したがってデコード実行部８４は、３２Ｍバイトの範囲内で画像データをデコードし、表示バッファ７２に記憶する。表示バッファ７２に画像データが記憶されると、再生制御部８２が画像表示制御部９０に対して画像データの切替指示を発行し、画像表示制御部９０は、この切替指示を受けて、表示バッファ７２から画像データを読み出し、表示装置１２に表示する。予備バッファ７４に記憶される画像データは、表示バッファ７２に記憶される画像データの画素数を間引いたものであってもよい。このように、原則として、予備バッファ７４には、表示の迅速性を目的として、データ量の少ない画像データが記憶され、一方で、表示バッファ７２には、表示の高精細性を目的として、データ量の多い画像データが記憶される。これにより、ユーザに対して迅速に画像を提供できるとともに、表示バッファ７２に、デコード済みの画像データを記憶した後は、高精細な画像をユーザに提供できるようになる。
【００４７】
図８（ａ）は、バッファメモリ７０の使用状況の別の例を示す。予備バッファ７４は、図７（ｂ）に関して説明したように、８分割されることに変わりない。図８（ａ）に示す表示バッファ７２の分割数は１６であり、この分割処理は、「マルチアングル」画像ファイルが表示対象となる場合に実行される。以下では、表示対象決定部１０４が表示対象となる画像データを決定したときに、既に画像データ読出部１０６により先読みされた画像データがデコード実行部８４によりデコードされて、予備バッファ７４の分割領域に記憶されているものとする。
【００４８】
なお、予備バッファ７４の分割領域に記憶させるマルチアングル画像ファイルの先読み画像データは、代表画像フラグが１に設定されている個別画像データとなる。再生制御部８２は、画像ファイルに含まれる代表画像フラグが１である個別画像を特定し、デコード実行部８４にデコードを指示する。既述したように、マルチアングル画像ファイルは、最大で１５個の個別画像を含んでおり、一般に、真ん中の（８番目）の画像に代表画像フラグ１が設定されている。なお、他の画像に代表画像フラグ１が設定されていてもよく、代表画像フラグの設定は、デジタルカメラの内部回路に依存する。いずれの場合であっても、再生制御部８２は、マルチアングル画像ファイルにおける代表画像を特定し、デコード実行部８４に対して代表画像データを予備バッファ７４の分割領域に収まるデータ量でデコードするように指示する。これにより、予備バッファ７４には、マルチアングル画像ファイルのデコード済み代表画像データが記憶されることになる。
【００４９】
このように再生制御部８２は、マルチアングル画像に含まれる複数の個別画像データをデコードして表示バッファ７２に記憶させる前に、代表画像データをデコードして、予備バッファ７４に記憶させておく。
【００５０】
入力受付部１０２が切替表示指示を受け付けて、表示対象決定部１０４が、表示対象となる画像データを決定すると、再生制御部８２が、表示対象となる画像データの種別がマルチアングル画像であることを特定するとともに、予備バッファ７４に、対応するデコード済みの画像データが記憶されているか調査する。このとき、予備バッファ７４に、デコード済みの代表画像データが記憶されていれば、画像表示制御部９０に、予備バッファ７４に記憶された代表画像データを読み出すように指示する。これにより、画像表示制御部９０は、マルチアングル画像ファイルの代表画像を表示装置１２に表示できる。
【００５１】
なお、同時に再生制御部８２は、マルチアングル画像ファイルに含まれる画像数Ｎ以上の分割数で、表示バッファ７２の記憶領域を分割する。ここで、本実施例において、マルチアングル画像ファイルに含まれる画像データの最大数は１５であるため、再生制御部８２は、表示バッファ７２の記憶領域を、１５以上の数に分割する。図８（ａ）の例では、表示バッファ７２が１６分割されており、１つの分割領域は２Ｍバイトとなっている。なお、再生制御部８２は、マルチアングル画像ファイルに含まれる画像データの数を属性情報から特定し、特定した数で表示バッファ７２の記憶領域を分割してもよい。分割数をできるだけ少なくすることで、表示バッファ７２の分割領域のデータサイズを大きくすることが可能となる。
【００５２】
再生制御部８２は、表示バッファ７２の記憶領域を分割すると、マルチアングル画像ファイルに含まれる複数の画像データを、表示バッファ７２の分割領域に合わせたサイズでデコードするようにデコード実行部８４に指示する。図８（ａ）の例では、表示バッファ７２の分割領域は２Ｍバイトであり、したがってデコード実行部８４は、２Ｍバイトの範囲内で、マルチアングル画像ファイルに含まれる各画像データをデコードし、各分割領域に記憶する。全ての画像データがデコードされて、表示バッファ７２の分割領域にそれぞれ記憶されると、再生制御部８２が画像表示制御部９０に対して画像データの切替指示を発行し、画像表示制御部９０は、この切替指示を受けて、表示バッファ７２から代表画像のデータを読み出し、表示装置１２に表示する。これ以後、ユーザは、マルチアングル画像を楽しむことができるようになる。
【００５３】
このように画像表示制御部９０が、予備バッファ７４に記憶された代表画像データを表示装置１２に表示させている間に、デコード実行部８４がマルチアングル画像ファイルに含まれる複数の画像データをデコードして、表示バッファ７２の分割領域に記憶させることができる。これにより、代表画像の表示中に、デコード実行部８４が複数の画像データをデコードできるため、ユーザは、画像ファイルのデコード処理を、代表画像を見ながら待てばよい。デコード実行部８４のデコード処理が完了すると、マルチアングル画像の切替機能が、左のアナログスティック２７ａに割り当てられる。ユーザは、アナログスティック２７ａを左方向または右方向に倒すことで、マルチアングル画像を切り替え表示することができる。
【００５４】
図９は、マルチアングル画像ファイルのデコード中にディスプレイに表示される代表画像を示す。この代表画像は、予備バッファ７４に記憶された代表画像データにより作成されている。このとき、マルチアングル画像ファイルのデコードは完了していないため、ユーザがアナログスティック２７ａを操作しても、入力受付部１０２は、操作指示を受け付けない。ユーザは、代表画像を見ながら、デコードが完了するのを待機する。
【００５５】
図１０は、マルチアングル画像ファイルのデコード完了後にディスプレイに表示される代表画像を示す。この代表画像は、表示バッファ７２に記憶された代表画像データにより作成されている。デコード実行部８４がマルチアングル画像ファイルのデコード処理を完了すると、再生制御部８２は、画像表示制御部９０に対して、所定のインジケータ２１０を表示するように指示する。このインジケータ２１０は、マルチアングル画像を切り替える操作方法をユーザに提示するとともに、マルチアングル画像を切り替え可能となったこともユーザに提示する。ユーザは、インジケータ２１０を見ることで、マルチアングル画像が切替可能な状態になったことを認識できる。
【００５６】
マルチアングル画像の表示中、入力受付部１０２は、アナログスティック２７ａの傾動量を検出して、表示切替指示として受け付ける。表示対象決定部１０４は、表示切替指示を取得すると、表示対象となる画像データを特定し、再生制御部８２に通知する。再生制御部８２は、画像表示制御部９０に、表示対象となる画像データを特定する情報を通知し、画像表示制御部９０は、表示バッファ７２の分割領域から画像データを読み出して、表示装置１２に表示する。マルチアングル画像ファイルに含まれる全ての画像データが表示バッファ７２にデコードされているため、画像表示制御部９０は、リアルタイムで、マルチアングル画像を切り替えることができる。
【００５７】
入力受付部１０２は、アナログスティック２７ａの傾動方向により、アングルの切替方向を特定し、アナログスティック２７ａの傾動量（角度）により、表示画像の切替速度を特定する。ここで、インジケータ２１０に示すように、アナログスティック２７ａは左方向または右方向に倒される。マルチアングル画像ファイルの個別画像には、順序が設定されており、アナログスティック２７ａを左に倒す操作は、表示画像に対して逆方向表示指示を形成し、アナログスティック２７ａを右に倒す操作は、表示画像に対して順方向表示指示を形成する。ここで、Ｍ番目の個別画像が表示されている場合、逆方向表示指示は、Ｍ番目よりも番号の小さい個別画像の表示を指示し、順方向表示指示は、Ｍ番目よりも番号の大きい個別画像の表示を指示する。
【００５８】
表示画像の切替速度は、個別画像の表示時間に対応し、切替速度が大きいことは、個別画像の表示時間が短いことに対応する。ユーザがアナログスティック２７ａを大きく傾けると、表示画像の切替速度は大きくなり、したがって、個別画像の表示時間は短くなって、個別画像が短時間で切り替わるようになる。またユーザが、アナログスティック２７ａを戻すと（直立状態にすると）、表示画像の切替が停止する。以上のように、マルチアングル画像の切替操作をアナログスティック２７ａに割り当てることで、ユーザの直感的な操作が可能となる。
【００５９】
図８（ｂ）は、バッファメモリ７０の使用状況の別の例を示す。図８（ｂ）に示す表示バッファ７２の分割数は２であり、この分割処理は、「立体視」画像ファイルが表示対象となる場合に実行される。予備バッファ７４は、図７（ｂ）に関して説明したように、８分割されることに変わりないが、先読みされた立体視画像ファイルに含まれる左目用、右目用の画像データは、分割領域をさらに２分割した領域に、それぞれ記憶される。以下では、先読みされた立体視画像ファイルに含まれる左目用、右目用の画像データが、デコード実行部８４によりデコードされて、予備バッファ７４の分割領域をさらに２分割した領域に記憶されているものとする。図８（ｂ）の予備バッファ７４において、Ｌは、左目用画像データを、Ｒは、右目用画像データを示している。
【００６０】
入力受付部１０２が切替表示指示を受け付けて、表示対象決定部１０４が、表示対象となる画像データを決定すると、再生制御部８２が、表示対象となる画像データの種別が立体視画像であることを特定するとともに、予備バッファ７４に、対応するデコード済みの画像データが記憶されているか調査する。このとき、予備バッファ７４に、デコード済みの左目用画像データおよび右目用画像データが記憶されていれば、画像表示制御部９０に、予備バッファ７４に記憶された各画像データを読み出すように指示する。これにより、画像表示制御部９０は、立体視画像ファイルの左目用画像および右目用画像を表示装置１２に表示する。
【００６１】
なお、同時に再生制御部８２は、表示バッファ７２の記憶領域を２分割する。立体視画像ファイルに含まれる画像データの数は２であるため、再生制御部８２は、表示バッファ７２の記憶領域を２つに分割する。これにより、１つの分割領域は１６Ｍバイトとなる。
【００６２】
再生制御部８２は、表示バッファ７２の記憶領域を分割すると、立体視画像ファイルに含まれる２つの画像データを、表示バッファ７２の分割領域に合わせたサイズで画像データをデコードするようにデコード実行部８４に指示する。図８（ｂ）の例では、表示バッファ７２の分割領域は１６Ｍバイトであり、したがってデコード実行部８４は、１６Ｍバイトの範囲内で、左目用画像データおよび右目用画像データのそれぞれをデコードし、各分割領域に記憶する。両方の画像データがデコードされて、表示バッファ７２の分割領域にそれぞれ記憶されると、再生制御部８２が画像表示制御部９０に対して画像データの切替指示を発行し、画像表示制御部９０は、この切替指示を受けて、表示バッファ７２から左目用画像データおよび右目用画像データを読み出し、表示装置１２にて３Ｄ表示する。これにより、ユーザは、立体視画像を楽しむことができる。
【００６３】
図１１は、画像ビューワによる画像再生処理のフローチャートを示す。このフローは、画像ファイルが表示対象として決定されるたびに実行される。なお、本フローにおいて、予備バッファ７４には、先読みされた画像データが既にデコードされて記憶されているものとする。
【００６４】
表示対象決定部１０４が、表示対象となる画像ファイルを決定する（Ｓ１０）。再生制御部８２は、表示対象となる画像ファイルの種別を取得し（Ｓ１２）、その種別に応じて表示バッファ７２の記憶領域を分割する（Ｓ１４）。このとき再生制御部８２は、予備バッファ７４に、対応する画像データが記憶されているか調査し、対応する画像データが記憶されていれば、画像表示制御部９０が、予備バッファ７４の画像データを表示装置１２に表示する（Ｓ１６）。なお、Ｓ１４とＳ１６の先後は、逆であってもよい。
【００６５】
画像表示制御部９０が、予備バッファ７４の画像データを表示装置１２に表示させている間に、デコード実行部８４は、表示対象となる画像ファイルに含まれる画像データをデコードする（Ｓ１８）。複数の画像データが含まれる場合には、全ての画像データのデコードが終了するまで（Ｓ２０のＮ）、このデコード処理は行われる。全ての画像データのデコードが終了し、表示バッファ７２の分割領域に記憶されると（Ｓ２０のＹ）、再生制御部８２が、画像表示制御部９０に対して、使用する画像データの切替指示を発行し（Ｓ２２）、画像表示制御部９０が、表示バッファ７２の画像データを表示装置１２に表示する（Ｓ２４）。
【００６６】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００６７】
１・・・画像処理システム、１０・・・画像処理装置、１２・・・表示装置、２０・・・入力装置、５０・・・ハードディスクドライブ、７０・・・バッファメモリ、７２・・・表示バッファ、７４・・・予備バッファ、８０・・・再生処理部、８２・・・再生制御部、８４・・・デコード実行部、９０・・・画像表示制御部、１０２・・・入力受付部、１０４・・・表示対象決定部、１０６・・・画像データ読出部、２００・・・フォルダ画像、２０２，２０４，２０６・・・アイコン画像、２１０・・・インジケータ。
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
ユーザによる表示画像を変更する切替表示指示に応じて、ハードディスクドライブなどの記憶装置に保存された複数の写真画像をディスプレイに次々に切り替えて表示させるビューワが存在する。デコード処理などの画像処理が、画像表示に追いつかなくなる状況を回避するために、表示対象となる可能性の高さに応じた順序で、画像データを先読みして処理する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＵＳ２００９／０２９５９７７号公開公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラの機能および性能の向上に伴って、互いに関連をもつ複数の画像データをまとめて記録するフォーマットが規定されている。カメラ映像機器工業会（Camera & Imaging Products Association）により策定された規格（standard）は、複数の画像データを記録するためのデータ構造を定義し、このデータ構造を用いた「マルチピクチャフォーマット（Multi-Picture Format）」と呼ばれるフォーマットを規定している。
【０００５】
マルチピクチャフォーマットでは、画像の種別として「マルチビュー」が定義されている。マルチビューは細分として、「パノラマ」、「立体視」、「マルチアングル」の種別を有し、細分化された各種別はビューワにおける表示形式を指定する。この画像種別は、デジタルカメラの撮影時に、ユーザが撮影モードを設定することで決定され、撮影された複数の画像データは、デジタルカメラの内部回路により、画像種別コードを含めた１つの画像ファイルとしてまとめられる。デジタルカメラにより多様な種別の写真画像が生成されることに伴い、ビューワには、画像データを適切に再生する機能を搭載することが求められている。
【０００６】
そこで本発明は、画像種別に応じて、適切に画像データを処理する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の画像処理装置は、画像データを復号する再生処理部と、復号された画像データを記憶する表示バッファと、表示バッファに記憶された画像データをディスプレイに表示させる画像表示制御部とを備え、再生処理部は、表示対象となる画像データの種別に応じて、表示バッファの領域を分割して、分割した領域に復号した画像データを記憶させる。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明の画像処理技術によると、適切に画像データを処理する技術を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】画像処理装置の機能ブロックを示す図である。
【図４】ＭＰフォーマットの基本構造を示す図である。
【図５】制御部および表示処理部の再生処理に関する機能ブロックを示す図である。
【図６】表示装置に表示されるメニュー画面の一例を示す図である。
【図７】（ａ）は、バッファメモリの構成を示す図であり、（ｂ）はバッファメモリの使用状況の例を示す図である。
【図８】（ａ）および（ｂ）は、バッファメモリの使用状況の例を示す図である。
【図９】デコード中にディスプレイに表示される代表画像を示す図である。
【図１０】デコード完了後にディスプレイに表示される代表画像を示す図である。
【図１１】画像再生処理のフローチャートを示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施例にかかる画像処理システム１の使用環境を示す。画像処理システム１は、ユーザが操作する入力装置２０と、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）により無線接続されてもよい。なお画像処理装置１０、入力装置２０および表示装置１２は、一体に形成されて、画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１２】
画像処理システム１において、画像処理装置１０は、ケーブル１４を介してパーソナルコンピュータなどの外部機器と接続し、外部機器から画像データを取得できる。また画像処理装置１０はＵＳＢ（Universal Serial Bus）端子を有し、デジタルカメラとＵＳＢケーブルで接続して、デジタルカメラから画像データを取得できる。また画像処理装置１０はメディアドライブを有し、ＲＯＭ媒体から画像データを取得してもよく、ネットワーク経由で外部サーバなどから画像データを取得してもよい。
【００１３】
画像処理装置１０は、たとえばゲーム装置であって、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現する。なお画像処理装置１０は、パーソナルコンピュータであってもよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。
【００１４】
図２は、入力装置２０の外観構成を示す。入力装置２０は、その筐体表面において、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。また入力装置２０の筐体背面には、左側にＬ１ボタン２９ａ、右側にＲ１ボタン２９ｂが設けられている。ユーザは、左グリップ２８ａを左手で把持し、右グリップ２８ｂを右手で把持して、各操作手段を操作する。
【００１５】
入力装置２０は、ユーザにより入力された操作信号を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、ユーザにより入力された操作信号を画像処理装置１０に伝送してもよい。
【００１６】
図３は、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００１７】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された操作信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００１８】
またスイッチ４２は、ケーブル１４を介して外部機器に接続し、外部機器から、複数の画像ファイルを取得する。複数の画像ファイルは、マルチピクチャフォーマット（以下、「ＭＰフォーマット」と呼ぶ）で規定された画像ファイル（以下、「ＭＰファイル」とも呼ぶ）であってよい。画像ファイルは、複数の画像データを関連付けたものを含み、複数の画像データを関連付けたＭＰファイルとしては、「マルチビュー」の画像種別が定義されている。なお、複数の画像データの関連付けは、複数の画像データ間の関連情報を別ファイルで記述することで行われてもよい。また、個々の画像データのファイル名を所定のルールで生成して、同一フォルダに格納することで、複数の画像データの関連付けがなされてもよい。このように、複数の画像データの関連付けは、様々な手法によって行われてよいが、以下では、関連付けがＭＰファイルによりなされている場合を例に説明する。
【００１９】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信されたＭＰファイルは、ハードディスクドライブ５０に格納される。表示処理の際、ハードディスクドライブ５０に格納されたＭＰファイルは、デコード処理されて、バッファメモリ７０に記憶される。
【００２０】
記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。ＭＰファイルは、リムーバブル記録媒体またはＲＯＭディスクに記録されていて、記録媒体装着部５２またはディスクドライブ５４からハードディスクドライブ５０にインストールされてもよく、また表示処理の実行時にデコード処理されてバッファメモリ７０に記憶されてもよい。
【００２１】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２２】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０はＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２３】
図４は、ＭＰフォーマットの基本構造を示す。このＭＰフォーマットは、複数の画像データを関連づけた構造を示しており、ＭＰファイルは、先頭画像に続いて、単一または複数の個別画像を記録することができる。図４には、先頭画像（個別画像（１））に続く画像として、１つの個別画像（２）のみが示されているが、複数の個別画像が、先頭画像に続けて記録されていてもよい。先頭画像およびそれに続く個別画像は、原則として、Ｅｘｉｆ付属情報と、ＭＰフォーマット付属情報を有している。
【００２４】
（Ｅｘｉｆ付属情報）
Ｅｘｉｆ（Exchangeable Image File Format）は、画像ファイルを記録するためのフォーマットであり、画像データとあわせて、撮影時の様々な付属情報を画像ファイルに含めることができる。Ｅｘｉｆ付属情報には、撮影日時やカメラ機種名、シャッタースピード、絞り値の設定といった撮影に関する情報と、撮影した画像データを正しく読み取るための圧縮モード、色空間、画素数などの情報が含まれる。また、Ｅｘｉｆ付属情報には、撮影した画像のサムネイル画像も含まれる。
【００２５】
（ＭＰフォーマット付属情報）
先頭画像のＭＰフォーマット付属情報には、ＭＰヘッダ、ＭＰインデックス、ＭＰ個別情報が含まれる。ＭＰヘッダは、ＭＰインデックスへのオフセットを記録する。
また先頭画像以外のＭＰフォーマット付属情報には、ＭＰヘッダ、ＭＰ個別情報が含まれる。ＭＰヘッダは、ＭＰ個別情報へのオフセットを記録する。
【００２６】
（１）ＭＰインデックス
ＭＰインデックスは、先頭画像にのみ含まれる。ＭＰインデックスは、少なくとも以下のインデックス情報を含んで構成される。
ａ）記録画像数
ＭＰファイル中に含まれる個別画像の数を示す。本実施例において、「マルチアングル」画像ファイルには、最大で１５個の個別画像が含まれ、「立体視」画像ファイルには、左目用、右目用の２個の個別画像が含まれる。
ｂ）ＭＰエントリ
個別画像種別管理情報、個別画像サイズ、個別画像データオフセット、従属画像エントリ番号からなるデータ群を示す。このうち、個別画像種別管理情報は、少なくとも以下の管理情報を含んで構成される。
ｂ−１）代表画像フラグ
個別画像が代表画像の場合、１に設定され、代表画像でない場合、０に設定される。１つのＭＰファイル内で、代表画像フラグが１である個別画像の数は２以上であってはならない。代表画像は、ＭＰファイル内の全ての個別画像を代表する。
ｂ−２）種別コード
個別画像のＭＰ種別を示す。ＭＰフォーマットでは、複数の異なる視点から撮影したマルチビュー画像が定義されている。マルチビュー個別画像の細分（種別）として、「パノラマ」、「立体視」、「マルチアングル」が定義されている。これらの種別を示す、「パノラマ」、「立体視」、「マルチアングル」のそれぞれに種別コードが設定されている。撮影時、ユーザが撮影モードを選択することで、ＭＰ種別が決定され、種別コードがインデックス情報として付加される。
（２）ＭＰ個別情報
ＭＰ個別情報は、撮影モードに応じた情報を含む。「パノラマ」モードで撮影された場合には、複数の個別画像を１枚のパノラマ画像にするときの配置情報や、オーバーラップさせる２つの連続画像の幅情報が含まれる。また、「立体視」モードで撮影された場合には、基準視点に対する輻輳角情報や、基準視点に対する基線長情報が含まれる。また、「マルチアングル」モードで撮影された場合には、水平軸方向の距離、鉛直軸方向の距離、視準軸方向の距離、および鉛直軸回りの回転運動の角度（ヨー角）、水平軸回りの回転運動の角度（ピッチ角）、視準軸回りの回転運動の角度（ロール角）の情報が含まれる。
【００２７】
以下、画像ファイルの再生処理について説明する。
図５は、制御部１００および表示処理部４４の再生処理に関する機能ブロックを示す。画像処理装置１０は、入力受付部１０２、表示対象決定部１０４、画像データ読出部１０６、再生処理部８０、バッファメモリ７０、画像表示制御部９０およびハードディスクドライブ５０を備える。再生処理部８０は、再生制御部８２およびデコード実行部８４を有し、バッファメモリ７０は、表示バッファ７２および予備バッファ７４を有する。画像処理装置１０における再生処理機能は、画像処理装置１０にインストールされた画像処理アプリケーション（以下、「画像ビューワ」と呼ぶ）により実現される。
【００２８】
図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００には１つのＰＰＵと複数のＳＰＵとが設けられており、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２９】
ハードディスクドライブ５０は、関連付けられた複数の画像データを記憶する記憶部である。なお本実施例の画像ビューワは、ハードディスクドライブ５０に格納された写真画像だけでなく、外部の記録媒体に記録されている写真画像も再生できる。また、画像ビューワは、複数の画像データが関連づけられたＭＰファイルを再生する機能を有するが、ＪＰＥＧやＧＩＦなどの通常フォーマットで圧縮された一枚の画像データを再生する機能も当然に有する。以下、画像ビューワが、ハードディスクドライブ５０に格納されている画像データを再生する場合について説明する。以下、ＭＰファイルや、ＪＰＥＧやＧＩＦなどで圧縮されたファイルをまとめて、単に画像ファイルと呼ぶこともある。
【００３０】
画像処理装置１０において、システムソフトウェアは、画像ファイルをハードディスクドライブ５０にインストールする際には、画像ファイルに含まれる付属情報を参照してファイルチェックを行う。画像ファイルが正常であれば、システムソフトウェアは、ファイル形式などの属性情報を抽出して、ハードディスクドライブ５０に記憶する。インストール時、システムソフトウェアは、画像データを縮小して、サムネイル画像を生成してもよい。
【００３１】
たとえば画像ファイルがＭＰファイルである場合には、システムソフトウェアは、付属情報の少なくとも一部を抽出して、属性情報としてハードディスクドライブ５０に記憶する。抽出される付属情報には、サムネイル画像など、メニュー画面に表示されるデータが含まれる。またシステムソフトウェアは、ＭＰファイルの付属情報から、ＭＰファイルの表示形式を特定し、属性情報としてハードディスクドライブ５０に記憶する。図４に関して説明したように、ＭＰインデックスには、個別画像のＭＰ種別を示す種別コードが含まれている。システムソフトウェアは、種別コードを参照して、ＭＰファイルの表示形式を特定する。たとえば、種別コードが「マルチアングル」の画像種別を示す場合、システムソフトウェアは、ＭＰファイルの表示形式をマルチアングルと特定し、種別コードが「立体視」の画像種別を示す場合、システムソフトウェアは、ＭＰファイルの表示形式を立体視と特定する。再生モードにおいて、「マルチアングル」の表示形式では、ユーザによる切替表示指示に応じて、複数の方向から撮影された画像が切り替えて表示され、「立体視」の表示形式では、右目用の画像と左目用の画像とが表示される。このようにシステムソフトウェアは、ＭＰファイルに記録されている種別コードに応じて、ＭＰファイルの表示形式を特定する。なお、上記したように、種別コードと表示形式とを一対一に対応させてもよいが、たとえば画像ファイルの種別コードが「立体視」であっても、その画像ファイルに３枚以上の画像が含まれる場合には、システムソフトウェアが、その画像ファイルの表示形式を「マルチアングル」として特定してもよい。以下、「画像データの種別」は、表示形式を意味する用語として用いる。
【００３２】
図６は、表示装置１２に表示されるメニュー画面の一例を示す。本実施例の画像処理装置１０では、システムソフトウェアがメニュー画面を生成する。横方向に配列された複数のフォルダ画像のうち、フォルダ画像２００は、写真コンテンツのフォルダを示す。縦方向には、アイコン画像２０２、２０４、２０６が配列される。ユーザは、入力装置２０を操作して所望のアイコン画像をフォーカス領域の位置までスクロールさせて動かし、入力装置２０の所定のボタンを押下することで、そのアイコン画像に対応付けられている処理を実行させることができる。図６の例では、写真コンテンツのアイコン画像２０２がフォーカス領域に配置され、ユーザが入力装置２０の○ボタン２２を押下すると再生指示が生成され、画像ビューワが起動される。なお、図６に示すメニュー画面には、画像データを記録した記録媒体のアイコン画像を示していないが、フォトアイコン画像の直下に、記録媒体のアイコン画像が表示され、媒体アイコン画像の直下または右方に、アイコン画像２０２、２０４、２０６が配列されてもよい。
【００３３】
システムソフトウェアは、画像ファイルにサムネイル画像が含まれている場合には、そのサムネイル画像を用いて、アイコン画像を生成する。なお、画像ファイルにサムネイル画像が含まれていない場合には、画像データを縮小して、アイコン画像を生成する。ＭＰファイルについては、システムソフトウェアは、ハードディスクドライブ５０から属性情報を読み出して、代表画像フラグが１に設定されている個別画像のサムネイル画像を特定し、アイコン画像を生成する。
【００３４】
図６に示すメニュー画面において、ユーザが入力装置２０の所定のボタンを押下すると、画像ファイルの再生指示が形成されて画像ビューワが起動される。これにより、フォーカス領域に配置されたアイコン画像２０２で特定される画像ファイルの再生処理が開始される。
【００３５】
本実施例において、ハードディスクドライブ５０に記憶される複数の画像ファイルには、画像ビューワによる表示順序が予め設定されている。この表示順序は、ハードディスクドライブ５０において各画像ファイルが記憶された順序であってもよく、また各画像ファイルの生成日時（撮影日時）にしたがった順序であってもよい。画像ビューワが起動され、表示装置１２に画像が表示されると、ユーザは、入力装置２０の筐体背面に設けられたＬ１ボタン２９ａまたはＲ１ボタン２９ｂを押下することで、表示対象となる画像ファイルを切り替えることができる。ある画像ファイルがデコードされて表示装置１２に表示されている場合、ユーザがＬ１ボタン２９ａを押下すると、一つ前の画像ファイルがデコードされて表示装置１２に表示され、一方でＲ１ボタン２９ｂを押下すると、一つ先の画像ファイルがデコードされて表示装置１２に表示される。このように画像処理装置１０において、ユーザによるＬ１ボタン２９ａボタンの操作は、所定の順序が設定された画像ファイル列に対して逆方向表示指示を形成し、一方で、ユーザによるＲ１ボタン２９ｂの操作は、画像ファイル列に対して順方向表示指示を形成する。以下、表示画像を切り替える指示を、「切替表示指示」と呼ぶ。
【００３６】
入力受付部１０２が、図６に示すメニュー画面において再生指示を受け付けると、表示対象決定部１０４が、表示対象となる画像ファイルを決定する。表示対象決定部１０４は、アイコン画像２０２で特定される画像ファイルを表示対象として決定し、画像データ読出部１０６は、ハードディスクドライブ５０から、表示対象となる画像ファイルおよびその属性情報を読み出して、再生処理部８０に供給する。なお、図５においては、画像データ読出部１０６が、再生処理部８０に画像ファイル等を直接供給している様子が示されているが、実際には、画像データ読出部１０６は、ハードディスクドライブ５０から読み出した画像ファイル等を一旦メインメモリ６０に記憶し、再生処理部８０が、メインメモリ６０に読み出された画像ファイル等を取得する構成となっている。
【００３７】
表示順序が定められた画像ファイル列において、表示対象となる画像ファイルの位置（順序）がｐであるとし、この画像ファイルをＩ（ｐ）で表現する。表示対象決定部１０４はＩ（ｐ）を特定すると、画像データ読出部１０６に通知する。この通知を受けると、画像データ読出部１０６は、ｐ番目の画像ファイルＩ（ｐ）だけでなく、その前後の所定の数の画像ファイルを、先読み対象として選択する。例えば所定の数が２であれば、画像データ読出部１０６は、Ｉ（ｐ−２）、Ｉ（ｐ−１）、Ｉ（ｐ）、Ｉ（ｐ＋１）、Ｉ（ｐ＋２）の５つの画像ファイルを読み出し、再生処理部８０に供給する。前後の画像ファイルを先読みするのは、ユーザによる切替表示指示の前に、前後の画像ファイルを予め復号（デコード）しておき、その後のユーザによる切替表示指示に対してリアルタイムで画像を表示できるようにするためである。
【００３８】
再生処理部８０は、画像ファイルを取得し、画像データを復号する機能を有する。再生処理部８０は、バッファメモリ７０を利用して、画像データの種別に応じた効率的なデコード処理を実行する。
【００３９】
図７（ａ）は、バッファメモリ７０の構成を示す。バッファメモリ７０は、表示バッファ７２および予備バッファ７４から構成される。表示バッファ７２および予備バッファ７４は、それぞれ３２Ｍバイトの容量を有する。本実施例において、表示バッファ７２および予備バッファ７４は、再生処理部８０によりデコードされた画像データを記憶する。表示バッファ７２は、１つの画像ファイルをデコードした画像データを記憶する。また予備バッファ７４は、原則として、先読みされた画像データをデコードした画像データを記憶する。なお表示バッファ７２と予備バッファ７４は、同じ記憶容量を有してなくてもよく、表示バッファ７２の記憶容量の方が大きくてもよい。
【００４０】
本実施例の画像処理装置１０において、ユーザが入力装置２０を操作して、切替表示指示が生成されると、画像表示制御部９０は、既にデコードされている画像データを予備バッファ７４から読み出して表示装置１２に表示し、再生処理部８０が、表示対象となる画像データをデコードして表示バッファ７２に格納した時点で、画像表示制御部９０が、画像データを表示バッファ７２から読み出して表示装置１２に表示させるようにする。
【００４１】
再生処理部８０において、デコード実行部８４は、画像データ読出部１０６により読み出された画像データをデコードし、再生制御部８２は、デコード実行部８４による復号処理を制御する。また再生制御部８２は、バッファメモリ７０における各バッファの分割処理を実行する。具体的に再生制御部８２は、予備バッファ７４の記憶領域を、所定の分割数で分割し、表示バッファ７２の記憶領域を、表示対象となる画像データの種別に応じた分割数で分割する。分割数は、表示対象となる画像ファイルに含まれる画像データの数以上に設定される。たとえば、マルチアングル画像ファイルや立体視画像ファイルなど、１つの画像ファイルが複数の画像データを含む場合、再生制御部８２は、デコード実行部８４によりデコードされた複数の画像データのそれぞれを、表示バッファ７２の分割した記憶領域に記憶させる。再生制御部８２は、画像データの種別を、ハードディスクドライブ５０に記憶されている属性情報から特定してもよいし、画像ファイルに含まれる属性情報から特定してもよい。再生制御部８２は、表示バッファ７２の記憶領域の分割数を、表示対象となる画像ファイルに含まれる画像データの数以上とすることで、画像ファイルに含まれる画像データのデコード結果の全てを、表示バッファ７２に記憶させることが可能となる。これにより、画像表示制御部９０は、表示バッファ７２のみを用いて、１つの画像ファイルに含まれる画像を表示装置１２に表示させることができるようになる。
【００４２】
本実施例において、画像データの種別は、ＭＰフォーマットにおける「マルチアングル」、「立体視」、「パノラマ」と、一枚の画像データを圧縮するＪＰＥＧやＧＩＦなどの「通常フォーマット」を含む。
【００４３】
図７（ｂ）は、バッファメモリ７０の使用状況の一例を示す。本実施例において、予備バッファ７４は、その記憶領域を８分割されて、４Ｍバイトの領域を８つ作成される。この分割処理は、再生制御部８２により実行される。したがって、予備バッファ７４は、最大で８つの画像ファイルに含まれる画像データのデコード結果を記憶することができる。なお、バッファメモリ７０において、予備バッファ７４の分割数は８個に固定されるが、表示バッファ７２の分割数は、以下に例示するように、表示対象となる画像ファイルの種別によって定められる。なお、本実施例において、分割数は、分割処理により区分けされる記憶領域の数を示し、再生制御部８２が表示バッファ７２を分割しない場合、分割数は１となる。
【００４４】
図７（ｂ）に示す表示バッファ７２の分割数は１である。再生制御部８２は、表示対象となる画像データの種別が「パノラマ」または「通常フォーマット」である場合、表示バッファ７２の領域を１分割して（１分割とは、分割しないことを示す）、表示バッファ７２に、デコード実行部８４で復号した画像データを記憶させる。
【００４５】
表示対象決定部１０４が表示対象となる画像データを決定し、再生制御部８２に通知すると、再生制御部８２は、予備バッファ７４にデコード済みの画像データが記憶されていなければ、デコード実行部８４に対して、予備バッファ７４用に画像データをデコードするように指示する。上記したように、予備バッファ７４の分割領域は４Ｍバイトであり、３２Ｍバイトの表示バッファ７２に画像データをデコードするよりも迅速な処理ができる。したがって、再生制御部８２は、まず予備バッファ７４の分割領域に合わせたサイズで画像データをデコードするようにデコード実行部８４に指示する。画像表示制御部９０は、予備バッファ７４の分割領域に、表示対象となる画像データがデコードされて記憶されると、その画像データを読み出して表示装置１２に表示する。なお、予備バッファ７４にデコード済みの画像データが既に記憶されている場合、画像表示制御部９０は、デコード済みの画像データを予備バッファ７４から読み出して、表示装置１２に表示する。
【００４６】
このように画像を迅速に表示装置１２に表示しつつ、再生制御部８２は、表示バッファ７２の分割領域に合わせたサイズで画像データをデコードするようにデコード実行部８４に指示する。図７（ｂ）の例では、表示バッファ７２が分割されていないため（分割数は１）、分割領域は３２Ｍバイトであり、したがってデコード実行部８４は、３２Ｍバイトの範囲内で画像データをデコードし、表示バッファ７２に記憶する。表示バッファ７２に画像データが記憶されると、再生制御部８２が画像表示制御部９０に対して画像データの切替指示を発行し、画像表示制御部９０は、この切替指示を受けて、表示バッファ７２から画像データを読み出し、表示装置１２に表示する。予備バッファ７４に記憶される画像データは、表示バッファ７２に記憶される画像データの画素数を間引いたものであってもよい。このように、原則として、予備バッファ７４には、表示の迅速性を目的として、データ量の少ない画像データが記憶され、一方で、表示バッファ７２には、表示の高精細性を目的として、データ量の多い画像データが記憶される。これにより、ユーザに対して迅速に画像を提供できるとともに、表示バッファ７２に、デコード済みの画像データを記憶した後は、高精細な画像をユーザに提供できるようになる。
【００４７】
図８（ａ）は、バッファメモリ７０の使用状況の別の例を示す。予備バッファ７４は、図７（ｂ）に関して説明したように、８分割されることに変わりない。図８（ａ）に示す表示バッファ７２の分割数は１６であり、この分割処理は、「マルチアングル」画像ファイルが表示対象となる場合に実行される。以下では、表示対象決定部１０４が表示対象となる画像データを決定したときに、既に画像データ読出部１０６により先読みされた画像データがデコード実行部８４によりデコードされて、予備バッファ７４の分割領域に記憶されているものとする。
【００４８】
なお、予備バッファ７４の分割領域に記憶させるマルチアングル画像ファイルの先読み画像データは、代表画像フラグが１に設定されている個別画像データとなる。再生制御部８２は、画像ファイルに含まれる代表画像フラグが１である個別画像を特定し、デコード実行部８４にデコードを指示する。既述したように、マルチアングル画像ファイルは、最大で１５個の個別画像を含んでおり、一般に、真ん中の（８番目）の画像に代表画像フラグ１が設定されている。なお、他の画像に代表画像フラグ１が設定されていてもよく、代表画像フラグの設定は、デジタルカメラの内部回路に依存する。いずれの場合であっても、再生制御部８２は、マルチアングル画像ファイルにおける代表画像を特定し、デコード実行部８４に対して代表画像データを予備バッファ７４の分割領域に収まるデータ量でデコードするように指示する。これにより、予備バッファ７４には、マルチアングル画像ファイルのデコード済み代表画像データが記憶されることになる。
【００４９】
このように再生制御部８２は、マルチアングル画像に含まれる複数の個別画像データをデコードして表示バッファ７２に記憶させる前に、代表画像データをデコードして、予備バッファ７４に記憶させておく。
【００５０】
入力受付部１０２が切替表示指示を受け付けて、表示対象決定部１０４が、表示対象となる画像データを決定すると、再生制御部８２が、表示対象となる画像データの種別がマルチアングル画像であることを特定するとともに、予備バッファ７４に、対応するデコード済みの画像データが記憶されているか調査する。このとき、予備バッファ７４に、デコード済みの代表画像データが記憶されていれば、画像表示制御部９０に、予備バッファ７４に記憶された代表画像データを読み出すように指示する。これにより、画像表示制御部９０は、マルチアングル画像ファイルの代表画像を表示装置１２に表示できる。
【００５１】
なお、同時に再生制御部８２は、マルチアングル画像ファイルに含まれる画像数Ｎ以上の分割数で、表示バッファ７２の記憶領域を分割する。ここで、本実施例において、マルチアングル画像ファイルに含まれる画像データの最大数は１５であるため、再生制御部８２は、表示バッファ７２の記憶領域を、１５以上の数に分割する。図８（ａ）の例では、表示バッファ７２が１６分割されており、１つの分割領域は２Ｍバイトとなっている。なお、再生制御部８２は、マルチアングル画像ファイルに含まれる画像データの数を属性情報から特定し、特定した数で表示バッファ７２の記憶領域を分割してもよい。分割数をできるだけ少なくすることで、表示バッファ７２の分割領域のデータサイズを大きくすることが可能となる。
【００５２】
再生制御部８２は、表示バッファ７２の記憶領域を分割すると、マルチアングル画像ファイルに含まれる複数の画像データを、表示バッファ７２の分割領域に合わせたサイズでデコードするようにデコード実行部８４に指示する。図８（ａ）の例では、表示バッファ７２の分割領域は２Ｍバイトであり、したがってデコード実行部８４は、２Ｍバイトの範囲内で、マルチアングル画像ファイルに含まれる各画像データをデコードし、各分割領域に記憶する。全ての画像データがデコードされて、表示バッファ７２の分割領域にそれぞれ記憶されると、再生制御部８２が画像表示制御部９０に対して画像データの切替指示を発行し、画像表示制御部９０は、この切替指示を受けて、表示バッファ７２から代表画像のデータを読み出し、表示装置１２に表示する。これ以後、ユーザは、マルチアングル画像を楽しむことができるようになる。
【００５３】
このように画像表示制御部９０が、予備バッファ７４に記憶された代表画像データを表示装置１２に表示させている間に、デコード実行部８４がマルチアングル画像ファイルに含まれる複数の画像データをデコードして、表示バッファ７２の分割領域に記憶させることができる。これにより、代表画像の表示中に、デコード実行部８４が複数の画像データをデコードできるため、ユーザは、画像ファイルのデコード処理を、代表画像を見ながら待てばよい。デコード実行部８４のデコード処理が完了すると、マルチアングル画像の切替機能が、左のアナログスティック２７ａに割り当てられる。ユーザは、アナログスティック２７ａを左方向または右方向に倒すことで、マルチアングル画像を切り替え表示することができる。
【００５４】
図９は、マルチアングル画像ファイルのデコード中にディスプレイに表示される代表画像を示す。この代表画像は、予備バッファ７４に記憶された代表画像データにより作成されている。このとき、マルチアングル画像ファイルのデコードは完了していないため、ユーザがアナログスティック２７ａを操作しても、入力受付部１０２は、操作指示を受け付けない。ユーザは、代表画像を見ながら、デコードが完了するのを待機する。
【００５５】
図１０は、マルチアングル画像ファイルのデコード完了後にディスプレイに表示される代表画像を示す。この代表画像は、表示バッファ７２に記憶された代表画像データにより作成されている。デコード実行部８４がマルチアングル画像ファイルのデコード処理を完了すると、再生制御部８２は、画像表示制御部９０に対して、所定のインジケータ２１０を表示するように指示する。このインジケータ２１０は、マルチアングル画像を切り替える操作方法をユーザに提示するとともに、マルチアングル画像を切り替え可能となったこともユーザに提示する。ユーザは、インジケータ２１０を見ることで、マルチアングル画像が切替可能な状態になったことを認識できる。
【００５６】
マルチアングル画像の表示中、入力受付部１０２は、アナログスティック２７ａの傾動量を検出して、表示切替指示として受け付ける。表示対象決定部１０４は、表示切替指示を取得すると、表示対象となる画像データを特定し、再生制御部８２に通知する。再生制御部８２は、画像表示制御部９０に、表示対象となる画像データを特定する情報を通知し、画像表示制御部９０は、表示バッファ７２の分割領域から画像データを読み出して、表示装置１２に表示する。マルチアングル画像ファイルに含まれる全ての画像データが表示バッファ７２にデコードされているため、画像表示制御部９０は、リアルタイムで、マルチアングル画像を切り替えることができる。
【００５７】
入力受付部１０２は、アナログスティック２７ａの傾動方向により、アングルの切替方向を特定し、アナログスティック２７ａの傾動量（角度）により、表示画像の切替速度を特定する。ここで、インジケータ２１０に示すように、アナログスティック２７ａは左方向または右方向に倒される。マルチアングル画像ファイルの個別画像には、順序が設定されており、アナログスティック２７ａを左に倒す操作は、表示画像に対して逆方向表示指示を形成し、アナログスティック２７ａを右に倒す操作は、表示画像に対して順方向表示指示を形成する。ここで、Ｍ番目の個別画像が表示されている場合、逆方向表示指示は、Ｍ番目よりも番号の小さい個別画像の表示を指示し、順方向表示指示は、Ｍ番目よりも番号の大きい個別画像の表示を指示する。
【００５８】
表示画像の切替速度は、個別画像の表示時間に対応し、切替速度が大きいことは、個別画像の表示時間が短いことに対応する。ユーザがアナログスティック２７ａを大きく傾けると、表示画像の切替速度は大きくなり、したがって、個別画像の表示時間は短くなって、個別画像が短時間で切り替わるようになる。またユーザが、アナログスティック２７ａを戻すと（直立状態にすると）、表示画像の切替が停止する。以上のように、マルチアングル画像の切替操作をアナログスティック２７ａに割り当てることで、ユーザの直感的な操作が可能となる。
【００５９】
図８（ｂ）は、バッファメモリ７０の使用状況の別の例を示す。図８（ｂ）に示す表示バッファ７２の分割数は２であり、この分割処理は、「立体視」画像ファイルが表示対象となる場合に実行される。予備バッファ７４は、図７（ｂ）に関して説明したように、８分割されることに変わりないが、先読みされた立体視画像ファイルに含まれる左目用、右目用の画像データは、分割領域をさらに２分割した領域に、それぞれ記憶される。以下では、先読みされた立体視画像ファイルに含まれる左目用、右目用の画像データが、デコード実行部８４によりデコードされて、予備バッファ７４の分割領域をさらに２分割した領域に記憶されているものとする。図８（ｂ）の予備バッファ７４において、Ｌは、左目用画像データを、Ｒは、右目用画像データを示している。
【００６０】
入力受付部１０２が切替表示指示を受け付けて、表示対象決定部１０４が、表示対象となる画像データを決定すると、再生制御部８２が、表示対象となる画像データの種別が立体視画像であることを特定するとともに、予備バッファ７４に、対応するデコード済みの画像データが記憶されているか調査する。このとき、予備バッファ７４に、デコード済みの左目用画像データおよび右目用画像データが記憶されていれば、画像表示制御部９０に、予備バッファ７４に記憶された各画像データを読み出すように指示する。これにより、画像表示制御部９０は、立体視画像ファイルの左目用画像および右目用画像を表示装置１２に表示する。
【００６１】
なお、同時に再生制御部８２は、表示バッファ７２の記憶領域を２分割する。立体視画像ファイルに含まれる画像データの数は２であるため、再生制御部８２は、表示バッファ７２の記憶領域を２つに分割する。これにより、１つの分割領域は１６Ｍバイトとなる。
【００６２】
再生制御部８２は、表示バッファ７２の記憶領域を分割すると、立体視画像ファイルに含まれる２つの画像データを、表示バッファ７２の分割領域に合わせたサイズで画像データをデコードするようにデコード実行部８４に指示する。図８（ｂ）の例では、表示バッファ７２の分割領域は１６Ｍバイトであり、したがってデコード実行部８４は、１６Ｍバイトの範囲内で、左目用画像データおよび右目用画像データのそれぞれをデコードし、各分割領域に記憶する。両方の画像データがデコードされて、表示バッファ７２の分割領域にそれぞれ記憶されると、再生制御部８２が画像表示制御部９０に対して画像データの切替指示を発行し、画像表示制御部９０は、この切替指示を受けて、表示バッファ７２から左目用画像データおよび右目用画像データを読み出し、表示装置１２にて３Ｄ表示する。これにより、ユーザは、立体視画像を楽しむことができる。
【００６３】
図１１は、画像ビューワによる画像再生処理のフローチャートを示す。このフローは、画像ファイルが表示対象として決定されるたびに実行される。なお、本フローにおいて、予備バッファ７４には、先読みされた画像データが既にデコードされて記憶されているものとする。
【００６４】
表示対象決定部１０４が、表示対象となる画像ファイルを決定する（Ｓ１０）。再生制御部８２は、表示対象となる画像ファイルの種別を取得し（Ｓ１２）、その種別に応じて表示バッファ７２の記憶領域を分割する（Ｓ１４）。このとき再生制御部８２は、予備バッファ７４に、対応する画像データが記憶されているか調査し、対応する画像データが記憶されていれば、画像表示制御部９０が、予備バッファ７４の画像データを表示装置１２に表示する（Ｓ１６）。なお、Ｓ１４とＳ１６の先後は、逆であってもよい。
【００６５】
画像表示制御部９０が、予備バッファ７４の画像データを表示装置１２に表示させている間に、デコード実行部８４は、表示対象となる画像ファイルに含まれる画像データをデコードする（Ｓ１８）。複数の画像データが含まれる場合には、全ての画像データのデコードが終了するまで（Ｓ２０のＮ）、このデコード処理は行われる。全ての画像データのデコードが終了し、表示バッファ７２の分割領域に記憶されると（Ｓ２０のＹ）、再生制御部８２が、画像表示制御部９０に対して、使用する画像データの切替指示を発行し（Ｓ２２）、画像表示制御部９０が、表示バッファ７２の画像データを表示装置１２に表示する（Ｓ２４）。
【００６６】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００６７】
１・・・画像処理システム、１０・・・画像処理装置、１２・・・表示装置、２０・・・入力装置、５０・・・ハードディスクドライブ、７０・・・バッファメモリ、７２・・・表示バッファ、７４・・・予備バッファ、８０・・・再生処理部、８２・・・再生制御部、８４・・・デコード実行部、９０・・・画像表示制御部、１０２・・・入力受付部、１０４・・・表示対象決定部、１０６・・・画像データ読出部、２００・・・フォルダ画像、２０２，２０４，２０６・・・アイコン画像、２１０・・・インジケータ。
【特許請求の範囲】
【請求項１】
画像データを復号する再生処理部と、
復号された画像データを記憶する表示バッファと、
表示バッファに記憶された画像データをディスプレイに表示させる画像表示制御部と、を備えた画像処理装置であって、
前記再生処理部は、表示対象となる画像データの種別に応じて、前記表示バッファの領域を分割して、分割した領域に、復号した画像データを記憶させることを特徴とする画像処理装置。
【請求項２】
表示対象となる画像データの種別がマルチアングル画像である場合、前記再生処理部は、マルチアングル画像に含まれる画像数Ｎ以上に前記表示バッファの領域を分割して、各分割領域に、復号した画像データを記憶させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
復号された画像データを記憶する予備バッファをさらに備え、
前記再生処理部は、マルチアングル画像に含まれる複数の画像データを復号して前記表示バッファの分割領域に記憶させる前に、マルチアングル画像に含まれる代表画像データを復号して、前記予備バッファに記憶させ、
前記画像表示制御部は、前記予備バッファに記憶された代表画像データをディスプレイに表示させる、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像表示制御部が、前記予備バッファに記憶された代表画像データをディスプレイに表示させている間に、前記再生処理部は、マルチアングル画像に含まれる複数の画像データを復号して、前記表示バッファの分割領域に記憶させることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像表示制御部は、前記再生処理部による複数の画像データの復号処理が完了すると、ディスプレイに、所定のインジケータを表示することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
表示対象となる画像データの種別が立体視画像である場合、前記再生処理部は、表示バッファの領域を２分割して、それぞれの領域に、左目用画像データと右目用画像データを記憶させることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
コンピュータに、
表示対象となる画像データを決定する機能と、
表示対象となる画像データの種別を特定する機能と、
特定した種別に応じて、表示バッファの領域を分割する機能と、
画像データを復号して、分割した領域に記憶させる機能と、
を実現させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像データを復号する再生処理部と、
復号された画像データを記憶する表示バッファと、
表示バッファに記憶された画像データをディスプレイに表示させる画像表示制御部と、を備えた画像処理装置であって、
前記再生処理部は、表示対象となる画像データの種別に応じて、前記表示バッファの領域を分割して、分割した領域に、復号した画像データを記憶させることを特徴とする画像処理装置。
【請求項２】
表示対象となる画像データの種別がマルチアングル画像である場合、前記再生処理部は、マルチアングル画像に含まれる画像数Ｎ以上に前記表示バッファの領域を分割して、各分割領域に、復号した画像データを記憶させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
復号された画像データを記憶する予備バッファをさらに備え、
前記再生処理部は、マルチアングル画像に含まれる複数の画像データを復号して前記表示バッファの分割領域に記憶させる前に、マルチアングル画像に含まれる代表画像データを復号して、前記予備バッファに記憶させ、
前記画像表示制御部は、前記予備バッファに記憶された代表画像データをディスプレイに表示させる、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像表示制御部が、前記予備バッファに記憶された代表画像データをディスプレイに表示させている間に、前記再生処理部は、マルチアングル画像に含まれる複数の画像データを復号して、前記表示バッファの分割領域に記憶させることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像表示制御部は、前記再生処理部による複数の画像データの復号処理が完了すると、ディスプレイに、所定のインジケータを表示することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
表示対象となる画像データの種別が立体視画像である場合、前記再生処理部は、表示バッファの領域を２分割して、それぞれの領域に、左目用画像データと右目用画像データを記憶させることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
コンピュータに、
表示対象となる画像データを決定する機能と、
表示対象となる画像データの種別を特定する機能と、
特定した種別に応じて、表示バッファの領域を分割する機能と、
画像データを復号して、分割した領域に記憶させる機能と、
を実現させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−３８５５９（Ｐ２０１３−３８５５９Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７２２９２（Ｐ２０１１−１７２２９２）
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]