画像処理装置
【課題】画像データを適切に再生する技術を提供する。
【解決手段】モード設定部112は、2D表示出力モードと、3D表示出力モードとを選択的に設定する機能を有する。再生制御部132は、モード設定部112により設定された表示出力モードにしたがって、表示画像の切替制御を異ならせる。再生制御部132が、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする場合、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和以下となるように制御する。
【解決手段】モード設定部112は、2D表示出力モードと、3D表示出力モードとを選択的に設定する機能を有する。再生制御部132は、モード設定部112により設定された表示出力モードにしたがって、表示画像の切替制御を異ならせる。再生制御部132が、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする場合、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和以下となるように制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関する。
【背景技術】
【0002】
3D(3次元)テレビを代表とする3Dディスプレイが普及している。3Dディスプレイは、ユーザに左目用と右目用の画像を見せることで、立体感のある映像を提供する。3次元ディスプレイの種類には複数の方式があるが、ユーザが左右の見え方の異なるメガネを着用するタイプのものが一般に流通している。近年の画像処理技術によると、2D(2次元)画像に演算処理を加えることで、左目用画像と右目用画像とを作り出すことも可能となっている。
【0003】
デジタルカメラの機能および性能の向上に伴って、互いに関連をもつ複数の画像データをまとめて記録するフォーマットが規定されている。カメラ映像機器工業会(Camera & Imaging Products Association)により策定された規格(standard)は、複数の画像データを記録するためのデータ構造を定義し、このデータ構造を用いた「マルチピクチャフォーマット(Multi-Picture Format)」と呼ばれるフォーマットを規定している。マルチピクチャフォーマットでは、画像の種別として「マルチビュー」が定義され、マルチビューは細分として、「立体視」の種別を有している。この画像種別は、デジタルカメラの撮影時に、ユーザが撮影モードを設定することで決定され、撮影された2つの画像データは、デジタルカメラの内部回路により、画像種別コードを含めた1つの画像ファイルとしてまとめられる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】「Standard of the Camera & Imaging Products Association, CIPA DC-007-Translation-2009, Multi-Picture Format」、Camera & Imaging Products Association、2009年2月4日、インターネット<URL : http://www.cipa.jp/english/hyoujunka/kikaku/pdf/DC-007_E.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0005】
3D画像は、左右画像のずれ(視差量)を利用して、立体感を生み出している。複数の3D画像を連続して表示するような場合、それぞれの3D画像の視差量が異なると、ユーザに違和感を与える可能性があることを、本発明者は知見として得た。また本発明者は3D画像を画面中で移動させるような場合も同様に、ユーザに違和感を与える可能性があることを知見として得た。そこで本発明者は3Dディスプレイにおいて、ユーザが快適に見ることのできる画像を提供する技術を開発するに至った。またユーザは、デジタルカメラで撮影した3D写真を、3D表示させたいことが多いと考えられるが、一方で、3Dディスプレイにおいても2D表示させたいユーザも存在する。これは、ユーザの好みによるため、ユーザに対して適切な選択肢を提供できることが好ましい。
【0006】
そこで本発明は、画像データを適切に再生する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある態様の画像処理装置は、2D表示出力モードと、3D表示出力モードとを選択的に設定するモード設定部と、表示画像の切替を制御する再生制御部とを備える、再生制御部は、モード設定部により設定された表示出力モードにしたがって、表示画像の切替制御を異ならせる。
【0008】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0009】
本発明の情報処理技術によると、画像データを適切に再生する技術を提供することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図2】入力装置の外観構成を示す図である。
【図3】画像処理装置の機能ブロック図である。
【図4】制御部の機能ブロックを主として示す図である。
【図5】表示装置に表示されるメニュー画面の一例を示す図である。
【図6】表示画面上に重ねて表示される通知画像を示す図である。
【図7】確認画面を示す図である。
【図8】(a)および(b)は、クロスフェード演出の説明図である。
【図9】(a)および(b)は、ノーマル演出の説明図である。
【図10】複数の写真画像をグリッド表示した例を示す図である。
【図11】画像上にメニュー表示領域を表示した例を示す図である。
【発明を実施するための形態】
【0011】
図1は、本発明の実施例にかかる画像処理システム1の使用環境を示す。画像処理システム1は、ユーザが操作する入力装置20と、画像処理ソフトウェアを実行する画像処理装置10と、画像処理装置10による処理結果を出力する表示装置12とを備える。表示装置12は、3Dディスプレイであり、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置12は、画像処理装置10に有線ケーブルで接続されてよく、また無線LAN(Local Area Network)により無線接続されてもよい。なお画像処理装置10、入力装置20および表示装置12は、一体に形成されて、画像処理機能を搭載した携帯端末装置として構成されてもよい。
【0012】
画像処理システム1において、画像処理装置10は、ケーブル14を介してパーソナルコンピュータなどの外部機器と接続し、外部機器から画像データを取得できる。また画像処理装置10はUSB(Universal Serial Bus)端子を有し、デジタルカメラとUSBケーブルで接続して、デジタルカメラから画像データを取得できる。また画像処理装置10はメディアドライブを有し、ROM媒体から画像データを取得してもよく、ネットワーク経由で外部サーバなどから画像データを取得してもよい。
【0013】
画像処理装置10は、たとえばゲーム装置であって、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現する。なお画像処理装置10は、パーソナルコンピュータであってもよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。
【0014】
本実施例の画像処理装置10は、マルチピクチャフォーマットで立体視画像として撮影された画像データを用いて、表示装置12に3D画像を表示する機能をもつ。また画像処理装置10は、2D画像データを3D画像データに変換して、3D画像を表示する機能を有してもよい。
【0015】
また画像処理装置10は、3次元コンピュータグラフィックス(3DCG)を実行する機能ももつ。画像処理装置10は、ジオメトリエンジンおよびレンダリングエンジンを有し、ジオメトリエンジンは、光源と仮想カメラの設定をした上で透視変換を行い、レンダリングエンジンは、透視変換されたデータをもとに、フレームバッファにオブジェクトを描画する。ジオメトリエンジンが、2台の仮想カメラを、それぞれの視線方向が交わるように設定し、レンダリングエンジンが、それぞれの仮想カメラからのデータをレンダリングすることで、表示装置12に3D画像を表示することができる。
【0016】
図2は、入力装置20の外観構成を示す。入力装置20は、その筐体表面において、ユーザが操作可能な操作手段として、十字キー21、アナログスティック27a、27bと、4種の操作ボタン26を備える。4種の操作ボタン26は、○ボタン22、×ボタン23、□ボタン24および△ボタン25から構成される。また入力装置20の筐体背面には、左側にL1ボタン29a、右側にR1ボタン29bが設けられている。ユーザは、左グリップ28aを左手で把持し、右グリップ28bを右手で把持して、各操作手段を操作する。
【0017】
入力装置20は、ユーザにより入力された操作信号を画像処理装置10に伝送する機能をもち、本実施例では画像処理装置10との間で無線通信可能に構成される。入力装置20と画像処理装置10は、Bluetooth(ブルートゥース)(登録商標)プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置20は、画像処理装置10とケーブルを介して接続して、ユーザにより入力された操作信号を画像処理装置10に伝送してもよい。
【0018】
図3は、画像処理装置10の機能ブロック図を示す。画像処理装置10は、無線インタフェース40、スイッチ42、表示処理部44、ハードディスクドライブ50、記録媒体装着部52、ディスクドライブ54、メインメモリ60、バッファメモリ70および制御部100を有して構成される。表示処理部44は、表示装置12のディスプレイに表示するデータをバッファするフレームメモリを有する。
【0019】
スイッチ42は、イーサネットスイッチ(イーサネットは登録商標)であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ42は無線インタフェース40に接続し、無線インタフェース40は、所定の無線通信プロトコルで入力装置20と接続する。入力装置20においてユーザから入力された操作信号は、無線インタフェース40、スイッチ42を経由して、制御部100に供給される。
【0020】
またスイッチ42は、ケーブル14を介して外部機器に接続し、外部機器から、複数の画像ファイルを取得する。画像ファイルは、マルチピクチャフォーマット(以下、「MPフォーマット」と呼ぶ)で規定された画像ファイル(以下、「MPファイル」とも呼ぶ)であってよく、またJPEGやGIF等の通常のフォーマットで規定された画像ファイルであってよい。
【0021】
ハードディスクドライブ50は、データを記憶する補助記憶装置として機能する。スイッチ42を介して受信された画像ファイルは、ハードディスクドライブ50に格納される。表示処理の際、ハードディスクドライブ50に格納された画像ファイルは、デコード処理されて、バッファメモリ70に記憶される。
【0022】
記録媒体装着部52は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ54は、読出専用のROMディスクが装着されると、ROMディスクを駆動して認識し、データを読み出す。ROMディスクは、光ディスクや光磁気ディスクなどであってよい。画像ファイルは、リムーバブル記録媒体またはROMディスクに記録されていて、記録媒体装着部52またはディスクドライブ54からハードディスクドライブ50にインストールされてもよく、また表示処理の実行時にデコード処理されてバッファメモリ70に記憶されてもよい。
【0023】
制御部100は、マルチコアCPUを備え、1つのCPUの中に1つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはPPU(Power Processing Unit)と呼ばれ、残りのプロセッサコアはSPU(Synergistic-Processing Unit)と呼ばれる。
【0024】
制御部100は、メインメモリ60およびバッファメモリ70に接続するメモリコントローラを備える。PPUはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各SPUに効率的に割り当てる。なお、PPU自身がタスクを実行してもよい。SPUはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ70として使用されてもよい。メインメモリ60およびバッファメモリ70はRAM(ランダムアクセスメモリ)として構成される。SPUは制御ユニットとして専用のDMA(Direct Memory Access)コントローラをもち、メインメモリ60とバッファメモリ70の間のデータ転送を高速に行うことができ、また表示処理部44におけるフレームメモリとバッファメモリ70の間で高速なデータ転送を実現できる。本実施例の制御部100は、複数のSPUを並列動作させることで、高速な画像処理機能を実現する。表示処理部44は、表示装置12に接続されて、制御部100による画像処理結果を出力する。
【0025】
図4は、制御部100の機能ブロックを主として示す。制御部100は、入力受付部102、出力モード処理部110および再生処理部130を備える。出力モード処理部110は、表示処理部44による表示出力モードを管理する機能を有し、モード設定部112、判定部114、通知画像生成部116および確認画像生成部118を備える。再生処理部130は、画像データを再生する機能を有し、再生制御部132、表示画像生成部134、表示対象決定部136および画像データ読出部138を備える。これらの機能の少なくとも一部は、画像処理装置10にインストールされた画像再生アプリケーション(以下、「画像ビューワ」と呼ぶ)により実現される。
【0026】
図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部100には1つのPPUと複数のSPUとが設けられており、PPUおよびSPUがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0027】
ディスプレイ情報記憶部150は、ハードディスクドライブ50の記憶領域に構成され、表示装置12のディスプレイサイズ、解像度、出力形式などのディスプレイ情報を記憶する。ディスプレイ情報は、画像処理装置10を表示装置12に接続するときに、ユーザにより登録される。なお画像処理装置10と表示装置12とがHDMI(High Definition Multimedia Interface)ケーブルで接続されている場合、画像処理装置10のシステムソフトウェアが表示装置12に問い合わせることで、表示装置12がディスプレイ情報を画像処理装置10に通知してもよい。本実施例において、表示装置12の出力形式は、3次元表示可能であるか、または2次元表示しかできないかを示す情報である。以下、3次元表示可能な出力形式を「3D対応」、2次元表示しかできない出力形式を「2D対応」と呼ぶ。
【0028】
画像データ記憶部152は、複数の画像データを記憶する。本実施例の画像ビューワは、ハードディスクドライブ50に格納された写真画像だけでなく、外部の記録媒体に記録されている写真画像も再生できる。したがって本実施例において画像データ記憶部152は、ハードディスクドライブ50に限らず、再生対象となる画像データが記録された記録媒体の記憶領域に構成されていてよい。図4には、画像データ記憶部152がハードディスクドライブ50の記憶領域に構成されている様子が示されている。
【0029】
画像処理装置10において、システムソフトウェアは、画像ファイルをハードディスクドライブ50にインストールする際に、画像ファイルに含まれる付属情報を参照して、ファイルチェックを行う。画像ファイルが正常であれば、システムソフトウェアは、付属情報の少なくとも一部を抽出し、属性情報として属性情報記憶部154に記憶する。本実施例において抽出される付属情報には、サムネイル画像など、メニュー画面に表示されるデータが含まれる。画像ファイルがMPファイルである場合、システムソフトウェアは、MPファイルの種別コードから、MPファイルの表示形式を特定し、属性情報として属性情報記憶部154に記憶してもよい。なお画像ファイルのインストール時、システムソフトウェアは、画像データを縮小して、サムネイル画像を生成してもよい。
【0030】
図5は、表示装置12に表示されるメニュー画面の一例を示す。本実施例の画像処理装置10では、システムソフトウェアがメニュー画像を生成する。横方向に配列された複数のフォルダ画像のうち、フォルダ画像200は、写真コンテンツのフォルダを示す。縦方向には、アイコン画像202、204、206が配列される。ユーザは、入力装置20を操作して所望のアイコン画像をフォーカス領域の位置までスクロールさせて動かし、入力装置20の所定のボタンを押下することで、そのアイコン画像に対応付けられている処理を実行させることができる。図5の例では、写真コンテンツのアイコン画像202がフォーカス領域に配置され、ユーザが入力装置20の○ボタン22を押下すると再生指示が生成され、画像ビューワが起動される。なお、図5に示すメニュー画面には、画像データを記録した記録媒体のアイコン画像を示していないが、フォトアイコン画像の直下に、記録媒体のアイコン画像が表示され、媒体アイコン画像の直下または右方に、アイコン画像202、204、206が配列されてもよい。
【0031】
システムソフトウェアは、画像ファイルにサムネイル画像が含まれている場合には、そのサムネイル画像を用いて、アイコン画像を生成し、画像ファイルにサムネイル画像が含まれていない場合には、画像データを縮小して、アイコン画像を生成する。なお画像ファイルがMPファイルである場合、システムソフトウェアは、ハードディスクドライブ50から属性情報を読み出して、代表画像フラグが1に設定されている個別画像のサムネイル画像を特定し、アイコン画像を生成する。システムソフトウェアがメニュー画像データを生成すると、表示処理部44が、メニュー画像データを表示装置12に出力して、メニュー画面が表示装置12に表示される。
【0032】
図5に示すメニュー画面において、ユーザが入力装置20の所定のボタンを押下すると、画像ファイルの再生指示が形成されて画像ビューワが起動される。これにより、フォーカス領域に配置されたアイコン画像202で特定される画像ファイルの再生処理が開始される。画像ビューワが起動されると、まず出力モード処理部110が、表示出力モードを決定する。ここで表示出力モードとは、表示装置12から2D画像を表示するか、または3D画像を表示するかを特定するモードである。出力モード処理部110が表示出力モードを決定すると、再生処理部130が、決定された表示出力モードにしたがって、表示画像を生成する。
【0033】
入力受付部102が再生指示を受け付けると、画像ビューワが起動されて、出力モード処理部110および再生処理部130の機能が実行可能となる。出力モード処理部110において、モード設定部112は、2D表示出力モードと、3D表示出力モードとを選択的に設定する機能をもつ。画像ビューワの起動時、モード設定部112は、2D表示出力モードを設定する。
【0034】
再生処理部130において、表示対象決定部136が、表示対象となる画像ファイルを決定する。画像ビューワの起動時、表示対象決定部136は、アイコン画像202で特定される画像ファイルを表示対象として決定し、画像データ読出部138は、画像データ記憶部152から、表示対象となる画像ファイルおよびその属性情報を読み出して、表示画像生成部134に供給する。再生制御部132は、表示画像生成部134に対して、モード設定部112において設定された表示出力モードで表示画像を生成することを指示する。これにより、表示画像生成部134は、モード設定部112で設定された表示出力モードにしたがって、画像データをデコードして、表示画像データを生成する。画像ビューワの起動時、モード設定部112は、2D表示出力モードを設定しているため、表示画像生成部134は、2D画像データを生成して、表示処理部44が、表示装置12に2D画像を出力する。
【0035】
通知画像生成部116は、表示出力モードを切替可能であることを示す通知画像を生成する。この通知画像は、表示出力モードを切替可能であることを示すと同時に、表示出力モードを切り替えるための操作をユーザに提示するものであることが好ましい。たとえば、表示出力モードを切り替えるための操作が特定のボタンに割り当てられる場合には、そのボタンを含めて、通知画像が形成されることが好ましい。たとえば通知画像は、「□ 2D/3D」という表示態様をとり、ここで「2D/3D」は、表示出力モードを切替可能であることを示し、「□」は、切り替えるための操作ボタンが□ボタン24であることを示す。
【0036】
判定部114は、通知画像の生成条件が成立しているか否かを判定する。そもそも表示装置12が3D対応ディスプレイを有していなければ、表示出力モードを2D表示出力モードから3D表示出力モードに切り替えることはできない。したがって通知画像の生成条件には、モード設定部112が2D表示出力モードを設定しており、且つ表示装置12が3D表示可能であることが少なくとも含まれる。判定部114が、通知画像の生成条件が成立したことを判定した場合、通知画像生成部116は通知画像データを生成して、表示処理部44が、2D表示されている画面の上に、通知画像を重ねて表示する。
【0037】
図6は、2D表示画面上に重ねて表示される通知画像を示す。表示処理部44は、通知画像生成部116により生成された通知画像210を、表示画面中の所定の位置に配置する。ユーザは、この通知を見ることで、2D表示されている表示画像を、□ボタン24を押下することで、3D表示画像に切り替えられることを認識できる。ユーザが、3D表示出力モードに切り替えたい場合、□ボタン24を押下すると、入力受付部102が、表示出力モードの切替指示を受け付ける。
【0038】
図7は、確認画面を示す。入力受付部102が表示出力モードの切替指示を受け付けると、確認画像生成部118が、表示出力モード切替の確認画像データを生成して、表示処理部44が確認画面を表示装置12に表示する。3D表示画像を見る際、3Dディスプレイのタイプによっては左右の見え方の異なる専用のメガネが必要となることもあるため、3D表示出力モードに切り替える場合には、一度、確認画面をユーザに提示して、ユーザの意志を確認するようにしている。
【0039】
ユーザが「はい」を選択して、○ボタン22を押下すると、入力受付部102が確認指示を受け付け、モード設定部112が、表示出力モードを3D表示出力モードに設定する。これにより、表示出力モードの切替が行われる。再生制御部132は、3D表示出力モードが設定されたことを受けて、表示画像生成部134および表示処理部44に、現在表示中の画像ファイルの出力形式の変更を指示する。これにより、表示画像生成部134は、左目用画像データおよび右目用画像データからなる3D画像データを生成して、表示処理部44が、表示装置12から3D画像を出力する。
【0040】
なお、通知画像210は、メニューの選択項目に含まれるようにしてもよい。画像の表示中、ユーザがたとえば所定のボタンを操作すると、複数の選択項目を含むメニューが表示画面の上に重ねて表示される。このとき、メニュー項目からユーザが通知画像210を選択することで、入力受付部102が表示出力モードの切替指示を受け付けるようになる。なお、メニュー項目から通知画像210を選択するユーザインタフェースを提供する場合には、ユーザは、通知画像210を選択して決定ボタンを押下することで、表示出力モードの切替指示を入力できるため、図6に示す通知画像210から「□」が除かれた「2D/3D」の表示がメニューに含まれるようにする。
【0041】
なお、ユーザは、3D表示出力モードを、2D表示出力モードに切り替えることも可能である。3D表示出力モードから2D表示出力モードへの切替は原則としていつでも可能であるため、3D表示出力モード中においては、表示画面中に通知画像210を常に出すようにしてもよい。これにより、ユーザは□ボタン24を押下することで、2D表示出力モードにいつでも戻すことができるようになる。なお、後述するように、3D表示出力モード中、通知画像210は、所定の条件が満たされたときに、表示されるようにしてもよい。
【0042】
2D表示出力モードから3D表示出力モードに切り替える場合には、図7に示す確認画面を提供するようにしたが、一方で、3D表示出力モードから2D表示出力モードに切り替える場合には、確認画像生成部118は、確認画像を生成しない。2D表示画像を見るには、専用のメガネを必要としないため、2D表示出力モードに切り替える場合には、改めて確認する必要性に乏しいという理由による。確認画面を出さないことで、3D表示出力モードから2D表示出力モードの遷移を、スムーズに実行することが可能となる。
【0043】
なお、2D表示出力モードにおいて、表示画像生成部134が、3Dコンテンツの画像データを表示対象として決定することがある。たとえば、MPフォーマットにおいて、立体視の種別コードが付加された画像ファイルは、もともと3D表示されることを予定されているコンテンツである。したがって、このような場合には、ユーザに、3D表示可能であることを通知できることが好ましい。
【0044】
そこで、通知画像の生成条件には、モード設定部112が2D表示出力モードを設定していること、および、表示装置12が3D表示可能であることに加えて、表示画像生成部134が3D画像データから表示画像を生成することが含まれてもよい。たとえば表示対象決定部136が、表示対象とする画像ファイルを特定した際、判定部114が、その画像ファイルに対応する表示形式(種別コード)を属性情報記憶部154から読み出し、立体視画像であるか否かを判定する。表示対象となる画像ファイルが、2Dコンテンツから3Dコンテンツに切り替わった際に、判定部114は、通知画像の生成条件が成立したことを判定し、通知画像生成部116が、図6に示す通知画像210を生成して、表示処理部44が、2D表示画像に重畳して通知画像210を表示する。これにより、出力モード処理部110は、ユーザに対して、3Dコンテンツを3D表示させる機会を、効果的に提供することができる。なお、表示出力モードが変更されたとき、ユーザが表示出力モードを元に戻せるように、表示処理部44は、通知画像210を表示してもよい。
【0045】
なお、3Dコンテンツの表示時に、表示処理部44が通知画像210を表示して、ユーザが表示された通知画像210にしたがって2D表示出力モードから3D表示出力モードに切り替えた後、表示画像生成部134が、2Dコンテンツの画像データを表示対象として決定することがある。2Dコンテンツの画像ファイルは、2D表示されることを予定されたものであるため、ユーザに、2D表示可能であることを通知できることが好ましい。
【0046】
そこで、3Dコンテンツの表示の際にユーザが通知画像210にしたがって3D表示出力モードを選択したこと、表示画像生成部134が2D画像データから表示画像を生成することを通知条件とし、判定部114が、通知画像の生成条件が成立したことを判定した場合に、通知画像生成部116が通知画像データを生成して、表示処理部44が、3D表示されている画面の上に、通知画像210を重ねて表示する。また写真画像の再生処理が終了したことを通知条件として、表示処理部44が、3D表示されている画面の上に、通知画像210を重ねて表示してもよい。
【0047】
以上のように、表示装置12が3D出力可能なディスプレイを有する場合、ユーザは、2D表示出力モードで画像を表示するか、または3D表示出力モードで画像を表示するかを選択できる。なお、3D表示画像を見る際には、専用のメガネが必要となる場合もあることに配慮して、画像ビューワの起動時には、モード設定部112が2D表示出力モードをデフォルト設定することとしているが、表示装置12が2D対応ではなく、3D対応であれば、3D表示出力モードをデフォルト設定してもよい。
【0048】
以上のように、出力モード処理部110により表示出力モードが決定される。以下では、再生処理部130における画像再生処理について説明する。
本実施例において、画像データ記憶部152に記憶される複数の画像ファイルには、画像ビューワによる表示順序が予め設定されている。この表示順序は、画像データ記憶部152において各画像ファイルが記憶された順序であってもよく、また各画像ファイルの生成日時(撮影日時)にしたがった順序であってもよい。画像ビューワが起動され、表示装置12に画像が表示されると、ユーザは、入力装置20の筐体背面に設けられたL1ボタン29aまたはR1ボタン29bを押下することで、表示対象となる画像ファイルを切り替えることができる。ある画像ファイルがデコードされて表示装置12に表示されている場合、ユーザがL1ボタン29aを押下すると、一つ前の画像ファイルがデコードされて表示装置12に表示され、一方でR1ボタン29bを押下すると、一つ先の画像ファイルがデコードされて表示装置12に表示される。このように画像処理装置10において、ユーザによるL1ボタン29aボタンの操作は、所定の順序が設定された画像ファイル列に対して逆方向表示指示を形成し、一方で、ユーザによるR1ボタン29bの操作は、画像ファイル列に対して順方向表示指示を形成する。以下、表示画像を切り替える指示を、「切替表示指示」と呼ぶ。
【0049】
画像ビューワは、ユーザに対して、画像切替時の演出の選択肢を提供する。選択肢として、少なくとも以下の2つが用意されている。
(1)クロスフェード演出
クロスフェード演出は、2つの表示画像の一方のフェードアウト中に、他方をフェードインして、表示画像を切り替える演出をいう。画像データをデコードして生成した表示画像の不透明度を100%、表示画像が完全にフェードアウトして画面から消えたときの不透明度を0%とすると、第1の表示画像を不透明度100%からフェードアウトしていき、不透明度が0%となる前に、第2の表示画像を不透明度0%からフェードインすることで、クロスフェード演出が実現される。
(2)ノーマル演出
ノーマル演出は、2つの表示画像を即時に切り替える演出をいう。即時に切り替えることを、上記の不透明度を用いて説明すると、第1の表示画像をフェードすることなく、その不透明度を100%から0%とし、その後、第2の表示画像の不透明度を0%から100%とすることで、ノーマル演出が実現される。ノーマル演出では、表示画像の不透明度が0〜100%の中間値をとらない。
(3)フェードアウト、フェードイン演出
フェードアウト、フェードイン演出は、1つの表示画像をフェードアウトした後、別の表示画像をフェードインして、表示画像を切り替える演出をいう。クロスフェード演出とは異なり、第1の表示画像を不透明度100%からフェードアウトしていき、不透明度が0%となった後に、第2の表示画像を不透明度0%からフェードインする。
【0050】
画像ビューワが起動すると、ユーザは、画像切替時の演出を選択する。たとえば、画像切替時の演出として、デフォルトでクロスフェード演出が設定されており、ユーザがノーマル演出を希望する場合に、メニュー項目から、ノーマル演出を選択できるようにユーザインタフェースが構成されていてもよい。以下、クロスフェード演出とノーマル演出について説明する。
【0051】
再生制御部132は、モード設定部112により設定された表示出力モードに応じて、表示画像の切替を制御する。具体的に再生制御部132は、表示出力モードが2D表示出力モードである場合と、3D表示出力モードである場合とで、表示画像の切替制御を異ならせる。
【0052】
図8(a)〜図8(b)は、クロスフェード演出の説明図である。図8(a)は、2D表示出力モードにおけるクロスフェード演出を示し、図8(b)は、3D表示出力モードにおけるクロスフェード演出を示している。クロスフェード演出では、先に表示されている画像(以下、「第1表示画像」と呼ぶ)の不透明度を時間の経過に応じて100%から0%まで徐々に下げ、後から表示する画像(以下、「第2表示画像」と呼ぶ)の不透明度を、時間の経過に応じて0%から100%まで徐々に上げる。このとき、第1表示画像のフェードアウトが終了してから第2表示画像をフェードインするのではなく、第1表示画像のフェードアウト中に、第2表示画像をフェードインさせることで、クロスフェード演出が実現される。
【0053】
画像データをデコードして生成した表示画像の画素値がP0であるとすると、画素値P0の不透明度は100%である。画素値を小さくしていき、画素値がP1となったとき、画素値P1の不透明度は、(P1/P0)×100%となる。したがって、表示画像が完全にフェードアウトして、画素値が0となったとき、不透明度は0%となる。再生制御部132は、表示画像生成部134を制御して、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする。
【0054】
図8(a)および図8(b)において、縦軸は不透明度、横軸は時間を表現し、図中の細線は第1表示画像の不透明度の変化を、太線は第2表示画像の不透明度の変化を示す。またクロスフェード演出の開始時刻をt1、終了時刻はt5として示す。なお、クロスフェード演出の開始時刻は、第1表示画像の不透明度が100%から下がり出すタイミングであり、また終了時刻は、第2表示画像の不透明度が100%に到達したタイミングである。以下では、クロスフェード演出の開始時刻から終了時刻までの期間(t1からt5)を「クロスフェード処理期間」と呼ぶ。時間t1で入力受付部102が切替表示指示を受け付けると、再生制御部132が、クロスフェード演出の制御を開始する。
【0055】
図8(a)において、第1変化線230aは、第1表示画像の不透明度の変化を示し、第2変化線230bは、第2表示画像の不透明度の変化を示す。第1変化線230aと第2変化線230bは、クロスフェード処理期間の中央(t3)でクロスし、そのときの不透明度は両者ともに50%となる。2D表示出力モードでは、クロスフェード処理期間において、第1表示画像の不透明度をα%とした場合、第2表示画像の不透明度は(100−α)%と表現され、したがって、第1表示画像の不透明度と第2表示画像の不透明度の和は、α%+(100−α)%=100%となる。
【0056】
図8(b)において、第1変化線232aは、第1表示画像の不透明度の変化を示し、第2変化線232bは、第2表示画像の不透明度の変化を示す。第1変化線232aと第2変化線232bは、クロスフェード処理期間の中央(t3)でクロスし、そのときの不透明度は両者ともにOP%(<50%)となる。3D表示出力モードでは、クロスフェード処理期間において、第1表示画像の不透明度をβ%、第2表示画像の不透明度をγ%とした場合、(β+γ)%が、100%以下となるように、第1変化線232aおよび第2変化線232bが設定される。
【0057】
なお、(β+γ)=100となる場合は、クロスフェード処理の開始時刻(t1)と終了時刻(t5)であって、それ以外のクロスフェード処理期間では、(β+γ)<100となる。つまり、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和((β+γ)%)は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和(100%)以下となるように設定される。このことは、3D表示出力モードでは、2D表示出力モードと比較して、クロスフェード演出における2つの表示画像のオーバラップ量(不透明度の和)を少なくすることを意味している。
【0058】
3D表示出力モードで第1表示画像と第2表示画像とをクロスフェードする場合、第1表示画像と第2表示画像の視差量が異なる場合がある。そのような場合に、図8(a)に示すように、第1表示画像と第2表示画像とをαブレンドすると、2つの表示画像の視差量が異なることで、ユーザは違和感を覚えやすくなる。また、仮に2つの表示画像の視差量が異ならない場合であっても、2つの3D画像が画面に重畳表示されることで、やはりユーザは違和感を覚えやすくなる。そこで、3D表示出力モードでは、2D表示出力モードと比較してクロスフェード演出における2つの表示画像のオーバラップ量を少なくすることで、ユーザの目にやさしい演出を提供する。
【0059】
また、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度(OP%)は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度(50%)よりも小さく設定される。2つの表示画像の不透明度が等しくなるとき(t3)、両画像の視差量が異なると、ユーザが覚える違和感は最も大きくなる。そのため、時間t3において、3D表示出力モードにおける不透明度OP%を小さくすることで、ユーザが覚える違和感を低減することができる。OPは、30以下となるように設定されることが好ましい。
【0060】
また、図8(a)において、第2表示画像のフェードイン開始時刻は時間t1であり、第1表示画像のフェードアウト終了時刻は時間t5である。したがって、クロスフェード処理期間において、第1表示画像と第2表示画像の両方が表示されている期間(オーバラップ期間)は、時間t1からt5までの期間となる。一方、図8(b)において、第2表示画像のフェードイン開始時刻は時間t2であり、第1表示画像のフェードアウト終了時刻は時間t4である。したがって、オーバラップ期間は、時間t2からt4までの期間となる。このように、3D表示出力モードでは、2D表示出力モードと比べて、オーバラップ期間を短くすることで、クロスフェード演出を実行しつつ、ユーザが覚える違和感を低減することができる。
【0061】
以上のように、再生制御部132が、表示出力モードに応じて、表示画像生成部134における画像生成処理を制御する。これにより表示画像生成部134は、図8(a)または図8(b)に示す変化線にしたがって、生成する画像データの画素値を調整する。これにより、3D表示出力モードにおいて、ユーザの目にやさしいクロスフェード演出を実行することが可能となる。
【0062】
なお、再生制御部132は、表示出力モードに応じて、表示処理部44における表示処理を制御してもよい。表示処理部44は、表示画像生成部134が生成した不透明度100%の画像データの画素値を、図8(a)または図8(b)に示す変化線にしたがって調整する。画素値の調整を表示処理部44に任せることで、表示画像生成部134は、フレームごとに画像データを生成する必要がなくなるため、システム全体の処理負荷を大幅に低減できるようになる。
【0063】
図9(a)〜図9(b)は、ノーマル演出の説明図である。図9(a)は、2D表示出力モードにおけるノーマル演出を示し、図9(b)は、3D表示出力モードにおけるノーマル演出を示している。ノーマル演出では、先に表示されている画像(以下、「第1表示画像」と呼ぶ)の不透明度を100%から0%に下げ、即時に、後から表示する画像(以下、「第2表示画像」と呼ぶ)の不透明度を、0%から100%まで上げる。つまり、ノーマル演出では、0%から100%の間の不透明度は利用せず、第1表示画像の表示を終了した後、第2表示画像の表示を開始する。再生制御部132は、表示処理部44または表示画像生成部134を制御して、第1表示画像と第2表示画像とを即時に切り替えることで、ノーマル演出を実行する。なお、即時に切り替えるとは、第1表示画像の表示終了と同時に第2表示画像の表示を開始する場合だけでなく、第1表示画像の表示終了から短時間経過後に第2表示画像の表示を開始する場合も含む。
【0064】
図9(a)および図9(b)において、縦軸は不透明度、横軸は時間を表現し、図中の細線は第1表示画像の表示状態を、太線は第2表示画像の表示状態を示す。また第1表示画像の表示終了時刻をt6として示す。時間t6で入力受付部102が切替表示指示を受け付けると、再生制御部132が、ノーマル演出の制御を開始する。
【0065】
図9(a)において、第1線240aは、第1表示画像の表示状態を示し、第2線240bは、第2表示画像の表示状態を示す。第2表示画像は、第1表示画像の表示を終了した次のフレームから表示される。つまり、2D表示出力モードにおいて、第1表示画像の最後のフレームと、第2表示画像の最初のフレームとは連続している。
【0066】
図9(b)において、第1線242aは、第1表示画像の表示状態を示し、第2線242bは、第2表示画像の表示状態を示す。第2表示画像は、第1表示画像の表示を終了してから、数フレーム後に表示される。この例では、第1表示画像の表示終了時刻がt6であり、数フレーム後、たとえば3フレーム後のt7から、第2表示画像の表示が開始されている。つまり、3D表示出力モードにおいて、第1表示画像の最後のフレームと、第2表示画像の最初のフレームとは、連続していない。
【0067】
以上のように、第1表示画像の表示を終了してから第2表示画像の表示を開始するまでの切替期間は、3D表示出力モードの方が2D表示出力モードよりも長く設定される。3D表示出力モードで第1表示画像と第2表示画像とを即時に切り替える場合、第1表示画像と第2表示画像の視差量が異なる場合がある。そのような場合に、図9(a)に示すように、第1表示画像と第2表示画像とを連続して切り替えると、2つの表示画像の視差量が異なることで、ユーザは違和感を覚えやすくなる。そこで、3D表示出力モードでは、2D表示出力モードと比較して、画像の切替期間を長くすることで、ユーザの目にやさしい切替演出を提供する。
【0068】
なお、本発明者は、3D表示出力モードにおいて、切替期間に、所定色の画像を表示することで、違和感を軽減できるという知見を得た。この所定色は、たとえば黒色である。3D表示出力モードにおいて、3D画像を切り替える際に、切替期間に黒色画像を挟み込むことで、2つの表示画像の視差量の違いをリセットし、ユーザが覚える違和感を一層低減することが可能となる。なお、2D画像を切り替える際にも、切替期間に黒色画像を挟み込んでもよいが、上記したように、切替期間は、3D表示出力モードの方が2D表示出力モードよりも長く設定され、したがって、黒色画像の表示時間は、3D表示出力モードの方が長くされることが好ましい。
【0069】
以上のように、再生制御部132が、表示出力モードに応じて、表示処理部44の表示処理を制御し、表示処理部44は、図9(a)または図9(b)に示す切替処理にしたがって、表示画像を切り替える。これにより、3D表示出力モードにおいて、ユーザの目にやさしいノーマル演出を実行することが可能となる。
【0070】
なお、フェードアウト、フェードイン演出においても、第1表示画像の表示を終了してから第2表示画像の表示を開始するまでの切替期間は、3D表示出力モードの方が2D表示出力モードよりも長く設定される。ノーマル演出と同様に、切替期間に、所定色の画像を表示してもよく、黒色画像の表示時間は、3D表示出力モードの方が長く設定される。これにより、3D表示出力モードにおいて、ユーザの目にやさしいフェードアウト、フェードイン演出を実行することが可能となる。
【0071】
以上は、各表示出力モードにおいて表示画像を切り替える際の演出について説明した。以下では、画面の表示状況が3D表示に適切でなくなった場合に、3D表示を中止して、2D表示を行う例を説明する。
【0072】
図10は、複数の3D写真画像をグリッド表示した例を示す。表示画像生成部134は、複数の写真を配列した3D画像データを生成し、表示処理部44が、複数の3Dの写真画像250が配列された表示画像を表示装置12に表示する。
【0073】
表示画像生成部134は、マルチピクチャフォーマットで立体視画像として撮影された画像ファイルから、左目用画像データと右目用画像データを生成し、表示処理部44が、左目用画像および右目用画像を画面に表示することで、3D画像が表示される。なお表示画像生成部134は、立体視用の画像ファイルだけでなく、JPEGやGIFなどのフォーマットで作成された1枚の画像データから、左目用画像データと右目用画像データを生成することもできる。表示処理部44は、背景画像上に複数の写真の左目用画像データを配列した左目用画像データと、背景画像上に複数の写真の右目用画像データを配列した右目用画像データとを表示装置12に出力することで、図10に示すグリッド表示画面が生成される。
【0074】
また別の例として、表示画像生成部134は、ジオメトリエンジンおよびレンダリングエンジンを有して、左目用画像データと右目用画像データを生成してもよい。この場合、ジオメトリエンジンが、複数の写真オブジェクトを仮想空間内に配列し、2台の仮想カメラを、それぞれの視線方向が交わるように設定して、レンダリングエンジンが、それぞれの仮想カメラからのデータをレンダリングすることで、左目用画像データと右目用画像データを生成する。表示処理部44が、生成された左目用画像データと右目用画像データとを表示装置12に出力することで、図10に示すグリッド表示画面が生成される。
【0075】
このように表示処理部44は、表示画像生成部134が生成した3D画像を表示する。3D画像の表示中、再生制御部132は、画面の表示状況に基づいて、表示処理部44の表示を制御する。具体的には、表示処理部44が3D画像を表示している際に、画面の表示状況が所定の状況となった場合に、再生制御部132は、表示処理部44に、3D画像の表示を中止させて、2D画像を表示させるように制御する。
【0076】
図10に示すグリッド表示画面は、たとえば写真画像を撮影日毎にまとめて表示する際に利用される。そのため、表示画面をスクロールすると、表示画面の全体が上方向または下方向に動き、表示されている日付以外の日に撮影された写真画像が表示されるようになっている。ユーザは、入力装置20のアナログスティック27bを操作して、表示画面をスクロールすることができ、たとえばアナログスティック27bを上(奥)方向に倒すと、グリッド表示画面が上方向にスクロールされ、下(手前)方向に倒すと、グリッド表示画面が下方向にスクロールされる。
【0077】
グリッド表示画面が、3D表示のまま移動すると、ユーザは、各写真画像を目で追うことになるため、視差量を合わせるために、違和感を覚えやすくなる。そこで、再生制御部132は、表示画像が移動する場合には、表示処理部44に3D画像の表示を中止させて、2D画像を表示させるようにする。
【0078】
たとえば、表示画像生成部134が、画像ファイルから両目用の画像データを生成している場合、表示処理部44は、一方の画像データのみを用いて、2Dのグリッド表示画面を表示してもよい。また、再生制御部132が、表示画像生成部134に対して2D画像の生成を指示し、表示処理部44は、表示画像生成部134が生成した2D画像データを用いて、2Dのグリッド表示画面を表示装置12に表示してもよい。
【0079】
また、表示画像生成部134が、レンダリングにより両目用の画像データを生成している場合、表示画像生成部134が、2台の仮想カメラの位置および視線方向が一致するようにして、それぞれの仮想カメラからのデータをレンダリングすることで、表示処理部44が、2Dのグリッド表示画面を表示装置12に表示する。
【0080】
なお、表示画面が低速でスクロールされている間は、それほどユーザが覚える違和感も大きくない。そのため、再生制御部132は、表示画像の移動速度を監視し、移動速度が所定値を超えた場合に、表示処理部44に3D画像の表示を中止させて、2D画像を表示させるようにしてもよい。たとえば、表示画像の移動速度が所定値を超えると、視差量がなめらかに0となるように左目用画像データと右目用画像データとを生成することで、2D画像を表示させるようにしてもよい。また、移動速度に応じて、視差量を減らしていくことで、移動速度が所定値を超えた場合に、2D画像が表示されるようにしてもよい。これにより、高速スクロール処理の場合のユーザが覚える違和感を軽減できつつ、且つ低速スクロール処理時に3D表示を継続することが可能となる。
【0081】
図11は、3D画像上に、メニュー表示領域を表示した例を示す。ここでは、3D表示されたグリッド表示画面に重ねて、複数のメニュー項目を表示するメニュー表示領域260が形成されている。なお、複数のメニュー項目は、2D表示されている。このメニュー表示領域260では、ユーザが選択したいメニュー項目を中央のフォーカス領域に配置し、決定ボタンを押下することで、選択した項目に対応する処理が起動するようになる。フォーカス領域に配置されるメニュー項目は、3D表示されるようにしてもよい。
【0082】
メニュー表示領域260におけるメニュー項目は、フォーカス領域以外では2Dで表示される。そのため、背景となるグリッド表示画面が3D表示されていると、背景のグリッド表示画面の方が、メニュー項目よりも飛び出して見える視差矛盾が生じる可能性がある。そこで、再生制御部132は、表示画像の上に重ねて別の画像が表示される場合に、表示処理部44に、背景画像を2D表示させるようにする。このように、3D画像の上に、2D画像を表示する状況を回避することで、目にやさしい表示画面をユーザに提供できるようになる。
【0083】
以上の例では、再生制御部132が表示処理部44の表示を制御する例を説明したが、再生制御部132が、表示画像生成部134に3D画像データの生成を中止させて、2D画像データを生成させ、表示処理部44が、表示画像生成部134が生成した2D画像データを用いて、2D画像を表示装置12に表示するようにしてもよい。
【0084】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0085】
1・・・画像処理システム、10・・・画像処理装置、12・・・表示装置、20・・・入力装置、44・・・表示処理部、100・・・制御部、102・・・入力受付部、110・・・出力モード処理部、112・・・モード設定部、114・・・判定部、116・・・通知画像生成部、118・・・確認画像生成部、130・・・再生処理部、132・・・再生制御部、134・・・表示画像生成部、136・・・表示対象決定部、138・・・画像データ読出部、150・・・ディスプレイ情報記憶部、152・・・画像データ記憶部、154・・・属性情報記憶部。
【技術分野】
【0001】
本発明は、画像処理技術に関する。
【背景技術】
【0002】
3D(3次元)テレビを代表とする3Dディスプレイが普及している。3Dディスプレイは、ユーザに左目用と右目用の画像を見せることで、立体感のある映像を提供する。3次元ディスプレイの種類には複数の方式があるが、ユーザが左右の見え方の異なるメガネを着用するタイプのものが一般に流通している。近年の画像処理技術によると、2D(2次元)画像に演算処理を加えることで、左目用画像と右目用画像とを作り出すことも可能となっている。
【0003】
デジタルカメラの機能および性能の向上に伴って、互いに関連をもつ複数の画像データをまとめて記録するフォーマットが規定されている。カメラ映像機器工業会(Camera & Imaging Products Association)により策定された規格(standard)は、複数の画像データを記録するためのデータ構造を定義し、このデータ構造を用いた「マルチピクチャフォーマット(Multi-Picture Format)」と呼ばれるフォーマットを規定している。マルチピクチャフォーマットでは、画像の種別として「マルチビュー」が定義され、マルチビューは細分として、「立体視」の種別を有している。この画像種別は、デジタルカメラの撮影時に、ユーザが撮影モードを設定することで決定され、撮影された2つの画像データは、デジタルカメラの内部回路により、画像種別コードを含めた1つの画像ファイルとしてまとめられる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】「Standard of the Camera & Imaging Products Association, CIPA DC-007-Translation-2009, Multi-Picture Format」、Camera & Imaging Products Association、2009年2月4日、インターネット<URL : http://www.cipa.jp/english/hyoujunka/kikaku/pdf/DC-007_E.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0005】
3D画像は、左右画像のずれ(視差量)を利用して、立体感を生み出している。複数の3D画像を連続して表示するような場合、それぞれの3D画像の視差量が異なると、ユーザに違和感を与える可能性があることを、本発明者は知見として得た。また本発明者は3D画像を画面中で移動させるような場合も同様に、ユーザに違和感を与える可能性があることを知見として得た。そこで本発明者は3Dディスプレイにおいて、ユーザが快適に見ることのできる画像を提供する技術を開発するに至った。またユーザは、デジタルカメラで撮影した3D写真を、3D表示させたいことが多いと考えられるが、一方で、3Dディスプレイにおいても2D表示させたいユーザも存在する。これは、ユーザの好みによるため、ユーザに対して適切な選択肢を提供できることが好ましい。
【0006】
そこで本発明は、画像データを適切に再生する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある態様の画像処理装置は、2D表示出力モードと、3D表示出力モードとを選択的に設定するモード設定部と、表示画像の切替を制御する再生制御部とを備える、再生制御部は、モード設定部により設定された表示出力モードにしたがって、表示画像の切替制御を異ならせる。
【0008】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0009】
本発明の情報処理技術によると、画像データを適切に再生する技術を提供することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図2】入力装置の外観構成を示す図である。
【図3】画像処理装置の機能ブロック図である。
【図4】制御部の機能ブロックを主として示す図である。
【図5】表示装置に表示されるメニュー画面の一例を示す図である。
【図6】表示画面上に重ねて表示される通知画像を示す図である。
【図7】確認画面を示す図である。
【図8】(a)および(b)は、クロスフェード演出の説明図である。
【図9】(a)および(b)は、ノーマル演出の説明図である。
【図10】複数の写真画像をグリッド表示した例を示す図である。
【図11】画像上にメニュー表示領域を表示した例を示す図である。
【発明を実施するための形態】
【0011】
図1は、本発明の実施例にかかる画像処理システム1の使用環境を示す。画像処理システム1は、ユーザが操作する入力装置20と、画像処理ソフトウェアを実行する画像処理装置10と、画像処理装置10による処理結果を出力する表示装置12とを備える。表示装置12は、3Dディスプレイであり、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置12は、画像処理装置10に有線ケーブルで接続されてよく、また無線LAN(Local Area Network)により無線接続されてもよい。なお画像処理装置10、入力装置20および表示装置12は、一体に形成されて、画像処理機能を搭載した携帯端末装置として構成されてもよい。
【0012】
画像処理システム1において、画像処理装置10は、ケーブル14を介してパーソナルコンピュータなどの外部機器と接続し、外部機器から画像データを取得できる。また画像処理装置10はUSB(Universal Serial Bus)端子を有し、デジタルカメラとUSBケーブルで接続して、デジタルカメラから画像データを取得できる。また画像処理装置10はメディアドライブを有し、ROM媒体から画像データを取得してもよく、ネットワーク経由で外部サーバなどから画像データを取得してもよい。
【0013】
画像処理装置10は、たとえばゲーム装置であって、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現する。なお画像処理装置10は、パーソナルコンピュータであってもよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。
【0014】
本実施例の画像処理装置10は、マルチピクチャフォーマットで立体視画像として撮影された画像データを用いて、表示装置12に3D画像を表示する機能をもつ。また画像処理装置10は、2D画像データを3D画像データに変換して、3D画像を表示する機能を有してもよい。
【0015】
また画像処理装置10は、3次元コンピュータグラフィックス(3DCG)を実行する機能ももつ。画像処理装置10は、ジオメトリエンジンおよびレンダリングエンジンを有し、ジオメトリエンジンは、光源と仮想カメラの設定をした上で透視変換を行い、レンダリングエンジンは、透視変換されたデータをもとに、フレームバッファにオブジェクトを描画する。ジオメトリエンジンが、2台の仮想カメラを、それぞれの視線方向が交わるように設定し、レンダリングエンジンが、それぞれの仮想カメラからのデータをレンダリングすることで、表示装置12に3D画像を表示することができる。
【0016】
図2は、入力装置20の外観構成を示す。入力装置20は、その筐体表面において、ユーザが操作可能な操作手段として、十字キー21、アナログスティック27a、27bと、4種の操作ボタン26を備える。4種の操作ボタン26は、○ボタン22、×ボタン23、□ボタン24および△ボタン25から構成される。また入力装置20の筐体背面には、左側にL1ボタン29a、右側にR1ボタン29bが設けられている。ユーザは、左グリップ28aを左手で把持し、右グリップ28bを右手で把持して、各操作手段を操作する。
【0017】
入力装置20は、ユーザにより入力された操作信号を画像処理装置10に伝送する機能をもち、本実施例では画像処理装置10との間で無線通信可能に構成される。入力装置20と画像処理装置10は、Bluetooth(ブルートゥース)(登録商標)プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置20は、画像処理装置10とケーブルを介して接続して、ユーザにより入力された操作信号を画像処理装置10に伝送してもよい。
【0018】
図3は、画像処理装置10の機能ブロック図を示す。画像処理装置10は、無線インタフェース40、スイッチ42、表示処理部44、ハードディスクドライブ50、記録媒体装着部52、ディスクドライブ54、メインメモリ60、バッファメモリ70および制御部100を有して構成される。表示処理部44は、表示装置12のディスプレイに表示するデータをバッファするフレームメモリを有する。
【0019】
スイッチ42は、イーサネットスイッチ(イーサネットは登録商標)であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ42は無線インタフェース40に接続し、無線インタフェース40は、所定の無線通信プロトコルで入力装置20と接続する。入力装置20においてユーザから入力された操作信号は、無線インタフェース40、スイッチ42を経由して、制御部100に供給される。
【0020】
またスイッチ42は、ケーブル14を介して外部機器に接続し、外部機器から、複数の画像ファイルを取得する。画像ファイルは、マルチピクチャフォーマット(以下、「MPフォーマット」と呼ぶ)で規定された画像ファイル(以下、「MPファイル」とも呼ぶ)であってよく、またJPEGやGIF等の通常のフォーマットで規定された画像ファイルであってよい。
【0021】
ハードディスクドライブ50は、データを記憶する補助記憶装置として機能する。スイッチ42を介して受信された画像ファイルは、ハードディスクドライブ50に格納される。表示処理の際、ハードディスクドライブ50に格納された画像ファイルは、デコード処理されて、バッファメモリ70に記憶される。
【0022】
記録媒体装着部52は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ54は、読出専用のROMディスクが装着されると、ROMディスクを駆動して認識し、データを読み出す。ROMディスクは、光ディスクや光磁気ディスクなどであってよい。画像ファイルは、リムーバブル記録媒体またはROMディスクに記録されていて、記録媒体装着部52またはディスクドライブ54からハードディスクドライブ50にインストールされてもよく、また表示処理の実行時にデコード処理されてバッファメモリ70に記憶されてもよい。
【0023】
制御部100は、マルチコアCPUを備え、1つのCPUの中に1つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはPPU(Power Processing Unit)と呼ばれ、残りのプロセッサコアはSPU(Synergistic-Processing Unit)と呼ばれる。
【0024】
制御部100は、メインメモリ60およびバッファメモリ70に接続するメモリコントローラを備える。PPUはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各SPUに効率的に割り当てる。なお、PPU自身がタスクを実行してもよい。SPUはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ70として使用されてもよい。メインメモリ60およびバッファメモリ70はRAM(ランダムアクセスメモリ)として構成される。SPUは制御ユニットとして専用のDMA(Direct Memory Access)コントローラをもち、メインメモリ60とバッファメモリ70の間のデータ転送を高速に行うことができ、また表示処理部44におけるフレームメモリとバッファメモリ70の間で高速なデータ転送を実現できる。本実施例の制御部100は、複数のSPUを並列動作させることで、高速な画像処理機能を実現する。表示処理部44は、表示装置12に接続されて、制御部100による画像処理結果を出力する。
【0025】
図4は、制御部100の機能ブロックを主として示す。制御部100は、入力受付部102、出力モード処理部110および再生処理部130を備える。出力モード処理部110は、表示処理部44による表示出力モードを管理する機能を有し、モード設定部112、判定部114、通知画像生成部116および確認画像生成部118を備える。再生処理部130は、画像データを再生する機能を有し、再生制御部132、表示画像生成部134、表示対象決定部136および画像データ読出部138を備える。これらの機能の少なくとも一部は、画像処理装置10にインストールされた画像再生アプリケーション(以下、「画像ビューワ」と呼ぶ)により実現される。
【0026】
図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部100には1つのPPUと複数のSPUとが設けられており、PPUおよびSPUがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【0027】
ディスプレイ情報記憶部150は、ハードディスクドライブ50の記憶領域に構成され、表示装置12のディスプレイサイズ、解像度、出力形式などのディスプレイ情報を記憶する。ディスプレイ情報は、画像処理装置10を表示装置12に接続するときに、ユーザにより登録される。なお画像処理装置10と表示装置12とがHDMI(High Definition Multimedia Interface)ケーブルで接続されている場合、画像処理装置10のシステムソフトウェアが表示装置12に問い合わせることで、表示装置12がディスプレイ情報を画像処理装置10に通知してもよい。本実施例において、表示装置12の出力形式は、3次元表示可能であるか、または2次元表示しかできないかを示す情報である。以下、3次元表示可能な出力形式を「3D対応」、2次元表示しかできない出力形式を「2D対応」と呼ぶ。
【0028】
画像データ記憶部152は、複数の画像データを記憶する。本実施例の画像ビューワは、ハードディスクドライブ50に格納された写真画像だけでなく、外部の記録媒体に記録されている写真画像も再生できる。したがって本実施例において画像データ記憶部152は、ハードディスクドライブ50に限らず、再生対象となる画像データが記録された記録媒体の記憶領域に構成されていてよい。図4には、画像データ記憶部152がハードディスクドライブ50の記憶領域に構成されている様子が示されている。
【0029】
画像処理装置10において、システムソフトウェアは、画像ファイルをハードディスクドライブ50にインストールする際に、画像ファイルに含まれる付属情報を参照して、ファイルチェックを行う。画像ファイルが正常であれば、システムソフトウェアは、付属情報の少なくとも一部を抽出し、属性情報として属性情報記憶部154に記憶する。本実施例において抽出される付属情報には、サムネイル画像など、メニュー画面に表示されるデータが含まれる。画像ファイルがMPファイルである場合、システムソフトウェアは、MPファイルの種別コードから、MPファイルの表示形式を特定し、属性情報として属性情報記憶部154に記憶してもよい。なお画像ファイルのインストール時、システムソフトウェアは、画像データを縮小して、サムネイル画像を生成してもよい。
【0030】
図5は、表示装置12に表示されるメニュー画面の一例を示す。本実施例の画像処理装置10では、システムソフトウェアがメニュー画像を生成する。横方向に配列された複数のフォルダ画像のうち、フォルダ画像200は、写真コンテンツのフォルダを示す。縦方向には、アイコン画像202、204、206が配列される。ユーザは、入力装置20を操作して所望のアイコン画像をフォーカス領域の位置までスクロールさせて動かし、入力装置20の所定のボタンを押下することで、そのアイコン画像に対応付けられている処理を実行させることができる。図5の例では、写真コンテンツのアイコン画像202がフォーカス領域に配置され、ユーザが入力装置20の○ボタン22を押下すると再生指示が生成され、画像ビューワが起動される。なお、図5に示すメニュー画面には、画像データを記録した記録媒体のアイコン画像を示していないが、フォトアイコン画像の直下に、記録媒体のアイコン画像が表示され、媒体アイコン画像の直下または右方に、アイコン画像202、204、206が配列されてもよい。
【0031】
システムソフトウェアは、画像ファイルにサムネイル画像が含まれている場合には、そのサムネイル画像を用いて、アイコン画像を生成し、画像ファイルにサムネイル画像が含まれていない場合には、画像データを縮小して、アイコン画像を生成する。なお画像ファイルがMPファイルである場合、システムソフトウェアは、ハードディスクドライブ50から属性情報を読み出して、代表画像フラグが1に設定されている個別画像のサムネイル画像を特定し、アイコン画像を生成する。システムソフトウェアがメニュー画像データを生成すると、表示処理部44が、メニュー画像データを表示装置12に出力して、メニュー画面が表示装置12に表示される。
【0032】
図5に示すメニュー画面において、ユーザが入力装置20の所定のボタンを押下すると、画像ファイルの再生指示が形成されて画像ビューワが起動される。これにより、フォーカス領域に配置されたアイコン画像202で特定される画像ファイルの再生処理が開始される。画像ビューワが起動されると、まず出力モード処理部110が、表示出力モードを決定する。ここで表示出力モードとは、表示装置12から2D画像を表示するか、または3D画像を表示するかを特定するモードである。出力モード処理部110が表示出力モードを決定すると、再生処理部130が、決定された表示出力モードにしたがって、表示画像を生成する。
【0033】
入力受付部102が再生指示を受け付けると、画像ビューワが起動されて、出力モード処理部110および再生処理部130の機能が実行可能となる。出力モード処理部110において、モード設定部112は、2D表示出力モードと、3D表示出力モードとを選択的に設定する機能をもつ。画像ビューワの起動時、モード設定部112は、2D表示出力モードを設定する。
【0034】
再生処理部130において、表示対象決定部136が、表示対象となる画像ファイルを決定する。画像ビューワの起動時、表示対象決定部136は、アイコン画像202で特定される画像ファイルを表示対象として決定し、画像データ読出部138は、画像データ記憶部152から、表示対象となる画像ファイルおよびその属性情報を読み出して、表示画像生成部134に供給する。再生制御部132は、表示画像生成部134に対して、モード設定部112において設定された表示出力モードで表示画像を生成することを指示する。これにより、表示画像生成部134は、モード設定部112で設定された表示出力モードにしたがって、画像データをデコードして、表示画像データを生成する。画像ビューワの起動時、モード設定部112は、2D表示出力モードを設定しているため、表示画像生成部134は、2D画像データを生成して、表示処理部44が、表示装置12に2D画像を出力する。
【0035】
通知画像生成部116は、表示出力モードを切替可能であることを示す通知画像を生成する。この通知画像は、表示出力モードを切替可能であることを示すと同時に、表示出力モードを切り替えるための操作をユーザに提示するものであることが好ましい。たとえば、表示出力モードを切り替えるための操作が特定のボタンに割り当てられる場合には、そのボタンを含めて、通知画像が形成されることが好ましい。たとえば通知画像は、「□ 2D/3D」という表示態様をとり、ここで「2D/3D」は、表示出力モードを切替可能であることを示し、「□」は、切り替えるための操作ボタンが□ボタン24であることを示す。
【0036】
判定部114は、通知画像の生成条件が成立しているか否かを判定する。そもそも表示装置12が3D対応ディスプレイを有していなければ、表示出力モードを2D表示出力モードから3D表示出力モードに切り替えることはできない。したがって通知画像の生成条件には、モード設定部112が2D表示出力モードを設定しており、且つ表示装置12が3D表示可能であることが少なくとも含まれる。判定部114が、通知画像の生成条件が成立したことを判定した場合、通知画像生成部116は通知画像データを生成して、表示処理部44が、2D表示されている画面の上に、通知画像を重ねて表示する。
【0037】
図6は、2D表示画面上に重ねて表示される通知画像を示す。表示処理部44は、通知画像生成部116により生成された通知画像210を、表示画面中の所定の位置に配置する。ユーザは、この通知を見ることで、2D表示されている表示画像を、□ボタン24を押下することで、3D表示画像に切り替えられることを認識できる。ユーザが、3D表示出力モードに切り替えたい場合、□ボタン24を押下すると、入力受付部102が、表示出力モードの切替指示を受け付ける。
【0038】
図7は、確認画面を示す。入力受付部102が表示出力モードの切替指示を受け付けると、確認画像生成部118が、表示出力モード切替の確認画像データを生成して、表示処理部44が確認画面を表示装置12に表示する。3D表示画像を見る際、3Dディスプレイのタイプによっては左右の見え方の異なる専用のメガネが必要となることもあるため、3D表示出力モードに切り替える場合には、一度、確認画面をユーザに提示して、ユーザの意志を確認するようにしている。
【0039】
ユーザが「はい」を選択して、○ボタン22を押下すると、入力受付部102が確認指示を受け付け、モード設定部112が、表示出力モードを3D表示出力モードに設定する。これにより、表示出力モードの切替が行われる。再生制御部132は、3D表示出力モードが設定されたことを受けて、表示画像生成部134および表示処理部44に、現在表示中の画像ファイルの出力形式の変更を指示する。これにより、表示画像生成部134は、左目用画像データおよび右目用画像データからなる3D画像データを生成して、表示処理部44が、表示装置12から3D画像を出力する。
【0040】
なお、通知画像210は、メニューの選択項目に含まれるようにしてもよい。画像の表示中、ユーザがたとえば所定のボタンを操作すると、複数の選択項目を含むメニューが表示画面の上に重ねて表示される。このとき、メニュー項目からユーザが通知画像210を選択することで、入力受付部102が表示出力モードの切替指示を受け付けるようになる。なお、メニュー項目から通知画像210を選択するユーザインタフェースを提供する場合には、ユーザは、通知画像210を選択して決定ボタンを押下することで、表示出力モードの切替指示を入力できるため、図6に示す通知画像210から「□」が除かれた「2D/3D」の表示がメニューに含まれるようにする。
【0041】
なお、ユーザは、3D表示出力モードを、2D表示出力モードに切り替えることも可能である。3D表示出力モードから2D表示出力モードへの切替は原則としていつでも可能であるため、3D表示出力モード中においては、表示画面中に通知画像210を常に出すようにしてもよい。これにより、ユーザは□ボタン24を押下することで、2D表示出力モードにいつでも戻すことができるようになる。なお、後述するように、3D表示出力モード中、通知画像210は、所定の条件が満たされたときに、表示されるようにしてもよい。
【0042】
2D表示出力モードから3D表示出力モードに切り替える場合には、図7に示す確認画面を提供するようにしたが、一方で、3D表示出力モードから2D表示出力モードに切り替える場合には、確認画像生成部118は、確認画像を生成しない。2D表示画像を見るには、専用のメガネを必要としないため、2D表示出力モードに切り替える場合には、改めて確認する必要性に乏しいという理由による。確認画面を出さないことで、3D表示出力モードから2D表示出力モードの遷移を、スムーズに実行することが可能となる。
【0043】
なお、2D表示出力モードにおいて、表示画像生成部134が、3Dコンテンツの画像データを表示対象として決定することがある。たとえば、MPフォーマットにおいて、立体視の種別コードが付加された画像ファイルは、もともと3D表示されることを予定されているコンテンツである。したがって、このような場合には、ユーザに、3D表示可能であることを通知できることが好ましい。
【0044】
そこで、通知画像の生成条件には、モード設定部112が2D表示出力モードを設定していること、および、表示装置12が3D表示可能であることに加えて、表示画像生成部134が3D画像データから表示画像を生成することが含まれてもよい。たとえば表示対象決定部136が、表示対象とする画像ファイルを特定した際、判定部114が、その画像ファイルに対応する表示形式(種別コード)を属性情報記憶部154から読み出し、立体視画像であるか否かを判定する。表示対象となる画像ファイルが、2Dコンテンツから3Dコンテンツに切り替わった際に、判定部114は、通知画像の生成条件が成立したことを判定し、通知画像生成部116が、図6に示す通知画像210を生成して、表示処理部44が、2D表示画像に重畳して通知画像210を表示する。これにより、出力モード処理部110は、ユーザに対して、3Dコンテンツを3D表示させる機会を、効果的に提供することができる。なお、表示出力モードが変更されたとき、ユーザが表示出力モードを元に戻せるように、表示処理部44は、通知画像210を表示してもよい。
【0045】
なお、3Dコンテンツの表示時に、表示処理部44が通知画像210を表示して、ユーザが表示された通知画像210にしたがって2D表示出力モードから3D表示出力モードに切り替えた後、表示画像生成部134が、2Dコンテンツの画像データを表示対象として決定することがある。2Dコンテンツの画像ファイルは、2D表示されることを予定されたものであるため、ユーザに、2D表示可能であることを通知できることが好ましい。
【0046】
そこで、3Dコンテンツの表示の際にユーザが通知画像210にしたがって3D表示出力モードを選択したこと、表示画像生成部134が2D画像データから表示画像を生成することを通知条件とし、判定部114が、通知画像の生成条件が成立したことを判定した場合に、通知画像生成部116が通知画像データを生成して、表示処理部44が、3D表示されている画面の上に、通知画像210を重ねて表示する。また写真画像の再生処理が終了したことを通知条件として、表示処理部44が、3D表示されている画面の上に、通知画像210を重ねて表示してもよい。
【0047】
以上のように、表示装置12が3D出力可能なディスプレイを有する場合、ユーザは、2D表示出力モードで画像を表示するか、または3D表示出力モードで画像を表示するかを選択できる。なお、3D表示画像を見る際には、専用のメガネが必要となる場合もあることに配慮して、画像ビューワの起動時には、モード設定部112が2D表示出力モードをデフォルト設定することとしているが、表示装置12が2D対応ではなく、3D対応であれば、3D表示出力モードをデフォルト設定してもよい。
【0048】
以上のように、出力モード処理部110により表示出力モードが決定される。以下では、再生処理部130における画像再生処理について説明する。
本実施例において、画像データ記憶部152に記憶される複数の画像ファイルには、画像ビューワによる表示順序が予め設定されている。この表示順序は、画像データ記憶部152において各画像ファイルが記憶された順序であってもよく、また各画像ファイルの生成日時(撮影日時)にしたがった順序であってもよい。画像ビューワが起動され、表示装置12に画像が表示されると、ユーザは、入力装置20の筐体背面に設けられたL1ボタン29aまたはR1ボタン29bを押下することで、表示対象となる画像ファイルを切り替えることができる。ある画像ファイルがデコードされて表示装置12に表示されている場合、ユーザがL1ボタン29aを押下すると、一つ前の画像ファイルがデコードされて表示装置12に表示され、一方でR1ボタン29bを押下すると、一つ先の画像ファイルがデコードされて表示装置12に表示される。このように画像処理装置10において、ユーザによるL1ボタン29aボタンの操作は、所定の順序が設定された画像ファイル列に対して逆方向表示指示を形成し、一方で、ユーザによるR1ボタン29bの操作は、画像ファイル列に対して順方向表示指示を形成する。以下、表示画像を切り替える指示を、「切替表示指示」と呼ぶ。
【0049】
画像ビューワは、ユーザに対して、画像切替時の演出の選択肢を提供する。選択肢として、少なくとも以下の2つが用意されている。
(1)クロスフェード演出
クロスフェード演出は、2つの表示画像の一方のフェードアウト中に、他方をフェードインして、表示画像を切り替える演出をいう。画像データをデコードして生成した表示画像の不透明度を100%、表示画像が完全にフェードアウトして画面から消えたときの不透明度を0%とすると、第1の表示画像を不透明度100%からフェードアウトしていき、不透明度が0%となる前に、第2の表示画像を不透明度0%からフェードインすることで、クロスフェード演出が実現される。
(2)ノーマル演出
ノーマル演出は、2つの表示画像を即時に切り替える演出をいう。即時に切り替えることを、上記の不透明度を用いて説明すると、第1の表示画像をフェードすることなく、その不透明度を100%から0%とし、その後、第2の表示画像の不透明度を0%から100%とすることで、ノーマル演出が実現される。ノーマル演出では、表示画像の不透明度が0〜100%の中間値をとらない。
(3)フェードアウト、フェードイン演出
フェードアウト、フェードイン演出は、1つの表示画像をフェードアウトした後、別の表示画像をフェードインして、表示画像を切り替える演出をいう。クロスフェード演出とは異なり、第1の表示画像を不透明度100%からフェードアウトしていき、不透明度が0%となった後に、第2の表示画像を不透明度0%からフェードインする。
【0050】
画像ビューワが起動すると、ユーザは、画像切替時の演出を選択する。たとえば、画像切替時の演出として、デフォルトでクロスフェード演出が設定されており、ユーザがノーマル演出を希望する場合に、メニュー項目から、ノーマル演出を選択できるようにユーザインタフェースが構成されていてもよい。以下、クロスフェード演出とノーマル演出について説明する。
【0051】
再生制御部132は、モード設定部112により設定された表示出力モードに応じて、表示画像の切替を制御する。具体的に再生制御部132は、表示出力モードが2D表示出力モードである場合と、3D表示出力モードである場合とで、表示画像の切替制御を異ならせる。
【0052】
図8(a)〜図8(b)は、クロスフェード演出の説明図である。図8(a)は、2D表示出力モードにおけるクロスフェード演出を示し、図8(b)は、3D表示出力モードにおけるクロスフェード演出を示している。クロスフェード演出では、先に表示されている画像(以下、「第1表示画像」と呼ぶ)の不透明度を時間の経過に応じて100%から0%まで徐々に下げ、後から表示する画像(以下、「第2表示画像」と呼ぶ)の不透明度を、時間の経過に応じて0%から100%まで徐々に上げる。このとき、第1表示画像のフェードアウトが終了してから第2表示画像をフェードインするのではなく、第1表示画像のフェードアウト中に、第2表示画像をフェードインさせることで、クロスフェード演出が実現される。
【0053】
画像データをデコードして生成した表示画像の画素値がP0であるとすると、画素値P0の不透明度は100%である。画素値を小さくしていき、画素値がP1となったとき、画素値P1の不透明度は、(P1/P0)×100%となる。したがって、表示画像が完全にフェードアウトして、画素値が0となったとき、不透明度は0%となる。再生制御部132は、表示画像生成部134を制御して、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする。
【0054】
図8(a)および図8(b)において、縦軸は不透明度、横軸は時間を表現し、図中の細線は第1表示画像の不透明度の変化を、太線は第2表示画像の不透明度の変化を示す。またクロスフェード演出の開始時刻をt1、終了時刻はt5として示す。なお、クロスフェード演出の開始時刻は、第1表示画像の不透明度が100%から下がり出すタイミングであり、また終了時刻は、第2表示画像の不透明度が100%に到達したタイミングである。以下では、クロスフェード演出の開始時刻から終了時刻までの期間(t1からt5)を「クロスフェード処理期間」と呼ぶ。時間t1で入力受付部102が切替表示指示を受け付けると、再生制御部132が、クロスフェード演出の制御を開始する。
【0055】
図8(a)において、第1変化線230aは、第1表示画像の不透明度の変化を示し、第2変化線230bは、第2表示画像の不透明度の変化を示す。第1変化線230aと第2変化線230bは、クロスフェード処理期間の中央(t3)でクロスし、そのときの不透明度は両者ともに50%となる。2D表示出力モードでは、クロスフェード処理期間において、第1表示画像の不透明度をα%とした場合、第2表示画像の不透明度は(100−α)%と表現され、したがって、第1表示画像の不透明度と第2表示画像の不透明度の和は、α%+(100−α)%=100%となる。
【0056】
図8(b)において、第1変化線232aは、第1表示画像の不透明度の変化を示し、第2変化線232bは、第2表示画像の不透明度の変化を示す。第1変化線232aと第2変化線232bは、クロスフェード処理期間の中央(t3)でクロスし、そのときの不透明度は両者ともにOP%(<50%)となる。3D表示出力モードでは、クロスフェード処理期間において、第1表示画像の不透明度をβ%、第2表示画像の不透明度をγ%とした場合、(β+γ)%が、100%以下となるように、第1変化線232aおよび第2変化線232bが設定される。
【0057】
なお、(β+γ)=100となる場合は、クロスフェード処理の開始時刻(t1)と終了時刻(t5)であって、それ以外のクロスフェード処理期間では、(β+γ)<100となる。つまり、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和((β+γ)%)は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和(100%)以下となるように設定される。このことは、3D表示出力モードでは、2D表示出力モードと比較して、クロスフェード演出における2つの表示画像のオーバラップ量(不透明度の和)を少なくすることを意味している。
【0058】
3D表示出力モードで第1表示画像と第2表示画像とをクロスフェードする場合、第1表示画像と第2表示画像の視差量が異なる場合がある。そのような場合に、図8(a)に示すように、第1表示画像と第2表示画像とをαブレンドすると、2つの表示画像の視差量が異なることで、ユーザは違和感を覚えやすくなる。また、仮に2つの表示画像の視差量が異ならない場合であっても、2つの3D画像が画面に重畳表示されることで、やはりユーザは違和感を覚えやすくなる。そこで、3D表示出力モードでは、2D表示出力モードと比較してクロスフェード演出における2つの表示画像のオーバラップ量を少なくすることで、ユーザの目にやさしい演出を提供する。
【0059】
また、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度(OP%)は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度(50%)よりも小さく設定される。2つの表示画像の不透明度が等しくなるとき(t3)、両画像の視差量が異なると、ユーザが覚える違和感は最も大きくなる。そのため、時間t3において、3D表示出力モードにおける不透明度OP%を小さくすることで、ユーザが覚える違和感を低減することができる。OPは、30以下となるように設定されることが好ましい。
【0060】
また、図8(a)において、第2表示画像のフェードイン開始時刻は時間t1であり、第1表示画像のフェードアウト終了時刻は時間t5である。したがって、クロスフェード処理期間において、第1表示画像と第2表示画像の両方が表示されている期間(オーバラップ期間)は、時間t1からt5までの期間となる。一方、図8(b)において、第2表示画像のフェードイン開始時刻は時間t2であり、第1表示画像のフェードアウト終了時刻は時間t4である。したがって、オーバラップ期間は、時間t2からt4までの期間となる。このように、3D表示出力モードでは、2D表示出力モードと比べて、オーバラップ期間を短くすることで、クロスフェード演出を実行しつつ、ユーザが覚える違和感を低減することができる。
【0061】
以上のように、再生制御部132が、表示出力モードに応じて、表示画像生成部134における画像生成処理を制御する。これにより表示画像生成部134は、図8(a)または図8(b)に示す変化線にしたがって、生成する画像データの画素値を調整する。これにより、3D表示出力モードにおいて、ユーザの目にやさしいクロスフェード演出を実行することが可能となる。
【0062】
なお、再生制御部132は、表示出力モードに応じて、表示処理部44における表示処理を制御してもよい。表示処理部44は、表示画像生成部134が生成した不透明度100%の画像データの画素値を、図8(a)または図8(b)に示す変化線にしたがって調整する。画素値の調整を表示処理部44に任せることで、表示画像生成部134は、フレームごとに画像データを生成する必要がなくなるため、システム全体の処理負荷を大幅に低減できるようになる。
【0063】
図9(a)〜図9(b)は、ノーマル演出の説明図である。図9(a)は、2D表示出力モードにおけるノーマル演出を示し、図9(b)は、3D表示出力モードにおけるノーマル演出を示している。ノーマル演出では、先に表示されている画像(以下、「第1表示画像」と呼ぶ)の不透明度を100%から0%に下げ、即時に、後から表示する画像(以下、「第2表示画像」と呼ぶ)の不透明度を、0%から100%まで上げる。つまり、ノーマル演出では、0%から100%の間の不透明度は利用せず、第1表示画像の表示を終了した後、第2表示画像の表示を開始する。再生制御部132は、表示処理部44または表示画像生成部134を制御して、第1表示画像と第2表示画像とを即時に切り替えることで、ノーマル演出を実行する。なお、即時に切り替えるとは、第1表示画像の表示終了と同時に第2表示画像の表示を開始する場合だけでなく、第1表示画像の表示終了から短時間経過後に第2表示画像の表示を開始する場合も含む。
【0064】
図9(a)および図9(b)において、縦軸は不透明度、横軸は時間を表現し、図中の細線は第1表示画像の表示状態を、太線は第2表示画像の表示状態を示す。また第1表示画像の表示終了時刻をt6として示す。時間t6で入力受付部102が切替表示指示を受け付けると、再生制御部132が、ノーマル演出の制御を開始する。
【0065】
図9(a)において、第1線240aは、第1表示画像の表示状態を示し、第2線240bは、第2表示画像の表示状態を示す。第2表示画像は、第1表示画像の表示を終了した次のフレームから表示される。つまり、2D表示出力モードにおいて、第1表示画像の最後のフレームと、第2表示画像の最初のフレームとは連続している。
【0066】
図9(b)において、第1線242aは、第1表示画像の表示状態を示し、第2線242bは、第2表示画像の表示状態を示す。第2表示画像は、第1表示画像の表示を終了してから、数フレーム後に表示される。この例では、第1表示画像の表示終了時刻がt6であり、数フレーム後、たとえば3フレーム後のt7から、第2表示画像の表示が開始されている。つまり、3D表示出力モードにおいて、第1表示画像の最後のフレームと、第2表示画像の最初のフレームとは、連続していない。
【0067】
以上のように、第1表示画像の表示を終了してから第2表示画像の表示を開始するまでの切替期間は、3D表示出力モードの方が2D表示出力モードよりも長く設定される。3D表示出力モードで第1表示画像と第2表示画像とを即時に切り替える場合、第1表示画像と第2表示画像の視差量が異なる場合がある。そのような場合に、図9(a)に示すように、第1表示画像と第2表示画像とを連続して切り替えると、2つの表示画像の視差量が異なることで、ユーザは違和感を覚えやすくなる。そこで、3D表示出力モードでは、2D表示出力モードと比較して、画像の切替期間を長くすることで、ユーザの目にやさしい切替演出を提供する。
【0068】
なお、本発明者は、3D表示出力モードにおいて、切替期間に、所定色の画像を表示することで、違和感を軽減できるという知見を得た。この所定色は、たとえば黒色である。3D表示出力モードにおいて、3D画像を切り替える際に、切替期間に黒色画像を挟み込むことで、2つの表示画像の視差量の違いをリセットし、ユーザが覚える違和感を一層低減することが可能となる。なお、2D画像を切り替える際にも、切替期間に黒色画像を挟み込んでもよいが、上記したように、切替期間は、3D表示出力モードの方が2D表示出力モードよりも長く設定され、したがって、黒色画像の表示時間は、3D表示出力モードの方が長くされることが好ましい。
【0069】
以上のように、再生制御部132が、表示出力モードに応じて、表示処理部44の表示処理を制御し、表示処理部44は、図9(a)または図9(b)に示す切替処理にしたがって、表示画像を切り替える。これにより、3D表示出力モードにおいて、ユーザの目にやさしいノーマル演出を実行することが可能となる。
【0070】
なお、フェードアウト、フェードイン演出においても、第1表示画像の表示を終了してから第2表示画像の表示を開始するまでの切替期間は、3D表示出力モードの方が2D表示出力モードよりも長く設定される。ノーマル演出と同様に、切替期間に、所定色の画像を表示してもよく、黒色画像の表示時間は、3D表示出力モードの方が長く設定される。これにより、3D表示出力モードにおいて、ユーザの目にやさしいフェードアウト、フェードイン演出を実行することが可能となる。
【0071】
以上は、各表示出力モードにおいて表示画像を切り替える際の演出について説明した。以下では、画面の表示状況が3D表示に適切でなくなった場合に、3D表示を中止して、2D表示を行う例を説明する。
【0072】
図10は、複数の3D写真画像をグリッド表示した例を示す。表示画像生成部134は、複数の写真を配列した3D画像データを生成し、表示処理部44が、複数の3Dの写真画像250が配列された表示画像を表示装置12に表示する。
【0073】
表示画像生成部134は、マルチピクチャフォーマットで立体視画像として撮影された画像ファイルから、左目用画像データと右目用画像データを生成し、表示処理部44が、左目用画像および右目用画像を画面に表示することで、3D画像が表示される。なお表示画像生成部134は、立体視用の画像ファイルだけでなく、JPEGやGIFなどのフォーマットで作成された1枚の画像データから、左目用画像データと右目用画像データを生成することもできる。表示処理部44は、背景画像上に複数の写真の左目用画像データを配列した左目用画像データと、背景画像上に複数の写真の右目用画像データを配列した右目用画像データとを表示装置12に出力することで、図10に示すグリッド表示画面が生成される。
【0074】
また別の例として、表示画像生成部134は、ジオメトリエンジンおよびレンダリングエンジンを有して、左目用画像データと右目用画像データを生成してもよい。この場合、ジオメトリエンジンが、複数の写真オブジェクトを仮想空間内に配列し、2台の仮想カメラを、それぞれの視線方向が交わるように設定して、レンダリングエンジンが、それぞれの仮想カメラからのデータをレンダリングすることで、左目用画像データと右目用画像データを生成する。表示処理部44が、生成された左目用画像データと右目用画像データとを表示装置12に出力することで、図10に示すグリッド表示画面が生成される。
【0075】
このように表示処理部44は、表示画像生成部134が生成した3D画像を表示する。3D画像の表示中、再生制御部132は、画面の表示状況に基づいて、表示処理部44の表示を制御する。具体的には、表示処理部44が3D画像を表示している際に、画面の表示状況が所定の状況となった場合に、再生制御部132は、表示処理部44に、3D画像の表示を中止させて、2D画像を表示させるように制御する。
【0076】
図10に示すグリッド表示画面は、たとえば写真画像を撮影日毎にまとめて表示する際に利用される。そのため、表示画面をスクロールすると、表示画面の全体が上方向または下方向に動き、表示されている日付以外の日に撮影された写真画像が表示されるようになっている。ユーザは、入力装置20のアナログスティック27bを操作して、表示画面をスクロールすることができ、たとえばアナログスティック27bを上(奥)方向に倒すと、グリッド表示画面が上方向にスクロールされ、下(手前)方向に倒すと、グリッド表示画面が下方向にスクロールされる。
【0077】
グリッド表示画面が、3D表示のまま移動すると、ユーザは、各写真画像を目で追うことになるため、視差量を合わせるために、違和感を覚えやすくなる。そこで、再生制御部132は、表示画像が移動する場合には、表示処理部44に3D画像の表示を中止させて、2D画像を表示させるようにする。
【0078】
たとえば、表示画像生成部134が、画像ファイルから両目用の画像データを生成している場合、表示処理部44は、一方の画像データのみを用いて、2Dのグリッド表示画面を表示してもよい。また、再生制御部132が、表示画像生成部134に対して2D画像の生成を指示し、表示処理部44は、表示画像生成部134が生成した2D画像データを用いて、2Dのグリッド表示画面を表示装置12に表示してもよい。
【0079】
また、表示画像生成部134が、レンダリングにより両目用の画像データを生成している場合、表示画像生成部134が、2台の仮想カメラの位置および視線方向が一致するようにして、それぞれの仮想カメラからのデータをレンダリングすることで、表示処理部44が、2Dのグリッド表示画面を表示装置12に表示する。
【0080】
なお、表示画面が低速でスクロールされている間は、それほどユーザが覚える違和感も大きくない。そのため、再生制御部132は、表示画像の移動速度を監視し、移動速度が所定値を超えた場合に、表示処理部44に3D画像の表示を中止させて、2D画像を表示させるようにしてもよい。たとえば、表示画像の移動速度が所定値を超えると、視差量がなめらかに0となるように左目用画像データと右目用画像データとを生成することで、2D画像を表示させるようにしてもよい。また、移動速度に応じて、視差量を減らしていくことで、移動速度が所定値を超えた場合に、2D画像が表示されるようにしてもよい。これにより、高速スクロール処理の場合のユーザが覚える違和感を軽減できつつ、且つ低速スクロール処理時に3D表示を継続することが可能となる。
【0081】
図11は、3D画像上に、メニュー表示領域を表示した例を示す。ここでは、3D表示されたグリッド表示画面に重ねて、複数のメニュー項目を表示するメニュー表示領域260が形成されている。なお、複数のメニュー項目は、2D表示されている。このメニュー表示領域260では、ユーザが選択したいメニュー項目を中央のフォーカス領域に配置し、決定ボタンを押下することで、選択した項目に対応する処理が起動するようになる。フォーカス領域に配置されるメニュー項目は、3D表示されるようにしてもよい。
【0082】
メニュー表示領域260におけるメニュー項目は、フォーカス領域以外では2Dで表示される。そのため、背景となるグリッド表示画面が3D表示されていると、背景のグリッド表示画面の方が、メニュー項目よりも飛び出して見える視差矛盾が生じる可能性がある。そこで、再生制御部132は、表示画像の上に重ねて別の画像が表示される場合に、表示処理部44に、背景画像を2D表示させるようにする。このように、3D画像の上に、2D画像を表示する状況を回避することで、目にやさしい表示画面をユーザに提供できるようになる。
【0083】
以上の例では、再生制御部132が表示処理部44の表示を制御する例を説明したが、再生制御部132が、表示画像生成部134に3D画像データの生成を中止させて、2D画像データを生成させ、表示処理部44が、表示画像生成部134が生成した2D画像データを用いて、2D画像を表示装置12に表示するようにしてもよい。
【0084】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0085】
1・・・画像処理システム、10・・・画像処理装置、12・・・表示装置、20・・・入力装置、44・・・表示処理部、100・・・制御部、102・・・入力受付部、110・・・出力モード処理部、112・・・モード設定部、114・・・判定部、116・・・通知画像生成部、118・・・確認画像生成部、130・・・再生処理部、132・・・再生制御部、134・・・表示画像生成部、136・・・表示対象決定部、138・・・画像データ読出部、150・・・ディスプレイ情報記憶部、152・・・画像データ記憶部、154・・・属性情報記憶部。
【特許請求の範囲】
【請求項1】
2D表示出力モードと、3D表示出力モードとを選択的に設定するモード設定部と、
表示画像の切替を制御する再生制御部と、を備えた画像処理装置であって、
前記再生制御部は、前記モード設定部により設定された表示出力モードにしたがって、表示画像の切替制御を異ならせることを特徴とする画像処理装置。
【請求項2】
前記再生制御部が、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする場合、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和以下であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記再生制御部が、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする場合、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度よりも小さいことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記再生制御部が、第1表示画像と第2表示画像とを即時に切り替える場合、第1表示画像の表示を終了してから第2表示画像の表示を開始するまでの切替期間は、3D表示出力モードの方が2D表示出力モードよりも長いことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記再生制御部は、3D表示出力モードにおいて、切替期間に、所定色の画像を表示することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
コンピュータに、
2D表示出力モードと、3D表示出力モードとを選択的に設定する機能と、
表示画像の切替を制御する機能と、を実現させるためのプログラムであって、
制御機能は、2D表示出力モードが設定された場合の切替制御と、3D表示出力モードが設定された場合の切替制御とを異ならせることを特徴とするプログラム。
【請求項7】
請求項6に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
2D表示出力モードと、3D表示出力モードとを選択的に設定するモード設定部と、
表示画像の切替を制御する再生制御部と、を備えた画像処理装置であって、
前記再生制御部は、前記モード設定部により設定された表示出力モードにしたがって、表示画像の切替制御を異ならせることを特徴とする画像処理装置。
【請求項2】
前記再生制御部が、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする場合、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度の和以下であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記再生制御部が、第1表示画像と第2表示画像の不透明度を時間の経過に応じて変化させることで、2つの表示画像をクロスフェードする場合、クロスフェード処理期間において、3D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度は、2D表示出力モードにおける第1表示画像の不透明度と第2表示画像の不透明度とが等しくなるときの不透明度よりも小さいことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記再生制御部が、第1表示画像と第2表示画像とを即時に切り替える場合、第1表示画像の表示を終了してから第2表示画像の表示を開始するまでの切替期間は、3D表示出力モードの方が2D表示出力モードよりも長いことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記再生制御部は、3D表示出力モードにおいて、切替期間に、所定色の画像を表示することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
コンピュータに、
2D表示出力モードと、3D表示出力モードとを選択的に設定する機能と、
表示画像の切替を制御する機能と、を実現させるためのプログラムであって、
制御機能は、2D表示出力モードが設定された場合の切替制御と、3D表示出力モードが設定された場合の切替制御とを異ならせることを特徴とするプログラム。
【請求項7】
請求項6に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−38556(P2013−38556A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−172289(P2011−172289)
【出願日】平成23年8月5日(2011.8.5)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願日】平成23年8月5日(2011.8.5)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】
[ Back to top ]