立体画像表示装置、立体画像表示方法およびプログラム
【課題】立体画像の飛び出し量を適宜変化させることで、視聴者が容易に立体画像を認識することができる立体画像表示装置を提供する。
【解決手段】立体画像を表示する立体画像表示装置であって、立体画像の飛び出し量を変化させる所定の時間を設定し計測するタイマー部と、所定の時間内での飛び出し量の経時変化情報を記憶する飛び出し量変え方メモリと、複数の画像間の視差量、所定の時間、および経時変化情報に基づき、単位時間ごとの飛び出し量を生成する飛び出し量制御部と、単位時間ごとの飛び出し量に応じて、複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成部と、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成部と、該飛び出し量変化立体画像を表示部に表示する表示制御部とを有することにより、上記課題を解決する。
【解決手段】立体画像を表示する立体画像表示装置であって、立体画像の飛び出し量を変化させる所定の時間を設定し計測するタイマー部と、所定の時間内での飛び出し量の経時変化情報を記憶する飛び出し量変え方メモリと、複数の画像間の視差量、所定の時間、および経時変化情報に基づき、単位時間ごとの飛び出し量を生成する飛び出し量制御部と、単位時間ごとの飛び出し量に応じて、複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成部と、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成部と、該飛び出し量変化立体画像を表示部に表示する表示制御部とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置、立体画像表示方法およびプログラムに関するものである。
【背景技術】
【0002】
従来から、視線の異なる複数の画像を組み合わせて表示することで、視差を利用した立体視が実現されている。例えば、(1)左目用と右目用の画像に対して、それぞれ直交する直線偏光をかけて、偏光メガネを用いて立体視を行う方法、(2)左目用と右目用の画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いて立体視を行う方法、(3)左目用と右目用の画像に対して、それぞれ赤と青の光を重ねて表示し、左右に赤と青のカラーフィルタの付いたメガネを用いて立体視を行う方法が挙げられる。
【0003】
また、いわゆる裸眼立体視の方法として、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア(視差バリア)、またはレンチキュラーレンズを用いて、左右の眼でそれぞれの画像を見ることで立体視を行う方法も挙げられる。
【0004】
ここで、本発明に関連する先行技術文献として、特許文献1および特許文献2が挙げられる。
特許文献1には、立体視を行うユーザの疲労感を低減するために、被写体を異なる視点から撮影して取得した複数の画像から立体視可能な立体画像を表示する場合に、複数の画像間の視差よりも小さい視差を有する補完画像を生成して、立体画像の視差が斬次変更されるように立体画像を表示することが開示されている。
【0005】
また、特許文献2には、2D画像と3D画像が頻繁に切り替わることによって視聴者が疲れてしまうという問題を解決するために、2D画像を新たな3D画像に変換、または3D画像を新たな2D画像に変換して、2D画像と3D画像との切り替え時にこれらの変換画像を用いて徐々に変化させて表示することが開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−239389号公報
【特許文献2】特開2008−5203号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、動画像の立体画像は動きがあるために、視聴者が立体視の効果を得やすいが、静止画像の立体画像は動画像の立体画像と比べると、単体で視聴する場合に立体視の効果に気付きにくいという問題があった。特に、裸眼立体視を行う場合には、視聴者側が偏光メガネ等を用いないため、より気付きにくくなってしまうという問題があった。
【0008】
また、平面画像を表示部全面に表示すると、立体画像を表示するための複数の画像間の視差量が大きい場合、図12(b)に示すように、立体視可能な範囲が狭くなり、図12(a)に示す視差量が小さい場合に比べて狭い範囲を表示することになり、視聴者が違和感を有することがあった。
【0009】
本発明の目的は、立体画像を表示する際に、立体画像の飛び出し量を適宜変化させることで、視聴者が容易に立体画像を認識することができ、また、立体効果を強調して表示することができる立体画像表示装置、立体画像表示方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置であって、前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するタイマー部と、前記所定の時間内での前記飛び出し量の経時変化情報を記憶する飛び出し量変え方メモリと、前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御部と、前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成部と、前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成部と、前記タイマー部で計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御部と、を有することを特徴とする立体画像表示装置を提供する。
【0011】
また、前記立体画像内の所定の領域について、他の領域よりも強調して表示されるように前記飛び出し量を変化させることが好ましい。
さらに、前記複数の画像は、前記表示部の大きさよりも大きい画像であり、前記飛び出し量変化立体画像は、前記表示部の大きさと略同一、または大きい画像であることが好ましい。
【0012】
また、前記飛び出し量は、前記所定の時間で第1所定レベルから第2所定レベル以上まで変化することが好ましく、さらに、前記第1所定レベルは、零であることが好ましい。
また、前記第2所定レベルは、前記第1所定レベルよりも前記飛び出し量が大きいことが好ましい。
【0013】
さらに、音、光、または強調表示のうち1以上によって、前記飛び出し量が第3所定レベル以上であることを知らせることが好ましい。
また、前記複数の画像のコンテンツ種類に応じて、異なる前記経時変化情報に基づき前記飛び出し量を制御することが好ましい。
さらに、前記経時変化情報は、前記複数の画像のヘッダー情報に格納されることが好ましい。
【0014】
また、上記課題を解決するために、本発明は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法であって、前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するステップと、前記所定の時間内での前記飛び出し量の経時変化情報を、飛び出し量変え方メモリから読み出すステップと、前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御ステップと、前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成ステップと、前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成ステップと、前記計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御ステップと、を有することを特徴とする立体画像表示方法を提供する。
【0015】
さらに、上記課題を解決するために、本発明は、上記に記載の立体画像表示方法の各ステップを手順としてコンピュータに実行させるためのプログラムを提供する。
【発明の効果】
【0016】
本発明によれば、立体画像を表示する際に、立体画像の飛び出し量を適宜変化させることで、視聴者が容易に立体画像を認識することができる。また、立体効果を強調して表示することで、よりエンターテイメント性の高い表示をすることができる。
【図面の簡単な説明】
【0017】
【図1】本発明に係る立体画像表示装置の構成を示す一実施形態のブロック図である。
【図2】(a)〜(d)は、それぞれ飛び出し量の経時変化情報の一例を示すグラフである。
【図3】飛び出し量が所定のレベル以上であることを知らせる処理の、一例を示す説明図である。
【図4】飛び出し量が所定のレベル以上であることを知らせる処理の、他の一例を示す説明図である。
【図5】本発明に係る立体画像表示装置における処理の流れの一例を示すフローチャートである。
【図6】平面画像から立体画像への経時変化の一例を示す説明図である。
【図7】飛び出し量の小さい立体画像から、飛び出し量の大きい立体画像への経時変化の一例を示す説明図である。
【図8】画像のコンテンツ種類と経時変化情報との関係をテーブル化した一例を示す説明図である。
【図9】テーブルから最適な経時変化情報を選択する処理の流れの一例を示すフローチャートである。
【図10】(a),(b)は、見栄えが悪い場合の立体画像の表示の一例を示す説明図である。
【図11】(a),(b)は、見栄えが良い場合の立体画像の表示の一例を示す説明図である。
【図12】飛び出し量と立体画像の表示との関係を説明する説明図である。
【発明を実施するための形態】
【0018】
本発明に係る立体画像表示方法を実施する立体画像表示装置を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【0019】
図1は、本発明に係る立体画像表示装置の構成を表す一実施形態のブロック図である。
図1に示す立体画像表示装置10は、操作ボタン12、メディアR/W部14、CPU16、内部メモリ18、圧縮/伸長処理部20、フレームメモリ22、一次保存部24、時間制御部26、タイマー部28、飛び出し量変え方メモリ30、飛び出し量制御部32、効果制御部34、表示制御部36、LCD38、およびバス40で構成され、操作ボタン12およびLCD38を除きバス40で接続されている。また、メディアR/W部14には、記録メディア42が挿入されている。
【0020】
操作ボタン12は、立体画像表示装置10の各種操作をユーザが行うためのものである。操作ボタン12の具体的な態様には特に限定はなく、キーボード、または、画面に表示したボタンを選択可能なマウス、タッチパネルなど、公知の各種の操作機器を用いればよい。
【0021】
メディアR/W部14には、立体画像(以下、3D画像ともいう)を表示するための一対の画像が入力されるために、後述する記録メディア42が挿入され接続される。入力された一対の画像のデータは、2D画像データとして出力される。ここで、一対の画像とは、被写体を異なる2つの撮影位置において撮影を行うことで取得されるものであり、撮影位置の違いに応じた視差を有するものである。なお、一対の画像は2つの撮影位置、つまり左側と右側から撮影されたものであるので、それぞれ左画像、右画像ともいう。また、本実施形態においては、一対の画像から立体画像を生成するものであるが、3以上の異なる撮影位置において撮影された、3以上の画像から立体画像を生成してもよい。
さらに、3D画像として撮影された一対の画像に限られず、ユーザがデジタルスチルカメラまたはデジタルビデオカメラで撮影した静止画像データ、ならびにネットワーク上からダウンロードした静止画像データなどから加工された一対の画像であってもよい。
【0022】
CPU16は、後述する内部メモリ18とともに変化画像生成部、および立体画像生成部を構成する。また、CPU16は、操作ボタン12から操作情報が入力され、各部の制御等を行う。
【0023】
内部メモリ18は、CPU16の演算処理に用いるメモリであり、DRAM(Dynamic Random Access Memory)等によって構成される。内部メモリ18には、各種プログラムが展開され演算結果等が一時的に記憶される。また、プログラム等を格納するために、その一部は不揮発性メモリ(フラッシュメモリ等)によって構成される。
【0024】
圧縮/伸長処理部20は、入力された2D画像データが圧縮されている場合に伸長処理を行い、記録メディア42に画像データを記録する場合に圧縮処理を行う。例えば、JPEG(Joint Photographic Experts Group)形式で圧縮された2D画像データを、表示のためのビットマップ形式に伸長する、あるいは逆にビットマップ形式の画像データをJPEG形式に圧縮する処理が行われる。
【0025】
フレームメモリ22は、表示用画像(フレーム画像)データを格納するメモリであり、立体画像生成部で生成された、飛び出し量変化立体画像データが入力される。
一次保存部24は、フレームメモリ22の飛び出し量変化立体画像データをバッファリングするものであり、スライドショーにて繰り返し表示される、飛び出し量変化立体画像の各フレーム画像データを一時的に格納する。
【0026】
時間制御部26には、LCD38に表示される飛び出し量変化立体画像の表示時間が操作ボタン12を介して入力される。例えば、スライドショーの1枚の飛び出し量変化立体画像の表示時間、および複数種類の飛び出し量変化立体画像からなる画像群全体の表示時間等が入力される。入力された表示時間は、表示時間情報として出力する。
【0027】
タイマー部28は、飛び出し量変化立体画像の飛び出し量を変化させる時間を設定し計測する。飛び出し量を変化させる時間(飛び出し量変化時間:tm)は、視聴者が見てすぐに判る程度(例えば、1〜2秒程度)に設定されるのがよい。タイマー部28からは、飛び出し量変化時間tm、および計測時間が出力される。
【0028】
飛び出し量変え方メモリ30には、飛び出し量変化時間tm内における飛び出し量の経時変化情報が記憶される。飛び出し量の経時変化情報は、例えば、図2(a)〜(d)に示すグラフのような変化が挙げられる。
図2(a)は、飛び出し量Δが飛び出し量変化時間tm内で、指数関数的に増加する場合のグラフであり、図2(b)は、飛び出し量Δが飛び出し量変化時間tm内で、階段状に増加する場合のグラフである。また、図2(c)は、飛び出し量Δが飛び出し量変化時間tm内で、閾値(図中、Δth)まで急激に増加する場合のグラフであり、図2(d)は、飛び出し量Δが飛び出し量変化時間tm内で、最大値(図中、Δmax)の略半分程度まで指数関数的に増加し、一旦一定となり、再び最大値まで指数関数的に増加する場合のグラフである。
【0029】
飛び出し量制御部32には、2D画像データ、飛び出し量変化時間tm、および経時変化情報が入力される。飛び出し量制御部32は、2D画像データから3D画像を構成する一対の画像間の視差量を算出し、飛び出し量変化時間tm、および経時変化情報に基づき、単位時間ごとの飛び出し量Δを生成する。すなわち、図2に示す経時変化情報のグラフから、単位時間ごとの飛び出し量Δを生成し出力する。
ここで、単位時間は、視聴者がチラツキを感じないように、表示部(LCD38)のリフレッシュレートに応じた数値以下に設定する。例えば、NTSC方式の表示部の場合には、リフレッシュレートを60Hz、単位時間を16.7msとすることができる。なお、表示部は各種走査方式、解像度のものを用いることができ、例えば、任意の解像度でリフレッシュレートを60Hz以上に設定し、単位時間を16.7ms以下に設定することが望ましい。また、表示部に用いるデバイスがより高いリフレッシュレートに対応するものであれば、例えば、液晶テレビに用いられるような、倍速駆動(120Hz)、4倍速駆動(240Hz)等の、より高いリフレッシュレートを用いてもよく、プログレッシブ方式の走査方式を用いてもよい。
【0030】
ここで、変化画像生成部について説明する。
変化画像生成部は、CPU16、および内部メモリ18で構成される。変化画像生成部には、2D画像データ、および単位時間ごとの飛び出し量Δが入力される。変化画像生成部は、単位時間ごとの飛び出し量変化画像の組を生成し出力する。例えば、上記の例のように単位時間が16.7msであって、飛び出し量変化時間tmが1秒であった場合、飛び出し量変化画像の組は60組生成される。
これらの飛び出し量変化画像の組は、一対の画像のうち左画像または右画像(飛び出し量Δ=0)と、3D画像を構成する一対の画像(Δ=y,つまり、2D画像)との間において、飛び出し量(視差量)Δが0からyまで順次変化していく複数の新たな一対の画像である。つまり、3D表示を行うための基となる、複数の飛び出し量変化画像の組が生成される。なお、飛び出し量Δは、基の2D画像データから生成される3D画像の飛び出し量よりも、大きくなるようにしてもよい。
【0031】
続いて、立体画像生成部について説明する。
立体画像生成部は、変化画像生成部と同様にCPU16、および内部メモリ18で構成される。立体画像生成部には、飛び出し量変化画像の組が入力され、表示方式に合わせた変換を行い、飛び出し量変化立体画像を生成し、飛び出し量変化立体画像データを出力する。
ここで、表示方式は、LCD38にも依存するが、例えば、(1)飛び出し量変化画像の組のそれぞれの画像を、1ラインごとに交互に組み合わせたパララックスバリア方式、またはレンチキュラーレンズ方式、(2)飛び出し量変化画像の組のそれぞれの画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いる液晶シャッター方式、(3)飛び出し量変化画像の組のそれぞれの画像に対して、それぞれ直交する直線偏光をかけて重ね合わせ、偏光メガネを用いる偏光フィルタ方式、(4)飛び出し量変化画像の組のそれぞれの画像に対してそれぞれ赤と青の光を重ねて、それぞれの画像を重ね合わせ、左右に赤と青のカラーフィルタの付いたメガネを用いるアナグリフ方式などが挙げられる。なお、ディジタルフォトフレームのように、視聴者が常に注視している訳ではない場合、裸眼立体視が可能なパララックスバリア方式、またはレンチキュラーレンズ方式が望ましい。
【0032】
効果制御部34は、飛び出し量が所定レベル(第3所定レベル)以上となった場合に、飛び出し量変化立体画像にエフェクト(効果)をかける。例えば、飛び出し量を強弱する、音を出す、飛び出し量が所定レベル以上の被写体の周囲を光らせる、3D効果の得られる箇所を示す、見る方向によって3D効果が変わることを表示する、3D効果が判りづらい箇所について光らせることで強調する、特定箇所だけに3D効果をかける、およびエフェクトをかける度合いを変えるなどの方法が挙げられる。
【0033】
飛び出し量が所定レベル以上の被写体の周囲を光らせる例としては、図3(a)に示すような、飛び出し量変化立体画像の被写体70について、飛び出し量が所定レベル以上となった場合、図3(b)に示すように、被写体70の周囲を光72で取り囲むように表示するエフェクトをかけることができる。また、3D効果の得られる箇所を示す例としては、図4(a)に示すような画面の端にある木74について、図4(b)に示すように、木74の周囲を光76で取り囲むように表示するエフェクトをかけることで、3D効果が判りづらい部分(画面の端等)であっても、所定レベル以上の飛び出し量であることを視聴者に知らせることができる。
【0034】
表示制御部36には、計測時間、単位時間、および飛び出し量変化立体画像が入力される。表示制御部36は、計測時間および単位時間に基づいて、対応する飛び出し量変化立体画像データをフレームメモリ22から読み出し、LCD38に出力して飛び出し量変化立体画像を表示させる。
【0035】
LCD38は表示部であり、3D表示が可能な液晶ディスプレイである。LCD38は例えば、パララックスバリア方式(視差バリア方式)の液晶ディスプレイを用いることができる。なお、他の3D表示形式のディスプレイでもよく、大型表示装置を用いる場合には、液晶ディスプレイに限定されず、プラズマディスプレイでもよいし、3D表示が可能であればプロジェクタ等の他の形式であってもよい。
【0036】
次に、本発明に係る立体画像表示方法を実現する、本発明に係る立体画像表示装置10の動作を説明する。
【0037】
図5は、本発明に係る立体画像表示方法の処理の流れの一例を示すフローチャートである。
まず、事前準備として、立体画像表示装置10を設置する者(以下、設置者という)によって、3D画像を表示するための、複数の一対の画像データが記録された記録メディア42が用意され、メディアR/W部14に挿入される。
【0038】
立体画像表示装置10の電源が投入されると、記録メディア42に記録された複数の一対の画像データの枚数(組数)がカウントされ、枚数MがNmaxに設定される。また、枚数カウンタNが“1”に初期化される(ステップS10)。
また、設置者によって操作ボタン12が操作されることで、飛び出し量変化立体画像の表示時間、例えば、スライドショーの1枚の飛び出し量変化立体画像の表示時間、および複数種類の飛び出し量変化立体画像(すなわち、補完される飛び出し量変化立体画像ではないオリジナルのもの)からなる画像群全体の表示時間等が時間制御部26に入力され、表示時間情報として出力される。
ここで、1枚の飛び出し量変化立体画像の表示時間は、直接指定されてもよいし、画像群全体の表示時間と枚数から求めてもよい。なお、設置者によって入力される代わりに、予めデフォルト値が設定されていてもよい。例えば、1枚の飛び出し量変化立体画像の表示時間が、予め10秒と設定されてもよい。
【0039】
続いて、記録メディア42から1枚目(N枚目)の一対の画像が、メディアR/W部14を介して読み込まれ、2D画像データとして出力される(ステップS12)。ここで、設置者が画像を確認するために、2D画像データが表示制御部36に入力され、2D画像データのうち、左画像または右画像が一旦LCD38に表示される。
【0040】
次に、1枚目の飛び出し量変化立体画像の飛び出し量を、所定のレベル以上にするために要する時間、つまり、飛び出し量変化時間tmが、設置者により操作ボタン12が操作され、選択または入力される(ステップS14)。選択または入力された飛び出し量変化時間tmは、タイマー部28に入力され設定される。なお、飛び出し量変化時間tmは、予めデフォルト値が設定されていてもよく、例えば、2秒と設定されてもよい。
【0041】
飛び出し量変化時間tmが設定されると、飛び出し量の変化のさせ方、つまり経時変化情報が、設置者により操作ボタン12が操作されて選択され(ステップS16)、対応する経時変化情報が飛び出し量変え方メモリ30から呼び出されて、飛び出し量制御部32に入力されて設定される(ステップS18)。例えば、図2(a)〜(d)に示すような、飛び出し量Δの経時変化情報が選択される。なお、予めデフォルト値が設定されていてもよく、例えば、図2(a)に示すような指数関数的に増加する経時変化情報が設定されてもよい。
【0042】
経時変化情報が設定されると、1枚目の2D画像データ、および飛び出し量変化時間tmが、飛び出し量制御部32に入力される。飛び出し量制御部32では、2D画像データから3D画像を構成する左右の画像間の視差量が算出され、飛び出し量変化時間tm、および経時変化情報に基づいて、単位時間ごとの飛び出し量Δが生成され出力される。
【0043】
単位時間ごとの飛び出し量Δは、変化画像生成部に入力され、単位時間ごとの飛び出し量変化画像の組、つまり、単位時間ごとの3D画像を構成する左右の画像(一対の画像)が生成され出力される。
単位時間ごとの飛び出し量変化画像の組は、立体画像生成部に入力される。単位時間ごとの飛び出し量変化画像の組は、LCD38の表示方式に合わせた変換が行われ、単位時間ごとの飛び出し量変化立体画像が生成され、飛び出し量変化時間tm分をまとめて、つまり、1枚分の飛び出し量変化立体画像データが出力される(ステップS20)。
【0044】
ここで、飛び出し量変化立体画像データに対して、エフェクトをかける場合には、飛び出し量変化立体画像データは効果制御部34に入力される。効果制御部34では、飛び出し量変化立体画像データに対し、音を出す、および飛び出し量が所定レベル以上の被写体の周囲を光らせる等のエフェクトがかけられ出力される。
【0045】
飛び出し量変化立体画像データ、またはエフェクトがかけられた飛び出し量変化立体画像データは、一旦フレームメモリ22に格納される。また、同一のデータが一次保存部24にバッファリングされる。なお、一次保存部24には、画像群全体の飛び出し量変化立体画像データ、またはエフェクトがかけられた飛び出し量変化立体画像データがバッファリングされ、スライドショーの実行時に順次フレームメモリ22に書き戻される。
【0046】
タイマー部28から出力される計測時間、および単位時間は、表示制御部36に入力され、計測時間および単位時間に基づいて、フレームメモリ22から対応する飛び出し量変化立体画像データ、またはエフェクトがかけられた飛び出し量変化立体画像データが読み出され、順次、表示用画像データとしてLCD38に対して出力され、飛び出し量変化立体画像が表示される。つまり、1枚の3D画像が、飛び出し量Δが変化しつつ表示される(ステップS22)。
【0047】
1枚目の飛び出し量変化立体画像(つまり、表示用画像)が表示されると、枚数カウンタNがNmaxと比較され(ステップS24)、枚数カウンタNがNmax未満であれば(ステップS24で“N”)、Nが1インクリメントされ(ステップS26)、ステップS12に戻り次の一対の画像について、同様に処理が行われる。枚数カウンタNがNmaxと同じであれば(ステップS24で“Y”)、処理が終了する。
【0048】
図5に示すフローチャートの処理が終了した時点で、一次保存部24には、全ての2D画像データに対応する、飛び出し量変化立体画像データがバッファリングされている。
続いて、設置者によってスライドショーの開始が、操作ボタン12を介して指示されると、表示制御部36により計測時間および単位時間に基づいて、対応する飛び出し量変化立体画像データがフレームメモリ22から読み出され、順次、表示用画像データとしてLCD38に対して出力され、飛び出し量変化立体画像が表示される。
【0049】
このとき、N枚目の飛び出し量変化立体画像データがフレームメモリ22から読み出されると、一次保存部24からN+1枚目(N=Nmaxの場合は1枚目)の飛び出し量変化立体画像データがフレームメモリ22に書き戻される。このため、次に表示制御部36によって飛び出し量変化立体画像データがフレームメモリ22から読み出される場合には、N+1枚目(N=Nmaxの場合は1枚目)の飛び出し量変化立体画像データが読み出されることになる。つまり、複数の、飛び出し量Δが変化する立体画像が、スライドショーによって、繰り返しLCD38に表示される。
【0050】
ここで、飛び出し量の変化について、具体例を示して説明する。
まず、図2(d)に示す経時変化情報が選択された場合のスライドショーについて、図6および図7を用いて説明する。なお、以下の説明では、飛び出し量変化立体画像を単に3D画像ともいう。
【0051】
図6は、飛び出し量Δ=0(第1所定レベル)、つまり、2D画像データの左画像または右画像が表示されている状態から、飛び出し量Δ=aを経由して、飛び出し量Δ=bの3D画像まで変化する状態を示す(a,b:第2所定レベル)。飛び出し量Δ=0のとき、背景50および人物52aはともに飛び出していない平面画像である。図2(d)のグラフに従って、飛び出し量Δが指数関数的に増加し、一度飛び出し量Δ=aで一定となる。つまり、人物52aが人物52bのように飛び出す3D画像となる。その後、再び飛び出し量Δは飛び出し量Δ=bまで指数関数的に増加する。つまり、人物52bが人物52cのようにさらに飛び出す3D画像となる。このとき、背景50は同じ縮尺のまま変化しないため、飛び出し量の経時変化がより判りやすくなる。
【0052】
図7は、飛び出し量Δの小さい3D画像(Δ=a)が表示されている状態から、飛び出し量Δ=bを経由して、飛び出し量Δ=cの3D画像まで変化する状態を示す。このように、スライドショーにおいて、表示される表示用画像は平面画像からだけでなく、飛び出し量Δの小さい3D画像から、飛び出し量Δの大きい3D画像へと変化するようにしてもよい。
【0053】
次に、複数の画像(一対の画像)のコンテンツ(撮影モード)によって、最適な飛び出し量の経時変化情報が選択される場合について、図8および図9を用いて説明する。
【0054】
図8は、一対の画像の、撮影時のモード情報と、経時変化情報とを対応付けるテーブルの一例である。
ディジタルカメラ等で撮影された画像データには、ヘッダー情報としてExif(Exchangeable image file format)が含まれる場合が多い。このExifには、撮影モード情報等が含まれるため、3D画像のための一対の画像(2D画像データ)においても、これを活用して経時変化情報を自動的に選択することができる。
【0055】
撮影モードによる経時変化情報の選択を行う場合は、図5に示すフローチャートのステップS16を、図9のフローチャートに置き換える。撮影モードによる経時変化情報の選択について、図9のフローチャートを用いて説明する。
まず、2D画像データから、撮影モード等の情報が含まれるExifが読み出される(ステップS30)。Exifから撮影モード情報が抽出されて確認され(ステップS32)、内部メモリ18等に配置されたテーブルが読み出されて(ステップS34)、テーブルに従って経時変化情報が設定される(ステップS36)。
【0056】
図8の例では、Exifに含まれる撮影時のモード情報が「マクロ」であれば、4番(図2(c)に示す経時変化情報)が選択され、近景なので強調させた表示とすることができ、「風景」であれば3番(図2(d)に示す経時変化情報)が選択され、じわりと表示させることができる。また、「スポーツ」であれば2番(図2(b)に示す経時変化情報)が選択され、動きを強調した表示とすることができ、「人物」であれば1番(図2(a)に示す経時変化情報)が選択され、人物をじわりと表示させることができる。
【0057】
続いて、LCD38への画像表示について説明する。
図10(a)は、LCD38に飛び出し量Δ=0、つまり、2D画像データの左画像または右画像(2D画像)が表示されている状態を示す。ここで、2D画像80aは、LCD38の表示枠82と略同一の大きさとなるように表示されている。ところが、この状態で飛び出し量Δを大きくしていくと、つまり、3D画像80bを表示すると立体視可能な範囲は狭くなり、表示枠82よりも小さな画像となってしまう。このため、3D画像80bを表示枠82と略同一の大きさとするためには拡大処理が必要となり、2D画像80aから3D画像80bへと変化する際に、同時に拡大処理も行われ、視聴者にとって違和感が発生する場合がある。また、拡大処理を行わないと、表示枠82と3D画像80bの輪郭との間に、立体視できない部分ができてしまい見栄えが悪くなってしまう。
【0058】
そこで、図11(a)に示すように、2D画像84aを表示する際に、予め表示枠82よりも大きく表示、つまり、表示枠82から2D画像84aの一部がはみ出た状態とすることで、飛び出し量Δを大きくしても、図11(b)に示すように、3D画像84bは表示枠82よりも小さくならない。このため、視聴者に見える範囲(表示枠82の範囲)は変わらず、視聴者は3D画像を違和感なく視聴することができる。また、立体視できない部分も発生しない。
【0059】
上記のように、本発明に係る立体画像表示装置では、立体画像を表示する際に、立体画像の飛び出し量を適宜変化させることで、視聴者が容易に立体画像を認識することができる。また、立体効果を強調して表示することで、よりエンターテイメント性の高い表示をすることができる。
さらに、予め表示部の表示枠よりも大きく平面画像を表示することで、飛び出し量を大きくして立体画像としても、立体視できない部分が発生せず、飛び出し量の変化と併せて画像を拡大する必要もなく、視聴者に違和感を有することなく立体画像を表示することができる。
また、順次、画像が変化していくため、眼への負担も軽減することができる。
【0060】
なお、上記の実施形態では、ディジタルフォトフレームを例として説明したが、これに限定されず、大画面テレビ等で、メガネを用いる表示形式の場合には、視聴者に応じて効果(飛び出し量、エフェクト)のかけ方を加減してもよいし、クラウドデータ・ホームサーバに保存された静止画像(3D画像)を見るようにしてもよい。
また、経時変化情報をヘッダー情報に格納するようにしてもよい。
【0061】
なお、本発明においては、上述した立体画像表示方法の各工程をコンピュータに実行させるための立体画像表示プログラムとして構成しても良いし、また、コンピュータを、立体画像表示方法の各工程を実施する各手段として、または、上述した立体画像表示装置を構成する各手段として機能させる立体画像表示プログラムとして構成しても良い。
また、本発明を、上述した立体画像表示プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
【0062】
以上、本発明の立体画像表示装置、立体画像表示方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【0063】
10 立体画像表示装置
12 操作ボタン
14 メディアR/W部
16 CPU
18 内部メモリ
20 圧縮/伸長処理部
22 フレームメモリ
24 一次保存部
26 時間制御部
28 タイマー部
30 飛び出し量変え方メモリ
32 飛び出し量制御部
34 効果制御部
36 表示制御部
38 LCD
40 バス
42 記録メディア
70 被写体
72,76 光
74 木
80a,84a 2D画像
80b,84b 3D画像
82 表示枠
【技術分野】
【0001】
本発明は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置、立体画像表示方法およびプログラムに関するものである。
【背景技術】
【0002】
従来から、視線の異なる複数の画像を組み合わせて表示することで、視差を利用した立体視が実現されている。例えば、(1)左目用と右目用の画像に対して、それぞれ直交する直線偏光をかけて、偏光メガネを用いて立体視を行う方法、(2)左目用と右目用の画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いて立体視を行う方法、(3)左目用と右目用の画像に対して、それぞれ赤と青の光を重ねて表示し、左右に赤と青のカラーフィルタの付いたメガネを用いて立体視を行う方法が挙げられる。
【0003】
また、いわゆる裸眼立体視の方法として、例えば、複数の画像を短冊状に切り取って交互に配置し、パララックスバリア(視差バリア)、またはレンチキュラーレンズを用いて、左右の眼でそれぞれの画像を見ることで立体視を行う方法も挙げられる。
【0004】
ここで、本発明に関連する先行技術文献として、特許文献1および特許文献2が挙げられる。
特許文献1には、立体視を行うユーザの疲労感を低減するために、被写体を異なる視点から撮影して取得した複数の画像から立体視可能な立体画像を表示する場合に、複数の画像間の視差よりも小さい視差を有する補完画像を生成して、立体画像の視差が斬次変更されるように立体画像を表示することが開示されている。
【0005】
また、特許文献2には、2D画像と3D画像が頻繁に切り替わることによって視聴者が疲れてしまうという問題を解決するために、2D画像を新たな3D画像に変換、または3D画像を新たな2D画像に変換して、2D画像と3D画像との切り替え時にこれらの変換画像を用いて徐々に変化させて表示することが開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−239389号公報
【特許文献2】特開2008−5203号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、動画像の立体画像は動きがあるために、視聴者が立体視の効果を得やすいが、静止画像の立体画像は動画像の立体画像と比べると、単体で視聴する場合に立体視の効果に気付きにくいという問題があった。特に、裸眼立体視を行う場合には、視聴者側が偏光メガネ等を用いないため、より気付きにくくなってしまうという問題があった。
【0008】
また、平面画像を表示部全面に表示すると、立体画像を表示するための複数の画像間の視差量が大きい場合、図12(b)に示すように、立体視可能な範囲が狭くなり、図12(a)に示す視差量が小さい場合に比べて狭い範囲を表示することになり、視聴者が違和感を有することがあった。
【0009】
本発明の目的は、立体画像を表示する際に、立体画像の飛び出し量を適宜変化させることで、視聴者が容易に立体画像を認識することができ、また、立体効果を強調して表示することができる立体画像表示装置、立体画像表示方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置であって、前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するタイマー部と、前記所定の時間内での前記飛び出し量の経時変化情報を記憶する飛び出し量変え方メモリと、前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御部と、前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成部と、前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成部と、前記タイマー部で計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御部と、を有することを特徴とする立体画像表示装置を提供する。
【0011】
また、前記立体画像内の所定の領域について、他の領域よりも強調して表示されるように前記飛び出し量を変化させることが好ましい。
さらに、前記複数の画像は、前記表示部の大きさよりも大きい画像であり、前記飛び出し量変化立体画像は、前記表示部の大きさと略同一、または大きい画像であることが好ましい。
【0012】
また、前記飛び出し量は、前記所定の時間で第1所定レベルから第2所定レベル以上まで変化することが好ましく、さらに、前記第1所定レベルは、零であることが好ましい。
また、前記第2所定レベルは、前記第1所定レベルよりも前記飛び出し量が大きいことが好ましい。
【0013】
さらに、音、光、または強調表示のうち1以上によって、前記飛び出し量が第3所定レベル以上であることを知らせることが好ましい。
また、前記複数の画像のコンテンツ種類に応じて、異なる前記経時変化情報に基づき前記飛び出し量を制御することが好ましい。
さらに、前記経時変化情報は、前記複数の画像のヘッダー情報に格納されることが好ましい。
【0014】
また、上記課題を解決するために、本発明は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法であって、前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するステップと、前記所定の時間内での前記飛び出し量の経時変化情報を、飛び出し量変え方メモリから読み出すステップと、前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御ステップと、前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成ステップと、前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成ステップと、前記計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御ステップと、を有することを特徴とする立体画像表示方法を提供する。
【0015】
さらに、上記課題を解決するために、本発明は、上記に記載の立体画像表示方法の各ステップを手順としてコンピュータに実行させるためのプログラムを提供する。
【発明の効果】
【0016】
本発明によれば、立体画像を表示する際に、立体画像の飛び出し量を適宜変化させることで、視聴者が容易に立体画像を認識することができる。また、立体効果を強調して表示することで、よりエンターテイメント性の高い表示をすることができる。
【図面の簡単な説明】
【0017】
【図1】本発明に係る立体画像表示装置の構成を示す一実施形態のブロック図である。
【図2】(a)〜(d)は、それぞれ飛び出し量の経時変化情報の一例を示すグラフである。
【図3】飛び出し量が所定のレベル以上であることを知らせる処理の、一例を示す説明図である。
【図4】飛び出し量が所定のレベル以上であることを知らせる処理の、他の一例を示す説明図である。
【図5】本発明に係る立体画像表示装置における処理の流れの一例を示すフローチャートである。
【図6】平面画像から立体画像への経時変化の一例を示す説明図である。
【図7】飛び出し量の小さい立体画像から、飛び出し量の大きい立体画像への経時変化の一例を示す説明図である。
【図8】画像のコンテンツ種類と経時変化情報との関係をテーブル化した一例を示す説明図である。
【図9】テーブルから最適な経時変化情報を選択する処理の流れの一例を示すフローチャートである。
【図10】(a),(b)は、見栄えが悪い場合の立体画像の表示の一例を示す説明図である。
【図11】(a),(b)は、見栄えが良い場合の立体画像の表示の一例を示す説明図である。
【図12】飛び出し量と立体画像の表示との関係を説明する説明図である。
【発明を実施するための形態】
【0018】
本発明に係る立体画像表示方法を実施する立体画像表示装置を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【0019】
図1は、本発明に係る立体画像表示装置の構成を表す一実施形態のブロック図である。
図1に示す立体画像表示装置10は、操作ボタン12、メディアR/W部14、CPU16、内部メモリ18、圧縮/伸長処理部20、フレームメモリ22、一次保存部24、時間制御部26、タイマー部28、飛び出し量変え方メモリ30、飛び出し量制御部32、効果制御部34、表示制御部36、LCD38、およびバス40で構成され、操作ボタン12およびLCD38を除きバス40で接続されている。また、メディアR/W部14には、記録メディア42が挿入されている。
【0020】
操作ボタン12は、立体画像表示装置10の各種操作をユーザが行うためのものである。操作ボタン12の具体的な態様には特に限定はなく、キーボード、または、画面に表示したボタンを選択可能なマウス、タッチパネルなど、公知の各種の操作機器を用いればよい。
【0021】
メディアR/W部14には、立体画像(以下、3D画像ともいう)を表示するための一対の画像が入力されるために、後述する記録メディア42が挿入され接続される。入力された一対の画像のデータは、2D画像データとして出力される。ここで、一対の画像とは、被写体を異なる2つの撮影位置において撮影を行うことで取得されるものであり、撮影位置の違いに応じた視差を有するものである。なお、一対の画像は2つの撮影位置、つまり左側と右側から撮影されたものであるので、それぞれ左画像、右画像ともいう。また、本実施形態においては、一対の画像から立体画像を生成するものであるが、3以上の異なる撮影位置において撮影された、3以上の画像から立体画像を生成してもよい。
さらに、3D画像として撮影された一対の画像に限られず、ユーザがデジタルスチルカメラまたはデジタルビデオカメラで撮影した静止画像データ、ならびにネットワーク上からダウンロードした静止画像データなどから加工された一対の画像であってもよい。
【0022】
CPU16は、後述する内部メモリ18とともに変化画像生成部、および立体画像生成部を構成する。また、CPU16は、操作ボタン12から操作情報が入力され、各部の制御等を行う。
【0023】
内部メモリ18は、CPU16の演算処理に用いるメモリであり、DRAM(Dynamic Random Access Memory)等によって構成される。内部メモリ18には、各種プログラムが展開され演算結果等が一時的に記憶される。また、プログラム等を格納するために、その一部は不揮発性メモリ(フラッシュメモリ等)によって構成される。
【0024】
圧縮/伸長処理部20は、入力された2D画像データが圧縮されている場合に伸長処理を行い、記録メディア42に画像データを記録する場合に圧縮処理を行う。例えば、JPEG(Joint Photographic Experts Group)形式で圧縮された2D画像データを、表示のためのビットマップ形式に伸長する、あるいは逆にビットマップ形式の画像データをJPEG形式に圧縮する処理が行われる。
【0025】
フレームメモリ22は、表示用画像(フレーム画像)データを格納するメモリであり、立体画像生成部で生成された、飛び出し量変化立体画像データが入力される。
一次保存部24は、フレームメモリ22の飛び出し量変化立体画像データをバッファリングするものであり、スライドショーにて繰り返し表示される、飛び出し量変化立体画像の各フレーム画像データを一時的に格納する。
【0026】
時間制御部26には、LCD38に表示される飛び出し量変化立体画像の表示時間が操作ボタン12を介して入力される。例えば、スライドショーの1枚の飛び出し量変化立体画像の表示時間、および複数種類の飛び出し量変化立体画像からなる画像群全体の表示時間等が入力される。入力された表示時間は、表示時間情報として出力する。
【0027】
タイマー部28は、飛び出し量変化立体画像の飛び出し量を変化させる時間を設定し計測する。飛び出し量を変化させる時間(飛び出し量変化時間:tm)は、視聴者が見てすぐに判る程度(例えば、1〜2秒程度)に設定されるのがよい。タイマー部28からは、飛び出し量変化時間tm、および計測時間が出力される。
【0028】
飛び出し量変え方メモリ30には、飛び出し量変化時間tm内における飛び出し量の経時変化情報が記憶される。飛び出し量の経時変化情報は、例えば、図2(a)〜(d)に示すグラフのような変化が挙げられる。
図2(a)は、飛び出し量Δが飛び出し量変化時間tm内で、指数関数的に増加する場合のグラフであり、図2(b)は、飛び出し量Δが飛び出し量変化時間tm内で、階段状に増加する場合のグラフである。また、図2(c)は、飛び出し量Δが飛び出し量変化時間tm内で、閾値(図中、Δth)まで急激に増加する場合のグラフであり、図2(d)は、飛び出し量Δが飛び出し量変化時間tm内で、最大値(図中、Δmax)の略半分程度まで指数関数的に増加し、一旦一定となり、再び最大値まで指数関数的に増加する場合のグラフである。
【0029】
飛び出し量制御部32には、2D画像データ、飛び出し量変化時間tm、および経時変化情報が入力される。飛び出し量制御部32は、2D画像データから3D画像を構成する一対の画像間の視差量を算出し、飛び出し量変化時間tm、および経時変化情報に基づき、単位時間ごとの飛び出し量Δを生成する。すなわち、図2に示す経時変化情報のグラフから、単位時間ごとの飛び出し量Δを生成し出力する。
ここで、単位時間は、視聴者がチラツキを感じないように、表示部(LCD38)のリフレッシュレートに応じた数値以下に設定する。例えば、NTSC方式の表示部の場合には、リフレッシュレートを60Hz、単位時間を16.7msとすることができる。なお、表示部は各種走査方式、解像度のものを用いることができ、例えば、任意の解像度でリフレッシュレートを60Hz以上に設定し、単位時間を16.7ms以下に設定することが望ましい。また、表示部に用いるデバイスがより高いリフレッシュレートに対応するものであれば、例えば、液晶テレビに用いられるような、倍速駆動(120Hz)、4倍速駆動(240Hz)等の、より高いリフレッシュレートを用いてもよく、プログレッシブ方式の走査方式を用いてもよい。
【0030】
ここで、変化画像生成部について説明する。
変化画像生成部は、CPU16、および内部メモリ18で構成される。変化画像生成部には、2D画像データ、および単位時間ごとの飛び出し量Δが入力される。変化画像生成部は、単位時間ごとの飛び出し量変化画像の組を生成し出力する。例えば、上記の例のように単位時間が16.7msであって、飛び出し量変化時間tmが1秒であった場合、飛び出し量変化画像の組は60組生成される。
これらの飛び出し量変化画像の組は、一対の画像のうち左画像または右画像(飛び出し量Δ=0)と、3D画像を構成する一対の画像(Δ=y,つまり、2D画像)との間において、飛び出し量(視差量)Δが0からyまで順次変化していく複数の新たな一対の画像である。つまり、3D表示を行うための基となる、複数の飛び出し量変化画像の組が生成される。なお、飛び出し量Δは、基の2D画像データから生成される3D画像の飛び出し量よりも、大きくなるようにしてもよい。
【0031】
続いて、立体画像生成部について説明する。
立体画像生成部は、変化画像生成部と同様にCPU16、および内部メモリ18で構成される。立体画像生成部には、飛び出し量変化画像の組が入力され、表示方式に合わせた変換を行い、飛び出し量変化立体画像を生成し、飛び出し量変化立体画像データを出力する。
ここで、表示方式は、LCD38にも依存するが、例えば、(1)飛び出し量変化画像の組のそれぞれの画像を、1ラインごとに交互に組み合わせたパララックスバリア方式、またはレンチキュラーレンズ方式、(2)飛び出し量変化画像の組のそれぞれの画像を交互に表示して、表示手段と同期した液晶シャッターを備えたメガネを用いる液晶シャッター方式、(3)飛び出し量変化画像の組のそれぞれの画像に対して、それぞれ直交する直線偏光をかけて重ね合わせ、偏光メガネを用いる偏光フィルタ方式、(4)飛び出し量変化画像の組のそれぞれの画像に対してそれぞれ赤と青の光を重ねて、それぞれの画像を重ね合わせ、左右に赤と青のカラーフィルタの付いたメガネを用いるアナグリフ方式などが挙げられる。なお、ディジタルフォトフレームのように、視聴者が常に注視している訳ではない場合、裸眼立体視が可能なパララックスバリア方式、またはレンチキュラーレンズ方式が望ましい。
【0032】
効果制御部34は、飛び出し量が所定レベル(第3所定レベル)以上となった場合に、飛び出し量変化立体画像にエフェクト(効果)をかける。例えば、飛び出し量を強弱する、音を出す、飛び出し量が所定レベル以上の被写体の周囲を光らせる、3D効果の得られる箇所を示す、見る方向によって3D効果が変わることを表示する、3D効果が判りづらい箇所について光らせることで強調する、特定箇所だけに3D効果をかける、およびエフェクトをかける度合いを変えるなどの方法が挙げられる。
【0033】
飛び出し量が所定レベル以上の被写体の周囲を光らせる例としては、図3(a)に示すような、飛び出し量変化立体画像の被写体70について、飛び出し量が所定レベル以上となった場合、図3(b)に示すように、被写体70の周囲を光72で取り囲むように表示するエフェクトをかけることができる。また、3D効果の得られる箇所を示す例としては、図4(a)に示すような画面の端にある木74について、図4(b)に示すように、木74の周囲を光76で取り囲むように表示するエフェクトをかけることで、3D効果が判りづらい部分(画面の端等)であっても、所定レベル以上の飛び出し量であることを視聴者に知らせることができる。
【0034】
表示制御部36には、計測時間、単位時間、および飛び出し量変化立体画像が入力される。表示制御部36は、計測時間および単位時間に基づいて、対応する飛び出し量変化立体画像データをフレームメモリ22から読み出し、LCD38に出力して飛び出し量変化立体画像を表示させる。
【0035】
LCD38は表示部であり、3D表示が可能な液晶ディスプレイである。LCD38は例えば、パララックスバリア方式(視差バリア方式)の液晶ディスプレイを用いることができる。なお、他の3D表示形式のディスプレイでもよく、大型表示装置を用いる場合には、液晶ディスプレイに限定されず、プラズマディスプレイでもよいし、3D表示が可能であればプロジェクタ等の他の形式であってもよい。
【0036】
次に、本発明に係る立体画像表示方法を実現する、本発明に係る立体画像表示装置10の動作を説明する。
【0037】
図5は、本発明に係る立体画像表示方法の処理の流れの一例を示すフローチャートである。
まず、事前準備として、立体画像表示装置10を設置する者(以下、設置者という)によって、3D画像を表示するための、複数の一対の画像データが記録された記録メディア42が用意され、メディアR/W部14に挿入される。
【0038】
立体画像表示装置10の電源が投入されると、記録メディア42に記録された複数の一対の画像データの枚数(組数)がカウントされ、枚数MがNmaxに設定される。また、枚数カウンタNが“1”に初期化される(ステップS10)。
また、設置者によって操作ボタン12が操作されることで、飛び出し量変化立体画像の表示時間、例えば、スライドショーの1枚の飛び出し量変化立体画像の表示時間、および複数種類の飛び出し量変化立体画像(すなわち、補完される飛び出し量変化立体画像ではないオリジナルのもの)からなる画像群全体の表示時間等が時間制御部26に入力され、表示時間情報として出力される。
ここで、1枚の飛び出し量変化立体画像の表示時間は、直接指定されてもよいし、画像群全体の表示時間と枚数から求めてもよい。なお、設置者によって入力される代わりに、予めデフォルト値が設定されていてもよい。例えば、1枚の飛び出し量変化立体画像の表示時間が、予め10秒と設定されてもよい。
【0039】
続いて、記録メディア42から1枚目(N枚目)の一対の画像が、メディアR/W部14を介して読み込まれ、2D画像データとして出力される(ステップS12)。ここで、設置者が画像を確認するために、2D画像データが表示制御部36に入力され、2D画像データのうち、左画像または右画像が一旦LCD38に表示される。
【0040】
次に、1枚目の飛び出し量変化立体画像の飛び出し量を、所定のレベル以上にするために要する時間、つまり、飛び出し量変化時間tmが、設置者により操作ボタン12が操作され、選択または入力される(ステップS14)。選択または入力された飛び出し量変化時間tmは、タイマー部28に入力され設定される。なお、飛び出し量変化時間tmは、予めデフォルト値が設定されていてもよく、例えば、2秒と設定されてもよい。
【0041】
飛び出し量変化時間tmが設定されると、飛び出し量の変化のさせ方、つまり経時変化情報が、設置者により操作ボタン12が操作されて選択され(ステップS16)、対応する経時変化情報が飛び出し量変え方メモリ30から呼び出されて、飛び出し量制御部32に入力されて設定される(ステップS18)。例えば、図2(a)〜(d)に示すような、飛び出し量Δの経時変化情報が選択される。なお、予めデフォルト値が設定されていてもよく、例えば、図2(a)に示すような指数関数的に増加する経時変化情報が設定されてもよい。
【0042】
経時変化情報が設定されると、1枚目の2D画像データ、および飛び出し量変化時間tmが、飛び出し量制御部32に入力される。飛び出し量制御部32では、2D画像データから3D画像を構成する左右の画像間の視差量が算出され、飛び出し量変化時間tm、および経時変化情報に基づいて、単位時間ごとの飛び出し量Δが生成され出力される。
【0043】
単位時間ごとの飛び出し量Δは、変化画像生成部に入力され、単位時間ごとの飛び出し量変化画像の組、つまり、単位時間ごとの3D画像を構成する左右の画像(一対の画像)が生成され出力される。
単位時間ごとの飛び出し量変化画像の組は、立体画像生成部に入力される。単位時間ごとの飛び出し量変化画像の組は、LCD38の表示方式に合わせた変換が行われ、単位時間ごとの飛び出し量変化立体画像が生成され、飛び出し量変化時間tm分をまとめて、つまり、1枚分の飛び出し量変化立体画像データが出力される(ステップS20)。
【0044】
ここで、飛び出し量変化立体画像データに対して、エフェクトをかける場合には、飛び出し量変化立体画像データは効果制御部34に入力される。効果制御部34では、飛び出し量変化立体画像データに対し、音を出す、および飛び出し量が所定レベル以上の被写体の周囲を光らせる等のエフェクトがかけられ出力される。
【0045】
飛び出し量変化立体画像データ、またはエフェクトがかけられた飛び出し量変化立体画像データは、一旦フレームメモリ22に格納される。また、同一のデータが一次保存部24にバッファリングされる。なお、一次保存部24には、画像群全体の飛び出し量変化立体画像データ、またはエフェクトがかけられた飛び出し量変化立体画像データがバッファリングされ、スライドショーの実行時に順次フレームメモリ22に書き戻される。
【0046】
タイマー部28から出力される計測時間、および単位時間は、表示制御部36に入力され、計測時間および単位時間に基づいて、フレームメモリ22から対応する飛び出し量変化立体画像データ、またはエフェクトがかけられた飛び出し量変化立体画像データが読み出され、順次、表示用画像データとしてLCD38に対して出力され、飛び出し量変化立体画像が表示される。つまり、1枚の3D画像が、飛び出し量Δが変化しつつ表示される(ステップS22)。
【0047】
1枚目の飛び出し量変化立体画像(つまり、表示用画像)が表示されると、枚数カウンタNがNmaxと比較され(ステップS24)、枚数カウンタNがNmax未満であれば(ステップS24で“N”)、Nが1インクリメントされ(ステップS26)、ステップS12に戻り次の一対の画像について、同様に処理が行われる。枚数カウンタNがNmaxと同じであれば(ステップS24で“Y”)、処理が終了する。
【0048】
図5に示すフローチャートの処理が終了した時点で、一次保存部24には、全ての2D画像データに対応する、飛び出し量変化立体画像データがバッファリングされている。
続いて、設置者によってスライドショーの開始が、操作ボタン12を介して指示されると、表示制御部36により計測時間および単位時間に基づいて、対応する飛び出し量変化立体画像データがフレームメモリ22から読み出され、順次、表示用画像データとしてLCD38に対して出力され、飛び出し量変化立体画像が表示される。
【0049】
このとき、N枚目の飛び出し量変化立体画像データがフレームメモリ22から読み出されると、一次保存部24からN+1枚目(N=Nmaxの場合は1枚目)の飛び出し量変化立体画像データがフレームメモリ22に書き戻される。このため、次に表示制御部36によって飛び出し量変化立体画像データがフレームメモリ22から読み出される場合には、N+1枚目(N=Nmaxの場合は1枚目)の飛び出し量変化立体画像データが読み出されることになる。つまり、複数の、飛び出し量Δが変化する立体画像が、スライドショーによって、繰り返しLCD38に表示される。
【0050】
ここで、飛び出し量の変化について、具体例を示して説明する。
まず、図2(d)に示す経時変化情報が選択された場合のスライドショーについて、図6および図7を用いて説明する。なお、以下の説明では、飛び出し量変化立体画像を単に3D画像ともいう。
【0051】
図6は、飛び出し量Δ=0(第1所定レベル)、つまり、2D画像データの左画像または右画像が表示されている状態から、飛び出し量Δ=aを経由して、飛び出し量Δ=bの3D画像まで変化する状態を示す(a,b:第2所定レベル)。飛び出し量Δ=0のとき、背景50および人物52aはともに飛び出していない平面画像である。図2(d)のグラフに従って、飛び出し量Δが指数関数的に増加し、一度飛び出し量Δ=aで一定となる。つまり、人物52aが人物52bのように飛び出す3D画像となる。その後、再び飛び出し量Δは飛び出し量Δ=bまで指数関数的に増加する。つまり、人物52bが人物52cのようにさらに飛び出す3D画像となる。このとき、背景50は同じ縮尺のまま変化しないため、飛び出し量の経時変化がより判りやすくなる。
【0052】
図7は、飛び出し量Δの小さい3D画像(Δ=a)が表示されている状態から、飛び出し量Δ=bを経由して、飛び出し量Δ=cの3D画像まで変化する状態を示す。このように、スライドショーにおいて、表示される表示用画像は平面画像からだけでなく、飛び出し量Δの小さい3D画像から、飛び出し量Δの大きい3D画像へと変化するようにしてもよい。
【0053】
次に、複数の画像(一対の画像)のコンテンツ(撮影モード)によって、最適な飛び出し量の経時変化情報が選択される場合について、図8および図9を用いて説明する。
【0054】
図8は、一対の画像の、撮影時のモード情報と、経時変化情報とを対応付けるテーブルの一例である。
ディジタルカメラ等で撮影された画像データには、ヘッダー情報としてExif(Exchangeable image file format)が含まれる場合が多い。このExifには、撮影モード情報等が含まれるため、3D画像のための一対の画像(2D画像データ)においても、これを活用して経時変化情報を自動的に選択することができる。
【0055】
撮影モードによる経時変化情報の選択を行う場合は、図5に示すフローチャートのステップS16を、図9のフローチャートに置き換える。撮影モードによる経時変化情報の選択について、図9のフローチャートを用いて説明する。
まず、2D画像データから、撮影モード等の情報が含まれるExifが読み出される(ステップS30)。Exifから撮影モード情報が抽出されて確認され(ステップS32)、内部メモリ18等に配置されたテーブルが読み出されて(ステップS34)、テーブルに従って経時変化情報が設定される(ステップS36)。
【0056】
図8の例では、Exifに含まれる撮影時のモード情報が「マクロ」であれば、4番(図2(c)に示す経時変化情報)が選択され、近景なので強調させた表示とすることができ、「風景」であれば3番(図2(d)に示す経時変化情報)が選択され、じわりと表示させることができる。また、「スポーツ」であれば2番(図2(b)に示す経時変化情報)が選択され、動きを強調した表示とすることができ、「人物」であれば1番(図2(a)に示す経時変化情報)が選択され、人物をじわりと表示させることができる。
【0057】
続いて、LCD38への画像表示について説明する。
図10(a)は、LCD38に飛び出し量Δ=0、つまり、2D画像データの左画像または右画像(2D画像)が表示されている状態を示す。ここで、2D画像80aは、LCD38の表示枠82と略同一の大きさとなるように表示されている。ところが、この状態で飛び出し量Δを大きくしていくと、つまり、3D画像80bを表示すると立体視可能な範囲は狭くなり、表示枠82よりも小さな画像となってしまう。このため、3D画像80bを表示枠82と略同一の大きさとするためには拡大処理が必要となり、2D画像80aから3D画像80bへと変化する際に、同時に拡大処理も行われ、視聴者にとって違和感が発生する場合がある。また、拡大処理を行わないと、表示枠82と3D画像80bの輪郭との間に、立体視できない部分ができてしまい見栄えが悪くなってしまう。
【0058】
そこで、図11(a)に示すように、2D画像84aを表示する際に、予め表示枠82よりも大きく表示、つまり、表示枠82から2D画像84aの一部がはみ出た状態とすることで、飛び出し量Δを大きくしても、図11(b)に示すように、3D画像84bは表示枠82よりも小さくならない。このため、視聴者に見える範囲(表示枠82の範囲)は変わらず、視聴者は3D画像を違和感なく視聴することができる。また、立体視できない部分も発生しない。
【0059】
上記のように、本発明に係る立体画像表示装置では、立体画像を表示する際に、立体画像の飛び出し量を適宜変化させることで、視聴者が容易に立体画像を認識することができる。また、立体効果を強調して表示することで、よりエンターテイメント性の高い表示をすることができる。
さらに、予め表示部の表示枠よりも大きく平面画像を表示することで、飛び出し量を大きくして立体画像としても、立体視できない部分が発生せず、飛び出し量の変化と併せて画像を拡大する必要もなく、視聴者に違和感を有することなく立体画像を表示することができる。
また、順次、画像が変化していくため、眼への負担も軽減することができる。
【0060】
なお、上記の実施形態では、ディジタルフォトフレームを例として説明したが、これに限定されず、大画面テレビ等で、メガネを用いる表示形式の場合には、視聴者に応じて効果(飛び出し量、エフェクト)のかけ方を加減してもよいし、クラウドデータ・ホームサーバに保存された静止画像(3D画像)を見るようにしてもよい。
また、経時変化情報をヘッダー情報に格納するようにしてもよい。
【0061】
なお、本発明においては、上述した立体画像表示方法の各工程をコンピュータに実行させるための立体画像表示プログラムとして構成しても良いし、また、コンピュータを、立体画像表示方法の各工程を実施する各手段として、または、上述した立体画像表示装置を構成する各手段として機能させる立体画像表示プログラムとして構成しても良い。
また、本発明を、上述した立体画像表示プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
【0062】
以上、本発明の立体画像表示装置、立体画像表示方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【0063】
10 立体画像表示装置
12 操作ボタン
14 メディアR/W部
16 CPU
18 内部メモリ
20 圧縮/伸長処理部
22 フレームメモリ
24 一次保存部
26 時間制御部
28 タイマー部
30 飛び出し量変え方メモリ
32 飛び出し量制御部
34 効果制御部
36 表示制御部
38 LCD
40 バス
42 記録メディア
70 被写体
72,76 光
74 木
80a,84a 2D画像
80b,84b 3D画像
82 表示枠
【特許請求の範囲】
【請求項1】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置であって、
前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するタイマー部と、
前記所定の時間内での前記飛び出し量の経時変化情報を記憶する飛び出し量変え方メモリと、
前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御部と、
前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成部と、
前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成部と、
前記タイマー部で計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御部と、を有することを特徴とする立体画像表示装置。
【請求項2】
前記立体画像内の所定の領域について、他の領域よりも強調して表示されるように前記飛び出し量を変化させることを特徴とする請求項1に記載の立体画像表示装置。
【請求項3】
前記複数の画像は、前記表示部の大きさよりも大きい画像であり、前記飛び出し量変化立体画像は、前記表示部の大きさと略同一、または大きい画像であることを特徴とする請求項1または2に記載の立体画像表示装置。
【請求項4】
前記飛び出し量は、前記所定の時間で第1所定レベルから第2所定レベル以上まで変化することを特徴とする請求項1〜3のいずれかに記載の立体画像表示装置。
【請求項5】
前記第1所定レベルは、零であることを特徴とする請求項4に記載の立体画像表示装置。
【請求項6】
前記第2所定レベルは、前記第1所定レベルよりも前記飛び出し量が大きいことを特徴とする請求項4または5に記載の立体画像表示装置。
【請求項7】
音、光、または強調表示のうち1以上によって、前記飛び出し量が第3所定レベル以上であることを知らせることを特徴とする請求項1〜6のいずれかに記載の立体画像表示装置。
【請求項8】
前記複数の画像のコンテンツ種類に応じて、異なる前記経時変化情報に基づき前記飛び出し量を制御することを特徴とする請求項1〜7のいずれかに記載の立体画像表示装置。
【請求項9】
前記経時変化情報は、前記複数の画像のヘッダー情報に格納されることを特徴とする請求項1〜8のいずれかに記載の立体画像表示装置。
【請求項10】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法であって、
前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するステップと、
前記所定の時間内での前記飛び出し量の経時変化情報を、飛び出し量変え方メモリから読み出すステップと、
前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御ステップと、
前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成ステップと、
前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成ステップと、
前記計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御ステップと、を有することを特徴とする立体画像表示方法。
【請求項11】
請求項10に記載の立体画像表示方法の各ステップを手順としてコンピュータに実行させるためのプログラム。
【請求項1】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置であって、
前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するタイマー部と、
前記所定の時間内での前記飛び出し量の経時変化情報を記憶する飛び出し量変え方メモリと、
前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御部と、
前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成部と、
前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成部と、
前記タイマー部で計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御部と、を有することを特徴とする立体画像表示装置。
【請求項2】
前記立体画像内の所定の領域について、他の領域よりも強調して表示されるように前記飛び出し量を変化させることを特徴とする請求項1に記載の立体画像表示装置。
【請求項3】
前記複数の画像は、前記表示部の大きさよりも大きい画像であり、前記飛び出し量変化立体画像は、前記表示部の大きさと略同一、または大きい画像であることを特徴とする請求項1または2に記載の立体画像表示装置。
【請求項4】
前記飛び出し量は、前記所定の時間で第1所定レベルから第2所定レベル以上まで変化することを特徴とする請求項1〜3のいずれかに記載の立体画像表示装置。
【請求項5】
前記第1所定レベルは、零であることを特徴とする請求項4に記載の立体画像表示装置。
【請求項6】
前記第2所定レベルは、前記第1所定レベルよりも前記飛び出し量が大きいことを特徴とする請求項4または5に記載の立体画像表示装置。
【請求項7】
音、光、または強調表示のうち1以上によって、前記飛び出し量が第3所定レベル以上であることを知らせることを特徴とする請求項1〜6のいずれかに記載の立体画像表示装置。
【請求項8】
前記複数の画像のコンテンツ種類に応じて、異なる前記経時変化情報に基づき前記飛び出し量を制御することを特徴とする請求項1〜7のいずれかに記載の立体画像表示装置。
【請求項9】
前記経時変化情報は、前記複数の画像のヘッダー情報に格納されることを特徴とする請求項1〜8のいずれかに記載の立体画像表示装置。
【請求項10】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法であって、
前記立体画像の飛び出し量を変化させる所定の時間を設定し計測するステップと、
前記所定の時間内での前記飛び出し量の経時変化情報を、飛び出し量変え方メモリから読み出すステップと、
前記複数の画像間の視差量、前記所定の時間、および前記経時変化情報に基づき、単位時間ごとの前記飛び出し量を生成する飛び出し量制御ステップと、
前記単位時間ごとの飛び出し量に応じて、前記複数の画像から所定数の飛び出し量変化画像の組を生成する変化画像生成ステップと、
前記所定数の飛び出し量変化画像の組から、それぞれ対応する飛び出し量変化立体画像を生成する立体画像生成ステップと、
前記計測された時間、および前記単位時間に基づいて、対応する前記飛び出し量変化立体画像を表示部に表示する表示制御ステップと、を有することを特徴とする立体画像表示方法。
【請求項11】
請求項10に記載の立体画像表示方法の各ステップを手順としてコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−95039(P2012−95039A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2010−239792(P2010−239792)
【出願日】平成22年10月26日(2010.10.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願日】平成22年10月26日(2010.10.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]