立体画像表示装置および方法並びにプログラム
【課題】効率よく立体画像の奥行き感を変更して、立体視を行うユーザの疲労感を低減する。
【解決手段】被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示するに際し、補間画像生成部3が、複数の画像から、複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する。立体画像生成部4が、補間画像の組から少なくとも1つの補間立体画像を生成する。制御部8が、立体画像の表示の前および後の少なくとも一方において、立体画像の視差が漸次変更されるように補間立体画像を表示部7に順次表示する。
【解決手段】被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示するに際し、補間画像生成部3が、複数の画像から、複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する。立体画像生成部4が、補間画像の組から少なくとも1つの補間立体画像を生成する。制御部8が、立体画像の表示の前および後の少なくとも一方において、立体画像の視差が漸次変更されるように補間立体画像を表示部7に順次表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体画像を表示する立体画像表示装置および方法並びに立体画像表示方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【0002】
複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視ができる立体画像は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を合成することにより生成することができる。
【0003】
具体的には、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体画像を生成することができる。この場合、立体画像を表示して、赤青メガネや偏光メガネ等の画像分離メガネを用いて表示された立体画像を目の自動焦点機能により融合視することにより、画像を立体視することができる(アナグリフ方式、偏光フィルタ方式)。
【0004】
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、立体画像を立体視可能な3D液晶に表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、立体画像が生成される。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、立体画像を表示することも可能である(時分割方式)。
【0005】
このような立体画像を表示するに際し、ユーザが入力する視差量の変更情報に基づいて、立体画像の視差を調整することにより、奥行き感を変更して表示する手法が提案されている(特許文献1参照)。
【特許文献1】特開2004−207772号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、立体画像を取得数ための撮影を行う場合、各撮影シーン毎に画角、ズーム倍率、焦点位置および複数のカメラの位置関係が異なることから、立体画像毎に奥行き感が異なるものとなる。しかしながら、立体視はユーザの頭の中において画像の奥行き感を実現するものであるため、複数の立体画像を順次切り替えて表示する場合、表示の切り替わり時に画像の奥行き感が突然切り替わることとなる。ここで、立体視は立体画像を目の自動焦点機能によって融合視することにより行っているため、画像が切り替わる毎に立体感が突然切り替わると、立体視を行うユーザに非常に疲労感が残るものとなる。
【0007】
このため、特許文献1に記載された手法を用いて、立体画像の奥行き感を変更することが考えられる。しかしながら、特許文献1に記載された手法は、視差量の調整はユーザの入力により行われるため、とくに複数の立体画像を表示する際には、立体画像の奥行き感を変更する作業が非常に煩雑なものとなり、その結果、作業効率が悪いものとなっている。
【0008】
本発明は、上記事情に鑑みなされたものであり、効率よく立体画像の奥行き感を変更して、立体視を行うユーザの疲労感を低減することを目的とする。
【課題を解決するための手段】
【0009】
本発明による立体画像表示装置は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する補間画像生成手段と、
前記補間画像の組から少なくとも1つの補間立体画像を生成する立体画像生成手段と、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する表示制御手段とを備えたことを特徴とするものである。
【0010】
これにより、立体画像を表示する際には、その表示の前および後に徐々に奥行き感が徐々に変更されるように立体画像が表示されるため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。
【0011】
「補間画像の組」は、複数の画像のそれぞれに対応して生成される補間画像を含むものであり、対応する補間画像は、複数の画像間の視差よりも小さい視差を有するものとなっている。とくに複数の補間画像の組が生成される場合には、各組における複数の補間画像間の視差は、漸次複数の画像間の視差よりも小さくなるように生成される。
【0012】
なお、本発明による立体画像表示装置においては、前記表示制御手段を、前記立体画像の表示指示があると、該立体画像の表示の前に、奥行き感が前記立体画像の奥行き感となるまで漸次増加するように前記補間立体画像を順次表示する手段としてもよい。
【0013】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記表示制御手段を、前記立体画像の表示指示があると、該指示された立体画像の前に表示されていた前の立体画像の表示の後に、奥行き感が該前の立体画像の奥行き感から漸次減少するように前記前の立体画像についての補間立体画像を順次表示する手段としてもよい。
【0014】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、前後する2つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する手段としてもよい。
【0015】
これにより、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。
【0016】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、前後する2つの立体画像の相関が所定のしきい値以上の場合には、前記補間画像の生成を停止する手段とし、
前記表示制御手段を、前記補間画像の生成が停止された立体画像の前および後の少なくとも一方においては、前記補間立体画像の表示を停止する手段としてもよい。
【0017】
これにより、絵柄が似た立体画像が切り替えられて表示される際の、不自然な奥行き感の変更を防止することができる。
【0018】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、複数の補間画像の組を生成する手段とし、
前記立体画像生成手段を、複数の前記補間立体画像を生成する手段とし、
前記表示制御手段を、次の立体画像の表示の切り替えの指示があってから該次の立体画像が表示されるまでの間において、表示時間が漸次短くなるように前記複数の補間立体画像を順次表示する手段としてもよい。
【0019】
これにより、立体画像の表示の切り替え直後は長い時間補間立体画像が表示され、徐々に補間立体画像の表示時間が短くなるため、急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。
【0020】
また、本発明による立体画像表示装置においては、前記表示制御手段を、前後する2つの立体画像の相関が小さいほど、前記各補間立体画像の表示時間を長くする手段としてもよい。
【0021】
これにより、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化をより確実に防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。
【0022】
また、本発明による立体画像表示装置においては、前記表示制御手段を、前記立体画像の表示停止指示がなされた場合、奥行き感が該立体画像の奥行き感から漸次減少するように前記補間立体画像を順次表示した後に、前記立体画像の表示を停止する手段としてもよい。
【0023】
これにより、立体視を急激に中断することによるユーザの疲労感を防止することができる。
【0024】
本発明による立体画像表示方法は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成し、
前記補間画像の組から少なくとも1つの補間立体画像を生成し、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示することを特徴とするものである。
【0025】
なお、本発明による立体画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明を実施するための最良の形態】
【0026】
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による立体画像表示装置の構成を示す概略ブロック図である。図1に示すように第1の実施形態による立体画像表示装置1は、画像入力部2、補間画像生成部3、立体画像生成部4、フレームバッファ5、各種入力を行うキーボードおよびマウス等からなる入力部6、各種表示を行う液晶モニタ等の表示部7並びに制御部8を備え、各部がバス9により接続されている。
【0027】
画像入力部2は、立体画像表示装置1において立体画像として表示するための一対の画像が格納された立体画像生成用の画像ファイルを装置1に入力するものであり、立体画像生成用の画像ファイルが記録されたメディアから画像ファイルを読み出すメディアドライブ、ネットワーク経由で画像ファイルの入力を受け付ける有線または無線のインターフェース等、画像ファイルを入力するための公知の種々の手段を用いることができる。本実施形態においては、画像入力部2をメディア2Aから画像ファイルを読み出すものとする。なお、画像ファイルに格納された画像はJPEG等の圧縮方式により圧縮されているため、画像入力部2は、入力された画像を伸長して、その後の処理に供するものである。
【0028】
ここで、一対の画像とは、被写体を異なる2つの撮影位置において撮影を行うことにより取得されるものであり、図2に示すように、2つの画像L1,R1に含まれる被写体が撮影位置の違いに応じた視差を有するものとなっている。なお、一対の画像は2つの撮影位置すなわち左側および右側の撮影位置において取得されるものであるため、立体画像生成時に右側に表示される画像を右画像、左側に表示される画像を左画像と称するものとする。また、本実施形態においては、一対の画像から立体画像を生成するものであるが、3以上の異なる撮影位置において撮影を行うことにより取得した3以上の画像から立体画像を生成するものであってもよい。
【0029】
補間画像生成部3は、画像ファイルに含まれる右画像および左画像のそれぞれについて、少なくとも1つの補間画像の組、すなわち、少なくとも1つの補間右画像および補間左画像からなる補間画像の組を生成する。図3は補間画像の生成を説明するための図である。図3に示すように、補間画像生成部3は、画像ファイルに含まれる右画像IM−Rからm個(ここでは2個)の補間右画像IP−Rm(m=1〜k、kは補間数)を生成し、左画像IP−Lから2つの補間左画像IP−Lmを生成する。したがって、m個の補間画像の組が生成される。なお、補間右画像および補間左画像においては、付与されている数字が大きくなるほど、画像間の視差が小さくなるものである。また、補間数kについては後述する。
【0030】
なお、補間画像生成部3は、右画像IM−Rおよび左画像IM−Lに含まれる対応する画素間の視差が徐々に小さくなるように、右画像IM−Rおよび左画像IM−Lをモーフィング等によって加工することにより、補間右画像IP−Rmおよび補間左画像IP−Lmを生成する。具体的には、左右の画像において互いに対応する対応点を検出し、対応点を直線または曲線で結び、直線または曲線を分割して疑似対応点を算出し、左右の画像を疑似対応点に対応させるように変形することにより、補間右画像IP−Rmおよび補間左画像IP−Lmを生成する。
【0031】
立体画像生成部4は、右画像IM−Rおよび左画像IM−L、並びに補間右画像IP−Rmおよび補間左画像IP−Lmを、表示部7において立体視が可能なように立体表示変換し、立体画像D0および2つの補間立体画像Hmをそれぞれ生成する。なお、立体表示変換は、立体視の仕方および表示部7が3D液晶であるか否かによるが、ペアとなる画像同士(すなわち元の画像同士およびmが同一の補間画像同士)の色を例えば赤と青のように異ならせて重ね合わせたり(アナグリフ方式)、ペアとなる画像および補間画像同士の偏光方向を異ならせて重ね合わせたり(偏光フィルタ方式)、ペアとなる画像および補間画像を1ライン毎に交互に組み合わせることにより行うことができる(パララックスバリア方式およびレンチキュラー方式)。
【0032】
フレームバッファ5は、後述するように立体画像を切り替えて表示する際に、立体画像および補間立体画像を読み出して一時的に保管しておく記憶部である。
【0033】
制御部8は、CPU8A、各種処理を行う際の作業領域となるRAM8B、並びに装置1の動作プログラム、各種定数および後述する各種テーブル等を記憶したROM8Cを備えてなり、装置1の各部の動作を制御する。とくに、複数の立体画像をスライドショーのように切り替えて表示する処理、補間画像生成部3が生成する補間画像の数を決定する処理、および補間立体画像を表示部7に表示するインターバルを決定する処理を行うよう、装置1の各部の動作を制御する。
【0034】
次いで、第1の実施形態において行われる処理について説明する。図4および図5は第1の実施形態において行われる処理を示すフローチャートである。なお、複数の立体画像を表示する場合には、ユーザが入力部6から指示を行うことにより表示する立体画像のコマを切り替えるようにしてもよいが、制御部8が切り替え指示を行ことにより、スライドショーのように順次立体画像のコマを切り替えて表示するようにしてもよいものである。第1の実施形態および以降の実施形態においては、スライドショーのように立体画像のコマを切り替えて表示する場合の処理について説明する。また、立体画像の表示順は、ファイル名順とするがこれに限定されるものではない。
【0035】
立体画像の表示の指示が入力部6から行われることにより制御部8が処理を開始し、まず表示の対象を最初の立体画像のコマ(以下単にコマとする)に決定し(n=1、ステップST1)、画像入力部2が表示するコマの画像ファイルをメディア2Aから読み出す(画像ファイル読み出し、ステップST2)。次いで、制御部8が、補間立体画像を生成する数(補間数)kを決定する処理を行う(ステップST3)。
【0036】
図6は補間数決定処理のフローチャートである。まず制御部8は、これから表示するコマnと1つ前に表示されたコマn−1との相関量Cを算出する(ステップST21)。なお、相関量Cとしては、コマnとコマn−1との全画素または主要被写体を含む特定領域の画素の差分絶対値和および差分2乗和の逆数等を用いることができる。また、コマnおよびコマn−1のヒストグラムを算出し、コマnおよびコマn−1において共通するヒストグラムの面積を相関量Cとして用いてもよい。ここで、メディア2Aから読み出される画像ファイルには右画像および左画像が含まれるため、コマnとコマn−1との相関量Cは、それぞれの画像ファイルに含まれる右画像および左画像の少なくとも一方から算出するものとする。
【0037】
なお、これから表示するコマが最初のコマの場合には、1つ前に表示されたコマn−1は存在しない。このため、これから表示するコマnが最初のコマの場合には、あらかじめ定められた明るさを有するグレー画像とコマnとの相関量Cを算出するものとする。
【0038】
次いで、制御部8は補間数決定テーブルを参照して、相関量Cから補関数kを決定し(ステップST22)、処理を終了する。
【0039】
図7は補間数決定テーブルを示す図である。図7に示すように補間数決定テーブルLUT1は、横軸に相関量C、縦軸に補間数kが規定されてなり、相関量Cが大きい、すなわちこれから表示するコマnと前のコマn−1とが似ているほどコマnについての補間立体画像の表示数が少なくなり、コマnと前のコマn−1とが似ていないほどコマnについての補間立体画像の表示数が多くなるものである。なお、相関量Cがしきい値C0以上となると補間数kは0となるため、補間画像が生成されないこととなる。この場合、補間立体画像は表示されることなく、前のコマn−1の立体画像に続いて、コマnの立体画像が表示されることとなる。
【0040】
図4に戻り、ステップST3に続いて、制御部8は変数mを補間数kに設定する(ステップST4)、そして、補間画像生成部3が、コマnについての右画像および左画像から、補間右画像IP−Rmおよび補間左画像IP−Lmを生成し(ステップST5)、立体画像生成部4が、補間右画像IP−Rmおよび補間左画像IP−Lmから補間立体画像Hmを生成する(ステップST6)。そして制御部8が、補間立体画像Hmを表示部7に表示する(ステップST7)。次いで、制御部8が補間立体画像Hmを表示部7に表示する時間である表示インターバルΔtを決定する処理を行う(ステップST8)。
【0041】
図8は表示インターバル決定処理のフローチャートである。制御部8は、まずこれから表示するコマnと1つ前に表示されたコマn−1との相関量Cを算出する(ステップST31)。なお、相関量Cの算出方法は、補関数kの決定時と同様であるため、補関数kの決定時に算出した相関量Cを用いてもよい。次いで制御部8は、相関量Cをその大きさに応じて3つのランク(大、中、小)にランク分けする(ステップST32)。そして、制御部8は、相関量Cのランクに応じた表示インターバル決定テーブルを参照して、相関量Cのランクに応じた表示インターバルΔtを決定し(ステップST33)、処理を終了する。
【0042】
図9は表示インターバル決定テーブルを示す図である。なお、本実施形態においては、表示インターバルテーブルは、相関量Cのランクに応じて3つ用意されている。図9に示すように表示インターバル決定テーブルLUT2,LUT3,LUT4は、横軸に切り替えの経過時間tが、縦軸に表示インターバルΔtが規定されてなり、切り替えの経過時間tが浅いほど、すなわち切り替え直後ほど表示インターバルΔtが長くなり、切り替えの時間tが経過するにつれて、表示インターバルΔtが短くなるように表示インターバルΔtを決定するものである。また、表示インターバル決定テーブルLUT2,LUT3,LUT4は、それぞれ相関量Cの大、中、小に対応するものであり、相関量Cが小さいほど、表示インターバルΔtが大きくなるように設定されている。
【0043】
このため、切り替えの経過時間tが浅いときには、補間立体画像の表示インターバルΔtは長く、切り替えの時間が経過するほど、補間立体画像の表示インターバルΔtが短くなることから、切り替え時間が経過するにつれて、補間立体画像の表示時間が徐々に短くなっていく。また、これから表示するコマnと前のコマn−1とが似ているほど表示インターバルΔtは短くなるため、これから表示するコマnの補間立体画像はより速く切り替わることとなる。また、コマnと前のコマn−1とが似ていないほど表示インターバルΔtは長くなるため、これから表示するコマnの補間立体画像はよりゆっくりと切り替わることとなる。
【0044】
図4に戻り、ステップST8に続いて、制御部8は、算出された表示インターバルΔtの時間、処理を待機する(ステップST9)。この間、表示部7には補間立体画像Hmが表示され続ける。次いで制御部8は、mの値をm−1に変更し(ステップST10)、mが0以下となったか否かを判定する(ステップST11)。ステップST11が否定されるとステップST5に戻り、ステップST5以降の処理を繰り返す。これにより、順次視差が大きくなるように補間立体画像Hmが表示部7に表示される。
【0045】
一方、ステップST11が肯定されると、立体画像生成部4が右画像IM−Rおよび左画像IM−Lから立体画像D0を生成し(ステップST12)、制御部8が立体画像D0を表示部7に表示する(ステップST13)。なお、この際の表示インターバルΔtはあらかじめ定められた値を用いるものとする。
【0046】
続いて、制御部8は、入力部6から表示終了指示がなされたか否かを判定し(ステップST14)、ステップST14が否定されると、メディア2Aに記録されているすべての画像ファイルについて立体画像を表示したか否かを判定する(ステップST15)。ステップST15が否定されると、表示の対象を次のコマに変更し(n=n+1、ステップST16)、ステップST2に戻り、ステップST2以降の処理を繰り返す。ステップST14およびステップST15が肯定されると、終了処理を行い(ステップST17)、立体画像の表示の処理を終了する。
【0047】
図10は終了処理のフローチャートである。まず、制御部8は補間数kの決定処理を行う(ステップST41)。なお、補間数の決定処理は図6に示す処理と同様であるが、相関量Cの算出は、現在表示中のコマnとあらかじめ定められた明るさを有するグレー画像との間で行うものとする。次いで、制御部8は変数mを1に設定する(ステップST42)、そして、補間画像生成部3が、コマnについての右画像および左画像から、補間右画像IP−Rmおよび補間左画像IP−Lmを生成し(ステップST43)、立体画像生成部4が、補間右画像IP−Rmおよび補間左画像IP−Lmから補間立体画像Hmを生成する(ステップST44)。そして制御部8が補間立体画像Hmを表示部7に表示する(ステップST45)。次いで、制御部8が表示インターバルΔtを決定する処理を行う(ステップST46)。なお、表示インターバルΔtを決定する処理は図8に示す処理と同様であるが、相関量Cの算出は、現在表示中のコマnとあらかじめ定められた明るさを有するグレー画像との間で行うものとする。
【0048】
次いで、制御部8は、算出された表示インターバルΔtの時間、処理を待機する(ステップST47)。この間、表示部7には補間立体画像Hmが表示され続ける。次いで制御部8は、mの値をm+1に変更し(ステップST48)、mがk以上となったか否かを判定する(ステップST49)。ステップST49が否定されるとステップST43に戻り、ステップST43以降の処理を繰り返す。これにより、奥行き感が徐々に小さくなるように補間立体画像Hmが表示部7に表示される。一方、ステップST49が肯定されると、処理を終了する。
【0049】
これにより、最後に表示された立体画像については、奥行き感が徐々に小さくなった後に、表示が終了することとなる。
【0050】
このように、第1の実施形態においては、立体画像を順次切り替えて表示する際に、次のコマの表示の指示がなされると、表示指示がなされたコマについての奥行き感が徐々に大きくなるように補間立体画像を順次表示するようにしたため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。
【0051】
また、前後する2つのコマの相関量Cが小さいほど、より多くの補間画像の組を生成するようにしたため、絵柄が似ていない画像ほど、立体感がゆっくりと切り替わることとなる。したがって、絵柄が似ていない立体画像が切り替えられて表示される際の急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。
【0052】
また、前後する2つのコマの相関量Cがしきい値C0以上の場合には、補間画像および補間立体画像を生成しないようにしたため、絵柄が似た立体画像の間は、補間立体画像が表示されることなく、続けて次の立体画像が表示されることとなる。したがって、絵柄が似た立体画像が切り替えられて表示される際の、不自然な奥行き感の変更を防止することができる。
【0053】
また、次の立体画像の表示の切り替えの指示があってから次の立体画像が表示されるまでの間において、表示インターバルΔtが徐々に短くなるように複数の補間立体画像を順次表示するようにしたため、立体画像の表示の切り替え直後は長い時間補間立体画像が表示され、徐々に補間立体画像の表示時間が短くなる。したがって、急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。
【0054】
とくに、前後する2つのコマの相関量Cが小さいほど、各補間立体画像の表示インターバルΔtを長くするようにしたため、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化をより防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。
【0055】
また、立体画像の表示を停止する際には、最後に表示された立体画像の奥行き感が徐々に小さくなるように補間立体画像を順次表示した後に、立体画像の表示を停止するようにしたため、立体視を急激に中断することによるユーザの疲労感を防止することができる。
【0056】
次いで、本発明の第2の実施形態について説明する。なお、第2の実施形態による立体画像表示装置は、第1の実施形態による立体画像表示装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第1の実施形態においては、立体画像の切り替わり時に次に表示する立体画像の奥行き感を徐々に大きくしているが、第2の実施形態においては、立体画像の表示の切り替え時に、前に表示された立体画像の奥行き感を徐々に小さくしてから次の立体画像を表示するようにしたものである。
【0057】
次いで、第2の実施形態において行われる処理について説明する。図11および図12は第2の実施形態において行われる処理を示すフローチャートである。
【0058】
立体画像の表示の指示が入力部6から行われることにより制御部8が処理を開始し、まず表示の対象を最初の立体画像のコマ(以下単にコマとする)に決定し(n=1、ステップST51)、画像入力部2が表示するコマの画像ファイルをメディア2Aから読み出す(画像ファイル読み出し、ステップST52)。次いで、立体画像生成部4が、読み出した画像ファイルに格納された右画像IM−Rおよび左画像IM−Lから立体画像D0を生成し(ステップST53)、制御部8が立体画像D0を表示部7に表示する(ステップST54)。なお、この際の表示インターバルΔtはあらかじめ定められた値を用いるものとする。
【0059】
次いで制御部8は、表示の対象を次の立体画像のコマ(以下単にコマとする)に変更し(n=n+1、ステップST55)、画像入力部2が表示するコマの画像ファイルをメディア2Aから読み出す(画像読み出し、ステップST56)。次いで制御部8が、補間立体画像を生成する数(補間数)kを決定する処理を行う(ステップST57)。なお、補間数の決定処理は図6に示す処理と同様であるが、現在表示中のコマnと表示指示がなされた次のコマn+1との相関量Cを算出するものとする。
【0060】
次いで制御部8は変数mを1に設定する(ステップST58)、そして、補間画像生成部3が、コマnについての右画像および左画像から、補間右画像IP−Rmおよび補間左画像IP−Lmを生成し(ステップST59)、立体画像生成部4が、補間右画像IP−Rmおよび補間左画像IP−Lmから補間立体画像Hmを生成する(ステップST60)。そして制御部8が、補間立体画像Hmを表示部7に表示する(ステップS61)。次いで、制御部8が表示インターバルΔtを決定する処理を行う(ステップST62)。なお、表示インターバルΔtを決定する処理は図8に示す処理と同様であるが、相関量Cの算出は、現在表示中のコマnと表示指示がなされた次のコマn+1との間で行うものとする。
【0061】
次いで制御部8は、算出された表示インターバルΔtの時間、処理を待機する(ステップST63)。この間、表示部7には補間立体画像Hmが表示さ
れ続ける。次いで制御部8は、mの値をm+1に変更し(ステップST64)、mがk以上となったか否かを判定する(ステップST65)。ステップST65が否定されるとステップST59に戻り、ステップST59以降の処理を繰り返す。これにより、奥行き感が徐々に小さくなるように表示中の立体画像についての補間立体画像Hmが表示部7に表示される。
【0062】
一方、ステップST65が肯定されると、立体画像生成部4が次のコマについての右画像IM−Rおよび左画像IM−Lから立体画像D0を生成し(ステップST66)、制御部8が、立体画像D0を表示部7に表示する(ステップST67)。なお、この際の表示インターバルΔtはあらかじめ定められた値を用いるものとする。
【0063】
続いて、制御部8は、入力部6から表示終了指示がなされたか否かを判定し(ステップST68)、ステップST68が否定されると、メディア2Aに記録されているすべての画像ファイルについて立体画像を表示したか否かを判定する(ステップST69)。ステップST69が否定されると、ステップST55に戻り、ステップST55以降の処理を繰り返す。ステップST68およびステップST69が肯定されると、第1の実施形態と同様に終了処理を行い(ステップST70)、立体画像の表示の処理を終了する。
【0064】
このように、第2の実施形態においては、立体画像を順次切り替えて表示する際に、次のコマの表示の指示がなされると、現在表示されているコマについての奥行き感が徐々に小さくなるように補間立体画像を順次表示するようにしたため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。
【0065】
なお、上記第1の実施形態においては、表示指示があったコマについての立体画像の表示前に補間立体画像を奥行き感が徐々に大きくなるように表示し、第2の実施形態においては、現在表示中のコマについての補間立体画像を奥行き感が徐々に小さくなるように表示しているが、上記第1および第2の処理を組み合わせた処理を行うようにしてもよい。すなわち、次のコマの表示指示があると、現在表示中のコマについて奥行き感が徐々に小さくなるように現在表示中のコマについての補間立体画像を表示し、続いて、次のコマについて奥行き感が徐々に大きくなるように補間立体画像を表示した後に、次のコマについての立体画像を表示するようにしてもよい。
【0066】
また、上記第1および第2の実施形態においては、補間数kを決定するために図7に示す補間数決定テーブルLUT1を用いているが、あらかじめ定められた演算式により補間数kを決定するようにしてもよい。また、補間数決定処理を行うことなく、あらかじめ定められた補間数kを用いるようにしてもよい。
【0067】
また、上記第1および第2の実施形態においては、表示インターバルΔtを決定するために図9に示す表示インターバル決定テーブルLUT2、LUT3,LUT4を用いているが、あらかじめ定められた演算式により表示インターバルΔtを決定するようにしてもよい。また、表示インターバル決定処理を行うことなく、あらかじめ定められた表示インターバルΔtを用いるようにしてもよい。
【0068】
また、上記第1および第2の実施形態においては、表示インターバル決定処理において、相関量Cに応じたテーブルを用意しているが、相関量Cの大きさに拘わらず1つのテーブルを用いるようにしてもよい。
【0069】
また、上記第1および第2の実施形態においては、立体画像の表示終了時に終了処理を行っているが、終了処理を行うことなく、立体画像の表示を直ちに停止するようにしてもよい。
【0070】
また、上記第1および第2の実施形態においては、立体画像のコマの切り替え指示がある毎に補間右画像および補間左画像を生成しているが、あらかじめ連続するコマ間の補間右画像および補間左画像、さらには補間立体画像を生成して、フレームバッファ5に記憶しておくようにしてもよい。これにより、コマの切り替え時に補間立体画像の生成に要する時間を短縮することができるため、補間立体画像および立体画像の表示を迅速に行うことができる。
【0071】
以上、本発明の実施形態に係る装置1について説明したが、コンピュータを、上記の補間画像生成部3、立体画像生成部4および制御部8に対応する手段として機能させ、図4,5,6,8,10〜12に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
【図面の簡単な説明】
【0072】
【図1】本発明の第1の実施形態による立体画像表示装置の構成を示す概略ブロック図
【図2】画像ファイルに格納されている一対の画像を示す図
【図3】補間画像の生成を説明するための図
【図4】第1の実施形態において行われる処理を示すフローチャート(その1)
【図5】第1の実施形態において行われる処理を示すフローチャート(その2)
【図6】補間数決定処理のフローチャート
【図7】補間数決定テーブルを示す図
【図8】表示インターバル決定処理のフローチャート
【図9】表示インターバル決定テーブルを示す図
【図10】終了処理のフローチャート
【図11】第2の実施形態において行われる処理を示すフローチャート(その1)
【図12】第2の実施形態において行われる処理を示すフローチャート(その2)
【符号の説明】
【0073】
1 立体画像表示装置
2 画像入力部
3 補間画像生成部
4 立体画像生成部
5 フレームバッファ
6 入力部
7 表示部
8 制御部
【技術分野】
【0001】
本発明は、立体画像を表示する立体画像表示装置および方法並びに立体画像表示方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【0002】
複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視ができる立体画像は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を合成することにより生成することができる。
【0003】
具体的には、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体画像を生成することができる。この場合、立体画像を表示して、赤青メガネや偏光メガネ等の画像分離メガネを用いて表示された立体画像を目の自動焦点機能により融合視することにより、画像を立体視することができる(アナグリフ方式、偏光フィルタ方式)。
【0004】
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、立体画像を立体視可能な3D液晶に表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、立体画像が生成される。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、立体画像を表示することも可能である(時分割方式)。
【0005】
このような立体画像を表示するに際し、ユーザが入力する視差量の変更情報に基づいて、立体画像の視差を調整することにより、奥行き感を変更して表示する手法が提案されている(特許文献1参照)。
【特許文献1】特開2004−207772号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、立体画像を取得数ための撮影を行う場合、各撮影シーン毎に画角、ズーム倍率、焦点位置および複数のカメラの位置関係が異なることから、立体画像毎に奥行き感が異なるものとなる。しかしながら、立体視はユーザの頭の中において画像の奥行き感を実現するものであるため、複数の立体画像を順次切り替えて表示する場合、表示の切り替わり時に画像の奥行き感が突然切り替わることとなる。ここで、立体視は立体画像を目の自動焦点機能によって融合視することにより行っているため、画像が切り替わる毎に立体感が突然切り替わると、立体視を行うユーザに非常に疲労感が残るものとなる。
【0007】
このため、特許文献1に記載された手法を用いて、立体画像の奥行き感を変更することが考えられる。しかしながら、特許文献1に記載された手法は、視差量の調整はユーザの入力により行われるため、とくに複数の立体画像を表示する際には、立体画像の奥行き感を変更する作業が非常に煩雑なものとなり、その結果、作業効率が悪いものとなっている。
【0008】
本発明は、上記事情に鑑みなされたものであり、効率よく立体画像の奥行き感を変更して、立体視を行うユーザの疲労感を低減することを目的とする。
【課題を解決するための手段】
【0009】
本発明による立体画像表示装置は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する補間画像生成手段と、
前記補間画像の組から少なくとも1つの補間立体画像を生成する立体画像生成手段と、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する表示制御手段とを備えたことを特徴とするものである。
【0010】
これにより、立体画像を表示する際には、その表示の前および後に徐々に奥行き感が徐々に変更されるように立体画像が表示されるため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。
【0011】
「補間画像の組」は、複数の画像のそれぞれに対応して生成される補間画像を含むものであり、対応する補間画像は、複数の画像間の視差よりも小さい視差を有するものとなっている。とくに複数の補間画像の組が生成される場合には、各組における複数の補間画像間の視差は、漸次複数の画像間の視差よりも小さくなるように生成される。
【0012】
なお、本発明による立体画像表示装置においては、前記表示制御手段を、前記立体画像の表示指示があると、該立体画像の表示の前に、奥行き感が前記立体画像の奥行き感となるまで漸次増加するように前記補間立体画像を順次表示する手段としてもよい。
【0013】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記表示制御手段を、前記立体画像の表示指示があると、該指示された立体画像の前に表示されていた前の立体画像の表示の後に、奥行き感が該前の立体画像の奥行き感から漸次減少するように前記前の立体画像についての補間立体画像を順次表示する手段としてもよい。
【0014】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、前後する2つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する手段としてもよい。
【0015】
これにより、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。
【0016】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、前後する2つの立体画像の相関が所定のしきい値以上の場合には、前記補間画像の生成を停止する手段とし、
前記表示制御手段を、前記補間画像の生成が停止された立体画像の前および後の少なくとも一方においては、前記補間立体画像の表示を停止する手段としてもよい。
【0017】
これにより、絵柄が似た立体画像が切り替えられて表示される際の、不自然な奥行き感の変更を防止することができる。
【0018】
また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、複数の補間画像の組を生成する手段とし、
前記立体画像生成手段を、複数の前記補間立体画像を生成する手段とし、
前記表示制御手段を、次の立体画像の表示の切り替えの指示があってから該次の立体画像が表示されるまでの間において、表示時間が漸次短くなるように前記複数の補間立体画像を順次表示する手段としてもよい。
【0019】
これにより、立体画像の表示の切り替え直後は長い時間補間立体画像が表示され、徐々に補間立体画像の表示時間が短くなるため、急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。
【0020】
また、本発明による立体画像表示装置においては、前記表示制御手段を、前後する2つの立体画像の相関が小さいほど、前記各補間立体画像の表示時間を長くする手段としてもよい。
【0021】
これにより、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化をより確実に防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。
【0022】
また、本発明による立体画像表示装置においては、前記表示制御手段を、前記立体画像の表示停止指示がなされた場合、奥行き感が該立体画像の奥行き感から漸次減少するように前記補間立体画像を順次表示した後に、前記立体画像の表示を停止する手段としてもよい。
【0023】
これにより、立体視を急激に中断することによるユーザの疲労感を防止することができる。
【0024】
本発明による立体画像表示方法は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成し、
前記補間画像の組から少なくとも1つの補間立体画像を生成し、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示することを特徴とするものである。
【0025】
なお、本発明による立体画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明を実施するための最良の形態】
【0026】
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による立体画像表示装置の構成を示す概略ブロック図である。図1に示すように第1の実施形態による立体画像表示装置1は、画像入力部2、補間画像生成部3、立体画像生成部4、フレームバッファ5、各種入力を行うキーボードおよびマウス等からなる入力部6、各種表示を行う液晶モニタ等の表示部7並びに制御部8を備え、各部がバス9により接続されている。
【0027】
画像入力部2は、立体画像表示装置1において立体画像として表示するための一対の画像が格納された立体画像生成用の画像ファイルを装置1に入力するものであり、立体画像生成用の画像ファイルが記録されたメディアから画像ファイルを読み出すメディアドライブ、ネットワーク経由で画像ファイルの入力を受け付ける有線または無線のインターフェース等、画像ファイルを入力するための公知の種々の手段を用いることができる。本実施形態においては、画像入力部2をメディア2Aから画像ファイルを読み出すものとする。なお、画像ファイルに格納された画像はJPEG等の圧縮方式により圧縮されているため、画像入力部2は、入力された画像を伸長して、その後の処理に供するものである。
【0028】
ここで、一対の画像とは、被写体を異なる2つの撮影位置において撮影を行うことにより取得されるものであり、図2に示すように、2つの画像L1,R1に含まれる被写体が撮影位置の違いに応じた視差を有するものとなっている。なお、一対の画像は2つの撮影位置すなわち左側および右側の撮影位置において取得されるものであるため、立体画像生成時に右側に表示される画像を右画像、左側に表示される画像を左画像と称するものとする。また、本実施形態においては、一対の画像から立体画像を生成するものであるが、3以上の異なる撮影位置において撮影を行うことにより取得した3以上の画像から立体画像を生成するものであってもよい。
【0029】
補間画像生成部3は、画像ファイルに含まれる右画像および左画像のそれぞれについて、少なくとも1つの補間画像の組、すなわち、少なくとも1つの補間右画像および補間左画像からなる補間画像の組を生成する。図3は補間画像の生成を説明するための図である。図3に示すように、補間画像生成部3は、画像ファイルに含まれる右画像IM−Rからm個(ここでは2個)の補間右画像IP−Rm(m=1〜k、kは補間数)を生成し、左画像IP−Lから2つの補間左画像IP−Lmを生成する。したがって、m個の補間画像の組が生成される。なお、補間右画像および補間左画像においては、付与されている数字が大きくなるほど、画像間の視差が小さくなるものである。また、補間数kについては後述する。
【0030】
なお、補間画像生成部3は、右画像IM−Rおよび左画像IM−Lに含まれる対応する画素間の視差が徐々に小さくなるように、右画像IM−Rおよび左画像IM−Lをモーフィング等によって加工することにより、補間右画像IP−Rmおよび補間左画像IP−Lmを生成する。具体的には、左右の画像において互いに対応する対応点を検出し、対応点を直線または曲線で結び、直線または曲線を分割して疑似対応点を算出し、左右の画像を疑似対応点に対応させるように変形することにより、補間右画像IP−Rmおよび補間左画像IP−Lmを生成する。
【0031】
立体画像生成部4は、右画像IM−Rおよび左画像IM−L、並びに補間右画像IP−Rmおよび補間左画像IP−Lmを、表示部7において立体視が可能なように立体表示変換し、立体画像D0および2つの補間立体画像Hmをそれぞれ生成する。なお、立体表示変換は、立体視の仕方および表示部7が3D液晶であるか否かによるが、ペアとなる画像同士(すなわち元の画像同士およびmが同一の補間画像同士)の色を例えば赤と青のように異ならせて重ね合わせたり(アナグリフ方式)、ペアとなる画像および補間画像同士の偏光方向を異ならせて重ね合わせたり(偏光フィルタ方式)、ペアとなる画像および補間画像を1ライン毎に交互に組み合わせることにより行うことができる(パララックスバリア方式およびレンチキュラー方式)。
【0032】
フレームバッファ5は、後述するように立体画像を切り替えて表示する際に、立体画像および補間立体画像を読み出して一時的に保管しておく記憶部である。
【0033】
制御部8は、CPU8A、各種処理を行う際の作業領域となるRAM8B、並びに装置1の動作プログラム、各種定数および後述する各種テーブル等を記憶したROM8Cを備えてなり、装置1の各部の動作を制御する。とくに、複数の立体画像をスライドショーのように切り替えて表示する処理、補間画像生成部3が生成する補間画像の数を決定する処理、および補間立体画像を表示部7に表示するインターバルを決定する処理を行うよう、装置1の各部の動作を制御する。
【0034】
次いで、第1の実施形態において行われる処理について説明する。図4および図5は第1の実施形態において行われる処理を示すフローチャートである。なお、複数の立体画像を表示する場合には、ユーザが入力部6から指示を行うことにより表示する立体画像のコマを切り替えるようにしてもよいが、制御部8が切り替え指示を行ことにより、スライドショーのように順次立体画像のコマを切り替えて表示するようにしてもよいものである。第1の実施形態および以降の実施形態においては、スライドショーのように立体画像のコマを切り替えて表示する場合の処理について説明する。また、立体画像の表示順は、ファイル名順とするがこれに限定されるものではない。
【0035】
立体画像の表示の指示が入力部6から行われることにより制御部8が処理を開始し、まず表示の対象を最初の立体画像のコマ(以下単にコマとする)に決定し(n=1、ステップST1)、画像入力部2が表示するコマの画像ファイルをメディア2Aから読み出す(画像ファイル読み出し、ステップST2)。次いで、制御部8が、補間立体画像を生成する数(補間数)kを決定する処理を行う(ステップST3)。
【0036】
図6は補間数決定処理のフローチャートである。まず制御部8は、これから表示するコマnと1つ前に表示されたコマn−1との相関量Cを算出する(ステップST21)。なお、相関量Cとしては、コマnとコマn−1との全画素または主要被写体を含む特定領域の画素の差分絶対値和および差分2乗和の逆数等を用いることができる。また、コマnおよびコマn−1のヒストグラムを算出し、コマnおよびコマn−1において共通するヒストグラムの面積を相関量Cとして用いてもよい。ここで、メディア2Aから読み出される画像ファイルには右画像および左画像が含まれるため、コマnとコマn−1との相関量Cは、それぞれの画像ファイルに含まれる右画像および左画像の少なくとも一方から算出するものとする。
【0037】
なお、これから表示するコマが最初のコマの場合には、1つ前に表示されたコマn−1は存在しない。このため、これから表示するコマnが最初のコマの場合には、あらかじめ定められた明るさを有するグレー画像とコマnとの相関量Cを算出するものとする。
【0038】
次いで、制御部8は補間数決定テーブルを参照して、相関量Cから補関数kを決定し(ステップST22)、処理を終了する。
【0039】
図7は補間数決定テーブルを示す図である。図7に示すように補間数決定テーブルLUT1は、横軸に相関量C、縦軸に補間数kが規定されてなり、相関量Cが大きい、すなわちこれから表示するコマnと前のコマn−1とが似ているほどコマnについての補間立体画像の表示数が少なくなり、コマnと前のコマn−1とが似ていないほどコマnについての補間立体画像の表示数が多くなるものである。なお、相関量Cがしきい値C0以上となると補間数kは0となるため、補間画像が生成されないこととなる。この場合、補間立体画像は表示されることなく、前のコマn−1の立体画像に続いて、コマnの立体画像が表示されることとなる。
【0040】
図4に戻り、ステップST3に続いて、制御部8は変数mを補間数kに設定する(ステップST4)、そして、補間画像生成部3が、コマnについての右画像および左画像から、補間右画像IP−Rmおよび補間左画像IP−Lmを生成し(ステップST5)、立体画像生成部4が、補間右画像IP−Rmおよび補間左画像IP−Lmから補間立体画像Hmを生成する(ステップST6)。そして制御部8が、補間立体画像Hmを表示部7に表示する(ステップST7)。次いで、制御部8が補間立体画像Hmを表示部7に表示する時間である表示インターバルΔtを決定する処理を行う(ステップST8)。
【0041】
図8は表示インターバル決定処理のフローチャートである。制御部8は、まずこれから表示するコマnと1つ前に表示されたコマn−1との相関量Cを算出する(ステップST31)。なお、相関量Cの算出方法は、補関数kの決定時と同様であるため、補関数kの決定時に算出した相関量Cを用いてもよい。次いで制御部8は、相関量Cをその大きさに応じて3つのランク(大、中、小)にランク分けする(ステップST32)。そして、制御部8は、相関量Cのランクに応じた表示インターバル決定テーブルを参照して、相関量Cのランクに応じた表示インターバルΔtを決定し(ステップST33)、処理を終了する。
【0042】
図9は表示インターバル決定テーブルを示す図である。なお、本実施形態においては、表示インターバルテーブルは、相関量Cのランクに応じて3つ用意されている。図9に示すように表示インターバル決定テーブルLUT2,LUT3,LUT4は、横軸に切り替えの経過時間tが、縦軸に表示インターバルΔtが規定されてなり、切り替えの経過時間tが浅いほど、すなわち切り替え直後ほど表示インターバルΔtが長くなり、切り替えの時間tが経過するにつれて、表示インターバルΔtが短くなるように表示インターバルΔtを決定するものである。また、表示インターバル決定テーブルLUT2,LUT3,LUT4は、それぞれ相関量Cの大、中、小に対応するものであり、相関量Cが小さいほど、表示インターバルΔtが大きくなるように設定されている。
【0043】
このため、切り替えの経過時間tが浅いときには、補間立体画像の表示インターバルΔtは長く、切り替えの時間が経過するほど、補間立体画像の表示インターバルΔtが短くなることから、切り替え時間が経過するにつれて、補間立体画像の表示時間が徐々に短くなっていく。また、これから表示するコマnと前のコマn−1とが似ているほど表示インターバルΔtは短くなるため、これから表示するコマnの補間立体画像はより速く切り替わることとなる。また、コマnと前のコマn−1とが似ていないほど表示インターバルΔtは長くなるため、これから表示するコマnの補間立体画像はよりゆっくりと切り替わることとなる。
【0044】
図4に戻り、ステップST8に続いて、制御部8は、算出された表示インターバルΔtの時間、処理を待機する(ステップST9)。この間、表示部7には補間立体画像Hmが表示され続ける。次いで制御部8は、mの値をm−1に変更し(ステップST10)、mが0以下となったか否かを判定する(ステップST11)。ステップST11が否定されるとステップST5に戻り、ステップST5以降の処理を繰り返す。これにより、順次視差が大きくなるように補間立体画像Hmが表示部7に表示される。
【0045】
一方、ステップST11が肯定されると、立体画像生成部4が右画像IM−Rおよび左画像IM−Lから立体画像D0を生成し(ステップST12)、制御部8が立体画像D0を表示部7に表示する(ステップST13)。なお、この際の表示インターバルΔtはあらかじめ定められた値を用いるものとする。
【0046】
続いて、制御部8は、入力部6から表示終了指示がなされたか否かを判定し(ステップST14)、ステップST14が否定されると、メディア2Aに記録されているすべての画像ファイルについて立体画像を表示したか否かを判定する(ステップST15)。ステップST15が否定されると、表示の対象を次のコマに変更し(n=n+1、ステップST16)、ステップST2に戻り、ステップST2以降の処理を繰り返す。ステップST14およびステップST15が肯定されると、終了処理を行い(ステップST17)、立体画像の表示の処理を終了する。
【0047】
図10は終了処理のフローチャートである。まず、制御部8は補間数kの決定処理を行う(ステップST41)。なお、補間数の決定処理は図6に示す処理と同様であるが、相関量Cの算出は、現在表示中のコマnとあらかじめ定められた明るさを有するグレー画像との間で行うものとする。次いで、制御部8は変数mを1に設定する(ステップST42)、そして、補間画像生成部3が、コマnについての右画像および左画像から、補間右画像IP−Rmおよび補間左画像IP−Lmを生成し(ステップST43)、立体画像生成部4が、補間右画像IP−Rmおよび補間左画像IP−Lmから補間立体画像Hmを生成する(ステップST44)。そして制御部8が補間立体画像Hmを表示部7に表示する(ステップST45)。次いで、制御部8が表示インターバルΔtを決定する処理を行う(ステップST46)。なお、表示インターバルΔtを決定する処理は図8に示す処理と同様であるが、相関量Cの算出は、現在表示中のコマnとあらかじめ定められた明るさを有するグレー画像との間で行うものとする。
【0048】
次いで、制御部8は、算出された表示インターバルΔtの時間、処理を待機する(ステップST47)。この間、表示部7には補間立体画像Hmが表示され続ける。次いで制御部8は、mの値をm+1に変更し(ステップST48)、mがk以上となったか否かを判定する(ステップST49)。ステップST49が否定されるとステップST43に戻り、ステップST43以降の処理を繰り返す。これにより、奥行き感が徐々に小さくなるように補間立体画像Hmが表示部7に表示される。一方、ステップST49が肯定されると、処理を終了する。
【0049】
これにより、最後に表示された立体画像については、奥行き感が徐々に小さくなった後に、表示が終了することとなる。
【0050】
このように、第1の実施形態においては、立体画像を順次切り替えて表示する際に、次のコマの表示の指示がなされると、表示指示がなされたコマについての奥行き感が徐々に大きくなるように補間立体画像を順次表示するようにしたため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。
【0051】
また、前後する2つのコマの相関量Cが小さいほど、より多くの補間画像の組を生成するようにしたため、絵柄が似ていない画像ほど、立体感がゆっくりと切り替わることとなる。したがって、絵柄が似ていない立体画像が切り替えられて表示される際の急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。
【0052】
また、前後する2つのコマの相関量Cがしきい値C0以上の場合には、補間画像および補間立体画像を生成しないようにしたため、絵柄が似た立体画像の間は、補間立体画像が表示されることなく、続けて次の立体画像が表示されることとなる。したがって、絵柄が似た立体画像が切り替えられて表示される際の、不自然な奥行き感の変更を防止することができる。
【0053】
また、次の立体画像の表示の切り替えの指示があってから次の立体画像が表示されるまでの間において、表示インターバルΔtが徐々に短くなるように複数の補間立体画像を順次表示するようにしたため、立体画像の表示の切り替え直後は長い時間補間立体画像が表示され、徐々に補間立体画像の表示時間が短くなる。したがって、急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。
【0054】
とくに、前後する2つのコマの相関量Cが小さいほど、各補間立体画像の表示インターバルΔtを長くするようにしたため、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化をより防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。
【0055】
また、立体画像の表示を停止する際には、最後に表示された立体画像の奥行き感が徐々に小さくなるように補間立体画像を順次表示した後に、立体画像の表示を停止するようにしたため、立体視を急激に中断することによるユーザの疲労感を防止することができる。
【0056】
次いで、本発明の第2の実施形態について説明する。なお、第2の実施形態による立体画像表示装置は、第1の実施形態による立体画像表示装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第1の実施形態においては、立体画像の切り替わり時に次に表示する立体画像の奥行き感を徐々に大きくしているが、第2の実施形態においては、立体画像の表示の切り替え時に、前に表示された立体画像の奥行き感を徐々に小さくしてから次の立体画像を表示するようにしたものである。
【0057】
次いで、第2の実施形態において行われる処理について説明する。図11および図12は第2の実施形態において行われる処理を示すフローチャートである。
【0058】
立体画像の表示の指示が入力部6から行われることにより制御部8が処理を開始し、まず表示の対象を最初の立体画像のコマ(以下単にコマとする)に決定し(n=1、ステップST51)、画像入力部2が表示するコマの画像ファイルをメディア2Aから読み出す(画像ファイル読み出し、ステップST52)。次いで、立体画像生成部4が、読み出した画像ファイルに格納された右画像IM−Rおよび左画像IM−Lから立体画像D0を生成し(ステップST53)、制御部8が立体画像D0を表示部7に表示する(ステップST54)。なお、この際の表示インターバルΔtはあらかじめ定められた値を用いるものとする。
【0059】
次いで制御部8は、表示の対象を次の立体画像のコマ(以下単にコマとする)に変更し(n=n+1、ステップST55)、画像入力部2が表示するコマの画像ファイルをメディア2Aから読み出す(画像読み出し、ステップST56)。次いで制御部8が、補間立体画像を生成する数(補間数)kを決定する処理を行う(ステップST57)。なお、補間数の決定処理は図6に示す処理と同様であるが、現在表示中のコマnと表示指示がなされた次のコマn+1との相関量Cを算出するものとする。
【0060】
次いで制御部8は変数mを1に設定する(ステップST58)、そして、補間画像生成部3が、コマnについての右画像および左画像から、補間右画像IP−Rmおよび補間左画像IP−Lmを生成し(ステップST59)、立体画像生成部4が、補間右画像IP−Rmおよび補間左画像IP−Lmから補間立体画像Hmを生成する(ステップST60)。そして制御部8が、補間立体画像Hmを表示部7に表示する(ステップS61)。次いで、制御部8が表示インターバルΔtを決定する処理を行う(ステップST62)。なお、表示インターバルΔtを決定する処理は図8に示す処理と同様であるが、相関量Cの算出は、現在表示中のコマnと表示指示がなされた次のコマn+1との間で行うものとする。
【0061】
次いで制御部8は、算出された表示インターバルΔtの時間、処理を待機する(ステップST63)。この間、表示部7には補間立体画像Hmが表示さ
れ続ける。次いで制御部8は、mの値をm+1に変更し(ステップST64)、mがk以上となったか否かを判定する(ステップST65)。ステップST65が否定されるとステップST59に戻り、ステップST59以降の処理を繰り返す。これにより、奥行き感が徐々に小さくなるように表示中の立体画像についての補間立体画像Hmが表示部7に表示される。
【0062】
一方、ステップST65が肯定されると、立体画像生成部4が次のコマについての右画像IM−Rおよび左画像IM−Lから立体画像D0を生成し(ステップST66)、制御部8が、立体画像D0を表示部7に表示する(ステップST67)。なお、この際の表示インターバルΔtはあらかじめ定められた値を用いるものとする。
【0063】
続いて、制御部8は、入力部6から表示終了指示がなされたか否かを判定し(ステップST68)、ステップST68が否定されると、メディア2Aに記録されているすべての画像ファイルについて立体画像を表示したか否かを判定する(ステップST69)。ステップST69が否定されると、ステップST55に戻り、ステップST55以降の処理を繰り返す。ステップST68およびステップST69が肯定されると、第1の実施形態と同様に終了処理を行い(ステップST70)、立体画像の表示の処理を終了する。
【0064】
このように、第2の実施形態においては、立体画像を順次切り替えて表示する際に、次のコマの表示の指示がなされると、現在表示されているコマについての奥行き感が徐々に小さくなるように補間立体画像を順次表示するようにしたため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。
【0065】
なお、上記第1の実施形態においては、表示指示があったコマについての立体画像の表示前に補間立体画像を奥行き感が徐々に大きくなるように表示し、第2の実施形態においては、現在表示中のコマについての補間立体画像を奥行き感が徐々に小さくなるように表示しているが、上記第1および第2の処理を組み合わせた処理を行うようにしてもよい。すなわち、次のコマの表示指示があると、現在表示中のコマについて奥行き感が徐々に小さくなるように現在表示中のコマについての補間立体画像を表示し、続いて、次のコマについて奥行き感が徐々に大きくなるように補間立体画像を表示した後に、次のコマについての立体画像を表示するようにしてもよい。
【0066】
また、上記第1および第2の実施形態においては、補間数kを決定するために図7に示す補間数決定テーブルLUT1を用いているが、あらかじめ定められた演算式により補間数kを決定するようにしてもよい。また、補間数決定処理を行うことなく、あらかじめ定められた補間数kを用いるようにしてもよい。
【0067】
また、上記第1および第2の実施形態においては、表示インターバルΔtを決定するために図9に示す表示インターバル決定テーブルLUT2、LUT3,LUT4を用いているが、あらかじめ定められた演算式により表示インターバルΔtを決定するようにしてもよい。また、表示インターバル決定処理を行うことなく、あらかじめ定められた表示インターバルΔtを用いるようにしてもよい。
【0068】
また、上記第1および第2の実施形態においては、表示インターバル決定処理において、相関量Cに応じたテーブルを用意しているが、相関量Cの大きさに拘わらず1つのテーブルを用いるようにしてもよい。
【0069】
また、上記第1および第2の実施形態においては、立体画像の表示終了時に終了処理を行っているが、終了処理を行うことなく、立体画像の表示を直ちに停止するようにしてもよい。
【0070】
また、上記第1および第2の実施形態においては、立体画像のコマの切り替え指示がある毎に補間右画像および補間左画像を生成しているが、あらかじめ連続するコマ間の補間右画像および補間左画像、さらには補間立体画像を生成して、フレームバッファ5に記憶しておくようにしてもよい。これにより、コマの切り替え時に補間立体画像の生成に要する時間を短縮することができるため、補間立体画像および立体画像の表示を迅速に行うことができる。
【0071】
以上、本発明の実施形態に係る装置1について説明したが、コンピュータを、上記の補間画像生成部3、立体画像生成部4および制御部8に対応する手段として機能させ、図4,5,6,8,10〜12に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
【図面の簡単な説明】
【0072】
【図1】本発明の第1の実施形態による立体画像表示装置の構成を示す概略ブロック図
【図2】画像ファイルに格納されている一対の画像を示す図
【図3】補間画像の生成を説明するための図
【図4】第1の実施形態において行われる処理を示すフローチャート(その1)
【図5】第1の実施形態において行われる処理を示すフローチャート(その2)
【図6】補間数決定処理のフローチャート
【図7】補間数決定テーブルを示す図
【図8】表示インターバル決定処理のフローチャート
【図9】表示インターバル決定テーブルを示す図
【図10】終了処理のフローチャート
【図11】第2の実施形態において行われる処理を示すフローチャート(その1)
【図12】第2の実施形態において行われる処理を示すフローチャート(その2)
【符号の説明】
【0073】
1 立体画像表示装置
2 画像入力部
3 補間画像生成部
4 立体画像生成部
5 フレームバッファ
6 入力部
7 表示部
8 制御部
【特許請求の範囲】
【請求項1】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する補間画像生成手段と、
前記補間画像の組から少なくとも1つの補間立体画像を生成する立体画像生成手段と、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する表示制御手段とを備えたことを特徴とする立体画像表示装置。
【請求項2】
前記表示制御手段は、前記立体画像の表示指示があると、該立体画像の表示の前に、奥行き感が前記立体画像の奥行き感となるまで漸次増加するように前記補間立体画像を順次表示する手段であることを特徴とする請求項1記載の立体画像表示装置。
【請求項3】
複数の立体画像を順次表示するに際し、前記表示制御手段は、前記立体画像の表示指示があると、該指示された立体画像の前に表示されていた前の立体画像の表示の後に、奥行き感が該前の立体画像の奥行き感から漸次減少するように前記前の立体画像についての補間立体画像を表示する手段であることを特徴とする請求項1または2記載の立体画像表示装置。
【請求項4】
複数の立体画像を順次表示するに際し、前記補間画像生成手段は、前後する2つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する手段であることを特徴とする請求項1から3のいずれか1項記載の立体画像表示装置。
【請求項5】
複数の立体画像を順次表示するに際し、前記補間画像生成手段は、前後する2つの立体画像の相関が所定のしきい値以上の場合には、前記補間画像の生成を停止する手段であり、
前記表示制御手段は、前記補間画像の生成が停止された立体画像の前および後の少なくとも一方において、前記補間立体画像の表示を停止する手段であることを特徴とする請求項1から4のいずれか1項記載の立体画像表示装置。
【請求項6】
複数の立体画像を順次表示するに際し、前記補間画像生成手段が複数の補間画像の組を生成する手段であり、
前記立体画像生成手段が、複数の前記補間立体画像を生成する手段であり、
前記表示制御手段は、次の立体画像の表示の切り替えの指示があってから該次の立体画像が表示されるまでの間において、表示時間が漸次短くなるように前記複数の補間立体画像を順次表示する手段であることを特徴とする請求項1から5のいずれか1項記載の立体画像表示装置。
【請求項7】
前記表示制御手段は、前後する2つの立体画像の相関が小さいほど、前記各補間立体画像の表示時間を長くする手段であることを特徴とする請求項6記載の立体画像表示装置。
【請求項8】
前記表示制御手段は、前記立体画像の表示停止指示がなされた場合、奥行き感が該立体画像の奥行き感から漸次減少するように前記補間立体画像を順次表示した後に、前記立体画像の表示を停止する手段であることを特徴とする請求項1から7のいずれか1項記載の立体画像表示装置。
【請求項9】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成し、
前記補間画像の組から少なくとも1つの補間立体画像を生成し、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示することを特徴とする立体画像表示方法。
【請求項10】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法をコンピュータに実行させるためのプログラムにおいて、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する手順と、
前記補間画像の組から少なくとも1つの補間立体画像を生成する手順と、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する手順とを有することを特徴とするプログラム。
【請求項1】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する補間画像生成手段と、
前記補間画像の組から少なくとも1つの補間立体画像を生成する立体画像生成手段と、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する表示制御手段とを備えたことを特徴とする立体画像表示装置。
【請求項2】
前記表示制御手段は、前記立体画像の表示指示があると、該立体画像の表示の前に、奥行き感が前記立体画像の奥行き感となるまで漸次増加するように前記補間立体画像を順次表示する手段であることを特徴とする請求項1記載の立体画像表示装置。
【請求項3】
複数の立体画像を順次表示するに際し、前記表示制御手段は、前記立体画像の表示指示があると、該指示された立体画像の前に表示されていた前の立体画像の表示の後に、奥行き感が該前の立体画像の奥行き感から漸次減少するように前記前の立体画像についての補間立体画像を表示する手段であることを特徴とする請求項1または2記載の立体画像表示装置。
【請求項4】
複数の立体画像を順次表示するに際し、前記補間画像生成手段は、前後する2つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する手段であることを特徴とする請求項1から3のいずれか1項記載の立体画像表示装置。
【請求項5】
複数の立体画像を順次表示するに際し、前記補間画像生成手段は、前後する2つの立体画像の相関が所定のしきい値以上の場合には、前記補間画像の生成を停止する手段であり、
前記表示制御手段は、前記補間画像の生成が停止された立体画像の前および後の少なくとも一方において、前記補間立体画像の表示を停止する手段であることを特徴とする請求項1から4のいずれか1項記載の立体画像表示装置。
【請求項6】
複数の立体画像を順次表示するに際し、前記補間画像生成手段が複数の補間画像の組を生成する手段であり、
前記立体画像生成手段が、複数の前記補間立体画像を生成する手段であり、
前記表示制御手段は、次の立体画像の表示の切り替えの指示があってから該次の立体画像が表示されるまでの間において、表示時間が漸次短くなるように前記複数の補間立体画像を順次表示する手段であることを特徴とする請求項1から5のいずれか1項記載の立体画像表示装置。
【請求項7】
前記表示制御手段は、前後する2つの立体画像の相関が小さいほど、前記各補間立体画像の表示時間を長くする手段であることを特徴とする請求項6記載の立体画像表示装置。
【請求項8】
前記表示制御手段は、前記立体画像の表示停止指示がなされた場合、奥行き感が該立体画像の奥行き感から漸次減少するように前記補間立体画像を順次表示した後に、前記立体画像の表示を停止する手段であることを特徴とする請求項1から7のいずれか1項記載の立体画像表示装置。
【請求項9】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成し、
前記補間画像の組から少なくとも1つの補間立体画像を生成し、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示することを特徴とする立体画像表示方法。
【請求項10】
被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法をコンピュータに実行させるためのプログラムにおいて、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも1組の補間画像を生成する手順と、
前記補間画像の組から少なくとも1つの補間立体画像を生成する手順と、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する手順とを有することを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2009−239389(P2009−239389A)
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願番号】特願2008−79634(P2008−79634)
【出願日】平成20年3月26日(2008.3.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】100104189
【弁理士】
【氏名又は名称】福尾 勲将
【Fターム(参考)】
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願日】平成20年3月26日(2008.3.26)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】100104189
【弁理士】
【氏名又は名称】福尾 勲将
【Fターム(参考)】
[ Back to top ]