画像ファイル生成装置、画像ファイル再生装置、画像ファイル生成方法、画像ファイル再生方法
【課題】従来、撮影装置から表示装置へ、視差調整されたか画像かどうかを伝送する手段がなかった。
【解決手段】本発明の画像ファイル生成装置は、同一のシーンにおける複数の視点に対応する複数の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記複数の画像に基づき、当該複数の画像を立体映像として視聴した際の飛出しまたは引っ込みに関連する視差情報を取得する視差情報ファイル読み込み部２０１と、前記視差情報ファイル読み込み部２０１が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する視差条件判定部１０４と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した複数の画像ならびにヘッダ部を対応づけた画像ファイルを生成するファイル生成部１０７と、を備え、前記ヘッダ部は、前記視差条件判定部１０４の判定結果に関する情報を含む。
【解決手段】本発明の画像ファイル生成装置は、同一のシーンにおける複数の視点に対応する複数の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記複数の画像に基づき、当該複数の画像を立体映像として視聴した際の飛出しまたは引っ込みに関連する視差情報を取得する視差情報ファイル読み込み部２０１と、前記視差情報ファイル読み込み部２０１が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する視差条件判定部１０４と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した複数の画像ならびにヘッダ部を対応づけた画像ファイルを生成するファイル生成部１０７と、を備え、前記ヘッダ部は、前記視差条件判定部１０４の判定結果に関する情報を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を構成する２枚の画像と、当該２枚の画像を撮影した際の視差条件の判定結果を対応付けた画像ファイルを生成するための画像ファイル生成装置等に関する。
【背景技術】
【０００２】
特許文献１は、複数の視点に対応した複数の画像から構成される立体画像を視差調整した後に記録する立体画像記録装置を開示する。
【０００３】
この立体画像記録装置は、立体画像を記録する際、当該立体画像の視差調整に関する情報である調整情報も記録する。この調整情報は、ディスプレイに依存しない物理的な長さを示す単位に変換した後、記録される。
【０００４】
これにより、この立体画像記録装置に記録された立体画像は、ディスプレイに依存することなく、最初に視差調整を行ったユーザの意図に合った視差量調整を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−７３０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に示す立体画像記録装置は、立体画像を構成する複数の画像と当該立体画像の視差調整に関する調整情報を記録することができる。
【０００７】
しかし、立体画像を構成する複数の画像に対して、視差調整が必要かどうか判断することはできなかった。実際、立体画像を構成する複数の画像に対して、視差が所定の条件の範囲内に収まっている場合は、視差調整が不必要な場合も多い。
【０００８】
そこで、本発明は立体画像を構成する複数の画像とヘッダ部とを対応づけた画像ファイルを生成または再生する際の処理を改良することにより、使用者にとって使い勝手のよい画像ファイル生成装置等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の画像ファイル生成装置は、立体視用の画像を取得する画像取得部と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、前記視差情報取得部が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する判定部と、ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、前記生成部は、前記ヘッダ部に、前記判定部の判定結果に関する情報を格納する。
【００１０】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差が予め設定する視差条件を満たすか否かを確認することができる。これにより、画像ファイルを再生する再生装置において、複数の画像ファイルの視差調整を行うか否かを簡単に判断することが可能となり、画像ファイルの再生動作を簡略化することができる。
【００１１】
また好ましくは、前記生成部は、前記ヘッダ部に、他の視差に関する情報を格納するとともに、前記判定部の判定結果に関する情報を前記他の視差に関する情報よりも時間的に前に読み出される位置に格納する。
【００１２】
このようにすれば、画像ファイル再生装置において再生する際、前記ヘッダ部の判定結果を先に参照することにより、前記判定結果で視差調整不要の場合は、他の視差に関する情報を参照する必要がなく、画像ファイルの再生動作を簡略化することができる。
【００１３】
また好ましくは、前記生成部は、前記ヘッダ部に、さらに、前記判定部が判定に用いた視差条件のうち、飛出しまたは引っ込みに関連する条件の少なくとも一方の情報または両方の情報を格納する。
【００１４】
このようにすれば、画像ファイルを再生する再生装置において、画像ファイル生成装置においてどのような視差条件にしたがって判定したのか簡単に確認でき、画像ファイルの再生動作を効率化することができる。
【００１５】
また好ましくは、立体視用の画像を取得する画像取得部と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、前記生成部は、前記ヘッダ部に、前記ディスプレイ情報設定部で設定されたディスプレイ情報を格納する。
【００１６】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差条件の判定に用いた推奨ディスプレイサイズに関する情報を確認できる。これにより、画像ファイルを再生する再生装置において、当該推奨ディスプレイサイズに関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００１７】
また好ましくは、立体視用の画像を取得する画像取得部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの距離である推奨視聴距離を示す推奨視聴距離情報を設定する距離情報設定部と、ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、前記生成部は、前記ヘッダ部に、前記距離情報設定部で設定された推奨視聴距離情報を格納する。
【００１８】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、表示装置から視聴者までの推奨視聴距離を確認できる。これにより、画像ファイルを再生する再生装置において、特別な処理を設けることなく推奨視聴距離情報を利用することができ当該推奨視聴距離に関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００１９】
また好ましくは、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、をさらに備え、前記距離情報設定部は、前記ディスプレイ情報設定部で設定されたディスプレイ情報に基づいて推奨視聴距離情報を設定する。
【００２０】
このようにすれば、画像ファイル生成装置は、ディスプレイ情報に基づいた推奨視聴距離に関する情報を設定することが可能となる。これにより、画像ファイルを再生装置においてもより安全に画像ファイルの再生動作を簡単に実行できる。
【００２１】
また本発明の画像ファイル再生装置は、立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得する解析部と、前記解析部が取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える再生部と、を備える。
【００２２】
このようにすれば、画像ファイル再生装置は、取得した複数の画像の画素データに基づいて、視差調整可能か否かを判定しなくとも、ヘッダ部を解析するだけで視差調整をすべきかどうかを判断することができる。
【００２３】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、前記取得した画像ファイルの前記ヘッダ部に含まれるディスプレイ情報を取得する解析部と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、前記解析部が取得したディスプレイ情報と、前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報との比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える。
【００２４】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００２５】
また好ましくは、前記再生部は、前記解析部が取得したディスプレイ情報および前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報からそれぞれ前記立体視用の画像を視聴する際の視聴距離を算出し、算出した２つの視聴距離の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える。
【００２６】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００２７】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの視聴距離を示す推奨視聴距離を示す推奨視聴距離情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、前記取得した画像ファイルの前記ヘッダ部に含まれる推奨視聴距離情報を取得する解析部と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報から前記立体視用の画像を視聴する際の前記表示装置から視聴者までの視聴距離を示す情報を算出し、算出した情報および前記解析部が取得した推奨視聴距離情報の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える。
【００２８】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【発明の効果】
【００２９】
本発明の画像ファイル生成装置によれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差が予め設定する視差条件を満たすか否か確認可能な画像ファイルを生成することができる。
【図面の簡単な説明】
【００３０】
【図１】本実施形態の画像ファイル生成装置の構成図
【図２】飛び出しおよび引っ込みの視差情報に関する説明図
【図３】視差条件に関する説明図
【図４】本実施形態で生成される画像ファイルのデータ構造の説明図
【図５】本実施形態の画像ファイル再生装置の構成図
【発明を実施するための形態】
【００３１】
（実施形態）
以下、本実施形態について図面を参照しながら説明する。本実施例では、２視点の場合について説明する。
【００３２】
図１は、本実施形態の画像ファイル生成装置１の構成図である。画像ファイル生成装置としては、デジタルカメラ、デジタルムービーなどが想定される。要するに、立体映像を構成する第１視点画像および第２視点画像が生成可能な装置であれば、どのようなものを利用しても構わない。
【００３３】
図１に示すように、画像ファイル生成装置は、第１視点画像取得部１０１、第２視点画像取得部１０２、視差解析部１０３、視差条件判定部１０４、映像処理部１０５、撮影制御部１０６、ファイル生成部１０７、ファイル記録部１０８およびメモリカード１０９から構成される。
【００３４】
第１視点画像取得部１０１は、撮影制御部１０６からの制御に基づいて、ズーム（焦点距離の変更）、フォーカス、絞り、手振れ補正などの撮影パラメータを設定する。そして、設定した撮影パラメータに基づいて、第１視点における第１視点画像を生成する。生成した第１視点画像は、視差解析部１０３および映像処理部１０５に出力する。
【００３５】
第２視点画像取得部１０２は、撮影制御部１０６からの制御に基づいて、ズーム（焦点距離の変更）、フォーカス、絞り、手振れ補正などの撮影パラメータを設定する。この場合、第１視点画像取得部１０１と同様の撮影パラメータを設定するのが好ましい。そして、設定した撮影パラメータに基づいて、第２視点における第２視点画像を生成する。生成した第２視点画像は、視差解析部１０３および映像処理部１０５に出力する。
【００３６】
なお、第１視点画像取得部１０１および第２視点画像取得部１０２は、撮影制御部１０６からの制御信号に基づいて、第１視点画像取得部１０１および第２視点画像取得部１０２間の視点間距離を変更することができる。また、第１視点画像取得部１０１および第２視点画像取得部１０２は、撮影制御部１０６からの制御信号に基づいて、第１視点画像取得部１０１および第２視点画像取得部１０２の光軸が成す輻輳角を変更することができる。
【００３７】
視差解析部１０３は、２つの視点画像から視差情報を取得し、視差条件判定部１０４に出力する。
【００３８】
図２に飛び出しおよび引っ込みの視差情報に関する説明図を示す。例えば、表示画面よりも視聴者側に飛び出している物体または引っ込んでいる物体は、図中（ａ）または（ｂ）に示すように、第１視点画像と第２視点画像とでは水平方向にずれた位置に映し出される。この“ずれ”に関する量を示す情報を視差情報とする。この視差情報は、例えばピクセル値や、このピクセル値を表示画面の横幅除算した値で表現される。なお、視差情報は上記の値に限定されるものではなく、ずれを特定可能な値であればどのような指標を用いても構わない。
【００３９】
視差条件判定部１０４は、予め理想的な視差条件が設定されており、視差解析部１０３から入力された視差情報がこの視差条件を満たすか否かを判定する機能を有する。視差条件判定部１０４は、判定結果をファイル生成部１０７に出力する。ここで、判定結果は、例えば、１ビットの値を想定し、視差条件に収まる場合は１、視差条件に収まらない場合は０というような設定が考えられる。ただし、判定結果は1ビットの値に限定されるものではなく、視差条件の判定結果を識別できれば、どのような値を用いても構わない。
【００４０】
また、視差条件判定部１０４は、上記判定の結果、視差情報が視差条件を満たさない場合、視差条件に収まるような撮影パラメータを算出する。そして、視差条件判定部１０４は算出した撮影パラメータを撮影制御部１０６に出力する。この撮影パラメータは、第１視点画像および第２視点画像を立体映像として視聴した際、当該立体映像の飛出しまたは引っ込みに起因するパラメータであり、輻輳角、ステレオベース、画角、ズーム等の情報が該当する。なお、視差条件判定部１０４は映像処理部１０５に対して算出した撮影パラメータを出力する構成にしても構わない。
【００４１】
ここで、予め設定される撮影条件について図面を参照しながら説明する。
【００４２】
図３は、視差条件を説明するための図である。図３（ａ）に示すように、第１視点画像および第２視点画像の画像情報に基づいて、視差条件判定部１０４は、視差が略０となる表示画面における視差角α、飛び出している被写体の最大限界の視差角α１および、最も引っ込んでいる被写体の最大限限界の視差角α２を設定する。設定した角度に基づいて、視差条件判定部１０４はαとα１の差、およびαとα２の差が所定の範囲内（例えば±１°）に収まると見やすいという従来の事実に基づいて、α１−α＜１°、α−α２＜１°という視差条件を設定する。視差条件については、立体視しやすい条件、立体感が得られやすい条件など、安全、高品位に立体視可能な条件であればよい。
【００４３】
また、視差条件判定部１０４は、図３（ｂ）に示すように、最も飛び出している被写体の視差角β１および、最も引っ込んでいる被写体の視差角β２を設定する。そして、奥行きレンジ（β１−β２）が所定の範囲内（例えば１°）に収まると見やすいという従来の事実に基づいて、視差条件判定部１０４はβ１−β２＜１°という視差条件を想定してもよい。また、引っ込みの最大視差が画面上のずれ量に換算して、人間の眼間距離（例えば、子供の場合で５０ｍｍ）以下という条件を想定してもよい。これらの条件は、組み合わせた条件でも構わない。
【００４４】
なお、視差条件判定部１０４は使用者によって画像を表示する想定ディスプレイサイズに関する情報を入力可能な構成にしても構わない。また、入力された想定ディスプレイサイズに関する情報に基づいて、画像を視聴する際の推奨距離を設定する構成にしても構わない。この場合、例えば想定ディスプレイサイズの縦サイズの３倍の距離が推奨距離として設定される。
【００４５】
映像処理部１０５は、入力される２つの視点画像に対して、各種の処理を施す。映像処理部１０５は、例えば、第１視点画像および第２視点画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。さらに、映像処理部１０５は、上記処理された第１視点画像および第２視点画像に対して、それぞれＪＰＥＧ規格に準拠した圧縮形式等により画像を圧縮する。映像処理部１０５は、圧縮した画像をファイル生成部１０７に出力する。
【００４６】
なお、映像処理部１０５は、視差条件判定部１０４から撮影パラメータが入力される場合、入力される２つの視点画像に対して、視差調整を実施する。視差調整とは、視差条件判定部１０４から出力される撮影パラメータを満たすような画像となるように、信号処理によって２つの視点画像を補正する動作をいう。例えば、２つの視点画像をトリミングする動作または、画素データをシフトする動作がある。なお、視差調整は、上記の方法に限定されるものではなく、２つの視点画像を立体映像として視聴した際に、立体感が変更される調整方法であればどのような方法を用いても構わない。
【００４７】
撮影制御部１０６は、視差条件判定部１０４から出力される撮影パラメータに基づき、第１視点画像取得部１０１および第２視点画像取得部１０２におけるズーム（焦点距離の変更）、２つの視点画像取得部間の輻輳角、２つの視点画像取得部間の間隔、フォーカス、絞り、手振れ補正などの撮影パラメータを変更する。
【００４８】
ファイル生成部１０７は、視差条件判定部１０４から出力される判定結果および映像処理部１０５が出力する２つの視点画像を対応付けた画像ファイルを生成する。ファイル生成部１０７は、生成した画像ファイルをファイル記録部１０８に出力する。上記の画像ファイルは、例えばマルチピクチャフォーマットに即して生成される。なお、ファイル生成部１０７は、視差条件判定部１０４から出力される判定結果および映像処理部１０５が出力する２つの視点画像を対応付けた状態で格納できるファイルフォーマットであればどのようなものを利用しても構わない。
【００４９】
なお、視差条件判定部１０４から撮影パラメータを取得した場合、ファイル生成部１０７は視差条件判定部１０４から出力される判定結果および撮影パラメータならびに映像処理部１０５が出力する２つの視点画像を対応づけた画像を生成する。
【００５０】
図４に本実施形態で生成される画像ファイルのデータ構造の説明図を示す。本実施形態の画像ファイル生成装置で生成される画像ファイルは複数の画像データを含み、図４に示すように、画像ファイルは第１視点画像データ５０３と、第２視点画像データを含むものとする。ここで、第１視点画像データ５０３は、メインヘッダ部５０２のヘッダ部領域以外のデータ領域に格納される。また、第２視点画像データは、第２視点画像用ヘッダ部５０６のヘッダ部領域以外のデータ領域に格納される。なお、図４では、画像ファイルに２つの画像データが格納されているが、複数の画像データを格納することも可能である。つまり、第１視点画像および第２視点画像に加えて第３視点画像を格納することが可能である。
【００５１】
先頭識別子５０１、メインヘッダ部５０２、第１視点画像データ５０３および末尾識別子５０４は、第１視点画像に関する１つグループとして、画像ファイル内に格納される。
【００５２】
先頭識別子５０１は、第１視点画像データ５０３が格納されるグループの起点をあらわすマーカである。先頭識別子５０１は、例えば、ＪＰＥＧ規格で規定されたファイルのスタート情報（ｘＦＦＤ８）である。
【００５３】
メインヘッダ部５０２は、画像ファイル全体の管理データの格納部である。メインヘッダ部５０２は、記録された第１視点画像データ５０３および第２視点画像データの視差情報が所定の視差条件を満たしているかどうかを示す視差判定結果の情報を含む。この視差判定結果の情報は、視差条件判定部１０４から取得される判定結果に基づいて生成される情報となる。この視差判定結果の情報は、視差条件の判定結果を識別できる情報であればどのようなものを利用してもよく、例えば１ビットのフラグ情報を利用することができる。
【００５４】
また、メインヘッダ部５０２には、視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報、飛び出し最大視差条件、引っ込み最大視差条件、奥行きレンジ条件、眼間視差条件などを含む構成でも構わない。
【００５５】
また、映像処理部１０５で視差調整を行なった場合、当該視差調整に利用した撮影パラメータを含んでも構わない。
【００５６】
第１視点画像データ５０３は、例えば第１視点画像をＪＰＥＧ形式で圧縮したものである。
【００５７】
末尾識別子５０４は、第１視点画像データ５０３の終点を示すマーカ（ｘＦＦＤ９）である。第１視点画像データ５０３の最後尾にこのマーカを設けておくことにより、画像ファイルを第１視点画像データ５０３からなる画像ファイルと第２視点画像データからなる画像ファイルの２つの画像ファイルに分割する際に、ファイルに新たに先頭識別子（ＳＯＩ）や末尾識別子（ＥＯＩ）を付加する必要がない。従って、画像ファイルの分割を容易に行うことができる。
【００５８】
先頭識別子５０５、第２視点画像用ヘッダ部５０６、第２視点画像データおよび末尾識別子５０８は、第２視点画像に関する１つのグループとして、画像ファイル内に格納される。
【００５９】
先頭識別子５０５は、第２視点信号に関するグループの起点を示すマーカである。このマーカを管理するテーブルをメインヘッダ部５０２に設ける。これにより、第２視点画像データの検索を容易に行うことができる。また、ファイルを分割する際、分割点を容易に見つけることができる。さらに、このマーカを設けておくことにより、画像ファイルを複数の画像ファイルに分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がない。従って、ファイルの分割を容易に行うことができる。
【００６０】
第２視点画像用ヘッダ部５０６は、第２視点画像データの属性情報などを格納する。
【００６１】
第２視点画像データは、例えば第２視点画像をＪＰＥＧ形式で圧縮したものである。
【００６２】
末尾識別子５０８は、第２視点信号に関するグループの終点を示すマーカである。このマーカを管理するテーブルをメインヘッダ部５０２に設ける。これにより、第２視点画像データの検索を容易に行うことができる。また、ファイルを分割する際、分割点を容易に見つけることができる。さらに、このマーカを設けておくことにより、画像ファイルを分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がなく、ファイルの分割を容易に行うことができる。
【００６３】
ファイル記録部１０８は、ファイル生成部１０７から入力された画像ファイルをメモリカード１０９に記録する。メモリカード１０９は、ＳＤカードなどのフラッシュメモリカードなど、ファイル生成部１０７で生成した画像ファイルを記録できる記録媒体であればどのようなものを利用しても構わない。
【００６４】
なお、本実施形態の画像ファイル生成装置は、視差解析部１０３、視差条件判定部１０４、映像処理部１０５、撮影制御部１０６、ファイル生成部１０７は、マイクロコンピュータやＤＳＰのソフトウェアとして実装してもよい。
【００６５】
図５は、上記の画像ファイル生成装置が生成した画像ファイルを再生する画像ファイル再生装置の構成図である。画像ファイル再生装置は、デジタルテレビ、デジタルビデオプレーヤ／デジタルビデオレコーダとデジタルテレビのシステム、デジタルカメラ／デジタルムービーとデジタルテレビのシステムなどが想定される。
【００６６】
画像ファイル再生装置は、ファイル読み込み部２０１、ファイル解析部２０２、視差調整判定部２０３、画像再生部２０４、視差調整部２０５および映像表示部２０６から構成される。
【００６７】
ファイル読み込み部２０１は、メモリカード１０９に記録される画像ファイルを読み出す。そして、ファイル読み込み部２０１は、読み出した画像ファイルをファイル解析部２０２に出力する。
【００６８】
ファイル解析部２０２は、ファイル読み込み部２０１から取得した画像ファイルの解析を行なう。具体的に、ファイル解析部２０２は画像ファイルのヘッダ部から視差判定結果の情報および各視点の画像データを抽出する。ファイル解析部２０２は、抽出した情報のうち各視点の画像データを画像再生部２０４に出力し、視差判定結果の情報を視差調整判定部２０３に出力する。なお、画像ファイルの解析の結果、ファイル解析部２０２は画像ファイルのヘッダ部から撮影パラメータまたは視差条件を抽出した場合、視差調整判定部２０３に出力する構成となる。また、ファイル解析部２０２は、視差解析部１０３において視差条件を判定する際に想定したディスプレイサイズの情報、視聴距離などの情報、飛び出し最大視差条件、引っ込み最大視差条件、奥行きレンジ条件、眼間視差条件などを抽出した場合、視差調整判定部２０３に出力する。
【００６９】
視差調整判定部２０３は、ファイル解析部２０２から取得される視差判定結果の情報に基づいて、画像再生部２０４が出力する立体映像を構成する複数の画像に対して、視差調整を行なうか否かを設定する制御信号を生成する。例えば、ファイル解析部２０２から視差判定結果の情報が「１」のフラグ情報を受け取った場合、視差調整をしない旨を示す制御信号を視差調整部２０５に出力する。逆に、ファイル解析部２０２から視差判定結果の情報が「０」のフラグ情報を受け取った場合、視差調整を実施する旨を示す制御信号を視差調整部２０５に出力する。なお、視差調整を実施する旨を示す制御信号を視差調整部２０５に出力する場合、視差調整判定部２０３は、ファイル解析部２０２から取得した撮影パラメータ、視差条件等の情報を、この制御信号と合わせて視差調整部２０５に出力する。
【００７０】
画像再生部２０４は、各視点の画像データを復号化などを実施して、表示可能な形式に処理して、視差調整部２０５に出力する。
【００７１】
視差調整部２０５は、視差調整判定部２０３からの制御信号に基づいて、画像再生部２０４から取得する各視点の画像に対して視差調整を行なうか否かを切り替える。視差調整部２０５は、視差調整を行なった画像または視差調整を行なわなかった画像を映像表示部２０６に出力する。
【００７２】
なお、視差調整部２０５は、画像再生部２０４から取得した画像に対して、視差調整を行なう場合、視差調整判定部２０３から取得される情報を用いる。
【００７３】
さらに、視差調整部２０５は、視差調整判定部２０３から視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報が入力される場合、実際のディプレイサイズや実際の視聴距離、実際のディスプレイサイズで想定される視聴距離などと比較し、記録時の想定と一致もしくは近くなるように視差調整する構成でも構わない。また、視差調整部２０５は、視差判定結果の情報に基づいて視差調整をしない場合であっても、視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報が入力される場合、実際のディプレイサイズや実際の視聴距離、実際のディスプレイサイズで想定される視聴距離などと比較し、記録時の想定と一致もしくは近くなるように視差調整する構成にしても構わない。
【００７４】
映像表示部２０６は、視差調整部２０５から取得した画像を立体映像として表示する。
【００７５】
上記で説明した画像ファイル再生装置では、ファイル解析部２０２、視差調整判定部２０３、画像再生部２０４、視差調整部２０５は、マイクロコンピュータやＤＳＰのソフトウェアとして実装してもよい。
【００７６】
なお、視差調整部２０５は、視差調整をして複数の画像を映像表示部２０６に出力する場合、視差調整を行なった旨示す情報を、当該複数の画像と同時に表示させる構成でも構わない。また、視差調整を行なったとしても、視差条件に収まらない画像である場合は、映像表示部２０６に警告表示をおこなう構成にしても構わない。
【００７７】
（まとめ）
本実施形態における画像ファイル生成装置は、立体視用の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差解析部１０３と、前記視差解析部１０３が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する視差条件判定部１０４と、ヘッダ部と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成するファイル生成部１０７と、を備え、前記ファイル生成部１０７は、前記ヘッダ部に、前記視差条件判定部１０４の判定結果に関する情報を格納する。
【００７８】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差が予め設定する視差条件を満たすか否かを確認することができる。これにより、画像ファイルを再生する再生装置において、複数の画像ファイルの視差調整を行うか否かを簡単に判断することが可能となり、画像ファイルの再生動作を簡略化することができる。
【００７９】
また好ましくは、前記ファイル生成部１０７は、前記ヘッダ部に、他の視差に関する情報を格納するとともに、前記視差条件判定部１０４の判定結果に関する情報を前記他の視差に関する情報よりも時間的に前に読み出される位置に格納する。
【００８０】
このようにすれば、画像ファイル再生装置において再生する際、前記ヘッダ部の判定結果を先に参照することにより、前記判定結果で視差調整不要の場合は、他の視差に関する情報を参照する必要がなく、画像ファイルの再生動作を簡略化することができる。
【００８１】
また好ましくは、前記ファイル生成部１０７は、前記ヘッダ部に、さらに、前記視差条件判定部１０４が判定に用いた視差条件のうち、飛出しまたは引っ込みに関連する条件の少なくとも一方の情報または両方の情報を格納する。
【００８２】
このようにすれば、画像ファイルを再生する再生装置において、画像ファイル生成装置においてどのような視差条件にしたがって判定したのか簡単に確認でき、画像ファイルの再生動作を効率化することができる。
【００８３】
また好ましくは、立体視用の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差解析部１０３と、前記視差解析部１０３が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定する視差条件判定部１０４と、ヘッダ部と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成するファイル生成部１０７と、を備え、前記ファイル生成部１０７は、前記ヘッダ部に、前記視差条件判定部１０４で設定されたディスプレイ情報を格納する。
【００８４】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差条件の判定に用いた推奨ディスプレイサイズに関する情報を確認できる。これにより、画像ファイルを再生する再生装置において、当該推奨ディスプレイサイズに関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００８５】
また好ましくは、立体視用の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの距離である推奨視聴距離を示す推奨視聴距離情報を設定する視差条件判定部１０４と、ヘッダ部と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成するファイル生成部１０７と、を備え、前記ファイル生成部１０７は、前記ヘッダ部に、前記視差条件判定部１０４で設定された推奨視聴距離情報を格納する。
【００８６】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、表示装置から視聴者までの推奨視聴距離を確認できる。これにより、画像ファイルを再生する再生装置において、特別な処理を設けることなく推奨視聴距離情報を利用することができ当該推奨視聴距離に関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００８７】
また好ましくは、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差解析部１０３と、前記視差解析部１０３が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定する視差条件判定部１０４と、をさらに備え、前記視差条件判定部１０４は、前記視差条件判定部１０４で設定されたディスプレイ情報に基づいて推奨視聴距離情報を設定する。
【００８８】
このようにすれば、画像ファイル生成装置は、ディスプレイ情報に基づいた推奨視聴距離に関する情報を設定することが可能となる。これにより、画像ファイルを再生装置においてもより安全に画像ファイルの再生動作を簡単に実行できる。
【００８９】
また本発明の画像ファイル再生装置は、立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得するファイル読み込み部２０１と、前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得するファイル解析部２０２と、前記ファイル解析部２０２が取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える画像再生部２０４と、を備える。
【００９０】
このようにすれば、画像ファイル再生装置は、取得した複数の画像の画素データに基づいて、視差調整可能か否かを判定しなくとも、ヘッダ部を解析するだけで視差調整をすべきかどうかを判断することができる。
【００９１】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を含むヘッダ部が対応づけられた画像ファイルを取得するファイル読み込み部２０１と、前記取得した画像ファイルの前記ヘッダ部に含まれるディスプレイ情報を取得するファイル解析部２０２と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報ファイル読み込み部２０１と、前記ファイル解析部２０２が取得したディスプレイ情報と、前記表示ディスプレイ情報ファイル読み込み部２０１が取得した表示ディスプレイ情報との比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える画像再生部２０４と、を備える。
【００９２】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００９３】
また好ましくは、前記画像再生部２０４は、前記ファイル解析部２０２が取得したディスプレイ情報および前記表示ディスプレイ情報ファイル読み込み部２０１が取得した表示ディスプレイ情報からそれぞれ前記立体視用の画像を視聴する際の視聴距離を算出し、算出した２つの視聴距離の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える。
【００９４】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００９５】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの視聴距離を示す推奨視聴距離を示す推奨視聴距離情報を含むヘッダ部が対応づけられた画像ファイルを取得するファイル読み込み部２０１と、前記取得した画像ファイルの前記ヘッダ部に含まれる推奨視聴距離情報を取得するファイル解析部２０２と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報ファイル読み込み部２０１と、前記表示ディスプレイ情報ファイル読み込み部２０１が取得した表示ディスプレイ情報から前記立体視用の画像を視聴する際の前記表示装置から視聴者までの視聴距離を示す情報を算出し、算出した情報および前記ファイル解析部２０２が取得した推奨視聴距離情報の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える画像再生部２０４と、を備える。
【００９６】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００９７】
以上のように、画像ファイル生成装置において、見やすく高品位の立体視を実現する所定の視差条件を判定し、視差判定結果を画像ファイルに記録することで、画像ファイル再生装置にて、視差判定結果を参照することで、再生時の視差調整の処理を簡略化することが可能となる。また、画像ファイル生成装置において、視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報を画像ファイルに記録することで、画像ファイル再生装置にて、実際のディスプレイサイズや視聴距離と比較することで、実際の視環境に即した視差調整が可能となる。
【産業上の利用可能性】
【００９８】
本発明にかかる画像ファイル生成装置および画像ファイル再生装置によれば、３次元映像として視聴した際の立体感に関係する情報をヘッダ部に含む画像ファイルの生成および再生方法を与えるものであるので、３次元映像を撮影するデジタルカメラ、放送用カメラおよび、３次元映像の記録再生を行うレコーダーまたは、プレーヤーならびに、テレビ、フォトフレームおよび携帯情報端末のようなディスプレイ装置に応用することが可能である。
【符号の説明】
【００９９】
１０１ 第１視点画像取得部
１０２ 第２視点画像取得部
１０３ 視差解析部
１０４ 視差条件判定部
１０５ 映像処理部
１０６ 撮影制御部
１０７ ファイル生成部
１０８ ファイル記録部
１０９ メモリカード
２０１ ファイル読み込み部
２０２ ファイル解析部
２０３ 視差調整判定部
２０４ 画像再生部
２０５ 視差調整部
２０６ 映像表示部
５０１、５０５ 先頭識別子
５０２ メインヘッダ部
５０３ 第１視点画像データ
５０４、５０８ 末尾識別子
５０６ 第２視点画象用ヘッダ部
５０７ 第２視点画像データ
【技術分野】
【０００１】
本発明は、立体映像を構成する２枚の画像と、当該２枚の画像を撮影した際の視差条件の判定結果を対応付けた画像ファイルを生成するための画像ファイル生成装置等に関する。
【背景技術】
【０００２】
特許文献１は、複数の視点に対応した複数の画像から構成される立体画像を視差調整した後に記録する立体画像記録装置を開示する。
【０００３】
この立体画像記録装置は、立体画像を記録する際、当該立体画像の視差調整に関する情報である調整情報も記録する。この調整情報は、ディスプレイに依存しない物理的な長さを示す単位に変換した後、記録される。
【０００４】
これにより、この立体画像記録装置に記録された立体画像は、ディスプレイに依存することなく、最初に視差調整を行ったユーザの意図に合った視差量調整を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−７３０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に示す立体画像記録装置は、立体画像を構成する複数の画像と当該立体画像の視差調整に関する調整情報を記録することができる。
【０００７】
しかし、立体画像を構成する複数の画像に対して、視差調整が必要かどうか判断することはできなかった。実際、立体画像を構成する複数の画像に対して、視差が所定の条件の範囲内に収まっている場合は、視差調整が不必要な場合も多い。
【０００８】
そこで、本発明は立体画像を構成する複数の画像とヘッダ部とを対応づけた画像ファイルを生成または再生する際の処理を改良することにより、使用者にとって使い勝手のよい画像ファイル生成装置等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の画像ファイル生成装置は、立体視用の画像を取得する画像取得部と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、前記視差情報取得部が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する判定部と、ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、前記生成部は、前記ヘッダ部に、前記判定部の判定結果に関する情報を格納する。
【００１０】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差が予め設定する視差条件を満たすか否かを確認することができる。これにより、画像ファイルを再生する再生装置において、複数の画像ファイルの視差調整を行うか否かを簡単に判断することが可能となり、画像ファイルの再生動作を簡略化することができる。
【００１１】
また好ましくは、前記生成部は、前記ヘッダ部に、他の視差に関する情報を格納するとともに、前記判定部の判定結果に関する情報を前記他の視差に関する情報よりも時間的に前に読み出される位置に格納する。
【００１２】
このようにすれば、画像ファイル再生装置において再生する際、前記ヘッダ部の判定結果を先に参照することにより、前記判定結果で視差調整不要の場合は、他の視差に関する情報を参照する必要がなく、画像ファイルの再生動作を簡略化することができる。
【００１３】
また好ましくは、前記生成部は、前記ヘッダ部に、さらに、前記判定部が判定に用いた視差条件のうち、飛出しまたは引っ込みに関連する条件の少なくとも一方の情報または両方の情報を格納する。
【００１４】
このようにすれば、画像ファイルを再生する再生装置において、画像ファイル生成装置においてどのような視差条件にしたがって判定したのか簡単に確認でき、画像ファイルの再生動作を効率化することができる。
【００１５】
また好ましくは、立体視用の画像を取得する画像取得部と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、前記生成部は、前記ヘッダ部に、前記ディスプレイ情報設定部で設定されたディスプレイ情報を格納する。
【００１６】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差条件の判定に用いた推奨ディスプレイサイズに関する情報を確認できる。これにより、画像ファイルを再生する再生装置において、当該推奨ディスプレイサイズに関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００１７】
また好ましくは、立体視用の画像を取得する画像取得部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの距離である推奨視聴距離を示す推奨視聴距離情報を設定する距離情報設定部と、ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、前記生成部は、前記ヘッダ部に、前記距離情報設定部で設定された推奨視聴距離情報を格納する。
【００１８】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、表示装置から視聴者までの推奨視聴距離を確認できる。これにより、画像ファイルを再生する再生装置において、特別な処理を設けることなく推奨視聴距離情報を利用することができ当該推奨視聴距離に関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００１９】
また好ましくは、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、をさらに備え、前記距離情報設定部は、前記ディスプレイ情報設定部で設定されたディスプレイ情報に基づいて推奨視聴距離情報を設定する。
【００２０】
このようにすれば、画像ファイル生成装置は、ディスプレイ情報に基づいた推奨視聴距離に関する情報を設定することが可能となる。これにより、画像ファイルを再生装置においてもより安全に画像ファイルの再生動作を簡単に実行できる。
【００２１】
また本発明の画像ファイル再生装置は、立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得する解析部と、前記解析部が取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える再生部と、を備える。
【００２２】
このようにすれば、画像ファイル再生装置は、取得した複数の画像の画素データに基づいて、視差調整可能か否かを判定しなくとも、ヘッダ部を解析するだけで視差調整をすべきかどうかを判断することができる。
【００２３】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、前記取得した画像ファイルの前記ヘッダ部に含まれるディスプレイ情報を取得する解析部と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、前記解析部が取得したディスプレイ情報と、前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報との比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える。
【００２４】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００２５】
また好ましくは、前記再生部は、前記解析部が取得したディスプレイ情報および前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報からそれぞれ前記立体視用の画像を視聴する際の視聴距離を算出し、算出した２つの視聴距離の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える。
【００２６】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００２７】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの視聴距離を示す推奨視聴距離を示す推奨視聴距離情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、前記取得した画像ファイルの前記ヘッダ部に含まれる推奨視聴距離情報を取得する解析部と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報から前記立体視用の画像を視聴する際の前記表示装置から視聴者までの視聴距離を示す情報を算出し、算出した情報および前記解析部が取得した推奨視聴距離情報の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える。
【００２８】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【発明の効果】
【００２９】
本発明の画像ファイル生成装置によれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差が予め設定する視差条件を満たすか否か確認可能な画像ファイルを生成することができる。
【図面の簡単な説明】
【００３０】
【図１】本実施形態の画像ファイル生成装置の構成図
【図２】飛び出しおよび引っ込みの視差情報に関する説明図
【図３】視差条件に関する説明図
【図４】本実施形態で生成される画像ファイルのデータ構造の説明図
【図５】本実施形態の画像ファイル再生装置の構成図
【発明を実施するための形態】
【００３１】
（実施形態）
以下、本実施形態について図面を参照しながら説明する。本実施例では、２視点の場合について説明する。
【００３２】
図１は、本実施形態の画像ファイル生成装置１の構成図である。画像ファイル生成装置としては、デジタルカメラ、デジタルムービーなどが想定される。要するに、立体映像を構成する第１視点画像および第２視点画像が生成可能な装置であれば、どのようなものを利用しても構わない。
【００３３】
図１に示すように、画像ファイル生成装置は、第１視点画像取得部１０１、第２視点画像取得部１０２、視差解析部１０３、視差条件判定部１０４、映像処理部１０５、撮影制御部１０６、ファイル生成部１０７、ファイル記録部１０８およびメモリカード１０９から構成される。
【００３４】
第１視点画像取得部１０１は、撮影制御部１０６からの制御に基づいて、ズーム（焦点距離の変更）、フォーカス、絞り、手振れ補正などの撮影パラメータを設定する。そして、設定した撮影パラメータに基づいて、第１視点における第１視点画像を生成する。生成した第１視点画像は、視差解析部１０３および映像処理部１０５に出力する。
【００３５】
第２視点画像取得部１０２は、撮影制御部１０６からの制御に基づいて、ズーム（焦点距離の変更）、フォーカス、絞り、手振れ補正などの撮影パラメータを設定する。この場合、第１視点画像取得部１０１と同様の撮影パラメータを設定するのが好ましい。そして、設定した撮影パラメータに基づいて、第２視点における第２視点画像を生成する。生成した第２視点画像は、視差解析部１０３および映像処理部１０５に出力する。
【００３６】
なお、第１視点画像取得部１０１および第２視点画像取得部１０２は、撮影制御部１０６からの制御信号に基づいて、第１視点画像取得部１０１および第２視点画像取得部１０２間の視点間距離を変更することができる。また、第１視点画像取得部１０１および第２視点画像取得部１０２は、撮影制御部１０６からの制御信号に基づいて、第１視点画像取得部１０１および第２視点画像取得部１０２の光軸が成す輻輳角を変更することができる。
【００３７】
視差解析部１０３は、２つの視点画像から視差情報を取得し、視差条件判定部１０４に出力する。
【００３８】
図２に飛び出しおよび引っ込みの視差情報に関する説明図を示す。例えば、表示画面よりも視聴者側に飛び出している物体または引っ込んでいる物体は、図中（ａ）または（ｂ）に示すように、第１視点画像と第２視点画像とでは水平方向にずれた位置に映し出される。この“ずれ”に関する量を示す情報を視差情報とする。この視差情報は、例えばピクセル値や、このピクセル値を表示画面の横幅除算した値で表現される。なお、視差情報は上記の値に限定されるものではなく、ずれを特定可能な値であればどのような指標を用いても構わない。
【００３９】
視差条件判定部１０４は、予め理想的な視差条件が設定されており、視差解析部１０３から入力された視差情報がこの視差条件を満たすか否かを判定する機能を有する。視差条件判定部１０４は、判定結果をファイル生成部１０７に出力する。ここで、判定結果は、例えば、１ビットの値を想定し、視差条件に収まる場合は１、視差条件に収まらない場合は０というような設定が考えられる。ただし、判定結果は1ビットの値に限定されるものではなく、視差条件の判定結果を識別できれば、どのような値を用いても構わない。
【００４０】
また、視差条件判定部１０４は、上記判定の結果、視差情報が視差条件を満たさない場合、視差条件に収まるような撮影パラメータを算出する。そして、視差条件判定部１０４は算出した撮影パラメータを撮影制御部１０６に出力する。この撮影パラメータは、第１視点画像および第２視点画像を立体映像として視聴した際、当該立体映像の飛出しまたは引っ込みに起因するパラメータであり、輻輳角、ステレオベース、画角、ズーム等の情報が該当する。なお、視差条件判定部１０４は映像処理部１０５に対して算出した撮影パラメータを出力する構成にしても構わない。
【００４１】
ここで、予め設定される撮影条件について図面を参照しながら説明する。
【００４２】
図３は、視差条件を説明するための図である。図３（ａ）に示すように、第１視点画像および第２視点画像の画像情報に基づいて、視差条件判定部１０４は、視差が略０となる表示画面における視差角α、飛び出している被写体の最大限界の視差角α１および、最も引っ込んでいる被写体の最大限限界の視差角α２を設定する。設定した角度に基づいて、視差条件判定部１０４はαとα１の差、およびαとα２の差が所定の範囲内（例えば±１°）に収まると見やすいという従来の事実に基づいて、α１−α＜１°、α−α２＜１°という視差条件を設定する。視差条件については、立体視しやすい条件、立体感が得られやすい条件など、安全、高品位に立体視可能な条件であればよい。
【００４３】
また、視差条件判定部１０４は、図３（ｂ）に示すように、最も飛び出している被写体の視差角β１および、最も引っ込んでいる被写体の視差角β２を設定する。そして、奥行きレンジ（β１−β２）が所定の範囲内（例えば１°）に収まると見やすいという従来の事実に基づいて、視差条件判定部１０４はβ１−β２＜１°という視差条件を想定してもよい。また、引っ込みの最大視差が画面上のずれ量に換算して、人間の眼間距離（例えば、子供の場合で５０ｍｍ）以下という条件を想定してもよい。これらの条件は、組み合わせた条件でも構わない。
【００４４】
なお、視差条件判定部１０４は使用者によって画像を表示する想定ディスプレイサイズに関する情報を入力可能な構成にしても構わない。また、入力された想定ディスプレイサイズに関する情報に基づいて、画像を視聴する際の推奨距離を設定する構成にしても構わない。この場合、例えば想定ディスプレイサイズの縦サイズの３倍の距離が推奨距離として設定される。
【００４５】
映像処理部１０５は、入力される２つの視点画像に対して、各種の処理を施す。映像処理部１０５は、例えば、第１視点画像および第２視点画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。さらに、映像処理部１０５は、上記処理された第１視点画像および第２視点画像に対して、それぞれＪＰＥＧ規格に準拠した圧縮形式等により画像を圧縮する。映像処理部１０５は、圧縮した画像をファイル生成部１０７に出力する。
【００４６】
なお、映像処理部１０５は、視差条件判定部１０４から撮影パラメータが入力される場合、入力される２つの視点画像に対して、視差調整を実施する。視差調整とは、視差条件判定部１０４から出力される撮影パラメータを満たすような画像となるように、信号処理によって２つの視点画像を補正する動作をいう。例えば、２つの視点画像をトリミングする動作または、画素データをシフトする動作がある。なお、視差調整は、上記の方法に限定されるものではなく、２つの視点画像を立体映像として視聴した際に、立体感が変更される調整方法であればどのような方法を用いても構わない。
【００４７】
撮影制御部１０６は、視差条件判定部１０４から出力される撮影パラメータに基づき、第１視点画像取得部１０１および第２視点画像取得部１０２におけるズーム（焦点距離の変更）、２つの視点画像取得部間の輻輳角、２つの視点画像取得部間の間隔、フォーカス、絞り、手振れ補正などの撮影パラメータを変更する。
【００４８】
ファイル生成部１０７は、視差条件判定部１０４から出力される判定結果および映像処理部１０５が出力する２つの視点画像を対応付けた画像ファイルを生成する。ファイル生成部１０７は、生成した画像ファイルをファイル記録部１０８に出力する。上記の画像ファイルは、例えばマルチピクチャフォーマットに即して生成される。なお、ファイル生成部１０７は、視差条件判定部１０４から出力される判定結果および映像処理部１０５が出力する２つの視点画像を対応付けた状態で格納できるファイルフォーマットであればどのようなものを利用しても構わない。
【００４９】
なお、視差条件判定部１０４から撮影パラメータを取得した場合、ファイル生成部１０７は視差条件判定部１０４から出力される判定結果および撮影パラメータならびに映像処理部１０５が出力する２つの視点画像を対応づけた画像を生成する。
【００５０】
図４に本実施形態で生成される画像ファイルのデータ構造の説明図を示す。本実施形態の画像ファイル生成装置で生成される画像ファイルは複数の画像データを含み、図４に示すように、画像ファイルは第１視点画像データ５０３と、第２視点画像データを含むものとする。ここで、第１視点画像データ５０３は、メインヘッダ部５０２のヘッダ部領域以外のデータ領域に格納される。また、第２視点画像データは、第２視点画像用ヘッダ部５０６のヘッダ部領域以外のデータ領域に格納される。なお、図４では、画像ファイルに２つの画像データが格納されているが、複数の画像データを格納することも可能である。つまり、第１視点画像および第２視点画像に加えて第３視点画像を格納することが可能である。
【００５１】
先頭識別子５０１、メインヘッダ部５０２、第１視点画像データ５０３および末尾識別子５０４は、第１視点画像に関する１つグループとして、画像ファイル内に格納される。
【００５２】
先頭識別子５０１は、第１視点画像データ５０３が格納されるグループの起点をあらわすマーカである。先頭識別子５０１は、例えば、ＪＰＥＧ規格で規定されたファイルのスタート情報（ｘＦＦＤ８）である。
【００５３】
メインヘッダ部５０２は、画像ファイル全体の管理データの格納部である。メインヘッダ部５０２は、記録された第１視点画像データ５０３および第２視点画像データの視差情報が所定の視差条件を満たしているかどうかを示す視差判定結果の情報を含む。この視差判定結果の情報は、視差条件判定部１０４から取得される判定結果に基づいて生成される情報となる。この視差判定結果の情報は、視差条件の判定結果を識別できる情報であればどのようなものを利用してもよく、例えば１ビットのフラグ情報を利用することができる。
【００５４】
また、メインヘッダ部５０２には、視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報、飛び出し最大視差条件、引っ込み最大視差条件、奥行きレンジ条件、眼間視差条件などを含む構成でも構わない。
【００５５】
また、映像処理部１０５で視差調整を行なった場合、当該視差調整に利用した撮影パラメータを含んでも構わない。
【００５６】
第１視点画像データ５０３は、例えば第１視点画像をＪＰＥＧ形式で圧縮したものである。
【００５７】
末尾識別子５０４は、第１視点画像データ５０３の終点を示すマーカ（ｘＦＦＤ９）である。第１視点画像データ５０３の最後尾にこのマーカを設けておくことにより、画像ファイルを第１視点画像データ５０３からなる画像ファイルと第２視点画像データからなる画像ファイルの２つの画像ファイルに分割する際に、ファイルに新たに先頭識別子（ＳＯＩ）や末尾識別子（ＥＯＩ）を付加する必要がない。従って、画像ファイルの分割を容易に行うことができる。
【００５８】
先頭識別子５０５、第２視点画像用ヘッダ部５０６、第２視点画像データおよび末尾識別子５０８は、第２視点画像に関する１つのグループとして、画像ファイル内に格納される。
【００５９】
先頭識別子５０５は、第２視点信号に関するグループの起点を示すマーカである。このマーカを管理するテーブルをメインヘッダ部５０２に設ける。これにより、第２視点画像データの検索を容易に行うことができる。また、ファイルを分割する際、分割点を容易に見つけることができる。さらに、このマーカを設けておくことにより、画像ファイルを複数の画像ファイルに分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がない。従って、ファイルの分割を容易に行うことができる。
【００６０】
第２視点画像用ヘッダ部５０６は、第２視点画像データの属性情報などを格納する。
【００６１】
第２視点画像データは、例えば第２視点画像をＪＰＥＧ形式で圧縮したものである。
【００６２】
末尾識別子５０８は、第２視点信号に関するグループの終点を示すマーカである。このマーカを管理するテーブルをメインヘッダ部５０２に設ける。これにより、第２視点画像データの検索を容易に行うことができる。また、ファイルを分割する際、分割点を容易に見つけることができる。さらに、このマーカを設けておくことにより、画像ファイルを分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がなく、ファイルの分割を容易に行うことができる。
【００６３】
ファイル記録部１０８は、ファイル生成部１０７から入力された画像ファイルをメモリカード１０９に記録する。メモリカード１０９は、ＳＤカードなどのフラッシュメモリカードなど、ファイル生成部１０７で生成した画像ファイルを記録できる記録媒体であればどのようなものを利用しても構わない。
【００６４】
なお、本実施形態の画像ファイル生成装置は、視差解析部１０３、視差条件判定部１０４、映像処理部１０５、撮影制御部１０６、ファイル生成部１０７は、マイクロコンピュータやＤＳＰのソフトウェアとして実装してもよい。
【００６５】
図５は、上記の画像ファイル生成装置が生成した画像ファイルを再生する画像ファイル再生装置の構成図である。画像ファイル再生装置は、デジタルテレビ、デジタルビデオプレーヤ／デジタルビデオレコーダとデジタルテレビのシステム、デジタルカメラ／デジタルムービーとデジタルテレビのシステムなどが想定される。
【００６６】
画像ファイル再生装置は、ファイル読み込み部２０１、ファイル解析部２０２、視差調整判定部２０３、画像再生部２０４、視差調整部２０５および映像表示部２０６から構成される。
【００６７】
ファイル読み込み部２０１は、メモリカード１０９に記録される画像ファイルを読み出す。そして、ファイル読み込み部２０１は、読み出した画像ファイルをファイル解析部２０２に出力する。
【００６８】
ファイル解析部２０２は、ファイル読み込み部２０１から取得した画像ファイルの解析を行なう。具体的に、ファイル解析部２０２は画像ファイルのヘッダ部から視差判定結果の情報および各視点の画像データを抽出する。ファイル解析部２０２は、抽出した情報のうち各視点の画像データを画像再生部２０４に出力し、視差判定結果の情報を視差調整判定部２０３に出力する。なお、画像ファイルの解析の結果、ファイル解析部２０２は画像ファイルのヘッダ部から撮影パラメータまたは視差条件を抽出した場合、視差調整判定部２０３に出力する構成となる。また、ファイル解析部２０２は、視差解析部１０３において視差条件を判定する際に想定したディスプレイサイズの情報、視聴距離などの情報、飛び出し最大視差条件、引っ込み最大視差条件、奥行きレンジ条件、眼間視差条件などを抽出した場合、視差調整判定部２０３に出力する。
【００６９】
視差調整判定部２０３は、ファイル解析部２０２から取得される視差判定結果の情報に基づいて、画像再生部２０４が出力する立体映像を構成する複数の画像に対して、視差調整を行なうか否かを設定する制御信号を生成する。例えば、ファイル解析部２０２から視差判定結果の情報が「１」のフラグ情報を受け取った場合、視差調整をしない旨を示す制御信号を視差調整部２０５に出力する。逆に、ファイル解析部２０２から視差判定結果の情報が「０」のフラグ情報を受け取った場合、視差調整を実施する旨を示す制御信号を視差調整部２０５に出力する。なお、視差調整を実施する旨を示す制御信号を視差調整部２０５に出力する場合、視差調整判定部２０３は、ファイル解析部２０２から取得した撮影パラメータ、視差条件等の情報を、この制御信号と合わせて視差調整部２０５に出力する。
【００７０】
画像再生部２０４は、各視点の画像データを復号化などを実施して、表示可能な形式に処理して、視差調整部２０５に出力する。
【００７１】
視差調整部２０５は、視差調整判定部２０３からの制御信号に基づいて、画像再生部２０４から取得する各視点の画像に対して視差調整を行なうか否かを切り替える。視差調整部２０５は、視差調整を行なった画像または視差調整を行なわなかった画像を映像表示部２０６に出力する。
【００７２】
なお、視差調整部２０５は、画像再生部２０４から取得した画像に対して、視差調整を行なう場合、視差調整判定部２０３から取得される情報を用いる。
【００７３】
さらに、視差調整部２０５は、視差調整判定部２０３から視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報が入力される場合、実際のディプレイサイズや実際の視聴距離、実際のディスプレイサイズで想定される視聴距離などと比較し、記録時の想定と一致もしくは近くなるように視差調整する構成でも構わない。また、視差調整部２０５は、視差判定結果の情報に基づいて視差調整をしない場合であっても、視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報が入力される場合、実際のディプレイサイズや実際の視聴距離、実際のディスプレイサイズで想定される視聴距離などと比較し、記録時の想定と一致もしくは近くなるように視差調整する構成にしても構わない。
【００７４】
映像表示部２０６は、視差調整部２０５から取得した画像を立体映像として表示する。
【００７５】
上記で説明した画像ファイル再生装置では、ファイル解析部２０２、視差調整判定部２０３、画像再生部２０４、視差調整部２０５は、マイクロコンピュータやＤＳＰのソフトウェアとして実装してもよい。
【００７６】
なお、視差調整部２０５は、視差調整をして複数の画像を映像表示部２０６に出力する場合、視差調整を行なった旨示す情報を、当該複数の画像と同時に表示させる構成でも構わない。また、視差調整を行なったとしても、視差条件に収まらない画像である場合は、映像表示部２０６に警告表示をおこなう構成にしても構わない。
【００７７】
（まとめ）
本実施形態における画像ファイル生成装置は、立体視用の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差解析部１０３と、前記視差解析部１０３が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する視差条件判定部１０４と、ヘッダ部と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成するファイル生成部１０７と、を備え、前記ファイル生成部１０７は、前記ヘッダ部に、前記視差条件判定部１０４の判定結果に関する情報を格納する。
【００７８】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差が予め設定する視差条件を満たすか否かを確認することができる。これにより、画像ファイルを再生する再生装置において、複数の画像ファイルの視差調整を行うか否かを簡単に判断することが可能となり、画像ファイルの再生動作を簡略化することができる。
【００７９】
また好ましくは、前記ファイル生成部１０７は、前記ヘッダ部に、他の視差に関する情報を格納するとともに、前記視差条件判定部１０４の判定結果に関する情報を前記他の視差に関する情報よりも時間的に前に読み出される位置に格納する。
【００８０】
このようにすれば、画像ファイル再生装置において再生する際、前記ヘッダ部の判定結果を先に参照することにより、前記判定結果で視差調整不要の場合は、他の視差に関する情報を参照する必要がなく、画像ファイルの再生動作を簡略化することができる。
【００８１】
また好ましくは、前記ファイル生成部１０７は、前記ヘッダ部に、さらに、前記視差条件判定部１０４が判定に用いた視差条件のうち、飛出しまたは引っ込みに関連する条件の少なくとも一方の情報または両方の情報を格納する。
【００８２】
このようにすれば、画像ファイルを再生する再生装置において、画像ファイル生成装置においてどのような視差条件にしたがって判定したのか簡単に確認でき、画像ファイルの再生動作を効率化することができる。
【００８３】
また好ましくは、立体視用の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差解析部１０３と、前記視差解析部１０３が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定する視差条件判定部１０４と、ヘッダ部と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成するファイル生成部１０７と、を備え、前記ファイル生成部１０７は、前記ヘッダ部に、前記視差条件判定部１０４で設定されたディスプレイ情報を格納する。
【００８４】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、当該画像を撮影した際の視差条件の判定に用いた推奨ディスプレイサイズに関する情報を確認できる。これにより、画像ファイルを再生する再生装置において、当該推奨ディスプレイサイズに関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００８５】
また好ましくは、立体視用の画像を取得する第１視点画像取得部１０１および第２視点画像取得部１０２と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの距離である推奨視聴距離を示す推奨視聴距離情報を設定する視差条件判定部１０４と、ヘッダ部と、前記第１視点画像取得部１０１および第２視点画像取得部１０２が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成するファイル生成部１０７と、を備え、前記ファイル生成部１０７は、前記ヘッダ部に、前記視差条件判定部１０４で設定された推奨視聴距離情報を格納する。
【００８６】
このようにすれば、画像ファイルを再生装置において再生する際、ヘッダ部を解析するだけで、表示装置から視聴者までの推奨視聴距離を確認できる。これにより、画像ファイルを再生する再生装置において、特別な処理を設けることなく推奨視聴距離情報を利用することができ当該推奨視聴距離に関する情報に応じて、複数の画像を視差調整するか否かを簡単に判断することが出来る。
【００８７】
また好ましくは、前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差解析部１０３と、前記視差解析部１０３が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定する視差条件判定部１０４と、をさらに備え、前記視差条件判定部１０４は、前記視差条件判定部１０４で設定されたディスプレイ情報に基づいて推奨視聴距離情報を設定する。
【００８８】
このようにすれば、画像ファイル生成装置は、ディスプレイ情報に基づいた推奨視聴距離に関する情報を設定することが可能となる。これにより、画像ファイルを再生装置においてもより安全に画像ファイルの再生動作を簡単に実行できる。
【００８９】
また本発明の画像ファイル再生装置は、立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得するファイル読み込み部２０１と、前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得するファイル解析部２０２と、前記ファイル解析部２０２が取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える画像再生部２０４と、を備える。
【００９０】
このようにすれば、画像ファイル再生装置は、取得した複数の画像の画素データに基づいて、視差調整可能か否かを判定しなくとも、ヘッダ部を解析するだけで視差調整をすべきかどうかを判断することができる。
【００９１】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を含むヘッダ部が対応づけられた画像ファイルを取得するファイル読み込み部２０１と、前記取得した画像ファイルの前記ヘッダ部に含まれるディスプレイ情報を取得するファイル解析部２０２と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報ファイル読み込み部２０１と、前記ファイル解析部２０２が取得したディスプレイ情報と、前記表示ディスプレイ情報ファイル読み込み部２０１が取得した表示ディスプレイ情報との比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える画像再生部２０４と、を備える。
【００９２】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００９３】
また好ましくは、前記画像再生部２０４は、前記ファイル解析部２０２が取得したディスプレイ情報および前記表示ディスプレイ情報ファイル読み込み部２０１が取得した表示ディスプレイ情報からそれぞれ前記立体視用の画像を視聴する際の視聴距離を算出し、算出した２つの視聴距離の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える。
【００９４】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００９５】
また好ましくは、立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの視聴距離を示す推奨視聴距離を示す推奨視聴距離情報を含むヘッダ部が対応づけられた画像ファイルを取得するファイル読み込み部２０１と、前記取得した画像ファイルの前記ヘッダ部に含まれる推奨視聴距離情報を取得するファイル解析部２０２と、前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報ファイル読み込み部２０１と、前記表示ディスプレイ情報ファイル読み込み部２０１が取得した表示ディスプレイ情報から前記立体視用の画像を視聴する際の前記表示装置から視聴者までの視聴距離を示す情報を算出し、算出した情報および前記ファイル解析部２０２が取得した推奨視聴距離情報の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える画像再生部２０４と、を備える。
【００９６】
このようにすれば、実際の表示デバイスの情報に合わせて、確実に視差調整を実施することが可能となる。
【００９７】
以上のように、画像ファイル生成装置において、見やすく高品位の立体視を実現する所定の視差条件を判定し、視差判定結果を画像ファイルに記録することで、画像ファイル再生装置にて、視差判定結果を参照することで、再生時の視差調整の処理を簡略化することが可能となる。また、画像ファイル生成装置において、視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報を画像ファイルに記録することで、画像ファイル再生装置にて、実際のディスプレイサイズや視聴距離と比較することで、実際の視環境に即した視差調整が可能となる。
【産業上の利用可能性】
【００９８】
本発明にかかる画像ファイル生成装置および画像ファイル再生装置によれば、３次元映像として視聴した際の立体感に関係する情報をヘッダ部に含む画像ファイルの生成および再生方法を与えるものであるので、３次元映像を撮影するデジタルカメラ、放送用カメラおよび、３次元映像の記録再生を行うレコーダーまたは、プレーヤーならびに、テレビ、フォトフレームおよび携帯情報端末のようなディスプレイ装置に応用することが可能である。
【符号の説明】
【００９９】
１０１ 第１視点画像取得部
１０２ 第２視点画像取得部
１０３ 視差解析部
１０４ 視差条件判定部
１０５ 映像処理部
１０６ 撮影制御部
１０７ ファイル生成部
１０８ ファイル記録部
１０９ メモリカード
２０１ ファイル読み込み部
２０２ ファイル解析部
２０３ 視差調整判定部
２０４ 画像再生部
２０５ 視差調整部
２０６ 映像表示部
５０１、５０５ 先頭識別子
５０２ メインヘッダ部
５０３ 第１視点画像データ
５０４、５０８ 末尾識別子
５０６ 第２視点画象用ヘッダ部
５０７ 第２視点画像データ
【特許請求の範囲】
【請求項１】
立体視用の画像を取得する画像取得部と、
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、
前記視差情報取得部が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する判定部と、
ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、
前記生成部は、前記ヘッダ部に、前記判定部の判定結果に関する情報を格納する、
画像ファイル生成装置。
【請求項２】
前記生成部は、前記ヘッダ部に、他の視差に関する情報を格納するとともに、前記判定部の判定結果に関する情報を前記他の視差に関する情報よりも時間的に前に読み出される位置に格納する、
請求項１に記載の画像ファイル生成装置。
【請求項３】
前記生成部は、前記ヘッダ部に、さらに、前記判定部が判定に用いた視差条件のうち、飛出しまたは引っ込みに関連する条件の少なくとも一方の情報または両方の情報を格納する、請求項１から請求項２に記載の画像ファイル生成装置。
【請求項４】
立体視用の画像を取得する画像取得部と、
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、
前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、
ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、
前記生成部は、前記ヘッダ部に、前記ディスプレイ情報設定部で設定されたディスプレイ情報を格納する、
画像ファイル生成装置。
【請求項５】
立体視用の画像を取得する画像取得部と、
前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの距離である推奨視聴距離を示す推奨視聴距離情報を設定する距離情報設定部と、
ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、
前記生成部は、前記ヘッダ部に、前記距離情報設定部で設定された推奨視聴距離情報を格納する、
画像ファイル生成装置。
【請求項６】
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、
前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、をさらに備え、
前記距離情報設定部は、前記ディスプレイ情報設定部で設定されたディスプレイ情報に基づいて推奨視聴距離情報を設定する、
請求項５に記載の画像ファイル生成装置。
【請求項７】
立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、
前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得する解析部と、
前記解析部が取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える再生部と、を備える、
画像ファイル再生装置。
【請求項８】
立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、
前記取得した画像ファイルの前記ヘッダ部に含まれるディスプレイ情報を取得する解析部と、
前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、
前記解析部が取得したディスプレイ情報と、前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報との比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える、
画像ファイル再生装置。
【請求項９】
前記再生部は、前記解析部が取得したディスプレイ情報および前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報からそれぞれ前記立体視用の画像を視聴する際の視聴距離を算出し、算出した２つの視聴距離の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える請求項８記載の画像ファイル再生装置。
【請求項１０】
立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの視聴距離を示す推奨視聴距離を示す推奨視聴距離情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、
前記取得した画像ファイルの前記ヘッダ部に含まれる推奨視聴距離情報を取得する解析部と、
前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、
前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報から前記立体視用の画像を視聴する際の前記表示装置から視聴者までの視聴距離を示す情報を算出し、算出した情報および前記解析部が取得した推奨視聴距離情報の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える、
画像ファイル再生装置。
【請求項１１】
立体視用の画像を取得し、
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得し、
前記取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定し、
前記判定の結果に関する情報を含むヘッダ部と、前記取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する、
画像ファイル生成方法。
【請求項１２】
立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得し、
前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得し、
前記取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える、
画像ファイル再生方法。
【請求項１】
立体視用の画像を取得する画像取得部と、
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、
前記視差情報取得部が取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定する判定部と、
ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、
前記生成部は、前記ヘッダ部に、前記判定部の判定結果に関する情報を格納する、
画像ファイル生成装置。
【請求項２】
前記生成部は、前記ヘッダ部に、他の視差に関する情報を格納するとともに、前記判定部の判定結果に関する情報を前記他の視差に関する情報よりも時間的に前に読み出される位置に格納する、
請求項１に記載の画像ファイル生成装置。
【請求項３】
前記生成部は、前記ヘッダ部に、さらに、前記判定部が判定に用いた視差条件のうち、飛出しまたは引っ込みに関連する条件の少なくとも一方の情報または両方の情報を格納する、請求項１から請求項２に記載の画像ファイル生成装置。
【請求項４】
立体視用の画像を取得する画像取得部と、
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、
前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、
ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、
前記生成部は、前記ヘッダ部に、前記ディスプレイ情報設定部で設定されたディスプレイ情報を格納する、
画像ファイル生成装置。
【請求項５】
立体視用の画像を取得する画像取得部と、
前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの距離である推奨視聴距離を示す推奨視聴距離情報を設定する距離情報設定部と、
ヘッダ部と、前記画像取得部が取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する生成部と、を備え、
前記生成部は、前記ヘッダ部に、前記距離情報設定部で設定された推奨視聴距離情報を格納する、
画像ファイル生成装置。
【請求項６】
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得する視差情報取得部と、
前記視差情報取得部が取得した視差情報に基づいて、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を設定するディスプレイ情報設定部と、をさらに備え、
前記距離情報設定部は、前記ディスプレイ情報設定部で設定されたディスプレイ情報に基づいて推奨視聴距離情報を設定する、
請求項５に記載の画像ファイル生成装置。
【請求項７】
立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、
前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得する解析部と、
前記解析部が取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える再生部と、を備える、
画像ファイル再生装置。
【請求項８】
立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨されるディスプレイサイズに関するディスプレイ情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、
前記取得した画像ファイルの前記ヘッダ部に含まれるディスプレイ情報を取得する解析部と、
前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、
前記解析部が取得したディスプレイ情報と、前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報との比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える、
画像ファイル再生装置。
【請求項９】
前記再生部は、前記解析部が取得したディスプレイ情報および前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報からそれぞれ前記立体視用の画像を視聴する際の視聴距離を算出し、算出した２つの視聴距離の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える請求項８記載の画像ファイル再生装置。
【請求項１０】
立体視用の画像を格納する画像格納部と、前記立体視用の画像を視聴する際に推奨される、前記立体視用の画像を表示する表示装置から視聴者までの視聴距離を示す推奨視聴距離を示す推奨視聴距離情報を含むヘッダ部が対応づけられた画像ファイルを取得する取得部と、
前記取得した画像ファイルの前記ヘッダ部に含まれる推奨視聴距離情報を取得する解析部と、
前記立体視用の画像を表示する表示装置のディスプレイに関する情報である表示ディスプレイ情報を取得する表示ディスプレイ情報取得部と、
前記表示ディスプレイ情報取得部が取得した表示ディスプレイ情報から前記立体視用の画像を視聴する際の前記表示装置から視聴者までの視聴距離を示す情報を算出し、算出した情報および前記解析部が取得した推奨視聴距離情報の比較結果に応じて、前記立体視用の画像に対して視差調整を行なうか否かを切り替える再生部と、を備える、
画像ファイル再生装置。
【請求項１１】
立体視用の画像を取得し、
前記取得した立体視用の画像に基づき、画像の飛出しまたは引っ込みに関連する視差情報を取得し、
前記取得した視差情報が、予め設定した飛出しまたは引っ込みに関連する視差条件を満たすか否かを判定し、
前記判定の結果に関する情報を含むヘッダ部と、前記取得した立体視用の画像を格納する画像格納部とを有する画像ファイルを生成する、
画像ファイル生成方法。
【請求項１２】
立体視用の画像を格納する画像格納部と、当該立体視用の画像の視差情報が所定の視差条件を満たしているか否かを示す判定結果に関する情報を含むヘッダ部が対応づけられた画像ファイルを取得し、
前記取得した画像ファイルの前記ヘッダ部に含まれる視差条件判定結果情報を取得し、
前記取得した視差条件判定結果情報に応じて、前記画像ファイルに含まれる前記立体視用の画像に対する映像処理方式を切り替える、
画像ファイル再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１５１５３６（Ｐ２０１２−１５１５３６Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−６５８９（Ｐ２０１１−６５８９）
【出願日】平成２３年１月１７日（２０１１．１．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１７日（２０１１．１．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]