ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
【課題】ステレオ動画像の撮影方式と表示方式との間に齟齬があると、影像の動き領域の輪郭が2重に見える等の現象が起こることがあり、再生画質に問題が生じてしまう。
【解決手段】ステレオ動画像を撮影する撮像装置であって、前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像手段と、前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定する手段と、前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を前記撮像手段に供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御手段とを備えたことを特徴とする。
【解決手段】ステレオ動画像を撮影する撮像装置であって、前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像手段と、前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定する手段と、前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を前記撮像手段に供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御手段とを備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ステレオ動画像を撮影し表示する際の撮影方法および表示方法に関するものである。
【背景技術】
【0002】
ステレオ動画像の撮影では、右眼に表示するための右眼用動画像と左眼に表示する左眼用動画像を別々に撮影する。このようなステレオ動画像は、右眼用動画像と左眼用動画像とを時間的にずらすことなく撮影する方式(非時分割方式)で撮影されるのが一般的である。例えば、特許文献1もこのような非時分割方式で撮影することを前提とした発明を開示している。
【0003】
一方、表示装置においては、右眼用動画像と左眼用動画像を時間的に同時に表示するパッシブステレオ方式(非時分割方式)と、右眼用動画像と左眼用動画像を時間的に交互に表示するアクティブステレオ方式(時分割方式)とが並存している。
【0004】
パッシブステレオ方式は、偏光フィルタを用いて特定の方向に振動する光のみを通過させることで左右の眼用の画像を分離し、左眼用と右眼用の動画像を観察者の左右それぞれの眼に観察させる方式である。この方式では、表示装置の表示画像を構成する出力光が観察者の眼へ到達するまでに、光は偏光フィルタを介して左眼用と右眼用とに分離される。観察者は偏光眼鏡を装着することにより、左眼用の画像光は左眼のみ、右眼用の画像光は右眼のみで見られるようにする。このようにして、左眼用動画像と右眼用動画像の各々を観察者の左右の眼に入力させて立体視を実現する方式がパッシブステレオ方式である。
これに対し、アクティブステレオ方式は、表示装置のフレーム切り替えタイミングに同期したシャッタ式眼鏡を用いて、左右の動画像の分離を実現する方式である。この方式では、表示装置は左眼用の画像と右眼用の画像とをフレーム毎に切り替えて表示する。観察者はシャッタ式眼鏡を装着し、左眼用の画像を表示している時は右眼を、右眼用の画像を表示している時は左眼を隠すようにする。このようにして、左眼用と右眼用の画像の各々を観察者の左右の眼に入力させて立体視を実現する方式がアクティブステレオ方式である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−161739号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
パッシブステレオ方式に用いるステレオ動画像の撮影には、非時分割方式で撮影するタイプの撮像装置がそのまま有効である。しかし、アクティブステレオ方式の場合は左眼用画像と右眼用画像とを交互に表示するため、非時分割方式で撮影された動画像データでは、問題が起こり得る。つまり、撮影方式と表示方式との間に齟齬があると、影像の動き領域の輪郭が2重に見えたり動きがガタガタと相前後して見えたりといった現象が起こることがあり、再生画質に問題が生じてしまう。なお、以下では、上記のような現象を総称して「動き領域の破綻」と呼ぶこととする。
【課題を解決するための手段】
【0007】
本発明に係る撮像装置は、ステレオ動画像を撮影する撮像装置であって、前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像手段と、前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定する手段と、前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を前記撮像手段に供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御手段とを備えたことを特徴とする。
【発明の効果】
【0008】
本発明によれば、ステレオ動画像の再生時における動き領域の破綻を抑制することができる。
【図面の簡単な説明】
【0009】
【図1】実施例1に係る撮像装置の構成の一例を示す図である。
【図2】実施例1に係る撮像装置において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【図3】同期信号制御回路から出力された同期信号、同期信号に基づいて取得される左眼用動画像及び右眼用動画像を示す図である。
【図4】同期信号制御回路から出力された同期信号、同期信号に基づいて取得される左眼用動画像及び右眼用動画像を示す図である。
【図5】実施例1に係る撮像装置によって撮影されたステレオ動画像を表示装置に表示した場合の見え方を説明する図であり、(a)は撮影方式と表示方式とが一致していない場合の見え方を示した図、(b)は実施例1を適用して撮影したステレオ動画像の見え方を示した図である。
【図6】実施例2に係る撮像装置の構成の一例を示す図である。
【図7】実施例2に係る撮像装置において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【図8】実施例3に係る撮像装置の構成の一例を示す図である。
【図9】実施例3に係る撮像装置において、ステレオ動画像の撮影を行う際の処理の流れを示すフローチャートである。
【図10】ステレオ動画像データにメタデータが付加された動画ファイルのデータ構造を表す図である。
【図11】本実施例に係る表示装置の構成の一例を示す図である。
【図12】動画像データ内のフレーム画像がどのように表示されるのかを説明する図であり、(a)はアクティブステレオ方式の場合の図、(b)はパッシブステレオ方式の場合の図である。
【図13】実施例3に係る表示装置において、動画ファイルからメタデータを抽出し、必要に応じて補間処理を行って、表示パネルに出力するまでの処理の流れを示すフローチャートである。
【図14】補間処理部における補間処理の流れを示すフローチャートである。
【図15】同位相モードで撮影したステレオ動画像のデータが補間処理されて、アクティブステレオ方式の表示装置で表示される様子を示す図である。
【図16】実施例4に係る撮像部が1個の場合の撮像装置の構成の一例を示す図である。
【発明を実施するための形態】
【0010】
<実施例1>
図1は、実施例1に係る撮像装置の構成の一例を示す図である。
【0011】
撮像装置100は、CPU101、入力取得部102、外部出力ユニット103、記憶部104、同期信号制御回路105、撮像部110及び撮像部120を含んでいる。
【0012】
CPU101は、撮像装置100を統括的に制御するプロセッサである。図示されていないが、CPU101で実行される制御プラグラム等を格納するROMやCPU101のワークエリア等として機能するRAMも撮像装置100は備えている。
【0013】
入力取得部102は、ユーザが入力(選択)した、表示装置の表示モード、撮影フレームレート、撮影開始/終了命令などを取得する。
【0014】
外部出力ユニット103は、後述の画像処理回路114及び124から受け取ったステレオ動画像のデータを外部に出力する。
【0015】
記憶部104は、後述の画像処理回路114及び124から受け取ったステレオ動画像のデータを格納する。記憶部104は、例えば、HDD等で構成される。
【0016】
同期信号制御回路105は、撮影モードに対応した所定の同期信号(同期信号1及び同期信号2)をCPU101経由で撮像部110及び120にそれぞれ供給(出力)する。この同期信号によって撮像部110及び撮像部120において撮影される左眼用動画像と右眼用動画像との時間的なずれ(位相のズレ)の有無が制御される。撮影モードには、非時分割方式に相当する [同位相モード]と、時分割方式に相当する [逆位相モード]の2種類がある。[同位相モード]は互いの位相が一致し同位相となる同期信号1及び同期信号2に基づいて撮影を行うモードであり、[逆位相モード]は互いの位相が1/(2×F)ずれた逆位相となる同期信号1及び同期信号2に基づいて撮影を行うモードである。同期信号制御回路105は、設定された撮影モードに応じて、供給する同期信号1及び同期信号2を同位相にするか逆位相にするかを制御する。
【0017】
撮像部110及び120は、ステレオ動画像の撮影を行う撮像ユニットであり、本実施例では撮像部110が左眼用動画像を、撮像部120が右眼用動画像をそれぞれ撮影する。撮像部110及び120にはそれぞれ、撮影レンズ(111/121)、撮影レンズからの入射光を感知する撮像素子(112/122)を備える。また、撮影レンズと撮像素子の制御を行う撮像部制御回路(114、124)、撮像素子からの信号を処理し動画像データとして出力する画像処理回路(113/123)も備える。なお、上記以外にも、様々な構成要素が存在し得るが、その説明は省略する。
【0018】
図2は、本実施例に係る撮像装置100において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【0019】
ステップ201において、入力取得部102は、ステレオ動画像を表示する表示装置の表示モード(ModeDisp)および撮影フレームレート(F)に関するユーザ入力を取得する。表示装置の表示モード(ModeDisp)について、ユーザは、当該表示装置が採用している表示方式(パッシブステレオ方式もしくはアクティブステレオ方式のいずれか)を選択し入力する。撮影フレームレート(F)について、ユーザは、所定の値(例えば、30[fps:frame per second])を入力する。つまり、本ステップでユーザは、ステレオ動画像を表示する表示装置がパッシブステレオ方式かアクティブステレオ方式かに拠って表示モードを選択し、さらに任意の撮影フレームレートを入力する。なお、撮影フレームレートについてはデフォルト値を設定しておき、ユーザによって任意の値が指定されない場合に当該デフォルト値を採用するようにしてもよい。
【0020】
ステップ202において、CPU101は、取得したユーザ入力によって指定された表示モード(ModeDisp)に対応する撮影モード(ModeCam)を設定し、併せて指定された値の撮影フレームレート(F)に設定する。例えば、ユーザが指定した表示モードが“パッシブステレオ方式”であれば、左眼用動画像と右眼用動画像とが時間的にずれることなく撮影される“同位相モード”に 撮影モード(ModeCam)を設定する。同様に、ユーザが指定した表示モードが“アクティブステレオ方式”であれば、左眼用動画像と右眼用動画像とが時間的にずれて撮影される“逆位相モード”に 撮影モード(ModeCam)を設定する。さらに、撮影フレームレートを、指定された値に(例えば“30”であれば、30[fps]に)設定する。
【0021】
ステップ203において、CPU101は、設定された撮影モード(ModeCam)が同位相モードであるか逆位相モードであるかを判定する。判定の結果、設定された撮影モードが同位相モードである場合はステップ204に進む。一方、設定された撮影モードが逆位相モードである場合はステップ205に進む。
【0022】
ステップ204において、同期信号制御回路105は、右眼用と左眼用との間に時間的にずれのないステレオ動画像を撮影するための同期信号を両撮像部110及び120に供給する。具体的には、互いに位相が一致した同位相の同期信号1及び2を、設定された撮影フレームレートで発生させ、両撮像部110及び120にそれぞれ出力する。この同期信号1及び2が出力されると同時に、画像処理回路113及び123は、動画像の取得を開始する。図3は、同期信号制御回路105から出力された同期信号1及び2と、当該同期信号1及び2に基づいて取得される左眼用動画像(Image1)及び右眼用動画像(Image2)を示している。図3において同期信号1及び2は互いに位相が一致しており、取得された左眼用動画像(Image1)と右眼用動画像(Image2)においても位相が一致しているのが分かる。Image1及び2において、冒頭の破線で示される部分は、画像信号として画像処理回路113及び123に入力されるものの撮影開始命令の受領前であるため、撮影対象の動画像としては扱われないフレーム画像を示している。なお、この破線で示されるフレーム画像は、例えば不図示の表示部におけるプレビュー表示に利用される。
【0023】
ステップ205
において、同期信号制御回路105は、左眼用と右眼用との間に時間的にずれのあるステレオ動画像を撮影するための同期信号を両撮像部110及び120に出力する。具体的には、互いに半フレーム分だけ位相のずれた逆位相の同期信号1及び2を選択された撮影フレームレートで発生させ、両撮像部110及び120にそれぞれ出力する。図4は、同期信号制御回路105から出力された同期信号1及び2と、当該同期信号1及び2に基づいて取得される左眼用動画像(Image1)及び右眼用動画像(Image2)を示している。図4において同期信号1及び2は、半フレーム分(1/(F*2))だけ互いの位相がずれており、取得された左眼用動画像(Image1)と右眼用動画像(Image2)においても位相が半フレーム分ずれている。その余については図3と同じであるため説明を省略する。
【0024】
ステップ206において、入力取得部102は、ユーザから撮影開始命令を取得する。
【0025】
ステップ207において、撮像部110及び120は、同期信号制御回路105から供給された同期信号1及び2に従った撮影を開始する。すなわち、撮像部110は同期信号1に従って、撮像部120は同期信号2に従って、それぞれImage1及びImage2を取得し、動画像データとして記憶部104に記憶し又は外部出力ユニット103に出力する。
【0026】
このようにして、撮影モードが同位相モードの場合には左眼用動画像と右眼用動画像との間に時間的ずれのないステレオ動画像が、撮影モードが逆位相モードの場合には左眼用動画像と右眼用動画像との間に時間的にずれのあるステレオ動画像が得られる。なお、図3及び図4において、t1,t2,t3,…tnは、撮影開始命令〜撮影終了命令までのサンプリング時刻を示している。例えば、撮影開始命令から撮影終了命令までの間が10秒でその際の撮影フレームレートが30fpsの場合、tはt1〜t300となるので、Image1及び2にはそれぞれ300個のフレーム画像を含むことになる。
【0027】
ステップ208において、CPU101は、入力取得部102において、撮影終了命令を取得したかどうか判定する。撮影終了命令が取得されていなければステップ207に戻り、撮影を続行する。一方、撮影終了命令が取得されていればステップ209に進む。
【0028】
ステップ209において、撮像部110及び120は、撮影を終了する。すなわち、同期信号制御回路105は同期信号1及び2の出力を終了し、画像処理回路113及び123は画像信号の取得を終了する。
【0029】
このようにして、本実施例に係る撮像装置100においては、ユーザが選択した表示装置の表示方式に応じた撮影モードが設定されて、ステレオ動画像が撮影される。
【0030】
図5は、本実施例に係る撮像装置によって撮影されたステレオ動画像を表示装置に表示した場合の見え方を説明する図である。図5の(a)は、比較のために、撮影方式と表示方式とが一致していない場合の見え方を示したものである。 つまり、同位相モードで撮影したステレオ動画像をアクティブステレオ方式の表示装置で視認した場合、或いは逆位相モードで撮影したステレオ動画像をパッシブステレオ方式の表示装置で視認した場合の見え方である。この場合、動き領域が2重像になって見えてしまい、動き領域の破綻が生じているのが分かる。
【0031】
一方、図5の(b)は、本実施例を適用して撮影したステレオ動画像の見え方を示している。本実施例を適用した場合、ユーザが適切に表示装置の表示方式を選択し、当該選択された表示方式に応じた撮影モードによってステレオ動画像が撮影されるため、撮影方式と表示方式とが常に一致し、動き領域の破綻が生じることはない。
【0032】
以上のとおり、本実施例によれば、予め表示装置の表示方式に対応した撮影モードでステレオ動画像を撮影することが担保されるので、動き領域の破綻を抑制することができる。
【0033】
<実施例2>
実施例1では、ユーザが予め選択した表示装置の表示モードに基づいて撮影モードを決定していた。次に、撮像装置に接続された表示装置から当該表示装置における表示方式の情報を取得して適切な撮影モードを自動で決定する態様について、実施例2として説明する。なお、実施例1と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【0034】
図6は、本実施例に係る撮像装置100の構成の一例を示す図である。実施例1との違いは、表示装置情報取得部601が追加されている点である。
【0035】
撮像装置100は表示装置602とUSB等で接続され、表示装置情報取得部601は、表示装置602から、その表示モードの情報(ModeDisp)を取得する。より具体的には、撮像装置100から表示装置602に対し表示モードの情報を送るよう送信命令を発し、表示装置602は受け取った送信命令に応じて表示モードの情報(アクティブステレオ方式かパッシブステレオ方式かを示す情報)を撮像装置100に返す。なお、撮像装置100と表示装置602との接続はUSB以外の方法、例えばHDMI、LANケーブル、無線LANなどであってもよい。その余の構成は実施例1と同様であるので説明を省略する。
【0036】
図7は、本実施例に係る撮像装置100において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【0037】
ステップ701において、CPU101は表示装置602に対し表示モード情報の送信命令を送り、表示装置情報取得部601は当該送信命令に応答して送られてきた表示モードの情報(ModeDisp)を取得する。
【0038】
ステップ702において、CPU101は、取得した表示モード情報(ModeDisp)に応じた撮影モード(ModeCam)を設定する。例えば、取得した表示モード情報が“パッシブステレオ方式”を示していれば、左眼用動画像と右眼用動画像とが時間的にずれることなく撮影される“同位相モード”に撮影モード(ModeCam)を設定する。同様に、取得した表示モード情報が“アクティブステレオ方式”を示していれば、左眼用動画像と右眼用動画像とが時間的にずれて撮影される“逆位相モード”に撮影モード(ModeCam)を設定する。なお、実施例1の場合と同様、ユーザから撮影フレームレートについての指定をステップ702に先立って受け付けるようにしてもよいし、予め設定されたデフォルト値を使用するようにしてもよい。
【0039】
そして、以降のステップ703〜ステップ709の処理が実行される。ステップ703〜ステップ709の各処理の内容は、実施例1の図2のフローチャートのステップ203〜ステップ209に対応する。
【0040】
以上のとおり、本実施例によっても、表示装置の表示方式に対応した撮影モードでステレオ動画像を撮影することが担保されるので、動き領域の破綻を抑制することができる。
【0041】
<実施例3>
実施例1及び実施例2では、表示装置の表示方式と撮像装置の撮影方式とが一致するように撮像装置側で撮影モードを設定していた。次に、任意の方式で撮影されたステレオ動画像を、表示装置側で表示方式に合うように補間処理して表示する態様について実施例3として説明する。なお、実施例1及び2と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【0042】
最初に本実施例の概略について簡単に説明する。
【0043】
まず、本実施例では撮像装置において、撮影したステレオ動画像のデータに、撮影モードに関する情報がメタデータとして付加される。表示装置では、このメタデータを解析して撮影モードの情報を取得し、当該動画像データの撮影方式に応じて表示方法を制御する。具体的には、動画像データが撮影された方式と表示装置の表示方式とが一致すればそのまま再生するが、一致しない場合は動画像データに対し所定の補間処理を行ってから再生するようにする。ここで、「一致する」とは、撮影方式と表示方式とが共に時分割方式である場合、或いは撮影方式と表示方式とが共に非時分割方式である場合をいう。一方、「一致しない」とは、撮影方式は時分割方式であるのに対し表示方式は非時分割方式である(或いはその逆)といったように両者が対応関係にない場合をいう。補間処理の種類には、[利き目補間]と[両目補間]の2種類がある。本実施例においてユーザは、補間モードとして、[利き目補間]、[両目補間]及び[補間なし]のうちいずれか一つを選択する。なお、補間処理の種類については上述の2種類に限定されるわけでなく、ユーザの他の視覚特性、例えば視力などを考慮したものでも構わない。
【0044】
図8は、本実施例に係る撮像装置の構成の一例を示す図である。実施例1との違いは、メタデータ付加部801が追加されている点である。
【0045】
メタデータ付加部801は、撮像部110及び撮像部120によって得られたステレオ動画像のデータに上述のメタデータを付加して動画ファイルを生成する。その余の構成は実施例1と同様であるので説明を省略する。
【0046】
図9は、本実施例に係る撮像装置100において、ステレオ動画像の撮影を行う際の処理の流れを示すフローチャートである。
【0047】
ステップ901において、同期信号制御回路105は、所定の撮影モードに対応する同期信号1及び2を所定の撮影フレームレートで発生させ、両撮像部110及び120にそれぞれ出力する。例えば、撮像装置100が備えている撮影モードが同位相モードの場合には、互いに位相が一致した同期信号1及び2が両撮像部110及び120にそれぞれ出力される。他方、撮像装置100が備えている撮影モードが逆位相モードの場合には、互いの位相が1/(2×F)ずれた逆位相の同期信号1及び2が両撮像部110及び120にそれぞれ出力される。
【0048】
続くステップ902〜ステップ906では、実施例1に係る図2のフローチャートのステップ206〜ステップ209と同様の処理が実行される。なお、本実施例の場合、ステップ904で撮影されたステレオ動画像のデータは、一旦、記憶部104にすべて格納される。
【0049】
ステップ907において、メタデータ付加部901は、記憶部104に格納されたステレオ動画像のデータを読み出し、撮影時の撮影モードの情報(ModeCam)をメタデータとして付加する。図10は、ステレオ動画像データにメタデータが付加された動画ファイルのデータ構造を表す図である。図10に示される例では、メタデータは動画像データのヘッダとして付加されているが、例えばフッタとして付加してもよい。
【0050】
このようにして、ステレオ動画像データにメタデータが付加された動画ファイルが生成され、外部出力ユニット103を介して表示装置へと送られる。
【0051】
なお、図9のフローチャートでは、撮像装置100が、撮影モードとして同位相モード又は逆位相モードのいずれか一方のみを備えているものとして説明した。本実施例に係る撮像装置はそのようなタイプのものに限られるわけではなく、同位相モード及び逆位相モードのいずれのモードでも撮影する能力を備え、撮影開始前にユーザにどちらかを選択させる構成であってもよい。その場合には、ステップ901に代えて、実施例1の図2のフローチャートにおけるステップ201〜ステップ205に相当する処理を実行するようにすればよい。但し、本実施例の場合は、表示装置側で撮影方式と表示方式との調整を行うので、ユーザは表示装置側の表示方式の選択に先立ってその表示方式を確認する必要はない。
【0052】
次に、本実施例に係る表示装置について説明する。
【0053】
図11は、本実施例に係る表示装置の構成の一例を示す図である。
【0054】
表示装置1100は、CPU1101、入力取得部1102、ビデオ入力部1104、補間処理部1105、記憶部1106、ビデオ出力インタフェース1107、表示パネル1108を含んでいる。
【0055】
CPU1101は、表示装置1100を統括的に制御するプロセッサである。図示されていないが、CPU1101で実行される制御プラグラム等を格納するROMやCPU1101のワークエリア等として機能するRAMも表示装置1100は備えている。
【0056】
入力取得部1102は、表示装置本体のスイッチ及びリモコンから、補間モード(ModeMC)や利き目情報(Effect)などのユーザの選択を取得する。補間モードには、前述の3種類(補間なし、利き目補間、両目補間)がある。利き目情報には、利き目右であることを示す [Right]と利き目が左であることを示す [Left]の2種類がある。
【0057】
メタデータ抽出部1103は、入力された動画像データからメタデータを抽出してその内容を解析する。
【0058】
ビデオ入力部1104は、例えば撮像装置100などから上述した動画ファイルをビデオ信号として取得する。
【0059】
補間処理部1105は、入力された動画ファイルに含まれるステレオ動画像データに対し、指定された補間モードに応じた補間処理を行う。
【0060】
記憶部1106は、例えばHDD等で構成され、撮像装置100等から受け取った動画ファイルなどを格納する。
【0061】
ビデオ出力インタフェース1107は、ビデオ入力部1104又は補間処理部1105から受け取ったステレオ動画像のデータを表示パネル1108の表示方式に対応したフォーマットに変換して表示パネル1108に出力する。図12は、それぞれの表示方式において動画像データ内のフレーム画像がどのように表示されるのかを説明する図であり、図12の(a)はアクティブステレオ方式の場合、図12の(b)はパッシブステレオ方式の場合を示している。表示パネル1108がアクティブステレオ方式の場合は、図12の(a)に示されるように左眼用動画像と右眼用画像とが交互に順次出力される。一方、表示パネル1108がパッシブステレオ方式の場合は、図12の(b)に示されるように、各サンプリング時刻における左眼用動画像及び右眼用動画像をライン毎に交互に並べた1枚のフレーム画像にしたものが順次出力される。ビデオ出力インタフェース1107では、必要に応じて、その表示方式に適したフォーマットにステレオ動画像データを変換する処理を行う。
【0062】
図13は、本実施例に係る表示装置1100において、入力された動画ファイルからメタデータを抽出し、必要に応じて補間処理を行って、表示パネル1108に出力するまでの処理の流れを示すフローチャートである。
【0063】
ステップ1301において、ビデオ入力部1104は、撮像装置100から動画ファイルを受け取る。
【0064】
ステップ1302において、入力取得部1102は、補間モード(ModeMC)についてのユーザの指定(補間なし、利き目補間、両目補間のいずれか)を取得する。この場合において、ユーザが指定した補間モードが[利き目補間]である場合には、利き目情報(Effect)も併せて取得する。
【0065】
ステップ1303において、メタデータ抽出部1103は、取得した動画ファイルからからメタデータを抽出し、メタデータに含まれる撮影モードの情報(ModeCam)を解析する。
【0066】
ステップ1304において、CPU1101は、抽出されたメタデータ内の撮影モードの情報を用いて、受け取った動画ファイル内のステレオ動画像の撮影方式と表示装置における表示方式とが一致するかどうかを判定する。例えば、ステレオ動画像が同位相モードで撮影された非時分割方式のデータであったが、表示装置側はアクティブステレオ方式である場合は、方式が一致しないと判定される。また、ステレオ動画像が逆位相モードで撮影された時分割方式のデータであり、表示装置側もアクティブテレオ方式である場合には、方式は一致すると判定される。判定の結果、方式が一致する場合には、ステップ1305に進む。一方、方式が一致しない場合には、ステップ1306に進む。
【0067】
ステップ1305において、CPU1101は、ステップ1301で取得した動画ファイル内のステレオ動画像のデータをそのまま用いて所定の表示方式で再生する。すなわち、ビデオ出力インタフェース1107は、入力された動画像(ImageLeftIn及びImageRightIn)を、そのまま出力用の動画像(ImageLeftOut及びImageRightOut)として、表示パネル1108に順次出力する。
【0068】
ステップ1306において、CPU1101は、ステップ1301で取得した動画ファイル内のステレオ動画像のデータに対しユーザが指定した補間モードに従って補間処理を行った上で、所定の表示方式で再生する。すなわち、補間処理部1105は、指定された補間モードに従って、入力された左眼用動画像(ImageLeftIn)及び/又は右眼用動画像(ImageRightIn)に対し補間処理を行う。こうして出力用の動画像(ImageLeftOut及びImageRightOut)を生成し、表示パネル1108に順次出力する。
【0069】
図14は、補間処理部1105における補間処理の流れを示すフローチャートである。
【0070】
ステップ1401において、補間処理部1105は、それぞれ複数のフレーム画像からなる左眼用と右眼用の動画像(ImageLeftIn1,..,ImageLeftInN及びImageRightIn1,..,ImageRightInN)を取得する。
【0071】
ステップ1402において、補間処理部1105は、ユーザが指定した補間モードの内容が、[補間なし]であるかどうかを判定する。そして、[補間なし]である場合はステップ1403に進み、それ以外である場合はステップ1404に進む。
【0072】
ステップ1403において、補間処理部1105は、入力された左眼用及び右眼用の動画像のデータに対して補間処理を行うことなく、そのまま出力するための処理を行う。すなわち、ImageRightIn[i](i=1、...、n)をImageRightOut[i](i=1、...、n)に代入する。また、ImageLeftIn[i](i=1、...、n)をImageLeftOut[i](i=1、...、n)に代入する。
【0073】
ステップ1404において、補間処理部1105は、ユーザが指定した補間モードの内容が[利き目補間]であるのか[両目補間]であるのかを判定する。利き目補間である場合はステップ1405に進み、両目補間である場合はステップ1408に進む。
【0074】
まず、利き目補間の場合の補間処理(ステップ1405〜ステップ1407)について説明する。
【0075】
ステップ1405において、補間処理部1105は、ステップ1401で取得されている利き目情報(Effect)に基づいて、利き目が右であるのか左であるのかを判定する。判定の結果、利き目が右である場合はステップ1406に進み、利き目が左である場合はステップ1407に進む。
【0076】
ステップ1406において、補間処理部1105は、以下の式(1)を用いて、出力用の左眼用動画像(ImageLeftOutN)及び右眼用動画像(ImageRightOutN)を生成する。
【0077】
【数1】
【0078】
ここで、MCは中間画像生成関数であって、第一パラメータのフレーム画像(ImageLeftInN)と第二パラメータのフレーム画像(ImageLeftInN+1)から両フレーム画像間の動きとなる中間画像を生成するための関数である。第三パラメータであるPは、0以上1以下の値を持ち、これにより指定された値に対応する時間の中間画像が生成される。例えば、指定されたPの値が0のとき、生成される中間画像が第一パラメータのフレーム画像(ImageLeftInN)となる。同様に、指定されたPの値が1のとき、出力される中間画像が第2パラメータのフレーム画像(ImageLeftInN+1)となる。そして、例えば指定されたPの値が0.5であれば、第一パラメータのフレーム画像(ImageLeftInN)と第二パラメータのフレーム画像(ImageLeftInN+1)とのちょうど中間の動きに相当する画像が中間画像として出力される。つまり、P値を0.5にすることで、位相を半フレーム分ずらすことができる。そして、利き目が右である場合の本ステップにおいては、利き目とは逆側の左眼用動画像のデータに対し補間処理を行う為、上記式(1)のようになり、その場合のP値として0.5が指定されることになる。なお、この場合の中間画像の生成には、例えば、動き補償に基づくフレーム間補間法など、公知の手法が適用される。
【0079】
ステップ1407において、補間処理部1105は、以下の式(2)を用いて、出力用の左眼用動画像(ImageLeftOutN)及び右眼用動画像(ImageRightOutN)を生成する。
【0080】
【数2】
【0081】
これにより、利き目が左である場合の本ステップでは、利き目とは逆側の右眼用画像のデータに対して補間処理がなされる。
【0082】
次に、両目補間の場合の補間処理(ステップ1408)について説明する。
【0083】
ステップ1408において、補間処理部1105は、以下の式(3)を用いて、出力用の左眼用動画像(ImageLeftOutN)及び右眼用動画像(ImageRightOutN)を生成する。
【0084】
【数3】
【0085】
上記式(3)から明らかなように、両目補間の場合には、左眼用動画像と右眼用動画像の双方のデータに対して補間処理がなされる。ここでは、左眼用動画像に対してはP値を0.75、右眼用動画像に対してはP値を0.25にそれぞれ設定している。その結果、生成される中間画像は、時間的により進んだ位置(P値が1に近い場合)もしくは時間的により遅れた位置(P値が0に近い)でサンプリングされるため、動き推定の間違いによるブロック状の歪みが目立たなくなる。なお、左眼用動画像と右眼用動画像との間で位相が半フレーム分ずれていればいいので、P値の組合せとしては、例えば、「0.2と0.7」や「0.3と0.8」などであってもよい。
【0086】
ステップ1409において、補間処理部1105は、生成された左眼用動画像及び右眼用動画像のデータ(ImageRightOut及びImageLeftOut)を、ビデオ出力インタフェース1107に出力する。
【0087】
図15は、[同位相モード]で撮影したステレオ動画像のデータが補間モードに従って補間処理され、それがアクティブステレオ方式の表示装置で表示される様子を示している。
【0088】
図15の(a)は、指定された補間モードが[補間なし]であった場合の表示結果を示している。撮像装置では [同位相モード]で撮影されていて右眼用動画像と左眼用動画像との間に位相のずれはなく、それがそのまま出力用のステレオ動画像として出力され、表示装置側で半フレーム分位相がずれて表示されている。つまり、撮影方式と表示方式との不一致が是正されないまま動画像データが再生されるので、図5の(a)で示したような動き領域の破綻が生じることになる。
【0089】
一方、図15の(b)は、指定された補間モードが[利き目補間]で利き目が右目であった場合(P値は0.5)の表示結果を示している。この場合、利き目である右眼用には入力された右眼用動画像のデータがそのまま用いられ、利き目でない左眼用には補間処理された左眼用動画像のデータが用いられる。このケースでは、出力された左眼用動画像(ImageLeftOut)は、時間方向に半フレーム分ずれた中間画像となっているので、撮影方式と表示方式との不一致が是正されていることになる。よって、視聴した際に動き領域の破綻が軽減される。この場合においても、動き補償補間処理における動き推定の失敗から画像の一部にブロック状の歪みが出る場合があるが、補間処理された動画像は利き目とは反対側の目に表示されるので画質劣化を目立たなくすることが出来る。
【0090】
図15の(c)は、指定された補間モードが[両目補間]で、指定されたP値が左眼用:0.75、右眼用:0.25であった場合の表示結果を示している。この場合、左眼用及び右眼用の双方に補間処理された中間画像からなる動画像が表示されることになる。具体的には、P値が0.75の左眼用にはより時間的に進んだ位置の中間画像からなる動画像が、P値が0.25の右眼用にはより時間的に遅れた位置の中間画像からなる動画像が表示されることになる。この場合も、撮影方式と表示方式との不一致が是正されることから、動き領域の破綻は軽減される。
【0091】
なお、[利き目補間]と[両目補間]は一長一短があるので、ユーザは好みに応じて選択すればよい。
【0092】
このように本実施例によれば、任意の方式で撮影されたステレオ動画像を、表示装置側でその表示方式に合うように補間処理して表示するので、動き領域の破綻を大幅に軽減することが可能となる。さらに、ユーザの利き目ではない方の目に補間処理された動画像を表示し、利き目には撮影時の動画像をそのまま表示することにより、さらに動き領域の破綻を目立ちにくくすることが出来る。
【0093】
<実施例4>
実施例1〜3においては、表示装置で表示されるステレオ動画像の撮影を、撮像部を2つ備えた撮像装置で行うことを前提としていた。しかしながら、撮像装置における撮像部の数は1つであってもよい。図16は、撮像部が1個の場合の撮像装置の構成の一例を示す図である。なお、実施例1に係る図1と共通する部分については共通の参照符号を付し、その説明を省略する。
【0094】
図16に示されるとおり、本実施例に係る撮像装置は、1個の撮像部1600のみを備える。この撮像部1600には、レンズマウント径内に2つの光学系を搭載した撮影レンズ1601が用いられる。そして、実施例1等と同様に、それぞれ同期信号1及び2に従って取得された撮像素子112からの画像信号が、画像処理回路1(1603)及び画像処理回路2(1604)によって処理される。これにより、1つの撮像素子112で視差のある左眼用と右眼用からなるステレオ動画像を撮影することができる。
【0095】
このように本発明は、上述したような1つの撮像部のみを有する撮像装置や当該撮像装置において撮影されたステレオ動画像に対しても適用可能なものである。
【0096】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は、ステレオ動画像を撮影し表示する際の撮影方法および表示方法に関するものである。
【背景技術】
【0002】
ステレオ動画像の撮影では、右眼に表示するための右眼用動画像と左眼に表示する左眼用動画像を別々に撮影する。このようなステレオ動画像は、右眼用動画像と左眼用動画像とを時間的にずらすことなく撮影する方式(非時分割方式)で撮影されるのが一般的である。例えば、特許文献1もこのような非時分割方式で撮影することを前提とした発明を開示している。
【0003】
一方、表示装置においては、右眼用動画像と左眼用動画像を時間的に同時に表示するパッシブステレオ方式(非時分割方式)と、右眼用動画像と左眼用動画像を時間的に交互に表示するアクティブステレオ方式(時分割方式)とが並存している。
【0004】
パッシブステレオ方式は、偏光フィルタを用いて特定の方向に振動する光のみを通過させることで左右の眼用の画像を分離し、左眼用と右眼用の動画像を観察者の左右それぞれの眼に観察させる方式である。この方式では、表示装置の表示画像を構成する出力光が観察者の眼へ到達するまでに、光は偏光フィルタを介して左眼用と右眼用とに分離される。観察者は偏光眼鏡を装着することにより、左眼用の画像光は左眼のみ、右眼用の画像光は右眼のみで見られるようにする。このようにして、左眼用動画像と右眼用動画像の各々を観察者の左右の眼に入力させて立体視を実現する方式がパッシブステレオ方式である。
これに対し、アクティブステレオ方式は、表示装置のフレーム切り替えタイミングに同期したシャッタ式眼鏡を用いて、左右の動画像の分離を実現する方式である。この方式では、表示装置は左眼用の画像と右眼用の画像とをフレーム毎に切り替えて表示する。観察者はシャッタ式眼鏡を装着し、左眼用の画像を表示している時は右眼を、右眼用の画像を表示している時は左眼を隠すようにする。このようにして、左眼用と右眼用の画像の各々を観察者の左右の眼に入力させて立体視を実現する方式がアクティブステレオ方式である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−161739号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
パッシブステレオ方式に用いるステレオ動画像の撮影には、非時分割方式で撮影するタイプの撮像装置がそのまま有効である。しかし、アクティブステレオ方式の場合は左眼用画像と右眼用画像とを交互に表示するため、非時分割方式で撮影された動画像データでは、問題が起こり得る。つまり、撮影方式と表示方式との間に齟齬があると、影像の動き領域の輪郭が2重に見えたり動きがガタガタと相前後して見えたりといった現象が起こることがあり、再生画質に問題が生じてしまう。なお、以下では、上記のような現象を総称して「動き領域の破綻」と呼ぶこととする。
【課題を解決するための手段】
【0007】
本発明に係る撮像装置は、ステレオ動画像を撮影する撮像装置であって、前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像手段と、前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定する手段と、前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を前記撮像手段に供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御手段とを備えたことを特徴とする。
【発明の効果】
【0008】
本発明によれば、ステレオ動画像の再生時における動き領域の破綻を抑制することができる。
【図面の簡単な説明】
【0009】
【図1】実施例1に係る撮像装置の構成の一例を示す図である。
【図2】実施例1に係る撮像装置において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【図3】同期信号制御回路から出力された同期信号、同期信号に基づいて取得される左眼用動画像及び右眼用動画像を示す図である。
【図4】同期信号制御回路から出力された同期信号、同期信号に基づいて取得される左眼用動画像及び右眼用動画像を示す図である。
【図5】実施例1に係る撮像装置によって撮影されたステレオ動画像を表示装置に表示した場合の見え方を説明する図であり、(a)は撮影方式と表示方式とが一致していない場合の見え方を示した図、(b)は実施例1を適用して撮影したステレオ動画像の見え方を示した図である。
【図6】実施例2に係る撮像装置の構成の一例を示す図である。
【図7】実施例2に係る撮像装置において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【図8】実施例3に係る撮像装置の構成の一例を示す図である。
【図9】実施例3に係る撮像装置において、ステレオ動画像の撮影を行う際の処理の流れを示すフローチャートである。
【図10】ステレオ動画像データにメタデータが付加された動画ファイルのデータ構造を表す図である。
【図11】本実施例に係る表示装置の構成の一例を示す図である。
【図12】動画像データ内のフレーム画像がどのように表示されるのかを説明する図であり、(a)はアクティブステレオ方式の場合の図、(b)はパッシブステレオ方式の場合の図である。
【図13】実施例3に係る表示装置において、動画ファイルからメタデータを抽出し、必要に応じて補間処理を行って、表示パネルに出力するまでの処理の流れを示すフローチャートである。
【図14】補間処理部における補間処理の流れを示すフローチャートである。
【図15】同位相モードで撮影したステレオ動画像のデータが補間処理されて、アクティブステレオ方式の表示装置で表示される様子を示す図である。
【図16】実施例4に係る撮像部が1個の場合の撮像装置の構成の一例を示す図である。
【発明を実施するための形態】
【0010】
<実施例1>
図1は、実施例1に係る撮像装置の構成の一例を示す図である。
【0011】
撮像装置100は、CPU101、入力取得部102、外部出力ユニット103、記憶部104、同期信号制御回路105、撮像部110及び撮像部120を含んでいる。
【0012】
CPU101は、撮像装置100を統括的に制御するプロセッサである。図示されていないが、CPU101で実行される制御プラグラム等を格納するROMやCPU101のワークエリア等として機能するRAMも撮像装置100は備えている。
【0013】
入力取得部102は、ユーザが入力(選択)した、表示装置の表示モード、撮影フレームレート、撮影開始/終了命令などを取得する。
【0014】
外部出力ユニット103は、後述の画像処理回路114及び124から受け取ったステレオ動画像のデータを外部に出力する。
【0015】
記憶部104は、後述の画像処理回路114及び124から受け取ったステレオ動画像のデータを格納する。記憶部104は、例えば、HDD等で構成される。
【0016】
同期信号制御回路105は、撮影モードに対応した所定の同期信号(同期信号1及び同期信号2)をCPU101経由で撮像部110及び120にそれぞれ供給(出力)する。この同期信号によって撮像部110及び撮像部120において撮影される左眼用動画像と右眼用動画像との時間的なずれ(位相のズレ)の有無が制御される。撮影モードには、非時分割方式に相当する [同位相モード]と、時分割方式に相当する [逆位相モード]の2種類がある。[同位相モード]は互いの位相が一致し同位相となる同期信号1及び同期信号2に基づいて撮影を行うモードであり、[逆位相モード]は互いの位相が1/(2×F)ずれた逆位相となる同期信号1及び同期信号2に基づいて撮影を行うモードである。同期信号制御回路105は、設定された撮影モードに応じて、供給する同期信号1及び同期信号2を同位相にするか逆位相にするかを制御する。
【0017】
撮像部110及び120は、ステレオ動画像の撮影を行う撮像ユニットであり、本実施例では撮像部110が左眼用動画像を、撮像部120が右眼用動画像をそれぞれ撮影する。撮像部110及び120にはそれぞれ、撮影レンズ(111/121)、撮影レンズからの入射光を感知する撮像素子(112/122)を備える。また、撮影レンズと撮像素子の制御を行う撮像部制御回路(114、124)、撮像素子からの信号を処理し動画像データとして出力する画像処理回路(113/123)も備える。なお、上記以外にも、様々な構成要素が存在し得るが、その説明は省略する。
【0018】
図2は、本実施例に係る撮像装置100において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【0019】
ステップ201において、入力取得部102は、ステレオ動画像を表示する表示装置の表示モード(ModeDisp)および撮影フレームレート(F)に関するユーザ入力を取得する。表示装置の表示モード(ModeDisp)について、ユーザは、当該表示装置が採用している表示方式(パッシブステレオ方式もしくはアクティブステレオ方式のいずれか)を選択し入力する。撮影フレームレート(F)について、ユーザは、所定の値(例えば、30[fps:frame per second])を入力する。つまり、本ステップでユーザは、ステレオ動画像を表示する表示装置がパッシブステレオ方式かアクティブステレオ方式かに拠って表示モードを選択し、さらに任意の撮影フレームレートを入力する。なお、撮影フレームレートについてはデフォルト値を設定しておき、ユーザによって任意の値が指定されない場合に当該デフォルト値を採用するようにしてもよい。
【0020】
ステップ202において、CPU101は、取得したユーザ入力によって指定された表示モード(ModeDisp)に対応する撮影モード(ModeCam)を設定し、併せて指定された値の撮影フレームレート(F)に設定する。例えば、ユーザが指定した表示モードが“パッシブステレオ方式”であれば、左眼用動画像と右眼用動画像とが時間的にずれることなく撮影される“同位相モード”に 撮影モード(ModeCam)を設定する。同様に、ユーザが指定した表示モードが“アクティブステレオ方式”であれば、左眼用動画像と右眼用動画像とが時間的にずれて撮影される“逆位相モード”に 撮影モード(ModeCam)を設定する。さらに、撮影フレームレートを、指定された値に(例えば“30”であれば、30[fps]に)設定する。
【0021】
ステップ203において、CPU101は、設定された撮影モード(ModeCam)が同位相モードであるか逆位相モードであるかを判定する。判定の結果、設定された撮影モードが同位相モードである場合はステップ204に進む。一方、設定された撮影モードが逆位相モードである場合はステップ205に進む。
【0022】
ステップ204において、同期信号制御回路105は、右眼用と左眼用との間に時間的にずれのないステレオ動画像を撮影するための同期信号を両撮像部110及び120に供給する。具体的には、互いに位相が一致した同位相の同期信号1及び2を、設定された撮影フレームレートで発生させ、両撮像部110及び120にそれぞれ出力する。この同期信号1及び2が出力されると同時に、画像処理回路113及び123は、動画像の取得を開始する。図3は、同期信号制御回路105から出力された同期信号1及び2と、当該同期信号1及び2に基づいて取得される左眼用動画像(Image1)及び右眼用動画像(Image2)を示している。図3において同期信号1及び2は互いに位相が一致しており、取得された左眼用動画像(Image1)と右眼用動画像(Image2)においても位相が一致しているのが分かる。Image1及び2において、冒頭の破線で示される部分は、画像信号として画像処理回路113及び123に入力されるものの撮影開始命令の受領前であるため、撮影対象の動画像としては扱われないフレーム画像を示している。なお、この破線で示されるフレーム画像は、例えば不図示の表示部におけるプレビュー表示に利用される。
【0023】
ステップ205
において、同期信号制御回路105は、左眼用と右眼用との間に時間的にずれのあるステレオ動画像を撮影するための同期信号を両撮像部110及び120に出力する。具体的には、互いに半フレーム分だけ位相のずれた逆位相の同期信号1及び2を選択された撮影フレームレートで発生させ、両撮像部110及び120にそれぞれ出力する。図4は、同期信号制御回路105から出力された同期信号1及び2と、当該同期信号1及び2に基づいて取得される左眼用動画像(Image1)及び右眼用動画像(Image2)を示している。図4において同期信号1及び2は、半フレーム分(1/(F*2))だけ互いの位相がずれており、取得された左眼用動画像(Image1)と右眼用動画像(Image2)においても位相が半フレーム分ずれている。その余については図3と同じであるため説明を省略する。
【0024】
ステップ206において、入力取得部102は、ユーザから撮影開始命令を取得する。
【0025】
ステップ207において、撮像部110及び120は、同期信号制御回路105から供給された同期信号1及び2に従った撮影を開始する。すなわち、撮像部110は同期信号1に従って、撮像部120は同期信号2に従って、それぞれImage1及びImage2を取得し、動画像データとして記憶部104に記憶し又は外部出力ユニット103に出力する。
【0026】
このようにして、撮影モードが同位相モードの場合には左眼用動画像と右眼用動画像との間に時間的ずれのないステレオ動画像が、撮影モードが逆位相モードの場合には左眼用動画像と右眼用動画像との間に時間的にずれのあるステレオ動画像が得られる。なお、図3及び図4において、t1,t2,t3,…tnは、撮影開始命令〜撮影終了命令までのサンプリング時刻を示している。例えば、撮影開始命令から撮影終了命令までの間が10秒でその際の撮影フレームレートが30fpsの場合、tはt1〜t300となるので、Image1及び2にはそれぞれ300個のフレーム画像を含むことになる。
【0027】
ステップ208において、CPU101は、入力取得部102において、撮影終了命令を取得したかどうか判定する。撮影終了命令が取得されていなければステップ207に戻り、撮影を続行する。一方、撮影終了命令が取得されていればステップ209に進む。
【0028】
ステップ209において、撮像部110及び120は、撮影を終了する。すなわち、同期信号制御回路105は同期信号1及び2の出力を終了し、画像処理回路113及び123は画像信号の取得を終了する。
【0029】
このようにして、本実施例に係る撮像装置100においては、ユーザが選択した表示装置の表示方式に応じた撮影モードが設定されて、ステレオ動画像が撮影される。
【0030】
図5は、本実施例に係る撮像装置によって撮影されたステレオ動画像を表示装置に表示した場合の見え方を説明する図である。図5の(a)は、比較のために、撮影方式と表示方式とが一致していない場合の見え方を示したものである。 つまり、同位相モードで撮影したステレオ動画像をアクティブステレオ方式の表示装置で視認した場合、或いは逆位相モードで撮影したステレオ動画像をパッシブステレオ方式の表示装置で視認した場合の見え方である。この場合、動き領域が2重像になって見えてしまい、動き領域の破綻が生じているのが分かる。
【0031】
一方、図5の(b)は、本実施例を適用して撮影したステレオ動画像の見え方を示している。本実施例を適用した場合、ユーザが適切に表示装置の表示方式を選択し、当該選択された表示方式に応じた撮影モードによってステレオ動画像が撮影されるため、撮影方式と表示方式とが常に一致し、動き領域の破綻が生じることはない。
【0032】
以上のとおり、本実施例によれば、予め表示装置の表示方式に対応した撮影モードでステレオ動画像を撮影することが担保されるので、動き領域の破綻を抑制することができる。
【0033】
<実施例2>
実施例1では、ユーザが予め選択した表示装置の表示モードに基づいて撮影モードを決定していた。次に、撮像装置に接続された表示装置から当該表示装置における表示方式の情報を取得して適切な撮影モードを自動で決定する態様について、実施例2として説明する。なお、実施例1と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【0034】
図6は、本実施例に係る撮像装置100の構成の一例を示す図である。実施例1との違いは、表示装置情報取得部601が追加されている点である。
【0035】
撮像装置100は表示装置602とUSB等で接続され、表示装置情報取得部601は、表示装置602から、その表示モードの情報(ModeDisp)を取得する。より具体的には、撮像装置100から表示装置602に対し表示モードの情報を送るよう送信命令を発し、表示装置602は受け取った送信命令に応じて表示モードの情報(アクティブステレオ方式かパッシブステレオ方式かを示す情報)を撮像装置100に返す。なお、撮像装置100と表示装置602との接続はUSB以外の方法、例えばHDMI、LANケーブル、無線LANなどであってもよい。その余の構成は実施例1と同様であるので説明を省略する。
【0036】
図7は、本実施例に係る撮像装置100において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。
【0037】
ステップ701において、CPU101は表示装置602に対し表示モード情報の送信命令を送り、表示装置情報取得部601は当該送信命令に応答して送られてきた表示モードの情報(ModeDisp)を取得する。
【0038】
ステップ702において、CPU101は、取得した表示モード情報(ModeDisp)に応じた撮影モード(ModeCam)を設定する。例えば、取得した表示モード情報が“パッシブステレオ方式”を示していれば、左眼用動画像と右眼用動画像とが時間的にずれることなく撮影される“同位相モード”に撮影モード(ModeCam)を設定する。同様に、取得した表示モード情報が“アクティブステレオ方式”を示していれば、左眼用動画像と右眼用動画像とが時間的にずれて撮影される“逆位相モード”に撮影モード(ModeCam)を設定する。なお、実施例1の場合と同様、ユーザから撮影フレームレートについての指定をステップ702に先立って受け付けるようにしてもよいし、予め設定されたデフォルト値を使用するようにしてもよい。
【0039】
そして、以降のステップ703〜ステップ709の処理が実行される。ステップ703〜ステップ709の各処理の内容は、実施例1の図2のフローチャートのステップ203〜ステップ209に対応する。
【0040】
以上のとおり、本実施例によっても、表示装置の表示方式に対応した撮影モードでステレオ動画像を撮影することが担保されるので、動き領域の破綻を抑制することができる。
【0041】
<実施例3>
実施例1及び実施例2では、表示装置の表示方式と撮像装置の撮影方式とが一致するように撮像装置側で撮影モードを設定していた。次に、任意の方式で撮影されたステレオ動画像を、表示装置側で表示方式に合うように補間処理して表示する態様について実施例3として説明する。なお、実施例1及び2と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【0042】
最初に本実施例の概略について簡単に説明する。
【0043】
まず、本実施例では撮像装置において、撮影したステレオ動画像のデータに、撮影モードに関する情報がメタデータとして付加される。表示装置では、このメタデータを解析して撮影モードの情報を取得し、当該動画像データの撮影方式に応じて表示方法を制御する。具体的には、動画像データが撮影された方式と表示装置の表示方式とが一致すればそのまま再生するが、一致しない場合は動画像データに対し所定の補間処理を行ってから再生するようにする。ここで、「一致する」とは、撮影方式と表示方式とが共に時分割方式である場合、或いは撮影方式と表示方式とが共に非時分割方式である場合をいう。一方、「一致しない」とは、撮影方式は時分割方式であるのに対し表示方式は非時分割方式である(或いはその逆)といったように両者が対応関係にない場合をいう。補間処理の種類には、[利き目補間]と[両目補間]の2種類がある。本実施例においてユーザは、補間モードとして、[利き目補間]、[両目補間]及び[補間なし]のうちいずれか一つを選択する。なお、補間処理の種類については上述の2種類に限定されるわけでなく、ユーザの他の視覚特性、例えば視力などを考慮したものでも構わない。
【0044】
図8は、本実施例に係る撮像装置の構成の一例を示す図である。実施例1との違いは、メタデータ付加部801が追加されている点である。
【0045】
メタデータ付加部801は、撮像部110及び撮像部120によって得られたステレオ動画像のデータに上述のメタデータを付加して動画ファイルを生成する。その余の構成は実施例1と同様であるので説明を省略する。
【0046】
図9は、本実施例に係る撮像装置100において、ステレオ動画像の撮影を行う際の処理の流れを示すフローチャートである。
【0047】
ステップ901において、同期信号制御回路105は、所定の撮影モードに対応する同期信号1及び2を所定の撮影フレームレートで発生させ、両撮像部110及び120にそれぞれ出力する。例えば、撮像装置100が備えている撮影モードが同位相モードの場合には、互いに位相が一致した同期信号1及び2が両撮像部110及び120にそれぞれ出力される。他方、撮像装置100が備えている撮影モードが逆位相モードの場合には、互いの位相が1/(2×F)ずれた逆位相の同期信号1及び2が両撮像部110及び120にそれぞれ出力される。
【0048】
続くステップ902〜ステップ906では、実施例1に係る図2のフローチャートのステップ206〜ステップ209と同様の処理が実行される。なお、本実施例の場合、ステップ904で撮影されたステレオ動画像のデータは、一旦、記憶部104にすべて格納される。
【0049】
ステップ907において、メタデータ付加部901は、記憶部104に格納されたステレオ動画像のデータを読み出し、撮影時の撮影モードの情報(ModeCam)をメタデータとして付加する。図10は、ステレオ動画像データにメタデータが付加された動画ファイルのデータ構造を表す図である。図10に示される例では、メタデータは動画像データのヘッダとして付加されているが、例えばフッタとして付加してもよい。
【0050】
このようにして、ステレオ動画像データにメタデータが付加された動画ファイルが生成され、外部出力ユニット103を介して表示装置へと送られる。
【0051】
なお、図9のフローチャートでは、撮像装置100が、撮影モードとして同位相モード又は逆位相モードのいずれか一方のみを備えているものとして説明した。本実施例に係る撮像装置はそのようなタイプのものに限られるわけではなく、同位相モード及び逆位相モードのいずれのモードでも撮影する能力を備え、撮影開始前にユーザにどちらかを選択させる構成であってもよい。その場合には、ステップ901に代えて、実施例1の図2のフローチャートにおけるステップ201〜ステップ205に相当する処理を実行するようにすればよい。但し、本実施例の場合は、表示装置側で撮影方式と表示方式との調整を行うので、ユーザは表示装置側の表示方式の選択に先立ってその表示方式を確認する必要はない。
【0052】
次に、本実施例に係る表示装置について説明する。
【0053】
図11は、本実施例に係る表示装置の構成の一例を示す図である。
【0054】
表示装置1100は、CPU1101、入力取得部1102、ビデオ入力部1104、補間処理部1105、記憶部1106、ビデオ出力インタフェース1107、表示パネル1108を含んでいる。
【0055】
CPU1101は、表示装置1100を統括的に制御するプロセッサである。図示されていないが、CPU1101で実行される制御プラグラム等を格納するROMやCPU1101のワークエリア等として機能するRAMも表示装置1100は備えている。
【0056】
入力取得部1102は、表示装置本体のスイッチ及びリモコンから、補間モード(ModeMC)や利き目情報(Effect)などのユーザの選択を取得する。補間モードには、前述の3種類(補間なし、利き目補間、両目補間)がある。利き目情報には、利き目右であることを示す [Right]と利き目が左であることを示す [Left]の2種類がある。
【0057】
メタデータ抽出部1103は、入力された動画像データからメタデータを抽出してその内容を解析する。
【0058】
ビデオ入力部1104は、例えば撮像装置100などから上述した動画ファイルをビデオ信号として取得する。
【0059】
補間処理部1105は、入力された動画ファイルに含まれるステレオ動画像データに対し、指定された補間モードに応じた補間処理を行う。
【0060】
記憶部1106は、例えばHDD等で構成され、撮像装置100等から受け取った動画ファイルなどを格納する。
【0061】
ビデオ出力インタフェース1107は、ビデオ入力部1104又は補間処理部1105から受け取ったステレオ動画像のデータを表示パネル1108の表示方式に対応したフォーマットに変換して表示パネル1108に出力する。図12は、それぞれの表示方式において動画像データ内のフレーム画像がどのように表示されるのかを説明する図であり、図12の(a)はアクティブステレオ方式の場合、図12の(b)はパッシブステレオ方式の場合を示している。表示パネル1108がアクティブステレオ方式の場合は、図12の(a)に示されるように左眼用動画像と右眼用画像とが交互に順次出力される。一方、表示パネル1108がパッシブステレオ方式の場合は、図12の(b)に示されるように、各サンプリング時刻における左眼用動画像及び右眼用動画像をライン毎に交互に並べた1枚のフレーム画像にしたものが順次出力される。ビデオ出力インタフェース1107では、必要に応じて、その表示方式に適したフォーマットにステレオ動画像データを変換する処理を行う。
【0062】
図13は、本実施例に係る表示装置1100において、入力された動画ファイルからメタデータを抽出し、必要に応じて補間処理を行って、表示パネル1108に出力するまでの処理の流れを示すフローチャートである。
【0063】
ステップ1301において、ビデオ入力部1104は、撮像装置100から動画ファイルを受け取る。
【0064】
ステップ1302において、入力取得部1102は、補間モード(ModeMC)についてのユーザの指定(補間なし、利き目補間、両目補間のいずれか)を取得する。この場合において、ユーザが指定した補間モードが[利き目補間]である場合には、利き目情報(Effect)も併せて取得する。
【0065】
ステップ1303において、メタデータ抽出部1103は、取得した動画ファイルからからメタデータを抽出し、メタデータに含まれる撮影モードの情報(ModeCam)を解析する。
【0066】
ステップ1304において、CPU1101は、抽出されたメタデータ内の撮影モードの情報を用いて、受け取った動画ファイル内のステレオ動画像の撮影方式と表示装置における表示方式とが一致するかどうかを判定する。例えば、ステレオ動画像が同位相モードで撮影された非時分割方式のデータであったが、表示装置側はアクティブステレオ方式である場合は、方式が一致しないと判定される。また、ステレオ動画像が逆位相モードで撮影された時分割方式のデータであり、表示装置側もアクティブテレオ方式である場合には、方式は一致すると判定される。判定の結果、方式が一致する場合には、ステップ1305に進む。一方、方式が一致しない場合には、ステップ1306に進む。
【0067】
ステップ1305において、CPU1101は、ステップ1301で取得した動画ファイル内のステレオ動画像のデータをそのまま用いて所定の表示方式で再生する。すなわち、ビデオ出力インタフェース1107は、入力された動画像(ImageLeftIn及びImageRightIn)を、そのまま出力用の動画像(ImageLeftOut及びImageRightOut)として、表示パネル1108に順次出力する。
【0068】
ステップ1306において、CPU1101は、ステップ1301で取得した動画ファイル内のステレオ動画像のデータに対しユーザが指定した補間モードに従って補間処理を行った上で、所定の表示方式で再生する。すなわち、補間処理部1105は、指定された補間モードに従って、入力された左眼用動画像(ImageLeftIn)及び/又は右眼用動画像(ImageRightIn)に対し補間処理を行う。こうして出力用の動画像(ImageLeftOut及びImageRightOut)を生成し、表示パネル1108に順次出力する。
【0069】
図14は、補間処理部1105における補間処理の流れを示すフローチャートである。
【0070】
ステップ1401において、補間処理部1105は、それぞれ複数のフレーム画像からなる左眼用と右眼用の動画像(ImageLeftIn1,..,ImageLeftInN及びImageRightIn1,..,ImageRightInN)を取得する。
【0071】
ステップ1402において、補間処理部1105は、ユーザが指定した補間モードの内容が、[補間なし]であるかどうかを判定する。そして、[補間なし]である場合はステップ1403に進み、それ以外である場合はステップ1404に進む。
【0072】
ステップ1403において、補間処理部1105は、入力された左眼用及び右眼用の動画像のデータに対して補間処理を行うことなく、そのまま出力するための処理を行う。すなわち、ImageRightIn[i](i=1、...、n)をImageRightOut[i](i=1、...、n)に代入する。また、ImageLeftIn[i](i=1、...、n)をImageLeftOut[i](i=1、...、n)に代入する。
【0073】
ステップ1404において、補間処理部1105は、ユーザが指定した補間モードの内容が[利き目補間]であるのか[両目補間]であるのかを判定する。利き目補間である場合はステップ1405に進み、両目補間である場合はステップ1408に進む。
【0074】
まず、利き目補間の場合の補間処理(ステップ1405〜ステップ1407)について説明する。
【0075】
ステップ1405において、補間処理部1105は、ステップ1401で取得されている利き目情報(Effect)に基づいて、利き目が右であるのか左であるのかを判定する。判定の結果、利き目が右である場合はステップ1406に進み、利き目が左である場合はステップ1407に進む。
【0076】
ステップ1406において、補間処理部1105は、以下の式(1)を用いて、出力用の左眼用動画像(ImageLeftOutN)及び右眼用動画像(ImageRightOutN)を生成する。
【0077】
【数1】
【0078】
ここで、MCは中間画像生成関数であって、第一パラメータのフレーム画像(ImageLeftInN)と第二パラメータのフレーム画像(ImageLeftInN+1)から両フレーム画像間の動きとなる中間画像を生成するための関数である。第三パラメータであるPは、0以上1以下の値を持ち、これにより指定された値に対応する時間の中間画像が生成される。例えば、指定されたPの値が0のとき、生成される中間画像が第一パラメータのフレーム画像(ImageLeftInN)となる。同様に、指定されたPの値が1のとき、出力される中間画像が第2パラメータのフレーム画像(ImageLeftInN+1)となる。そして、例えば指定されたPの値が0.5であれば、第一パラメータのフレーム画像(ImageLeftInN)と第二パラメータのフレーム画像(ImageLeftInN+1)とのちょうど中間の動きに相当する画像が中間画像として出力される。つまり、P値を0.5にすることで、位相を半フレーム分ずらすことができる。そして、利き目が右である場合の本ステップにおいては、利き目とは逆側の左眼用動画像のデータに対し補間処理を行う為、上記式(1)のようになり、その場合のP値として0.5が指定されることになる。なお、この場合の中間画像の生成には、例えば、動き補償に基づくフレーム間補間法など、公知の手法が適用される。
【0079】
ステップ1407において、補間処理部1105は、以下の式(2)を用いて、出力用の左眼用動画像(ImageLeftOutN)及び右眼用動画像(ImageRightOutN)を生成する。
【0080】
【数2】
【0081】
これにより、利き目が左である場合の本ステップでは、利き目とは逆側の右眼用画像のデータに対して補間処理がなされる。
【0082】
次に、両目補間の場合の補間処理(ステップ1408)について説明する。
【0083】
ステップ1408において、補間処理部1105は、以下の式(3)を用いて、出力用の左眼用動画像(ImageLeftOutN)及び右眼用動画像(ImageRightOutN)を生成する。
【0084】
【数3】
【0085】
上記式(3)から明らかなように、両目補間の場合には、左眼用動画像と右眼用動画像の双方のデータに対して補間処理がなされる。ここでは、左眼用動画像に対してはP値を0.75、右眼用動画像に対してはP値を0.25にそれぞれ設定している。その結果、生成される中間画像は、時間的により進んだ位置(P値が1に近い場合)もしくは時間的により遅れた位置(P値が0に近い)でサンプリングされるため、動き推定の間違いによるブロック状の歪みが目立たなくなる。なお、左眼用動画像と右眼用動画像との間で位相が半フレーム分ずれていればいいので、P値の組合せとしては、例えば、「0.2と0.7」や「0.3と0.8」などであってもよい。
【0086】
ステップ1409において、補間処理部1105は、生成された左眼用動画像及び右眼用動画像のデータ(ImageRightOut及びImageLeftOut)を、ビデオ出力インタフェース1107に出力する。
【0087】
図15は、[同位相モード]で撮影したステレオ動画像のデータが補間モードに従って補間処理され、それがアクティブステレオ方式の表示装置で表示される様子を示している。
【0088】
図15の(a)は、指定された補間モードが[補間なし]であった場合の表示結果を示している。撮像装置では [同位相モード]で撮影されていて右眼用動画像と左眼用動画像との間に位相のずれはなく、それがそのまま出力用のステレオ動画像として出力され、表示装置側で半フレーム分位相がずれて表示されている。つまり、撮影方式と表示方式との不一致が是正されないまま動画像データが再生されるので、図5の(a)で示したような動き領域の破綻が生じることになる。
【0089】
一方、図15の(b)は、指定された補間モードが[利き目補間]で利き目が右目であった場合(P値は0.5)の表示結果を示している。この場合、利き目である右眼用には入力された右眼用動画像のデータがそのまま用いられ、利き目でない左眼用には補間処理された左眼用動画像のデータが用いられる。このケースでは、出力された左眼用動画像(ImageLeftOut)は、時間方向に半フレーム分ずれた中間画像となっているので、撮影方式と表示方式との不一致が是正されていることになる。よって、視聴した際に動き領域の破綻が軽減される。この場合においても、動き補償補間処理における動き推定の失敗から画像の一部にブロック状の歪みが出る場合があるが、補間処理された動画像は利き目とは反対側の目に表示されるので画質劣化を目立たなくすることが出来る。
【0090】
図15の(c)は、指定された補間モードが[両目補間]で、指定されたP値が左眼用:0.75、右眼用:0.25であった場合の表示結果を示している。この場合、左眼用及び右眼用の双方に補間処理された中間画像からなる動画像が表示されることになる。具体的には、P値が0.75の左眼用にはより時間的に進んだ位置の中間画像からなる動画像が、P値が0.25の右眼用にはより時間的に遅れた位置の中間画像からなる動画像が表示されることになる。この場合も、撮影方式と表示方式との不一致が是正されることから、動き領域の破綻は軽減される。
【0091】
なお、[利き目補間]と[両目補間]は一長一短があるので、ユーザは好みに応じて選択すればよい。
【0092】
このように本実施例によれば、任意の方式で撮影されたステレオ動画像を、表示装置側でその表示方式に合うように補間処理して表示するので、動き領域の破綻を大幅に軽減することが可能となる。さらに、ユーザの利き目ではない方の目に補間処理された動画像を表示し、利き目には撮影時の動画像をそのまま表示することにより、さらに動き領域の破綻を目立ちにくくすることが出来る。
【0093】
<実施例4>
実施例1〜3においては、表示装置で表示されるステレオ動画像の撮影を、撮像部を2つ備えた撮像装置で行うことを前提としていた。しかしながら、撮像装置における撮像部の数は1つであってもよい。図16は、撮像部が1個の場合の撮像装置の構成の一例を示す図である。なお、実施例1に係る図1と共通する部分については共通の参照符号を付し、その説明を省略する。
【0094】
図16に示されるとおり、本実施例に係る撮像装置は、1個の撮像部1600のみを備える。この撮像部1600には、レンズマウント径内に2つの光学系を搭載した撮影レンズ1601が用いられる。そして、実施例1等と同様に、それぞれ同期信号1及び2に従って取得された撮像素子112からの画像信号が、画像処理回路1(1603)及び画像処理回路2(1604)によって処理される。これにより、1つの撮像素子112で視差のある左眼用と右眼用からなるステレオ動画像を撮影することができる。
【0095】
このように本発明は、上述したような1つの撮像部のみを有する撮像装置や当該撮像装置において撮影されたステレオ動画像に対しても適用可能なものである。
【0096】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
ステレオ動画像を撮影する撮像装置であって、
前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像手段と、
前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定する手段と、
前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を前記撮像手段に供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御手段と
を備えたことを特徴とする撮像装置。
【請求項2】
前記表示装置における表示方式を指定するユーザ入力を取得する入力取得手段をさらに備え、
前記撮影モードを設定する手段は、取得した前記ユーザ入力によって指定された表示方式に基づいて、当該表示方式に応じた撮影モードを設定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記表示装置から当該表示装置における表示方式の情報を取得する表示装置情報取得手段をさらに備え、
前記撮影モードを設定する手段は、前記取得した表示方式の情報に基づいて、当該表示方式に応じた撮影モードを設定することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記撮影モードには、前記右眼用動画像と前記左眼用動画像との間で位相が一致するように撮影する同位相モードと、前記右眼用動画像と前記左眼用動画像との間で位相が逆になるように撮影する逆位相モードとがあり、
前記撮影モードを設定する手段は、前記表示装置の表示方式がパッシブステレオ方式の場合には撮影モードを前記同位相モードに設定し、前記表示装置の表示方式がアクティブステレオ方式の場合には撮影モードを前記逆位相モードに設定し、
前記同期信号制御手段は、前記撮影モードを設定する手段で設定された撮影モードが前記同位相モードの場合には前記右眼用動画像を撮影するための前記同期信号と前記左眼用動画像を撮影するための前記同期信号とを同位相で出力し、前記撮影モードを設定する手段で設定された撮影モードが前記逆位相モードの場合には前記右眼用動画像を撮影するための前記同期信号と前記左眼用動画像を撮影するための前記同期信号とを逆位相で出力する、
ことを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。
【請求項5】
右眼用動画像と左眼用動画像とからなるステレオ動画像を表示する表示装置であって、
前記ステレオ動画像のデータを含む動画ファイルを取得する手段と、
取得した前記動画ファイル内の前記ステレオ動画像の撮影方式と当該表示装置における表示方式とが一致するかどうかを判定する判定手段と、
前記判定の結果、方式が一致しないと判定された場合には取得した前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行い、方式が一致すると判定された場合には取得した前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行わない、補間処理手段と、
を備えたことを特徴とする表示装置。
【請求項6】
前記動画ファイルには、前記ステレオ動画像を撮影した際の撮影モードの情報を示すメタデータを含み、
取得した前記動画ファイルから前記メタデータを抽出し、前記撮影モードの情報を解析するメタデータ抽出手段をさらに備える、
ことを特徴とする請求項5に記載の表示装置。
【請求項7】
前記補間処理手段は、前記右眼用動画像及び前記左眼用動画像のうち利き目ではない方の目に表示される動画像のデータに対してのみ補間処理を行う利き目補間、又は前記右眼用動画像及び前記左眼用動画像の双方に補間処理を行う両目補間を行うことを特徴とする請求項6に記載の表示装置。
【請求項8】
前記右眼用動画像及び前記左眼用動画像は、それぞれ複数のフレーム画像で構成され、
前記補間処理では、前記複数のフレーム画像における各フレーム画像間の中間画像が生成されることを特徴とする請求項7に記載の表示装置。
【請求項9】
請求項5〜8のいずれか1項に記載の表示装置で表示される前記ステレオ動画像を撮影する撮像装置であって、
撮影した前記ステレオ動画像のデータに、撮影時の撮影モードの情報を含むメタデータを付加するメタデータ付加手段を備える
ことを特徴とする撮像装置。
【請求項10】
ステレオ動画像を撮影する撮像方法であって、
前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像ステップと、
前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定するステップと、
前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御ステップと
を含むことを特徴とする撮像方法。
【請求項11】
右眼用動画像と左眼用動画像とからなるステレオ動画像を表示する表示方法であって、
前記ステレオ動画像のデータを含む動画ファイルを取得するステップと、
取得した前記動画ファイル内の前記ステレオ動画像の撮影方式と当該表示装置における表示方式とが一致するかどうかを判定する判定ステップと、
前記判定の結果、方式が一致しないと判定された場合には受け取った前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行い、方式が一致すると判定された場合には受け取った前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行わない、補間処理ステップと、
を含むことを特徴とする表示方法。
【請求項12】
コンピュータを請求項1〜4のいずれか1項に記載の撮像装置として機能させるためのプログラム。
【請求項13】
コンピュータを請求項5〜8のいずれか1項に記載の表示装置として機能させるためのプログラム。
【請求項1】
ステレオ動画像を撮影する撮像装置であって、
前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像手段と、
前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定する手段と、
前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を前記撮像手段に供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御手段と
を備えたことを特徴とする撮像装置。
【請求項2】
前記表示装置における表示方式を指定するユーザ入力を取得する入力取得手段をさらに備え、
前記撮影モードを設定する手段は、取得した前記ユーザ入力によって指定された表示方式に基づいて、当該表示方式に応じた撮影モードを設定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記表示装置から当該表示装置における表示方式の情報を取得する表示装置情報取得手段をさらに備え、
前記撮影モードを設定する手段は、前記取得した表示方式の情報に基づいて、当該表示方式に応じた撮影モードを設定することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記撮影モードには、前記右眼用動画像と前記左眼用動画像との間で位相が一致するように撮影する同位相モードと、前記右眼用動画像と前記左眼用動画像との間で位相が逆になるように撮影する逆位相モードとがあり、
前記撮影モードを設定する手段は、前記表示装置の表示方式がパッシブステレオ方式の場合には撮影モードを前記同位相モードに設定し、前記表示装置の表示方式がアクティブステレオ方式の場合には撮影モードを前記逆位相モードに設定し、
前記同期信号制御手段は、前記撮影モードを設定する手段で設定された撮影モードが前記同位相モードの場合には前記右眼用動画像を撮影するための前記同期信号と前記左眼用動画像を撮影するための前記同期信号とを同位相で出力し、前記撮影モードを設定する手段で設定された撮影モードが前記逆位相モードの場合には前記右眼用動画像を撮影するための前記同期信号と前記左眼用動画像を撮影するための前記同期信号とを逆位相で出力する、
ことを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。
【請求項5】
右眼用動画像と左眼用動画像とからなるステレオ動画像を表示する表示装置であって、
前記ステレオ動画像のデータを含む動画ファイルを取得する手段と、
取得した前記動画ファイル内の前記ステレオ動画像の撮影方式と当該表示装置における表示方式とが一致するかどうかを判定する判定手段と、
前記判定の結果、方式が一致しないと判定された場合には取得した前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行い、方式が一致すると判定された場合には取得した前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行わない、補間処理手段と、
を備えたことを特徴とする表示装置。
【請求項6】
前記動画ファイルには、前記ステレオ動画像を撮影した際の撮影モードの情報を示すメタデータを含み、
取得した前記動画ファイルから前記メタデータを抽出し、前記撮影モードの情報を解析するメタデータ抽出手段をさらに備える、
ことを特徴とする請求項5に記載の表示装置。
【請求項7】
前記補間処理手段は、前記右眼用動画像及び前記左眼用動画像のうち利き目ではない方の目に表示される動画像のデータに対してのみ補間処理を行う利き目補間、又は前記右眼用動画像及び前記左眼用動画像の双方に補間処理を行う両目補間を行うことを特徴とする請求項6に記載の表示装置。
【請求項8】
前記右眼用動画像及び前記左眼用動画像は、それぞれ複数のフレーム画像で構成され、
前記補間処理では、前記複数のフレーム画像における各フレーム画像間の中間画像が生成されることを特徴とする請求項7に記載の表示装置。
【請求項9】
請求項5〜8のいずれか1項に記載の表示装置で表示される前記ステレオ動画像を撮影する撮像装置であって、
撮影した前記ステレオ動画像のデータに、撮影時の撮影モードの情報を含むメタデータを付加するメタデータ付加手段を備える
ことを特徴とする撮像装置。
【請求項10】
ステレオ動画像を撮影する撮像方法であって、
前記ステレオ動画像を構成する右眼用動画像及び左眼用動画像をそれぞれ撮影する撮像ステップと、
前記ステレオ動画像を表示する表示装置の表示方式に応じた撮影モードを設定するステップと、
前記右眼用動画像及び前記左眼用動画像の撮影に用いる同期信号を供給し、前記設定された撮影モードに応じて当該供給する同期信号の位相を制御する同期信号制御ステップと
を含むことを特徴とする撮像方法。
【請求項11】
右眼用動画像と左眼用動画像とからなるステレオ動画像を表示する表示方法であって、
前記ステレオ動画像のデータを含む動画ファイルを取得するステップと、
取得した前記動画ファイル内の前記ステレオ動画像の撮影方式と当該表示装置における表示方式とが一致するかどうかを判定する判定ステップと、
前記判定の結果、方式が一致しないと判定された場合には受け取った前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行い、方式が一致すると判定された場合には受け取った前記動画ファイル内の前記ステレオ動画像のデータに対し補間処理を行わない、補間処理ステップと、
を含むことを特徴とする表示方法。
【請求項12】
コンピュータを請求項1〜4のいずれか1項に記載の撮像装置として機能させるためのプログラム。
【請求項13】
コンピュータを請求項5〜8のいずれか1項に記載の表示装置として機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2013−70165(P2013−70165A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−206171(P2011−206171)
【出願日】平成23年9月21日(2011.9.21)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願日】平成23年9月21日(2011.9.21)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]