撮像装置および映像記録再生システム
【課題】左右の画像の画質が均等で高品質な立体画像を生成するための撮像を行う。
【解決手段】撮影レンズは被写体からの光を集光する。リレーレンズは集光された光を伝送して平行光とする。半透過膜は平行光を透過および反射する。ミラーは半透過膜によって透過または反射されることにより導かれた光を左右２つに分光する。第１および第２の結像レンズは分光された光をそれぞれ結像させる。第１および第２の撮像素子は第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する。第３の結像レンズは半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる。第３の撮像素子は第３の結像レンズによって結像された光を電子信号による基本画像に変換する。
【解決手段】撮影レンズは被写体からの光を集光する。リレーレンズは集光された光を伝送して平行光とする。半透過膜は平行光を透過および反射する。ミラーは半透過膜によって透過または反射されることにより導かれた光を左右２つに分光する。第１および第２の結像レンズは分光された光をそれぞれ結像させる。第１および第２の撮像素子は第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する。第３の結像レンズは半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる。第３の撮像素子は第３の結像レンズによって結像された光を電子信号による基本画像に変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に被写体を立体画像として撮像する撮像装置、および、映像記録再生システムに関する。
【背景技術】
【０００２】
従来、共通の被写体を左右２台のビデオカメラによって同時に撮像しておいて、その左右の映像を同時に出力することにより立体画像を表示するシステムが提案されている。しかしながら、このような２台のビデオカメラを用いたシステムは、装置として大型化してしまい機動性に欠けるだけでなく、左右のビデオカメラの光軸のずれ等が生じやすく、適切な視差を有する画像を得ることは困難である。例えば、２台のビデオカメラの間隔が大きくなってしまったり、各ビデオカメラのレンズの個体差によってズーム中に左右の光軸がずれてしまったり、左右の画面サイズが異なってしまうおそれがある。また、フォーカス操作の際に、左右のビデオカメラを被写体に向ける輻輳動作時に、左右のビデオカメラが例えば上下にずれてしまうおそれもある。
【０００３】
このような左右のビデオカメラにおける光軸のずれ等が生じると、立体画像を視聴するユーザの視覚系に日常とは異なる情報処理を強いることになり、視覚疲労の要因となる。さらに、ユーザが左右の画像を、立体視用の眼鏡を使わずにそのまま重ねて眺めた際には、被写体が二重に見えて不自然な映像になってしまう。
【０００４】
そのため、１つのレンズの瞳となる領域において、被写体からの光をミラーによって２つの光束に分離して撮像する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置では、分離された２つの光束のそれぞれについて撮像を行うことにより、立体視のための左右の映像データを得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−８１５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、被写体からの光をミラーによって左右に分離することにより、立体視のための左右の映像データを得ることができる。しかしながら、この場合、被写体からミラーに対する入射角度等によって、分離される光の太さが変化してしまい、左右の画像の明るさが不均衡になって、画質が劣化してしまうおそれがある。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、左右の画像の画質が均等で高品質な立体画像を生成するための撮像を行うことを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送して平行光とするリレーレンズと、上記平行光を透過および反射する半透過膜と、上記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる第１および第２の結像レンズと、上記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、上記半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる第３の結像レンズと、上記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子とを具備する撮像装置である。これにより、基本画像と視差検出画像とを同時に生成させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記基本画像と上記視差検出画像のそれぞれとを比較することにより上記視差検出画像のそれぞれと同じ視点の視差画像を上記基本画像に基づいて生成する視差画像生成部をさらに具備するようにしてもよい。これにより、視差画像を生成させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記視差画像生成部は、上記基本画像と上記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、上記探索結果に基づいて上記基本画像の画素を上記視差検出画像において対応する画素の位置へ移動することにより上記視差画像を生成する画素移動部とを備えてもよい。これにより、探索結果に基づいて基本画像の画素を視差検出画像における対応画素の位置へ移動することにより視差画像を生成させるという作用をもたらす。
【００１１】
また、この第１の側面において、上記基本画像または上記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの上記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて上記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備してもよい。これにより、フレームレートを向上させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記基本画像または上記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて上記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備するようにしてもよい。これにより、任意の位置の視点における視差画像を生成させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで上記基本画像または上記視差検出画像を生成してもよい。また、上記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで上記視差検出画像を生成してもよい。また、上記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで上記視差検出画像を生成してもよい。さらに、上記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで上記視差検出画像を生成してもよい。
【００１４】
また、本技術の第２の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送して平行光とするリレーレンズと、上記平行光を透過および反射する半透過膜と、上記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる第１および第２の結像レンズと、上記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、上記半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる第３の結像レンズと、上記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、上記基本画像と上記視差検出画像のそれぞれとを比較することにより上記視差検出画像のそれぞれと同じ視点の視差画像を上記基本画像に基づいて生成する視差画像生成部と、上記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、上記記憶部に記録された上記左右の映像データを同時に再生表示させる映像再生部とを具備する映像記録再生システムである。これにより、高画質な視差画像を撮像および再生させるという作用をもたらす。
【発明の効果】
【００１５】
本技術によれば、左右の画像の画質が均等で高品質な立体画像を生成するための撮像を行うことができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１６】
【図１】本技術の実施の形態における撮像部の構造例を示す図である。
【図２】本技術の実施の形態における撮像素子１７１乃至１７３の構成例を示す図である。
【図３】本技術の実施の形態による撮像部における瞳１１５のイメージ図である。
【図４】重心間距離Ｄと基線長（ベースライン）との関係を示す図である。
【図５】ズームによる拡大と視差との関係を示す図である。
【図６】本技術の第２の実施の形態における撮像装置の一構成例を示す図である。
【図７】本技術の第２の実施の形態における映像生成部２００の構成例を示す図である。
【図８】本技術の第２の実施の形態における視差画像生成部２４１および２４２の一構成例を示す図である。
【図９】本技術の第２の実施の形態における撮像装置の動作例を示す流れ図である。
【図１０】本技術の第３の実施の形態における映像生成部２００の構成例を示す図である。
【図１１】本技術の第４の実施の形態における映像生成部２００の構成例を示す図である。
【図１２】本技術の第４の実施の形態における時間方向補間部２５１および２５２の構成例を示す図である。
【図１３】本技術の第４の実施の形態における時間方向補間部２５１および２５２の動作例を示す流れ図である。
【図１４】本技術の第５の実施の形態における映像生成部２００の構成例を示す図である。
【図１５】本技術の第５の実施の形態における空間方向補間部２６０の構成例を示す図である。
【図１６】本技術の第５の実施の形態における空間方向補間部２６０の動作例を示す流れ図である。
【図１７】本技術の第６の実施の形態における映像記録再生システムの一構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（基本画像および視差検出画像を生成する撮像部の例）
２．第２の実施の形態（基本画像および視差検出画像に基づいて視差画像を生成する撮像装置の例）
３．第３の実施の形態（基本画像および視差検出画像のＲＡＷ画像に基づいて視差画像を生成する撮像装置の例）
４．第４の実施の形態（時間方向補間を行う撮像装置の例）
５．第５の実施の形態（空間方向補間を行う撮像装置の例）
６．第６の実施の形態（映像記録再生システムの例）
【００１８】
＜１．第１の実施の形態＞
［撮像部の構造］
図１は、本技術の実施の形態における撮像部の構造例を示す図である。同図（ａ）は被写体に向かって左から見た側面断面図であり、同図（ｂ）は上面断面図である。同図（ｂ）における上部が被写体に向かって右方向であり、下部が被写体に向かって左方向である。なお、同図（ｂ）では、上方のミラー１４２、集光レンズ１５３、および、撮像素子１７３は表示を省略している。
【００１９】
この撮像部は、被写体からの入射光１０１を受けて左右の撮像素子１７１および１７２と、中央の撮像素子１７３とに結像させ、左右および中央の映像データを生成するものである。撮像部本体には、レンズマウント１２０を介して交換レンズ１１０が取り付けられるようになっている。この交換レンズ１１０は、被写体からの入射光１０１を集光するレンズ群であり、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等のレンズ群の他、交換レンズ１１０としての絞り１１３を備えている。瞳１１５は、レンズを被写体側あるいは結像側から見たときの開口絞りの像である。なお、交換レンズ１１０は、特許請求の範囲に記載の撮影レンズの一例である。
【００２０】
レンズマウント１２０は、交換レンズ１１０を撮像部本体に取り付けるものである。このレンズマウント１２０の内部においては、集光された光は一旦結像されており、左右が反転した倒立像になる。
【００２１】
レンズマウント１２０の次段にはリレーレンズ部１３０が配置される。リレーレンズ部１３０は、レンズマウント１２０までに集光された光を平行光領域１４０まで伝送するレンズを備える。レンズマウント１２０までに集光された光は空中像１３１を形成する。このリレーレンズ部１３０におけるレンズにより、交換レンズ１１０の対物焦点位置（すなわち、被写体の位置）における点光源からの拡散光は、領域１４０において平行光となる。この平行光領域１４０には、絞り１１３とは別の絞りをさらに設けてもよい。なお、リレーレンズ部１３０は、特許請求の範囲に記載のリレーレンズの一例である。
【００２２】
リレーレンズ部１３０の次段には透過型ミラー１４１およびミラー１４３乃至１４６が配置される。これら透過型ミラー１４１およびミラー１４３乃至１４６は、平行光領域１４０の位置に配置され、集光された光を分光する分光鏡である。まず、同一撮影対象の光量全体は、任意に設定した反射率を有する透過型ミラー１４１により透過および反射され、２つに分光される。この場合、透過および反射された光に含まれる像は同じものである。
【００２３】
透過型ミラー１４１は、受けた光を反射および透過するミラーである。この透過型ミラー１４１は、例えば、薄膜をガラス表面に蒸着させたＡＲコート（Anti-Reflection Coat）により実現することができる。このＡＲコートでは、薄膜の反射率を制御することにより透過率を制御することができる。例えば、５０％透過、５０％反射のハーフミラーを用いた場合、ミラー１４２側に入射光の５０％が反射され、ミラー１４３乃至１４６側に入射光の５０％が透過される。
【００２４】
透過型ミラー１４１によって反射された光は、上方向に設置されたミラー１４２によって反射されて集光レンズ１５３に入光される。透過型ミラー１４１を透過した光のうち被写体に向かって左側から見た光の成分は、左右反転のためミラー１４３および１４５に反射される。同様に、透過型ミラー１４１を透過した光のうち被写体に向かって右側から見た光の成分は、ミラー１４４および１４６に反射される。このように、透過型ミラー１４１を透過した光は、ミラー１４２乃至１４６によって左右に分光される。このミラー１４３および１４４が配置される位置は平行光領域１４０に含まれるため、左側および右側から見た光の成分のそれぞれに分光される。上述の例のように、ミラー１４３乃至１４６側に入射光の５０％が透過された場合、その透過された光はミラー１４３および１４４によって分光されて、その光量は入射光の２５％ずつになる。
【００２５】
透過型ミラー１４１、ミラー１４３および１４５によって分光された光、すなわち被写体を左側から見た成分の光は、結像用の集光レンズ１５１に入光される。また、透過型ミラー１４１、ミラー１４４および１４６によって分光された光、すなわち被写体を右側から見た成分の光は、結像用の集光レンズ１５２に入光される。透過型ミラー１４１およびミラー１４２によって反射された光、すなわち被写体を中央から見た成分の光は、結像用の集光レンズ１５３に入光される。
【００２６】
集光レンズ１５１および１５２は、入光された光をそれぞれ撮像素子１７１および１７２の受光面に対して結像させる。集光レンズ１５３は、入光された光を撮像素子１７３の受光面に対して結像させる。これら撮像素子１７１乃至１７３に入光された光は、それぞれ正立像となる。ここでは、例として、透過型ミラー１４１を透過した光を左右に分光し、反射した光を単一の結像としたが、これらは入れ替えてもよい。すなわち、透過型ミラー１４１によって反射された光を左右に分割し、透過した光を直接結像させるようにしてもよい。なお、集光レンズ１５１および１５２は、特許請求の範囲に記載の結像レンズの一例である。
【００２７】
撮像素子１７１乃至１７３は、それぞれ集光レンズ１５１乃至１５３から入光された光を電子信号に変換する光電変換素子である。この撮像素子１７１乃至１７３は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等により実現される。
【００２８】
撮像素子１７１および１７２は、立体視の視差情報を検出するための視差検出画像を生成するために用いられる。撮像素子１７３は、立体視に用いられる視差画像の基となる基本画像を生成するために用いられる。基本画像は、視差検出画像よりも高画質であることが要求される。視差検出画像は視差情報を検出するためのものである一方、基本画像の画質は視差画像の画質に反映されるからである。
【００２９】
図２は、本技術の実施の形態における撮像素子１７１乃至１７３の構成例を示す図である。同図（ａ）は撮像素子１７３の構成例であり、同図（ｂ）は撮像素子１７１および１７２の構成例である。この例では、視差検出画像を生成するための撮像素子１７１および１７２は、それぞれ横１９２０画素、縦１０８０画素の画素数を有する。これに対し、基本画像を生成するための撮像素子１７３は、横３８４０画素、縦２１６０画素の画素数を有する。これらはともに、横１６：縦９の比率となっている。ただし、両者の比率が等しくない場合であっても、本技術を適用することは可能である。
【００３０】
また、撮像素子１７１および１７２のサイズは、例えば対角１／２インチである。これに対し、撮像素子１７３のサイズは、例えば対角２／３インチである。
【００３１】
このように撮像素子１７１乃至１７３の解像度を設定することにより、視差検出画像よりも高画質な基本画像を生成することができる。
【００３２】
また、撮像素子１７１および１７２における画像生成レートと撮像素子１７３における画像生成レートは同じであってもよいが、異なっていてもよい。撮像素子１７３の画素数を撮像素子１７１および１７２よりも高くした場合には、撮像素子１７３の画像生成レートを低く設定することも考えられる。上述の画素数の場合、例えば、撮像素子１７１および１７２の画像生成レートを２４０フレーム／秒として、撮像素子１７３の画像生成レートを１２０フレーム／秒とすることが考えられる。これにより、撮像素子１７３の空間分解能と、撮像素子１７１および１７２の時間分解能とを使い分けることができるようになる。
【００３３】
映画では毎秒２４フレーム（２４Ｈｚ）、テレビでは毎秒６０フィールド（６０Ｈｚ）のフレームレートが標準的に用いられている。本技術の実施の形態では、動きによるボケやジャーキネスを考慮して、毎秒６０フレーム（６０Ｈｚ）以上のレート、好ましくは毎秒２３０乃至２５０フレーム（２４０Ｈｚ±１０Ｈｚ）のレートで電子信号から撮像画像を生成する。これにより、時間方向の分解能の不足を解消している。さらに、放送方式を考慮すると、ヨーロッパで多く用いられている毎秒５０フレーム（５０Ｈｚ）と日本アメリカで用いられている毎秒６０フレーム（６０Ｈｚ）の公倍数として、毎秒２９０乃至３１０フレーム（３００Ｈｚ±１０Ｈｚ）のレートが好ましい。また、さらに映画の毎秒２４フレーム（２４Ｈｚ）を加えた公倍数として、毎秒５９０乃至６１０フレーム（６００Ｈｚ±１０Ｈｚ）のレートも、画像合成や、レート変換の処理などの、画像処理を容易にする点で重用である。したがって、撮像素子１７１乃至１７３の画像生成レートを設定するにあたっては、これらを考慮することが望ましい。
【００３４】
［瞳の分割］
図３は、本技術の実施の形態による撮像部における瞳１１５のイメージ図である。瞳（pupil）とは、レンズを被写体側あるいは結像側から見たときの開口絞りの像である。本技術の実施の形態による撮像部で、瞳１１５に相当する円の半径をｒとすると、次式が成り立つ。
２ｒ＝ｆ／Ｆ （式１）
ただし、ｆは焦点距離であり、ＦはＦ値である。したがって、焦点距離を固定した場合、瞳１１５の直径２ｒとＦ値は反比例の関係にあることがわかる。
【００３５】
本発明の実施の形態では、集光された光を、平行光領域の位置で左右に分光するため、瞳１１５の円を左右に分割した左半円および右半円について考察する。上述のとおり、立体感は、両眼間の視差（相対視差）に基づいて得られる。このとき、視差を決定する光軸は左半円および右半円のそれぞれの重心を通るものと考えられる。半径ｒの半円の重心は、幾何学的に求めることができ、円の中心から４ｒ／３πの距離に位置する。したがって、左半円の重心５０１と右半円の重心５０２との距離（重心間距離Ｄ）は、次式のようになることがわかる。
Ｄ＝８ｒ／３π （式２）
すなわち、重心間距離Ｄは絞り１１３を絞ると、それに比例して小さくなることがわかる。換言すれば、絞り１１３の口径を変化させることにより、得られる立体感を調整することができることになる。このような前提を確認するために行った実験の結果を以下に示す。
【００３６】
［重心間距離と基線長（ベースライン）との関係］
図４は、重心間距離Ｄと基線長（ベースライン）との関係を示す図である。ここでは、交換レンズ１１０として＃Ａおよび＃Ｂの２種類のレンズについて、重心間距離の理論値と基線長の実験値とを示している。
【００３７】
レンズ＃Ａは、開放Ｆ値が１．８で、焦点距離が１０乃至１００［ｍｍ（ミリメートル）］のズームレンズである。このレンズ＃Ａのズーム比は１０倍であり、ワイド端における焦点距離は１０［ｍｍ］である。レンズ＃Ｂは、開放Ｆ値が２．８で、焦点距離が１３．５乃至５７０［ｍｍ］のズームレンズである。このレンズ＃Ｂのズーム比は４２倍であり、ワイド端における焦点距離は１３．５［ｍｍ］である。両者ともに、撮影距離は６．５［ｍ（メートル）］を想定している。
【００３８】
上述の式１および式２より、レンズ＃Ａおよび＃Ｂの重心間距離Ｄはそれぞれ２３．１［ｍｍ］および１４．９［ｍｍ］であると計算される。一方、実装置において実験により求められた基線長は、レンズ＃Ａおよび＃Ｂについてそれぞれ２０．０［ｍｍ］および１２．０［ｍｍ］となった。この実験結果から、回折効果によると推測される理論値からの減少が見られるものの、絞り１１３の像である瞳の半円の重心間距離Ｄがほぼ基線長に匹敵するものであることがわかる。また、上述の式２より、重心間距離Ｄは絞り１１３の口径によって変化させることが可能であり、したがって、基線長も絞り１１３の口径によって制御可能であることが示された。
【００３９】
本技術の実施の形態における構成例によれば、重心間距離Ｄの最小値としておよそ７［ｍｍ］程度を想定することができる。基線長としてもこの程度の値であれば立体感を感じさせることができると考えられる。特に、撮影距離が長い場合、基線長がある程度ないと立体感が出せなくなると考えられる。基線長を増していくと、およそ３２［ｍｍ］程度になると立体感はより明確になり、その反面、背景のぼやけ具合は大きくなっていく。そして、基線長が６５［ｍｍ］を超える領域になると、箱庭効果が生じて不自然な画作りになってしまうと考えられる。したがって、立体映像として自然に見える範囲としては、基線長が７乃至６５［ｍｍ］程度であると考えられる。
【００４０】
［ズームによる拡大と視差との関係］
図５は、ズームによる拡大と視差との関係を示す図である。図５（ａ）では、左眼位置をＬ、右眼位置をＲとし、被写体上の点をＡおよびＢとしている。Ａ点を見込んだ角ＬＡＲ（絶対視差）をＡ点の輻輳角θＡとし、Ｂ点を見込んだ角ＬＢＲ（絶対視差）をＢ点の輻輳角θＢとすると、Ａ点とＢ点の視差（相対視差）ｄは、次式により与えられる。なお、以下では相対視差を単に「視差」と呼称する。
ｄ＝θＢ−θＡ
ここで、角ＡＬＢをｈ、角ＡＲＢをｇとすると、輻輳角θＡはほぼｈと等しく、輻輳角θＢはほぼｇと等しい。したがって、次式が成り立つ。
ｄ＝ｇ−ｈ
【００４１】
また、両眼間距離をＤ、両眼からＡ点までの距離をＤＡ、両眼からＢ点までの距離をＤＢとし、両眼から見たＡ点とＢ点との距離をδとすると、
ｄ≒Ｄδ／（ＤＡ２−δＤＡ）
ここで、ＤＡ，ＤＢ＞＞Ｄより、
ｄ≒Ｄδ／ＤＡ２
が成り立つ。
【００４２】
図５（ｂ）は、図５（ａ）に比べてｎ倍の拡大を行った場合の位置関係を示す図である。ここでは、ズーム後に変化した角度や位置および距離にはそれぞれの記号の最後にダッシュを付加している。ｎ倍の拡大であるから、
ｇ'＝ｎｇ
ｈ'＝ｎｈ
となる。このとき、視差ｄ'は、次式のように表される。
ｄ'＝ＤＢ'−ＤＡ'
＝ｇ'−ｈ'
＝ｎ（ｇ−ｈ）
＝ｎｄ
すなわち、ｎ倍の拡大によりｎ倍の視差が生じることになる。これは、テレ端側へズームしていくと立体感が増すことを意味する。換言すれば、ズーム撮影においては、短い基線長でも適正な視差を得ることができることになる。
【００４３】
このように、本技術の第１の実施の形態によれば、一つの交換レンズ１１０によって集光された光をミラー１４３乃至１４６によって左右に分光することにより、両眼に提示される画像の視差を適正に小さくすることができる。本技術の実施の形態において得られる視差は、絞り１１３の口径およびズーム撮影におけるズーム比（拡大率）によって制御可能である。一般に、視差に対する眼の感度は高く、通常視力が視角で分オーダであるのに対し、視差については１オーダ高い分解能があるとされている（C.W.Tyler, "Spatial Organization of Binocular Disparity Sensitivity", Vision Research, Vol.15, pp.583-590, Pergamon Press (1975).）。したがって、視差を適正に小さくすることは、上の例よりも小さな視差の条件下であっても、自然に立体感を知覚させ、視覚疲労を軽減するためにも重要である。
【００４４】
また、この第１の実施の形態によれば、視差検出画像に加えて高画質な基本画像を撮像することができる。これら基本画像および視差検出画像を用いることにより、以下のように高画質な視差画像を生成することができる。
【００４５】
＜２．第２の実施の形態＞
［撮像装置の構成］
図６は、本技術の第２の実施の形態における撮像装置の一構成例を示す図である。この映像記録再生システムは、撮像部１００と、映像生成部２００と、映像記憶部３００とを備えている。
【００４６】
撮像部１００は、第１の実施の形態として説明した撮像部であり、被写体からの入射光を受けて撮像素子１７１および１７２によって視差検出画像を生成し、撮像素子１７３によって基本画像を生成する。
【００４７】
映像生成部２００は、撮像部１００から出力された基本画像および視差検出画像に基づいて高画質な視差画像を生成し、その視差画像の映像データを映像記憶部３００に記録するものである。この映像生成部２００の構成については後述する。
【００４８】
映像記憶部３００は、映像生成部２００から出力された視差画像の映像データを記憶するものである。
【００４９】
［映像生成部の構成］
図７は、本技術の第２の実施の形態における映像生成部２００の構成例を示す図である。この映像生成部２００は、信号処理部２１１乃至２１３と、画像メモリ２２１および２２２と、視差画像生成部２４１および２４２と、符号化部２３１および２３２とを備えている。
【００５０】
信号処理部２１１乃至２１３は、撮像部１００から出力された基本画像および視差検出画像の映像データをそれぞれ受け取り、所定の信号処理を施すものである。この信号処理部２１１乃至２１３は、撮像データをＡ／Ｄ（Analog to Digital）変換し、デモザイク処理やホワイトバランス調整処理等の各種信号処理を施す。
【００５１】
視差画像生成部２４１および２４２は、基本画像および視差検出画像に基づいて視差画像を生成するものである。この視差画像生成部２４１および２４２の詳細については後述する。
【００５２】
画像メモリ２２１および２２２は、信号処理部２１１乃至２１３によって処理された映像データおよび視差画像生成部２４１および２４２によって生成された視差画像の映像データを一時的に保持するメモリである。
【００５３】
符号化部２３１および２３２は、画像メモリ２２１および２２２に保持された視差画像の映像データを符号化して映像記憶部３００に出力するものである。
【００５４】
［視差画像生成部の構成］
図８は、本技術の第２の実施の形態における視差画像生成部２４１および２４２の一構成例を示す図である。この視差画像生成部２４１および２４２は、それぞれ対応画素探索部２４５と、画素移動部２４６とを備えている。
【００５５】
対応画素探索部２４５は、視差検出画像の各画素について、基本画像における対応画素を探索するものである。この対応画素探索部２４５は、視差検出画像の左右それぞれの画像において探索領域を設け、基本画像の一部の領域をテンプレートとして探索を行う。この探索においては、相関係数法、ＳＳＤＡ（Sequential Similarity Detection Algorithm）法、最小二乗マッチング等が用いられる。すなわち、画素の一定の単位ごとに相関計算や差分絶対和計算等による評価を行い、相関が最大となる画素、または、差分絶対和が最小となる画素を対応画素として探索する。
【００５６】
ここで、例えば、差分二乗和や差分絶対値和を用いて対応画素を探索する際には、以下のように評価が行われる。まず、横Ｘ画素×縦Ｙ画素の視差検出画像において横ｐ画素×縦ｑ画素の探索領域を想定する。また、基本画像において横ｍ画素×縦ｎ画素の探索領域を想定する。ただし、ｍはｐより小さく、ｎはｑよりも小さい整数である。視差検出画像の探索領域において、基本画像の探索領域を順次移動させながら差分二乗和または差分絶対値和を求める。
【００５７】
視差検出画像の画素値をＩ（ｉ，ｊ）、基本画像の画素値をＴ（ｉ，ｊ）とすると、差分二乗和（ＳＳＤ：Sum of Squared Difference）は次式により求められる。
【数１】
また、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）は次式により求められる。
【数２】
この差分二乗和または差分絶対値和が最小となる位置のテンプレートの中心に位置する画素が対応画素になる。差分絶対値和が最小となるのは、基本画像と視差検出画像とが最も類似している領域であるから、対応画素には同じ被写体が表示されているものと推定することができる。
【００５８】
一方、例えば、正規化相互相関を用いて対応画素を探索する際には、以下のように評価が行われる。視差検出画像の探索領域と、基本画像の探索領域との関係は上述のものと同様である。視差検出画像の探索領域において、基本画像の探索領域を順次移動させながら正規化相互相関を求める。
【００５９】
正規化相互相関（ＮＣＣ：Normalized Correlation Coefficient）は次式により求められる。
【数３】
この正規化相互相関が最大となる位置のテンプレートの中心に位置する画素が対応画素になる。この正規化相互相関を利用することにより、視差検出画像と基本画像とに輝度差がある場合においても、高い精度で対応画素を検出することができる。
【００６０】
画素移動部２４６は、対応画素探索部２４５によって探索された対応画素の情報に基づいて、基本画像の画素を視差検出画像の対応する画素の位置に移動することによって視差画像を生成するものである。基本画像と視差検出画像の画素数が一致しない場合には、基本画像の複数の画素から補間して視差画像の画素値を求めてもよい。
【００６１】
この実施の形態では、視差検出画像は視差情報のみが利用され、明るさや解像度などの画質は基本画像のものが反映される。これにより、左右で画質が均等な視差画像を得ることができる。
【００６２】
［撮像装置の動作］
図９は、本技術の実施の形態における撮像装置の動作例を示す流れ図である。まず、被写体からの入射光は、交換レンズ１１０およびリレーレンズ部１３０を介して平行光領域１４０に導かれ、透過型ミラー１４１およびミラー１４３乃至１４６によって分離される（ステップＳ９０１）。
【００６３】
透過型ミラー１４１およびミラー１４２によって集光レンズ１５３に導かれた光は撮像素子１７３において光電変換されて、基本画像が生成される（ステップＳ９０２）。また、ミラー１４３乃至１４６によって集光レンズ１５１および１５２に導かれた光は撮像素子１７１および１７２において光電変換されて、視差検出画像が生成される（ステップＳ９０２）。これら基本画像および視差検出画像の生成は独立して行われ、各画像の生成レートは異なっていても構わない。
【００６４】
また、視差画像生成部２４１および２４２の対応画素探索部２４５において、基本画像と視差検出画像の対応画素が探索される（ステップＳ９０３）。この対応画素の探索は、左右の視差検出画像のそれぞれについて行われる。
【００６５】
そして、視差画像生成部２４１および２４２の画素移動部２４６において、対応画素の情報に基づいて、基本画像の画素を視差検出画像の対応する画素の位置に移動することによって視差画像が生成される（ステップＳ９０４）。
【００６６】
このように、第２の実施の形態によれば、１つの高画質な基本画像の画素を用いて視差画像を生成することにより、明るさや解像度等の画質として基本画像のものを視差画像に反映することができ、左右の間で画質が均等な視差画像を得ることができる。
【００６７】
＜３．第３の実施の形態＞
第２の実施の形態では、画像メモリ２２１および２２２に保持された基本画像および視差検出画像に基づいて視差画像を生成していたが、この第３の実施の形態では画像メモリ２２１および２２２へ保持される前に視差画像を生成する。すなわち、この第３の実施の形態では、基本画像および視差検出画像がＲＡＷ画像である状態で、信号処理部２１３を用いることなく、視差画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。
【００６８】
［映像生成部の構成］
図１０は、本技術の第３の実施の形態における映像生成部２００の構成例を示す図である。この第３の実施の形態における映像生成部２００は、図７における信号処理部２１３を不要とし、視差画像生成部２４１および２４２をそれぞれ信号処理部２１１および２１２に接続することにより構成される。
【００６９】
信号処理部２１１および２１２は、撮像部１００から出力された基本画像および視差検出画像の映像データをそれぞれ受け取り、Ａ／Ｄ変換を施して、視差画像生成部２４１および２４２にそれぞれ供給する。
【００７０】
視差画像生成部２４１および２４２は、それぞれ信号処理部２１１および２１２から供給された基本画像および視差検出画像の映像データに基づいて視差画像を生成し、それぞれ信号処理部２１１および２１２に供給する。なお、視差画像生成部２４１および２４２の構成については、図８により説明したものと同様であるため、説明を省略する。
【００７１】
そして、信号処理部２１１および２１２は、視差画像生成部２４１および２４２から供給された視差画像に対してデモザイク処理やホワイトバランス調整処理等の各種信号処理を施して、それぞれ画像メモリ２２１および２２２に保持させる。
【００７２】
符号化部２３１および２３２は、画像メモリ２２１および２２２に保持された視差画像の映像データを符号化して映像記憶部３００に出力する。
【００７３】
このように、第３の実施の形態によれば、基本画像および視差検出画像がＲＡＷ画像である状態において視差画像を生成することにより、より高品質な視差画像を得ることができる。
【００７４】
＜４．第４の実施の形態＞
この第４の実施の形態では、視差画像を時間方向に補間して任意の時刻の画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。
【００７５】
［映像生成部の構成］
図１１は、本技術の第４の実施の形態における映像生成部２００の構成例を示す図である。この第４の実施の形態における映像生成部２００は、第２の実施の形態と比べて、時間方向補間部２５１および２５２が、それぞれ画像メモリ２２１または２２２に接続されている点で異なる。時間方向補間部２５１および２５２は、それぞれ画像メモリ２２１および２２２に保持されている視差画像の映像データについて、時間方向の補間を行うものである。
【００７６】
［時間方向補間部の構成］
図１２は、本技術の第４の実施の形態における時間方向補間部２５１および２５２の構成例を示す図である。この時間方向補間部２５１および２５２は、それぞれフレームバッファ２５４と、対応画素探索部２５５と、補間処理部２５６とを備えている。
【００７７】
フレームバッファ２５４は、視差画像の映像データをフレーム毎に保持するバッファである。視差画像の映像データは時系列のフレームにより構成されており、そのフレームをフレームバッファ２５４に一旦保持することにより、対応画素探索部２５５において異なるフレーム同士の比較を行うことができる。例えば、視差画像の映像データの直前のフレームをフレームバッファ２５４に保持しておくことにより、画像メモリ２２１または２２２から供給されている現在のフレームとその直前のフレームの両者を対応画素探索部２５５に供給することができる。なお、視差画像には左右の画像が存在するため、フレームバッファ２５４は少なくとも２枚のフレームを保持する必要がある。
【００７８】
対応画素探索部２５５は、視差画像の映像データの現在のフレームとフレームバッファ２５４に保持されたフレームとを比較することにより、両フレームにおける対応画素を探索するものである。この対応画素探索部２５５は、フレームバッファ２５４に保持された視差画像の左右それぞれの画像において探索領域を設け、現在の視差画像の一部の領域をテンプレートとして探索を行う。この探索においては、上述の対応画素探索部２４５と同様の手法を採ることができるため、詳細な説明は省略する。
【００７９】
補間処理部２５６は、対応画素探索部２５５によって探索された対応画素の情報に基づいて、任意の時刻における画素値を補間により生成するものである。ここで、フレームバッファ２５４に保持された視差画像を過去データとし、画像メモリ２２１または２２２から供給されている現在の視差画像を現在データとする。まず、過去データから現在データへ対応画素間を結ぶ移動ベクトルの中点座標（ｕ，ｖ）において、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）が算出される。
【００８０】
この場合のｕ−ｖ空間は、視差画像のＸ−Ｙ空間に必ずしも一致しない。そこで、全域の画素値ｓ（ｕ，ｖ）からＸ−Ｙ空間の画素値Ｆ（Ｘ，Ｙ）を、補間処理により生成する。この場合の補間処理としては、例えば、以下のような線形補間法を採用することができる。ただし、Ｆ0は求める画素値Ｆ（Ｘ，Ｙ）、ｓiは既知の画素値ｓ（ｕ，ｖ）、ｔは計算に用いられる近接点数である。また、ｗiは重みであり、座標（Ｘ，Ｙ）への距離の逆数を用いることができる。
【数４】
【００８１】
ここでは、過去データと現在データの対応画素の画素値の平均値を算出することにより移動ベクトルの中点における画素値を求めたが、任意の比率の点を線形比で計算することにより、任意の時刻における画素値を生成してもよい。
【００８２】
［時間方向補間部の動作］
図１３は、本技術の第４の実施の形態における時間方向補間部２５１および２５２の動作例を示す流れ図である。時間方向補間部２５１および２５２は、以下の処理を視差画像のフレームレート毎に繰り返す（Ｌ９１０）。
【００８３】
まず、画像メモリ２２１または２２２から新たな視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）が取得される（ステップＳ９１１）。また、フレームバッファ２５４に保持されていたフレームをｆ＿ｏｌｄ（Ｘ，Ｙ）とする（ステップＳ９１２）。そして、対応画素探索部２５５は、視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）とフレームｆ＿ｏｌｄ（Ｘ，Ｙ）とを比較することにより、両フレームにおける対応画素を探索する（ステップＳ９１３）。
【００８４】
補間処理部２５６は、探索された対応画素間を結ぶ移動ベクトルの中点座標（ｕ，ｖ）を生成し（ステップＳ９１４）、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）を算出する（ステップＳ９１５）。そして、補間処理部２５６は、線形補間法等により画素値Ｆ（Ｘ，Ｙ）を求める（ステップＳ９１６）。この画素値Ｆ（Ｘ，Ｙ）は、中間時刻の映像として出力される（ステップＳ９１７）。
【００８５】
そして、視差画像の次のフレームの処理の前に、視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）がフレームバッファ２５４に保持される（ステップＳ９１８）。
【００８６】
このように、第４の実施の形態によれば、視差画像のフレームレートを向上させることができる。なお、ここでは、視差画像を時間方向に補間する実施態様について説明したが、視差検出画像または基本画像を補間するようにしてもよい。
【００８７】
＜５．第５の実施の形態＞
この第５の実施の形態では、視差画像を空間方向に補間して任意の位置の視点の画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。
【００８８】
［映像生成部の構成］
図１４は、本技術の第５の実施の形態における映像生成部２００の構成例を示す図である。この第５の実施の形態における映像生成部２００は、第２の実施の形態と比べて、空間方向補間部２６０が、画像メモリ２２１および２２２に接続されている点で異なる。空間方向補間部２６０は、画像メモリ２２１および２２２に保持されている視差画像の映像データについて、空間方向の補間を行うものである。
【００８９】
［空間方向補間部の構成］
図１５は、本技術の第５の実施の形態における空間方向補間部２６０の構成例を示す図である。この空間方向補間部２６０は、対応画素探索部２６５と、補間処理部２６６とを備えている。
【００９０】
対応画素探索部２６５は、視差画像の左画像のフレームと右画像のフレームとを比較することにより、両フレームにおける対応画素を探索するものである。この対応画素探索部２６５は、左右画像の一方の画像において探索領域を設け、他方の画像の一部の領域をテンプレートとして探索を行う。この探索においては、上述の対応画素探索部２４５と同様の手法を採ることができるため、詳細な説明は省略する。
【００９１】
補間処理部２６６は、対応画素探索部２６５によって探索された対応画素の情報に基づいて、任意の位置の視点における画素値を補間により生成するものである。ここで、一方の画像を第１視点データとし、他方の画像を第２視点データとする。まず、第１視点データから第２視点データへ対応画素間を結ぶベクトルの中点座標（ｕ，ｖ）において、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）が算出される。
【００９２】
この場合のｕ−ｖ空間も、第４の実施の形態の場合と同様に、視差画像のＸ−Ｙ空間に必ずしも一致しない。そこで、全域の画素値ｓ（ｕ，ｖ）からＸ−Ｙ空間の画素値Ｆ（Ｘ，Ｙ）を、補間処理により生成する。補間処理の内容についても第４の実施の形態の場合と同様であるため、詳細な説明は省略する。
【００９３】
ここでは、第１視点データと第２視点データの対応画素の画素値の平均値を算出することによりベクトルの中点における画素値を求めたが、任意の比率の点を線形比で計算することにより、任意の位置の視点における画素値を生成してもよい。
【００９４】
［空間方向補間部の動作］
図１６は、本技術の第５の実施の形態における空間方向補間部２６０の動作例を示す流れ図である。空間方向補間部２６０は、以下の処理を視差画像のフレームレート毎に繰り返す（Ｌ９２０）。
【００９５】
まず、画像メモリ２２１から新たな視差画像の左画像のフレームｆ＿ｌｅｆｔ（Ｘ，Ｙ）が取得される（ステップＳ９２１）。また、画像メモリ２２２から新たな視差画像の右画像のフレームｆ＿ｒｉｇｈｔ（Ｘ，Ｙ）が取得される（ステップＳ９２２）。そして、対応画素探索部２６５は、視差画像のフレームｆ＿ｌｅｆｔ（Ｘ，Ｙ）とフレームｆ＿ｒｉｇｈｔ（Ｘ，Ｙ）とを比較することにより、両フレームにおける対応画素を探索する（ステップＳ９２３）。
【００９６】
補間処理部２６６は、探索された対応画素間を結ぶベクトルの中点座標（ｕ，ｖ）を生成し（ステップＳ９２４）、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）を算出する（ステップＳ９２５）。そして、補間処理部２６６は、線形補間法等により画素値Ｆ（Ｘ，Ｙ）を求める（ステップＳ９２６）。この画素値Ｆ（Ｘ，Ｙ）は、中間時刻の映像として出力される（ステップＳ９２７）。
【００９７】
このように、第５の実施の形態によれば、任意の位置の視点における視差画像を生成することができる。なお、ここでは視差画像の左画像と右画像に基づいて対応画素を探索することを想定したが、基本画像と視差画像の左右画像の一方とを比較することにより、両画像における対応画素を探索するようにしてもよい。
【００９８】
＜６．第６の実施の形態＞
［映像記録再生システムの構成］
図１７は、本技術の第６の実施の形態における映像記録再生システムの一構成例を示す図である。この映像記録再生システムは、撮像部１００と、映像生成部２００と、映像記憶部３００と、映像再生部４００と、表示部５００とを備えている。撮像部１００、映像生成部２００および映像記憶部３００については、図６において説明したものと同様であるため、説明を省略する。
【００９９】
映像再生部４００は、映像記憶部３００に記憶された映像データを読み出して、再生するものである。この映像再生部４００は、左右の視差画像の映像データに対応して、復号部４１１および４１２と、表示制御部４２１および４２２とを備えている。復号部４１１および４１２は、映像記憶部３００から読み出された視差画像の映像データを復号するものである。表示制御部４２１および４２２は、復号部４１１および４１２によって復号された視差画像の映像データを表示部５００に表示させるように制御するものである。
【０１００】
表示部５００は、映像再生部４００から出力された視差画像の映像データを表示するものである。この表示部５００としては、例えば、２台のプロジェクタに円偏光または直線偏光フィルターを取り付けて左右眼用の視差画像をそれぞれ提示し、表示に対応した円偏光または直線偏光眼鏡で観視するような態様が考えられる。また、フィルター付きフラットパネルディスプレイにおいて、同様に左右眼用の視差画像を同時に提示し、レンチキュラーレンズ、パララックスバリア方式等の眼鏡なし立体表示装置等を利用してもよい。このように、本技術の実施の形態では、左右眼用の画像を交互に提示するのではなく、同時に提示することにより、視覚疲労を軽減している。
【０１０１】
また、本技術の実施の形態では、撮像部１００における映像データの生成から、表示部５００における映像データの表示までを、高フレームレート化することにより、動きによるボケ（Blur）やジャーキネス（Jerkiness）の解消を図る。動きによるボケは、撮影時のＭＴＦ（Modulation Transfer Function）の低下に加えて、特に、ホールド型表示において移動する被写体を追従して見る際（追従視）、映像の網膜上のスリップにより多く発生する。ここで、ホールド型表示は、フレーム期間中、フィルムや液晶プロジェクタ等に映像が継続して表示されることを意味する。また、ジャーキネスは、映像の滑らかさを失われて、動きがギクシャクすることをいう。このジャーキネスは、高速シャッターを用いて撮影された映像を、視線を固定して見る際（固定視）に多く発生する。こうした動画質劣化には、撮影と表示のフレームレートやカメラの撮影の開口率（開口時間／フレーム時間）、視覚特性等が関与する。
【０１０２】
このように、本技術の第６の実施の形態によれば、高画質な視差画像を撮像および再生することができる。
【０１０３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１０４】
なお、本技術は以下のような構成もとることができる。
（１）被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と
を具備する撮像装置。
（２）前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部をさらに具備する前記（１）に記載の撮像装置。
（３）前記視差画像生成部は、
前記基本画像と前記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、
前記探索結果に基づいて前記基本画像の画素を前記視差検出画像において対応する画素の位置へ移動することにより前記視差画像を生成する画素移動部と
を備える前記（２）に記載の撮像装置。
（４）前記基本画像または前記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの前記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備する前記（２）または（３）に記載の撮像装置。
（５）前記基本画像または前記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備する前記（２）または（３）に記載の撮像装置。
（６）前記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで前記基本画像または前記視差検出画像を生成する前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（８）前記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（９）前記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（１０）被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、
前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部と、
前記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、
前記記憶部に記録された前記左右の映像データを同時に再生表示させる映像再生部と
を具備する映像記録再生システム。
【符号の説明】
【０１０５】
１００ 撮像部
１１０ 交換レンズ
１１５ 瞳
１２０ レンズマウント
１３０ リレーレンズ部
１４０ 平行光領域
１４１ 透過型ミラー
１４２〜１４６ ミラー
１５１〜１５３ 集光レンズ
１７１〜１７３ 撮像素子
２００ 映像生成部
２１１〜２１３ 信号処理部
２２１、２２２ 画像メモリ
２３１、２３２ 符号化部
２４１、２４２ 視差画像生成部
２４５、２５５、２６５ 対応画素探索部
２４６ 画素移動部
２５１ 時間方向補間部
２５４ フレームバッファ
２５６、２６６ 補間処理部
２６０ 空間方向補間部
３００ 映像記憶部
４００ 映像再生部
４１１、４１２ 復号部
４２１、４２２ 表示制御部
５００ 表示部
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に被写体を立体画像として撮像する撮像装置、および、映像記録再生システムに関する。
【背景技術】
【０００２】
従来、共通の被写体を左右２台のビデオカメラによって同時に撮像しておいて、その左右の映像を同時に出力することにより立体画像を表示するシステムが提案されている。しかしながら、このような２台のビデオカメラを用いたシステムは、装置として大型化してしまい機動性に欠けるだけでなく、左右のビデオカメラの光軸のずれ等が生じやすく、適切な視差を有する画像を得ることは困難である。例えば、２台のビデオカメラの間隔が大きくなってしまったり、各ビデオカメラのレンズの個体差によってズーム中に左右の光軸がずれてしまったり、左右の画面サイズが異なってしまうおそれがある。また、フォーカス操作の際に、左右のビデオカメラを被写体に向ける輻輳動作時に、左右のビデオカメラが例えば上下にずれてしまうおそれもある。
【０００３】
このような左右のビデオカメラにおける光軸のずれ等が生じると、立体画像を視聴するユーザの視覚系に日常とは異なる情報処理を強いることになり、視覚疲労の要因となる。さらに、ユーザが左右の画像を、立体視用の眼鏡を使わずにそのまま重ねて眺めた際には、被写体が二重に見えて不自然な映像になってしまう。
【０００４】
そのため、１つのレンズの瞳となる領域において、被写体からの光をミラーによって２つの光束に分離して撮像する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置では、分離された２つの光束のそれぞれについて撮像を行うことにより、立体視のための左右の映像データを得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−８１５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、被写体からの光をミラーによって左右に分離することにより、立体視のための左右の映像データを得ることができる。しかしながら、この場合、被写体からミラーに対する入射角度等によって、分離される光の太さが変化してしまい、左右の画像の明るさが不均衡になって、画質が劣化してしまうおそれがある。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、左右の画像の画質が均等で高品質な立体画像を生成するための撮像を行うことを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送して平行光とするリレーレンズと、上記平行光を透過および反射する半透過膜と、上記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる第１および第２の結像レンズと、上記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、上記半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる第３の結像レンズと、上記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子とを具備する撮像装置である。これにより、基本画像と視差検出画像とを同時に生成させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記基本画像と上記視差検出画像のそれぞれとを比較することにより上記視差検出画像のそれぞれと同じ視点の視差画像を上記基本画像に基づいて生成する視差画像生成部をさらに具備するようにしてもよい。これにより、視差画像を生成させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記視差画像生成部は、上記基本画像と上記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、上記探索結果に基づいて上記基本画像の画素を上記視差検出画像において対応する画素の位置へ移動することにより上記視差画像を生成する画素移動部とを備えてもよい。これにより、探索結果に基づいて基本画像の画素を視差検出画像における対応画素の位置へ移動することにより視差画像を生成させるという作用をもたらす。
【００１１】
また、この第１の側面において、上記基本画像または上記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの上記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて上記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備してもよい。これにより、フレームレートを向上させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記基本画像または上記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて上記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備するようにしてもよい。これにより、任意の位置の視点における視差画像を生成させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで上記基本画像または上記視差検出画像を生成してもよい。また、上記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで上記視差検出画像を生成してもよい。また、上記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで上記視差検出画像を生成してもよい。さらに、上記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで上記視差検出画像を生成してもよい。
【００１４】
また、本技術の第２の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送して平行光とするリレーレンズと、上記平行光を透過および反射する半透過膜と、上記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる第１および第２の結像レンズと、上記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、上記半透過膜によって反射または透過された光のうち上記ミラーに導かれなかった光を結像させる第３の結像レンズと、上記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、上記基本画像と上記視差検出画像のそれぞれとを比較することにより上記視差検出画像のそれぞれと同じ視点の視差画像を上記基本画像に基づいて生成する視差画像生成部と、上記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、上記記憶部に記録された上記左右の映像データを同時に再生表示させる映像再生部とを具備する映像記録再生システムである。これにより、高画質な視差画像を撮像および再生させるという作用をもたらす。
【発明の効果】
【００１５】
本技術によれば、左右の画像の画質が均等で高品質な立体画像を生成するための撮像を行うことができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１６】
【図１】本技術の実施の形態における撮像部の構造例を示す図である。
【図２】本技術の実施の形態における撮像素子１７１乃至１７３の構成例を示す図である。
【図３】本技術の実施の形態による撮像部における瞳１１５のイメージ図である。
【図４】重心間距離Ｄと基線長（ベースライン）との関係を示す図である。
【図５】ズームによる拡大と視差との関係を示す図である。
【図６】本技術の第２の実施の形態における撮像装置の一構成例を示す図である。
【図７】本技術の第２の実施の形態における映像生成部２００の構成例を示す図である。
【図８】本技術の第２の実施の形態における視差画像生成部２４１および２４２の一構成例を示す図である。
【図９】本技術の第２の実施の形態における撮像装置の動作例を示す流れ図である。
【図１０】本技術の第３の実施の形態における映像生成部２００の構成例を示す図である。
【図１１】本技術の第４の実施の形態における映像生成部２００の構成例を示す図である。
【図１２】本技術の第４の実施の形態における時間方向補間部２５１および２５２の構成例を示す図である。
【図１３】本技術の第４の実施の形態における時間方向補間部２５１および２５２の動作例を示す流れ図である。
【図１４】本技術の第５の実施の形態における映像生成部２００の構成例を示す図である。
【図１５】本技術の第５の実施の形態における空間方向補間部２６０の構成例を示す図である。
【図１６】本技術の第５の実施の形態における空間方向補間部２６０の動作例を示す流れ図である。
【図１７】本技術の第６の実施の形態における映像記録再生システムの一構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（基本画像および視差検出画像を生成する撮像部の例）
２．第２の実施の形態（基本画像および視差検出画像に基づいて視差画像を生成する撮像装置の例）
３．第３の実施の形態（基本画像および視差検出画像のＲＡＷ画像に基づいて視差画像を生成する撮像装置の例）
４．第４の実施の形態（時間方向補間を行う撮像装置の例）
５．第５の実施の形態（空間方向補間を行う撮像装置の例）
６．第６の実施の形態（映像記録再生システムの例）
【００１８】
＜１．第１の実施の形態＞
［撮像部の構造］
図１は、本技術の実施の形態における撮像部の構造例を示す図である。同図（ａ）は被写体に向かって左から見た側面断面図であり、同図（ｂ）は上面断面図である。同図（ｂ）における上部が被写体に向かって右方向であり、下部が被写体に向かって左方向である。なお、同図（ｂ）では、上方のミラー１４２、集光レンズ１５３、および、撮像素子１７３は表示を省略している。
【００１９】
この撮像部は、被写体からの入射光１０１を受けて左右の撮像素子１７１および１７２と、中央の撮像素子１７３とに結像させ、左右および中央の映像データを生成するものである。撮像部本体には、レンズマウント１２０を介して交換レンズ１１０が取り付けられるようになっている。この交換レンズ１１０は、被写体からの入射光１０１を集光するレンズ群であり、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等のレンズ群の他、交換レンズ１１０としての絞り１１３を備えている。瞳１１５は、レンズを被写体側あるいは結像側から見たときの開口絞りの像である。なお、交換レンズ１１０は、特許請求の範囲に記載の撮影レンズの一例である。
【００２０】
レンズマウント１２０は、交換レンズ１１０を撮像部本体に取り付けるものである。このレンズマウント１２０の内部においては、集光された光は一旦結像されており、左右が反転した倒立像になる。
【００２１】
レンズマウント１２０の次段にはリレーレンズ部１３０が配置される。リレーレンズ部１３０は、レンズマウント１２０までに集光された光を平行光領域１４０まで伝送するレンズを備える。レンズマウント１２０までに集光された光は空中像１３１を形成する。このリレーレンズ部１３０におけるレンズにより、交換レンズ１１０の対物焦点位置（すなわち、被写体の位置）における点光源からの拡散光は、領域１４０において平行光となる。この平行光領域１４０には、絞り１１３とは別の絞りをさらに設けてもよい。なお、リレーレンズ部１３０は、特許請求の範囲に記載のリレーレンズの一例である。
【００２２】
リレーレンズ部１３０の次段には透過型ミラー１４１およびミラー１４３乃至１４６が配置される。これら透過型ミラー１４１およびミラー１４３乃至１４６は、平行光領域１４０の位置に配置され、集光された光を分光する分光鏡である。まず、同一撮影対象の光量全体は、任意に設定した反射率を有する透過型ミラー１４１により透過および反射され、２つに分光される。この場合、透過および反射された光に含まれる像は同じものである。
【００２３】
透過型ミラー１４１は、受けた光を反射および透過するミラーである。この透過型ミラー１４１は、例えば、薄膜をガラス表面に蒸着させたＡＲコート（Anti-Reflection Coat）により実現することができる。このＡＲコートでは、薄膜の反射率を制御することにより透過率を制御することができる。例えば、５０％透過、５０％反射のハーフミラーを用いた場合、ミラー１４２側に入射光の５０％が反射され、ミラー１４３乃至１４６側に入射光の５０％が透過される。
【００２４】
透過型ミラー１４１によって反射された光は、上方向に設置されたミラー１４２によって反射されて集光レンズ１５３に入光される。透過型ミラー１４１を透過した光のうち被写体に向かって左側から見た光の成分は、左右反転のためミラー１４３および１４５に反射される。同様に、透過型ミラー１４１を透過した光のうち被写体に向かって右側から見た光の成分は、ミラー１４４および１４６に反射される。このように、透過型ミラー１４１を透過した光は、ミラー１４２乃至１４６によって左右に分光される。このミラー１４３および１４４が配置される位置は平行光領域１４０に含まれるため、左側および右側から見た光の成分のそれぞれに分光される。上述の例のように、ミラー１４３乃至１４６側に入射光の５０％が透過された場合、その透過された光はミラー１４３および１４４によって分光されて、その光量は入射光の２５％ずつになる。
【００２５】
透過型ミラー１４１、ミラー１４３および１４５によって分光された光、すなわち被写体を左側から見た成分の光は、結像用の集光レンズ１５１に入光される。また、透過型ミラー１４１、ミラー１４４および１４６によって分光された光、すなわち被写体を右側から見た成分の光は、結像用の集光レンズ１５２に入光される。透過型ミラー１４１およびミラー１４２によって反射された光、すなわち被写体を中央から見た成分の光は、結像用の集光レンズ１５３に入光される。
【００２６】
集光レンズ１５１および１５２は、入光された光をそれぞれ撮像素子１７１および１７２の受光面に対して結像させる。集光レンズ１５３は、入光された光を撮像素子１７３の受光面に対して結像させる。これら撮像素子１７１乃至１７３に入光された光は、それぞれ正立像となる。ここでは、例として、透過型ミラー１４１を透過した光を左右に分光し、反射した光を単一の結像としたが、これらは入れ替えてもよい。すなわち、透過型ミラー１４１によって反射された光を左右に分割し、透過した光を直接結像させるようにしてもよい。なお、集光レンズ１５１および１５２は、特許請求の範囲に記載の結像レンズの一例である。
【００２７】
撮像素子１７１乃至１７３は、それぞれ集光レンズ１５１乃至１５３から入光された光を電子信号に変換する光電変換素子である。この撮像素子１７１乃至１７３は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等により実現される。
【００２８】
撮像素子１７１および１７２は、立体視の視差情報を検出するための視差検出画像を生成するために用いられる。撮像素子１７３は、立体視に用いられる視差画像の基となる基本画像を生成するために用いられる。基本画像は、視差検出画像よりも高画質であることが要求される。視差検出画像は視差情報を検出するためのものである一方、基本画像の画質は視差画像の画質に反映されるからである。
【００２９】
図２は、本技術の実施の形態における撮像素子１７１乃至１７３の構成例を示す図である。同図（ａ）は撮像素子１７３の構成例であり、同図（ｂ）は撮像素子１７１および１７２の構成例である。この例では、視差検出画像を生成するための撮像素子１７１および１７２は、それぞれ横１９２０画素、縦１０８０画素の画素数を有する。これに対し、基本画像を生成するための撮像素子１７３は、横３８４０画素、縦２１６０画素の画素数を有する。これらはともに、横１６：縦９の比率となっている。ただし、両者の比率が等しくない場合であっても、本技術を適用することは可能である。
【００３０】
また、撮像素子１７１および１７２のサイズは、例えば対角１／２インチである。これに対し、撮像素子１７３のサイズは、例えば対角２／３インチである。
【００３１】
このように撮像素子１７１乃至１７３の解像度を設定することにより、視差検出画像よりも高画質な基本画像を生成することができる。
【００３２】
また、撮像素子１７１および１７２における画像生成レートと撮像素子１７３における画像生成レートは同じであってもよいが、異なっていてもよい。撮像素子１７３の画素数を撮像素子１７１および１７２よりも高くした場合には、撮像素子１７３の画像生成レートを低く設定することも考えられる。上述の画素数の場合、例えば、撮像素子１７１および１７２の画像生成レートを２４０フレーム／秒として、撮像素子１７３の画像生成レートを１２０フレーム／秒とすることが考えられる。これにより、撮像素子１７３の空間分解能と、撮像素子１７１および１７２の時間分解能とを使い分けることができるようになる。
【００３３】
映画では毎秒２４フレーム（２４Ｈｚ）、テレビでは毎秒６０フィールド（６０Ｈｚ）のフレームレートが標準的に用いられている。本技術の実施の形態では、動きによるボケやジャーキネスを考慮して、毎秒６０フレーム（６０Ｈｚ）以上のレート、好ましくは毎秒２３０乃至２５０フレーム（２４０Ｈｚ±１０Ｈｚ）のレートで電子信号から撮像画像を生成する。これにより、時間方向の分解能の不足を解消している。さらに、放送方式を考慮すると、ヨーロッパで多く用いられている毎秒５０フレーム（５０Ｈｚ）と日本アメリカで用いられている毎秒６０フレーム（６０Ｈｚ）の公倍数として、毎秒２９０乃至３１０フレーム（３００Ｈｚ±１０Ｈｚ）のレートが好ましい。また、さらに映画の毎秒２４フレーム（２４Ｈｚ）を加えた公倍数として、毎秒５９０乃至６１０フレーム（６００Ｈｚ±１０Ｈｚ）のレートも、画像合成や、レート変換の処理などの、画像処理を容易にする点で重用である。したがって、撮像素子１７１乃至１７３の画像生成レートを設定するにあたっては、これらを考慮することが望ましい。
【００３４】
［瞳の分割］
図３は、本技術の実施の形態による撮像部における瞳１１５のイメージ図である。瞳（pupil）とは、レンズを被写体側あるいは結像側から見たときの開口絞りの像である。本技術の実施の形態による撮像部で、瞳１１５に相当する円の半径をｒとすると、次式が成り立つ。
２ｒ＝ｆ／Ｆ （式１）
ただし、ｆは焦点距離であり、ＦはＦ値である。したがって、焦点距離を固定した場合、瞳１１５の直径２ｒとＦ値は反比例の関係にあることがわかる。
【００３５】
本発明の実施の形態では、集光された光を、平行光領域の位置で左右に分光するため、瞳１１５の円を左右に分割した左半円および右半円について考察する。上述のとおり、立体感は、両眼間の視差（相対視差）に基づいて得られる。このとき、視差を決定する光軸は左半円および右半円のそれぞれの重心を通るものと考えられる。半径ｒの半円の重心は、幾何学的に求めることができ、円の中心から４ｒ／３πの距離に位置する。したがって、左半円の重心５０１と右半円の重心５０２との距離（重心間距離Ｄ）は、次式のようになることがわかる。
Ｄ＝８ｒ／３π （式２）
すなわち、重心間距離Ｄは絞り１１３を絞ると、それに比例して小さくなることがわかる。換言すれば、絞り１１３の口径を変化させることにより、得られる立体感を調整することができることになる。このような前提を確認するために行った実験の結果を以下に示す。
【００３６】
［重心間距離と基線長（ベースライン）との関係］
図４は、重心間距離Ｄと基線長（ベースライン）との関係を示す図である。ここでは、交換レンズ１１０として＃Ａおよび＃Ｂの２種類のレンズについて、重心間距離の理論値と基線長の実験値とを示している。
【００３７】
レンズ＃Ａは、開放Ｆ値が１．８で、焦点距離が１０乃至１００［ｍｍ（ミリメートル）］のズームレンズである。このレンズ＃Ａのズーム比は１０倍であり、ワイド端における焦点距離は１０［ｍｍ］である。レンズ＃Ｂは、開放Ｆ値が２．８で、焦点距離が１３．５乃至５７０［ｍｍ］のズームレンズである。このレンズ＃Ｂのズーム比は４２倍であり、ワイド端における焦点距離は１３．５［ｍｍ］である。両者ともに、撮影距離は６．５［ｍ（メートル）］を想定している。
【００３８】
上述の式１および式２より、レンズ＃Ａおよび＃Ｂの重心間距離Ｄはそれぞれ２３．１［ｍｍ］および１４．９［ｍｍ］であると計算される。一方、実装置において実験により求められた基線長は、レンズ＃Ａおよび＃Ｂについてそれぞれ２０．０［ｍｍ］および１２．０［ｍｍ］となった。この実験結果から、回折効果によると推測される理論値からの減少が見られるものの、絞り１１３の像である瞳の半円の重心間距離Ｄがほぼ基線長に匹敵するものであることがわかる。また、上述の式２より、重心間距離Ｄは絞り１１３の口径によって変化させることが可能であり、したがって、基線長も絞り１１３の口径によって制御可能であることが示された。
【００３９】
本技術の実施の形態における構成例によれば、重心間距離Ｄの最小値としておよそ７［ｍｍ］程度を想定することができる。基線長としてもこの程度の値であれば立体感を感じさせることができると考えられる。特に、撮影距離が長い場合、基線長がある程度ないと立体感が出せなくなると考えられる。基線長を増していくと、およそ３２［ｍｍ］程度になると立体感はより明確になり、その反面、背景のぼやけ具合は大きくなっていく。そして、基線長が６５［ｍｍ］を超える領域になると、箱庭効果が生じて不自然な画作りになってしまうと考えられる。したがって、立体映像として自然に見える範囲としては、基線長が７乃至６５［ｍｍ］程度であると考えられる。
【００４０】
［ズームによる拡大と視差との関係］
図５は、ズームによる拡大と視差との関係を示す図である。図５（ａ）では、左眼位置をＬ、右眼位置をＲとし、被写体上の点をＡおよびＢとしている。Ａ点を見込んだ角ＬＡＲ（絶対視差）をＡ点の輻輳角θＡとし、Ｂ点を見込んだ角ＬＢＲ（絶対視差）をＢ点の輻輳角θＢとすると、Ａ点とＢ点の視差（相対視差）ｄは、次式により与えられる。なお、以下では相対視差を単に「視差」と呼称する。
ｄ＝θＢ−θＡ
ここで、角ＡＬＢをｈ、角ＡＲＢをｇとすると、輻輳角θＡはほぼｈと等しく、輻輳角θＢはほぼｇと等しい。したがって、次式が成り立つ。
ｄ＝ｇ−ｈ
【００４１】
また、両眼間距離をＤ、両眼からＡ点までの距離をＤＡ、両眼からＢ点までの距離をＤＢとし、両眼から見たＡ点とＢ点との距離をδとすると、
ｄ≒Ｄδ／（ＤＡ２−δＤＡ）
ここで、ＤＡ，ＤＢ＞＞Ｄより、
ｄ≒Ｄδ／ＤＡ２
が成り立つ。
【００４２】
図５（ｂ）は、図５（ａ）に比べてｎ倍の拡大を行った場合の位置関係を示す図である。ここでは、ズーム後に変化した角度や位置および距離にはそれぞれの記号の最後にダッシュを付加している。ｎ倍の拡大であるから、
ｇ'＝ｎｇ
ｈ'＝ｎｈ
となる。このとき、視差ｄ'は、次式のように表される。
ｄ'＝ＤＢ'−ＤＡ'
＝ｇ'−ｈ'
＝ｎ（ｇ−ｈ）
＝ｎｄ
すなわち、ｎ倍の拡大によりｎ倍の視差が生じることになる。これは、テレ端側へズームしていくと立体感が増すことを意味する。換言すれば、ズーム撮影においては、短い基線長でも適正な視差を得ることができることになる。
【００４３】
このように、本技術の第１の実施の形態によれば、一つの交換レンズ１１０によって集光された光をミラー１４３乃至１４６によって左右に分光することにより、両眼に提示される画像の視差を適正に小さくすることができる。本技術の実施の形態において得られる視差は、絞り１１３の口径およびズーム撮影におけるズーム比（拡大率）によって制御可能である。一般に、視差に対する眼の感度は高く、通常視力が視角で分オーダであるのに対し、視差については１オーダ高い分解能があるとされている（C.W.Tyler, "Spatial Organization of Binocular Disparity Sensitivity", Vision Research, Vol.15, pp.583-590, Pergamon Press (1975).）。したがって、視差を適正に小さくすることは、上の例よりも小さな視差の条件下であっても、自然に立体感を知覚させ、視覚疲労を軽減するためにも重要である。
【００４４】
また、この第１の実施の形態によれば、視差検出画像に加えて高画質な基本画像を撮像することができる。これら基本画像および視差検出画像を用いることにより、以下のように高画質な視差画像を生成することができる。
【００４５】
＜２．第２の実施の形態＞
［撮像装置の構成］
図６は、本技術の第２の実施の形態における撮像装置の一構成例を示す図である。この映像記録再生システムは、撮像部１００と、映像生成部２００と、映像記憶部３００とを備えている。
【００４６】
撮像部１００は、第１の実施の形態として説明した撮像部であり、被写体からの入射光を受けて撮像素子１７１および１７２によって視差検出画像を生成し、撮像素子１７３によって基本画像を生成する。
【００４７】
映像生成部２００は、撮像部１００から出力された基本画像および視差検出画像に基づいて高画質な視差画像を生成し、その視差画像の映像データを映像記憶部３００に記録するものである。この映像生成部２００の構成については後述する。
【００４８】
映像記憶部３００は、映像生成部２００から出力された視差画像の映像データを記憶するものである。
【００４９】
［映像生成部の構成］
図７は、本技術の第２の実施の形態における映像生成部２００の構成例を示す図である。この映像生成部２００は、信号処理部２１１乃至２１３と、画像メモリ２２１および２２２と、視差画像生成部２４１および２４２と、符号化部２３１および２３２とを備えている。
【００５０】
信号処理部２１１乃至２１３は、撮像部１００から出力された基本画像および視差検出画像の映像データをそれぞれ受け取り、所定の信号処理を施すものである。この信号処理部２１１乃至２１３は、撮像データをＡ／Ｄ（Analog to Digital）変換し、デモザイク処理やホワイトバランス調整処理等の各種信号処理を施す。
【００５１】
視差画像生成部２４１および２４２は、基本画像および視差検出画像に基づいて視差画像を生成するものである。この視差画像生成部２４１および２４２の詳細については後述する。
【００５２】
画像メモリ２２１および２２２は、信号処理部２１１乃至２１３によって処理された映像データおよび視差画像生成部２４１および２４２によって生成された視差画像の映像データを一時的に保持するメモリである。
【００５３】
符号化部２３１および２３２は、画像メモリ２２１および２２２に保持された視差画像の映像データを符号化して映像記憶部３００に出力するものである。
【００５４】
［視差画像生成部の構成］
図８は、本技術の第２の実施の形態における視差画像生成部２４１および２４２の一構成例を示す図である。この視差画像生成部２４１および２４２は、それぞれ対応画素探索部２４５と、画素移動部２４６とを備えている。
【００５５】
対応画素探索部２４５は、視差検出画像の各画素について、基本画像における対応画素を探索するものである。この対応画素探索部２４５は、視差検出画像の左右それぞれの画像において探索領域を設け、基本画像の一部の領域をテンプレートとして探索を行う。この探索においては、相関係数法、ＳＳＤＡ（Sequential Similarity Detection Algorithm）法、最小二乗マッチング等が用いられる。すなわち、画素の一定の単位ごとに相関計算や差分絶対和計算等による評価を行い、相関が最大となる画素、または、差分絶対和が最小となる画素を対応画素として探索する。
【００５６】
ここで、例えば、差分二乗和や差分絶対値和を用いて対応画素を探索する際には、以下のように評価が行われる。まず、横Ｘ画素×縦Ｙ画素の視差検出画像において横ｐ画素×縦ｑ画素の探索領域を想定する。また、基本画像において横ｍ画素×縦ｎ画素の探索領域を想定する。ただし、ｍはｐより小さく、ｎはｑよりも小さい整数である。視差検出画像の探索領域において、基本画像の探索領域を順次移動させながら差分二乗和または差分絶対値和を求める。
【００５７】
視差検出画像の画素値をＩ（ｉ，ｊ）、基本画像の画素値をＴ（ｉ，ｊ）とすると、差分二乗和（ＳＳＤ：Sum of Squared Difference）は次式により求められる。
【数１】
また、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）は次式により求められる。
【数２】
この差分二乗和または差分絶対値和が最小となる位置のテンプレートの中心に位置する画素が対応画素になる。差分絶対値和が最小となるのは、基本画像と視差検出画像とが最も類似している領域であるから、対応画素には同じ被写体が表示されているものと推定することができる。
【００５８】
一方、例えば、正規化相互相関を用いて対応画素を探索する際には、以下のように評価が行われる。視差検出画像の探索領域と、基本画像の探索領域との関係は上述のものと同様である。視差検出画像の探索領域において、基本画像の探索領域を順次移動させながら正規化相互相関を求める。
【００５９】
正規化相互相関（ＮＣＣ：Normalized Correlation Coefficient）は次式により求められる。
【数３】
この正規化相互相関が最大となる位置のテンプレートの中心に位置する画素が対応画素になる。この正規化相互相関を利用することにより、視差検出画像と基本画像とに輝度差がある場合においても、高い精度で対応画素を検出することができる。
【００６０】
画素移動部２４６は、対応画素探索部２４５によって探索された対応画素の情報に基づいて、基本画像の画素を視差検出画像の対応する画素の位置に移動することによって視差画像を生成するものである。基本画像と視差検出画像の画素数が一致しない場合には、基本画像の複数の画素から補間して視差画像の画素値を求めてもよい。
【００６１】
この実施の形態では、視差検出画像は視差情報のみが利用され、明るさや解像度などの画質は基本画像のものが反映される。これにより、左右で画質が均等な視差画像を得ることができる。
【００６２】
［撮像装置の動作］
図９は、本技術の実施の形態における撮像装置の動作例を示す流れ図である。まず、被写体からの入射光は、交換レンズ１１０およびリレーレンズ部１３０を介して平行光領域１４０に導かれ、透過型ミラー１４１およびミラー１４３乃至１４６によって分離される（ステップＳ９０１）。
【００６３】
透過型ミラー１４１およびミラー１４２によって集光レンズ１５３に導かれた光は撮像素子１７３において光電変換されて、基本画像が生成される（ステップＳ９０２）。また、ミラー１４３乃至１４６によって集光レンズ１５１および１５２に導かれた光は撮像素子１７１および１７２において光電変換されて、視差検出画像が生成される（ステップＳ９０２）。これら基本画像および視差検出画像の生成は独立して行われ、各画像の生成レートは異なっていても構わない。
【００６４】
また、視差画像生成部２４１および２４２の対応画素探索部２４５において、基本画像と視差検出画像の対応画素が探索される（ステップＳ９０３）。この対応画素の探索は、左右の視差検出画像のそれぞれについて行われる。
【００６５】
そして、視差画像生成部２４１および２４２の画素移動部２４６において、対応画素の情報に基づいて、基本画像の画素を視差検出画像の対応する画素の位置に移動することによって視差画像が生成される（ステップＳ９０４）。
【００６６】
このように、第２の実施の形態によれば、１つの高画質な基本画像の画素を用いて視差画像を生成することにより、明るさや解像度等の画質として基本画像のものを視差画像に反映することができ、左右の間で画質が均等な視差画像を得ることができる。
【００６７】
＜３．第３の実施の形態＞
第２の実施の形態では、画像メモリ２２１および２２２に保持された基本画像および視差検出画像に基づいて視差画像を生成していたが、この第３の実施の形態では画像メモリ２２１および２２２へ保持される前に視差画像を生成する。すなわち、この第３の実施の形態では、基本画像および視差検出画像がＲＡＷ画像である状態で、信号処理部２１３を用いることなく、視差画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。
【００６８】
［映像生成部の構成］
図１０は、本技術の第３の実施の形態における映像生成部２００の構成例を示す図である。この第３の実施の形態における映像生成部２００は、図７における信号処理部２１３を不要とし、視差画像生成部２４１および２４２をそれぞれ信号処理部２１１および２１２に接続することにより構成される。
【００６９】
信号処理部２１１および２１２は、撮像部１００から出力された基本画像および視差検出画像の映像データをそれぞれ受け取り、Ａ／Ｄ変換を施して、視差画像生成部２４１および２４２にそれぞれ供給する。
【００７０】
視差画像生成部２４１および２４２は、それぞれ信号処理部２１１および２１２から供給された基本画像および視差検出画像の映像データに基づいて視差画像を生成し、それぞれ信号処理部２１１および２１２に供給する。なお、視差画像生成部２４１および２４２の構成については、図８により説明したものと同様であるため、説明を省略する。
【００７１】
そして、信号処理部２１１および２１２は、視差画像生成部２４１および２４２から供給された視差画像に対してデモザイク処理やホワイトバランス調整処理等の各種信号処理を施して、それぞれ画像メモリ２２１および２２２に保持させる。
【００７２】
符号化部２３１および２３２は、画像メモリ２２１および２２２に保持された視差画像の映像データを符号化して映像記憶部３００に出力する。
【００７３】
このように、第３の実施の形態によれば、基本画像および視差検出画像がＲＡＷ画像である状態において視差画像を生成することにより、より高品質な視差画像を得ることができる。
【００７４】
＜４．第４の実施の形態＞
この第４の実施の形態では、視差画像を時間方向に補間して任意の時刻の画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。
【００７５】
［映像生成部の構成］
図１１は、本技術の第４の実施の形態における映像生成部２００の構成例を示す図である。この第４の実施の形態における映像生成部２００は、第２の実施の形態と比べて、時間方向補間部２５１および２５２が、それぞれ画像メモリ２２１または２２２に接続されている点で異なる。時間方向補間部２５１および２５２は、それぞれ画像メモリ２２１および２２２に保持されている視差画像の映像データについて、時間方向の補間を行うものである。
【００７６】
［時間方向補間部の構成］
図１２は、本技術の第４の実施の形態における時間方向補間部２５１および２５２の構成例を示す図である。この時間方向補間部２５１および２５２は、それぞれフレームバッファ２５４と、対応画素探索部２５５と、補間処理部２５６とを備えている。
【００７７】
フレームバッファ２５４は、視差画像の映像データをフレーム毎に保持するバッファである。視差画像の映像データは時系列のフレームにより構成されており、そのフレームをフレームバッファ２５４に一旦保持することにより、対応画素探索部２５５において異なるフレーム同士の比較を行うことができる。例えば、視差画像の映像データの直前のフレームをフレームバッファ２５４に保持しておくことにより、画像メモリ２２１または２２２から供給されている現在のフレームとその直前のフレームの両者を対応画素探索部２５５に供給することができる。なお、視差画像には左右の画像が存在するため、フレームバッファ２５４は少なくとも２枚のフレームを保持する必要がある。
【００７８】
対応画素探索部２５５は、視差画像の映像データの現在のフレームとフレームバッファ２５４に保持されたフレームとを比較することにより、両フレームにおける対応画素を探索するものである。この対応画素探索部２５５は、フレームバッファ２５４に保持された視差画像の左右それぞれの画像において探索領域を設け、現在の視差画像の一部の領域をテンプレートとして探索を行う。この探索においては、上述の対応画素探索部２４５と同様の手法を採ることができるため、詳細な説明は省略する。
【００７９】
補間処理部２５６は、対応画素探索部２５５によって探索された対応画素の情報に基づいて、任意の時刻における画素値を補間により生成するものである。ここで、フレームバッファ２５４に保持された視差画像を過去データとし、画像メモリ２２１または２２２から供給されている現在の視差画像を現在データとする。まず、過去データから現在データへ対応画素間を結ぶ移動ベクトルの中点座標（ｕ，ｖ）において、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）が算出される。
【００８０】
この場合のｕ−ｖ空間は、視差画像のＸ−Ｙ空間に必ずしも一致しない。そこで、全域の画素値ｓ（ｕ，ｖ）からＸ−Ｙ空間の画素値Ｆ（Ｘ，Ｙ）を、補間処理により生成する。この場合の補間処理としては、例えば、以下のような線形補間法を採用することができる。ただし、Ｆ0は求める画素値Ｆ（Ｘ，Ｙ）、ｓiは既知の画素値ｓ（ｕ，ｖ）、ｔは計算に用いられる近接点数である。また、ｗiは重みであり、座標（Ｘ，Ｙ）への距離の逆数を用いることができる。
【数４】
【００８１】
ここでは、過去データと現在データの対応画素の画素値の平均値を算出することにより移動ベクトルの中点における画素値を求めたが、任意の比率の点を線形比で計算することにより、任意の時刻における画素値を生成してもよい。
【００８２】
［時間方向補間部の動作］
図１３は、本技術の第４の実施の形態における時間方向補間部２５１および２５２の動作例を示す流れ図である。時間方向補間部２５１および２５２は、以下の処理を視差画像のフレームレート毎に繰り返す（Ｌ９１０）。
【００８３】
まず、画像メモリ２２１または２２２から新たな視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）が取得される（ステップＳ９１１）。また、フレームバッファ２５４に保持されていたフレームをｆ＿ｏｌｄ（Ｘ，Ｙ）とする（ステップＳ９１２）。そして、対応画素探索部２５５は、視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）とフレームｆ＿ｏｌｄ（Ｘ，Ｙ）とを比較することにより、両フレームにおける対応画素を探索する（ステップＳ９１３）。
【００８４】
補間処理部２５６は、探索された対応画素間を結ぶ移動ベクトルの中点座標（ｕ，ｖ）を生成し（ステップＳ９１４）、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）を算出する（ステップＳ９１５）。そして、補間処理部２５６は、線形補間法等により画素値Ｆ（Ｘ，Ｙ）を求める（ステップＳ９１６）。この画素値Ｆ（Ｘ，Ｙ）は、中間時刻の映像として出力される（ステップＳ９１７）。
【００８５】
そして、視差画像の次のフレームの処理の前に、視差画像のフレームｆ＿ｎｅｗ（Ｘ，Ｙ）がフレームバッファ２５４に保持される（ステップＳ９１８）。
【００８６】
このように、第４の実施の形態によれば、視差画像のフレームレートを向上させることができる。なお、ここでは、視差画像を時間方向に補間する実施態様について説明したが、視差検出画像または基本画像を補間するようにしてもよい。
【００８７】
＜５．第５の実施の形態＞
この第５の実施の形態では、視差画像を空間方向に補間して任意の位置の視点の画像を生成する。なお、撮像装置の全体構成は図６により説明したものと同様であるため、説明を省略する。
【００８８】
［映像生成部の構成］
図１４は、本技術の第５の実施の形態における映像生成部２００の構成例を示す図である。この第５の実施の形態における映像生成部２００は、第２の実施の形態と比べて、空間方向補間部２６０が、画像メモリ２２１および２２２に接続されている点で異なる。空間方向補間部２６０は、画像メモリ２２１および２２２に保持されている視差画像の映像データについて、空間方向の補間を行うものである。
【００８９】
［空間方向補間部の構成］
図１５は、本技術の第５の実施の形態における空間方向補間部２６０の構成例を示す図である。この空間方向補間部２６０は、対応画素探索部２６５と、補間処理部２６６とを備えている。
【００９０】
対応画素探索部２６５は、視差画像の左画像のフレームと右画像のフレームとを比較することにより、両フレームにおける対応画素を探索するものである。この対応画素探索部２６５は、左右画像の一方の画像において探索領域を設け、他方の画像の一部の領域をテンプレートとして探索を行う。この探索においては、上述の対応画素探索部２４５と同様の手法を採ることができるため、詳細な説明は省略する。
【００９１】
補間処理部２６６は、対応画素探索部２６５によって探索された対応画素の情報に基づいて、任意の位置の視点における画素値を補間により生成するものである。ここで、一方の画像を第１視点データとし、他方の画像を第２視点データとする。まず、第１視点データから第２視点データへ対応画素間を結ぶベクトルの中点座標（ｕ，ｖ）において、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）が算出される。
【００９２】
この場合のｕ−ｖ空間も、第４の実施の形態の場合と同様に、視差画像のＸ−Ｙ空間に必ずしも一致しない。そこで、全域の画素値ｓ（ｕ，ｖ）からＸ−Ｙ空間の画素値Ｆ（Ｘ，Ｙ）を、補間処理により生成する。補間処理の内容についても第４の実施の形態の場合と同様であるため、詳細な説明は省略する。
【００９３】
ここでは、第１視点データと第２視点データの対応画素の画素値の平均値を算出することによりベクトルの中点における画素値を求めたが、任意の比率の点を線形比で計算することにより、任意の位置の視点における画素値を生成してもよい。
【００９４】
［空間方向補間部の動作］
図１６は、本技術の第５の実施の形態における空間方向補間部２６０の動作例を示す流れ図である。空間方向補間部２６０は、以下の処理を視差画像のフレームレート毎に繰り返す（Ｌ９２０）。
【００９５】
まず、画像メモリ２２１から新たな視差画像の左画像のフレームｆ＿ｌｅｆｔ（Ｘ，Ｙ）が取得される（ステップＳ９２１）。また、画像メモリ２２２から新たな視差画像の右画像のフレームｆ＿ｒｉｇｈｔ（Ｘ，Ｙ）が取得される（ステップＳ９２２）。そして、対応画素探索部２６５は、視差画像のフレームｆ＿ｌｅｆｔ（Ｘ，Ｙ）とフレームｆ＿ｒｉｇｈｔ（Ｘ，Ｙ）とを比較することにより、両フレームにおける対応画素を探索する（ステップＳ９２３）。
【００９６】
補間処理部２６６は、探索された対応画素間を結ぶベクトルの中点座標（ｕ，ｖ）を生成し（ステップＳ９２４）、２つの対応画素の画素値の平均値から画素値ｓ（ｕ，ｖ）を算出する（ステップＳ９２５）。そして、補間処理部２６６は、線形補間法等により画素値Ｆ（Ｘ，Ｙ）を求める（ステップＳ９２６）。この画素値Ｆ（Ｘ，Ｙ）は、中間時刻の映像として出力される（ステップＳ９２７）。
【００９７】
このように、第５の実施の形態によれば、任意の位置の視点における視差画像を生成することができる。なお、ここでは視差画像の左画像と右画像に基づいて対応画素を探索することを想定したが、基本画像と視差画像の左右画像の一方とを比較することにより、両画像における対応画素を探索するようにしてもよい。
【００９８】
＜６．第６の実施の形態＞
［映像記録再生システムの構成］
図１７は、本技術の第６の実施の形態における映像記録再生システムの一構成例を示す図である。この映像記録再生システムは、撮像部１００と、映像生成部２００と、映像記憶部３００と、映像再生部４００と、表示部５００とを備えている。撮像部１００、映像生成部２００および映像記憶部３００については、図６において説明したものと同様であるため、説明を省略する。
【００９９】
映像再生部４００は、映像記憶部３００に記憶された映像データを読み出して、再生するものである。この映像再生部４００は、左右の視差画像の映像データに対応して、復号部４１１および４１２と、表示制御部４２１および４２２とを備えている。復号部４１１および４１２は、映像記憶部３００から読み出された視差画像の映像データを復号するものである。表示制御部４２１および４２２は、復号部４１１および４１２によって復号された視差画像の映像データを表示部５００に表示させるように制御するものである。
【０１００】
表示部５００は、映像再生部４００から出力された視差画像の映像データを表示するものである。この表示部５００としては、例えば、２台のプロジェクタに円偏光または直線偏光フィルターを取り付けて左右眼用の視差画像をそれぞれ提示し、表示に対応した円偏光または直線偏光眼鏡で観視するような態様が考えられる。また、フィルター付きフラットパネルディスプレイにおいて、同様に左右眼用の視差画像を同時に提示し、レンチキュラーレンズ、パララックスバリア方式等の眼鏡なし立体表示装置等を利用してもよい。このように、本技術の実施の形態では、左右眼用の画像を交互に提示するのではなく、同時に提示することにより、視覚疲労を軽減している。
【０１０１】
また、本技術の実施の形態では、撮像部１００における映像データの生成から、表示部５００における映像データの表示までを、高フレームレート化することにより、動きによるボケ（Blur）やジャーキネス（Jerkiness）の解消を図る。動きによるボケは、撮影時のＭＴＦ（Modulation Transfer Function）の低下に加えて、特に、ホールド型表示において移動する被写体を追従して見る際（追従視）、映像の網膜上のスリップにより多く発生する。ここで、ホールド型表示は、フレーム期間中、フィルムや液晶プロジェクタ等に映像が継続して表示されることを意味する。また、ジャーキネスは、映像の滑らかさを失われて、動きがギクシャクすることをいう。このジャーキネスは、高速シャッターを用いて撮影された映像を、視線を固定して見る際（固定視）に多く発生する。こうした動画質劣化には、撮影と表示のフレームレートやカメラの撮影の開口率（開口時間／フレーム時間）、視覚特性等が関与する。
【０１０２】
このように、本技術の第６の実施の形態によれば、高画質な視差画像を撮像および再生することができる。
【０１０３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１０４】
なお、本技術は以下のような構成もとることができる。
（１）被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と
を具備する撮像装置。
（２）前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部をさらに具備する前記（１）に記載の撮像装置。
（３）前記視差画像生成部は、
前記基本画像と前記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、
前記探索結果に基づいて前記基本画像の画素を前記視差検出画像において対応する画素の位置へ移動することにより前記視差画像を生成する画素移動部と
を備える前記（２）に記載の撮像装置。
（４）前記基本画像または前記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの前記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備する前記（２）または（３）に記載の撮像装置。
（５）前記基本画像または前記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備する前記（２）または（３）に記載の撮像装置。
（６）前記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで前記基本画像または前記視差検出画像を生成する前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（８）前記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（９）前記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで前記視差検出画像を生成する前記（１）から（６）のいずれかに記載の撮像装置。
（１０）被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、
前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部と、
前記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、
前記記憶部に記録された前記左右の映像データを同時に再生表示させる映像再生部と
を具備する映像記録再生システム。
【符号の説明】
【０１０５】
１００ 撮像部
１１０ 交換レンズ
１１５ 瞳
１２０ レンズマウント
１３０ リレーレンズ部
１４０ 平行光領域
１４１ 透過型ミラー
１４２〜１４６ ミラー
１５１〜１５３ 集光レンズ
１７１〜１７３ 撮像素子
２００ 映像生成部
２１１〜２１３ 信号処理部
２２１、２２２ 画像メモリ
２３１、２３２ 符号化部
２４１、２４２ 視差画像生成部
２４５、２５５、２６５ 対応画素探索部
２４６ 画素移動部
２５１ 時間方向補間部
２５４ フレームバッファ
２５６、２６６ 補間処理部
２６０ 空間方向補間部
３００ 映像記憶部
４００ 映像再生部
４１１、４１２ 復号部
４２１、４２２ 表示制御部
５００ 表示部
【特許請求の範囲】
【請求項１】
被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と
を具備する撮像装置。
【請求項２】
前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部をさらに具備する請求項１記載の撮像装置。
【請求項３】
前記視差画像生成部は、
前記基本画像と前記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、
前記探索結果に基づいて前記基本画像の画素を前記視差検出画像において対応する画素の位置へ移動することにより前記視差画像を生成する画素移動部と
を備える請求項２記載の撮像装置。
【請求項４】
前記基本画像または前記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの前記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備する請求項２記載の撮像装置。
【請求項５】
前記基本画像または前記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備する請求項２記載の撮像装置。
【請求項６】
前記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで前記基本画像または前記視差検出画像を生成する請求項１記載の撮像装置。
【請求項７】
前記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで前記視差検出画像を生成する請求項６記載の撮像装置。
【請求項８】
前記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで前記視差検出画像を生成する請求項６記載の撮像装置。
【請求項９】
前記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで前記視差検出画像を生成する請求項６記載の撮像装置。
【請求項１０】
被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、
前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部と、
前記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、
前記記憶部に記録された前記左右の映像データを同時に再生表示させる映像再生部と
を具備する映像記録再生システム。
【請求項１】
被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と
を具備する撮像装置。
【請求項２】
前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部をさらに具備する請求項１記載の撮像装置。
【請求項３】
前記視差画像生成部は、
前記基本画像と前記視差検出画像のそれぞれとを比較して互いに対応する画素を探索する対応画素探索部と、
前記探索結果に基づいて前記基本画像の画素を前記視差検出画像において対応する画素の位置へ移動することにより前記視差画像を生成する画素移動部と
を備える請求項２記載の撮像装置。
【請求項４】
前記基本画像または前記視差検出画像を時系列のフレームとして含む映像データについて異なる時刻における２つの前記フレームを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の時刻の画像を補間する時刻方向補間部をさらに具備する請求項２記載の撮像装置。
【請求項５】
前記基本画像または前記視差検出画像のうちのいずれか２つを比較して互いに対応する画素を探索して、当該探索結果に基づいて前記対応する画素の中点座標およびその画素値を求めることにより任意の視点の画像を補間する空間方向補間部をさらに具備する請求項２記載の撮像装置。
【請求項６】
前記第１乃至第３の撮像素子の各々は、毎秒６０フレーム以上のレートで前記基本画像または前記視差検出画像を生成する請求項１記載の撮像装置。
【請求項７】
前記第１および第２の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで前記視差検出画像を生成する請求項６記載の撮像装置。
【請求項８】
前記第１および第２の撮像素子の各々は、毎秒２９０乃至３１０フレームのレートで前記視差検出画像を生成する請求項６記載の撮像装置。
【請求項９】
前記第１および第２の撮像素子の各々は、毎秒５９０乃至６１０フレームのレートで前記視差検出画像を生成する請求項６記載の撮像装置。
【請求項１０】
被写体からの光を集光する撮影レンズと、
前記集光された光を伝送して平行光とするリレーレンズと、
前記平行光を透過および反射する半透過膜と、
前記半透過膜によって透過または反射されることにより導かれた光を左右２つに分光するミラーと、
前記分光された光をそれぞれ結像させる第１および第２の結像レンズと、
前記第１および第２の結像レンズによって結像された光をそれぞれ電子信号による視差検出画像に変換する第１および第２の撮像素子と、
前記半透過膜によって反射または透過された光のうち前記ミラーに導かれなかった光を結像させる第３の結像レンズと、
前記第３の結像レンズによって結像された光を電子信号による基本画像に変換する第３の撮像素子と、
前記基本画像と前記視差検出画像のそれぞれとを比較することにより前記視差検出画像のそれぞれと同じ視点の視差画像を前記基本画像に基づいて生成する視差画像生成部と、
前記視差画像をそれぞれ左右の映像データのフレームとして生成して記憶部に記録させる映像生成部と、
前記記憶部に記録された前記左右の映像データを同時に再生表示させる映像再生部と
を具備する映像記録再生システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−８００２５（Ｐ２０１３−８００２５Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２１８８７０（Ｐ２０１１−２１８８７０）
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]