撮像装置
【課題】線順次駆動型の撮像素子を用いて、精度良く複数の視点画像を取得可能な撮像装置を提供する。
【解決手段】撮像装置１では、シャッター１１により各光路の開閉が切り替えられることにより、イメージセンサ１２では、各光路の通過光線に基づく受光がなされ、左右の視点画像に対応する撮像データが取得される。イメージセンサ１２では、露出および信号読み出しが線順次になされることから、ライン毎に露出期間や読み出し時期に時間的なずれが生じる。この時間的なずれにより、観察者によって注視され易い画像（画面）中央付近において、各光路の通過光線が混在し、各視点画像間の視差量が低減し易い。上記のように、各撮像フレームにおいて、各光路の開閉の切り替えを所定の期間遅延して行うことにより、特に画像中央付近において各光路の通過光線同士の混在が生じにくくなる。
【解決手段】撮像装置１では、シャッター１１により各光路の開閉が切り替えられることにより、イメージセンサ１２では、各光路の通過光線に基づく受光がなされ、左右の視点画像に対応する撮像データが取得される。イメージセンサ１２では、露出および信号読み出しが線順次になされることから、ライン毎に露出期間や読み出し時期に時間的なずれが生じる。この時間的なずれにより、観察者によって注視され易い画像（画面）中央付近において、各光路の通過光線が混在し、各視点画像間の視差量が低減し易い。上記のように、各撮像フレームにおいて、各光路の開閉の切り替えを所定の期間遅延して行うことにより、特に画像中央付近において各光路の通過光線同士の混在が生じにくくなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば立体視用の左右の視点画像を撮影する撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。例えば、撮像レンズと、左右の領域毎に透過および遮断（開閉）を切り替え可能なシャッターとを備えたカメラ（撮像装置）が提案されている（例えば、特許文献１〜３参照）。これによれば、シャッターの各領域における開閉を時分割で交互に切り替えることで、左右の各視点方向から撮影したかのような２種類の画像（左視点画像および右視点画像）を取得することができる。これらの左視点画像および右視点画像を、所定の手法を用いて人間の眼に提示することにより、人間はその画像に立体感を感じることができる。
【０００３】
また、上記のような撮像装置では、静止画を対象としたものが多い。動画を撮影するものも提案されている（例えば、特許文献４，５参照）が、これらの撮像装置ではいずれも、イメージセンサとして、面順次で受光駆動を行ういわゆるグローバルシャッタータイプのＣＣＤ（Charge Coupled Device）が前提として用いられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】登録特許第１０６０６１８号公報
【特許文献２】特開２００２−３４０５６号公報
【特許文献３】特表平９−５０５９０６号公報
【特許文献４】特開平１０−２７１５３４号公報
【特許文献５】特開２０００−１３７２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが近年では、ＣＣＤよりも低コスト、低消費電力および高速処理化を実現可能なＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが主流となってきている。このＣＭＯＳセンサは、上記ＣＣＤと異なり、線順次で受光駆動を行う、いわゆるローリングシャッタータイプのイメージセンサである。上記ＣＣＤでは、各フレームにおいて画面全体が同時刻に一括して撮影されるのに対し、このＣＭＯＳセンサでは、例えばイメージセンサの上部から下部に向けて線順次で露出や信号の読み出しがなされるため、ライン毎に、露出期間や読み出しタイミング等に時間的なずれが生じる。
【０００６】
そのため、上記のようなシャッターにより光路を切り替えながら撮影する撮像装置において、ＣＭＯＳセンサを使用すると、１フレームにおける全ライン分の露出期間と、シャッターの各領域の開期間との間に、時間的なずれが生じる。この結果、複数視点の画像をそれぞれ精度良く取得できないという問題がある。例えば、立体視用途で左右２つの視点画像を取得する場合には、各視点画像の中央付近に、左右それぞれの通過光線が混在することになるため、例えば観察者によって注視され易い画面中央付近において左右の視差がなくなってしまう（立体感が得られなくなってしまう）。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、線順次駆動型の撮像素子を用いて、精度良く複数の視点画像を取得することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像レンズと、複数の光路において各光路の透過および遮断を切り替え可能なシャッターと、露出および信号読み出しが線順次になされる複数の受光画素を含み、各光路の通過光線に基づく撮像データを取得する撮像素子と、シャッターにおける各光路の透過および遮断の切り替えを制御する制御部とを備えたものである。制御部は、各撮像フレームにおいて、撮像素子における１ライン目の露出開始から所定の期間遅延して、各光路の透過および遮断が切り替わるようにシャッターを制御する。
【０００９】
本発明の撮像装置では、シャッターにより各光路の透過および遮断が切り替えられることにより、撮像素子では、各光路の通過光線に基づく受光がなされ、複数の視点画像に対応する撮像データが取得される。ここで、撮像素子では、露出および信号読み出しが線順次になされることから、ライン毎に露出期間や読み出し時期に時間的なずれが生じる。この時間的なずれにより、観察者によって注視され易い画像（画面）中央付近において、各光路の通過光線が混在し、各視点画像間の視差量が低減し易い。上記のように、各撮像フレームにおいて、各光路の透過および遮断の切り替えを、撮像素子における１ライン目の露出開始から所定の期間遅延して行うことにより、特に画像中央付近において各光路の通過光線同士の混在が生じにくくなる。
【発明の効果】
【００１０】
本発明の撮像装置によれば、制御部が、各撮像フレームにおいて、各光路の透過および遮断の切り替えを、撮像素子における１ライン目の露出開始から所定の期間遅延して行うようにしたので、撮像素子では、特に観察者によって注視され易い画面中央付近において所望の視点方向からの通過光線を他の視点方向からの光線よりも多く受光し易くなる。よって、線順次駆動型の撮像素子を用いて、精度良く複数の視点画像を取得することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一の実施形態に係る撮像装置の全体構成を表す図である。
【図２】図１に示したシャッターの平面模式図である。
【図３】図１に示したシャッターの応答特性の一例を示す特性図である。
【図４】図１に示したシャッターの断面模式図である。
【図５】２Ｄ撮影（光路切り替えなし）の場合の受光像を説明するための模式図である。
【図６】図１に示した撮像装置における左視点画像取得の原理を説明するための模式図である。
【図７】図１に示した撮像装置における右視点画像取得の原理を説明するための模式図である。
【図８】図１に示した撮像装置を用いて取得した左右の視点画像間の視差について説明するための模式図である。
【図９】比較例１に係るイメージセンサ（ＣＣＤ）の駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１０】比較例２に係るイメージセンサ（ＣＭＯＳ）の駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１１】図１０に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像を示す。
【図１２】図１に示したイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１３】図１２に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像、（Ｃ）が左右の視差量の分布を示す。
【図１４】画面上下部において視差量が低減することのメリットを説明するための模式図である。
【図１５】変形例１に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１６】図１５に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像、（Ｃ）が左右の視差量の分布を示す。
【図１７】変形例２に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１８】図１７に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像を示す。
【図１９】変形例３に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図２０】図１９に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像を示す。
【図２１】変形例４に係る撮像装置の全体構成を表す図である。
【図２２】他の変形例に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（シャッターの開閉の切り替えタイミングを画面中央の露出開始タイミングに同期させる例）
２．変形例１（露出期間を短縮（露出開始タイミングを変更）した例）
３．変形例２（露出期間を短縮（信号読み出しタイミングを変更）した例）
４．変形例３（有効フレームを１フレームおきに取得するモードへの切り替えを行う例）
５．変形例４（２眼式の撮像装置の例）
【００１３】
＜実施の形態＞
［撮像装置１の構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。撮像装置１は、被写体を互いに異なる複数の視点方向から撮影し、動画（または静止画）として、複数の視点画像（ここでは、左右２つの視点画像）を交互に時分割的に取得するものである。撮像装置１は、いわゆる単眼式カメラであり、シャッター制御によって左右の光路を切り替え可能となっている。この撮像装置１は、撮像レンズ１０ａ，１０ｂ、シャッター１１、イメージセンサ１２、画像処理部１３、レンズ駆動部１４，シャッター駆動部１５、イメージセンサ駆動部１６および制御部１７を備えている。
【００１４】
撮像レンズ１０ａ，１０ｂは、被写体からの光線を取得するためのレンズ群であり、これらの撮像レンズ１０ａ，１０ｂ間に、シャッター１１が配設されている。尚、シャッター１１の配置は特に限定されるものではないが、理想的には、撮像レンズ１０ａ，１０ｂの瞳面あるいは図示しない絞りの位置に配置されることが望ましい。撮像レンズ１０ａ，１０ｂは、例えばいわゆるズームレンズとして機能し、レンズ駆動部１４によってレンズ間隔等が調整されることにより焦点距離を変更可能となっている。但し、撮像レンズとしては、そのような可動焦点レンズに限らず、固定焦点レンズであってもよい。
【００１５】
（シャッター１１の構成）
シャッター１１は、左右２つの領域に分割されており、その分割された領域毎に透過（開）および遮断（閉）を切り替え可能となっている。シャッター１１としては、そのような切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。このシャッター１１の具体的な構成については後述する。
【００１６】
ここで、図２にシャッター１１の平面構成の一例を示す。このように、シャッター１１は、左右２つ（水平方向に沿った２つ）の領域（ＳＬ，ＳＲ）を有し、領域ＳＬを開（領域ＳＲを閉）とした状態（図２（Ａ））と、領域ＳＲを開（領域ＳＬを閉）とした状態（図２（Ｂ））とが、交互に切り替わるように制御される。そのようなシャッター１１の具体的な構成として、例えば液晶シャッターを例に挙げて説明する。図３は、液晶シャッターとしてのシャッター１１の領域ＳＬ，ＳＲの境界付近の断面構成を表したものである。
【００１７】
シャッター１１は、ガラス等よりなる基板１０１，１０６間に液晶層１０４が封止されると共に、基板１０１の光入射側に偏光子１０７Ａ、基板１０６の光出射側に検光子１０７Ｂがそれぞれ貼り合わせられたものである。基板１０１と液晶層１０４との間には電極が形成され、この電極が複数（ここでは、領域ＳＬ，ＳＲに対応する２つ）のサブ電極１０２Ａに分割されている。これら２つのサブ電極１０２Ａは、個別に電圧供給が可能である。そのような基板１０１に対向する基板１０６には、領域ＳＬ，ＳＲに共通の電極１０５が設けられている。尚、この基板１０６側の電極は、一般的には領域ＳＬ，ＳＲに共通の電極とされるが、これに限定されず、領域毎に分割されていてもよい。サブ電極１０２Ａと液晶層１０４との間には配向膜１０３Ａ、電極１０５と液晶層１０４との間には配向膜１０３Ｂがそれぞれ形成されている。
【００１８】
サブ電極１０２Ａおよび電極１０５はそれぞれ、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）等の透明電極よりなる。偏光子１０７Ａおよび検光子１０７Ｂはそれぞれ、所定の偏光を選択的に透過させるものであり、例えばクロスニコルまたはパラレルニコルの状態となるように配置されている。液晶層１０４は、例えばＳＴＮ（Super-twisted Nematic）、ＴＮ（Twisted Nematic）、ＯＣＢ（Optical Compensated Bend）等の各種表示モードの液晶を含むものである。但し、液晶としては、シャッター１１の閉状態から開状態（印加電圧が低から高）への遷移時の応答特性と、開状態から閉状態（印加電圧が高から低）への遷移時の応答特性とが概ね等しくなる（波形が対称形となる）ものが用いられることが望ましい。また、各状態への遷移時の応答が非常に速く、例えば、図４に示したように、閉状態から開状態へ透過率が垂直に立ち上がり（Ｆ１）、開状態から閉状態へ透過率が垂直に立ち下がる（Ｆ２）特性を示す液晶が用いられることが理想的である。このような応答特性を示す液晶としては、例えばＦＬＣ（Ferroelectric Liquid Crystal：強誘電性液晶）が挙げられる。
【００１９】
このような構造により、シャッター１１では、サブ電極１０２Ａおよび電極１０５を通じて液晶層１０４に電圧を印加すると、その印加電圧の大きさおよび印加時間に応じて、液晶層１０４の透過率を変化させることができる。即ち、シャッター１１として液晶シャッターを用いることで、電圧制御によりシャッター１１の開状態および閉状態を切り替えることができる。また、その電圧印加のための電極を、個別駆動が可能な２つのサブ電極１０２Ａに分割することで、領域ＳＬ，ＳＲ毎に透光状態および遮光状態を交互に切り替え可能となる。
【００２０】
イメージセンサ１２は、撮像レンズ１０ａ，１０ｂおよびシャッター１１の所定の領域を通過した光線に基づいて受光信号を出力する光電変換素子である。このイメージセンサ１２は、例えばマトリクス状に配置された複数のフォトダイオード（受光画素）を有し、線順次で露出および信号読み出しを行う、ローリングシャッタータイプ（線順次駆動型）の撮像素子（例えば、ＣＭＯＳセンサ）である。尚、このイメージセンサ１２の受光面側には、例えば所定のカラー配列を有するＲ，Ｇ，Ｂのカラーフィルタ（図示せず）が配設されていてもよい。
【００２１】
画像処理部１３は、イメージセンサ１２から出力された撮像データに基づく撮像画像（左右の視点画像）に対し、所定の画像処理、例えばノイズリダクション（Noise reduction）やデモザイク処理、ガンマ補正処理等を施すものである。この画像処理部１３は、そのような画像処理前あるいは画像処理後のデータを記憶する各種メモリを含んでいる。但し、画像処理後の画像データは、記録せずに外部のディスプレイ等に出力するようにしてもよい。
【００２２】
レンズ駆動部１４は、撮像レンズ１０ａ，１０ｂにおける所定のレンズを光軸に沿ってシフトさせ、焦点距離を変化させるためのアクチュエータである。
【００２３】
シャッター駆動部１５は、制御部１７によるタイミング制御に応じて、シャッター１１の左右の領域（ＳＬ，ＳＲ）においてその領域毎に開閉の切り替え駆動を行うものである。具体的には、シャッター１１の領域ＳＬが開状態のときには、領域ＳＲが閉状態となるように、逆に領域ＳＬが閉状態のときには、領域ＳＲが開状態となるようにそれぞれ駆動する。動画撮影の際には、そのような各領域の開閉切り替えが時分割で交互に行われるように駆動する。本実施の形態では、シャッター１１における左右の各領域の開期間がその領域に対応するフレーム（フレームＬまたはフレームＲ）に１：１で対応しており、各領域の開期間と１フレーム期間とは略同一となっている。
【００２４】
イメージセンサ駆動部１６は、制御部１７によるタイミング制御に応じて、イメージセンサ１２を駆動制御するものである。具体的には、上述のようなローリングシャッター型のイメージセンサ１２において、その露出および信号読み出しをそれぞれ線順次に行うように駆動する。
【００２５】
制御部１７は、画像処理部１３、レンズ駆動部１４、シャッター駆動部１５およびイメージセンサ駆動部１６の各動作を所定のタイミングで制御するものであり、この制御部１７としては例えばマイクロコンピュータ等が用いられる。詳細は後述するが、本実施の形態では、この制御部１７が、シャッター１１における開閉切り替えタイミングを、フレーム開始タイミング（１ライン目の露出開始タイミング）から所定の期間ずらして設定するようになっている。
【００２６】
［撮像装置１の作用、効果］
（１．基本動作）
上記のような撮像装置１では、制御部１７の制御に基づき、レンズ駆動部１４が撮像レンズ１０ａ，１０ｂを駆動すると共に、シャッター駆動部１５がシャッター１１における左領域を開状態、右領域を閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を駆動させる。これにより、左光路への切り替えがなされ、イメージセンサ１２では、左視点方向から入射した光線に基づく左視点画像データＤ０Ｌが取得される。
【００２７】
続いて、シャッター駆動部１５がシャッター１１の右領域を開状態、左領域を閉状態にそれぞれ切り替え、イメージセンサ駆動部１６がイメージセンサ１２を駆動させる。これにより、右光路への切り替えがなされ、イメージセンサ１２では、右視点方向から入射した光線に基づく右視点画像データＤ０Ｒが取得される。
【００２８】
そして、イメージセンサ１２において複数のフレーム（撮像フレーム）を時系列的に取得すると共に、各撮像フレーム（後述のフレームＬ，Ｒ）に対応して上記シャッター１１における開閉の切り替え行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それらの組が順次画像処理部１３へ入力される。
【００２９】
画像処理部１３は、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像（後述の左視点画像Ｌ１，右視点画像Ｒ１）に対し、所定の画像処理を施し、例えば立体視用の左右の視点画像（後述の左視点画像Ｌ２，右視点画像Ｒ２）を生成する。生成した左視点画像Ｌ２，右視点画像Ｒ２は画像処理部１３内に記録されるか、あるいは外部へ出力される。
【００３０】
（２．視点画像取得の原理）
ここで、図５〜図７を参照して、単眼式カメラを用いた場合の左右の視点画像取得の原理について説明する。図５〜図７は、撮像装置１を上方からみた図に等価であるが、簡便化のため、撮像レンズ１０ａ，１０ｂ、シャッター１１およびイメージセンサ１２以外の構成要素の図示を省略しており、撮像レンズ１０ａ，１０ｂについても簡略化してある。
【００３１】
まず、図５に示したように、左右の光路切り替えをしない場合（通常の２Ｄ撮影の場合）の受光像（イメージセンサ１２への映り方）について説明する。ここでは、被写体の一例として、奥行き方向において互いに異なる位置に配置された３つの被写体を例に挙げる。具体的には、撮影レンズ１０ａ，１０ｂのピント面Ｓ１にある被写体Ａ（人物）と、被写体Ａよりも奥側（撮像レンズと反対側）に位置する被写体Ｂ（山）と、被写体Ａよりも手前側（撮像レンズ側）に位置する被写体Ｃ（花）である。このような位置関係にある場合、被写体Ａが、例えばセンサ面Ｓ２上の中央付近に結像する。一方、ピント面Ｓ１よりも奥側に位置する被写体Ｂは、センサ面Ｓ２の手前（撮像レンズ側）に結像し、被写体Ｃは、センサ面Ｓ２の奥側（撮像レンズと反対側）に結像する。即ち、センサ面Ｓ２には、被写体Ａがフォーカスした（ピントの合った）像（Ａ０）、被写体Ｂおよび被写体Ｃはデフォーカスした（ぼやけた）像（Ｂ０，Ｃ０）となって映る。
【００３２】
（左視点画像）
このような位置関係にある３つの被写体Ａ〜Ｃに対し、光路を左右で切り替えた場合、センサ面Ｓ２への映り方は、次のように変化する。例えば、シャッター駆動部１５が、シャッター１１の左側の領域ＳＬを開状態、右側の領域ＳＲを閉状態となるように駆動した場合には、図６に示したように、左側の光路が透過となり、右側の光路は遮光される。この場合、ピント面Ｓ１にある被写体Ａに関しては、右側の光路を遮光されていても、光路切り替えのない上記場合と同様、センサ面Ｓ２上にフォーカスして結像する（Ａ０）。ところが、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃについては、センサ面Ｓ２上においてデフォーカスしたそれぞれの像が、水平方向において互いに逆の方向（ｄ１，ｄ２）にシフトしたような像（Ｂ０'，Ｃ０'）として映る。
【００３３】
（右視点画像）
一方、シャッター駆動部１５が、シャッター１１の領域ＳＲを開状態、領域ＳＬを閉状態となるように駆動した場合には、図７に示したように、右側の光路が透過となり、左側の光路は遮光される。この場合も、ピント面Ｓ１にある被写体Ａは、センサ面Ｓ２上に結像し、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃは、センサ面Ｓ２上において互いに逆の方向（ｄ３，ｄ４）にシフトしたような像（Ｂ０"，Ｃ０"）として映る。但し、これらのシフト方向ｄ３，ｄ４は、上記左視点画像におけるシフト方向ｄ１，ｄ２とそれぞれ逆向きとなる。
【００３４】
（左右の視点画像間の視差）
上記のように、シャッター１１における各領域の開閉を切り替えることにより、左右の各視点方向に対応する光路が切り替えられ、左視点画像Ｌ１，右視点画像Ｒ１を取得することができる。また、上述のようにデフォーカスした被写体像は、左右の視点画像間で互いに水平方向逆向きにシフトするため、その水平方向に沿った位置ずれ量（位相差）が立体感を生みだす視差量となる。例えば図８（Ａ），（Ｂ）に示したように、被写体Ｂに注目した場合、左視点画像Ｌ１における像Ｂ０’の位置（Ｂ１L）と右視点画像Ｒ１における像Ｂ０”の位置（Ｂ１R）との水平方向の位置ずれ量Ｗｂ１が、被写体Ｂについての視差量となる。同様に、被写体Ｃに注目した場合、左視点画像Ｌ１における像Ｃ０’の位置（Ｃ１L）と右視点画像Ｒ１における像Ｃ０”の位置（Ｃ１R）との水平方向の位置ずれ量Ｗｃ１が、被写体Ｃについての視差量となる。
【００３５】
そして、これらの左視点画像Ｌ１，右視点画像Ｒ１を、例えば偏光方式、フレームシーケンシャル方式、プロジェクタ方式等の３Ｄ表示法を用いて表示することにより、観察者は、その観察映像において、例えば次のような立体感を感じることができる。即ち、上述の例では、視差のない被写体Ａ（人物）は表示画面（基準面）上で観察される一方、被写体Ｂ（山）はその基準面よりも奥まって見え、被写体Ｃ（花）は基準面から飛び出したような立体感で観察される。
【００３６】
（３．シャッター１１，イメージセンサ１２の駆動タイミング）
続いて、シャッター１１における開閉切り替え動作、イメージセンサ１２における露出および信号読み出し動作について、比較例（比較例１，２）を挙げて詳細に説明する。図９（Ａ），（Ｂ）は、比較例１に係るイメージセンサ（ＣＣＤ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。また、図１０（Ａ），（Ｂ）には、比較例２に係るイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。尚、本明細書において、フレーム期間ｆｒは、動画としての１フレーム期間を２分割にした期間に相当するものである（２ｆｒ＝動画としての１フレーム期間）。また、（Ａ）図において斜線部分は、露出期間に相当している。尚、ここでは、動画撮影の場合を例に挙げて説明するが、静止画撮影の場合も同様である。
【００３７】
（比較例１）
ＣＣＤをイメージセンサとして用いた比較例１では、面順次で画面一括駆動されるため、図９（Ａ）に示したように、一画面（撮像画面）内において露出期間に時間的なずれがなく、信号の読み出し（Read）も同時刻になされる。また、左視点画像を撮影するための露出期間では、左領域１００Ｌが開（右領域１００Ｒが閉）となるように、右視点画像を撮影するための露出期間では、右領域１００Ｒが開（左領域１００Ｌが閉）となるように、シャッターが切り替えられる。具体的には、露出開始（フレーム期間開始）タイミングに同期して、左領域１００Ｌ，右領域１００Ｒの開閉が切り替えられる。また、比較例１では、左領域１００Ｌおよび右領域１００Ｒの開期間はそれぞれ、フレーム期間ｆｒに等しく、また露出期間にも等しくなっている。
【００３８】
（比較例２）
ところが、イメージセンサとして、例えばローリングシャッタータイプのＣＭＯＳセンサを用いた場合、上記ＣＣＤの場合と異なり、例えば画面上から画面下に向かって（走査方向Ｓに沿って）線順次で駆動がなされる。即ち、図１０（Ａ）に示したように、一画面内において、ライン毎に露出開始のタイミングや信号読み出し（Read）のタイミングが異なってくる。このため、画面内の位置によって、露出期間に時間的なずれが生じる。このようなＣＭＯＳセンサを用いた場合、１ライン目の露出開始タイミングに同期してシャッターの開閉を切り替える（図１０（Ｂ））と、１画面全体（全ライン）の露出が終了する前に、透過光路が切り替わってしまう。
【００３９】
この結果、左視点画像Ｌ１００，右視点画像Ｒ１００では、互いに異なる光路の通過光線が混ざって受光され、いわゆる左右のクロストークが発生する。例えば、左視点画像Ｌ１００の撮影フレームでは、左光路の通過光線の受光量が画面上から画面下に向けて徐々に減る一方、右光路の通過光線の受光量は画面上から画面下に向けて徐々に増える。これにより、例えば図１１（Ａ）に示したように、左視点画像Ｌ１００では、上部Ｄ１が主に左視点方向からの光線、下部Ｄ３が主に右視点方向からの光線に基づくものとなり、中央付近Ｄ２では、各視点方向からの光線が混在して（クロストークにより）視差量が低減する。同様に、右視点画像Ｒ１００においても、例えば図１１（Ｂ）に示したように、上部Ｄ１が主に右視点方向からの光線、下部Ｄ３が主に左視点方向からの光線に基づくものとなり、中央付近Ｄ２ではクロストークにより視差量が低減してしまう。尚、図１１における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左右どちらかの視点方向からの光線の受光量が多いことを表している。
【００４０】
従って、そのような左右の視点画像を所定の方法で表示した場合、画面中央付近では視差量が低減している（あるいは無い）ために、立体的な表示ができず（平面的な２Ｄ画像に近づく）、また、画像（画面）の上下では所望の立体感が得られなくなってしまう。
【００４１】
これに対し、本実施の形態では、各フレーム（撮像フレーム）Ｌ，Ｒにおいて、シャッター１１における開閉切り替えを、イメージセンサ１２における１ライン目の露出開始タイミングから所定の期間遅延して行う。具体的には、図１２に示したように、１ライン目の露出開始タイミングｔ０から、露出期間Ｔの１／２の期間遅延して、シャッター１１の領域ＳＬ，ＳＲの開閉を切り替える。換言すると、ここでは、走査方向Ｓにおける中央のラインの露出開始タイミングｔ１において、シャッター１１の領域ＳＬ，ＳＲの開閉を切り替えることに等しい。これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が混在して受光されるが、中央付近においては主に所望の視点方向からの通過光線が受光される。
【００４２】
具体的には、図１３（Ａ）に示したように、フレームＬに対応する左視点画像Ｌ１では、左視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、右視点方向からの光線の受光量は、画面中央付近において最も少なく、画面上下端部に向かって徐々に増加する。また、図１３（Ｂ）に示したように、フレームＲに対応する右視点画像Ｒ１では、右視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、左視点方向からの光線の受光量は、画面中央付近において最も少なく、画面上下端部に向かって徐々に増加する。尚、図１３（Ａ），（Ｂ）における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左視点方向（または右視点方向）からの光線の受光量の割合が多いことを表している。
【００４３】
これにより、図１３（Ｃ）に示したように、左視点画像Ｌ１および右視点画像Ｒ１間における視差量は、画面中央において最も大きく、画面上下端部に向けて徐々に低減する。尚、ここでは、画面上下端部（最上部および最下部の各ライン）において左右の視点方向からの光線の受光量が１／２ずつで等しくなるため、その視差量は０（ゼロ）となる。また、本実施の形態では、露出期間Ｔおよびシャッター１１における領域ＳＬ，ＳＲの開期間がフレーム期間ｆｒ（例えば８．３ｍｓ）に等しく、１ライン目の露出開始タイミングから、Ｔ／２の期間（例えば４．１５ｍｓ）遅延して、シャッター１１の開閉が切り替えられる。
【００４４】
ところで一般に、観察者が表示された映像を観察する際に、表示画面において最も注視する部分は画面中央付近であることが多い。上述のように、本実施の形態では、所望の視点方向からの光線が画面中央付近において毎フレーム受光され、その画面中央付近において左右の視差量を生じさせるため、観察者が注視する部分に効率的に立体感を付与することができる。
【００４５】
一方、画面上下付近では、各視点方向からの光線が混在することになるため、画面中央付近に比べ、視差量が低減する（あるいは無くなる）が、これは観察者の視認性にはさほど大きな影響を与えない（画面中央付近から上下端部にかけての視差量の変化を感じにくい）。特に、極僅かな視差量で（微小視差を用いて）立体映像表示を行う場合には、観察者がそのような視差量の変化に気付くことは稀である。これは、例えば以下のような理由による。
【００４６】
即ち、人間が感じる立体感は、観察対象となっている物の配置、大きさ、色、その他の物との対比等、様々な要素を総合的に加味して判断されるものであるので、上記のような視差量の変化が直接的に立体感に影響を与えることは少ない。
【００４７】
あるいは、観察対象の物体が観察者にとって既知のものである場合には、観察者はその物体についての立体感を先入観や経験に基づいて無意識のうちに補正するため、上記のような視差量の変化に気付きにくい。例えば、画面の下部から上部に向かって直立したビルの絵を立体表示した場合、上記のような視差量の変化に伴い、実際にはビルの中央付近から上下端にかけてビルの輪郭が歪んだように映るが、観察者にとってビルは通常真っすぐなものとして認識されていることが多いため、そのようなビルの歪みに気付かずに、「真っすぐなビル」として視認され易い。
【００４８】
以上のように、本実施の形態では、各撮像フレームにおいて、シャッター１１を制御して各領域の開閉切り替えを、イメージセンサ１２における１ライン目の露出開始から所定の期間遅延して行うようにしたので、イメージセンサ１２では、特に観察者によって注視され易い画面中央付近において、所望の視点方向からの光線を他の視点方向からの光線よりも多く受光することができる。よって、線順次駆動型の撮像素子を用いて、精度良く複数の視点画像を取得することが可能となる。
【００４９】
また、上記遅延期間を、イメージセンサ１２における露出期間Ｔの１／２の期間とすることにより、所望の視点方向の光線の受光量が画面中央において最も大きく画面上下端部に向って徐々に低減すると共に、画面上部と下部との間で受光される各視点方向の光線のバランスが同等となる。遅延期間が、露出期間の１／２でない場合、画面上部と下部との間で、受光される各視点方向の光線バランスが崩れてしまう。このような場合、例えば画面上部で右画像の割合が多ければ、画面下部では左画像の割合が多くなる。従って、画面上部での立体感が正しい場合（撮像フレームが右視点方向のフレームである場合）、画面下部では左右逆の視点画像を見ることになるので、画面上下での立体感が逆転する現象が発生してしまう。このため、シャッター１１の開閉切り替えタイミングは、上述のように露出期間Ｔの１／２の期間遅延させることが望ましい。
【００５０】
（画面上下部で視差量が低減することによるメリット）
一方、画面の上部および下部において、上記のように視差量が低減することで、次のようなメリットがある。例えば、実際の立体表示時には、これら左右の視点画像を所定の手法によりディスプレイ等に表示することになるが、この場合、表示される映像のうち上下端部付近における立体感は、ディスプレイの額縁の影響を受け易い。具体的には、図１４に示したように、ディスプレイ２００において映像表示を行う場合、観察者の眼には、表示された映像と共に額縁２００ａが映ることとなる。例えば、上述の例のように、表示画面上に人物Ａ２が表示され、山Ｂ２が表示画面よりも奥まって、花Ｃ２は表示画面から飛び出すような立体表示を行った場合、例えば領域Ｅ２付近では、花Ｃ２に対する距離感と、額縁２００ａの下枠に対する距離感が相違し、これらが競合してしまうことがある。同様に、領域Ｅ１付近では、山Ｂ２に対する距離感と、額縁２００ａの上枠に対する距離感とが競合することがある。そのため、表示された映像が、額縁２００ａの枠表面と同一面（表示画面）上に引きずられて（立体感が押し戻されて）、違和感を生じることがある。このような額縁２００ａによる立体感への影響は、特に表示画面上下の領域Ｅ１，Ｅ２で顕著に表れる。これは、ディスプレイが一般に横長（例えばアスペクト比が１６：９）であることが多く、額縁２００ａが水平方向（左右方向）よりも垂直方向（上下方向）において視認され易いためである。また、特に額縁２００ａよりも手前側（観察者側）に飛び出すような立体感で表示した映像（ここでは、領域Ｅ２における花Ｃ２）が、上記のような額縁２００ａの影響を受け易い。
【００５１】
この点において、本実施の形態では、上述のように画面の中央から上下端部に向かって視差量が徐々に低減していくため、額縁２００ａ付近の領域Ｅ１，Ｅ２では視差量が極僅かとなる。従って、額縁２００ａ付近の領域Ｅ１，Ｅ２では、表示映像がほぼ額縁２００ａの表面近傍に表示されるため上記のような距離感の違いによる競合が生じにくく、自然な見え方となる。
【００５２】
次に、上記実施の形態に係る撮像装置の変形例（変形例１〜３）について説明する。変形例１，２は、上記撮像装置１におけるイメージセンサ１２の露出期間およびシャッター１１の開閉切り替えタイミングの他の例に関するものであり、上記実施の形態と同様の撮像光学系に適用されるものである。変形例３は、撮像装置の他の構成（２眼式カメラ）に関するものである。以下では、上記実施の形態の撮像装置１と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【００５３】
＜変形例１＞
図１５（Ａ），（Ｂ）は、変形例１に係るイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。本変形例においても、上記実施の形態と同様、線順次駆動型のイメージセンサ１２において、１ライン目の露出開始タイミングから所定の期間遅延してシャッター１１の開閉を切り替えるようになっている。また、シャッター１１における各領域の開期間がその領域に対応するフレーム（フレームＬまたはフレームＲ）に１：１で対応しており、各領域の開期間と１フレーム期間とは略同一である。但し、本変形例では、イメージセンサ１２において、１ライン毎の露出期間を短縮（フレーム期間ｆｒ＞露出期間Ｔ’）する。このとき、フレーム期間ｆｒの開始と同時に１ライン目の露出を開始し、露出期間Ｔ’の経過時に信号読み出しを行う（信号読み出しのタイミングを所定の期間早め、露出開始タイミングは変更しない）。
【００５４】
イメージセンサ１２における露出期間は、例えば電子シャッター機能等を利用して調整可能である。ここでは、フレーム期間ｆｒ（＝シャッター１１の開期間（閉期間））を８．３ｍｓとし、露出可能時間の６０％程度まで露出期間を短縮する（露出期間Ｔ’＝８．３×０．６＝５ｍｓ）。また、シャッター１１の開閉切り替えは、上記実施の形態と同様、１ライン目の露出開始タイミングから、例えばこの露出期間Ｔ’の１／２の期間（２．５ｍｓ）だけ遅延して行う。
【００５５】
これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が混在して受光されるが、中央付近においては主に所望の視点方向からの通過光線が受光される。但し、本変形例では、上記実施の形態に比べ、所望の視点方向の光線が取得される範囲（走査方向Ｓに沿った範囲）が広くなる。
【００５６】
具体的には、図１６（Ａ）に示したように、左視点画像Ｌ１では、左視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、右視点方向からの光線は、画面中央付近では受光されず、画面上下端部付近においてのみ受光される。また、図１６（Ｂ）に示したように、右視点画像Ｒ１では、右視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、左視点方向からの光線は、画面中央付近では受光されず、画面上下端部付近においてのみ受光される。尚、図１６（Ａ），（Ｂ）における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左視点方向（または右視点方向）からの光線の受光量の割合が多いことを表している。
【００５７】
これにより、図１６（Ｃ）に示したように、左視点画像Ｌ１および右視点画像Ｒ１間における視差量は、画面中央から画面上下端部近傍まで広範囲にわたって大きくなり、画面上下端部近傍から上下端部に向かって低減する。尚、ここでは、画面上下端部（最上部および最下部の各ライン）において左右の視点方向からの光線の受光量が１／２ずつで等しくなるため、その視差量は０（ゼロ）となる。
【００５８】
本変形例のように、露出期間Ｔ’を短縮した場合であっても、上記実施の形態と同等の効果を得ることができる。また、露出期間Ｔ’の短縮により、各フレームＬ，Ｒにおいて所望の視点方向からの光線の受光範囲（異なる視点方向からの光線に対する受光量の割合が大きくなる範囲）を広げ、画面内における視差形成範囲を拡大させることができる。即ち、フレーム期間ｆｒに対して露出期間Ｔ’を短くする程、各フレームでは対応する視点方向からの光線の受光範囲を広げることができる。
【００５９】
＜変形例２＞
図１７（Ａ），（Ｂ）は、変形例２に係るイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。本変形例では、上記変形例１と同様、イメージセンサ１２において、１ライン毎の露出期間を短縮（フレーム期間ｆｒ＞露出期間Ｔ’）するが、露出開始および信号読み出しタイミングが上記変形例１と異なっている。具体的には、本変形例では、フレーム期間ｆｒが開始してから所定の期間経過後に１ライン目の露出を開始し、露出期間Ｔ’の経過時に信号読み出しを行う（露出開始のタイミングを所定の期間遅延させ、信号読み出しタイミングは変更しない）。尚、ここでも、フレーム期間ｆｒ（＝シャッター１１の開期間（閉期間））を例えば８．３ｍｓとし、露出可能時間の６０％程度まで露出期間を短縮する（露出期間Ｔ’＝８．３×０．６＝５ｍｓ）。また、シャッター１１の開閉切り替えは、上記実施の形態と同様、１ライン目の露出開始タイミングから、例えばこの露出期間Ｔ’の１／２の期間（２．５ｍｓ）だけ遅延して行う。
【００６０】
これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が混在して受光されるが、中央付近においては主に所望の視点方向からの通過光線が受光される。また、上記変形例１と同様、所望の視点方向の光線が取得される範囲（走査方向Ｓに沿った範囲）が広くなる（図１８（Ａ），（Ｂ））。即ち、左視点画像Ｌ１，右視点画像Ｒ１間における視差量は、画面中央から画面上下端部近傍まで広範囲にわたって大きく、画面上下端部近傍から上下端部に向かって低減する。
【００６１】
本変形例のように、露出期間Ｔ’を短縮する際、信号読み出しタイミングを変更せずに、露出開始タイミングを遅らせるようにしてもよい。このようにした場合であっても、上記実施の形態および上記変形例１と同等の効果を得ることができる。
【００６２】
＜変形例３＞
本変形例では、上記撮像装置１における制御部１７が、上述のタイミング制御（シャッター１１の開閉タイミングを所定の期間遅延させる制御）を行うモードを第１のモードとし、この第１のモードと、以下に説明する第２のモードとを切り替え可能となっている。第１のモードとしては、例えば上記実施の形態で説明したようなタイミング制御（露出期間＝フレーム期間）の他、上記変形例１，２で説明したようなタイミング制御（露出期間＜フレーム期間）であってもよい。
【００６３】
（第２のモード）
図１９（Ａ），（Ｂ）は、第２のモードにおけるイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。このように、第２のモードでは、左右の視点画像に対応するフレームを１フレームおきに交互に有効フレームとして取得するようになっている。
【００６４】
具体的には、制御部１７が、ある時刻に取得されるフレーム（フレームＬ’）と、このフレームＬ’の全ライン分の読み出し終了以降（露出終了以降）に１ライン目の露出が開始されたフレーム（フレームＲ’）とをそれぞれ有効フレームとして取得する。換言すると、フレームＬ’後のフレームであって、フレームＬ’の全ライン分の読み出しが終了する前（全ライン分の露出が終了する前）に露出開始となるフレーム（フレームＬ’，Ｒ’間のフレームＸ）は、無効フレームとする。このフレームＸについては、例えば、読み出し終了後、画像処理部１３において各種処理部へ出力しないようにするか、あるいは読み出し自体を行わないようにすればよい。
【００６５】
また、図１９（Ｂ）に示したように、シャッター１１の領域ＳＬ，ＳＲの各開期間（閉期間）を、例えばフレーム期間ｆｒ（ここでは、フレーム期間ｆｒ＝露出期間Ｔ）の２倍の長さとなるように、シャッター１１の開閉を切り替える。このように、第２のモードでは、１フレームおきに取得されたフレームＬ’，Ｒ’，…を有効フレームとし、シャッター１１における開期間をフレーム期間ｆｒの２倍に設定する。
【００６６】
前述のように、線順次駆動型のイメージセンサでは、各フレームの画面中央付近においてクロストークが生じ易いが、この第２のモードのように、１フレームおきにフレームＬ’，Ｒ’を取得し、シャッター１１の開期間をフレーム期間の２倍とした場合には、クロストークの生じるフレーム（フレームＸ）が排除される。また、各フレームＬ’，Ｒ’の全ライン分の露出期間Ｔにおいて、シャッター１１の開閉が切り替わることがない（領域ＳＲ，ＳＬが開状態あるいは閉状態のまま維持される）。このため、図２０（Ａ）に示したように、フレームＬ’に対応する左視点画像Ｌ’１では、画面全域において左視点方向からの光線のみが受光される。また、図２０（Ｂ）に示したように、フレームＲ’に対応する右視点画像Ｒ’１では、画面全域において右視点方向からの光線のみが受光される。即ち、この第２のモードにおいても、精度良く左右の視点画像を取得可能である。
【００６７】
（モードの切り替え）
ここで、上記実施の形態等で説明した第１のモードでは、フレームを間引くことなく撮影すること（毎フレーム撮影）が可能であるため、実質的にフレームを間引く第２のモードよりも、光利用効率が高い。一方、第２のモードでは、画面全域においてクロストークが生じにくい（一画面内で視差量が一定である）ため、画面中央付近と上下において視差量の異なる第１のモードよりも、より精度良く視点画像を取得可能である。
【００６８】
従って、第１のモードと第２のモードとの切り替えは、例えば被写体の明るさに応じて行うようにするとよい。明るさについての判断は、例えば制御部１７に搭載されたＡＥ（automatic exposure：自動露出）機能（図示せず）等を利用して行うことができ、例えば明るさが所定の閾値未満の場合には第１のモード、閾値以上の場合には第２のモードを実行する。これにより、例えば、室内等の光量が十分でない場所で撮影を行う場合には第１のモードへ、屋外等の光量が十分な場所で撮影を行う場合には第２のモードへ、それぞれ自動的に切り替えることができる。あるいは、これらのモード切り替えを、ユーザ等の手動により（外部入力信号に基づいて）行うようにしてもよい。
【００６９】
本変形例のように、シャッター１１の開閉タイミングを遅延させて視点画像を取得する第１のモードと、１フレームおきに視点画像を取得する第２のモードとを自動または手動により切り換えるようにしてもよい。これにより、上記実施の形態等と同等の効果を得ることができると共に、被写体の明るさに応じて適切な視点画像撮影を行うことができる。
【００７０】
＜変形例４＞
［撮像装置２の全体構成］
図２１は、変形例４に係る撮像装置（撮像装置２）の全体構成を表したものである。撮像装置２は、上記実施の形態の撮像装置１と同様、被写体を左右の視点方向から撮影し、動画（または静止画）として、左右の視点画像を時系列的に取得するものである。但し、本変形例の撮像装置２は、左右の各視点方向からの光線ＬＬ，ＬＲを取得するための光路毎に、撮像レンズ１０ａ１，１０ｂ、および撮像レンズ１０ａ２，１０ｂを有する、いわゆる２眼式カメラであり、光路毎にシャッター１１ａ，１１ｂを有している。但し、撮像レンズ１０ｂは、各光路に共通の構成要素である。また、各光路に共通の構成要素として、上記実施の形態の撮像装置１と同様、イメージセンサ１２、画像処理部１３、レンズ駆動部１８、シャッター駆動部１９、イメージセンサ駆動部１６および制御部１７を備えている。
【００７１】
撮像レンズ１０ａ１，１０ｂは、左視点方向の光線ＬＬを、撮像レンズ１０ａ２，１０ｂは、右視点方向の光線ＬＲをそれぞれ取得するためのレンズ群である。撮像レンズ１０ａ１，１０ｂ間にはシャッター１１ａ、撮像レンズ１０ａ２，１０ｂ間にはシャッター１１ｂがそれぞれ配設されている。尚、シャッター１１ａ，１１ｂの配置は特に限定されるものではないが、理想的には撮像レンズ群の瞳面あるいは図示しない絞りの位置に配置されることが望ましい。
【００７２】
これらの撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）は、全体として例えばズームレンズとして機能するものである。撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）では、レンズ駆動部１４によってレンズ間隔等が調整されることにより、焦点距離を可変となっている。また、各レンズ群はそれぞれ１または複数枚のレンズによって構成されている。そのような撮像レンズ１０ａ１とシャッター１１ａとの間にはミラー１１０、撮像レンズ１０ａ２とシャッター１１ｂとの間にはミラー１１１、シャッター１１ａ，１１ｂ間にはミラー１１２がそれぞれ配置されている。これらのミラー１１０〜１１２によって、光線ＬＬ，ＬＲはそれぞれ、シャッター１１ａ，１１ｂを通過した後、撮像レンズ１０ｂへ入射するようになっている。
【００７３】
シャッター１１ａ，１１ｂは、左右の各光路における透過および遮断を切り替えるためのものであり、シャッター１１ａ，１１ｂ毎に開状態（透光状態）および閉状態（遮光状態）が切り替え制御されるようになっている。シャッター１１ａ，１１ｂとしては、上記のような光路切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。
【００７４】
レンズ駆動部１８は、撮像レンズ１０ａ１，１０ｂ（または撮像レンズ１０ａ２，１０ｂ）における所定のレンズを光軸に沿ってシフトさせるアクチュエータである。
【００７５】
シャッター駆動部１９は、シャッター１１ａ，１１ｂの開閉切り替え駆動を行うものである。具体的には、シャッター１１ａが開状態のときには、シャッター１１ｂが閉状態となるように、シャッター１１ａが閉状態のときには、シャッター１１ｂが開状態となるようにそれぞれ駆動する。また、動画として各視点画像を取得する際には、シャッター１１ａ，１１ｂ毎に開状態および閉状態が時分割で交互に入れ替わるように駆動するようになっている。
【００７６】
［撮像装置２の作用、効果］
上記のような撮像装置２では、制御部１７の制御に基づき、レンズ駆動部１８が撮像レンズ１０ａ１，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ａを開状態、シャッター１１ｂを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、左視点方向に対応する左光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＬに基づく受光がなされ、左視点画像データＤ０Ｌが取得される。
【００７７】
続いて、レンズ駆動部１８が撮像レンズ１０ａ２，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ｂを開状態、シャッター１１ａを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、右視点方向に対応する右光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＲに基づく受光がなされ、右視点画像データＤ０Ｒが取得される。上記のような撮像レンズ１０ａ１，１０ａ２およびシャッター１１ａ，１１ｂの切り替え駆動を時分割で交互に行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それら左右の視点画像の組が順次画像処理部１３へ入力される。
【００７８】
このとき、上記実施の形態と同様、各撮像フレームにおいて、シャッター１１における各領域の開閉切り替えを、イメージセンサ１２における１ライン目の露出開始から所定の期間遅延して行う。これにより、イメージセンサ１２では、特に観察者によって注視され易い画面中央付近において、所望の視点方向からの通過光線を他の視点方向からの光線よりも多く受光することができる。よって、線順次駆動型のイメージセンサ１２を用いて、精度良く複数の視点画像を取得することが可能となる。
【００７９】
そして、画像処理部１３が、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像に対し、所定の画像処理を施し、例えば立体視用の左右の視点画像を生成する。生成された視点画像は画像処理部１３内に記録されるか、あるいは外部へ出力される。
【００８０】
上述のように、本発明は、撮像レンズを左右の光路毎に配置してなる２眼式カメラにも適用可能である。このような撮像光学系を用いた場合であっても、シャッター１１における開閉切り替えを、イメージセンサ１２の１ライン目の露出開始から所定の期間遅延して行うことで、上記実施の形態と同等の効果を得ることができる。また、本変形例の撮像装置２においても、上述の変形例１，２で説明した各タイミング制御を行うようにしてもよいし、上記変形例３で説明したモード切り替えを行ってもよい。
【００８１】
以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、左右２つの光路を切り替えて左右２つの視点画像に対して所定の画像処理を施す場合を例に挙げて説明したが、視点方向は左右（水平方向）に限らず上下（垂直方向）であってもよい。
【００８２】
また、光路を３つ以上に切り替え可能とし、３つ以上の多視点画像が取得されるようにしてもよい。この場合、例えば、上記実施の形態における撮像装置１のように、シャッターを複数の領域に分割してもよいし、あるいは上記変形例４における撮像装置２のように、複数のシャッターを光路毎に設けてもよい。
【００８３】
一例として、図２２に、３つの領域ＳＡ，ＳＢ，ＳＣを有するシャッター（３つの光路にそれぞれ設けられたシャッターＳＡ，ＳＢ，ＳＣも同様）を用いて３つの視点画像を取得する場合のイメージセンサの駆動タイミングとシャッターの開閉切り替えタイミングを模式的に示す。尚、ここでは、上記実施の形態等のうち変形例１において説明した信号読み出しタイミングを早めて露出期間を短縮する場合（露出期間Ｔ’＜フレーム期間ｆｒ）を例に挙げる。このように、３光路を切り替えて３つの視点方向からの光線に基づく視点画像をそれぞれ取得する場合も、上述の左右の視点画像撮影時と同様、イメージセンサ１２の１ライン目の露出開始から所定の期間（Ｔ’／２）遅延してシャッターの開閉を切り替えればよい。
【００８４】
具体的には、フレームＡの撮影時には、その１ライン目の露光開始からＴ’／２遅延して領域ＳＡを閉状態から開状態へ切り替えると共に、領域ＳＣを開状態から閉状態へ切り替える（領域ＳＢは閉状態のまま）。続いて、フレームＢの撮影時には、その１ライン目の露光開始からＴ’／２遅延して領域ＳＢを開状態へ切り替えると共に、領域ＳＡを閉状態へ切り替える（領域ＳＣは閉状態のまま）。同様に、フレームＣの撮影時には、その１ライン目の露光開始からＴ’／２遅延して領域ＳＣを開状態へ切り替えると共に、領域ＳＢを閉状態へ切り替える（領域ＳＡは閉状態のまま）。これにより、上記実施の形態等と同様、３つの視点画像では、その画面中央付近において所望の視点方向からの光線を受光し易くなる。よって、上記実施の形態および変形例１と同等の効果を得ることができる。
【００８５】
また、上記実施の形態等では、シャッターにおける開閉タイミングを、露出期間の１／２の期間遅延する場合を例に挙げて説明したが、遅延期間は必ずしも露出期間の１／２でなくともよい。但し、露出期間の１／２に設定することにより、画面上下での左右の視差バランスを取りやすくなる。露出期間の１／２ではない場合には、画面上下で左右の視差バランスが崩れるが、これはシャッターの開期間の長さを調整することで回避可能である。
【符号の説明】
【００８６】
１，２…撮像装置、１０ａ，１０ａ１，１０ａ２，１０ｂ…撮像レンズ、１１，１１ａ，１１ｂ…シャッター、１２…イメージセンサ、１３…画像処理部、１４，１８…レンズ駆動部、１５，１９…シャッター駆動部、１６…イメージセンサ駆動部、１７…制御部、Ｌ１…左視点画像、Ｒ１…右視点画像。
【技術分野】
【０００１】
本発明は、例えば立体視用の左右の視点画像を撮影する撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。例えば、撮像レンズと、左右の領域毎に透過および遮断（開閉）を切り替え可能なシャッターとを備えたカメラ（撮像装置）が提案されている（例えば、特許文献１〜３参照）。これによれば、シャッターの各領域における開閉を時分割で交互に切り替えることで、左右の各視点方向から撮影したかのような２種類の画像（左視点画像および右視点画像）を取得することができる。これらの左視点画像および右視点画像を、所定の手法を用いて人間の眼に提示することにより、人間はその画像に立体感を感じることができる。
【０００３】
また、上記のような撮像装置では、静止画を対象としたものが多い。動画を撮影するものも提案されている（例えば、特許文献４，５参照）が、これらの撮像装置ではいずれも、イメージセンサとして、面順次で受光駆動を行ういわゆるグローバルシャッタータイプのＣＣＤ（Charge Coupled Device）が前提として用いられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】登録特許第１０６０６１８号公報
【特許文献２】特開２００２−３４０５６号公報
【特許文献３】特表平９−５０５９０６号公報
【特許文献４】特開平１０−２７１５３４号公報
【特許文献５】特開２０００−１３７２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが近年では、ＣＣＤよりも低コスト、低消費電力および高速処理化を実現可能なＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが主流となってきている。このＣＭＯＳセンサは、上記ＣＣＤと異なり、線順次で受光駆動を行う、いわゆるローリングシャッタータイプのイメージセンサである。上記ＣＣＤでは、各フレームにおいて画面全体が同時刻に一括して撮影されるのに対し、このＣＭＯＳセンサでは、例えばイメージセンサの上部から下部に向けて線順次で露出や信号の読み出しがなされるため、ライン毎に、露出期間や読み出しタイミング等に時間的なずれが生じる。
【０００６】
そのため、上記のようなシャッターにより光路を切り替えながら撮影する撮像装置において、ＣＭＯＳセンサを使用すると、１フレームにおける全ライン分の露出期間と、シャッターの各領域の開期間との間に、時間的なずれが生じる。この結果、複数視点の画像をそれぞれ精度良く取得できないという問題がある。例えば、立体視用途で左右２つの視点画像を取得する場合には、各視点画像の中央付近に、左右それぞれの通過光線が混在することになるため、例えば観察者によって注視され易い画面中央付近において左右の視差がなくなってしまう（立体感が得られなくなってしまう）。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、線順次駆動型の撮像素子を用いて、精度良く複数の視点画像を取得することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像レンズと、複数の光路において各光路の透過および遮断を切り替え可能なシャッターと、露出および信号読み出しが線順次になされる複数の受光画素を含み、各光路の通過光線に基づく撮像データを取得する撮像素子と、シャッターにおける各光路の透過および遮断の切り替えを制御する制御部とを備えたものである。制御部は、各撮像フレームにおいて、撮像素子における１ライン目の露出開始から所定の期間遅延して、各光路の透過および遮断が切り替わるようにシャッターを制御する。
【０００９】
本発明の撮像装置では、シャッターにより各光路の透過および遮断が切り替えられることにより、撮像素子では、各光路の通過光線に基づく受光がなされ、複数の視点画像に対応する撮像データが取得される。ここで、撮像素子では、露出および信号読み出しが線順次になされることから、ライン毎に露出期間や読み出し時期に時間的なずれが生じる。この時間的なずれにより、観察者によって注視され易い画像（画面）中央付近において、各光路の通過光線が混在し、各視点画像間の視差量が低減し易い。上記のように、各撮像フレームにおいて、各光路の透過および遮断の切り替えを、撮像素子における１ライン目の露出開始から所定の期間遅延して行うことにより、特に画像中央付近において各光路の通過光線同士の混在が生じにくくなる。
【発明の効果】
【００１０】
本発明の撮像装置によれば、制御部が、各撮像フレームにおいて、各光路の透過および遮断の切り替えを、撮像素子における１ライン目の露出開始から所定の期間遅延して行うようにしたので、撮像素子では、特に観察者によって注視され易い画面中央付近において所望の視点方向からの通過光線を他の視点方向からの光線よりも多く受光し易くなる。よって、線順次駆動型の撮像素子を用いて、精度良く複数の視点画像を取得することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一の実施形態に係る撮像装置の全体構成を表す図である。
【図２】図１に示したシャッターの平面模式図である。
【図３】図１に示したシャッターの応答特性の一例を示す特性図である。
【図４】図１に示したシャッターの断面模式図である。
【図５】２Ｄ撮影（光路切り替えなし）の場合の受光像を説明するための模式図である。
【図６】図１に示した撮像装置における左視点画像取得の原理を説明するための模式図である。
【図７】図１に示した撮像装置における右視点画像取得の原理を説明するための模式図である。
【図８】図１に示した撮像装置を用いて取得した左右の視点画像間の視差について説明するための模式図である。
【図９】比較例１に係るイメージセンサ（ＣＣＤ）の駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１０】比較例２に係るイメージセンサ（ＣＭＯＳ）の駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１１】図１０に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像を示す。
【図１２】図１に示したイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１３】図１２に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像、（Ｃ）が左右の視差量の分布を示す。
【図１４】画面上下部において視差量が低減することのメリットを説明するための模式図である。
【図１５】変形例１に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１６】図１５に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像、（Ｃ）が左右の視差量の分布を示す。
【図１７】変形例２に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図１８】図１７に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像を示す。
【図１９】変形例３に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【図２０】図１９に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像を示す。
【図２１】変形例４に係る撮像装置の全体構成を表す図である。
【図２２】他の変形例に係るイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（シャッターの開閉の切り替えタイミングを画面中央の露出開始タイミングに同期させる例）
２．変形例１（露出期間を短縮（露出開始タイミングを変更）した例）
３．変形例２（露出期間を短縮（信号読み出しタイミングを変更）した例）
４．変形例３（有効フレームを１フレームおきに取得するモードへの切り替えを行う例）
５．変形例４（２眼式の撮像装置の例）
【００１３】
＜実施の形態＞
［撮像装置１の構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。撮像装置１は、被写体を互いに異なる複数の視点方向から撮影し、動画（または静止画）として、複数の視点画像（ここでは、左右２つの視点画像）を交互に時分割的に取得するものである。撮像装置１は、いわゆる単眼式カメラであり、シャッター制御によって左右の光路を切り替え可能となっている。この撮像装置１は、撮像レンズ１０ａ，１０ｂ、シャッター１１、イメージセンサ１２、画像処理部１３、レンズ駆動部１４，シャッター駆動部１５、イメージセンサ駆動部１６および制御部１７を備えている。
【００１４】
撮像レンズ１０ａ，１０ｂは、被写体からの光線を取得するためのレンズ群であり、これらの撮像レンズ１０ａ，１０ｂ間に、シャッター１１が配設されている。尚、シャッター１１の配置は特に限定されるものではないが、理想的には、撮像レンズ１０ａ，１０ｂの瞳面あるいは図示しない絞りの位置に配置されることが望ましい。撮像レンズ１０ａ，１０ｂは、例えばいわゆるズームレンズとして機能し、レンズ駆動部１４によってレンズ間隔等が調整されることにより焦点距離を変更可能となっている。但し、撮像レンズとしては、そのような可動焦点レンズに限らず、固定焦点レンズであってもよい。
【００１５】
（シャッター１１の構成）
シャッター１１は、左右２つの領域に分割されており、その分割された領域毎に透過（開）および遮断（閉）を切り替え可能となっている。シャッター１１としては、そのような切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。このシャッター１１の具体的な構成については後述する。
【００１６】
ここで、図２にシャッター１１の平面構成の一例を示す。このように、シャッター１１は、左右２つ（水平方向に沿った２つ）の領域（ＳＬ，ＳＲ）を有し、領域ＳＬを開（領域ＳＲを閉）とした状態（図２（Ａ））と、領域ＳＲを開（領域ＳＬを閉）とした状態（図２（Ｂ））とが、交互に切り替わるように制御される。そのようなシャッター１１の具体的な構成として、例えば液晶シャッターを例に挙げて説明する。図３は、液晶シャッターとしてのシャッター１１の領域ＳＬ，ＳＲの境界付近の断面構成を表したものである。
【００１７】
シャッター１１は、ガラス等よりなる基板１０１，１０６間に液晶層１０４が封止されると共に、基板１０１の光入射側に偏光子１０７Ａ、基板１０６の光出射側に検光子１０７Ｂがそれぞれ貼り合わせられたものである。基板１０１と液晶層１０４との間には電極が形成され、この電極が複数（ここでは、領域ＳＬ，ＳＲに対応する２つ）のサブ電極１０２Ａに分割されている。これら２つのサブ電極１０２Ａは、個別に電圧供給が可能である。そのような基板１０１に対向する基板１０６には、領域ＳＬ，ＳＲに共通の電極１０５が設けられている。尚、この基板１０６側の電極は、一般的には領域ＳＬ，ＳＲに共通の電極とされるが、これに限定されず、領域毎に分割されていてもよい。サブ電極１０２Ａと液晶層１０４との間には配向膜１０３Ａ、電極１０５と液晶層１０４との間には配向膜１０３Ｂがそれぞれ形成されている。
【００１８】
サブ電極１０２Ａおよび電極１０５はそれぞれ、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）等の透明電極よりなる。偏光子１０７Ａおよび検光子１０７Ｂはそれぞれ、所定の偏光を選択的に透過させるものであり、例えばクロスニコルまたはパラレルニコルの状態となるように配置されている。液晶層１０４は、例えばＳＴＮ（Super-twisted Nematic）、ＴＮ（Twisted Nematic）、ＯＣＢ（Optical Compensated Bend）等の各種表示モードの液晶を含むものである。但し、液晶としては、シャッター１１の閉状態から開状態（印加電圧が低から高）への遷移時の応答特性と、開状態から閉状態（印加電圧が高から低）への遷移時の応答特性とが概ね等しくなる（波形が対称形となる）ものが用いられることが望ましい。また、各状態への遷移時の応答が非常に速く、例えば、図４に示したように、閉状態から開状態へ透過率が垂直に立ち上がり（Ｆ１）、開状態から閉状態へ透過率が垂直に立ち下がる（Ｆ２）特性を示す液晶が用いられることが理想的である。このような応答特性を示す液晶としては、例えばＦＬＣ（Ferroelectric Liquid Crystal：強誘電性液晶）が挙げられる。
【００１９】
このような構造により、シャッター１１では、サブ電極１０２Ａおよび電極１０５を通じて液晶層１０４に電圧を印加すると、その印加電圧の大きさおよび印加時間に応じて、液晶層１０４の透過率を変化させることができる。即ち、シャッター１１として液晶シャッターを用いることで、電圧制御によりシャッター１１の開状態および閉状態を切り替えることができる。また、その電圧印加のための電極を、個別駆動が可能な２つのサブ電極１０２Ａに分割することで、領域ＳＬ，ＳＲ毎に透光状態および遮光状態を交互に切り替え可能となる。
【００２０】
イメージセンサ１２は、撮像レンズ１０ａ，１０ｂおよびシャッター１１の所定の領域を通過した光線に基づいて受光信号を出力する光電変換素子である。このイメージセンサ１２は、例えばマトリクス状に配置された複数のフォトダイオード（受光画素）を有し、線順次で露出および信号読み出しを行う、ローリングシャッタータイプ（線順次駆動型）の撮像素子（例えば、ＣＭＯＳセンサ）である。尚、このイメージセンサ１２の受光面側には、例えば所定のカラー配列を有するＲ，Ｇ，Ｂのカラーフィルタ（図示せず）が配設されていてもよい。
【００２１】
画像処理部１３は、イメージセンサ１２から出力された撮像データに基づく撮像画像（左右の視点画像）に対し、所定の画像処理、例えばノイズリダクション（Noise reduction）やデモザイク処理、ガンマ補正処理等を施すものである。この画像処理部１３は、そのような画像処理前あるいは画像処理後のデータを記憶する各種メモリを含んでいる。但し、画像処理後の画像データは、記録せずに外部のディスプレイ等に出力するようにしてもよい。
【００２２】
レンズ駆動部１４は、撮像レンズ１０ａ，１０ｂにおける所定のレンズを光軸に沿ってシフトさせ、焦点距離を変化させるためのアクチュエータである。
【００２３】
シャッター駆動部１５は、制御部１７によるタイミング制御に応じて、シャッター１１の左右の領域（ＳＬ，ＳＲ）においてその領域毎に開閉の切り替え駆動を行うものである。具体的には、シャッター１１の領域ＳＬが開状態のときには、領域ＳＲが閉状態となるように、逆に領域ＳＬが閉状態のときには、領域ＳＲが開状態となるようにそれぞれ駆動する。動画撮影の際には、そのような各領域の開閉切り替えが時分割で交互に行われるように駆動する。本実施の形態では、シャッター１１における左右の各領域の開期間がその領域に対応するフレーム（フレームＬまたはフレームＲ）に１：１で対応しており、各領域の開期間と１フレーム期間とは略同一となっている。
【００２４】
イメージセンサ駆動部１６は、制御部１７によるタイミング制御に応じて、イメージセンサ１２を駆動制御するものである。具体的には、上述のようなローリングシャッター型のイメージセンサ１２において、その露出および信号読み出しをそれぞれ線順次に行うように駆動する。
【００２５】
制御部１７は、画像処理部１３、レンズ駆動部１４、シャッター駆動部１５およびイメージセンサ駆動部１６の各動作を所定のタイミングで制御するものであり、この制御部１７としては例えばマイクロコンピュータ等が用いられる。詳細は後述するが、本実施の形態では、この制御部１７が、シャッター１１における開閉切り替えタイミングを、フレーム開始タイミング（１ライン目の露出開始タイミング）から所定の期間ずらして設定するようになっている。
【００２６】
［撮像装置１の作用、効果］
（１．基本動作）
上記のような撮像装置１では、制御部１７の制御に基づき、レンズ駆動部１４が撮像レンズ１０ａ，１０ｂを駆動すると共に、シャッター駆動部１５がシャッター１１における左領域を開状態、右領域を閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を駆動させる。これにより、左光路への切り替えがなされ、イメージセンサ１２では、左視点方向から入射した光線に基づく左視点画像データＤ０Ｌが取得される。
【００２７】
続いて、シャッター駆動部１５がシャッター１１の右領域を開状態、左領域を閉状態にそれぞれ切り替え、イメージセンサ駆動部１６がイメージセンサ１２を駆動させる。これにより、右光路への切り替えがなされ、イメージセンサ１２では、右視点方向から入射した光線に基づく右視点画像データＤ０Ｒが取得される。
【００２８】
そして、イメージセンサ１２において複数のフレーム（撮像フレーム）を時系列的に取得すると共に、各撮像フレーム（後述のフレームＬ，Ｒ）に対応して上記シャッター１１における開閉の切り替え行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それらの組が順次画像処理部１３へ入力される。
【００２９】
画像処理部１３は、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像（後述の左視点画像Ｌ１，右視点画像Ｒ１）に対し、所定の画像処理を施し、例えば立体視用の左右の視点画像（後述の左視点画像Ｌ２，右視点画像Ｒ２）を生成する。生成した左視点画像Ｌ２，右視点画像Ｒ２は画像処理部１３内に記録されるか、あるいは外部へ出力される。
【００３０】
（２．視点画像取得の原理）
ここで、図５〜図７を参照して、単眼式カメラを用いた場合の左右の視点画像取得の原理について説明する。図５〜図７は、撮像装置１を上方からみた図に等価であるが、簡便化のため、撮像レンズ１０ａ，１０ｂ、シャッター１１およびイメージセンサ１２以外の構成要素の図示を省略しており、撮像レンズ１０ａ，１０ｂについても簡略化してある。
【００３１】
まず、図５に示したように、左右の光路切り替えをしない場合（通常の２Ｄ撮影の場合）の受光像（イメージセンサ１２への映り方）について説明する。ここでは、被写体の一例として、奥行き方向において互いに異なる位置に配置された３つの被写体を例に挙げる。具体的には、撮影レンズ１０ａ，１０ｂのピント面Ｓ１にある被写体Ａ（人物）と、被写体Ａよりも奥側（撮像レンズと反対側）に位置する被写体Ｂ（山）と、被写体Ａよりも手前側（撮像レンズ側）に位置する被写体Ｃ（花）である。このような位置関係にある場合、被写体Ａが、例えばセンサ面Ｓ２上の中央付近に結像する。一方、ピント面Ｓ１よりも奥側に位置する被写体Ｂは、センサ面Ｓ２の手前（撮像レンズ側）に結像し、被写体Ｃは、センサ面Ｓ２の奥側（撮像レンズと反対側）に結像する。即ち、センサ面Ｓ２には、被写体Ａがフォーカスした（ピントの合った）像（Ａ０）、被写体Ｂおよび被写体Ｃはデフォーカスした（ぼやけた）像（Ｂ０，Ｃ０）となって映る。
【００３２】
（左視点画像）
このような位置関係にある３つの被写体Ａ〜Ｃに対し、光路を左右で切り替えた場合、センサ面Ｓ２への映り方は、次のように変化する。例えば、シャッター駆動部１５が、シャッター１１の左側の領域ＳＬを開状態、右側の領域ＳＲを閉状態となるように駆動した場合には、図６に示したように、左側の光路が透過となり、右側の光路は遮光される。この場合、ピント面Ｓ１にある被写体Ａに関しては、右側の光路を遮光されていても、光路切り替えのない上記場合と同様、センサ面Ｓ２上にフォーカスして結像する（Ａ０）。ところが、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃについては、センサ面Ｓ２上においてデフォーカスしたそれぞれの像が、水平方向において互いに逆の方向（ｄ１，ｄ２）にシフトしたような像（Ｂ０'，Ｃ０'）として映る。
【００３３】
（右視点画像）
一方、シャッター駆動部１５が、シャッター１１の領域ＳＲを開状態、領域ＳＬを閉状態となるように駆動した場合には、図７に示したように、右側の光路が透過となり、左側の光路は遮光される。この場合も、ピント面Ｓ１にある被写体Ａは、センサ面Ｓ２上に結像し、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃは、センサ面Ｓ２上において互いに逆の方向（ｄ３，ｄ４）にシフトしたような像（Ｂ０"，Ｃ０"）として映る。但し、これらのシフト方向ｄ３，ｄ４は、上記左視点画像におけるシフト方向ｄ１，ｄ２とそれぞれ逆向きとなる。
【００３４】
（左右の視点画像間の視差）
上記のように、シャッター１１における各領域の開閉を切り替えることにより、左右の各視点方向に対応する光路が切り替えられ、左視点画像Ｌ１，右視点画像Ｒ１を取得することができる。また、上述のようにデフォーカスした被写体像は、左右の視点画像間で互いに水平方向逆向きにシフトするため、その水平方向に沿った位置ずれ量（位相差）が立体感を生みだす視差量となる。例えば図８（Ａ），（Ｂ）に示したように、被写体Ｂに注目した場合、左視点画像Ｌ１における像Ｂ０’の位置（Ｂ１L）と右視点画像Ｒ１における像Ｂ０”の位置（Ｂ１R）との水平方向の位置ずれ量Ｗｂ１が、被写体Ｂについての視差量となる。同様に、被写体Ｃに注目した場合、左視点画像Ｌ１における像Ｃ０’の位置（Ｃ１L）と右視点画像Ｒ１における像Ｃ０”の位置（Ｃ１R）との水平方向の位置ずれ量Ｗｃ１が、被写体Ｃについての視差量となる。
【００３５】
そして、これらの左視点画像Ｌ１，右視点画像Ｒ１を、例えば偏光方式、フレームシーケンシャル方式、プロジェクタ方式等の３Ｄ表示法を用いて表示することにより、観察者は、その観察映像において、例えば次のような立体感を感じることができる。即ち、上述の例では、視差のない被写体Ａ（人物）は表示画面（基準面）上で観察される一方、被写体Ｂ（山）はその基準面よりも奥まって見え、被写体Ｃ（花）は基準面から飛び出したような立体感で観察される。
【００３６】
（３．シャッター１１，イメージセンサ１２の駆動タイミング）
続いて、シャッター１１における開閉切り替え動作、イメージセンサ１２における露出および信号読み出し動作について、比較例（比較例１，２）を挙げて詳細に説明する。図９（Ａ），（Ｂ）は、比較例１に係るイメージセンサ（ＣＣＤ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。また、図１０（Ａ），（Ｂ）には、比較例２に係るイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。尚、本明細書において、フレーム期間ｆｒは、動画としての１フレーム期間を２分割にした期間に相当するものである（２ｆｒ＝動画としての１フレーム期間）。また、（Ａ）図において斜線部分は、露出期間に相当している。尚、ここでは、動画撮影の場合を例に挙げて説明するが、静止画撮影の場合も同様である。
【００３７】
（比較例１）
ＣＣＤをイメージセンサとして用いた比較例１では、面順次で画面一括駆動されるため、図９（Ａ）に示したように、一画面（撮像画面）内において露出期間に時間的なずれがなく、信号の読み出し（Read）も同時刻になされる。また、左視点画像を撮影するための露出期間では、左領域１００Ｌが開（右領域１００Ｒが閉）となるように、右視点画像を撮影するための露出期間では、右領域１００Ｒが開（左領域１００Ｌが閉）となるように、シャッターが切り替えられる。具体的には、露出開始（フレーム期間開始）タイミングに同期して、左領域１００Ｌ，右領域１００Ｒの開閉が切り替えられる。また、比較例１では、左領域１００Ｌおよび右領域１００Ｒの開期間はそれぞれ、フレーム期間ｆｒに等しく、また露出期間にも等しくなっている。
【００３８】
（比較例２）
ところが、イメージセンサとして、例えばローリングシャッタータイプのＣＭＯＳセンサを用いた場合、上記ＣＣＤの場合と異なり、例えば画面上から画面下に向かって（走査方向Ｓに沿って）線順次で駆動がなされる。即ち、図１０（Ａ）に示したように、一画面内において、ライン毎に露出開始のタイミングや信号読み出し（Read）のタイミングが異なってくる。このため、画面内の位置によって、露出期間に時間的なずれが生じる。このようなＣＭＯＳセンサを用いた場合、１ライン目の露出開始タイミングに同期してシャッターの開閉を切り替える（図１０（Ｂ））と、１画面全体（全ライン）の露出が終了する前に、透過光路が切り替わってしまう。
【００３９】
この結果、左視点画像Ｌ１００，右視点画像Ｒ１００では、互いに異なる光路の通過光線が混ざって受光され、いわゆる左右のクロストークが発生する。例えば、左視点画像Ｌ１００の撮影フレームでは、左光路の通過光線の受光量が画面上から画面下に向けて徐々に減る一方、右光路の通過光線の受光量は画面上から画面下に向けて徐々に増える。これにより、例えば図１１（Ａ）に示したように、左視点画像Ｌ１００では、上部Ｄ１が主に左視点方向からの光線、下部Ｄ３が主に右視点方向からの光線に基づくものとなり、中央付近Ｄ２では、各視点方向からの光線が混在して（クロストークにより）視差量が低減する。同様に、右視点画像Ｒ１００においても、例えば図１１（Ｂ）に示したように、上部Ｄ１が主に右視点方向からの光線、下部Ｄ３が主に左視点方向からの光線に基づくものとなり、中央付近Ｄ２ではクロストークにより視差量が低減してしまう。尚、図１１における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左右どちらかの視点方向からの光線の受光量が多いことを表している。
【００４０】
従って、そのような左右の視点画像を所定の方法で表示した場合、画面中央付近では視差量が低減している（あるいは無い）ために、立体的な表示ができず（平面的な２Ｄ画像に近づく）、また、画像（画面）の上下では所望の立体感が得られなくなってしまう。
【００４１】
これに対し、本実施の形態では、各フレーム（撮像フレーム）Ｌ，Ｒにおいて、シャッター１１における開閉切り替えを、イメージセンサ１２における１ライン目の露出開始タイミングから所定の期間遅延して行う。具体的には、図１２に示したように、１ライン目の露出開始タイミングｔ０から、露出期間Ｔの１／２の期間遅延して、シャッター１１の領域ＳＬ，ＳＲの開閉を切り替える。換言すると、ここでは、走査方向Ｓにおける中央のラインの露出開始タイミングｔ１において、シャッター１１の領域ＳＬ，ＳＲの開閉を切り替えることに等しい。これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が混在して受光されるが、中央付近においては主に所望の視点方向からの通過光線が受光される。
【００４２】
具体的には、図１３（Ａ）に示したように、フレームＬに対応する左視点画像Ｌ１では、左視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、右視点方向からの光線の受光量は、画面中央付近において最も少なく、画面上下端部に向かって徐々に増加する。また、図１３（Ｂ）に示したように、フレームＲに対応する右視点画像Ｒ１では、右視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、左視点方向からの光線の受光量は、画面中央付近において最も少なく、画面上下端部に向かって徐々に増加する。尚、図１３（Ａ），（Ｂ）における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左視点方向（または右視点方向）からの光線の受光量の割合が多いことを表している。
【００４３】
これにより、図１３（Ｃ）に示したように、左視点画像Ｌ１および右視点画像Ｒ１間における視差量は、画面中央において最も大きく、画面上下端部に向けて徐々に低減する。尚、ここでは、画面上下端部（最上部および最下部の各ライン）において左右の視点方向からの光線の受光量が１／２ずつで等しくなるため、その視差量は０（ゼロ）となる。また、本実施の形態では、露出期間Ｔおよびシャッター１１における領域ＳＬ，ＳＲの開期間がフレーム期間ｆｒ（例えば８．３ｍｓ）に等しく、１ライン目の露出開始タイミングから、Ｔ／２の期間（例えば４．１５ｍｓ）遅延して、シャッター１１の開閉が切り替えられる。
【００４４】
ところで一般に、観察者が表示された映像を観察する際に、表示画面において最も注視する部分は画面中央付近であることが多い。上述のように、本実施の形態では、所望の視点方向からの光線が画面中央付近において毎フレーム受光され、その画面中央付近において左右の視差量を生じさせるため、観察者が注視する部分に効率的に立体感を付与することができる。
【００４５】
一方、画面上下付近では、各視点方向からの光線が混在することになるため、画面中央付近に比べ、視差量が低減する（あるいは無くなる）が、これは観察者の視認性にはさほど大きな影響を与えない（画面中央付近から上下端部にかけての視差量の変化を感じにくい）。特に、極僅かな視差量で（微小視差を用いて）立体映像表示を行う場合には、観察者がそのような視差量の変化に気付くことは稀である。これは、例えば以下のような理由による。
【００４６】
即ち、人間が感じる立体感は、観察対象となっている物の配置、大きさ、色、その他の物との対比等、様々な要素を総合的に加味して判断されるものであるので、上記のような視差量の変化が直接的に立体感に影響を与えることは少ない。
【００４７】
あるいは、観察対象の物体が観察者にとって既知のものである場合には、観察者はその物体についての立体感を先入観や経験に基づいて無意識のうちに補正するため、上記のような視差量の変化に気付きにくい。例えば、画面の下部から上部に向かって直立したビルの絵を立体表示した場合、上記のような視差量の変化に伴い、実際にはビルの中央付近から上下端にかけてビルの輪郭が歪んだように映るが、観察者にとってビルは通常真っすぐなものとして認識されていることが多いため、そのようなビルの歪みに気付かずに、「真っすぐなビル」として視認され易い。
【００４８】
以上のように、本実施の形態では、各撮像フレームにおいて、シャッター１１を制御して各領域の開閉切り替えを、イメージセンサ１２における１ライン目の露出開始から所定の期間遅延して行うようにしたので、イメージセンサ１２では、特に観察者によって注視され易い画面中央付近において、所望の視点方向からの光線を他の視点方向からの光線よりも多く受光することができる。よって、線順次駆動型の撮像素子を用いて、精度良く複数の視点画像を取得することが可能となる。
【００４９】
また、上記遅延期間を、イメージセンサ１２における露出期間Ｔの１／２の期間とすることにより、所望の視点方向の光線の受光量が画面中央において最も大きく画面上下端部に向って徐々に低減すると共に、画面上部と下部との間で受光される各視点方向の光線のバランスが同等となる。遅延期間が、露出期間の１／２でない場合、画面上部と下部との間で、受光される各視点方向の光線バランスが崩れてしまう。このような場合、例えば画面上部で右画像の割合が多ければ、画面下部では左画像の割合が多くなる。従って、画面上部での立体感が正しい場合（撮像フレームが右視点方向のフレームである場合）、画面下部では左右逆の視点画像を見ることになるので、画面上下での立体感が逆転する現象が発生してしまう。このため、シャッター１１の開閉切り替えタイミングは、上述のように露出期間Ｔの１／２の期間遅延させることが望ましい。
【００５０】
（画面上下部で視差量が低減することによるメリット）
一方、画面の上部および下部において、上記のように視差量が低減することで、次のようなメリットがある。例えば、実際の立体表示時には、これら左右の視点画像を所定の手法によりディスプレイ等に表示することになるが、この場合、表示される映像のうち上下端部付近における立体感は、ディスプレイの額縁の影響を受け易い。具体的には、図１４に示したように、ディスプレイ２００において映像表示を行う場合、観察者の眼には、表示された映像と共に額縁２００ａが映ることとなる。例えば、上述の例のように、表示画面上に人物Ａ２が表示され、山Ｂ２が表示画面よりも奥まって、花Ｃ２は表示画面から飛び出すような立体表示を行った場合、例えば領域Ｅ２付近では、花Ｃ２に対する距離感と、額縁２００ａの下枠に対する距離感が相違し、これらが競合してしまうことがある。同様に、領域Ｅ１付近では、山Ｂ２に対する距離感と、額縁２００ａの上枠に対する距離感とが競合することがある。そのため、表示された映像が、額縁２００ａの枠表面と同一面（表示画面）上に引きずられて（立体感が押し戻されて）、違和感を生じることがある。このような額縁２００ａによる立体感への影響は、特に表示画面上下の領域Ｅ１，Ｅ２で顕著に表れる。これは、ディスプレイが一般に横長（例えばアスペクト比が１６：９）であることが多く、額縁２００ａが水平方向（左右方向）よりも垂直方向（上下方向）において視認され易いためである。また、特に額縁２００ａよりも手前側（観察者側）に飛び出すような立体感で表示した映像（ここでは、領域Ｅ２における花Ｃ２）が、上記のような額縁２００ａの影響を受け易い。
【００５１】
この点において、本実施の形態では、上述のように画面の中央から上下端部に向かって視差量が徐々に低減していくため、額縁２００ａ付近の領域Ｅ１，Ｅ２では視差量が極僅かとなる。従って、額縁２００ａ付近の領域Ｅ１，Ｅ２では、表示映像がほぼ額縁２００ａの表面近傍に表示されるため上記のような距離感の違いによる競合が生じにくく、自然な見え方となる。
【００５２】
次に、上記実施の形態に係る撮像装置の変形例（変形例１〜３）について説明する。変形例１，２は、上記撮像装置１におけるイメージセンサ１２の露出期間およびシャッター１１の開閉切り替えタイミングの他の例に関するものであり、上記実施の形態と同様の撮像光学系に適用されるものである。変形例３は、撮像装置の他の構成（２眼式カメラ）に関するものである。以下では、上記実施の形態の撮像装置１と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【００５３】
＜変形例１＞
図１５（Ａ），（Ｂ）は、変形例１に係るイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。本変形例においても、上記実施の形態と同様、線順次駆動型のイメージセンサ１２において、１ライン目の露出開始タイミングから所定の期間遅延してシャッター１１の開閉を切り替えるようになっている。また、シャッター１１における各領域の開期間がその領域に対応するフレーム（フレームＬまたはフレームＲ）に１：１で対応しており、各領域の開期間と１フレーム期間とは略同一である。但し、本変形例では、イメージセンサ１２において、１ライン毎の露出期間を短縮（フレーム期間ｆｒ＞露出期間Ｔ’）する。このとき、フレーム期間ｆｒの開始と同時に１ライン目の露出を開始し、露出期間Ｔ’の経過時に信号読み出しを行う（信号読み出しのタイミングを所定の期間早め、露出開始タイミングは変更しない）。
【００５４】
イメージセンサ１２における露出期間は、例えば電子シャッター機能等を利用して調整可能である。ここでは、フレーム期間ｆｒ（＝シャッター１１の開期間（閉期間））を８．３ｍｓとし、露出可能時間の６０％程度まで露出期間を短縮する（露出期間Ｔ’＝８．３×０．６＝５ｍｓ）。また、シャッター１１の開閉切り替えは、上記実施の形態と同様、１ライン目の露出開始タイミングから、例えばこの露出期間Ｔ’の１／２の期間（２．５ｍｓ）だけ遅延して行う。
【００５５】
これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が混在して受光されるが、中央付近においては主に所望の視点方向からの通過光線が受光される。但し、本変形例では、上記実施の形態に比べ、所望の視点方向の光線が取得される範囲（走査方向Ｓに沿った範囲）が広くなる。
【００５６】
具体的には、図１６（Ａ）に示したように、左視点画像Ｌ１では、左視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、右視点方向からの光線は、画面中央付近では受光されず、画面上下端部付近においてのみ受光される。また、図１６（Ｂ）に示したように、右視点画像Ｒ１では、右視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、左視点方向からの光線は、画面中央付近では受光されず、画面上下端部付近においてのみ受光される。尚、図１６（Ａ），（Ｂ）における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左視点方向（または右視点方向）からの光線の受光量の割合が多いことを表している。
【００５７】
これにより、図１６（Ｃ）に示したように、左視点画像Ｌ１および右視点画像Ｒ１間における視差量は、画面中央から画面上下端部近傍まで広範囲にわたって大きくなり、画面上下端部近傍から上下端部に向かって低減する。尚、ここでは、画面上下端部（最上部および最下部の各ライン）において左右の視点方向からの光線の受光量が１／２ずつで等しくなるため、その視差量は０（ゼロ）となる。
【００５８】
本変形例のように、露出期間Ｔ’を短縮した場合であっても、上記実施の形態と同等の効果を得ることができる。また、露出期間Ｔ’の短縮により、各フレームＬ，Ｒにおいて所望の視点方向からの光線の受光範囲（異なる視点方向からの光線に対する受光量の割合が大きくなる範囲）を広げ、画面内における視差形成範囲を拡大させることができる。即ち、フレーム期間ｆｒに対して露出期間Ｔ’を短くする程、各フレームでは対応する視点方向からの光線の受光範囲を広げることができる。
【００５９】
＜変形例２＞
図１７（Ａ），（Ｂ）は、変形例２に係るイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。本変形例では、上記変形例１と同様、イメージセンサ１２において、１ライン毎の露出期間を短縮（フレーム期間ｆｒ＞露出期間Ｔ’）するが、露出開始および信号読み出しタイミングが上記変形例１と異なっている。具体的には、本変形例では、フレーム期間ｆｒが開始してから所定の期間経過後に１ライン目の露出を開始し、露出期間Ｔ’の経過時に信号読み出しを行う（露出開始のタイミングを所定の期間遅延させ、信号読み出しタイミングは変更しない）。尚、ここでも、フレーム期間ｆｒ（＝シャッター１１の開期間（閉期間））を例えば８．３ｍｓとし、露出可能時間の６０％程度まで露出期間を短縮する（露出期間Ｔ’＝８．３×０．６＝５ｍｓ）。また、シャッター１１の開閉切り替えは、上記実施の形態と同様、１ライン目の露出開始タイミングから、例えばこの露出期間Ｔ’の１／２の期間（２．５ｍｓ）だけ遅延して行う。
【００６０】
これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が混在して受光されるが、中央付近においては主に所望の視点方向からの通過光線が受光される。また、上記変形例１と同様、所望の視点方向の光線が取得される範囲（走査方向Ｓに沿った範囲）が広くなる（図１８（Ａ），（Ｂ））。即ち、左視点画像Ｌ１，右視点画像Ｒ１間における視差量は、画面中央から画面上下端部近傍まで広範囲にわたって大きく、画面上下端部近傍から上下端部に向かって低減する。
【００６１】
本変形例のように、露出期間Ｔ’を短縮する際、信号読み出しタイミングを変更せずに、露出開始タイミングを遅らせるようにしてもよい。このようにした場合であっても、上記実施の形態および上記変形例１と同等の効果を得ることができる。
【００６２】
＜変形例３＞
本変形例では、上記撮像装置１における制御部１７が、上述のタイミング制御（シャッター１１の開閉タイミングを所定の期間遅延させる制御）を行うモードを第１のモードとし、この第１のモードと、以下に説明する第２のモードとを切り替え可能となっている。第１のモードとしては、例えば上記実施の形態で説明したようなタイミング制御（露出期間＝フレーム期間）の他、上記変形例１，２で説明したようなタイミング制御（露出期間＜フレーム期間）であってもよい。
【００６３】
（第２のモード）
図１９（Ａ），（Ｂ）は、第２のモードにおけるイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。このように、第２のモードでは、左右の視点画像に対応するフレームを１フレームおきに交互に有効フレームとして取得するようになっている。
【００６４】
具体的には、制御部１７が、ある時刻に取得されるフレーム（フレームＬ’）と、このフレームＬ’の全ライン分の読み出し終了以降（露出終了以降）に１ライン目の露出が開始されたフレーム（フレームＲ’）とをそれぞれ有効フレームとして取得する。換言すると、フレームＬ’後のフレームであって、フレームＬ’の全ライン分の読み出しが終了する前（全ライン分の露出が終了する前）に露出開始となるフレーム（フレームＬ’，Ｒ’間のフレームＸ）は、無効フレームとする。このフレームＸについては、例えば、読み出し終了後、画像処理部１３において各種処理部へ出力しないようにするか、あるいは読み出し自体を行わないようにすればよい。
【００６５】
また、図１９（Ｂ）に示したように、シャッター１１の領域ＳＬ，ＳＲの各開期間（閉期間）を、例えばフレーム期間ｆｒ（ここでは、フレーム期間ｆｒ＝露出期間Ｔ）の２倍の長さとなるように、シャッター１１の開閉を切り替える。このように、第２のモードでは、１フレームおきに取得されたフレームＬ’，Ｒ’，…を有効フレームとし、シャッター１１における開期間をフレーム期間ｆｒの２倍に設定する。
【００６６】
前述のように、線順次駆動型のイメージセンサでは、各フレームの画面中央付近においてクロストークが生じ易いが、この第２のモードのように、１フレームおきにフレームＬ’，Ｒ’を取得し、シャッター１１の開期間をフレーム期間の２倍とした場合には、クロストークの生じるフレーム（フレームＸ）が排除される。また、各フレームＬ’，Ｒ’の全ライン分の露出期間Ｔにおいて、シャッター１１の開閉が切り替わることがない（領域ＳＲ，ＳＬが開状態あるいは閉状態のまま維持される）。このため、図２０（Ａ）に示したように、フレームＬ’に対応する左視点画像Ｌ’１では、画面全域において左視点方向からの光線のみが受光される。また、図２０（Ｂ）に示したように、フレームＲ’に対応する右視点画像Ｒ’１では、画面全域において右視点方向からの光線のみが受光される。即ち、この第２のモードにおいても、精度良く左右の視点画像を取得可能である。
【００６７】
（モードの切り替え）
ここで、上記実施の形態等で説明した第１のモードでは、フレームを間引くことなく撮影すること（毎フレーム撮影）が可能であるため、実質的にフレームを間引く第２のモードよりも、光利用効率が高い。一方、第２のモードでは、画面全域においてクロストークが生じにくい（一画面内で視差量が一定である）ため、画面中央付近と上下において視差量の異なる第１のモードよりも、より精度良く視点画像を取得可能である。
【００６８】
従って、第１のモードと第２のモードとの切り替えは、例えば被写体の明るさに応じて行うようにするとよい。明るさについての判断は、例えば制御部１７に搭載されたＡＥ（automatic exposure：自動露出）機能（図示せず）等を利用して行うことができ、例えば明るさが所定の閾値未満の場合には第１のモード、閾値以上の場合には第２のモードを実行する。これにより、例えば、室内等の光量が十分でない場所で撮影を行う場合には第１のモードへ、屋外等の光量が十分な場所で撮影を行う場合には第２のモードへ、それぞれ自動的に切り替えることができる。あるいは、これらのモード切り替えを、ユーザ等の手動により（外部入力信号に基づいて）行うようにしてもよい。
【００６９】
本変形例のように、シャッター１１の開閉タイミングを遅延させて視点画像を取得する第１のモードと、１フレームおきに視点画像を取得する第２のモードとを自動または手動により切り換えるようにしてもよい。これにより、上記実施の形態等と同等の効果を得ることができると共に、被写体の明るさに応じて適切な視点画像撮影を行うことができる。
【００７０】
＜変形例４＞
［撮像装置２の全体構成］
図２１は、変形例４に係る撮像装置（撮像装置２）の全体構成を表したものである。撮像装置２は、上記実施の形態の撮像装置１と同様、被写体を左右の視点方向から撮影し、動画（または静止画）として、左右の視点画像を時系列的に取得するものである。但し、本変形例の撮像装置２は、左右の各視点方向からの光線ＬＬ，ＬＲを取得するための光路毎に、撮像レンズ１０ａ１，１０ｂ、および撮像レンズ１０ａ２，１０ｂを有する、いわゆる２眼式カメラであり、光路毎にシャッター１１ａ，１１ｂを有している。但し、撮像レンズ１０ｂは、各光路に共通の構成要素である。また、各光路に共通の構成要素として、上記実施の形態の撮像装置１と同様、イメージセンサ１２、画像処理部１３、レンズ駆動部１８、シャッター駆動部１９、イメージセンサ駆動部１６および制御部１７を備えている。
【００７１】
撮像レンズ１０ａ１，１０ｂは、左視点方向の光線ＬＬを、撮像レンズ１０ａ２，１０ｂは、右視点方向の光線ＬＲをそれぞれ取得するためのレンズ群である。撮像レンズ１０ａ１，１０ｂ間にはシャッター１１ａ、撮像レンズ１０ａ２，１０ｂ間にはシャッター１１ｂがそれぞれ配設されている。尚、シャッター１１ａ，１１ｂの配置は特に限定されるものではないが、理想的には撮像レンズ群の瞳面あるいは図示しない絞りの位置に配置されることが望ましい。
【００７２】
これらの撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）は、全体として例えばズームレンズとして機能するものである。撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）では、レンズ駆動部１４によってレンズ間隔等が調整されることにより、焦点距離を可変となっている。また、各レンズ群はそれぞれ１または複数枚のレンズによって構成されている。そのような撮像レンズ１０ａ１とシャッター１１ａとの間にはミラー１１０、撮像レンズ１０ａ２とシャッター１１ｂとの間にはミラー１１１、シャッター１１ａ，１１ｂ間にはミラー１１２がそれぞれ配置されている。これらのミラー１１０〜１１２によって、光線ＬＬ，ＬＲはそれぞれ、シャッター１１ａ，１１ｂを通過した後、撮像レンズ１０ｂへ入射するようになっている。
【００７３】
シャッター１１ａ，１１ｂは、左右の各光路における透過および遮断を切り替えるためのものであり、シャッター１１ａ，１１ｂ毎に開状態（透光状態）および閉状態（遮光状態）が切り替え制御されるようになっている。シャッター１１ａ，１１ｂとしては、上記のような光路切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。
【００７４】
レンズ駆動部１８は、撮像レンズ１０ａ１，１０ｂ（または撮像レンズ１０ａ２，１０ｂ）における所定のレンズを光軸に沿ってシフトさせるアクチュエータである。
【００７５】
シャッター駆動部１９は、シャッター１１ａ，１１ｂの開閉切り替え駆動を行うものである。具体的には、シャッター１１ａが開状態のときには、シャッター１１ｂが閉状態となるように、シャッター１１ａが閉状態のときには、シャッター１１ｂが開状態となるようにそれぞれ駆動する。また、動画として各視点画像を取得する際には、シャッター１１ａ，１１ｂ毎に開状態および閉状態が時分割で交互に入れ替わるように駆動するようになっている。
【００７６】
［撮像装置２の作用、効果］
上記のような撮像装置２では、制御部１７の制御に基づき、レンズ駆動部１８が撮像レンズ１０ａ１，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ａを開状態、シャッター１１ｂを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、左視点方向に対応する左光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＬに基づく受光がなされ、左視点画像データＤ０Ｌが取得される。
【００７７】
続いて、レンズ駆動部１８が撮像レンズ１０ａ２，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ｂを開状態、シャッター１１ａを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、右視点方向に対応する右光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＲに基づく受光がなされ、右視点画像データＤ０Ｒが取得される。上記のような撮像レンズ１０ａ１，１０ａ２およびシャッター１１ａ，１１ｂの切り替え駆動を時分割で交互に行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それら左右の視点画像の組が順次画像処理部１３へ入力される。
【００７８】
このとき、上記実施の形態と同様、各撮像フレームにおいて、シャッター１１における各領域の開閉切り替えを、イメージセンサ１２における１ライン目の露出開始から所定の期間遅延して行う。これにより、イメージセンサ１２では、特に観察者によって注視され易い画面中央付近において、所望の視点方向からの通過光線を他の視点方向からの光線よりも多く受光することができる。よって、線順次駆動型のイメージセンサ１２を用いて、精度良く複数の視点画像を取得することが可能となる。
【００７９】
そして、画像処理部１３が、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像に対し、所定の画像処理を施し、例えば立体視用の左右の視点画像を生成する。生成された視点画像は画像処理部１３内に記録されるか、あるいは外部へ出力される。
【００８０】
上述のように、本発明は、撮像レンズを左右の光路毎に配置してなる２眼式カメラにも適用可能である。このような撮像光学系を用いた場合であっても、シャッター１１における開閉切り替えを、イメージセンサ１２の１ライン目の露出開始から所定の期間遅延して行うことで、上記実施の形態と同等の効果を得ることができる。また、本変形例の撮像装置２においても、上述の変形例１，２で説明した各タイミング制御を行うようにしてもよいし、上記変形例３で説明したモード切り替えを行ってもよい。
【００８１】
以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、左右２つの光路を切り替えて左右２つの視点画像に対して所定の画像処理を施す場合を例に挙げて説明したが、視点方向は左右（水平方向）に限らず上下（垂直方向）であってもよい。
【００８２】
また、光路を３つ以上に切り替え可能とし、３つ以上の多視点画像が取得されるようにしてもよい。この場合、例えば、上記実施の形態における撮像装置１のように、シャッターを複数の領域に分割してもよいし、あるいは上記変形例４における撮像装置２のように、複数のシャッターを光路毎に設けてもよい。
【００８３】
一例として、図２２に、３つの領域ＳＡ，ＳＢ，ＳＣを有するシャッター（３つの光路にそれぞれ設けられたシャッターＳＡ，ＳＢ，ＳＣも同様）を用いて３つの視点画像を取得する場合のイメージセンサの駆動タイミングとシャッターの開閉切り替えタイミングを模式的に示す。尚、ここでは、上記実施の形態等のうち変形例１において説明した信号読み出しタイミングを早めて露出期間を短縮する場合（露出期間Ｔ’＜フレーム期間ｆｒ）を例に挙げる。このように、３光路を切り替えて３つの視点方向からの光線に基づく視点画像をそれぞれ取得する場合も、上述の左右の視点画像撮影時と同様、イメージセンサ１２の１ライン目の露出開始から所定の期間（Ｔ’／２）遅延してシャッターの開閉を切り替えればよい。
【００８４】
具体的には、フレームＡの撮影時には、その１ライン目の露光開始からＴ’／２遅延して領域ＳＡを閉状態から開状態へ切り替えると共に、領域ＳＣを開状態から閉状態へ切り替える（領域ＳＢは閉状態のまま）。続いて、フレームＢの撮影時には、その１ライン目の露光開始からＴ’／２遅延して領域ＳＢを開状態へ切り替えると共に、領域ＳＡを閉状態へ切り替える（領域ＳＣは閉状態のまま）。同様に、フレームＣの撮影時には、その１ライン目の露光開始からＴ’／２遅延して領域ＳＣを開状態へ切り替えると共に、領域ＳＢを閉状態へ切り替える（領域ＳＡは閉状態のまま）。これにより、上記実施の形態等と同様、３つの視点画像では、その画面中央付近において所望の視点方向からの光線を受光し易くなる。よって、上記実施の形態および変形例１と同等の効果を得ることができる。
【００８５】
また、上記実施の形態等では、シャッターにおける開閉タイミングを、露出期間の１／２の期間遅延する場合を例に挙げて説明したが、遅延期間は必ずしも露出期間の１／２でなくともよい。但し、露出期間の１／２に設定することにより、画面上下での左右の視差バランスを取りやすくなる。露出期間の１／２ではない場合には、画面上下で左右の視差バランスが崩れるが、これはシャッターの開期間の長さを調整することで回避可能である。
【符号の説明】
【００８６】
１，２…撮像装置、１０ａ，１０ａ１，１０ａ２，１０ｂ…撮像レンズ、１１，１１ａ，１１ｂ…シャッター、１２…イメージセンサ、１３…画像処理部、１４，１８…レンズ駆動部、１５，１９…シャッター駆動部、１６…イメージセンサ駆動部、１７…制御部、Ｌ１…左視点画像、Ｒ１…右視点画像。
【特許請求の範囲】
【請求項１】
撮像レンズと、
複数の光路において各光路の透過および遮断を切り替え可能なシャッターと、
露出および信号読み出しが線順次になされる複数の受光画素を含み、各光路の通過光線に基づく撮像データを取得する撮像素子と、
前記シャッターにおける各光路の透過および遮断の切り替えを制御する制御部とを備え、
前記制御部は、各撮像フレームにおいて前記撮像素子における１ライン目の露出開始から所定の期間遅延して各光路の透過および遮断が切り替わるように前記シャッターを制御する
撮像装置。
【請求項２】
前記制御部は、
前記撮像素子における１ライン目の露出開始時期から、露出期間の１／２の期間遅延して、各光路の透過および遮断が切り替わるように前記シャッターを制御する
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記撮像素子における１ライン分の露出期間がフレーム期間よりも短くなるように制御する
請求項２に記載の撮像装置。
【請求項４】
前記制御部は、各撮像フレームにおいて、前記撮像素子における１ライン目の信号読み出しタイミングを早める
請求項３に記載の撮像装置。
【請求項５】
前記制御部は、各撮像フレームにおいて、前記撮像素子における１ライン目の露出開始タイミングを遅らせる
請求項３に記載の撮像装置。
【請求項６】
前記シャッターは、透過状態から遮断状態へ遷移する際の応答特性と、遮断状態から透過状態へ遷移する際の応答特性とが概ね等しいものである
請求項１に記載の撮像装置。
【請求項７】
前記シャッターは、強誘電性液晶を用いた液晶シャッターである
請求項６に記載の撮像装置。
【請求項８】
前記制御部において、各撮像フレームにおいて、前記撮像素子における１ライン目の露出開始から所定の期間遅延して、各光路の透過および遮断が切り替わるように前記シャッターを制御するモードを第１のモードとし、
前記制御部は、
被写体の明るさまたは外部入力信号に応じて、
前記第１のモードと、前記複数の視点画像を１フレームおきに交互に有効フレームとして取得する第２のモードとを切り替え可能となっている
請求項１に記載の撮像装置。
【請求項９】
前記第２のモードでは、
前記撮像素子において、時間的に連続する複数のフレームのうち、少なくとも第１のフレームと、前記第１のフレームの全ライン分の露出終了以降に１ライン目の露出が開始された第２のフレームとをそれぞれ前記有効フレームとして取得し、
各有効フレームのフレーム開始時期に同期して、各光路の透過および遮断が切り替わるように前記シャッターを制御する
請求項１に記載の撮像装置。
【請求項１】
撮像レンズと、
複数の光路において各光路の透過および遮断を切り替え可能なシャッターと、
露出および信号読み出しが線順次になされる複数の受光画素を含み、各光路の通過光線に基づく撮像データを取得する撮像素子と、
前記シャッターにおける各光路の透過および遮断の切り替えを制御する制御部とを備え、
前記制御部は、各撮像フレームにおいて前記撮像素子における１ライン目の露出開始から所定の期間遅延して各光路の透過および遮断が切り替わるように前記シャッターを制御する
撮像装置。
【請求項２】
前記制御部は、
前記撮像素子における１ライン目の露出開始時期から、露出期間の１／２の期間遅延して、各光路の透過および遮断が切り替わるように前記シャッターを制御する
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記撮像素子における１ライン分の露出期間がフレーム期間よりも短くなるように制御する
請求項２に記載の撮像装置。
【請求項４】
前記制御部は、各撮像フレームにおいて、前記撮像素子における１ライン目の信号読み出しタイミングを早める
請求項３に記載の撮像装置。
【請求項５】
前記制御部は、各撮像フレームにおいて、前記撮像素子における１ライン目の露出開始タイミングを遅らせる
請求項３に記載の撮像装置。
【請求項６】
前記シャッターは、透過状態から遮断状態へ遷移する際の応答特性と、遮断状態から透過状態へ遷移する際の応答特性とが概ね等しいものである
請求項１に記載の撮像装置。
【請求項７】
前記シャッターは、強誘電性液晶を用いた液晶シャッターである
請求項６に記載の撮像装置。
【請求項８】
前記制御部において、各撮像フレームにおいて、前記撮像素子における１ライン目の露出開始から所定の期間遅延して、各光路の透過および遮断が切り替わるように前記シャッターを制御するモードを第１のモードとし、
前記制御部は、
被写体の明るさまたは外部入力信号に応じて、
前記第１のモードと、前記複数の視点画像を１フレームおきに交互に有効フレームとして取得する第２のモードとを切り替え可能となっている
請求項１に記載の撮像装置。
【請求項９】
前記第２のモードでは、
前記撮像素子において、時間的に連続する複数のフレームのうち、少なくとも第１のフレームと、前記第１のフレームの全ライン分の露出終了以降に１ライン目の露出が開始された第２のフレームとをそれぞれ前記有効フレームとして取得し、
各有効フレームのフレーム開始時期に同期して、各光路の透過および遮断が切り替わるように前記シャッターを制御する
請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−１５８６３（Ｐ２０１２−１５８６３Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５１４０１（Ｐ２０１０−１５１４０１）
【出願日】平成２２年７月１日（２０１０．７．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月１日（２０１０．７．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]