撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
【課題】１つの撮像光学系の異なる射出瞳を通過した光束から生成された両眼立体視用の画像を、観測者に与える不快感を低減して提示する。
【解決手段】左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する。そして、焦点レンズが該合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量を決定し、左眼用及び右眼用の画像と関連付けて記録する。このときシフト量は、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲内に収まるように決定される。
【解決手段】左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する。そして、焦点レンズが該合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量を決定し、左眼用及び右眼用の画像と関連付けて記録する。このときシフト量は、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲内に収まるように決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、再生装置、その制御方法、及びプログラムに関し、特に撮像光学系の射出瞳の異なる領域を通過した光束から得られた左眼用及び右眼用の画像を使用した両眼立体視の技術に関する。
【背景技術】
【０００２】
近年、立体視可能にコンテンツを表示する表示装置を有する、テレビ受像機や携帯電話等の再生装置が普及している。このような再生装置において表示する立体視用のコンテンツは、テレビ放送やＤＶＤ等の特定の事業者により提供されるものに限られず、ユーザが作成したコンテンツ等が利用可能である。
【０００３】
立体を観測者に知覚させる方式の１つに、人間の左眼及び右眼の各々に、画像間に像ずれを有する、それぞれ異なる左眼用及び右眼用の画像を提示することにより、両眼視差を知覚させる両眼立体視方式がある。上述した立体視を可能にする表示装置の多くは両眼立体視方式を採用しているため、昨今では、左眼用及び右眼用の画像で構成される、立体視用の静止画あるいは動画を撮影可能な撮像装置も普及してきている。例えば両眼立体視用の画像を撮影可能な撮像装置には、基線長を設けて配設された２つの撮像光学系を有し、各撮像光学系を通過した光束から得られた画像を両眼立体視用の画像として出力するものがある。
【０００４】
一方、立体視用の表示装置で立体視用のコンテンツを視聴する場合、表示領域の物理的な大きさによって推奨される視聴距離（表示面と観測者の眼球との距離）が設定されている。これは、例えば人間の平均的な水平視野に応じて設定される。上述したような事業者により提供される立体視用のコンテンツの多くは、推奨視聴距離において視聴された場合に、両眼視差が観測者に疲労感を与えにくいように、コンテンツの左眼用及び右眼用の画像間の像ずれ量が調整されている。
【０００５】
しかしながら、ユーザが作成した立体視用のコンテンツは、両眼視差が視聴する観測者に与える疲労感が考慮されていない可能性があるため、表示装置の中には左眼用及び右眼用の画像間の像ずれ量を調整する機能を有するものがある。特許文献１には、両眼立体視用の画像に含められた、２つの撮像光学系の基線長、及び該２つの撮像光学系の光軸の交差点までの距離の情報に基づいて、左眼用及び右眼用の画像のシフト量を決定することで、観測者に与える立体感を調整する技術が開示されている。
【０００６】
また、両眼立体視用の画像を撮影する撮像装置として、近年では１つの撮像光学系のみを用いて両眼立体視用の画像を撮影可能なものもある。特許文献２には、図２のように撮像素子の１つの画素内に複数の受光素子を有し、各々の受光素子が撮像光学系の射出瞳の異なる領域を通過した光束を光電変換することにより、両眼立体視用の画像を撮影可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３９７８３９２号明細書
【特許文献２】特許第４０２７１１３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２のような撮像装置において、左眼用及び右眼用の画像間の像ずれ量を適切に調整するものが考慮されていなかった。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、１つの撮像光学系の異なる射出瞳を通過した光束から生成された両眼立体視用の画像を、観測者に与える不快感を低減して提示できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
前述の目的を達成するために、本発明の１つの態様の撮像装置は、以下の構成を備える。
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、焦点レンズが合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、合焦駆動位置を示す情報に基づいて決定する決定手段と、決定手段により決定されたシフト量と、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像とを関連付けて記録する記録手段と、を有することを特徴とする。
【００１１】
また前述の目的を達成するために、本発明の１つの態様の再生装置は、以下の構成を備える。
１つの撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像して得られた左眼用及び右眼用の画像と、該画像が撮像された際の撮像光学系の焦点レンズの駆動位置である合焦駆動位置を示す情報とを取得する取得手段と、取得手段により取得された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量であって、該画像を撮像した撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に撮像装置で得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を決定する決定手段と、取得手段により取得された左眼用及び右眼用の画像を、合焦駆動位置を示す情報に基づいて決定手段により決定されたシフト量に従ってシフトさせ、シフト後の左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、を有することを特徴とする。
【００１２】
また前述の目的を達成するために、本発明の１つの態様の撮像システムは、以下の構成を備える。
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、焦点レンズが合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、合焦駆動位置を示す情報に基づいて決定する決定手段と、取得手段により取得された左眼用及び右眼用の画像を決定手段により決定されたシフト量に従ってシフトさせ、シフト後の左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、を有することを特徴とする。
【発明の効果】
【００１３】
このような構成により本発明によれば、１つの撮像光学系の異なる射出瞳を通過した光束から生成された両眼立体視用の画像を、観測者に与える不快感を低減して提示することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係る撮像素子の単位画素の構造を示した図
【図３】本発明の実施形態に係るデジタルカメラ１００で記録されるファイルのファイル構造を示した図
【図４】本発明の実施形態１に係る連写撮影処理のフローチャート
【図５】本発明の実施形態に係るシフト量決定処理の概念を説明するための図
【図６】本発明の実施形態に係るシフト量決定処理のフローチャート
【図７】本発明の実施形態に係るシフト量の決定方法を説明するための図
【図８】本発明の実施形態１に係る再生処理のフローチャート
【図９】本発明の実施形態２に係る再生処理のフローチャート
【図１０】従来技術の問題点を説明するための図
【発明を実施するための形態】
【００１５】
［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置、再生装置、及び撮像システムの一例としての、両眼立体視可能な表示装置を有し、１つの撮像光学系の異なる射出瞳を通過した光束から両眼立体視用の画像を生成するデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、１つの撮像光学系の異なる射出瞳を通過した光束から両眼立体視用の画像を生成すること、あるいは該画像を再生することが可能な任意の機器に適用可能である。
【００１６】
＜立体視中の焦点調節動作が観測者に与えうる影響＞
ここで、撮像装置であるデジタルカメラにおいて焦点調節が行われた場合に、該焦点調節中の立体視表示のライブビュー画面を観測している観測者に与えうる影響について説明する。
【００１７】
特許文献２の両眼立体視用の画像の撮影方式は、特許文献１の撮像装置のように両眼の撮像光学系の設置条件により立体感が決まる方式とは異なり、撮像光学系の合焦距離や絞り値等の設定によって観測者に与える立体感が変化する。具体的には、特許文献２の撮像装置で得られる左眼用及び右眼用の画像間において、像ずれ量が０となる被写体は撮像光学系が合焦している合焦被写体であり、１つの被写体について観測者に与える立体感は、撮影時の撮像光学系の状態によって変化する。このことは、被写体と撮像装置の配置関係が同一であっても、撮影時の撮像光学系の合焦面と撮像装置との距離（合焦距離）によって、観測者が知覚する視差が変化することを意味する。
【００１８】
例えば図１０（ａ）のように撮像光学系の合焦面に被写体が存在する場合を考える。このとき、各画素内に左眼用及び右眼用の受光素子（ａ、ｂ）を有する撮像素子から得られるＡ像群（受光素子ａから得られる画像信号：左眼用画像）とＢ像群（受光素子ｂから得られる画像信号：右眼用画像）において、被写体の像は同一の画素となる。即ち、合焦面に存在する合焦被写体の像の位置は、左眼用及び右眼用の画像間で略一致しており、ずれがないものとみなせる。
【００１９】
これに対し、図１０（ｂ）のように、合焦させたい被写体と撮像装置との距離よりも合焦距離が長くなる、所謂後ピンの状態では、被写体が合焦面よりも手前になる。このとき撮像素子から得られる左眼用及び右眼用の画像間で、合焦させたい被写体の像の位置にずれが生じる。具体的には、該画像を表示装置に立体視可能に表示した場合に、合焦面にあたる表示面よりも手前に被写体が知覚されるため、輻輳角よりも観測者の眼球が中央に向く（コンバージェンス）方向に像ずれが生じる。
【００２０】
また図１０（ｃ）のように、合焦させたい被写体と撮像装置との距離よりも合焦距離が短くなる、所謂前ピンの状態では、被写体が合焦面よりも奥まることになる。このとき撮像素子から得られる左眼用及び右眼用の画像間で、合焦させたい被写体の像の位置にずれが生じる。具体的には、該画像を表示装置に立体視可能に表示した場合に、表示面よりも奥に被写体が知覚されるため、輻輳角よりも観測者の眼球が外に向く（ダイバージェンス）方向に像ずれが生じる。
【００２１】
つまり、例えば静止画撮影準備時のＡＦ動作や動画撮影中の焦点調節動作等によって頻繁に合焦距離が変化する場合、変化中に撮像された画像を立体視可能な表示装置に連続的に提示すると、観測者が知覚する視差も頻繁に変化することになる。このとき観測者が被写体の１つを注視していたとしても、該被写体の視差が変化することになるため、観測者の眼球は該被写体に注視するために焦点調節を行う必要がある。即ち、頻繁な合焦距離の変化に合わせて眼球の焦点調節を行う必要があるため、観測者に不快感を与えてしまうことがあった。
【００２２】
そこで、本実施形態では、撮像装置との距離が所定距離である被写体について、合焦駆動位置を示す情報に基づいて、左右眼の画像間のシフト量を決定する。具体的には、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる画像間の第２の像ずれ量との差分が所定の範囲に収まるようにシフト量を決定する。これにより、両眼立体視用の画像を、観測者に与える不快感を低減して提示することができる。
【００２３】
＜デジタルカメラ１００の機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００２４】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、後述する連写撮影処理及び再生処理の動作プログラムをＲＯＭ１０２から読み出して、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。
【００２５】
ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、連写撮影処理及び再生処理の動作プログラムに加え、デジタルカメラ１００が有する各ブロックの動作に必要なパラメータや、後述する撮像光学系１０４の特性に関する情報を記憶する。
【００２６】
ＲＡＭ１０３は、揮発性メモリであり、連写撮影処理及び再生処理の動作プログラムの展開領域としてだけでなく、デジタルカメラ１００が有する各ブロックの動作において出力される中間データ等を一時的に格納する格納領域としても用いられる。
【００２７】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００２８】
撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、撮像光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をアナログ信号処理部１０８に出力する。撮像部１０６は、制御部１０１によって制御されるＴＧ１０７から出力されるＨＤやＶＤ等のタイミング信号に応じて、光学像の光電変換を行う。なお、本実施形態の撮像部１０６の撮像素子の１画素は、図２に示されるように左眼用及び右眼用の２つの受光素子ａ及びｂで構成されるものとする。しかしながら、１画素を構成する受光素子の数はこれに限らず、２以上の受光素子で構成され、左眼用及び右眼用の画像に係る画像信号を出力可能なものであればよい。撮像光学系１０４は、本実施形態では少なくとも焦点レンズを含むレンズ群と絞りとで構成される。撮像光学系１０４に含まれる焦点レンズや絞りは、光学系駆動部１０５により駆動制御される。
【００２９】
アナログ信号処理部１０８は、撮像素子の伝送路上で生じたノイズを除去するＣＤＳ回路や、非線形増幅回路等を有する。アナログ信号処理部１０８は、入力されたアナログ画像信号に対して各回路で信号処理を行い、得られたアナログ信号をＡ／Ｄ変換部１０９に出力する。アナログ信号処理部１０８から出力されたアナログ信号は、Ａ／Ｄ変換部１０９においてＡ／Ｄ変換処理が適用され、デジタル画像信号に変換される。Ａ／Ｄ変換部１０９は、変換により得られたデジタル画像信号をデジタル信号処理部１１０に出力する。デジタル信号処理部１１０は、入力されたデジタル画像信号に対して、欠陥画素補正、ホワイトバランス調整、ガンマ調整等の信号補正処理、及びノイズリダクション処理等の画像処理を行う。また本実施形態では、デジタル信号処理部１１０においてデジタル画像信号を、左眼用の画像の信号と右眼用の画像の信号とに分離する。左眼用及び右眼用の画像に分離された信号は、例えばＲＡＭ１０３に記憶されるものとする。
【００３０】
またデジタル信号処理部１１０は、左眼用及び右眼用の画像の信号に対して所定の記録形式に符号化し、得られた画像ファイルあるいは動画ファイルのフレームデータを後述する記録媒体１１４に出力する。本実施形態では、画像ファイルと動画ファイルのそれぞれは、図３に示すようなファイル構造を有するものとする。具体的には画像ファイルは、図３（ａ）に示すように画像関連情報３０１、左眼用の画像３０２、右眼用の画像３０３が含まれる。また動画ファイルは、図３（ｂ）に示すようにフレームごとに画像ファイルと同様に画像関連情報３１１、左眼用のフレーム画像３１２、及び右眼用のフレーム画像３１３が含まれる。なお、画像や動画像のファイル構造はこれに限られるものではなく、記録形式によって異なることは容易に理解されよう。
【００３１】
表示部１１３は、左眼用及び右眼用の画像を両眼立体視可能に表示する表示装置である。表示部１１３は、例えばレンチキュラレンズ等の光学部材を用いることにより、撮影者の左眼と右眼にそれぞれ対応する画像を提示する。なお、本実施形態ではデジタルカメラ１００に備えられている表示装置として、裸眼立体視が可能な上述の方式を用いるものとして説明するが、本発明のデジタルカメラ１００により生成された左眼用及び右眼用の画像を表示する装置はこれに限られない。例えば、近年家庭用の所謂３Ｄテレビのように、時分割で左眼用の画像と右眼用の画像を交互に提示し、該画像の切り替えに同期して左眼及び右眼のいずれかを透過状態に切り替える液晶シャッタを利用した眼鏡を観測者が装着する方式であってもよい。
【００３２】
シフト量決定部１１１は、表示部１１３に左眼用及び右眼用の画像を表示する際に、各画像の相対的な位置ずれ量であるシフト量を決定する。そして画像シフト部１１２は、シフト量決定部１１１により決定されたシフト量分、左眼用及び右眼用の画像の少なくともいずれかの表示装置に表示する場合の位置をずらした表示画像を生成する。「シフト量」とは、本実施形態では左眼用及び右眼用の画像を表示部１１３の表示領域に表示する場合に、左眼用の画像及び右眼用の画像それぞれの画像中心がなす距離量を、画素単位で示す数値である。このようにシフト量を変更させることにより、左眼用及び右眼用の画像間で各被写体の像ずれ量を調整することができる。像ずれしていない被写体は表示装置の表示面に存在するように知覚されるため、像ずれ量を調整することにより左眼用及び右眼用の画像の立体感を調整することができる。なお、本実施形態では、シフト量決定部１１１により決定されたシフト量を示す情報は、記録媒体１１４に記録される画像ファイルあるいは動画ファイルの画像関連情報に含められて記録されるものとする。特に動画ファイルの場合、フレームごとにシフト量決定部１１１が決定したシフト量を示す情報が記録される。
【００３３】
記録媒体１１４は、例えばデジタルカメラ１００が有する内蔵メモリや、例えばメモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１４は、撮像処理により得られた画像ファイルあるいは動画ファイルが記録される。
【００３４】
＜連写撮影処理＞
以下、本実施形態のデジタルカメラ１００の連写撮影処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０４に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本連写撮影処理は、例えばデジタルカメラ１００が備える不図示のレリーズボタンの撮影者による操作によって出力される撮影開始を示す制御信号（ＳＷ２）を制御部１０１が受信した際に開始されるものとして説明する。
【００３５】
なお、本実施形態ではデジタルカメラ１００は連写撮影モードに設定されており、連写撮影により繰り返し画像の撮影を行う間に、１回の撮影毎に自動合焦動作（コンティニュアスＡＦ）、及び被写体を測光して露出条件を決定するＡＥ動作を行うものとする。即ち、デジタルカメラ１００の連写撮影により得られる連続画像のそれぞれは、予備撮影で得られた画像、あるいは連続撮影中の現在の撮影の前に得られた画像を参照し、該画像に含まれる被写体像に合わせてＡＦ動作及びＡＥ動作を行なって撮影を行う。
【００３６】
Ｓ４０１で、制御部１０１は、被写体に合焦する焦点レンズの駆動位置（合焦駆動位置）を決定する。具体的には制御部１０１は、不図示の予備撮影により得られた画像データや、連写撮影中に既に撮像されて得られた画像データ等、本ステップの実行よりも前に得られた左眼用及び右眼用の画像データのいずれかをＲＡＭ１０３より取得する。そして制御部１０１は、該画像データの被写体像のコントラスト状態から、焦点レンズの駆動位置を決定する。そして制御部１０１は、決定した焦点レンズの駆動位置を光学系駆動部１０５に伝送し、撮像光学系１０４の焦点レンズを該駆動位置に駆動させる。このとき制御部１０１は、決定した焦点レンズの駆動位置を示す情報をＲＡＭ１０３に記憶するものとする。
【００３７】
Ｓ４０２で、制御部１０１は、不図示の測光部により得られた被写体の測光結果に基づいて、撮影時の露出条件（シャッタスピード、絞り値）を決定する。このとき制御部１０１は、決定した露出条件を示す情報をＲＡＭ１０３に記憶するものとする。なお、本実施形態では説明を簡単にするために、連写撮影中に決定される露出条件は一定であるものとして説明する。
【００３８】
Ｓ４０３で、制御部１０１は、Ｓ４０２で決定した露出条件で立体視用の画像の撮影を行う。具体的には制御部１０１は、撮像部１０６によるアナログ画像信号の読み出し、及びアナログ信号処理部１０８、Ａ／Ｄ変換部１０９、及びデジタル信号処理部１１０における各種画像処理を実行し、記録する左眼用及び右眼用の画像を生成する。なお、生成された記録用の左眼用及び右眼用の画像は、一時的にＲＡＭ１０３に記憶されるものとする。
【００３９】
Ｓ４０４で、制御部１０１は、記録する左眼用及び右眼用の画像を表示装置に表示する際のシフト量を決定するシフト量決定処理を実行する。
【００４０】
（シフト量決定処理の概念）
ここで、本ステップで実行されるシフト量決定処理の概念について図５を用いて説明する。
【００４１】
例えば図５（ａ）に示すように、デジタルカメラ１００に対して主被写体５０１、遠景被写体５０２、近景被写体５０３が位置する場合を考える。なお、デジタルカメラ１００の撮像光学系１０４に含まれる焦点レンズは、主被写体５０１に合焦する基準駆動位置に設定されているものとする。
【００４２】
主被写体５０１に合焦している場合、撮影により得られる画像は図５（ｂ）のようになる。このとき合焦している主被写体５０１の像は、左眼用及び右眼用の画像間で像ずれがない状態となる。即ち、主被写体５０１に合焦している際に得られる左眼用及び右眼用の画像を立体視可能に表示装置に表示した場合、図５（ｃ）に示されるように主被写体５０１は表示面の位置にあるように知覚される。つまり、表示面について観測者に与える距離感は、主被写体５０１とデジタルカメラ１００との距離（合焦距離）に相当する。
【００４３】
この状態から、主被写体５０１が一度デジタルカメラ１００の方向に移動して、再び図５（ａ）の状態になった場合を考える。このとき制御部１０１は、合焦していた主被写体５０１が移動したために撮像画像におけるコントラスト状態が変化するため、再び合焦する焦点レンズの位置を検出するためにＳ４０１のＡＦ動作を行う。具体的には制御部１０１は、現在の焦点レンズの駆動位置に対して前後に焦点レンズを駆動させ（ウォブリング動作）ながら、コントラストが高くなる、移動後の主被写体５０１に合焦する焦点レンズの駆動位置を決定する。
【００４４】
このウォブリング動作の間、撮像で得られる左眼用及び右眼用の画像を立体視可能に表示した場合、表示面について観測者に与える距離感は連続的に変化することになる。ウォブリング動作において、ＡＦ動作前の合焦距離よりも遠方に位置する遠景被写体５０２に合焦する駆動位置に焦点レンズが駆動された場合を考える。このとき得られる左眼用及び右眼用の画像は図５（ｄ）のように、主被写体５０１及び近景被写体５０３の像ずれ量が大きくなり、遠景被写体５０２の像ずれ量は小さくなる（０になる）。図５（ｄ）のような左眼用及び右眼用の画像を立体視可能な表示装置に表示した場合、図５（ｅ）に示されるように主被写体５０１ではなく遠景被写体５０２が表示面の位置にあるように観測者に知覚される。即ち、観測者の眼球がなす輻輳角は表示面にある状態から変化しないにも関わらず、ＡＦ動作中は合焦距離の変化に合わせて全体的な立体感が頻繁に変化することになるため、観測者に不快感を与えることになる。
【００４５】
このため、本実施形態ではこのように焦点レンズの駆動位置が変化するＡＦ動作が行われる場合に、制御部１０１はＡＦ動作の直前の焦点レンズの駆動位置を基準駆動位置として記憶する。そして制御部１０１は、ＡＦ動作の直前とＡＦ動作中とで、デジタルカメラ１００との距離が所定距離である被写体についての像ずれ量が同一になるように、ＡＦ動作中に得られる左眼用及び右眼用の画像の少なくともいずれかのシフト量を決定する。なお、本実施形態のデジタルカメラ１００は、焦点レンズの駆動位置の各々について、該駆動位置に焦点レンズがある場合の合焦面までの合焦距離の情報を対応付けて、ＲＯＭ１０２に記憶しているものとする。そして制御部１０１は、基準駆動位置に対応する合焦距離の情報をＲＯＭ１０２より取得し、シフト後に該合焦距離に存在する被写体の像ずれ量が０となるように、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像のシフト量を決定する。このようにすることで、ＡＦ動作中であっても図５（ｃ）のように主被写体５０１の像ずれ量が０となるように表示装置に表示させることができるため、観測者が知覚する立体感を変化させることなくＡＦ動作中に撮像された左眼用及び右眼用の画像を提示できる。
【００４６】
なお、シフト量は、左眼用及び右眼用の画像における同一の被写体の像が表示装置に表示された際に、シフト量に対応する画素分ずれて表示されればよいため、左眼用の画像あるいは右眼用の画像のいずれかをシフトさせる値であってもよい。またシフト量は、両方をシフトさせた場合に、最終的に表示装置に表示された際に、同一の被写体の像がシフト量に対応する画素分ずれて表示される値であってもよい。
【００４７】
また、本実施形態ではＡＦ動作の直前の焦点レンズの駆動位置を基準駆動位置として記憶するものとして説明するが、基準駆動位置の設定方法はこれに限られるものではない。基準駆動位置は、予め決定された固定値であってもよいし、ＡＦ動作が行われるよりも前に例えばユーザによって設定された駆動位置であってもよい。
【００４８】
また、本実施形態では焦点レンズが基準駆動位置にある場合の合焦距離を取得し、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像のシフト量を、該合焦距離に存在する被写体についての像ずれ量が０となるように決定するものとする。しかしながら、シフト量の決定方法はこれに限らず、デジタルカメラ１００との距離が所定距離である被写体についての像ずれ量をシフト量の決定基準としてもよい。具体的には、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像をシフト量に応じてシフトさせた場合に、所定距離である被写体についての像ずれ量（第１の像ずれ量）と、焦点レンズが基準駆動位置にある場合の像ずれ量（第２の像ずれ量）との差分が、観測者に立体感の変化による不快感を与えないとみなせる、予め定められた視差変化の範囲内に収まるようにシフト量を決定してもよい。
【００４９】
（シフト量決定処理）
以下、Ｓ４０４で行われるシフト量決定処理の具体的な処理内容について、図６のフローチャートを用いて詳細に説明する。
【００５０】
Ｓ６０１で、制御部１０１は、Ｓ４０１で決定した焦点レンズの駆動位置（合焦駆動位置）を示す情報と、予め定められた基準駆動位置を示す情報とを、ＲＡＭ１０３より読み出してシフト量決定部１１１に伝送する。また制御部１０１は、Ｓ４０２で決定した絞り値の情報を、同様にＲＡＭ１０３より読み出してシフト量決定部１１１に伝送する。なお、基準駆動位置を示す情報は、上述したようにＡＦ動作が生じる前の焦点レンズの駆動位置の情報が、例えば撮影処理の実行前に制御部１０１によってＲＡＭ１０３に格納されるものとする。
【００５１】
Ｓ６０２で、シフト量決定部１１１は制御部１０１の制御のもと、焦点レンズが基準駆動位置にある場合の合焦距離Ｘｂの情報をＲＯＭ１０２より取得する。上述したように本実施形態では、焦点レンズの駆動位置に対応付けて、該駆動位置における合焦面とデジタルカメラ１００との距離を示す情報が、合焦距離管理テーブルとしてＲＯＭ１０２に記憶されているものとする。
【００５２】
Ｓ６０３で、シフト量決定部１１１は制御部１０１の制御のもと、焦点レンズが合焦駆動位置にある場合のデフォーカス量と左眼用及び右眼用の画像間における像ずれ量との関係式のパラメータ（比例係数Ｋ及び過焦点オフセットＨ）をＲＯＭ１０２より取得する。図７（ａ）に実線７０１で示されるように、左眼用及び右眼用の画像間における被写体の像ずれ量（コンバージェンス方向を正、ダイバージェンス方向を負とする）は、デジタルカメラ１００からの距離の逆数であるデフォーカス量Ｄと比例関係にある。即ち、デフォーカス量Ｄと像ずれ量Ｃとの関係式は
Ｄ＝Ｋ×Ｃ＋Ｈ （Ｃ＝（Ｄ−Ｈ）／Ｋ）
として示すことができる。
【００５３】
なお、同様に焦点レンズが基準駆動位置にある場合のデフォーカス量Ｄｂと像ずれ量Ｃｂとの関係は、図７（ｂ）の実線７１０のようになる。このとき、焦点レンズが基準駆動位置にある場合の合焦距離Ｘｂの逆数であるデフォーカス量１／Ｘｂにおいて、像ずれ量が０となる。
【００５４】
また、比例係数Ｋは、撮像光学系１０４の絞り値によって変化する、撮像光学系１０４特有の値であるため、本実施形態ではＲＯＭ１０２に絞り値に対応付けて記憶されているものとするが、比例係数Ｋの取得方法はこれに限らない。例えば予備撮影時等において本撮影の絞り値で、２つの焦点レンズの駆動位置について撮像を行い、得られた画像の像ずれ量ｃ、焦点レンズの２つの駆動位置の距離ｄ、及び過焦点オフセットＨを用いて
Ｋ＝（ｄ−Ｈ）／ｃ
として算出してもよい。
【００５５】
Ｓ６０４で、シフト量決定部１１１は、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量を決定し、決定したシフト量の情報を制御部１０１に伝送する。具体的にはシフト量決定部１１１は、Ｓ６０３で得られた焦点レンズが合焦駆動位置にある場合のデフォーカス量Ｄと像ずれ量Ｃとの関係式を用いて、Ｓ６０２で焦点レンズが基準駆動位置にある場合の合焦距離Ｘｂにおける像ずれ量Ｃ０を取得する。このとき取得される像ずれ量Ｃ０は、合焦距離Ｘｂに存在する被写体についての、焦点レンズが合焦駆動位置に歩い場合に撮像された左眼用及び右眼用の画像間における像ずれ量を示している。即ち、該像ずれ量Ｃ０の正負を反転させた値をシフト量とすることで、図７（ａ）に破線７０２で示されるような、焦点レンズが基準駆動位置にある場合と同一の立体感を観測者に知覚させるように左眼用及び右眼用の画像を表示することができる。
【００５６】
このようにシフト量決定処理によりシフト量を決定した後、制御部１０１は処理をＳ４０５に移す。
【００５７】
Ｓ４０５で、制御部１０１は、Ｓ４０３で生成された記録用の左眼用及び右眼用の画像データをＲＡＭ１０３より取得し、画像関連情報に決定したシフト量を含め、画像関連情報と画像データとを含む画像ファイルを記録媒体１１４に記録する。
【００５８】
Ｓ４０６で、制御部１０１は、撮影開始を示すＳＷ２信号を受信しているか否かを判断する。制御部１０１は、ＳＷ２信号を受信していると判断した場合は処理をＳ４０１に戻し、受信していないと判断した場合は本連写撮影処理を完了する。
【００５９】
このようにすることで、連続的に撮像を行って得られた立体視用の画像を連続的に再生する場合に観測者に不快感を与えないよう、知覚する立体感が一定になる左眼用及び右眼用の画像を提示するための情報を画像ファイルに含めることができる。
【００６０】
＜再生処理＞
ここで、上述した連写撮影処理において得られた、連続的に撮影された画像を、デジタルカメラ１００の閲覧モードにおいてユーザ（観測者）が閲覧する場合の再生処理について、図８のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本再生処理は、例えばデジタルカメラ１００のモードが閲覧モードに切り替えられた際に開始されるものとして説明する。
【００６１】
なお、本実施形態では、連写撮影処理において得られた画像を、閲覧モードで閲覧する場合を例にとって説明するが、本再生処理は例えば連写撮影中に表示部１１３に表示されるライブビュー画面、あるいは外部機器において該画像を再生する場合に適用可能である。
【００６２】
Ｓ８０１で、制御部１０１は、デジタルカメラ１００が備える不図示の画像送りボタンがユーザにより操作されたか否かを判断する。具体的には制御部１０１は、画像送りボタンが操作されることによって出力される、画像送り操作がなされたことを示す制御信号を受信したか否かを判断する。制御部１０１は、画像送り操作がなされたと判断した場合は処理をＳ８０２に移し、なされていないと判断した場合は本ステップの処理を繰り返す。
【００６３】
Ｓ８０２で、制御部１０１は、現在設定されている再生順において次に再生する画像ファイルを、記録媒体１１４より読み出す。なお、現在設定されている再生順及び現在再生している画像ファイルの情報は例えばＲＡＭ１０３に記憶されているものとし、制御部１０１は該情報を参照することにより、次に再生する画像ファイルを特定するものとする。
【００６４】
Ｓ８０３で、制御部１０１は、読み出した画像ファイルに含まれる画像データが両眼立体視用の画像データであるか否かを判断する。具体的には制御部１０１は、例えば読み出した画像ファイルのヘッダ部に該画像ファイルに含まれる画像データが両眼立体視用の画像データであることを示す情報が含まれているか否かにより、画像ファイルに含まれる画像データが両眼立体視用の画像データであるか否かを判断する。制御部１０１は、次に再生する画像ファイルに含まれる画像データが両眼立体視用の画像データであると判断した場合は処理をＳ８０４に移し、両眼立体視用の画像データではない（モノラル画像）であると判断した場合は処理をＳ８０７に移す。
【００６５】
Ｓ８０４で、制御部１０１は、次に再生する画像ファイルの画像関連情報にシフト量の情報が含まれているか否かを判断する。制御部１０１は、画像関連情報にシフト量の情報が含まれている判断した場合は処理をＳ８０５に移し、含まれていないと判断した場合は処理をＳ８０６に移す。
【００６６】
Ｓ８０５で、制御部１０１は、次に再生する画像ファイルの画像関連情報からシフト量の情報を読み出し、該シフト量に応じて左眼用及び右眼用の画像データをシフトさせて、表示部１１３に立体視可能に表示させる。具体的には制御部１０１は、左眼用及び右眼用の画像データ、及びシフト量の情報を画像シフト部１１２に伝送し、左眼用及び右眼用の画像データをシフト量分だけシフトさせる。そして制御部１０１は、得られたシフト後の左眼用及び右眼用の画像データを表示部１１３に伝送し、立体視可能に表示させ、処理をＳ８０１に戻す。
【００６７】
Ｓ８０４で次に再生する画像ファイルの画像関連情報にシフト量の情報が含まれていないと判断した場合、制御部１０１はＳ８０６で、次に再生する画像ファイルに含まれる左眼用及び右眼用の画像データを、シフトさせずに表示部１１３に伝送する。そして制御部１０１は、表示部１１３に該画像データを立体視可能に表示させ、処理をＳ８０１に戻す。
【００６８】
またＳ８０３で次に再生する画像ファイルに含まれる画像データが両眼立体視用の画像データではないと判断した場合、制御部１０１はＳ８０７で、該画像データを表示部１１３に伝送し、立体視ではない通常の表示方法で表示させ、処理をＳ８０１に戻す。なお、このとき表示部１１３の表示方式が立体視用に設定されている場合は、制御部１０１は画像ファイルに含まれる１つの画像データを左眼用及び右眼用の画像データとして、シフトせずに表示部１１３に表示させればよい。
【００６９】
このようにすることで、上述した連写撮影処理において連続的に撮影されて得られた立体視用の画像を、シフト量に応じてシフトさせて表示することができる。即ち、該画像を連続的に切り替えて再生する場合であっても、観測者が知覚する立体感を一定にすることで、観測者に与える不快感を低減して再生することができる。
【００７０】
なお、上述した説明では連写撮影処理及び再生処理について説明したが、本発明の実施はこれに限られるものではない。本発明は、例えば動画撮影やライブビュー画面の表示等、連続的に撮像を行って得られた立体視用の画像を連続的に再生することが想定される撮像装置あるいは再生装置に適用可能である。即ち、本発明は、立体視用の画像を連続的に観測者に提示する場合に、左眼用の画像及び右眼用の画像の少なくともいずれかのシフト量を調整することで、観測者に与える不快感を低減することを実現するものである。
【００７１】
また本実施形態では、絶対的なシフト量の値を画像関連情報に含めて記録するものとして説明したが、シフト量の記録方法についてはこれに限られない。例えば動画データ等の場合は直前のフレームのシフト量に対する相対的な値としてシフト量の値を含めるようにしてもよい。
【００７２】
また本実施形態では再生処理において、画像シフト部１１２で画像のシフトのみを行って表示するものとして説明したが、実際は撮像光学系１０４の変化による像倍率の変化に合わせて画像シフト画像シフト部１１２で拡大縮小処理を行ってもよい。この拡大縮小処理に利用される拡大縮小率は、撮像光学系１０４に固有であることが多いため、予めＲＯＭ１０２等に記憶しておくことが望ましい。
【００７３】
以上説明したように本実施形態の撮像装置は、１つの撮像光学系の異なる射出瞳を通過した光束から生成された両眼立体視用の画像を、観測者に与える不快感を低減して提示することができる。具体的には撮像装置は、左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する。そして、焦点レンズが該合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量を決定し、左眼用及び右眼用の画像と関連付けて記録する。このときシフト量は、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるように決定される。
【００７４】
［実施形態２］
なお、上述した実施形態１では撮影して得られた画像は、左眼用及び右眼用の画像の少なくともいずれかの画像についてのシフト量の情報が画像関連情報に含められて画像ファイルとして記録されるものとして説明した。即ち、実施形態１では、左眼用及び右眼用の画像を撮像した際に、該画像を記録する処理の途中でシフト量決定処理を実行してシフト量を決定し、画像とともにファイルに記録するものとして説明した。本実施形態では、実施形態１の連写撮影処理等の、撮影して得られた立体視用の画像の記録時ではなく、立体視用の画像を再生する際に、シフト量決定処理を実行する態様について説明する。
【００７５】
なお、以下の説明では、連続的に撮影された立体視用の画像を記録した各画像ファイルに、少なくとも撮影時の焦点レンズの駆動位置を示す情報が、画像関連情報に含められて記録されているものとして説明する。
【００７６】
＜再生処理＞
以下、上述した実施形態１と同様の構成のデジタルカメラ１００において、連続的に撮影された画像をデジタルカメラ１００の閲覧モードにおいてユーザ（観測者）が閲覧する場合の再生処理について、図９のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本再生処理は、例えばデジタルカメラ１００のモードが閲覧モードに切り替えられた際に開始されるものとして説明する。
【００７７】
なお、本再生処理において、上述した実施形態１の再生処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本実施形態に特徴的なステップの説明に留める。
【００７８】
Ｓ８０３において次に再生する画像ファイルに含まれる画像データが両眼立体視用の画像データであると判断した場合、制御部１０１は処理をＳ９０１に移す。Ｓ９０１で、制御部１０１は、次に再生する画像ファイルに含まれる両眼立体視用の画像データを撮影時の焦点レンズの駆動位置（合焦駆動位置Ｘｆ）を示す情報が、該画像ファイルの画像関連情報に含まれるか否かを判断する。制御部１０１は、画像関連情報に合焦駆動位置Ｘｆを示す情報が含まれていると判断した場合は処理をＳ９０２に移し、含まれていないと判断した場合は処理をＳ８０６に移す。
【００７９】
Ｓ９０２で、制御部１０１は、予め定められた基準駆動位置Ｘｂを示す情報をＲＡＭ１０３より読み出す。そして制御部１０１は、Ｓ９０１で取得した合焦駆動位置Ｘｆと、予め設定された基準駆動位置Ｘｂとの差分ΔＸ（＝Ｘｆ−Ｘｂ）を算出する。
【００８０】
なお本実施形態では、基準駆動位置を示す情報は、現在設定されている再生順で再生を行った場合に、合焦駆動位置を示す情報が含まれていない画像ファイルから含まれている画像ファイルの再生に切り替わった際に、制御部１０１が該合焦駆動位置を基準駆動位置としてＲＡＭ１０３に格納するものとして説明する。しかしながら基準駆動位置を示す情報の格納方法はこれに限られるものではない。基準駆動位置を示す情報は、例えば画像ファイルに含まれているものであってもよい。また基準駆動位置を示す情報は、例えば動画ファイルや連写撮影により得られたことが関連付けられている画像ファイル群の場合は、該ファイルの先頭のフレームあるいは画像ファイルの合焦駆動位置を利用してもよい。またユーザにより好みの値が設定可能である等、基準駆動位置を示す情報は、その実施形態によって定められたルールで格納されてよい。
【００８１】
Ｓ９０３で、制御部１０１は、合焦駆動位置Ｘｆと基準駆動位置Ｘｂとの差分ΔＸが、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体について像ずれ量を０にするか否かを決定する閾値以上であるか否かを判断する。
【００８２】
上述した実施形態１では、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体について、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像間における像ずれ量を０にすることで、観測者に一定の立体感を知覚させるものとして説明した。しかしながら、基準駆動位置と合焦駆動位置との差が大きくなるにつれ、一定の立体感を観測者に知覚させるためには、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像の少なくともいずれかの画像をシフトさせるシフト量は大きくなる。即ち、シフト量が大きくなるにつれて、左眼用及び右眼用の画像を立体視可能に表示した場合に、２つの画像が重なる領域が小さくなるため、結果的に観測者に対して撮像された画像よりも限定的な範囲のみが立体視可能に提示されることになる。
【００８３】
このため、撮影された左眼用及び右眼用の画像の大きさに対して、立体視可能に表示される領域が小さくなりすぎないように、該領域の最低画素数が定められることが望ましい。つまり、シフト後の左眼用及び右眼用の画像を表示部１１３に立体視可能に表示した場合に、立体視可能に表示される領域の画素数が最低画素数に満たないようなシフト量を除外する。
【００８４】
本実施形態では合焦駆動位置と基準駆動位置との差分に応じて、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像を表示部１１３に立体視可能に表示する際のシフト量の算出方法を切り替える。本実施形態のデジタルカメラ１００では、撮像光学系１０４の絞り値と基準駆動位置との組み合わせに対応付けて、焦点レンズの駆動位置と基準駆動位置との差分についての閾値がＲＯＭ１０２に記憶されているものとする。該閾値は、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体について、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像間の像ずれ量を０とした場合に、シフト後に両眼立体視可能に表示される領域の画素数が最低画素数以下にならない値に設定される。
【００８５】
なお、本実施形態では、絞り値と基準駆動位置との組み合わせについて閾値が設定されるものとして説明するが、閾値の設定方法はこれに限らない。閾値は例えば絞り値や基準駆動位置に依らず固定値であってもよいし、合焦駆動位置と基準駆動位置の差分が正負のいずれであるかによって異なる値が設定されてもよい。
【００８６】
本ステップでは制御部１０１は、合焦駆動位置Ｘｆと基準駆動位置Ｘｂとの差分ΔＸが、現在の撮像光学系１０４の状態について予め定められた閾値ΔＸｍａｘ以上であるか否かを判断する。制御部１０１は、合焦駆動位置と基準駆動位置との差分が閾値以上である場合は処理をＳ９０４に移し、閾値未満である場合は処理をＳ９０５に移す。
【００８７】
Ｓ９０４で、制御部１０１は、例えばＲＡＭ１０３に記憶されている、基準駆動位置の調整を行う必要があることを示すフラグ（ＣＨ＿ＦＬＧ）の値を１に変更する。即ち、Ｓ９０３において合焦駆動位置と基準駆動位置との差が閾値以上であると判断された場合は、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体についての像ずれ量が０となるようにシフト量を決定してしまうと、立体視可能に表示される領域の画素数が最小画素数を下回ってしまう。このため本実施形態では、複数組の左眼用及び右眼用の画像を表示部１１３に順次出力する間に、基準駆動位置を段階的に合焦駆動位置に近づけるように変更することで、立体視可能に表示される領域の画素数を増やす。また所定数Ｎの画像の送り操作がなされた後、あるいは所定数Ｎのフレームの再生がなされた所定時間経過後に基準駆動位置が合焦駆動位置となるようにすることで、新たな基準駆動位置について、観測者に一定の立体感を提示できるようにする。例えば動画データ等で撮影中にＡＦ動作が生じる場合、過去の基準駆動位置を使い続けることは立体視可能な領域を限定することになりうるため、本実施形態では制御部１０１は、基準駆動位置を合焦駆動位置に応じて変更する。なお、所定数Ｎは、基準駆動位置を変更することにより観測者に知覚される立体感の変化が、観測者に不快感を与えないとみなせる視差変化の範囲に収まる値に決定されるものとする。
【００８８】
本ステップにおいて制御部１０１は、基準駆動位置の調整を行う必要があることを示すフラグが１になったことを判断時の合焦駆動位置Ｘｆと基準駆動位置Ｘｂとの差分ΔＸを、基準駆動位置を変更するためのパラメータΔＸ０としてＲＡＭ１０３に記憶する。また制御部１０１は、所定数Ｎの画像の送り操作がなされた後に基準駆動位置が合焦駆動位置となるように、画像送り操作をカウントするためのＲＡＭ１０３に記憶されている内部変数ｎを１に設定する。
【００８９】
Ｓ９０５で、制御部１０１は、ＲＡＭ１０３に記憶されている、基準駆動位置の調整を行う必要があることを示すフラグを参照し、該フラグの値が１であるか否かを判断する。制御部１０１は、フラグの値が１であると判断した場合は処理をＳ９０６に移し、値が０であると判断した場合は処理をＳ９１２に移す。
【００９０】
Ｓ９０６で、制御部１０１は、基準駆動位置Ｘｂに新たな値を設定する。本実施形態では基準駆動位置の調整を行う必要があることを示すフラグが１になってから所定数Ｎの画像の送り操作がなされた後に基準駆動位置Ｘｂが合焦駆動位置Ｘｆとなるように、以下の式で基準駆動位置Ｘｂを順次変更する。
Ｘｂ＝Ｘｂ＋ΔＸ０×ｎ／Ｎ
【００９１】
Ｓ９０７で、制御部１０１は、合焦駆動位置Ｘｆと、Ｓ９０６で決定した新たな基準駆動位置Ｘｂについてシフト量決定処理を行なって、シフト量を決定する。なお、本実施形態では両眼立体視用の画像の撮影を行なったデジタルカメラ１００の再生処理であるため、シフト量決定処理の各パラメータはＲＯＭ１０２あるいはＲＡＭ１０３より取得可能である。これに対し、外部機器において再生処理が実行される場合は、各パラメータは例えば画像ファイルの画像関連情報に含められていてもよいし、再生装置の不揮発性メモリ等に予め決められていればよい。
【００９２】
Ｓ９０８で、制御部１０１は、ＲＡＭ１０３に記憶されている内部変数をインクリメントし、カウント数を１つ上昇させる。さらに制御部１０１はＳ９０９で、ｎが所定数Ｎを超えたか否かを判断する。制御部１０１は、ｎが所定数Ｎを超えたと判断した場合は処理をＳ９１０に移し、超えていないと判断した場合は処理をＳ９１１に移す。
【００９３】
Ｓ９１０で、制御部１０１は、所定数Ｎの画像送り操作がなされたため、ＲＡＭ１０３に記憶されている、基準駆動位置の調整を行う必要があることを示すフラグの値を０に変更する。
【００９４】
Ｓ９１１で、制御部１０１は、決定されたシフト量に応じて、次に再生する画像ファイルに含まれる左眼用及び右眼用の画像をシフトさせて表示部１１３に立体視可能に表示させる。具体的には制御部１０１は、左眼用及び右眼用の画像データ、及びシフト量の情報を画像シフト部１１２に伝送し、左眼用及び右眼用の画像データをシフト量分だけシフトさせる。そして制御部１０１は、得られたシフト後の左眼用及び右眼用の画像データを表示部１１３に伝送し、立体視可能に表示させ、処理をＳ８０１に戻す。
【００９５】
またＳ９０５で基準駆動位置の調整を行う必要があることを示すフラグの値が０であると判断された場合、制御部１０１はＳ９１２で、現在の合焦駆動位置Ｘｆと基準駆動位置Ｘｂとについてシフト量決定処理を行なってシフト量を決定する。そして制御部１０１はシフト量が決定した後、処理をＳ９１１に移す。
【００９６】
このようにすることで、画像ファイルに含まれる合焦駆動位置の情報を使用することで、撮影して得られた立体視用の画像の記録時ではなく、立体視用の画像を再生する際にシフト量を決定して、適切な立体感を観測者に知覚させる画像を提示することができる。
【００９７】
さらに本実施形態では、シフト後の左眼用及び右眼用の画像を表示部１１３に立体視可能に表示した場合に、立体視可能に表示される領域の画素数が最低画素数に満たなくなることを防ぐために、基準駆動位置を順に変化させる方法について説明した。しかしながら該方法は、画像ファイルの画像関連情報に焦点レンズの合焦駆動位置を示す情報が含まれる場合に限らず適用可能である。例えば、上述した実施形態１のように撮影して得られた立体視用の画像についてシフト量を決定する際にも適用可能であることは容易に理解されよう。
【００９８】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像装置、再生装置、その制御方法、及びプログラムに関し、特に撮像光学系の射出瞳の異なる領域を通過した光束から得られた左眼用及び右眼用の画像を使用した両眼立体視の技術に関する。
【背景技術】
【０００２】
近年、立体視可能にコンテンツを表示する表示装置を有する、テレビ受像機や携帯電話等の再生装置が普及している。このような再生装置において表示する立体視用のコンテンツは、テレビ放送やＤＶＤ等の特定の事業者により提供されるものに限られず、ユーザが作成したコンテンツ等が利用可能である。
【０００３】
立体を観測者に知覚させる方式の１つに、人間の左眼及び右眼の各々に、画像間に像ずれを有する、それぞれ異なる左眼用及び右眼用の画像を提示することにより、両眼視差を知覚させる両眼立体視方式がある。上述した立体視を可能にする表示装置の多くは両眼立体視方式を採用しているため、昨今では、左眼用及び右眼用の画像で構成される、立体視用の静止画あるいは動画を撮影可能な撮像装置も普及してきている。例えば両眼立体視用の画像を撮影可能な撮像装置には、基線長を設けて配設された２つの撮像光学系を有し、各撮像光学系を通過した光束から得られた画像を両眼立体視用の画像として出力するものがある。
【０００４】
一方、立体視用の表示装置で立体視用のコンテンツを視聴する場合、表示領域の物理的な大きさによって推奨される視聴距離（表示面と観測者の眼球との距離）が設定されている。これは、例えば人間の平均的な水平視野に応じて設定される。上述したような事業者により提供される立体視用のコンテンツの多くは、推奨視聴距離において視聴された場合に、両眼視差が観測者に疲労感を与えにくいように、コンテンツの左眼用及び右眼用の画像間の像ずれ量が調整されている。
【０００５】
しかしながら、ユーザが作成した立体視用のコンテンツは、両眼視差が視聴する観測者に与える疲労感が考慮されていない可能性があるため、表示装置の中には左眼用及び右眼用の画像間の像ずれ量を調整する機能を有するものがある。特許文献１には、両眼立体視用の画像に含められた、２つの撮像光学系の基線長、及び該２つの撮像光学系の光軸の交差点までの距離の情報に基づいて、左眼用及び右眼用の画像のシフト量を決定することで、観測者に与える立体感を調整する技術が開示されている。
【０００６】
また、両眼立体視用の画像を撮影する撮像装置として、近年では１つの撮像光学系のみを用いて両眼立体視用の画像を撮影可能なものもある。特許文献２には、図２のように撮像素子の１つの画素内に複数の受光素子を有し、各々の受光素子が撮像光学系の射出瞳の異なる領域を通過した光束を光電変換することにより、両眼立体視用の画像を撮影可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３９７８３９２号明細書
【特許文献２】特許第４０２７１１３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２のような撮像装置において、左眼用及び右眼用の画像間の像ずれ量を適切に調整するものが考慮されていなかった。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、１つの撮像光学系の異なる射出瞳を通過した光束から生成された両眼立体視用の画像を、観測者に与える不快感を低減して提示できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
前述の目的を達成するために、本発明の１つの態様の撮像装置は、以下の構成を備える。
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、焦点レンズが合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、合焦駆動位置を示す情報に基づいて決定する決定手段と、決定手段により決定されたシフト量と、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像とを関連付けて記録する記録手段と、を有することを特徴とする。
【００１１】
また前述の目的を達成するために、本発明の１つの態様の再生装置は、以下の構成を備える。
１つの撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像して得られた左眼用及び右眼用の画像と、該画像が撮像された際の撮像光学系の焦点レンズの駆動位置である合焦駆動位置を示す情報とを取得する取得手段と、取得手段により取得された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量であって、該画像を撮像した撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に撮像装置で得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を決定する決定手段と、取得手段により取得された左眼用及び右眼用の画像を、合焦駆動位置を示す情報に基づいて決定手段により決定されたシフト量に従ってシフトさせ、シフト後の左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、を有することを特徴とする。
【００１２】
また前述の目的を達成するために、本発明の１つの態様の撮像システムは、以下の構成を備える。
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、焦点レンズが合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、合焦駆動位置を示す情報に基づいて決定する決定手段と、取得手段により取得された左眼用及び右眼用の画像を決定手段により決定されたシフト量に従ってシフトさせ、シフト後の左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、を有することを特徴とする。
【発明の効果】
【００１３】
このような構成により本発明によれば、１つの撮像光学系の異なる射出瞳を通過した光束から生成された両眼立体視用の画像を、観測者に与える不快感を低減して提示することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係る撮像素子の単位画素の構造を示した図
【図３】本発明の実施形態に係るデジタルカメラ１００で記録されるファイルのファイル構造を示した図
【図４】本発明の実施形態１に係る連写撮影処理のフローチャート
【図５】本発明の実施形態に係るシフト量決定処理の概念を説明するための図
【図６】本発明の実施形態に係るシフト量決定処理のフローチャート
【図７】本発明の実施形態に係るシフト量の決定方法を説明するための図
【図８】本発明の実施形態１に係る再生処理のフローチャート
【図９】本発明の実施形態２に係る再生処理のフローチャート
【図１０】従来技術の問題点を説明するための図
【発明を実施するための形態】
【００１５】
［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置、再生装置、及び撮像システムの一例としての、両眼立体視可能な表示装置を有し、１つの撮像光学系の異なる射出瞳を通過した光束から両眼立体視用の画像を生成するデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、１つの撮像光学系の異なる射出瞳を通過した光束から両眼立体視用の画像を生成すること、あるいは該画像を再生することが可能な任意の機器に適用可能である。
【００１６】
＜立体視中の焦点調節動作が観測者に与えうる影響＞
ここで、撮像装置であるデジタルカメラにおいて焦点調節が行われた場合に、該焦点調節中の立体視表示のライブビュー画面を観測している観測者に与えうる影響について説明する。
【００１７】
特許文献２の両眼立体視用の画像の撮影方式は、特許文献１の撮像装置のように両眼の撮像光学系の設置条件により立体感が決まる方式とは異なり、撮像光学系の合焦距離や絞り値等の設定によって観測者に与える立体感が変化する。具体的には、特許文献２の撮像装置で得られる左眼用及び右眼用の画像間において、像ずれ量が０となる被写体は撮像光学系が合焦している合焦被写体であり、１つの被写体について観測者に与える立体感は、撮影時の撮像光学系の状態によって変化する。このことは、被写体と撮像装置の配置関係が同一であっても、撮影時の撮像光学系の合焦面と撮像装置との距離（合焦距離）によって、観測者が知覚する視差が変化することを意味する。
【００１８】
例えば図１０（ａ）のように撮像光学系の合焦面に被写体が存在する場合を考える。このとき、各画素内に左眼用及び右眼用の受光素子（ａ、ｂ）を有する撮像素子から得られるＡ像群（受光素子ａから得られる画像信号：左眼用画像）とＢ像群（受光素子ｂから得られる画像信号：右眼用画像）において、被写体の像は同一の画素となる。即ち、合焦面に存在する合焦被写体の像の位置は、左眼用及び右眼用の画像間で略一致しており、ずれがないものとみなせる。
【００１９】
これに対し、図１０（ｂ）のように、合焦させたい被写体と撮像装置との距離よりも合焦距離が長くなる、所謂後ピンの状態では、被写体が合焦面よりも手前になる。このとき撮像素子から得られる左眼用及び右眼用の画像間で、合焦させたい被写体の像の位置にずれが生じる。具体的には、該画像を表示装置に立体視可能に表示した場合に、合焦面にあたる表示面よりも手前に被写体が知覚されるため、輻輳角よりも観測者の眼球が中央に向く（コンバージェンス）方向に像ずれが生じる。
【００２０】
また図１０（ｃ）のように、合焦させたい被写体と撮像装置との距離よりも合焦距離が短くなる、所謂前ピンの状態では、被写体が合焦面よりも奥まることになる。このとき撮像素子から得られる左眼用及び右眼用の画像間で、合焦させたい被写体の像の位置にずれが生じる。具体的には、該画像を表示装置に立体視可能に表示した場合に、表示面よりも奥に被写体が知覚されるため、輻輳角よりも観測者の眼球が外に向く（ダイバージェンス）方向に像ずれが生じる。
【００２１】
つまり、例えば静止画撮影準備時のＡＦ動作や動画撮影中の焦点調節動作等によって頻繁に合焦距離が変化する場合、変化中に撮像された画像を立体視可能な表示装置に連続的に提示すると、観測者が知覚する視差も頻繁に変化することになる。このとき観測者が被写体の１つを注視していたとしても、該被写体の視差が変化することになるため、観測者の眼球は該被写体に注視するために焦点調節を行う必要がある。即ち、頻繁な合焦距離の変化に合わせて眼球の焦点調節を行う必要があるため、観測者に不快感を与えてしまうことがあった。
【００２２】
そこで、本実施形態では、撮像装置との距離が所定距離である被写体について、合焦駆動位置を示す情報に基づいて、左右眼の画像間のシフト量を決定する。具体的には、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる画像間の第２の像ずれ量との差分が所定の範囲に収まるようにシフト量を決定する。これにより、両眼立体視用の画像を、観測者に与える不快感を低減して提示することができる。
【００２３】
＜デジタルカメラ１００の機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００２４】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、後述する連写撮影処理及び再生処理の動作プログラムをＲＯＭ１０２から読み出して、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。
【００２５】
ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、連写撮影処理及び再生処理の動作プログラムに加え、デジタルカメラ１００が有する各ブロックの動作に必要なパラメータや、後述する撮像光学系１０４の特性に関する情報を記憶する。
【００２６】
ＲＡＭ１０３は、揮発性メモリであり、連写撮影処理及び再生処理の動作プログラムの展開領域としてだけでなく、デジタルカメラ１００が有する各ブロックの動作において出力される中間データ等を一時的に格納する格納領域としても用いられる。
【００２７】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００２８】
撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、撮像光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をアナログ信号処理部１０８に出力する。撮像部１０６は、制御部１０１によって制御されるＴＧ１０７から出力されるＨＤやＶＤ等のタイミング信号に応じて、光学像の光電変換を行う。なお、本実施形態の撮像部１０６の撮像素子の１画素は、図２に示されるように左眼用及び右眼用の２つの受光素子ａ及びｂで構成されるものとする。しかしながら、１画素を構成する受光素子の数はこれに限らず、２以上の受光素子で構成され、左眼用及び右眼用の画像に係る画像信号を出力可能なものであればよい。撮像光学系１０４は、本実施形態では少なくとも焦点レンズを含むレンズ群と絞りとで構成される。撮像光学系１０４に含まれる焦点レンズや絞りは、光学系駆動部１０５により駆動制御される。
【００２９】
アナログ信号処理部１０８は、撮像素子の伝送路上で生じたノイズを除去するＣＤＳ回路や、非線形増幅回路等を有する。アナログ信号処理部１０８は、入力されたアナログ画像信号に対して各回路で信号処理を行い、得られたアナログ信号をＡ／Ｄ変換部１０９に出力する。アナログ信号処理部１０８から出力されたアナログ信号は、Ａ／Ｄ変換部１０９においてＡ／Ｄ変換処理が適用され、デジタル画像信号に変換される。Ａ／Ｄ変換部１０９は、変換により得られたデジタル画像信号をデジタル信号処理部１１０に出力する。デジタル信号処理部１１０は、入力されたデジタル画像信号に対して、欠陥画素補正、ホワイトバランス調整、ガンマ調整等の信号補正処理、及びノイズリダクション処理等の画像処理を行う。また本実施形態では、デジタル信号処理部１１０においてデジタル画像信号を、左眼用の画像の信号と右眼用の画像の信号とに分離する。左眼用及び右眼用の画像に分離された信号は、例えばＲＡＭ１０３に記憶されるものとする。
【００３０】
またデジタル信号処理部１１０は、左眼用及び右眼用の画像の信号に対して所定の記録形式に符号化し、得られた画像ファイルあるいは動画ファイルのフレームデータを後述する記録媒体１１４に出力する。本実施形態では、画像ファイルと動画ファイルのそれぞれは、図３に示すようなファイル構造を有するものとする。具体的には画像ファイルは、図３（ａ）に示すように画像関連情報３０１、左眼用の画像３０２、右眼用の画像３０３が含まれる。また動画ファイルは、図３（ｂ）に示すようにフレームごとに画像ファイルと同様に画像関連情報３１１、左眼用のフレーム画像３１２、及び右眼用のフレーム画像３１３が含まれる。なお、画像や動画像のファイル構造はこれに限られるものではなく、記録形式によって異なることは容易に理解されよう。
【００３１】
表示部１１３は、左眼用及び右眼用の画像を両眼立体視可能に表示する表示装置である。表示部１１３は、例えばレンチキュラレンズ等の光学部材を用いることにより、撮影者の左眼と右眼にそれぞれ対応する画像を提示する。なお、本実施形態ではデジタルカメラ１００に備えられている表示装置として、裸眼立体視が可能な上述の方式を用いるものとして説明するが、本発明のデジタルカメラ１００により生成された左眼用及び右眼用の画像を表示する装置はこれに限られない。例えば、近年家庭用の所謂３Ｄテレビのように、時分割で左眼用の画像と右眼用の画像を交互に提示し、該画像の切り替えに同期して左眼及び右眼のいずれかを透過状態に切り替える液晶シャッタを利用した眼鏡を観測者が装着する方式であってもよい。
【００３２】
シフト量決定部１１１は、表示部１１３に左眼用及び右眼用の画像を表示する際に、各画像の相対的な位置ずれ量であるシフト量を決定する。そして画像シフト部１１２は、シフト量決定部１１１により決定されたシフト量分、左眼用及び右眼用の画像の少なくともいずれかの表示装置に表示する場合の位置をずらした表示画像を生成する。「シフト量」とは、本実施形態では左眼用及び右眼用の画像を表示部１１３の表示領域に表示する場合に、左眼用の画像及び右眼用の画像それぞれの画像中心がなす距離量を、画素単位で示す数値である。このようにシフト量を変更させることにより、左眼用及び右眼用の画像間で各被写体の像ずれ量を調整することができる。像ずれしていない被写体は表示装置の表示面に存在するように知覚されるため、像ずれ量を調整することにより左眼用及び右眼用の画像の立体感を調整することができる。なお、本実施形態では、シフト量決定部１１１により決定されたシフト量を示す情報は、記録媒体１１４に記録される画像ファイルあるいは動画ファイルの画像関連情報に含められて記録されるものとする。特に動画ファイルの場合、フレームごとにシフト量決定部１１１が決定したシフト量を示す情報が記録される。
【００３３】
記録媒体１１４は、例えばデジタルカメラ１００が有する内蔵メモリや、例えばメモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１４は、撮像処理により得られた画像ファイルあるいは動画ファイルが記録される。
【００３４】
＜連写撮影処理＞
以下、本実施形態のデジタルカメラ１００の連写撮影処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０４に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本連写撮影処理は、例えばデジタルカメラ１００が備える不図示のレリーズボタンの撮影者による操作によって出力される撮影開始を示す制御信号（ＳＷ２）を制御部１０１が受信した際に開始されるものとして説明する。
【００３５】
なお、本実施形態ではデジタルカメラ１００は連写撮影モードに設定されており、連写撮影により繰り返し画像の撮影を行う間に、１回の撮影毎に自動合焦動作（コンティニュアスＡＦ）、及び被写体を測光して露出条件を決定するＡＥ動作を行うものとする。即ち、デジタルカメラ１００の連写撮影により得られる連続画像のそれぞれは、予備撮影で得られた画像、あるいは連続撮影中の現在の撮影の前に得られた画像を参照し、該画像に含まれる被写体像に合わせてＡＦ動作及びＡＥ動作を行なって撮影を行う。
【００３６】
Ｓ４０１で、制御部１０１は、被写体に合焦する焦点レンズの駆動位置（合焦駆動位置）を決定する。具体的には制御部１０１は、不図示の予備撮影により得られた画像データや、連写撮影中に既に撮像されて得られた画像データ等、本ステップの実行よりも前に得られた左眼用及び右眼用の画像データのいずれかをＲＡＭ１０３より取得する。そして制御部１０１は、該画像データの被写体像のコントラスト状態から、焦点レンズの駆動位置を決定する。そして制御部１０１は、決定した焦点レンズの駆動位置を光学系駆動部１０５に伝送し、撮像光学系１０４の焦点レンズを該駆動位置に駆動させる。このとき制御部１０１は、決定した焦点レンズの駆動位置を示す情報をＲＡＭ１０３に記憶するものとする。
【００３７】
Ｓ４０２で、制御部１０１は、不図示の測光部により得られた被写体の測光結果に基づいて、撮影時の露出条件（シャッタスピード、絞り値）を決定する。このとき制御部１０１は、決定した露出条件を示す情報をＲＡＭ１０３に記憶するものとする。なお、本実施形態では説明を簡単にするために、連写撮影中に決定される露出条件は一定であるものとして説明する。
【００３８】
Ｓ４０３で、制御部１０１は、Ｓ４０２で決定した露出条件で立体視用の画像の撮影を行う。具体的には制御部１０１は、撮像部１０６によるアナログ画像信号の読み出し、及びアナログ信号処理部１０８、Ａ／Ｄ変換部１０９、及びデジタル信号処理部１１０における各種画像処理を実行し、記録する左眼用及び右眼用の画像を生成する。なお、生成された記録用の左眼用及び右眼用の画像は、一時的にＲＡＭ１０３に記憶されるものとする。
【００３９】
Ｓ４０４で、制御部１０１は、記録する左眼用及び右眼用の画像を表示装置に表示する際のシフト量を決定するシフト量決定処理を実行する。
【００４０】
（シフト量決定処理の概念）
ここで、本ステップで実行されるシフト量決定処理の概念について図５を用いて説明する。
【００４１】
例えば図５（ａ）に示すように、デジタルカメラ１００に対して主被写体５０１、遠景被写体５０２、近景被写体５０３が位置する場合を考える。なお、デジタルカメラ１００の撮像光学系１０４に含まれる焦点レンズは、主被写体５０１に合焦する基準駆動位置に設定されているものとする。
【００４２】
主被写体５０１に合焦している場合、撮影により得られる画像は図５（ｂ）のようになる。このとき合焦している主被写体５０１の像は、左眼用及び右眼用の画像間で像ずれがない状態となる。即ち、主被写体５０１に合焦している際に得られる左眼用及び右眼用の画像を立体視可能に表示装置に表示した場合、図５（ｃ）に示されるように主被写体５０１は表示面の位置にあるように知覚される。つまり、表示面について観測者に与える距離感は、主被写体５０１とデジタルカメラ１００との距離（合焦距離）に相当する。
【００４３】
この状態から、主被写体５０１が一度デジタルカメラ１００の方向に移動して、再び図５（ａ）の状態になった場合を考える。このとき制御部１０１は、合焦していた主被写体５０１が移動したために撮像画像におけるコントラスト状態が変化するため、再び合焦する焦点レンズの位置を検出するためにＳ４０１のＡＦ動作を行う。具体的には制御部１０１は、現在の焦点レンズの駆動位置に対して前後に焦点レンズを駆動させ（ウォブリング動作）ながら、コントラストが高くなる、移動後の主被写体５０１に合焦する焦点レンズの駆動位置を決定する。
【００４４】
このウォブリング動作の間、撮像で得られる左眼用及び右眼用の画像を立体視可能に表示した場合、表示面について観測者に与える距離感は連続的に変化することになる。ウォブリング動作において、ＡＦ動作前の合焦距離よりも遠方に位置する遠景被写体５０２に合焦する駆動位置に焦点レンズが駆動された場合を考える。このとき得られる左眼用及び右眼用の画像は図５（ｄ）のように、主被写体５０１及び近景被写体５０３の像ずれ量が大きくなり、遠景被写体５０２の像ずれ量は小さくなる（０になる）。図５（ｄ）のような左眼用及び右眼用の画像を立体視可能な表示装置に表示した場合、図５（ｅ）に示されるように主被写体５０１ではなく遠景被写体５０２が表示面の位置にあるように観測者に知覚される。即ち、観測者の眼球がなす輻輳角は表示面にある状態から変化しないにも関わらず、ＡＦ動作中は合焦距離の変化に合わせて全体的な立体感が頻繁に変化することになるため、観測者に不快感を与えることになる。
【００４５】
このため、本実施形態ではこのように焦点レンズの駆動位置が変化するＡＦ動作が行われる場合に、制御部１０１はＡＦ動作の直前の焦点レンズの駆動位置を基準駆動位置として記憶する。そして制御部１０１は、ＡＦ動作の直前とＡＦ動作中とで、デジタルカメラ１００との距離が所定距離である被写体についての像ずれ量が同一になるように、ＡＦ動作中に得られる左眼用及び右眼用の画像の少なくともいずれかのシフト量を決定する。なお、本実施形態のデジタルカメラ１００は、焦点レンズの駆動位置の各々について、該駆動位置に焦点レンズがある場合の合焦面までの合焦距離の情報を対応付けて、ＲＯＭ１０２に記憶しているものとする。そして制御部１０１は、基準駆動位置に対応する合焦距離の情報をＲＯＭ１０２より取得し、シフト後に該合焦距離に存在する被写体の像ずれ量が０となるように、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像のシフト量を決定する。このようにすることで、ＡＦ動作中であっても図５（ｃ）のように主被写体５０１の像ずれ量が０となるように表示装置に表示させることができるため、観測者が知覚する立体感を変化させることなくＡＦ動作中に撮像された左眼用及び右眼用の画像を提示できる。
【００４６】
なお、シフト量は、左眼用及び右眼用の画像における同一の被写体の像が表示装置に表示された際に、シフト量に対応する画素分ずれて表示されればよいため、左眼用の画像あるいは右眼用の画像のいずれかをシフトさせる値であってもよい。またシフト量は、両方をシフトさせた場合に、最終的に表示装置に表示された際に、同一の被写体の像がシフト量に対応する画素分ずれて表示される値であってもよい。
【００４７】
また、本実施形態ではＡＦ動作の直前の焦点レンズの駆動位置を基準駆動位置として記憶するものとして説明するが、基準駆動位置の設定方法はこれに限られるものではない。基準駆動位置は、予め決定された固定値であってもよいし、ＡＦ動作が行われるよりも前に例えばユーザによって設定された駆動位置であってもよい。
【００４８】
また、本実施形態では焦点レンズが基準駆動位置にある場合の合焦距離を取得し、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像のシフト量を、該合焦距離に存在する被写体についての像ずれ量が０となるように決定するものとする。しかしながら、シフト量の決定方法はこれに限らず、デジタルカメラ１００との距離が所定距離である被写体についての像ずれ量をシフト量の決定基準としてもよい。具体的には、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像をシフト量に応じてシフトさせた場合に、所定距離である被写体についての像ずれ量（第１の像ずれ量）と、焦点レンズが基準駆動位置にある場合の像ずれ量（第２の像ずれ量）との差分が、観測者に立体感の変化による不快感を与えないとみなせる、予め定められた視差変化の範囲内に収まるようにシフト量を決定してもよい。
【００４９】
（シフト量決定処理）
以下、Ｓ４０４で行われるシフト量決定処理の具体的な処理内容について、図６のフローチャートを用いて詳細に説明する。
【００５０】
Ｓ６０１で、制御部１０１は、Ｓ４０１で決定した焦点レンズの駆動位置（合焦駆動位置）を示す情報と、予め定められた基準駆動位置を示す情報とを、ＲＡＭ１０３より読み出してシフト量決定部１１１に伝送する。また制御部１０１は、Ｓ４０２で決定した絞り値の情報を、同様にＲＡＭ１０３より読み出してシフト量決定部１１１に伝送する。なお、基準駆動位置を示す情報は、上述したようにＡＦ動作が生じる前の焦点レンズの駆動位置の情報が、例えば撮影処理の実行前に制御部１０１によってＲＡＭ１０３に格納されるものとする。
【００５１】
Ｓ６０２で、シフト量決定部１１１は制御部１０１の制御のもと、焦点レンズが基準駆動位置にある場合の合焦距離Ｘｂの情報をＲＯＭ１０２より取得する。上述したように本実施形態では、焦点レンズの駆動位置に対応付けて、該駆動位置における合焦面とデジタルカメラ１００との距離を示す情報が、合焦距離管理テーブルとしてＲＯＭ１０２に記憶されているものとする。
【００５２】
Ｓ６０３で、シフト量決定部１１１は制御部１０１の制御のもと、焦点レンズが合焦駆動位置にある場合のデフォーカス量と左眼用及び右眼用の画像間における像ずれ量との関係式のパラメータ（比例係数Ｋ及び過焦点オフセットＨ）をＲＯＭ１０２より取得する。図７（ａ）に実線７０１で示されるように、左眼用及び右眼用の画像間における被写体の像ずれ量（コンバージェンス方向を正、ダイバージェンス方向を負とする）は、デジタルカメラ１００からの距離の逆数であるデフォーカス量Ｄと比例関係にある。即ち、デフォーカス量Ｄと像ずれ量Ｃとの関係式は
Ｄ＝Ｋ×Ｃ＋Ｈ （Ｃ＝（Ｄ−Ｈ）／Ｋ）
として示すことができる。
【００５３】
なお、同様に焦点レンズが基準駆動位置にある場合のデフォーカス量Ｄｂと像ずれ量Ｃｂとの関係は、図７（ｂ）の実線７１０のようになる。このとき、焦点レンズが基準駆動位置にある場合の合焦距離Ｘｂの逆数であるデフォーカス量１／Ｘｂにおいて、像ずれ量が０となる。
【００５４】
また、比例係数Ｋは、撮像光学系１０４の絞り値によって変化する、撮像光学系１０４特有の値であるため、本実施形態ではＲＯＭ１０２に絞り値に対応付けて記憶されているものとするが、比例係数Ｋの取得方法はこれに限らない。例えば予備撮影時等において本撮影の絞り値で、２つの焦点レンズの駆動位置について撮像を行い、得られた画像の像ずれ量ｃ、焦点レンズの２つの駆動位置の距離ｄ、及び過焦点オフセットＨを用いて
Ｋ＝（ｄ−Ｈ）／ｃ
として算出してもよい。
【００５５】
Ｓ６０４で、シフト量決定部１１１は、焦点レンズが合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量を決定し、決定したシフト量の情報を制御部１０１に伝送する。具体的にはシフト量決定部１１１は、Ｓ６０３で得られた焦点レンズが合焦駆動位置にある場合のデフォーカス量Ｄと像ずれ量Ｃとの関係式を用いて、Ｓ６０２で焦点レンズが基準駆動位置にある場合の合焦距離Ｘｂにおける像ずれ量Ｃ０を取得する。このとき取得される像ずれ量Ｃ０は、合焦距離Ｘｂに存在する被写体についての、焦点レンズが合焦駆動位置に歩い場合に撮像された左眼用及び右眼用の画像間における像ずれ量を示している。即ち、該像ずれ量Ｃ０の正負を反転させた値をシフト量とすることで、図７（ａ）に破線７０２で示されるような、焦点レンズが基準駆動位置にある場合と同一の立体感を観測者に知覚させるように左眼用及び右眼用の画像を表示することができる。
【００５６】
このようにシフト量決定処理によりシフト量を決定した後、制御部１０１は処理をＳ４０５に移す。
【００５７】
Ｓ４０５で、制御部１０１は、Ｓ４０３で生成された記録用の左眼用及び右眼用の画像データをＲＡＭ１０３より取得し、画像関連情報に決定したシフト量を含め、画像関連情報と画像データとを含む画像ファイルを記録媒体１１４に記録する。
【００５８】
Ｓ４０６で、制御部１０１は、撮影開始を示すＳＷ２信号を受信しているか否かを判断する。制御部１０１は、ＳＷ２信号を受信していると判断した場合は処理をＳ４０１に戻し、受信していないと判断した場合は本連写撮影処理を完了する。
【００５９】
このようにすることで、連続的に撮像を行って得られた立体視用の画像を連続的に再生する場合に観測者に不快感を与えないよう、知覚する立体感が一定になる左眼用及び右眼用の画像を提示するための情報を画像ファイルに含めることができる。
【００６０】
＜再生処理＞
ここで、上述した連写撮影処理において得られた、連続的に撮影された画像を、デジタルカメラ１００の閲覧モードにおいてユーザ（観測者）が閲覧する場合の再生処理について、図８のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本再生処理は、例えばデジタルカメラ１００のモードが閲覧モードに切り替えられた際に開始されるものとして説明する。
【００６１】
なお、本実施形態では、連写撮影処理において得られた画像を、閲覧モードで閲覧する場合を例にとって説明するが、本再生処理は例えば連写撮影中に表示部１１３に表示されるライブビュー画面、あるいは外部機器において該画像を再生する場合に適用可能である。
【００６２】
Ｓ８０１で、制御部１０１は、デジタルカメラ１００が備える不図示の画像送りボタンがユーザにより操作されたか否かを判断する。具体的には制御部１０１は、画像送りボタンが操作されることによって出力される、画像送り操作がなされたことを示す制御信号を受信したか否かを判断する。制御部１０１は、画像送り操作がなされたと判断した場合は処理をＳ８０２に移し、なされていないと判断した場合は本ステップの処理を繰り返す。
【００６３】
Ｓ８０２で、制御部１０１は、現在設定されている再生順において次に再生する画像ファイルを、記録媒体１１４より読み出す。なお、現在設定されている再生順及び現在再生している画像ファイルの情報は例えばＲＡＭ１０３に記憶されているものとし、制御部１０１は該情報を参照することにより、次に再生する画像ファイルを特定するものとする。
【００６４】
Ｓ８０３で、制御部１０１は、読み出した画像ファイルに含まれる画像データが両眼立体視用の画像データであるか否かを判断する。具体的には制御部１０１は、例えば読み出した画像ファイルのヘッダ部に該画像ファイルに含まれる画像データが両眼立体視用の画像データであることを示す情報が含まれているか否かにより、画像ファイルに含まれる画像データが両眼立体視用の画像データであるか否かを判断する。制御部１０１は、次に再生する画像ファイルに含まれる画像データが両眼立体視用の画像データであると判断した場合は処理をＳ８０４に移し、両眼立体視用の画像データではない（モノラル画像）であると判断した場合は処理をＳ８０７に移す。
【００６５】
Ｓ８０４で、制御部１０１は、次に再生する画像ファイルの画像関連情報にシフト量の情報が含まれているか否かを判断する。制御部１０１は、画像関連情報にシフト量の情報が含まれている判断した場合は処理をＳ８０５に移し、含まれていないと判断した場合は処理をＳ８０６に移す。
【００６６】
Ｓ８０５で、制御部１０１は、次に再生する画像ファイルの画像関連情報からシフト量の情報を読み出し、該シフト量に応じて左眼用及び右眼用の画像データをシフトさせて、表示部１１３に立体視可能に表示させる。具体的には制御部１０１は、左眼用及び右眼用の画像データ、及びシフト量の情報を画像シフト部１１２に伝送し、左眼用及び右眼用の画像データをシフト量分だけシフトさせる。そして制御部１０１は、得られたシフト後の左眼用及び右眼用の画像データを表示部１１３に伝送し、立体視可能に表示させ、処理をＳ８０１に戻す。
【００６７】
Ｓ８０４で次に再生する画像ファイルの画像関連情報にシフト量の情報が含まれていないと判断した場合、制御部１０１はＳ８０６で、次に再生する画像ファイルに含まれる左眼用及び右眼用の画像データを、シフトさせずに表示部１１３に伝送する。そして制御部１０１は、表示部１１３に該画像データを立体視可能に表示させ、処理をＳ８０１に戻す。
【００６８】
またＳ８０３で次に再生する画像ファイルに含まれる画像データが両眼立体視用の画像データではないと判断した場合、制御部１０１はＳ８０７で、該画像データを表示部１１３に伝送し、立体視ではない通常の表示方法で表示させ、処理をＳ８０１に戻す。なお、このとき表示部１１３の表示方式が立体視用に設定されている場合は、制御部１０１は画像ファイルに含まれる１つの画像データを左眼用及び右眼用の画像データとして、シフトせずに表示部１１３に表示させればよい。
【００６９】
このようにすることで、上述した連写撮影処理において連続的に撮影されて得られた立体視用の画像を、シフト量に応じてシフトさせて表示することができる。即ち、該画像を連続的に切り替えて再生する場合であっても、観測者が知覚する立体感を一定にすることで、観測者に与える不快感を低減して再生することができる。
【００７０】
なお、上述した説明では連写撮影処理及び再生処理について説明したが、本発明の実施はこれに限られるものではない。本発明は、例えば動画撮影やライブビュー画面の表示等、連続的に撮像を行って得られた立体視用の画像を連続的に再生することが想定される撮像装置あるいは再生装置に適用可能である。即ち、本発明は、立体視用の画像を連続的に観測者に提示する場合に、左眼用の画像及び右眼用の画像の少なくともいずれかのシフト量を調整することで、観測者に与える不快感を低減することを実現するものである。
【００７１】
また本実施形態では、絶対的なシフト量の値を画像関連情報に含めて記録するものとして説明したが、シフト量の記録方法についてはこれに限られない。例えば動画データ等の場合は直前のフレームのシフト量に対する相対的な値としてシフト量の値を含めるようにしてもよい。
【００７２】
また本実施形態では再生処理において、画像シフト部１１２で画像のシフトのみを行って表示するものとして説明したが、実際は撮像光学系１０４の変化による像倍率の変化に合わせて画像シフト画像シフト部１１２で拡大縮小処理を行ってもよい。この拡大縮小処理に利用される拡大縮小率は、撮像光学系１０４に固有であることが多いため、予めＲＯＭ１０２等に記憶しておくことが望ましい。
【００７３】
以上説明したように本実施形態の撮像装置は、１つの撮像光学系の異なる射出瞳を通過した光束から生成された両眼立体視用の画像を、観測者に与える不快感を低減して提示することができる。具体的には撮像装置は、左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する。そして、焦点レンズが該合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量を決定し、左眼用及び右眼用の画像と関連付けて記録する。このときシフト量は、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるように決定される。
【００７４】
［実施形態２］
なお、上述した実施形態１では撮影して得られた画像は、左眼用及び右眼用の画像の少なくともいずれかの画像についてのシフト量の情報が画像関連情報に含められて画像ファイルとして記録されるものとして説明した。即ち、実施形態１では、左眼用及び右眼用の画像を撮像した際に、該画像を記録する処理の途中でシフト量決定処理を実行してシフト量を決定し、画像とともにファイルに記録するものとして説明した。本実施形態では、実施形態１の連写撮影処理等の、撮影して得られた立体視用の画像の記録時ではなく、立体視用の画像を再生する際に、シフト量決定処理を実行する態様について説明する。
【００７５】
なお、以下の説明では、連続的に撮影された立体視用の画像を記録した各画像ファイルに、少なくとも撮影時の焦点レンズの駆動位置を示す情報が、画像関連情報に含められて記録されているものとして説明する。
【００７６】
＜再生処理＞
以下、上述した実施形態１と同様の構成のデジタルカメラ１００において、連続的に撮影された画像をデジタルカメラ１００の閲覧モードにおいてユーザ（観測者）が閲覧する場合の再生処理について、図９のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本再生処理は、例えばデジタルカメラ１００のモードが閲覧モードに切り替えられた際に開始されるものとして説明する。
【００７７】
なお、本再生処理において、上述した実施形態１の再生処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本実施形態に特徴的なステップの説明に留める。
【００７８】
Ｓ８０３において次に再生する画像ファイルに含まれる画像データが両眼立体視用の画像データであると判断した場合、制御部１０１は処理をＳ９０１に移す。Ｓ９０１で、制御部１０１は、次に再生する画像ファイルに含まれる両眼立体視用の画像データを撮影時の焦点レンズの駆動位置（合焦駆動位置Ｘｆ）を示す情報が、該画像ファイルの画像関連情報に含まれるか否かを判断する。制御部１０１は、画像関連情報に合焦駆動位置Ｘｆを示す情報が含まれていると判断した場合は処理をＳ９０２に移し、含まれていないと判断した場合は処理をＳ８０６に移す。
【００７９】
Ｓ９０２で、制御部１０１は、予め定められた基準駆動位置Ｘｂを示す情報をＲＡＭ１０３より読み出す。そして制御部１０１は、Ｓ９０１で取得した合焦駆動位置Ｘｆと、予め設定された基準駆動位置Ｘｂとの差分ΔＸ（＝Ｘｆ−Ｘｂ）を算出する。
【００８０】
なお本実施形態では、基準駆動位置を示す情報は、現在設定されている再生順で再生を行った場合に、合焦駆動位置を示す情報が含まれていない画像ファイルから含まれている画像ファイルの再生に切り替わった際に、制御部１０１が該合焦駆動位置を基準駆動位置としてＲＡＭ１０３に格納するものとして説明する。しかしながら基準駆動位置を示す情報の格納方法はこれに限られるものではない。基準駆動位置を示す情報は、例えば画像ファイルに含まれているものであってもよい。また基準駆動位置を示す情報は、例えば動画ファイルや連写撮影により得られたことが関連付けられている画像ファイル群の場合は、該ファイルの先頭のフレームあるいは画像ファイルの合焦駆動位置を利用してもよい。またユーザにより好みの値が設定可能である等、基準駆動位置を示す情報は、その実施形態によって定められたルールで格納されてよい。
【００８１】
Ｓ９０３で、制御部１０１は、合焦駆動位置Ｘｆと基準駆動位置Ｘｂとの差分ΔＸが、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体について像ずれ量を０にするか否かを決定する閾値以上であるか否かを判断する。
【００８２】
上述した実施形態１では、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体について、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像間における像ずれ量を０にすることで、観測者に一定の立体感を知覚させるものとして説明した。しかしながら、基準駆動位置と合焦駆動位置との差が大きくなるにつれ、一定の立体感を観測者に知覚させるためには、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像の少なくともいずれかの画像をシフトさせるシフト量は大きくなる。即ち、シフト量が大きくなるにつれて、左眼用及び右眼用の画像を立体視可能に表示した場合に、２つの画像が重なる領域が小さくなるため、結果的に観測者に対して撮像された画像よりも限定的な範囲のみが立体視可能に提示されることになる。
【００８３】
このため、撮影された左眼用及び右眼用の画像の大きさに対して、立体視可能に表示される領域が小さくなりすぎないように、該領域の最低画素数が定められることが望ましい。つまり、シフト後の左眼用及び右眼用の画像を表示部１１３に立体視可能に表示した場合に、立体視可能に表示される領域の画素数が最低画素数に満たないようなシフト量を除外する。
【００８４】
本実施形態では合焦駆動位置と基準駆動位置との差分に応じて、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像を表示部１１３に立体視可能に表示する際のシフト量の算出方法を切り替える。本実施形態のデジタルカメラ１００では、撮像光学系１０４の絞り値と基準駆動位置との組み合わせに対応付けて、焦点レンズの駆動位置と基準駆動位置との差分についての閾値がＲＯＭ１０２に記憶されているものとする。該閾値は、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体について、焦点レンズが合焦駆動位置にある場合に撮影された左眼用及び右眼用の画像間の像ずれ量を０とした場合に、シフト後に両眼立体視可能に表示される領域の画素数が最低画素数以下にならない値に設定される。
【００８５】
なお、本実施形態では、絞り値と基準駆動位置との組み合わせについて閾値が設定されるものとして説明するが、閾値の設定方法はこれに限らない。閾値は例えば絞り値や基準駆動位置に依らず固定値であってもよいし、合焦駆動位置と基準駆動位置の差分が正負のいずれであるかによって異なる値が設定されてもよい。
【００８６】
本ステップでは制御部１０１は、合焦駆動位置Ｘｆと基準駆動位置Ｘｂとの差分ΔＸが、現在の撮像光学系１０４の状態について予め定められた閾値ΔＸｍａｘ以上であるか否かを判断する。制御部１０１は、合焦駆動位置と基準駆動位置との差分が閾値以上である場合は処理をＳ９０４に移し、閾値未満である場合は処理をＳ９０５に移す。
【００８７】
Ｓ９０４で、制御部１０１は、例えばＲＡＭ１０３に記憶されている、基準駆動位置の調整を行う必要があることを示すフラグ（ＣＨ＿ＦＬＧ）の値を１に変更する。即ち、Ｓ９０３において合焦駆動位置と基準駆動位置との差が閾値以上であると判断された場合は、焦点レンズが基準駆動位置にある場合の合焦距離に存在する被写体についての像ずれ量が０となるようにシフト量を決定してしまうと、立体視可能に表示される領域の画素数が最小画素数を下回ってしまう。このため本実施形態では、複数組の左眼用及び右眼用の画像を表示部１１３に順次出力する間に、基準駆動位置を段階的に合焦駆動位置に近づけるように変更することで、立体視可能に表示される領域の画素数を増やす。また所定数Ｎの画像の送り操作がなされた後、あるいは所定数Ｎのフレームの再生がなされた所定時間経過後に基準駆動位置が合焦駆動位置となるようにすることで、新たな基準駆動位置について、観測者に一定の立体感を提示できるようにする。例えば動画データ等で撮影中にＡＦ動作が生じる場合、過去の基準駆動位置を使い続けることは立体視可能な領域を限定することになりうるため、本実施形態では制御部１０１は、基準駆動位置を合焦駆動位置に応じて変更する。なお、所定数Ｎは、基準駆動位置を変更することにより観測者に知覚される立体感の変化が、観測者に不快感を与えないとみなせる視差変化の範囲に収まる値に決定されるものとする。
【００８８】
本ステップにおいて制御部１０１は、基準駆動位置の調整を行う必要があることを示すフラグが１になったことを判断時の合焦駆動位置Ｘｆと基準駆動位置Ｘｂとの差分ΔＸを、基準駆動位置を変更するためのパラメータΔＸ０としてＲＡＭ１０３に記憶する。また制御部１０１は、所定数Ｎの画像の送り操作がなされた後に基準駆動位置が合焦駆動位置となるように、画像送り操作をカウントするためのＲＡＭ１０３に記憶されている内部変数ｎを１に設定する。
【００８９】
Ｓ９０５で、制御部１０１は、ＲＡＭ１０３に記憶されている、基準駆動位置の調整を行う必要があることを示すフラグを参照し、該フラグの値が１であるか否かを判断する。制御部１０１は、フラグの値が１であると判断した場合は処理をＳ９０６に移し、値が０であると判断した場合は処理をＳ９１２に移す。
【００９０】
Ｓ９０６で、制御部１０１は、基準駆動位置Ｘｂに新たな値を設定する。本実施形態では基準駆動位置の調整を行う必要があることを示すフラグが１になってから所定数Ｎの画像の送り操作がなされた後に基準駆動位置Ｘｂが合焦駆動位置Ｘｆとなるように、以下の式で基準駆動位置Ｘｂを順次変更する。
Ｘｂ＝Ｘｂ＋ΔＸ０×ｎ／Ｎ
【００９１】
Ｓ９０７で、制御部１０１は、合焦駆動位置Ｘｆと、Ｓ９０６で決定した新たな基準駆動位置Ｘｂについてシフト量決定処理を行なって、シフト量を決定する。なお、本実施形態では両眼立体視用の画像の撮影を行なったデジタルカメラ１００の再生処理であるため、シフト量決定処理の各パラメータはＲＯＭ１０２あるいはＲＡＭ１０３より取得可能である。これに対し、外部機器において再生処理が実行される場合は、各パラメータは例えば画像ファイルの画像関連情報に含められていてもよいし、再生装置の不揮発性メモリ等に予め決められていればよい。
【００９２】
Ｓ９０８で、制御部１０１は、ＲＡＭ１０３に記憶されている内部変数をインクリメントし、カウント数を１つ上昇させる。さらに制御部１０１はＳ９０９で、ｎが所定数Ｎを超えたか否かを判断する。制御部１０１は、ｎが所定数Ｎを超えたと判断した場合は処理をＳ９１０に移し、超えていないと判断した場合は処理をＳ９１１に移す。
【００９３】
Ｓ９１０で、制御部１０１は、所定数Ｎの画像送り操作がなされたため、ＲＡＭ１０３に記憶されている、基準駆動位置の調整を行う必要があることを示すフラグの値を０に変更する。
【００９４】
Ｓ９１１で、制御部１０１は、決定されたシフト量に応じて、次に再生する画像ファイルに含まれる左眼用及び右眼用の画像をシフトさせて表示部１１３に立体視可能に表示させる。具体的には制御部１０１は、左眼用及び右眼用の画像データ、及びシフト量の情報を画像シフト部１１２に伝送し、左眼用及び右眼用の画像データをシフト量分だけシフトさせる。そして制御部１０１は、得られたシフト後の左眼用及び右眼用の画像データを表示部１１３に伝送し、立体視可能に表示させ、処理をＳ８０１に戻す。
【００９５】
またＳ９０５で基準駆動位置の調整を行う必要があることを示すフラグの値が０であると判断された場合、制御部１０１はＳ９１２で、現在の合焦駆動位置Ｘｆと基準駆動位置Ｘｂとについてシフト量決定処理を行なってシフト量を決定する。そして制御部１０１はシフト量が決定した後、処理をＳ９１１に移す。
【００９６】
このようにすることで、画像ファイルに含まれる合焦駆動位置の情報を使用することで、撮影して得られた立体視用の画像の記録時ではなく、立体視用の画像を再生する際にシフト量を決定して、適切な立体感を観測者に知覚させる画像を提示することができる。
【００９７】
さらに本実施形態では、シフト後の左眼用及び右眼用の画像を表示部１１３に立体視可能に表示した場合に、立体視可能に表示される領域の画素数が最低画素数に満たなくなることを防ぐために、基準駆動位置を順に変化させる方法について説明した。しかしながら該方法は、画像ファイルの画像関連情報に焦点レンズの合焦駆動位置を示す情報が含まれる場合に限らず適用可能である。例えば、上述した実施形態１のように撮影して得られた立体視用の画像についてシフト量を決定する際にも適用可能であることは容易に理解されよう。
【００９８】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、
前記撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、
前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定手段と、
前記決定手段により決定された前記シフト量と、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像とを関連付けて記録する記録手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記合焦駆動位置と前記基準駆動位置との差が閾値以上である場合、前記合焦駆動位置との差が小さくなる値に前記基準駆動位置を変更して前記シフト量を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記撮像手段により連続して撮像が行われる場合、前記基準駆動位置の値を順次変更することで、前記合焦駆動位置と前記基準駆動位置との差が閾値以上であると判断してから所定時間経過後に前記基準駆動位置を前記判断時の前記合焦駆動位置と等しくすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像のシフト量を、該画像間において前記焦点レンズが前記基準駆動位置にある場合の合焦距離に存在する被写体の像ずれ量が０になる値に決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記焦点レンズを駆動させて前記撮像光学系の自動合焦動作を行う制御手段をさらに有し、
前記基準駆動位置は、前記制御手段による自動合焦動作が行われるよりも前に撮像が行われた前記焦点レンズの駆動位置であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
１つの撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像して得られた左眼用及び右眼用の画像と、該画像が撮像された際の前記撮像光学系の焦点レンズの駆動位置である合焦駆動位置を示す情報とを取得する取得手段と、
前記取得手段により取得された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量であって、該画像を撮像した撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に前記撮像装置で得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定手段と、
前記取得手段により取得された左眼用及び右眼用の画像を前記決定手段により決定された前記シフト量に従ってシフトさせ、シフト後の前記左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、
を有することを特徴とする再生装置。
【請求項７】
前記決定手段は、前記合焦駆動位置と前記基準駆動位置との差が閾値以上である場合、前記合焦駆動位置との差が小さくなる値に前記基準駆動位置を変更して前記シフト量を決定することを特徴とする請求項６に記載の再生装置。
【請求項８】
前記決定手段は、前記撮像装置で連続して撮像された複数組の左眼用及び右眼用の画像を前記出力手段が前記表示手段に順次出力する場合、前記基準駆動位置の値を順次変更することで、前記合焦駆動位置と前記基準駆動位置との差が閾値以上であると判断してから所定時間経過後に前記基準駆動位置を前記判断時の前記合焦駆動位置と等しくすることを特徴とする請求項７に記載の再生装置。
【請求項９】
前記決定手段は、前記取得手段により取得された左眼用及び右眼用の画像間において前記焦点レンズが前記基準駆動位置にある場合の合焦距離に存在する被写体の像ずれ量が０になる値に前記シフト量を決定することを特徴とする請求項６乃至８のいずれか１項に記載の再生装置。
【請求項１０】
焦点レンズを有する１つの撮像光学系を有する撮像装置の制御方法であって、
前記撮像装置の撮像手段が、前記撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像工程と、
前記撮像装置の取得手段が、前記撮像工程において左眼用及び右眼用の画像が撮像された際の前記焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得工程と、
前記撮像装置の決定手段が、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、前記撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定工程と、
前記撮像装置の記録手段が、前記決定工程において決定された前記シフト量と、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像とを関連付けて記録する記録工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
再生装置の取得手段が、１つの撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像して得られた左眼用及び右眼用の画像と、該画像が撮像された際の前記撮像光学系の焦点レンズの駆動位置である合焦駆動位置を示す情報とを取得する取得工程と、
前記再生装置の決定手段が、前記取得工程において取得された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量であって、該画像を撮像した撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に前記撮像装置で得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定工程と、
前記再生装置の出力手段が、前記左眼用及び右眼用の画像の少なくともいずれかを、前記決定工程において決定された前記シフト量に従ってシフトさせ、シフト後の前記左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力工程と、
を有することを特徴とする再生装置の制御方法。
【請求項１２】
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、
前記撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、
前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定手段と、
前記取得手段により取得された左眼用及び右眼用の画像を前記決定手段により決定された前記シフト量に従ってシフトさせ、シフト後の前記左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、
を有することを特徴とする撮像システム。
【請求項１３】
コンピュータを、請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項６乃至９のいずれか１項に記載の再生装置の各手段として機能させるためのプログラム。
【請求項１５】
撮像システムに含まれる複数のコンピュータを、請求項１２に記載の撮像システムの各手段として機能させるためのプログラム。
【請求項１】
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、
前記撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、
前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定手段と、
前記決定手段により決定された前記シフト量と、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像とを関連付けて記録する記録手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記合焦駆動位置と前記基準駆動位置との差が閾値以上である場合、前記合焦駆動位置との差が小さくなる値に前記基準駆動位置を変更して前記シフト量を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記撮像手段により連続して撮像が行われる場合、前記基準駆動位置の値を順次変更することで、前記合焦駆動位置と前記基準駆動位置との差が閾値以上であると判断してから所定時間経過後に前記基準駆動位置を前記判断時の前記合焦駆動位置と等しくすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像のシフト量を、該画像間において前記焦点レンズが前記基準駆動位置にある場合の合焦距離に存在する被写体の像ずれ量が０になる値に決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記焦点レンズを駆動させて前記撮像光学系の自動合焦動作を行う制御手段をさらに有し、
前記基準駆動位置は、前記制御手段による自動合焦動作が行われるよりも前に撮像が行われた前記焦点レンズの駆動位置であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
１つの撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像して得られた左眼用及び右眼用の画像と、該画像が撮像された際の前記撮像光学系の焦点レンズの駆動位置である合焦駆動位置を示す情報とを取得する取得手段と、
前記取得手段により取得された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量であって、該画像を撮像した撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に前記撮像装置で得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定手段と、
前記取得手段により取得された左眼用及び右眼用の画像を前記決定手段により決定された前記シフト量に従ってシフトさせ、シフト後の前記左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、
を有することを特徴とする再生装置。
【請求項７】
前記決定手段は、前記合焦駆動位置と前記基準駆動位置との差が閾値以上である場合、前記合焦駆動位置との差が小さくなる値に前記基準駆動位置を変更して前記シフト量を決定することを特徴とする請求項６に記載の再生装置。
【請求項８】
前記決定手段は、前記撮像装置で連続して撮像された複数組の左眼用及び右眼用の画像を前記出力手段が前記表示手段に順次出力する場合、前記基準駆動位置の値を順次変更することで、前記合焦駆動位置と前記基準駆動位置との差が閾値以上であると判断してから所定時間経過後に前記基準駆動位置を前記判断時の前記合焦駆動位置と等しくすることを特徴とする請求項７に記載の再生装置。
【請求項９】
前記決定手段は、前記取得手段により取得された左眼用及び右眼用の画像間において前記焦点レンズが前記基準駆動位置にある場合の合焦距離に存在する被写体の像ずれ量が０になる値に前記シフト量を決定することを特徴とする請求項６乃至８のいずれか１項に記載の再生装置。
【請求項１０】
焦点レンズを有する１つの撮像光学系を有する撮像装置の制御方法であって、
前記撮像装置の撮像手段が、前記撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像工程と、
前記撮像装置の取得手段が、前記撮像工程において左眼用及び右眼用の画像が撮像された際の前記焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得工程と、
前記撮像装置の決定手段が、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、前記撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定工程と、
前記撮像装置の記録手段が、前記決定工程において決定された前記シフト量と、前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用及び右眼用の画像とを関連付けて記録する記録工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
再生装置の取得手段が、１つの撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像して得られた左眼用及び右眼用の画像と、該画像が撮像された際の前記撮像光学系の焦点レンズの駆動位置である合焦駆動位置を示す情報とを取得する取得工程と、
前記再生装置の決定手段が、前記取得工程において取得された左眼用及び右眼用の画像の少なくともいずれかの画像のシフト量であって、該画像を撮像した撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に前記撮像装置で得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定工程と、
前記再生装置の出力手段が、前記左眼用及び右眼用の画像の少なくともいずれかを、前記決定工程において決定された前記シフト量に従ってシフトさせ、シフト後の前記左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力工程と、
を有することを特徴とする再生装置の制御方法。
【請求項１２】
撮像光学系の射出瞳の異なる領域を通過した光束の各々を撮像し、左眼用及び右眼用の画像を出力する撮像手段と、
前記撮像手段により左眼用及び右眼用の画像が撮像された際の焦点レンズの駆動位置である合焦駆動位置を示す情報を取得する取得手段と、
前記焦点レンズが前記合焦駆動位置にある場合に撮像された左眼用の画像及び右眼用の画像の少なくともいずれかの画像についてのシフト量であって、撮像装置との距離が所定距離である被写体について、シフト後の該画像間における第１の像ずれ量と、前記焦点レンズが予め定められた基準駆動位置にある場合に得られる左眼用及び右眼用の画像間における第２の像ずれ量との差分が所定の範囲に収まるシフト量を、前記合焦駆動位置を示す情報に基づいて決定する決定手段と、
前記取得手段により取得された左眼用及び右眼用の画像を前記決定手段により決定された前記シフト量に従ってシフトさせ、シフト後の前記左眼用及び右眼用の画像を両眼立体視可能な表示手段に出力する出力手段と、
を有することを特徴とする撮像システム。
【請求項１３】
コンピュータを、請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項６乃至９のいずれか１項に記載の再生装置の各手段として機能させるためのプログラム。
【請求項１５】
撮像システムに含まれる複数のコンピュータを、請求項１２に記載の撮像システムの各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１０９２３３（Ｐ２０１３−１０９２３３Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５５４３０（Ｐ２０１１−２５５４３０）
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]