３Ｄ撮影装置および３Ｄ撮影方法
【課題】第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くならないようにした３Ｄ撮影装置および３Ｄ撮影方法を提供する。
【解決手段】被写体を認識し、第１位置において被写体にピントを合わせるステップと（Ｓ３）、第１位置において被写体を撮影して第１画像データを生成するステップと（Ｓ１１）、第１位置とは異なる第２位置において被写体にピントを合わせるステップと（Ｓ２１）、第２位置において被写体を撮影して第２画像データを生成するステップと（Ｓ２１）、第１画像データ及び第２画像データを用いて３Ｄ画像データを生成するステップと（Ｓ２９）、を備える。
【解決手段】被写体を認識し、第１位置において被写体にピントを合わせるステップと（Ｓ３）、第１位置において被写体を撮影して第１画像データを生成するステップと（Ｓ１１）、第１位置とは異なる第２位置において被写体にピントを合わせるステップと（Ｓ２１）、第２位置において被写体を撮影して第２画像データを生成するステップと（Ｓ２１）、第１画像データ及び第２画像データを用いて３Ｄ画像データを生成するステップと（Ｓ２９）、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１位置と、この第１位置とは異なる第２位置で撮影を行い、３Ｄ画像を撮影する３Ｄ撮影装置および３Ｄ撮影方法に関する。
【背景技術】
【０００２】
近年、第１及び第２位置で画像をそれぞれ撮影し、この２枚の撮影画像に基づいて立体的な画像を生成する３Ｄ撮影装置が種々、提案されている。例えば、特許文献１には、１枚目の撮影を行った後、ブレ補正レンズを撮影レンズの光軸と垂直な面内でシフトさせ、２枚目の撮影を行うようにした電子カメラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−４１３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
第１位置から第２位置にシフトさせ、２枚の画像を撮影することにより、これらの画像から立体画像を生成することができる。しかしながら、従来の３Ｄ撮影装置においては、１枚目の撮影の際にピント合わせを行うが、２枚目の撮影の際にはピント合わせを行うことがなく、１枚目の撮影時のピント位置のままである。この時の不具合について、図４を用いて説明する。
【０００５】
図４（ａ）は、１枚目の撮影を行った後に、カメラを横にずらし２枚目の撮影を行った場合を示しており、カメラから被写体までの距離が等距離である。この場合、１枚目の撮影の際に、ピントを合わせておけば、２枚目の撮影の際にもピントの合った写真となる。
【０００６】
図４（ｂ）は、カメラを保持した撮影者が、１枚目の撮影を行った後に、カメラを移動させ２枚目の撮影を行う場合を示す。撮影者は、水平にカメラを右方向に移動させたつもりでも、水平方向のみに移動させることは簡単ではなく、前後方向にも動いてしまうことが多々ある。この場合には、２枚目の撮影時にはピントが合わず、１枚目と２枚目の撮影ではカメラから被写体までの距離が異なってしまう。
【０００７】
また、図４（ｃ）は、被写体が１枚目撮影時の位置と２枚目撮影時の位置の中間になく、被写体からカメラまでの距離が１枚目撮影時と２枚目撮影時で異なる場合を示す。このように、１枚目と２枚目の撮影時では、カメラから被写体までの距離が異なることが多い。この場合には２枚目の画像のピントが合っていないことがあり、２枚の画像を合成して生成した３Ｄ画像の見栄えが悪くなってしまう。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くならないようにした３Ｄ撮影装置および３Ｄ撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる３Ｄ撮影装置は、撮影被写体を認識する画像認識部と、上記画像認識部により認識した被写体にピントを合わせるための焦点調節部と、第１位置及び該第１位置とは異なる第２位置で撮影を行い、画像データを生成する撮影部と、上記第１位置及び上記第２位置で撮影した画像データを用いて、３Ｄ画像データを生成する画像処理部と、を備え、上記第１位置及び第２位置における撮影において、上記画像認識部により認識した同一被写体に対して上記焦点調節部によりピントを合わせた後に、上記撮影部により撮影を行う。
【００１０】
第２の発明に係わる３Ｄ撮影装置は、上記第１の発明において、焦点深度を演算する焦点深度演算部を更に備え、上記撮影部は、上記焦点深度が所定深度内のときは、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行う。
第３の発明に係わる３Ｄ撮影装置は、上記第１の発明において、上記撮影部は、上記画像認識部によって被写体の認識を行うことができなかった場合には、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行う。
【００１１】
第４の発明に係わる３Ｄ撮影方法は、画像認識部により被写体を認識するステップと、焦点調節部により、第１位置において被写体にピントを合わせるステップと、撮影部により、上記第１位置において被写体を撮影して第１画像データを生成するステップと、上記焦点調節部により、上記第１位置とは異なる第２位置において上記被写体にピントを合わせるステップと、上記撮影部により、上記第２位置において被写体を撮影して第２画像データを生成するステップと、上記第１画像データ及び上記第２画像データを用いて３Ｄ画像データを生成するステップと、を備える。
【発明の効果】
【００１２】
本発明によれば、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くならないようにした３Ｄ撮影装置および３Ｄ撮影方法を提供することができる。特に、第１及び第４の発明によれば、被写体にピントが合った３Ｄ画像を生成することができる。また、第２の発明によれば、シフト式３Ｄ撮影を迅速に行うことができる。第３の発明によれば、被写体認識ができなかた場合には、ピントを固定にしているために、撮影者の意図しない被写体にピント合い、見栄えが悪くなることがない。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係わるカメラの電気回路を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラの撮影のメインフローを示すフローチャートである。
【図３】本発明の第２実施形態に係わるカメラの撮影のメインフローを示すフローチャートである。
【図４】従来の３Ｄ撮影装置における撮影方法を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい第１実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。また、３Ｄ撮影モードが設定されている場合には、第１位置で撮影した後に、３Ｄ撮影を補助する補助表示が表示部になされ、この補助表示に沿って第２の位置で撮影すると、カメラは３Ｄ画像を生成し、記録媒体に記録する。
【００１５】
図１は、本発明の第１実施形態に係わるカメラ１１の構成を示すブロック図である。フォーカスレンズ１２の光軸上には、絞り機構１３、シャッタ機構１４、および撮像センサ１５が配置されている。
【００１６】
フォーカスレンズ１２は、被写体像を形成するためのレンズであり、モータ１７によってフォーカスレンズ１２の光軸方向に沿って移動可能である。モータ１７はフォーカス制御部１６に接続されており、フォーカス制御部１６は、後述するメインＣＰＵ（Central Processing Unit）２６からの制御命令に従って、フォーカスレンズ１２のピント合わせを行う。
【００１７】
絞り機構１３は、開口径が調節可能であり、フォーカスレンズ１２を通過した被写体光束の光量調節を行う。絞り機構１３の開口径はモータ１９によって駆動され、モータ１９は、絞り制御部１８に接続されている。絞り制御部１８は、メインＣＰＵ２６からの制御命令に従って、絞り機構１３の絞り値の制御を行う。
【００１８】
シャッタ機構１４は、レンズシャッタまたはフォーカルプレーンシャッタ等で構成され、撮影時にはフォーカスレンズ１２を通過した被写体光束の露光時間を調節する。シャッタ機構１４は制御回路２１に接続され、制御回路２１はシャッタ制御部２０に接続されている。シャッタ制御部２０は、メインＣＰＵ２６からの制御命令に従って、シャッタ機構１４によるシャッタ速度の制御を行う。なお、ライブビュー表示の際には、シャッタ機構１４は開口状態にする。
【００１９】
撮像センサ１５は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子によって構成され、フォーカスレンズ１２によって形成された被写体像を画像信号に変換する。撮像センサ１５は、ＴＧ（Timing Generator）２３に接続されており、ＴＧ２３から出力されるタイミング信号に基づいて、画像信号の読み出し等、撮像センサ１５の駆動を行う。ＴＧ２３は、メインＣＰＵ２６に接続されており、メインＣＰＵ２６からの制御命令に従って、撮像センサ１５の画像信号の蓄積や読み出し等、撮像センサ１５の駆動制御用のタイミングパルスを発生する。
【００２０】
信号処理回路２４は、撮像センサ１５の出力に接続されており、相関二重サンプリングＣＤＳ（Correlated Double Sampling）回路、信号レベルを増減させるアンプ回路、アナログ信号をデジタルデータに変換するＡＤＣ（Analog to Digital Converter）等の回路を有し、これらの回路によって種々の信号処理を実行する。信号処理回路２４によって処理された信号は、データバス２５に出力される。なお、本実施形態においては、撮像センサ１５によって出力される画像信号および信号処理回路２４によって出力されるデジタルデータ、または画像処理回路３０等において処理されたデータについても、画像データと称する。
【００２１】
データバス２５には、前述の信号処理回路２４以外に、メインＣＰＵ２６、ＡＥ（Automatic Exposure）処理部２７、ＡＦ（Auto Focus）処理部２８、画像処理回路３０、ＬＣＤ（Liquid Crystal）ドライバ３１、不揮発性メモリ３３、内蔵メモリ３４、圧縮伸張部３５、着脱メモリ３６が接続されている。
【００２２】
ＡＥ処理部２７は、信号処理回路２４から出力される画像データに基づいて、撮影画像の内の所定領域のＡＥ評価値を算出し、算出結果をデータバス２５を介してメインＣＰＵ２６に出力する。ＡＦ処理部２８は、信号処理回路２４から出力される画像データに基づいて、所定領域の高周波成分を抽出し、ＡＦ評価値を算出する。算出結果は、データバス２５を介してメインＣＰＵ２６に出力される。
【００２３】
画像処理回路３０は、内蔵メモリ３０に格納されている撮影画像に対してホワイトバランス調整、エッジ処理等の各種画像処理を行う。また、画像処理回路３０は、信号処理回路２４から出力される画像データに基づいて、画像の中に人物の顔等が含まれているか検出し、顔等が含まれている場合には、その位置や大きさ等を検出し、検出結果をメインＣＰＵ２６に出力する。また、第１位置と第２位置で撮影された２枚の画像データを用いて、３Ｄ画像の生成を行う。
【００２４】
ＬＣＤドライバ３１の出力は、カメラ１１の背面等に配置されたＬＣＤ３２に接続されており、信号処理回路２４から出力される画像データに基づいて、ＬＣＤ３２にライブビュー表示を行う。また着脱メモリ３６に記憶されている画像データに基づいて、撮影画像の再生表示を行う。なお、画像データに基づいて表示できれば、ＬＣＤに限らず、例えば有機ＥＬ等のモニタを用いても構わない。
【００２５】
不揮発性メモリ３３は、例えばフラッシュメモリのような電気的書き換え可能な不揮発性メモリである。この不揮発性メモリ３３には、メインＣＰＵ２６において実行処理されるプログラムや、カメラ１１の各種調整値等が記憶される。内蔵メモリ３４は、一時的にデータ等が格納されるＳＤＲＡＭ（Dynamic Random Access Memory）や演算処理用に利用されるＤＲＡＭ（Synchronous Dynamic Random Access Memory）等である。
【００２６】
圧縮伸張部３５は、画像データを圧縮する。この圧縮された画像データは着脱メモリ３６に記憶され、また、着脱メモリ３６から読み出された圧縮画像データは、圧縮伸張部３５によって伸張される。着脱メモリ３６は、カメラ１１の本体に対して着脱自在な記憶媒体である。
【００２７】
メインＣＰＵ２６は、カメラ１１全体の動作を、不揮発性メモリ３３に記憶されたプログラムに基づいて制御する。例えば、ＡＥ処理部２７から出力されるＡＥ評価値に基づいて絞り制御部１８、シャッタ制御部２０に制御命令を出力して自動露出制御（ＡＥ）を行い、またＡＦ処理部２８から出力されるＡＦ評価値に基づいてフォーカス制御部１６に制御命令を出力して自動焦点調節（ＡＦ）を行う。
【００２８】
また、メインＣＰＵ２６は、画像認識部としても機能し、画像処理部３０による顔検出結果等に基づいて、被写体の主要部を認識する。さらに、メインＣＰＵ２６は、焦点調節部の一部としても機能し、ＡＦ処理部２８からＡＦ評価値を入力し、フォーカスレンズ１２のピントが合うようにフォーカス制御部１６に制御命令を出力する。さらに、メインＣＰＵ２６は、撮影部の一部としても機能し、第１位置及び第２位置で撮影を行わせ画像データの生成を行わせる。さらに、メインＣＰＵ２６は、第１位置及び第２位置において撮影を行う際に、同一の被写体に対してピントを合わせた後に、撮影を行うように制御する。
【００２９】
入力部３７は、撮影モード等の設定を行う操作スイッチや、ズームスイッチ、レリーズ釦等の各種操作部材を有し、操作状態はメインＣＰＵ２６に出力される。メインＣＰＵ２６は操作状態の情報に基づいてカメラの制御を行う。電源部３８は、バッテリや電池等からなり、メインＣＰＵ２６等を動作させるための電圧、モータ１７，１９等を駆動する電圧、ＬＣＤ３２を駆動する電圧等を供給する。
【００３０】
次に、本実施形態における動作について、図２に示すフローチャートを用いて説明する。このフローチャートは、不揮発性メモリ３３に記憶されているプログラムに従って、メインＣＰＵ２６が実行する。
【００３１】
図２のフローにおいて、撮影が開始されると、まず、１ｓｔレリーズ入力がなされたか否かを判定する（Ｓ１）。入力部３７の１つであるレリーズ釦は、撮影者が半押しすると１ｓｔレリーズスイッチがオンとなり、さらに押し込んで全押しすると２ｎｄレリーズスイッチがオンする。このステップでは、１ｓｔレリーズスイッチがオンとなったか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンでなかった場合には、１ｓｔレリーズスイッチがオンとなるのを待つ。
【００３２】
ステップＳ１における判定の結果、１ｓｔレリーズ入力されると、次に、レンズを駆動し、被写体の主要部にピントを合わせる（Ｓ３）。まず、画像処理部３０において検出された顔の部分や、またコントラスト値の高い部分等、被写体の主要部を認識する。続いて、認識された被写体の主要部について、ＡＦ処理部２８はＡＦ評価値を算出し、この算出されたＡＦ評価値はメインＣＰＵ２６に出力される。メインＣＰＵ２６は、フォーカス制御部１６に制御命令を出力し、ＡＦ評価値がピーク値となるように、フォーカスレンズ１２を光軸方向に移動させる。
【００３３】
ピント合わせを行うと、次に、被写体認識できた場合は、フラグを立てる（Ｓ５）。ここでは、ステップＳ３においてピント合わせを行うにあたって、顔検出できた場合、またはコントラスト値の高い部分を検出できた場合等、被写体の主要部を検出できた場合に被写体認識できたと判定し、被写体認識できた場合には、被写体認識フラグ＝１とし、フラグをセットする。
【００３４】
次に、ＡＥ動作を行う（Ｓ７）。ここでは、顔検出された部分等の被写体の主要部が適正露出となるように、絞り値やシャッタ速度等の露出制御値の算出を行う。ＡＥ動作を行うと、次に、２ｎｄレリーズが入力されたか否かを判定する（Ｓ９）。撮影者が構図を決めると、レリーズ釦を全押しすることから、ここでは２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオンでなかった場合には、２ｎｄレリーズスイッチがオンとなるのを待つ。
【００３５】
ステップＳ９における判定の結果、２ｎｄレリーズが入ると、次に、撮影動作を行い、画像を内部メモリに格納し、この画像を画像１とする（Ｓ１１）。ここでは、撮像センサ１５から画像データを取得し、画像処理回路３０等において画像処理を施した後、内蔵メモリ３４に画像データを格納する。
【００３６】
続いて、カメラを移動して２枚目の撮影を行うよう、補助となる表示を背面パネルに表示する（Ｓ１３）。３Ｄ画像を生成するためには、第１位置で撮影した画像データと、第１位置とは異なる第２位置で撮影した画像データが必要となる。そこで、本実施形態においては、３Ｄ撮影モードが設定されている場合には、１枚目の撮影を行うと、２枚目の撮影を行うための補助表示をＬＣＤ３２に行う。なお、撮影者がこの補助表示に従ってカメラ１１を移動させる間、ステップＳ３、Ｓ５において認識した被写体の主要部について公知の自動追尾を行う。自動追尾は、撮像センサ１５から所定時間間隔で画像データを取得し、画像データの差分から認識した被写体の追跡を行う。
【００３７】
ステップＳ１３において補助表示を行うと、次に、１ｓｔレリーズ入力がなされたか否かの判定を行う（Ｓ１５）。撮影者は補助表示に従ってカメラ１１を移動させ、第２位置に達すると、補助表示に２枚目の撮影の指示がなされる。このステップでは、２枚目の撮影指示に従って、撮影者がレリーズ釦を半押し、１ｓｔレリーズスイッチがオンとなったか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンでなかった場合には、１ｓｔレリーズスイッチがオンとなるのを待つ。
【００３８】
ステップＳ１５における判定の結果、１ｓｔレリーズ入力がなされた場合には、次に、被写体認識フラグが立っているか否かを判定する（Ｓ１７）。ステップＳ３、Ｓ５において、被写体認識ができた場合にはフラグを立てている。このステップでは、このフラグが立てられたか否かを判定する。
【００３９】
ステップＳ１７における判定の結果、被写体認識フラグが立っていた場合には、認識した被写体にＡＦ動作を行う（Ｓ２１）。ここでは、ステップＳ３においてピントを合わせた被写体の主要部に対して、ＡＦ動作を行う。前述したように、ステップＳ１３において、カメラ１１を移動する際に被写体の主要部に対して自動追尾を行っていることから、このステップでは自動追尾した被写体の主要部に対してピント合わせを行う。なお、被写体認識フラグが立っていなかった場合には、ＡＦ動作が行われないので、１枚目の撮影の際のピントに固定されたままである。被写体認識ができない場合に、ＡＦ動作を行うと、１枚目の撮影時にピントが合った被写体の主要部と異なる部分にピントが合い、立体感を損ない見栄えの悪い３Ｄ画像となるおそれがあるからである。
【００４０】
ステップＳ２１において認識した被写体にＡＦ動作を行うと、またはステップＳ１７における判定の結果、被写体認識フラグが立っていなかった場合には、次に、１枚目と同じ絞り値等の設定を行う（Ｓ２３）。ここでは、ＡＥ動作は行わず、１枚目の撮影と同じ設定、すなわち、同じ絞り値、同じシャッタ速度、同じＩＳＯ感度に設定する。２枚目の撮影時に適正露出となるように、再度、被写体輝度を測光し、絞り値およびシャッタ速度を算出する方法もあるが、３Ｄ画像を合成する際には２枚の撮影画像の明るさや被写界深度等は同じにすると、違和感が少ないことから、同一の設定としている。
【００４１】
１枚目と同じ絞り値等の設定を行うと、次に、２ｎｄレリーズが入力されたか否かを判定する（Ｓ２５）。２枚目の撮影位置に達すると、撮影者はレリーズ釦を全押しすることから、ここでは２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオンでなかった場合には、２ｎｄレリーズスイッチがオンとなるのを待つ。
【００４２】
ステップＳ２５における判定の結果、２ｎｄレリーズが入ると、次に、撮影動作を行い、画像を内部メモリに格納し、この画像を画像２とする（Ｓ２７）。ここでは、１枚目の撮影と同様、撮像センサ１５から画像データを取得し、画像処理回路３０等において画像処理を施した後、内蔵メモリ３４に画像データを格納する。
【００４３】
画像２を内部メモリに格納とすると、次に、画像１と画像２を用いて３Ｄ画像を作成し、外部メモリに保存する（Ｓ２９）。ここでは、内蔵メモリ３４から画像１および画像２を読み出し、画像処理回路３０において、３Ｄ画像を生成する。生成された３Ｄ画像は外部メモリとしての着脱メモリ３６に記録する。なお、ステップＳ１１およびＳ２７で取得された画像１および画像２も原画像として着脱メモリ３６に記録するようにしても構わない。３Ｄ画像を外部メモリに保存すると、撮影のフローを終了する。
【００４４】
このように、本発明の第１実施形態においては、３Ｄ撮影を行うにあたって、被写体認識を行うことができた場合には、第２位置において撮影する場合に、焦点調節動作によって被写体に対してピント合わせを行った後に、撮影を行うようにしている。このため、第２位置で撮影した画像に対してもピントが合っており、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くなることがない。
【００４５】
次に、本発明の第２実施形態について、図３を用いて説明する。第１実施形態においては、１枚目の撮影で被写体を認識していた場合には、２枚目の撮影を行う際に、常時、ＡＦ動作を行っていた。第２実施形態においては、第２位置において被写体深度を算出し、被写体が被写界深度内に有る場合には、再度、ＡＦ動作を行わずに２枚目の撮影を行うようにしている。
【００４６】
前述したように、被写体までの距離にズレがある場合に、ピントを固定して撮影した２枚の撮影画像を用いて３Ｄ画像を合成すると、被写体のピント位置が合わず、立体感が損なわれてしまう。この現象は、撮影時に被写界深度が浅い場合に顕著に生ずる。そこで、第１実施形態においては、２枚の撮影の際に、再度、ＡＦ動作を行っていた。しかし、被写界深度が十分深い場合には、ピントを固定したままでも十分被写体にピントが合った状態が保たれ、立体感が損なわれることがない。
【００４７】
そこで、本実施形態においては、１枚目撮影の際の被写体までの距離と、２枚目撮影の際の被写体までの距離の差、すなわち被写体までの距離のばらつきが、撮影時の被写界深度よりも小さければ、２枚目の撮影でのピントは固定とし、逆に、２枚目撮影の際の被写体までの距離のばらつきが、被写界深度よりも大きければ、第１実施形態の場合と同様、被写体にピントを追従させるように切り替えを行う。
【００４８】
本実施形態における構成は、図１に示したブロック図と同様であることから、詳しい説明は省略する。ただし、本実施形態におけるメインＣＰＵ２６は、被写界深度を算出する機能を有する。ここで、被写界深度ｄの算出は、例えば、下記式（１）により行う。
ｄ＝（Ｄｈ×Ｄ）／（Ｄｈ−Ｄ）−（Ｄｈ×Ｄ）／（Ｄｈ＋Ｄ）
＝｛［（ｆ２／δＦ）Ｄ］／（ｆ２／δＦ）−Ｄ｝−｛［（ｆ２／δＦ）Ｄ］／（ｆ２／δＦ）＋Ｄ｝・・・（１）
ただし、
δ：許容錯乱円の直径
ｆ：レンズの焦点距離
Ｆ：レンズの絞り値
Ｄｈ：過焦点距離
Ｄ：被写体距離
【００４９】
次に、本実施形態における動作を、図３に示すフローチャートを用いて説明する。図３に示したフローチャートは、図２に示した第１実施形態に係わるフローチャートのステップＳ１７をステップＳ１８およびＳ２０に置き換えた点のみ相違する。したがって、この相違点を中心に説明する。なお、このフローチャートも、不揮発性メモリ３３に記憶されているプログラムに従って、メインＣＰＵ２６が実行する。
【００５０】
図３のフローに入り、第１実施形態と同様に、ステップＳ１〜Ｓ１３を実行すると、次に、１ｓｔレリーズ入力がなされたか否かの判定を行う（Ｓ１５）。撮影者は補助表示に従ってカメラ１１を移動させ、第２位置に達すると２枚目の撮影の指示がなされることから、レリーズ釦の半押しを行う。判定の結果、１ｓｔレリーズスイッチがオンでなかった場合には、１ｓｔレリーズスイッチがオンとなるのを待つ。
【００５１】
ステップＳ１５における判定の結果、１ｓｔレリーズ入力がなされた場合には、次に、被写界深度を算出する（Ｓ１８）。ここでは、前述の式（１）に従って被写界深度を算出する。
【００５２】
ステップＳ１８において被写界深度を算出すると、次に、被写体までの距離のばらつきよりが被写界深度よりも大きいか否かを判定する（Ｓ２０）。ここでは被写体までの距離のばらつきと、ステップＳ１８において算出した被写界深度を比較することにより判定する。被写体までの距離のばらつきは、加速度センサ、６軸センサ、ジャイロ等によって、第１位置から第２位置までのカメラ１１の動きから算出する。すなわち、図４（ｂ）（ｃ）に示すカメラ１１のレンズの向きや、移動方向や移動量から、幾何学的に被写体までの距離のずれを算出すればよい。
【００５３】
ステップＳ２０における判定の結果、被写体までの距離のばらつきが被写界深度よりも大きい場合には、認識した被写体にＡＦ動作を行う（Ｓ２１）。１枚目と２枚目の撮影時において被写体距離の差が被写界深度よりも大きい場合には、１枚目の撮影のピントを固定しておくと２枚目の撮影画像のピントがずれてしまうので、この場合には、ＡＦ動作を行って２枚目の撮影時にもピント合わせを行う。一方、ステップＳ２０における判定の結果、被写体までの距離のばらつきが被写界深度よりも小さい場合には、ＡＦ動作を行わず、１枚目の撮影時のピントを固定したままとする。
【００５４】
ステップＳ２１においてＡＦ動作を行うと、またはステップＳ２０における判定の結果、被写体までの距離のばらつきが被写界深度よりも小さい場合には、次に、１枚目と同じ絞り値等の設定を行う（Ｓ２３）。この後、ステップＳ２５以下において２ｎｄレリーズが入った場合には、２枚目の撮影を行い、３Ｄ画像を合成し外部メモリに保存する。これらの一連の動作を実行すると撮影動作を終了する。
【００５５】
このように、本発明の第２実施形態においては、被写界深度が所定深度内のときは、第１位置でのみ焦点調節を行った後に撮影を行い、第２位置では焦点調節を行うことなく撮影を行うようにしている。このため、シフト式の３Ｄ撮影を迅速に行うことができる。すなわち、本実施形態においては、２枚目の撮影時に被写体までの距離のばらつきが被写界深度内にある場合にはＡＦ動作を行うことないために迅速な３Ｄ撮影が可能となる。
【００５６】
なお、本発明の第２実施形態においては、被写界深度と被写体までの距離のばらつきを比較していたが（Ｓ２０参照）、被写体案での距離のばらつき以外にも、例えば、所定の基準値と比較するようにしてもよい。基準値としては、一般的なシフト時（第１位置から第２位置へのシフト）の被写体までの距離のズレ量にマージン等を考慮して、適宜、設計値として決めればよい。
【００５７】
以上説明したように、本発明の各実施形態においては、第１位置において被写体を撮影し、カメラを移動させた後、第２位置において被写体を撮影する際に、ピント合わせを行うようにしている。このため、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くならないにすることができる。
【００５８】
なお、本発明の各実施形態においては、第１位置において被写体を認識した後、自動追尾し、第２位置において、この自動追尾した被写体に対して再度ＡＦ動作を実行していた。しかし、これに限らず、例えば、ステップＳ３において認識した被写体の主要部を記憶しておき、第２の位置において取得した画像から記憶した被写体の主要部を抽出し、この被写体の主要部に対してＡＦ動作を実行するようにしてもよい。
【００５９】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【００６０】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６１】
１１・・・カメラ、１２・・・フォーカスレンズ、１３・・・絞り機構、１４・・・シャッタ機構、１５・・・撮像センサ、１６・・・フォーカス制御部、１７・・・モータ、１８・・・絞り制御部、１９・・・モータ、２０・・・シャッタ制御部、２１・・・制御回路、２３・・・ＴＧ回路、２４・・・信号処理回路、２５・・・データバス、２６・・・メインＣＰＵ、２７・・・ＡＥ処理部、２８・・・ＡＦ処理部、３０・・・画像処理回路、３１・・・ＬＣＤドライバ、３２・・・ＬＣＤ、３３・・・不揮発性メモリ、３４・・・内蔵メモリ、３５・・・圧縮伸張部、３６・・・着脱メモリ、３７・・・入力部、３８・・・電源部
【技術分野】
【０００１】
本発明は、第１位置と、この第１位置とは異なる第２位置で撮影を行い、３Ｄ画像を撮影する３Ｄ撮影装置および３Ｄ撮影方法に関する。
【背景技術】
【０００２】
近年、第１及び第２位置で画像をそれぞれ撮影し、この２枚の撮影画像に基づいて立体的な画像を生成する３Ｄ撮影装置が種々、提案されている。例えば、特許文献１には、１枚目の撮影を行った後、ブレ補正レンズを撮影レンズの光軸と垂直な面内でシフトさせ、２枚目の撮影を行うようにした電子カメラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−４１３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
第１位置から第２位置にシフトさせ、２枚の画像を撮影することにより、これらの画像から立体画像を生成することができる。しかしながら、従来の３Ｄ撮影装置においては、１枚目の撮影の際にピント合わせを行うが、２枚目の撮影の際にはピント合わせを行うことがなく、１枚目の撮影時のピント位置のままである。この時の不具合について、図４を用いて説明する。
【０００５】
図４（ａ）は、１枚目の撮影を行った後に、カメラを横にずらし２枚目の撮影を行った場合を示しており、カメラから被写体までの距離が等距離である。この場合、１枚目の撮影の際に、ピントを合わせておけば、２枚目の撮影の際にもピントの合った写真となる。
【０００６】
図４（ｂ）は、カメラを保持した撮影者が、１枚目の撮影を行った後に、カメラを移動させ２枚目の撮影を行う場合を示す。撮影者は、水平にカメラを右方向に移動させたつもりでも、水平方向のみに移動させることは簡単ではなく、前後方向にも動いてしまうことが多々ある。この場合には、２枚目の撮影時にはピントが合わず、１枚目と２枚目の撮影ではカメラから被写体までの距離が異なってしまう。
【０００７】
また、図４（ｃ）は、被写体が１枚目撮影時の位置と２枚目撮影時の位置の中間になく、被写体からカメラまでの距離が１枚目撮影時と２枚目撮影時で異なる場合を示す。このように、１枚目と２枚目の撮影時では、カメラから被写体までの距離が異なることが多い。この場合には２枚目の画像のピントが合っていないことがあり、２枚の画像を合成して生成した３Ｄ画像の見栄えが悪くなってしまう。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くならないようにした３Ｄ撮影装置および３Ｄ撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる３Ｄ撮影装置は、撮影被写体を認識する画像認識部と、上記画像認識部により認識した被写体にピントを合わせるための焦点調節部と、第１位置及び該第１位置とは異なる第２位置で撮影を行い、画像データを生成する撮影部と、上記第１位置及び上記第２位置で撮影した画像データを用いて、３Ｄ画像データを生成する画像処理部と、を備え、上記第１位置及び第２位置における撮影において、上記画像認識部により認識した同一被写体に対して上記焦点調節部によりピントを合わせた後に、上記撮影部により撮影を行う。
【００１０】
第２の発明に係わる３Ｄ撮影装置は、上記第１の発明において、焦点深度を演算する焦点深度演算部を更に備え、上記撮影部は、上記焦点深度が所定深度内のときは、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行う。
第３の発明に係わる３Ｄ撮影装置は、上記第１の発明において、上記撮影部は、上記画像認識部によって被写体の認識を行うことができなかった場合には、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行う。
【００１１】
第４の発明に係わる３Ｄ撮影方法は、画像認識部により被写体を認識するステップと、焦点調節部により、第１位置において被写体にピントを合わせるステップと、撮影部により、上記第１位置において被写体を撮影して第１画像データを生成するステップと、上記焦点調節部により、上記第１位置とは異なる第２位置において上記被写体にピントを合わせるステップと、上記撮影部により、上記第２位置において被写体を撮影して第２画像データを生成するステップと、上記第１画像データ及び上記第２画像データを用いて３Ｄ画像データを生成するステップと、を備える。
【発明の効果】
【００１２】
本発明によれば、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くならないようにした３Ｄ撮影装置および３Ｄ撮影方法を提供することができる。特に、第１及び第４の発明によれば、被写体にピントが合った３Ｄ画像を生成することができる。また、第２の発明によれば、シフト式３Ｄ撮影を迅速に行うことができる。第３の発明によれば、被写体認識ができなかた場合には、ピントを固定にしているために、撮影者の意図しない被写体にピント合い、見栄えが悪くなることがない。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係わるカメラの電気回路を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラの撮影のメインフローを示すフローチャートである。
【図３】本発明の第２実施形態に係わるカメラの撮影のメインフローを示すフローチャートである。
【図４】従来の３Ｄ撮影装置における撮影方法を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい第１実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。また、３Ｄ撮影モードが設定されている場合には、第１位置で撮影した後に、３Ｄ撮影を補助する補助表示が表示部になされ、この補助表示に沿って第２の位置で撮影すると、カメラは３Ｄ画像を生成し、記録媒体に記録する。
【００１５】
図１は、本発明の第１実施形態に係わるカメラ１１の構成を示すブロック図である。フォーカスレンズ１２の光軸上には、絞り機構１３、シャッタ機構１４、および撮像センサ１５が配置されている。
【００１６】
フォーカスレンズ１２は、被写体像を形成するためのレンズであり、モータ１７によってフォーカスレンズ１２の光軸方向に沿って移動可能である。モータ１７はフォーカス制御部１６に接続されており、フォーカス制御部１６は、後述するメインＣＰＵ（Central Processing Unit）２６からの制御命令に従って、フォーカスレンズ１２のピント合わせを行う。
【００１７】
絞り機構１３は、開口径が調節可能であり、フォーカスレンズ１２を通過した被写体光束の光量調節を行う。絞り機構１３の開口径はモータ１９によって駆動され、モータ１９は、絞り制御部１８に接続されている。絞り制御部１８は、メインＣＰＵ２６からの制御命令に従って、絞り機構１３の絞り値の制御を行う。
【００１８】
シャッタ機構１４は、レンズシャッタまたはフォーカルプレーンシャッタ等で構成され、撮影時にはフォーカスレンズ１２を通過した被写体光束の露光時間を調節する。シャッタ機構１４は制御回路２１に接続され、制御回路２１はシャッタ制御部２０に接続されている。シャッタ制御部２０は、メインＣＰＵ２６からの制御命令に従って、シャッタ機構１４によるシャッタ速度の制御を行う。なお、ライブビュー表示の際には、シャッタ機構１４は開口状態にする。
【００１９】
撮像センサ１５は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子によって構成され、フォーカスレンズ１２によって形成された被写体像を画像信号に変換する。撮像センサ１５は、ＴＧ（Timing Generator）２３に接続されており、ＴＧ２３から出力されるタイミング信号に基づいて、画像信号の読み出し等、撮像センサ１５の駆動を行う。ＴＧ２３は、メインＣＰＵ２６に接続されており、メインＣＰＵ２６からの制御命令に従って、撮像センサ１５の画像信号の蓄積や読み出し等、撮像センサ１５の駆動制御用のタイミングパルスを発生する。
【００２０】
信号処理回路２４は、撮像センサ１５の出力に接続されており、相関二重サンプリングＣＤＳ（Correlated Double Sampling）回路、信号レベルを増減させるアンプ回路、アナログ信号をデジタルデータに変換するＡＤＣ（Analog to Digital Converter）等の回路を有し、これらの回路によって種々の信号処理を実行する。信号処理回路２４によって処理された信号は、データバス２５に出力される。なお、本実施形態においては、撮像センサ１５によって出力される画像信号および信号処理回路２４によって出力されるデジタルデータ、または画像処理回路３０等において処理されたデータについても、画像データと称する。
【００２１】
データバス２５には、前述の信号処理回路２４以外に、メインＣＰＵ２６、ＡＥ（Automatic Exposure）処理部２７、ＡＦ（Auto Focus）処理部２８、画像処理回路３０、ＬＣＤ（Liquid Crystal）ドライバ３１、不揮発性メモリ３３、内蔵メモリ３４、圧縮伸張部３５、着脱メモリ３６が接続されている。
【００２２】
ＡＥ処理部２７は、信号処理回路２４から出力される画像データに基づいて、撮影画像の内の所定領域のＡＥ評価値を算出し、算出結果をデータバス２５を介してメインＣＰＵ２６に出力する。ＡＦ処理部２８は、信号処理回路２４から出力される画像データに基づいて、所定領域の高周波成分を抽出し、ＡＦ評価値を算出する。算出結果は、データバス２５を介してメインＣＰＵ２６に出力される。
【００２３】
画像処理回路３０は、内蔵メモリ３０に格納されている撮影画像に対してホワイトバランス調整、エッジ処理等の各種画像処理を行う。また、画像処理回路３０は、信号処理回路２４から出力される画像データに基づいて、画像の中に人物の顔等が含まれているか検出し、顔等が含まれている場合には、その位置や大きさ等を検出し、検出結果をメインＣＰＵ２６に出力する。また、第１位置と第２位置で撮影された２枚の画像データを用いて、３Ｄ画像の生成を行う。
【００２４】
ＬＣＤドライバ３１の出力は、カメラ１１の背面等に配置されたＬＣＤ３２に接続されており、信号処理回路２４から出力される画像データに基づいて、ＬＣＤ３２にライブビュー表示を行う。また着脱メモリ３６に記憶されている画像データに基づいて、撮影画像の再生表示を行う。なお、画像データに基づいて表示できれば、ＬＣＤに限らず、例えば有機ＥＬ等のモニタを用いても構わない。
【００２５】
不揮発性メモリ３３は、例えばフラッシュメモリのような電気的書き換え可能な不揮発性メモリである。この不揮発性メモリ３３には、メインＣＰＵ２６において実行処理されるプログラムや、カメラ１１の各種調整値等が記憶される。内蔵メモリ３４は、一時的にデータ等が格納されるＳＤＲＡＭ（Dynamic Random Access Memory）や演算処理用に利用されるＤＲＡＭ（Synchronous Dynamic Random Access Memory）等である。
【００２６】
圧縮伸張部３５は、画像データを圧縮する。この圧縮された画像データは着脱メモリ３６に記憶され、また、着脱メモリ３６から読み出された圧縮画像データは、圧縮伸張部３５によって伸張される。着脱メモリ３６は、カメラ１１の本体に対して着脱自在な記憶媒体である。
【００２７】
メインＣＰＵ２６は、カメラ１１全体の動作を、不揮発性メモリ３３に記憶されたプログラムに基づいて制御する。例えば、ＡＥ処理部２７から出力されるＡＥ評価値に基づいて絞り制御部１８、シャッタ制御部２０に制御命令を出力して自動露出制御（ＡＥ）を行い、またＡＦ処理部２８から出力されるＡＦ評価値に基づいてフォーカス制御部１６に制御命令を出力して自動焦点調節（ＡＦ）を行う。
【００２８】
また、メインＣＰＵ２６は、画像認識部としても機能し、画像処理部３０による顔検出結果等に基づいて、被写体の主要部を認識する。さらに、メインＣＰＵ２６は、焦点調節部の一部としても機能し、ＡＦ処理部２８からＡＦ評価値を入力し、フォーカスレンズ１２のピントが合うようにフォーカス制御部１６に制御命令を出力する。さらに、メインＣＰＵ２６は、撮影部の一部としても機能し、第１位置及び第２位置で撮影を行わせ画像データの生成を行わせる。さらに、メインＣＰＵ２６は、第１位置及び第２位置において撮影を行う際に、同一の被写体に対してピントを合わせた後に、撮影を行うように制御する。
【００２９】
入力部３７は、撮影モード等の設定を行う操作スイッチや、ズームスイッチ、レリーズ釦等の各種操作部材を有し、操作状態はメインＣＰＵ２６に出力される。メインＣＰＵ２６は操作状態の情報に基づいてカメラの制御を行う。電源部３８は、バッテリや電池等からなり、メインＣＰＵ２６等を動作させるための電圧、モータ１７，１９等を駆動する電圧、ＬＣＤ３２を駆動する電圧等を供給する。
【００３０】
次に、本実施形態における動作について、図２に示すフローチャートを用いて説明する。このフローチャートは、不揮発性メモリ３３に記憶されているプログラムに従って、メインＣＰＵ２６が実行する。
【００３１】
図２のフローにおいて、撮影が開始されると、まず、１ｓｔレリーズ入力がなされたか否かを判定する（Ｓ１）。入力部３７の１つであるレリーズ釦は、撮影者が半押しすると１ｓｔレリーズスイッチがオンとなり、さらに押し込んで全押しすると２ｎｄレリーズスイッチがオンする。このステップでは、１ｓｔレリーズスイッチがオンとなったか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンでなかった場合には、１ｓｔレリーズスイッチがオンとなるのを待つ。
【００３２】
ステップＳ１における判定の結果、１ｓｔレリーズ入力されると、次に、レンズを駆動し、被写体の主要部にピントを合わせる（Ｓ３）。まず、画像処理部３０において検出された顔の部分や、またコントラスト値の高い部分等、被写体の主要部を認識する。続いて、認識された被写体の主要部について、ＡＦ処理部２８はＡＦ評価値を算出し、この算出されたＡＦ評価値はメインＣＰＵ２６に出力される。メインＣＰＵ２６は、フォーカス制御部１６に制御命令を出力し、ＡＦ評価値がピーク値となるように、フォーカスレンズ１２を光軸方向に移動させる。
【００３３】
ピント合わせを行うと、次に、被写体認識できた場合は、フラグを立てる（Ｓ５）。ここでは、ステップＳ３においてピント合わせを行うにあたって、顔検出できた場合、またはコントラスト値の高い部分を検出できた場合等、被写体の主要部を検出できた場合に被写体認識できたと判定し、被写体認識できた場合には、被写体認識フラグ＝１とし、フラグをセットする。
【００３４】
次に、ＡＥ動作を行う（Ｓ７）。ここでは、顔検出された部分等の被写体の主要部が適正露出となるように、絞り値やシャッタ速度等の露出制御値の算出を行う。ＡＥ動作を行うと、次に、２ｎｄレリーズが入力されたか否かを判定する（Ｓ９）。撮影者が構図を決めると、レリーズ釦を全押しすることから、ここでは２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオンでなかった場合には、２ｎｄレリーズスイッチがオンとなるのを待つ。
【００３５】
ステップＳ９における判定の結果、２ｎｄレリーズが入ると、次に、撮影動作を行い、画像を内部メモリに格納し、この画像を画像１とする（Ｓ１１）。ここでは、撮像センサ１５から画像データを取得し、画像処理回路３０等において画像処理を施した後、内蔵メモリ３４に画像データを格納する。
【００３６】
続いて、カメラを移動して２枚目の撮影を行うよう、補助となる表示を背面パネルに表示する（Ｓ１３）。３Ｄ画像を生成するためには、第１位置で撮影した画像データと、第１位置とは異なる第２位置で撮影した画像データが必要となる。そこで、本実施形態においては、３Ｄ撮影モードが設定されている場合には、１枚目の撮影を行うと、２枚目の撮影を行うための補助表示をＬＣＤ３２に行う。なお、撮影者がこの補助表示に従ってカメラ１１を移動させる間、ステップＳ３、Ｓ５において認識した被写体の主要部について公知の自動追尾を行う。自動追尾は、撮像センサ１５から所定時間間隔で画像データを取得し、画像データの差分から認識した被写体の追跡を行う。
【００３７】
ステップＳ１３において補助表示を行うと、次に、１ｓｔレリーズ入力がなされたか否かの判定を行う（Ｓ１５）。撮影者は補助表示に従ってカメラ１１を移動させ、第２位置に達すると、補助表示に２枚目の撮影の指示がなされる。このステップでは、２枚目の撮影指示に従って、撮影者がレリーズ釦を半押し、１ｓｔレリーズスイッチがオンとなったか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンでなかった場合には、１ｓｔレリーズスイッチがオンとなるのを待つ。
【００３８】
ステップＳ１５における判定の結果、１ｓｔレリーズ入力がなされた場合には、次に、被写体認識フラグが立っているか否かを判定する（Ｓ１７）。ステップＳ３、Ｓ５において、被写体認識ができた場合にはフラグを立てている。このステップでは、このフラグが立てられたか否かを判定する。
【００３９】
ステップＳ１７における判定の結果、被写体認識フラグが立っていた場合には、認識した被写体にＡＦ動作を行う（Ｓ２１）。ここでは、ステップＳ３においてピントを合わせた被写体の主要部に対して、ＡＦ動作を行う。前述したように、ステップＳ１３において、カメラ１１を移動する際に被写体の主要部に対して自動追尾を行っていることから、このステップでは自動追尾した被写体の主要部に対してピント合わせを行う。なお、被写体認識フラグが立っていなかった場合には、ＡＦ動作が行われないので、１枚目の撮影の際のピントに固定されたままである。被写体認識ができない場合に、ＡＦ動作を行うと、１枚目の撮影時にピントが合った被写体の主要部と異なる部分にピントが合い、立体感を損ない見栄えの悪い３Ｄ画像となるおそれがあるからである。
【００４０】
ステップＳ２１において認識した被写体にＡＦ動作を行うと、またはステップＳ１７における判定の結果、被写体認識フラグが立っていなかった場合には、次に、１枚目と同じ絞り値等の設定を行う（Ｓ２３）。ここでは、ＡＥ動作は行わず、１枚目の撮影と同じ設定、すなわち、同じ絞り値、同じシャッタ速度、同じＩＳＯ感度に設定する。２枚目の撮影時に適正露出となるように、再度、被写体輝度を測光し、絞り値およびシャッタ速度を算出する方法もあるが、３Ｄ画像を合成する際には２枚の撮影画像の明るさや被写界深度等は同じにすると、違和感が少ないことから、同一の設定としている。
【００４１】
１枚目と同じ絞り値等の設定を行うと、次に、２ｎｄレリーズが入力されたか否かを判定する（Ｓ２５）。２枚目の撮影位置に達すると、撮影者はレリーズ釦を全押しすることから、ここでは２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオンでなかった場合には、２ｎｄレリーズスイッチがオンとなるのを待つ。
【００４２】
ステップＳ２５における判定の結果、２ｎｄレリーズが入ると、次に、撮影動作を行い、画像を内部メモリに格納し、この画像を画像２とする（Ｓ２７）。ここでは、１枚目の撮影と同様、撮像センサ１５から画像データを取得し、画像処理回路３０等において画像処理を施した後、内蔵メモリ３４に画像データを格納する。
【００４３】
画像２を内部メモリに格納とすると、次に、画像１と画像２を用いて３Ｄ画像を作成し、外部メモリに保存する（Ｓ２９）。ここでは、内蔵メモリ３４から画像１および画像２を読み出し、画像処理回路３０において、３Ｄ画像を生成する。生成された３Ｄ画像は外部メモリとしての着脱メモリ３６に記録する。なお、ステップＳ１１およびＳ２７で取得された画像１および画像２も原画像として着脱メモリ３６に記録するようにしても構わない。３Ｄ画像を外部メモリに保存すると、撮影のフローを終了する。
【００４４】
このように、本発明の第１実施形態においては、３Ｄ撮影を行うにあたって、被写体認識を行うことができた場合には、第２位置において撮影する場合に、焦点調節動作によって被写体に対してピント合わせを行った後に、撮影を行うようにしている。このため、第２位置で撮影した画像に対してもピントが合っており、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くなることがない。
【００４５】
次に、本発明の第２実施形態について、図３を用いて説明する。第１実施形態においては、１枚目の撮影で被写体を認識していた場合には、２枚目の撮影を行う際に、常時、ＡＦ動作を行っていた。第２実施形態においては、第２位置において被写体深度を算出し、被写体が被写界深度内に有る場合には、再度、ＡＦ動作を行わずに２枚目の撮影を行うようにしている。
【００４６】
前述したように、被写体までの距離にズレがある場合に、ピントを固定して撮影した２枚の撮影画像を用いて３Ｄ画像を合成すると、被写体のピント位置が合わず、立体感が損なわれてしまう。この現象は、撮影時に被写界深度が浅い場合に顕著に生ずる。そこで、第１実施形態においては、２枚の撮影の際に、再度、ＡＦ動作を行っていた。しかし、被写界深度が十分深い場合には、ピントを固定したままでも十分被写体にピントが合った状態が保たれ、立体感が損なわれることがない。
【００４７】
そこで、本実施形態においては、１枚目撮影の際の被写体までの距離と、２枚目撮影の際の被写体までの距離の差、すなわち被写体までの距離のばらつきが、撮影時の被写界深度よりも小さければ、２枚目の撮影でのピントは固定とし、逆に、２枚目撮影の際の被写体までの距離のばらつきが、被写界深度よりも大きければ、第１実施形態の場合と同様、被写体にピントを追従させるように切り替えを行う。
【００４８】
本実施形態における構成は、図１に示したブロック図と同様であることから、詳しい説明は省略する。ただし、本実施形態におけるメインＣＰＵ２６は、被写界深度を算出する機能を有する。ここで、被写界深度ｄの算出は、例えば、下記式（１）により行う。
ｄ＝（Ｄｈ×Ｄ）／（Ｄｈ−Ｄ）−（Ｄｈ×Ｄ）／（Ｄｈ＋Ｄ）
＝｛［（ｆ２／δＦ）Ｄ］／（ｆ２／δＦ）−Ｄ｝−｛［（ｆ２／δＦ）Ｄ］／（ｆ２／δＦ）＋Ｄ｝・・・（１）
ただし、
δ：許容錯乱円の直径
ｆ：レンズの焦点距離
Ｆ：レンズの絞り値
Ｄｈ：過焦点距離
Ｄ：被写体距離
【００４９】
次に、本実施形態における動作を、図３に示すフローチャートを用いて説明する。図３に示したフローチャートは、図２に示した第１実施形態に係わるフローチャートのステップＳ１７をステップＳ１８およびＳ２０に置き換えた点のみ相違する。したがって、この相違点を中心に説明する。なお、このフローチャートも、不揮発性メモリ３３に記憶されているプログラムに従って、メインＣＰＵ２６が実行する。
【００５０】
図３のフローに入り、第１実施形態と同様に、ステップＳ１〜Ｓ１３を実行すると、次に、１ｓｔレリーズ入力がなされたか否かの判定を行う（Ｓ１５）。撮影者は補助表示に従ってカメラ１１を移動させ、第２位置に達すると２枚目の撮影の指示がなされることから、レリーズ釦の半押しを行う。判定の結果、１ｓｔレリーズスイッチがオンでなかった場合には、１ｓｔレリーズスイッチがオンとなるのを待つ。
【００５１】
ステップＳ１５における判定の結果、１ｓｔレリーズ入力がなされた場合には、次に、被写界深度を算出する（Ｓ１８）。ここでは、前述の式（１）に従って被写界深度を算出する。
【００５２】
ステップＳ１８において被写界深度を算出すると、次に、被写体までの距離のばらつきよりが被写界深度よりも大きいか否かを判定する（Ｓ２０）。ここでは被写体までの距離のばらつきと、ステップＳ１８において算出した被写界深度を比較することにより判定する。被写体までの距離のばらつきは、加速度センサ、６軸センサ、ジャイロ等によって、第１位置から第２位置までのカメラ１１の動きから算出する。すなわち、図４（ｂ）（ｃ）に示すカメラ１１のレンズの向きや、移動方向や移動量から、幾何学的に被写体までの距離のずれを算出すればよい。
【００５３】
ステップＳ２０における判定の結果、被写体までの距離のばらつきが被写界深度よりも大きい場合には、認識した被写体にＡＦ動作を行う（Ｓ２１）。１枚目と２枚目の撮影時において被写体距離の差が被写界深度よりも大きい場合には、１枚目の撮影のピントを固定しておくと２枚目の撮影画像のピントがずれてしまうので、この場合には、ＡＦ動作を行って２枚目の撮影時にもピント合わせを行う。一方、ステップＳ２０における判定の結果、被写体までの距離のばらつきが被写界深度よりも小さい場合には、ＡＦ動作を行わず、１枚目の撮影時のピントを固定したままとする。
【００５４】
ステップＳ２１においてＡＦ動作を行うと、またはステップＳ２０における判定の結果、被写体までの距離のばらつきが被写界深度よりも小さい場合には、次に、１枚目と同じ絞り値等の設定を行う（Ｓ２３）。この後、ステップＳ２５以下において２ｎｄレリーズが入った場合には、２枚目の撮影を行い、３Ｄ画像を合成し外部メモリに保存する。これらの一連の動作を実行すると撮影動作を終了する。
【００５５】
このように、本発明の第２実施形態においては、被写界深度が所定深度内のときは、第１位置でのみ焦点調節を行った後に撮影を行い、第２位置では焦点調節を行うことなく撮影を行うようにしている。このため、シフト式の３Ｄ撮影を迅速に行うことができる。すなわち、本実施形態においては、２枚目の撮影時に被写体までの距離のばらつきが被写界深度内にある場合にはＡＦ動作を行うことないために迅速な３Ｄ撮影が可能となる。
【００５６】
なお、本発明の第２実施形態においては、被写界深度と被写体までの距離のばらつきを比較していたが（Ｓ２０参照）、被写体案での距離のばらつき以外にも、例えば、所定の基準値と比較するようにしてもよい。基準値としては、一般的なシフト時（第１位置から第２位置へのシフト）の被写体までの距離のズレ量にマージン等を考慮して、適宜、設計値として決めればよい。
【００５７】
以上説明したように、本発明の各実施形態においては、第１位置において被写体を撮影し、カメラを移動させた後、第２位置において被写体を撮影する際に、ピント合わせを行うようにしている。このため、第１及び第２位置で撮影した画像を合成した３Ｄ画像の見栄えが悪くならないにすることができる。
【００５８】
なお、本発明の各実施形態においては、第１位置において被写体を認識した後、自動追尾し、第２位置において、この自動追尾した被写体に対して再度ＡＦ動作を実行していた。しかし、これに限らず、例えば、ステップＳ３において認識した被写体の主要部を記憶しておき、第２の位置において取得した画像から記憶した被写体の主要部を抽出し、この被写体の主要部に対してＡＦ動作を実行するようにしてもよい。
【００５９】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【００６０】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６１】
１１・・・カメラ、１２・・・フォーカスレンズ、１３・・・絞り機構、１４・・・シャッタ機構、１５・・・撮像センサ、１６・・・フォーカス制御部、１７・・・モータ、１８・・・絞り制御部、１９・・・モータ、２０・・・シャッタ制御部、２１・・・制御回路、２３・・・ＴＧ回路、２４・・・信号処理回路、２５・・・データバス、２６・・・メインＣＰＵ、２７・・・ＡＥ処理部、２８・・・ＡＦ処理部、３０・・・画像処理回路、３１・・・ＬＣＤドライバ、３２・・・ＬＣＤ、３３・・・不揮発性メモリ、３４・・・内蔵メモリ、３５・・・圧縮伸張部、３６・・・着脱メモリ、３７・・・入力部、３８・・・電源部
【特許請求の範囲】
【請求項１】
撮影被写体を認識する画像認識部と、
上記画像認識部により認識した被写体にピントを合わせるための焦点調節部と、
第１位置及び該第１位置とは異なる第２位置で撮影を行い、画像データを生成する撮影部と、
上記第１位置及び上記第２位置で撮影した画像データを用いて、３Ｄ画像データを生成する画像処理部と、
を備え、
上記第１位置及び第２位置における撮影において、上記画像認識部により認識した同一被写体に対して上記焦点調節部によりピントを合わせた後に、上記撮影部により撮影を行うことを特徴とする３Ｄ撮影装置。
【請求項２】
焦点深度を演算する焦点深度演算部を更に備え、
上記撮影部は、上記焦点深度が所定深度内のときは、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行うことを特徴とする請求項１に記載の３Ｄ撮影装置。
【請求項３】
上記撮影部は、上記画像認識部によって被写体の認識を行うことができなかった場合には、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行うことを特徴とする請求項１に記載の３Ｄ撮影装置。
【請求項４】
画像認識部により被写体を認識するステップと、
焦点調節部により、第１位置において被写体にピントを合わせるステップと、
撮影部により、上記第１位置において被写体を撮影して第１画像データを生成するステップと、
上記焦点調節部により、上記第１位置とは異なる第２位置において上記被写体にピントを合わせるステップと、
上記撮影部により、上記第２位置において被写体を撮影して第２画像データを生成するステップと、
上記第１画像データ及び上記第２画像データを用いて３Ｄ画像データを生成するステップと、
を備えたことを特徴とする３Ｄ撮影方法。
【請求項１】
撮影被写体を認識する画像認識部と、
上記画像認識部により認識した被写体にピントを合わせるための焦点調節部と、
第１位置及び該第１位置とは異なる第２位置で撮影を行い、画像データを生成する撮影部と、
上記第１位置及び上記第２位置で撮影した画像データを用いて、３Ｄ画像データを生成する画像処理部と、
を備え、
上記第１位置及び第２位置における撮影において、上記画像認識部により認識した同一被写体に対して上記焦点調節部によりピントを合わせた後に、上記撮影部により撮影を行うことを特徴とする３Ｄ撮影装置。
【請求項２】
焦点深度を演算する焦点深度演算部を更に備え、
上記撮影部は、上記焦点深度が所定深度内のときは、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行うことを特徴とする請求項１に記載の３Ｄ撮影装置。
【請求項３】
上記撮影部は、上記画像認識部によって被写体の認識を行うことができなかった場合には、上記第１位置でのみ焦点調節を行った後に撮影を行い、上記第２位置では焦点調節を行うことなく撮影を行うことを特徴とする請求項１に記載の３Ｄ撮影装置。
【請求項４】
画像認識部により被写体を認識するステップと、
焦点調節部により、第１位置において被写体にピントを合わせるステップと、
撮影部により、上記第１位置において被写体を撮影して第１画像データを生成するステップと、
上記焦点調節部により、上記第１位置とは異なる第２位置において上記被写体にピントを合わせるステップと、
上記撮影部により、上記第２位置において被写体を撮影して第２画像データを生成するステップと、
上記第１画像データ及び上記第２画像データを用いて３Ｄ画像データを生成するステップと、
を備えたことを特徴とする３Ｄ撮影方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１４２８５６（Ｐ２０１２−１４２８５６Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−７３９（Ｐ２０１１−７３９）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]