説明

デジタル撮影装置及び、3D撮影方法

【課題】繰り返し撮影することなく、所望のステレオ画像を撮影できるようにする。
【解決手段】デジタルカメラは、ステレオ画像を撮影する際、時間的に連続して、異なる視点における複数枚の静止画を撮影する。その際、デジタルカメラは、少なくとも2回目以降に撮影する静止画の予測画像を液晶モニタに表示する。ここで、予測画像とは、時間的に連続して撮影する静止画のうち、1枚目の静止画を基準に生成される静止画である。デジタルカメラは、予測画像を液晶モニタに表示することにより、使用者による撮影の補助をする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル撮影装置及び、3D撮影方法に関し、特に1台の撮影装置により時差撮影によりステレオ画像を生成するデジタル撮影装置及び、3D撮影方法に関する。
【背景技術】
【0002】
画像表示技術の向上により、大画面かつ高解像度な高品位ステレオ画像を視聴する環境が整いつつある。同時にステレオ画像のニーズも高まりつつある。そうした中、さまざまなステレオ画像撮影手法が提案されている。
【0003】
主に、ステレオ画像撮影手法には、2眼式撮影手法と、1眼式撮影手法と、がある。
【0004】
2眼式撮影手法では、カメラレンズを2つ搭載するカメラで互いに異なる視点の画像データを撮影することでステレオ画像が撮影可能である。しかしながら、装置が大掛かりとなり、一般ユーザが利用するには不向きな側面もある。
【0005】
1眼式撮影手法は、従来どおりカメラレンズを1つ備えるカメラで互いに異なる視点の画像データを撮影する方式である。この方式では、異なる視点の画像データを撮影するために、カメラ本体を略水平方向に移動させることが必要となる。
【0006】
1眼式撮影手法として、例えば特許文献1に記載の撮影方法がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2000−228778号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に開示されている撮影方法は、カメラを水平移動させるなかで連続撮影を行い、最も適切な2枚をステレオ画像として抽出する方式である。そのため、ステレオ画像を構成する画像データを使用者が選択する際の自由度が低いばかりか、少なくとも適切な2枚が撮影されていなければならない。また、使用者のカメラの動かすスピード若しくは、動かす方向が原因で、ぼけた画像データや、垂直方向にずれの大きい画像データが撮影されることがある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明は被写体を撮像し所定規格を有する記録画像データを生成するデジタル撮像装置であって、被写体を撮像し被写体像を形成する光学系と、前記光学系で形成される被写体像を基に、画像データを生成する撮像部と、前記画像データを画像処理することで記録画像データを生成する画像処理部と、前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、前記記録画像データを視聴する際の視聴環境条件と、被写体を撮像する際の画像サイズを格納するメモリと、第1視点において撮像することで第1視点画像を取得し、その後、第2視点において撮像することで第2視点画像を取得する3D撮像モードを備える制御部と、を備え、前記制御部は、前記光学系を制御し、前記第1視点における第1被写体像を形成させ、前記撮像部を制御し、前記第1被写体像を基に、第1画像データを生成させ、前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、前記表示部に、リアルタイムに撮像されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させるよう制御するデジタル撮像装置である。
【発明の効果】
【0010】
以上のように、本発明によれば、第1視点画像を撮影した後、第2視点画像の予測画像を生成することが出来る。さらに、予測画像を表示部に表示することで、ユーザにどの程度カメラを移動させれば、適切なステレオ画像が得られるのかを提示することが出来る。これにより、ユーザは繰り返し撮影することなく、所望のステレオ画像を撮影することが可能となる効果を奏する。
【図面の簡単な説明】
【0011】
【図1】デジタルカメラ100の構成を示すブロック図
【図2】3D撮影モードにおける予測画像の作成動作を示すフローチャート
【図3】デジタルカメラ100を用いて撮影する際の撮影環境を示す図
【図4】デジタルカメラ100で撮影した第1視点画像と、第2視点画像とを視聴する際の視聴環境を示す図
【図5】デジタルカメラ100の予測画像を生成する際の動作を示すフローチャート
【図6】第1視点画像全体をシフトして予測画像を生成する動作を説明する図
【図7】第1視点画像の部分領域をシフトして予測画像を生成する動作を説明する図
【図8】第2視点画像を撮影する際の動作フローチャート
【発明を実施するための形態】
【0012】
本実施の形態におけるデジタル撮影装置は、被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置であって、被写体を撮影し被写体像を形成する光学系と、前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、前記画像データを画像処理することで記録画像データを生成する画像処理部と、前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、前記制御部は、前記光学系を制御し、前記第1視点における第1被写体像を形成させ、前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させるよう制御する特徴を備える。
【0013】
さらに、前記制御部は、前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、算出した視差量分、前記第1画像データ若しくは前記第1視点画像全体をシフトして予測画像を生成する構成にしても構わない。
【0014】
さらに、前記制御部は、前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、算出した視差量分、前記第1画像データ若しくは前記第1視点画像のうち一部の領域をシフトして予測画像を生成する構成にしても構わない。
【0015】
さらに、前記一部の領域は、前記光学系においてフォーカスされたフォーカス位置を少なくとも含む領域であることを特徴とする構成にしても構わない。
【0016】
また、前記制御部は、前記視差量分、前記第1画像データ若しくは前記第1視点画像をシフトした結果、データのない領域に対して、任意のデータを設定することを特徴とする構成にしても構わない。
【0017】
また、前記制御部はさらにリアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、重なったと判定した時点での画像データを前記画像処理部で処理させ第2視点画像を生成させ、若しくは、当該記録画像データを第2視点画像とするよう制御する構成にしても構わない。
【0018】
前記制御部はさらに、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、前記表示部にアラートを表示するよう制御する構成にしても構わない。
【0019】
また、被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置における3D撮影方法であって、前記デジタル撮影装置は、被写体を撮影し被写体像を形成する光学系と、前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、前記画像データを画像処理することで記録画像データを生成する画像処理部と、前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、前記3D撮影方法は、前記制御部を介して前記光学系を制御し、前記第1視点における第1被写体像を形成させ、前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させる3D撮影方法であっても構わない。
【0020】
〔1.実施の形態1〕
以下、本発明であるデジタル撮影装置をデジタルカメラに適用した場合の実施の形態1について図面を用いて説明する。
【0021】
〔1−1.概要〕
本実施の形態にかかるデジタルカメラ100は、3D再生を行う際のステレオ画像信号を撮影することができる。デジタルカメラ100は、ステレオ画像を撮影する際、時間的に連続して、異なる視点における複数枚の静止画を撮影する。その際、デジタルカメラ100は、少なくとも2回目以降に撮影する静止画の予測画像を液晶モニタ270に表示する。ここで、予測画像とは、時間的に連続して撮影する静止画のうち、1枚目の静止画を基準に生成される静止画である。デジタルカメラ100は、予測画像を液晶モニタ270に表示することにより、使用者による撮影の補助をする。
【0022】
本実施の形態にかかるデジタルカメラ100は、上記予測画像を必要なときにだけ生成する。
【0023】
以下、説明の便宜上、ステレオ画像を構成する画像のうち、第1視点で撮影された画像を第1視点画像と称す。さらに、上記第1視点とは異なる第2視点で撮影された画像を第2視点画像と称す。
【0024】
[1−2.構成]
[1−2−1.電気的構成〕
本実施の形態にかかるデジタルカメラ100の電気的構成について、図1を用いて説明する。図1は、デジタルカメラ100の構成を示すブロック図である。デジタルカメラ100は、光学系110、ズームモータ120、OISアクチュエータ130、フォーカスモータ140、CCDイメージセンサ150、画像処理部160、メモリ200、コントローラ210、ジャイロセンサ220、カードスロット230、メモリカード240、操作部材250、ズームレバー260、液晶モニタ270、内部メモリ280、撮影モード設定ボタン290を備える構成となる。
【0025】
光学系110は、ズームレンズ111、OIS112、フォーカスレンズ113を含む。
【0026】
ズームレンズ111は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。ズームレンズ111は、ズームモータ120によって制御される。
【0027】
OIS112は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。OIS112は、デジタルカメラ100のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、OIS112内において最大Lだけ中心から移動することが出来る。OIS112は、OISアクチュエータ130によって制御される。
【0028】
フォーカスレンズ113は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ113は、フォーカスモータ140によって制御される。
【0029】
ズームモータ120は、ズームレンズ111を駆動制御する。ズームモータ120は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ120は、カム機構やボールネジなどの機構を介してズームレンズ111を駆動するようにしてもよい。
【0030】
OISアクチュエータ130は、OIS112内の補正レンズを光軸と垂直な面内で駆動制御する。OISアクチュエータ130は、平面コイルや超音波モータなどで実現できる。
【0031】
フォーカスモータ140は、フォーカスレンズ113を駆動制御する。フォーカスモータ140は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ140は、カム機構やボールネジなどの機構を介してフォーカスレンズ113を駆動するようにしてもよい。
【0032】
CCDイメージセンサ150は、光学系110で形成された被写体像を撮影して、画像データを生成する。CCDイメージセンサ150は、露光、転送、電子シャッタなどの各種動作を行う。
【0033】
画像処理部160は、CCDイメージセンサ150で生成された画像データに対して各種の処理を施す。画像処理部160は、CCDイメージセンサ150で生成された画像データに対して処理を施し、液晶モニタ270に表示するための画像データ(以下、レビュー画像と称す)を生成したり、メモリカード240に再格納するための画像データを生成したりする。例えば、画像処理部160は、CCDイメージセンサ150で生成された画像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部160は、CCDイメージセンサ150で生成された画像データに対して、JPEG規格に準拠した圧縮形式等により画像データを圧縮する。画像処理部160は、DSPやマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ270の画面解像度に設定しても構わないし、JPEG規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。
【0034】
メモリ200は、画像処理部160及びコントローラ210のワークメモリとして機能する。メモリ200は、例えば、画像処理部160で処理された画像データ若しくは、画像処理部160で処理される前のCCDイメージセンサ150から入力される画像データを一時的に蓄積する。また、メモリ200は、撮影時における光学系110及び、CCDイメージセンサ150の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ISO感度、シャッタースピード、EV値、F値等を示す。メモリ200は、例えば、DRAM、強誘電体メモリなどで実現できる。
【0035】
コントローラ210は、全体を制御する制御手段である。コントローラ210は、半導体素子などで実現可能である。コントローラ210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ210は、マイコンなどで実現できる。
【0036】
ジャイロセンサ220は、圧電素子等の振動材等で構成される。ジャイロセンサ220は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ220から角速度情報を得、この揺れを相殺する方向にOIS内の補正レンズを駆動させることにより、使用者によりデジタルカメラ100に与えられる手振れは補正される。なお、ジャイロセンサ220は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ220がロール角の角速度情報を計測可能な場合、デジタルカメラ100の略水平方向に移動した際の回転について考慮することが可能となる。
【0037】
カードスロット230は、メモリカード240を着脱可能である。カードスロット230は、機械的及び電気的にメモリカード240と接続可能である。
【0038】
メモリカード240は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【0039】
操作部材250は、使用者から画像の撮影指示を受け付ける部材である。操作部材250は、使用者から少なくとも撮影した静止画を所定の表示デバイス、例えば液晶テレビ、プラズマテレビ等で視聴する際の視聴距離、ディスプレイサイズ、被写体の目標視差量等の視聴環境条件と、CCDイメージセンサ150で撮影する画像データの画像サイズと、を受け付ける。なお、視聴距離を表示デバイスのディスプレイサイズから設定しても構わない。ディスプレイサイズを基に視聴距離を設定する場合、例えば、ディスプレイサイズのうち高さの約3倍の距離を視聴距離として設定することになる。ディスプレイサイズから視聴距離を設定する方法に関しては、上記の方法に限定されるものではなく、一般的な他の方法を用いても構わない。
【0040】
また、操作部材250は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ210を介してAF制御及び、AE制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。
【0041】
ズームレバー260は、使用者からズーム倍率の変更指示を受け付ける部材である。
【0042】
液晶モニタ270は、CCDイメージセンサ150で生成した画像データが示す画像や、メモリカード240から読み出した画像データが示す画像を表示可能である。また、液晶モニタ270は、デジタルカメラ100の各種の設定情報を表示可能である。例えば、液晶モニタ270は、撮影時における撮影条件である、EV値、F値、シャッタースピード、ISO感度等を表示可能である。
【0043】
内部メモリ280は、フラッシュメモリや強誘電低メモリなどで構成される。内部メモリ280は、操作部材250で受け付けた視聴環境条件及び、画像サイズを格納する。また、内部メモリ280は、デジタルカメラ100全体を制御するための制御プログラム等を格納する。
【0044】
撮影モード設定ボタン290は、デジタルカメラ100で撮影する際の撮影モードを設定するボタンである。「撮影モード」とは、ユーザが想定する撮影シーンを示すものであり、例えば、(1)人物モード、(2)子供モード、(3)ペットモード、(4)マクロモード、(5)風景モード、(6)3D撮影モードなどがある。デジタルカメラ100は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、デジタルカメラ100が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。
【0045】
[1−2−2.内部メモリ280に格納される視聴環境条件及び、画像サイズ]
以下、内部メモリ280に格納される視聴距離、ディスプレイサイズ、目標視差量である視聴環境条件及び、画像サイズについて図面を参照しながら説明する。
【0046】
ディスプレイサイズは、デジタルカメラ100で撮影したJPEG画像データを表示する表示デバイスの垂直及び、水平方向のサイズを示す。以下、説明の便宜上、ディスプレイサイズのうち、垂直方向のディスプレイサイズをh1、水平方向のディスプレイサイズをwとする。
【0047】
視聴距離Lは、ステレオ画像を表示する表示デバイスと、視聴者と、の距離を示す。視聴距離Lは、使用者が撮影する際に設定しても構わない。また、視聴距離Lは、デジタルカメラ100の出荷時にメーカー側で、標準値を決められる値であっても構わない。また、視聴距離Lが、ディスプレイサイズから設定される場合、h1の約3倍つまり、3*h1と設定される構成にしても構わない。
【0048】
目標視差量dは、使用者が所望するデジタルカメラ100で撮影する被写体における視差量を示す。目標視差量dは、使用者が撮影する際に設定する構成にしても構わない。また、目標視差量dは、所定の基準に応じてデジタルカメラ100で自動的に設定される値であっても構わない。例えば、使用者が安全性を重視する場合、目標視差量dは、撮影したステレオ画像を視聴した際に、視聴者が当該ステレオ画像を立体として認識可能な視差量若しくは、当該ステレオ画像を視聴した際に視聴者の身体の安全が保障される視差量となる。
【0049】
なお、撮影環境条件としては少なくともディスプレイサイズ及び、目標視差量dを備える構成となる。
【0050】
画像サイズは、画像処理部160においてJPEG規格に準拠した圧縮形式等で圧縮された画像データのサイズを示す。画像サイズは、例えば、1920×1080画素等、画像データの垂直及び、水平方向の画素数で標記される情報であっても構わないし、5M、1M等、画像データが有する総画素数で標記される情報であっても構わない。本実施の形態における画像サイズは、少なくとも水平方向の画像サイズwに関する情報を有するものとする。
【0051】
[1−3.3D撮影モードにおける予測画像の表示動作]
次に、本実施の形態におけるデジタルカメラ100の3D撮影モードにおける予測画像の表示動作について、図面を参照しながら説明する。
【0052】
図2は、3D撮影モードにおける予測画像の作成動作を示すフローである。
【0053】
(S101)使用者によって撮影モード設定ボタン290が3D撮影モードに設定されると、デジタルカメラ100は3D撮影モードに移行する。
【0054】
(S102)3D撮影モードに設定されると、コントローラ210は、操作部材250におけるレリーズボタンが全押しされるまで待機する。
【0055】
(S103)レリーズボタンが全押しされると、コントローラ210は、光学系110及び、CCDイメージセンサ150を介して撮影動作を行い、画像データを形成する。
【0056】
(S104)画像データが形成されると、画像処理部160は、形成された画像データに対して、圧縮処理などの画像処理を行い、JPEG画像データ(以下、第1視点画像と称す)を生成する。
【0057】
(S105)第1視点画像が生成されると、コントローラ210は、生成した第1視点画像をメモリカード240に格納する。
【0058】
(S106)一方、第1視点画像が生成されると、コントローラ210は、生成した第1視点画像から予測画像を生成する。
【0059】
(S107)予測画像が生成されると、コントローラ210は、液晶モニタ270に生成した予測画像を表示する。
【0060】
なお、コントローラ210は予測画像をJPEG画像データである第1視点画像から生成する構成に関して説明したが、メモリ200に格納されるCCDイメージセンサ150で生成される画像データを用いる構成にしても構わない。その場合、S106及び、S107の動作フローは、S103の後に行う構成となる。
【0061】
[1−4.予測画像の生成動作]
次に、本実施の形態におけるデジタルカメラ100の予測画像の生成動作について図面を参照しながら説明する。
【0062】
図3は、デジタルカメラ100を用いて撮影する際の撮影環境を示す図である。
【0063】
被写体距離lは、デジタルカメラ100から撮影対象である被写体までの距離を示す。被写体距離lは、撮影時において取得可能なパラメータである。水平方向の画像サイズw及び、視聴距離Lは、予め内部メモリ280に格納される情報である。また、デジタルカメラの撮影位置から仮想スクリーンまでの距離を視聴距離Lとして設定する。視差量dは、撮影時における被写体の視差量を示す。カメラ間距離Sは、視聴距離L、被写体距離l、視差量dを満たすために必要な第1視点から第2視点までの距離を示す。
【0064】
図4は、デジタルカメラ100で撮影した第1視点画像と、第2視点画像とを視聴する際の視聴環境を示す図である。
【0065】
視聴距離L、目標視差量d、水平方向のディスプレイサイズwは、予め内部メモリ280に格納される情報である。
【0066】
次に、図面を参照しながらデジタルカメラ100の予測画像の生成動作について説明を行う。
【0067】
図5は、デジタルカメラ100の予測画像を生成する際の動作を示すフローである。
【0068】
(S201)使用者によって撮影モード設定ボタン290が3D撮影モードに設定され、第1視点画像が生成されると、予測画像の生成動作に移行する。
【0069】
(S202)予測画像の生成動作に移行すると、コントローラ210は、水平方向のディスプレイサイズwと、目標視差量dと、水平方向の画像サイズwと、を基に、視差量dを算出する。具体的に、コントローラ210は、次式を基に視差量dを算出する。
【0070】
【数1】

例えば、水平方向のディスプレイサイズwが1080画素、目標視差量dが12画素、水平方向の画像サイズwが640画素である場合、コントローラ210は、視差量dを8画素と算出する。
【0071】
(S203)視差量dを算出すると、コントローラ210は、第1視点画像と、視差量dを基に、予測画像の生成を行う。
【0072】
なお、コントローラ210は上記のように予測画像を生成する際、CCDイメージセンサ150において生成される画像データを用いる構成にしても構わない。
【0073】
[1−5.予測画像]
次に、生成した視差量dを基にコントローラ210が生成する予測画像及び、当該予測画像の表示動作について説明する。
【0074】
<第1視点画像全体をシフトして生成する予測画像>
図6は第1視点画像全体をシフトして予測画像を生成する動作を説明する図である。
【0075】
コントローラ210は、視差量dが生成された場合、予め得られる第1視点画像全体を視差量dだけシフトすることで予測画像を生成する構成となる。この場合、第1視点を視差量dだけシフトした結果、データがない領域601に対して、コントローラ210は、任意の値を設定する構成となる。例えば、コントローラ210は、データがない領域601に対して黒データ若しくは、グレーデータ、白データ等を設定する構成としても構わない。なお、コントローラ210は予測画像を生成する際、第1視点画像を略水平方向にシフトする構成となる。
【0076】
<第1視点画像の一部をシフトして生成する予測画像>
図7は第1視点画像の部分領域をシフトして予測画像を生成する動作を説明する図である。
【0077】
コントローラ210は、視差量dが生成された場合、予め得られる第1視点画像の部分領域を視差量dだけシフトすることで予測画像を生成する構成となる。部分領域は少なくとも被写体全体を含む領域であっても構わないし、被写体の一部を含む領域であっても構わない。例えば、図7に示すオブジェクト701が被写体の場合、コントローラ210は、当該オブジェクト701を略水平方向にシフトし、予測画像702を生成する構成となる。なお、コントローラ210は、第1視点画像の部分領域以外の領域703に関しては、黒データ若しくは、グレーデータ、白データ等を設定する構成としても構わない。なお、領域703は上記の構成に限定されるものではなく、例えばデジタルカメラ100で撮影する際にフォーカスした位置を中心に矩形状の領域を領域703と設定する構成にしても構わない。
【0078】
なお、予測画像を生成する方法は上記方法に限定されるものではなく、第1視点画像の全体若しくは、一部をシフトした画像データが得られる方法であれば、どのような方法を用いても構わない。
【0079】
<予測画像の表示動作>
次に、コントローラ210による液晶モニタ270に予測画像を表示する際の表示動作に関して説明する。
【0080】
コントローラ210は、第2視点画像を撮影する際、当該第2視点画像のレビュー画像と、予測画像と、を同時に液晶モニタ270に表示するよう制御する。予測画像をレビュー画像と同時に表示する際、コントローラ210は、例えばレビュー画像と予測画像とをアルファブレンディングして表示する。なお、レビュー画像と予測画像を液晶モニタ270に表示する際、コントローラ210は、予測画像に対しエッジ強調処理、輪郭抽出した画像への変換又は、ネガポジ反転処理を行なった後、表示する構成にしても構わない。このように処理することで、レビュー画像と予測画像とを同時に表示する際、予測画像の視認性を向上できる効果を奏する。
【0081】
また、レビュー画像を液晶モニタ270に表示する際、レビュー画像の解像度が液晶モニタ270の画面解像度よりも大きい若しくは、小さい場合、コントローラ210は、当該レビュー画像の解像度を液晶モニタ270の画面解像度に設定する構成となる。
【0082】
また、レビュー画像と、予測画像とを同時に表示する際、コントローラ210は、視差量dを液晶モニタ270に表示する構成にしても構わない。また、コントローラ210は、画素単位で算出されている視差量dを国際単位系(SI)における長さの単位に換算して表示する構成にしても構わない。コントローラ210は、デジタルカメラ100の位置、被写体の位置、仮想スクリーン位置、視差量d、カメラ間距離Sから得られる幾何学的特徴を基に、画素を長さの単位に換算する。
【0083】
[1−6.第2視点画像の撮影動作]
次に、デジタルカメラ100における第2視点画像を撮影する際の動作について図面を参照しながら説明する。
【0084】
図8は、第2視点画像を撮影する際の動作フローを示す。以下、説明の便宜上、レビュー画像と予測画像の解像度は同一のものとする。
【0085】
(S801)使用者によって3D撮影モードが設定され、第1視点画像が撮影されると、デジタルカメラ100は、第2視点画像を撮影するモードに移行する。
【0086】
(S802)第2視点画像を撮影するモードに移行すると、デジタルカメラ100は、画像処理部160で生成されるレビュー画像を取得する。レビュー画像は、デジタルカメラ100の位置に応じて変換する画像データである。
【0087】
(S803)レビュー画像を取得すると、デジタルカメラ100は、レビュー画像と、予測画像とを基に画素マッチングを行い、レビュー画像と予測画像との視差量を取得する。画素マッチングは、画面間差分の絶対値総和により実現することが出来る。ここで、レビュー画像の(x、y)における画素データをF(x、y)とし、予測画像の(x、y)における画素データをP(x、y)とする。さらに、x、yのオフセット値をそれぞれoffset_x、offset_yとする。上記のように設定した場合、コントローラ210は、offset_x、offset_yを所定の範囲で変更した際、次式で得られる値が最小となるoffset_x、offset_yの値を視差量Vとして取得する。
【0088】
【数2】

なお、SAD(x、y)は、xと、yとの絶対値差分を示す演算記号である。
【0089】
(S804)画素マッチングを行った後、デジタルカメラ100は、視差量Vを基に、レビュー画像と、予測画像とが重なったか否かを判定する。レビュー画像と、予測画像との重なりを判定する方法は、視差量Vが所定値以下か否かを判定することで実現できる。例えば、視差量Vが略零値であれば、レビュー画像と予測画像とが重なっていると判定できる。視差量Vの値はどのような値を設定してもよく、視差量dの10%等、視差量dを基準に設定される構成でも構わない。また、レビュー画像と予測画像とが重なっている精度を使用者が多段的に変更できる構成にしても構わない。例えば、使用者は重なり大、重なり中、重なり小から変更することが出来る。この場合、視差量Vが所定値以下と判定する基準はそれぞれ異なる値に設定される。
【0090】
(S805)レビュー画像と、予測画像とが重なったと判定すると、デジタルカメラ100は、CCDイメージセンサ150を介して撮影動作を行い、画像データを自動的に形成する。さらに、デジタルカメラ100は、画像処理部160を介して、形成された画像データに対して、圧縮処理などの画像処理を行い、JPEG画像データ(以下、第2視点画像と称す)を生成する。
【0091】
(S806)第2視点画像が生成されると、コントローラ210は、生成した第2視点画像をメモリカード240に格納する。
【0092】
なお、デジタルカメラ100は、レビュー画像と、予測画像とが重なったと判定した際、さらに使用者にレリーズボタンが押されると第2視点画像を生成する構成にしても構わない。また、デジタルカメラ100は、レビュー画像と、予測画像とが重なったと判定した際、液晶モニタ270に、アラートを表示する構成にしても構わない。この場合、使用者が直感的にレビュー画像と、予測画像とが重なったと認識することが可能となる効果を奏する。
【0093】
なお、デジタルカメラ100は、レビュー画像と予測画像とを同時に表示している際、視差量Vの大きさに応じて音を出力する構成にしても構わない。このように構成することで、使用者はどのぐらいレビュー画像と予測画像とが近づいているかを直感的に認識することが可能となる効果を奏する。
【産業上の利用可能性】
【0094】
本発明は、デジタルスチルカメラやデジタルカメラ等のデジタル画像を撮影する撮影装置に適用可能である。
【符号の説明】
【0095】
100 デジタルカメラ
110 光学系
111 ズームレンズ
112 OIS
113 フォーカスレンズ
120 ズームモータ
130 OISアクチュエータ
140 フォーカスモータ
150 CCD
160 画像処理部
200 メモリ
210 コントローラ
220 ジャイロセンサ
230 カードスロット
240 メモリカード
250 操作部材
260 ズームレバー
270 液晶モニタ
280 内部メモリ
290 撮影モード設定ボタン
601 データがない領域
701 オブジェクト
702 予測画像
703 領域

【特許請求の範囲】
【請求項1】
被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置において、
被写体を撮影し被写体像を形成する光学系と、
前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、
前記画像データを画像処理することで記録画像データを生成する画像処理部と、
前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、
前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、
第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、
前記制御部は、
前記光学系を制御し、前記第1視点における第1被写体像を形成させ、
前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、
前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、
前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、
前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させるよう制御する、
デジタル撮影装置。
【請求項2】
前記制御部は、
前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、
算出した視差量分、前記第1画像データ若しくは前記第1視点画像全体をシフトして予測画像を生成すること特徴とする請求項1に記載のデジタル撮影装置。
【請求項3】
前記制御部は、
前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、
算出した視差量分、前記第1画像データ若しくは前記第1視点画像のうち一部の領域をシフトして予測画像を生成すること特徴とする請求項1に記載のデジタル撮影装置。
【請求項4】
前記一部の領域は、前記光学系においてフォーカスされたフォーカス位置を少なくとも含む領域であることを特徴とする請求項3に記載のデジタル撮影装置
【請求項5】
前記制御部は、前記視差量分、前記第1画像データ若しくは前記第1視点画像をシフトした結果、データのない領域に対して、任意のデータを設定することを特徴とする請求項2から請求項4に記載のデジタル撮影装置。
【請求項6】
前記制御部はさらに、
リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、重なったと判定した時点での画像データを前記画像処理部で処理させ第2視点画像を生成させ、若しくは、当該記録画像データを第2視点画像とするよう制御する
請求項1から請求項5に記載のデジタル撮影装置。
【請求項7】
前記制御部はさらに、
リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、前記表示部にアラートを表示するよう制御する
請求項1から請求項5に記載のデジタル撮影装置。
【請求項8】
被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置における3D撮影方法であって、
前記デジタル撮影装置は、
被写体を撮影し被写体像を形成する光学系と、
前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、
前記画像データを画像処理することで記録画像データを生成する画像処理部と、
前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、
前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、
第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、
前記3D撮影方法は、前記制御部を介して
前記光学系を制御し、前記第1視点における第1被写体像を形成させ、
前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、
前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、
前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、
前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させる
3D撮影方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−62557(P2013−62557A)
【公開日】平成25年4月4日(2013.4.4)
【国際特許分類】
【出願番号】特願2010−5469(P2010−5469)
【出願日】平成22年1月14日(2010.1.14)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】