説明

撮像装置

【課題】撮像装置において、被写体の照度が低くAGCが動作するような状況では画像のノイズ成分が多く画像に現れる。特に3Dの動画、静止画を撮影できる撮像装置においては、視差画像に顕著なノイズが存在すると、それぞれの画像に含まれるノイズが立体視され、被写体と独立にノイズが浮き出て見えるような見苦しい画像となる恐れがある。
【解決手段】自装置のAGC機能の増幅率を検出する手段と、被写体像を撮像し、前記検出された自装置のAGC増幅率に応じて、平面視用の画像を示す平面画像データまたは立体視用の画像を示す立体画像データのいずれかを選択的に出力する撮像手段と、を備える撮像装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関するものであり、特に2Dの動画と3Dの動画を撮影する機能を有する撮像装置に関するものである。
【背景技術】
【0002】
近年、テレビと映画コンテンツの3D化に伴い、3D映像を一般ユーザーが簡単に視聴できる環境が整いつつある。これに連動して、撮像装置に関しても3D撮影が可能なカメラが提案されている。
【0003】
3D映像の撮影には、従来より同一の被写体を複数の視点から同時に撮影し、その視点間の視差量から3D映像を取得・生成する方法が一般に用いられている。しかし、3D映像は視差のある画像から人間が脳内で映像を立体像と認識するプロセスを経るため、眼で視覚される画像が人間の立体像の認識プロセスに合わせて適度に調整された画像でない場合には、鑑賞者に違和感を与える恐れがある。そのため特許文献1のように、3Dに対応した撮像装置で3D映像を撮影する場合に、2D撮影の場合に比べてカメラの制御方法(特許文献1の場合は、露出制御の周期など)を変えて、3D撮影時に鑑賞者に違和感を与えることが無い装置が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−187385号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、3D映像において鑑賞者が違和感を感じる条件には、他にも様々なケースが考えられる。特にプロフェッショナルではない一般のカメラユーザーが3D映像を撮影する場合には、撮影時の状況が3D撮影に適しているか否かを撮影者が判断することが困難であるため、撮影状況に合わせてカメラが自動で判断して撮影を制御したり、記録される3D映像に何がしかの処理を施すことが求められる。
【0006】
本発明はこのような事情を考慮したものであり、3D映像撮影時に鑑賞者に違和感を与える可能性がある場合、自動でカメラを制御する、もしくは撮影された映像に加工を施すことで、適切な映像を撮影できる撮像装置を提供することである。
【課題を解決するための手段】
【0007】
上記目的は、以下の撮像装置により達成される。すなわち本発明は、被写体の光学的な像を形成する立体撮影可能な撮像光学系と、前記撮像光学系によって形成された光学的な像を受光して、光学的な像を電気的な画像信号に変換する撮像手段と、前記画像信号を増幅する増幅手段とを有し、撮影時に前記画像信号の増幅率が所定の値を超えた場合、前記立体撮影を停止する。
【0008】
上記目的は、以下の撮像装置により達成される。すなわち本発明は、互いに並んで配置され、それぞれ被写体像を形成する第1および第2の光学系と、前記第1および前記第2の光学系で形成される2つの被写体像をそれぞれ撮像して、立体視用の画像を示す立体画像データを生成し、前記画像データを、電気的な画像信号に変換する撮像手段と、前記画像信号を増幅する増幅手段と、前記増幅された増幅率に応じて、前記第1または前記第2の光学系のうち少なくとも一方の光学系を光軸と垂直な方向に移動することによって、前記第1および前記第2の光学系の光軸間の距離であるステレオベースを変更する変更手段と、を備える。
【0009】
上記目的は、以下の撮像装置により達成される。すなわち本発明は、立体視用の画像を示す右目用の画像データと左目用の画像データとを生成し、前記画像データを、電気的な画像信号に変換する撮像手段と、前記画像信号を増幅する増幅手段と、前記増幅された増幅率に応じて、前記右目用の画像データと前記左目用の画像データとの視差を調整する視差調整手段と、を備える。
【発明の効果】
【0010】
本発明によれば、3D映像撮影時に、その撮影した映像が鑑賞者に違和感を与える可能性がある状況でも、自動でカメラを制御する、もしくは撮影された映像に加工を施すことで、適切な映像を撮影することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態1における撮像装置の外観図
【図2】本発明の実施の形態1における撮像装置の内部構成を説明するためのブロック図
【図3】本発明の実施の形態1における一連の処理内容を示すフローチャート
【図4】本発明の実施の形態1における一連の処理内容を示すフローチャート
【図5】本発明の実施の形態2における撮像装置の内部構成を説明するためのブロック図
【図6】本発明の実施の形態2における一連の処理内容を示すフローチャート
【図7】本発明の実施の形態2における一連の処理内容を示すフローチャート
【図8】本発明の実施の形態3における撮像装置の内部構成を説明するためのブロック図
【図9】本発明の実施の形態3における視差調整部800の内部構成を説明するためのブロック図
【図10】本発明の実施の形態3における視差の例を説明する図
【図11】本発明の実施の形態3における一連の処理内容を示すフローチャート
【図12】本発明の実施の形態3における一連の処理内容を示すフローチャート
【図13】本発明の実施の形態3におけるAGCの増幅率とステレオベースもしくは視差量との関係の例を示す図
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について図面を参照しながら説明する。
【0013】
(実施の形態1)
図1は、実施の形態1における撮像装置の外観図である。図1に示した撮像装置は、2つの撮影レンズ100R(被写体に向かって右側)と、100L(被写体に向かって左側)と、録画ON/OFFスイッチ101と、モード切替スイッチ102と、ズームレバー103と、ストロボ104とを備える。
【0014】
2つの撮影レンズ100Rと100Lを介して得られた左右方向に視差のある2つの映像を元に3D映像を撮影する。なお本撮像装置は2つの撮影レンズのいずれか一方の映像だけを用いて2D映像を撮影することも可能である。
【0015】
モード切替スイッチ102は、2D撮影と3D撮影、動画撮影と静止画撮影等の撮影モードを切り替える。ズームレバー103は、2つの撮影レンズ100Rと100Lの焦点距離の変更を指示する。ストロボ104は暗い被写体を撮影する際に使用する。動画撮影モード時に、録画ON/OFFスイッチ101を一旦押下されると動画記録が開始され、再度押下されると録画が停止する。
【0016】
図2は、図1に示した撮像装置の内部構成を説明するためのブロック図である。
【0017】
図2において、末尾にLと表記するものは撮影レンズ100Lを介して得られる被写体像から画像信号を得るための要素とし、それぞれ同じ動作を行う要素は同じ番号を付与し、説明は省略する。
【0018】
図2において、撮影レンズ100Rは、撮影像を撮像素子200R上に結像させるための複数のレンズ群からなる光学系であり、ズーム機能及び合焦機能を有する。
【0019】
撮像素子200Rは結像した被写体像を電気信号(画像信号)に変換する光電変換デバイスであり、例えばCCDイメージセンサやCMOSイメージセンサがこれにあたる。
【0020】
アナログ信号処理部201Rは、撮像素子200Rから得られた映像信号に対し粗いゲイン調整、ノイズ除去等の処理を施す。これらの処理後、映像信号はA/D変換部202Rによりデジタル信号に変換される。
【0021】
A/D変換部202Rによりデジタル信号に変換された信号は、デジタル信号処理部203Rに送られる。
【0022】
デジタル信号処理部203Rは、例えば、輝度信号と色差信号の分離、ノイズ除去、信号のゲイン調整(後述するAGC機能)、ガンマ補正、先鋭度改善処理、電子ズーム処理等のカメラに必要なデジタル処理を実行する。また撮影された画像信号の信号レベルから被写体の明るさを検出し、撮影レンズ100Rの露光制御(絞りとシャッター速度の制御)に必要となる情報を抽出し、後述するシステム制御部208に供給する。
【0023】
メモリ204は、デジタル信号処理部203Rを経由した信号を記憶する。ここで、記憶される信号はデジタル信号処理部203Rでの処理後の信号に限るものではない。A/D変換部202Rから供給される信号をそのまま一旦メモリ204に記憶し、必要な信号のみを例えばブロック単位でメモリ204から読み出してデジタル信号処理部203Rにて処理し、再度、メモリ204に書き戻す、というようなバッファメモリ的な使い方も可能である。
【0024】
メモリ制御部205は、後述するシステム制御部208の指示に従い、メモリ204への信号の記録、及びメモリ204からの信号の読み出しを制御する。
【0025】
光学系駆動手段206Rは、図示しないズームモーター、フォーカスモーター、絞りモーターを駆動し、撮影レンズ100Rのズーム倍率と合焦と絞り210Rとシャッター(図示せず)を制御し、後述するシステム制御部208からの指令信号に従い、撮影レンズ100Rのズーム倍率と合焦位置(フォーカス調整)、絞り210Rの開口並びにシャッターの開閉を調整する。
【0026】
撮像素子駆動制御部207Rは、撮像素子200Rの露光タイミングや信号の読み出しタイミング、電子シャッター動作を制御するためのパルス信号を供給し、後述するシステム制御部208からの指令信号に従い、撮像素子200Rを駆動制御する。
【0027】
撮影レンズ100L、撮像素子200L、アナログ信号処理部201L、A/D変換部202L、デジタル信号処理部203L、光学系駆動206L、撮像素子駆動制御部207Lは、以上に述べた同じ番号を付与した構成要素と同様の機能を有する要素であり、説明は省略する。
【0028】
システム制御部208は、デジタル信号処理部203Rと203L、モード切替スイッチ102、ズームレバー103の状態から、光学系駆動制御部206R及び206L、撮像素子駆動制御部207R及び207L、デジタル信号処理部203R及び203L、メモリ制御部205、後述する3D映像生成部209を統合的に制御し、3D映像撮影時にそれぞれが連動して適切な動作を行うよう指令を与える。例えばマイクロコンピュータとそれに格納される制御プログラムからなる。
【0029】
3D映像生成部209は、2つの撮影レンズとそこから得られた被写体像を処理する2系統の要素から得られた2つの画像信号を元に3D映像を生成する。
【0030】
以上のように構成された本実施の形態1の撮像装置に関し、以下にその動作を説明する。
【0031】
あらかじめ撮像装置のモード切替スイッチ102は3D動画の撮影モードに設定されているものとする。まず、撮像装置全体の電源が操作者により投入されると、直ちに機器全体の初期化が始まり撮影(録画)スタンバイの状態に移行する。このとき、録画開始と同時に適切な露光映像が得られるように、デジタル信号処理部203Rと203Lにてカメラスルーの画像から被写体の明るさが検出され、この検出値がシステム制御部208に送られる。システム制御部208はこの検出値に基づき、光学系駆動制御部206Rと206Lを介して絞り210Rと210Lの開口を制御し被写体の明るさが適切になるように調整する。しかし被写体が暗く、絞り210Rと210Lを開放にしても被写体が所定の明るさとならない場合、デジタル信号処理部203Rと203LのAGC機能を有効(オン)に設定し、指定のゲイン(増幅率)で信号のゲインを増幅する。
【0032】
次に、撮像装置の操作者が録画ON/OFFスイッチ101を押下し録画を開始すると、システム制御部208は撮影レンズ100Rと100Lのズーム倍率を同じに設定し、且つ2つのレンズを正しく合焦させてから、2つの撮像素子200Rと200Lを同一タイミングで駆動し撮影を開始する。そして所定のフレーム周期で撮影された画像信号は2つの撮像素子200Rと200Lから出力され、アナログ信号処理部201Rと201L、A/D変換部202Rと202L、デジタル信号処理部203Rと203Lを経由して3D映像生成部209に供給され、ここで3Dの映像が生成される。3D映像の生成方法は公知の技術である。
【0033】
例えば本実施の形態においては、2系統の撮像装置から得られた視差のある2系統の動画から、左目用と右目用の映像を記録する時分割方式の3D動画が生成され、図示しない撮像装置の記録メディア(ハードディスクや半導体メモリカードなど)に記録される。
【0034】
撮像装置を使って動画を撮影する際、撮影者がプロフェッショナルではない一般カメラユーザーの場合、撮影状況に合わせて被写体に適切な照明を当てるなどの措置が取られることはまずありえない。そのため、一般に民生用の撮像装置においては被写体の明るさを検出して自動で絞り、シャッター速度、信号のゲインを調整し、様々な撮影状況においても適切な明るさで被写体が撮影できるような機能が備えられている。特に被写体の明るさに応じて信号ゲインを自動調整する機能は特許文献(特開2009−60369号公報)に示されるとおりAGC(オートゲインコントロール)機能と呼ばれ、民生用撮像装置ではごく一般的な機能となっている。しかし、AGC機能は信号のゲインを上げる際にノイズ成分のゲインも高めてしまうため、例えば夜間や室内のような被写体が非常に暗い条件で撮影された画像に適用した場合、その信号ノイズが強調され、非常に見苦しい画像となる問題がある。これは2D撮影においても問題であるが、3D撮影においては更に厄介な問題を引き起こす。すなわち3D撮影においては立体視のための視差画像(例えば、それぞれ視差を有する左目で見る画像と右目で見る画像の2つの画像)に顕著なノイズが存在すると、それぞれの画像に含まれるノイズが立体視され、被写体と独立にノイズが浮き出て見えるような見苦しく違和感のある画像となることがある。
【0035】
そこで本実施の形態1においては、被写体の明るさやデジタル信号処理部203Rと203LのAGC機能の動作状態を元に、録画できる映像を制限することで、上述した画像の違和感を軽減する。
【0036】
この動作について、図3、図4のフローチャートを用いて詳しく説明する。
【0037】
図3、図4は、本実施の形態1における3D撮影を制限する動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部208にハードウエアもしくはソフトウエアとして実装されている。
【0038】
図3において、撮像装置全体の電源が操作者により投入されると、直ちに機器全体の初期化が始まり撮影(録画)スタンバイの状態に移行する(ステップ300)。次にステップ301において、録画開始と同時に適切な露光映像が得られるように、デジタル信号処理部203Rと203Lにてカメラスルーの画像から被写体の明るさが検出され、この検出値がシステム制御部208に送られる。そしてシステム制御部208はこの検出値に基づき、光学系駆動制御部206Rと206Lを介して絞り210Rと210Lの開口を制御し被写体の明るさが適切になるように調整する。しかし被写体が暗く、絞り210Rと210Lを開放にしても被写体が所定の明るさとならない場合、デジタル信号処理部203Rと203LのAGC機能を有効(オン)に設定し、指定の増幅率で信号を増幅する。
【0039】
次のステップ302において、デジタル信号処理部203Rと203LのAGC機能の増幅率をチェックし、これが一定値以上であるか否かを判定する。そして増幅率が一定値以上の場合には、ステップ303に移行し撮像装置を3D録画禁止状態に設定する。ここで撮像装置が3D録画禁止状態に設定されると、撮像装置のモード切替スイッチ102が3D動画の撮影モードに設定されていても、3D録画が禁止され動画記録は2D録画に限定されるものとする。そしてステップ304において、撮像装置が3D録画禁止状態に設定されたことを、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して撮影者に知らせる。
【0040】
逆に増幅率が一定値未満の場合にはステップ305に移行し、撮像装置は3D録画許可モードに設定される。当然、3D録画許可モードは3D録画が可能な状態を示す。そしてステップ306において、撮像装置が3D録画許可状態に設定されたことを、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して撮影者に知らせる。
【0041】
ステップ304、又はステップ306にて撮像装置の状態が表示もしくは通知された後は、一定周期(例えば、撮像装置の撮像周期(フレーム周期))でステップ301から始まる各ステップが繰り返され、都度撮像装置の状態が更新され続ける。なおステップ304、306の撮影者への表示もしくは通知は必ずしも必要ではない。
【0042】
次に録画開始の指示がなされた後の動作について、図4を用いて説明する。なお図4に示した6つのステップ(410、411、412、413、414、415)については説明を明確にするため、後でまとめて説明する。
【0043】
図4において、録画が開始されるとステップ400において3D録画に関する撮像装置の状態が確認される。そして撮像装置が3D録画許可モードに設定されている場合、ステップ401に移行し3D録画が開始される。これに対し3D録画禁止モードの場合はステップ402に移行し2Dでの録画が開始される。
【0044】
その後は、一定周期(例えば、撮像装置の撮像周期(フレーム周期))でステップ403から始まる各ステップが繰り返され、撮像装置の録画状態が変更され続ける。具体的にはステップ403にて上記の一定周期で3D録画に関する撮像装置の状態が確認される。そして撮像装置が3D録画許可モードに設定されている場合、ステップ404に移行し現状の録画状態が確認される。そして現状が3D録画中ならばステップ405に移行し、3D録画を継続する。これに対し2D録画中ならば、録画を3Dに切り替える(ステップ406)。
【0045】
ステップ403にて撮像装置が3D録画禁止モードに設定されている場合、ステップ407に移行し現状の録画状態が確認される。そして現状が3D録画中ならばステップ408に移行し、録画を2Dに切り替える。これに対し2D録画中ならば、2D録画を継続する(ステップ409)。
【0046】
最後に410、411、412、413、414、415の6つのステップについて説明する。この6つのステップは、録画状態が切り替わること、および録画状態が切り替わったことを撮影者に知らしめるためのステップであり、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して、映像もしくは音声で撮影者に状態の切り替わりを知らせるものである。具体的にはステップ410は、ステップ402において2D録画が開始されることをあらかじめ撮影者に知らしめるためのステップであり、411は2D録画がすでに開始されたことを知らしめるためにある。同様にステップ412はステップ406にて3D録画に切り替わることをあらかじめ撮影者に知らしめるためのステップであり、413は3D録画がすでに開始されたことを知らしめるためにある。またステップ414はステップ408にて2D録画に切り替わることをあらかじめ撮影者に知らしめるためのステップであり、415は2D録画がすでに開始されたことを知らしめるためにある。
【0047】
なお3D撮影から2D撮影への切り替えは、撮像装置が有する2系統のカメラ系のうち、いずれか一方から得られた画像のみを3D映像生成部209に供給し、1系統のカメラ画像だけからなる映像を出力させるものとするか、もしくは2系統の画像を合成して2D映像を合成しても構わない。
【0048】
以上のように本実施の形態1によれば、映像撮影時に、AGC機能により映像信号に一定以上の増幅処理が施され、ノイズにより3D映像に違和感が生じるような状況では、映像を3Dから2Dに自動で切替えることで、鑑賞するに適切な映像を撮影することができる。
【0049】
(実施の形態2)
本発明の実施の形態2における撮像装置について図5、図6及び図7を参照して説明する。本実施の形態2は、先に説明した実施の形態1における撮像装置に、撮影レンズ100Rと100Lの間の物理的距離(以降ではステレオベース)を可変たらしめるためのステレオベース変更部500を設け、これをシステム制御部501から制御する構成として説明する。なお実施の形態1の図1から図4と同様の部分については、図5、図6及び図7において同じ番号で示し説明は省略する。
【0050】
図5は本発明の実施の形態2における撮像装置の内部構成を示すブロック図である。
【0051】
図5において、ステレオベース変更部500は、2つの撮影レンズ100Rと100L間のステレオベースを自由に変更するための機構及び駆動モーターからなり、システム制御部501からの指令信号に基づいてステレオベースを変更する。このステレオベース変更部500によって2つの撮影レンズ100Rと100L間のステレオベースを変更することで、撮影される3D映像の立体感(飛び出し量)を変更することが可能である。なおステレオベースを変更することは、左右の2画像間の視差を変更することである。視差と3D映像の立体感(飛び出し量)を調整するために2画像間の視差を調整する方法は、例えば2系統のカメラで得られた左右の2画像間の水平方向の空間的な位置ズレ量を画像処理で調整する方法がある。他には例えば文献特開2010−45584公報に開示された方法もある。
【0052】
ここで、本発明の実施の形態1において述べたとおり、視差画像に顕著なノイズが存在すると、それぞれの画像に含まれるノイズが立体視され、被写体と独立にノイズが浮き出て見えるような見苦しく違和感のある画像となる。
【0053】
そこで本実施の形態1においては、被写体の明るさやデジタル信号処理部203Rと203LのAGC機能の動作状態を元に、2つの撮影レンズ100Rと100L間のステレオベースを自由に変更し、撮影される3D映像の立体感(飛び出し量)を調整することでノイズの浮き出し感を低減し、上述した画像の違和感を軽減する。
【0054】
この動作について、図6と図7のフローチャートを用いて詳しく説明する。
【0055】
図6、図7は、本実施の形態2における撮影される3D映像の立体感(飛び出し量)を調整する動作を説明するためのフローチャートである。この動作を実現するアルゴリズムはシステム制御部501にハードウエアもしくはソフトウエアとして実装されている。
【0056】
図6において、撮像装置全体の電源が操作者により投入されると、直ちに機器全体の初期化が始まり撮影(録画)スタンバイの状態に移行する(ステップ300)。次にステップ601において、録画開始と同時に適切な露光映像が得られるように、デジタル信号処理部203Rと203Lにてカメラスルーの画像から被写体の明るさが検出され、この検出値がシステム制御部501に送られる。そしてシステム制御部501はこの検出値に基づき、光学系駆動制御部206Rと206Lを介して絞り210Rと210Lの開口を制御し被写体の明るさが適切になるように調整する。しかし被写体が暗く、絞り210Rと210Lを開放にしても被写体が所定の明るさとならない場合、デジタル信号処理部203Rと203LのAGC機能を有効(オン)に設定し、指定の増幅率で信号を増幅する。
【0057】
次のステップ602において、デジタル信号処理部203Rと203LのAGC機能の増幅率をチェックし、これが一定値以上であるか否かを判定する。そして増幅率が一定値以上の場合には、ステップ603に移行し撮像装置をSB(ステレオベース)変更モードに設定する。ここで撮像装置がSB変更モードに設定されると、システム制御部501は3D撮影時には2つの光学系100R、100L間のステレオベースを初期値以外の設定に変更するものとする。この際、ステレオベースの変更は、3D映像の立体感(飛び出し量)が小さくなる方向に変更することが好ましいため、具体的には100Rと100L間のステレオベースを短くするように変更する。
【0058】
そしてステップ604において、撮像装置がSB変更モードに設定されたことを、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して撮影者に知らせる。
【0059】
逆に増幅率が一定値未満の場合にはステップ605に移行し、撮像装置はSB固定モードに設定される。SB固定モードは、2つの光学系100R、100L間のステレオベースが初期値に固定されている状態を示す。そしてステップ606において、撮像装置がSB固定モードに設定されたことを、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して撮影者に知らせる。
【0060】
ステップ604、又はステップ606にて撮像装置の状態が表示もしくは通知された後は、一定周期(例えば、撮像装置の撮像周期(フレーム周期))でステップ601から始まる各ステップが繰り返され、都度撮像装置の状態が更新され続ける。なおステップ604、606の撮影者への表示もしくは通知は必ずしも必要ではない。
【0061】
次に録画開始の指示がなされた後の動作について、図7を用いて説明する。なお図7に示した6つのステップ(708、709、710、711、712、713)については説明を明確にするため、後でまとめて説明する。
【0062】
図7において、録画が開始されるとステップ700において3D録画に関する撮像装置の状態が確認される。そして撮像装置がSB変更モードに設定されている場合、ステップ701に移行し3D録画が開始される。これに対しSB固定モードの場合はステップ702に移行しステレオベース(SB)が変更された後、ステップ701にて3D録画が開始される。
【0063】
その後は、一定周期(例えば、撮像装置の撮像周期(フレーム周期))でステップ703から始まる各ステップが繰り返され、撮像装置の録画状態が変更され続ける。具体的にはステップ703にて上記の一定周期で3D録画に関する撮像装置の状態が確認される。そして撮像装置がSB固定モードに設定されている場合、ステップ704に移行し現状の録画状態が確認される。そして現状がステレオベースが初期値に固定されているならばステップ703に戻る。これに対しステレオベースが初期値以外に変更されていたならば、ステレオベースを初期値に切り替える(ステップ705)。
【0064】
ステップ703にて撮像装置がSB変更モードに設定されている場合、ステップ706に移行し現状の録画状態が確認される。そして現状がステレオベースが初期値に固定されているならばステップ707に移行し、ステレオベースを初期値以外に切り替える。これに対しステレオベースが初期値以外ならば録画を継続する。
【0065】
最後に708、709、710、711、712、713の6つのステップについて説明する。この6つのステップは、ステレオベースが切り替わること、およびステレオベースが切り替わったことを撮影者に知らしめるためのステップであり、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して、映像もしくは音声で撮影者に切り替わりを知らせるものである。具体的にはステップ708は、ステップ702においてステレオベースが変更されることをあらかじめ撮影者に知らしめるためのステップであり、709はステレオベースがすでに変更されたことを知らしめるためにある。同様にステップ710はステップ705にてステレオベースが初期値に切り替わることをあらかじめ撮影者に知らしめるためのステップであり、711はステレオベースがすでに切り替わったことを知らしめるためにある。またステップ712はステップ707にてステレオベースが切り替わることをあらかじめ撮影者に知らしめるためのステップであり、713はステレオベースがすでに切り替わったことを知らしめるためにある。
【0066】
以上のように本実施の形態2によれば、映像撮影時に、AGC機能により映像信号に一定以上の増幅処理が施され、ノイズにより3D映像に違和感が生じるような状況では、撮像装置のステレオベースを自動で切替えることで撮影される3D映像の立体感(飛び出し量)を調整することでノイズの浮き出し感を低減し、すでに説明した画像の違和感を軽減することができる。
【0067】
(実施の形態3)
本発明の実施の形態3における撮像装置について図8から図13を参照して説明する。本実施の形態3は、先に説明した実施の形態2において、撮影レンズ100Rと100Lの間のステレオベースを変更する代わりに、撮影レンズ100Rと100Lを介して撮影された左右の2画像間の視差を変更する構成である。なお、すでに説明した実施の形態1、2の各図と同様の部分については、図において同じ番号で示し説明は省略する。
【0068】
図8は本発明の実施の形態3における撮像装置の内部構成を示すブロック図である。
【0069】
図8において、視差調整部800は、2つの撮影レンズ100Rと100Lを介して撮影された左右の2つの画像間の視差を自由に変更する。この視差調整部800によって左右2つの画像間の視差を変更することで、撮影される3D映像の立体感(飛び出し量)を変更することが可能である。なお、3D映像の立体感(飛び出し量)を調整するために2画像間の視差を調整する方法は、例えば2系統のカメラで得られた左右の2画像間の水平方向の空間的な位置ズレ量を画像処理で調整する方法がある。他には例えば文献特開2010−45584公報に開示された方法もある。
【0070】
図9は、図8に示した視差調整部800の内部構成を示すブロック図である。図9において、視差検出部900はデジタル信号処理部203Rと203Lから供給される左右の2画像の視差を検出する手段である。なお視差の検出方法、例えば左右2つの画像の水平方向の位置ズレ量を検出する方法が一般的である。具体的には左右2つの画像のうち、どちらか一方を基準とし、この基準画像中に適当な矩形エリアを設け、もう片方の画像中でこの矩形エリアと絵柄が一致する場所をパターンマッチングで探索することで位置ズレ量を検出する。
【0071】
バッファメモリ901は、デジタル信号処理部203Rと203Lから供給される左右の2画像のデータを一旦記憶するメモリである。バッファメモリ901は後述する視差変更部902の指令に基づき、記憶された2つの画像データに対し、任意の水平方向位置から画像を切り出して出力できる。
【0072】
視差変更部902は、システム制御部801からの視差変更の指示と、視差検出部900における2画像間の視差検出結果に基づき、バッファメモリ901から画像を読み出す際の水平方向の切り出し位置を指定する。
【0073】
図10は2画像間の視差(図中のD)を模式的に示した図である。
【0074】
以上のように構成された実施の形態3における動作を以下に説明する。
【0075】
本発明の実施の形態1及び2において述べたとおり、視差画像に顕著なノイズが存在すると、それぞれの画像に含まれるノイズが立体視され、被写体と独立にノイズが浮き出て見えるような見苦しく違和感のある画像となる。
【0076】
そこで本実施の形態3においては、被写体の明るさやデジタル信号処理部203Rと203LのAGC機能の動作状態を元に、2つの撮影レンズ100Rと100Lを介して撮影された左右の2画像間の視差を変更し、撮影される3D映像の立体感(飛び出し量)を調整することでノイズの浮き出し感を低減し、上述した画像の違和感を軽減する。
【0077】
この動作について、図11と図12のフローチャートを用いて詳しく説明する。
【0078】
図11おいて、撮像装置全体の電源が操作者により投入されると、直ちに機器全体の初期化が始まり撮影(録画)スタンバイの状態に移行する(ステップ300)。次にステップ1101において、録画開始と同時に適切な露光映像が得られるように、デジタル信号処理部203Rと203Lにてカメラスルーの画像から被写体の明るさが検出され、この検出値がシステム制御部801に送られる。そしてシステム制御部801はこの検出値に基づき、光学系駆動制御部206Rと206Lを介して絞り210Rと210Lの開口を制御し被写体の明るさが適切になるように調整する。しかし被写体が暗く、絞り210Rと210Lを開放にしても被写体が所定の明るさとならない場合、デジタル信号処理部203Rと203LのAGC機能を有効(オン)に設定し、指定の増幅率で信号を増幅する。
【0079】
次のステップ1102において、デジタル信号処理部203Rと203LのAGC機能の増幅率をチェックし、これが一定値以上であるか否かを判定する。そして増幅率が一定値以上の場合には、ステップ1103に移行し撮像装置を視差変更モードに設定する。ここで撮像装置が視差変更モードに設定されると、システム制御部801は3D撮影時には2つの光学系100R、100Lから得られる2画像間の視差を初期値以外の設定に変更するものとする。この際、視差の変更は、3D映像の立体感(飛び出し量)が小さくなる方向に変更することが好ましいため、具体的には撮影された2画像間のもとの視差(視差検出部900にて検出される視差)よりも視差を小さくするように変更する。
【0080】
そしてステップ1104において、撮像装置が視差変更モードに設定されたことを、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して撮影者に知らせる。
【0081】
逆に増幅率が一定値未満の場合にはステップ1105に移行し、撮像装置は視差固定モードに設定される。視差固定モードは、2つの光学系100R、100Lから得られる2画像間の視差が初期値に固定されている状態を示す。そしてステップ1106において、撮像装置が視差固定モードに設定されたことを、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して撮影者に知らせる。
【0082】
ステップ1104、又はステップ1106にて撮像装置の状態が表示もしくは通知された後は、一定周期(例えば、撮像装置の撮像周期(フレーム周期))でステップ1101から始まる各ステップが繰り返され、都度撮像装置の状態が更新され続ける。なおステップ1104、1106の撮影者への表示もしくは通知は必ずしも必要ではない。
【0083】
次に録画開始の指示がなされた後の動作について、図12を用いて説明する。なお図12に示した6つのステップ(1208、1209、1210、1211、1212、1213)については説明を明確にするため、後でまとめて説明する。
【0084】
図12において、録画が開始されるとステップ1200において3D録画に関する撮像装置の状態が確認される。そして撮像装置が視差変更モードに設定されている場合、ステップ1201に移行し3D録画が開始される。これに対し視差固定モードの場合はステップ1202に移行しシステム制御部801の指示の元、視差変更部902において2つの光学系100R、100Lから得られる2画像の視差が変更された後、ステップ1201にて3D録画が開始される。
【0085】
その後は、一定周期(例えば、撮像装置の撮像周期(フレーム周期))でステップ1203から始まる各ステップが繰り返され、撮像装置の録画状態が変更され続ける。具体的にはステップ1203にて上記の一定周期で3D録画に関する撮像装置の状態が確認される。そして撮像装置が視差固定モードに設定されている場合、ステップ1204に移行し現状の録画状態が確認される。そして現状が視差が初期値に固定されているならばステップ1203に戻る。これに対し視差が初期値以外に変更されていたならば、視差を初期値に切り替える(ステップ1205)。
【0086】
ステップ1203にて撮像装置が視差変更モードに設定されている場合、ステップ1206に移行し現状の録画状態が確認される。そして現状が視差が初期値に固定されているならばステップ1207に移行し、視差を初期値以外に切り替える。これに対し視差が初期値以外ならば録画を継続する。
【0087】
最後に1208、1209、1210、1211、1212、1213の6つのステップについて説明する。この6つのステップは、視差が切り替わること、および視差が切り替わったことを撮影者に知らしめるためのステップであり、撮像装置に装備された図示しない表示手段もしくは警告音発生手段を介して、映像もしくは音声で撮影者に切り替わりを知らせるものである。具体的にはステップ1208は、ステップ1202において視差が変更されることをあらかじめ撮影者に知らしめるためのステップであり、1209は視差がすでに変更されたことを知らしめるためにある。同様にステップ1210はステップ1205にて視差が初期値に切り替わることをあらかじめ撮影者に知らしめるためのステップであり、1211は視差がすでに切り替わったことを知らしめるためにある。またステップ1212はステップ1207にてステレオベースが切り替わることをあらかじめ撮影者に知らしめるためのステップであり、1213はステレオベースがすでに切り替わったことを知らしめるためにある。
【0088】
以上のように本実施の形態3によれば、映像撮影時に、AGC機能により映像信号に一定以上の増幅処理が施され、ノイズにより3D映像に違和感が生じるような状況では、撮像装置の2つの光学系から得られる2画像間の視差量を自動で切替えることで撮影される3D映像の立体感(飛び出し量)を調整することでノイズの浮き出し感を低減し、すでに説明した画像の違和感を軽減することができる。
【0089】
なお本実施の形態2、3においては、ステレオベースもしくは視差量の変更は、初期値と初期値以外の変更値の2値間で切り替える構成も考えられるが、急速にステレオベースもしくは視差量を変更すると3D映像の立体感が急激に変わるため好ましくない。そこでこれらの切り替えは一定の期間をかけて徐々に変更するやり方がよい。
【0090】
また本実施の形態2、3においては、AGCの増幅率が一定値以上の場合にステレオベース、もしくは2画像間の視差を変更する構成を説明したがこれに限るものではなく、例えば図13に示すように、AGCの増幅率に応じてステレオベース、もしくは視差を2つ以上の段階で変更する構成でもよい。
【産業上の利用可能性】
【0091】
本発明は、3D映像撮影時に、その撮影した映像が鑑賞者に違和感を与える可能性がある状況でも、自動でカメラを制御する、もしくは撮影された映像に加工を施すことで、適切な3D映像を撮影することができるシステムであって、3D映像撮影装置に適用して極めて好適である。
【符号の説明】
【0092】
100R、100L 撮影レンズ
200R、200L 撮像素子
201R、201L アナログ信号処理部
202R、202L A/D変換部
203R、203L デジタル信号処理部
204 メモリ
205 メモリ制御部
206R、206L 光学系駆動制御部
207R、207L 撮像素子駆動制御部
208、501、801 システム制御部
209 3D映像生成部
210R、210L 絞り
500 ステレオベース変更部
800 視差調整部

【特許請求の範囲】
【請求項1】
被写体の光学的な像を電気的な画像信号として出力する撮像装置であって、
被写体の光学的な像を形成する立体撮影可能な撮像光学系と、
前記撮像光学系によって形成された光学的な像を受光して、光学的な像を電気的な画像信号に変換する撮像手段と、
前記画像信号を増幅する増幅手段と、を有し、
撮影時に前記画像信号の増幅率が所定の値を超えた場合、前記立体撮影を停止する、
撮像装置。
【請求項2】
画像を記録する記録手段と、をさらに備え、
前記画像信号は、視差を有する第1及び第2画像信号を含み、
前記画像信号の増幅率が所定の値を超えた場合には、前記第1画像信号と前記第2画像信号のうちいずれかを選択的に前記記録手段に記録する、
請求項1に記載の撮像装置。
【請求項3】
画像を合成する合成手段と、をさらに備え、
前記画像信号は、視差を有する第1及び第2画像信号を含み、
前記画像信号の増幅率が所定の値を超えた場合には、前記第1画像信号と前記第2画像信号とを前記合成手段により合成する、
請求項1に記載の撮像装置。
【請求項4】
前記画像信号の増幅率が所定の値を超えた場合、
撮影状態をユーザーに通知する通知手段と、をさらに備える、
請求項1に記載の撮像装置。
【請求項5】
前記画像信号の増幅率が所定の値を超えた場合、
立体撮影可能な撮影条件をユーザーにガイドするガイド手段と、をさらに備える、
請求項1に記載の撮像装置。
【請求項6】
前記画像信号は、視差を有する3つ以上の画像信号からなる、
請求項1に記載の撮像装置。
【請求項7】
被写体の光学的な像を電気的な画像信号として出力する撮像装置であって、
互いに並んで配置され、それぞれ被写体像を形成する第1および第2の光学系と、
前記第1および前記第2の光学系で形成される2つの被写体像をそれぞれ撮像して、立体視用の画像を示す立体画像データを生成し、前記画像データを、電気的な画像信号に変換する撮像手段と、
前記画像信号を増幅する増幅手段と、
前記増幅された増幅率に応じて、前記第1または前記第2の光学系のうち少なくとも一方の光学系を光軸と垂直な方向に移動することによって、前記第1および前記第2の光学系の光軸間の距離であるステレオベースを変更する変更手段と、
を備える撮像装置。
【請求項8】
画像を合成する合成手段と、をさらに備え、
前記画像信号は、視差を有する第1及び第2画像信号を含み、
前記画像信号の増幅率が所定の値を超えた場合には、前記第1画像信号と前記第2画像信号とを前記合成手段により合成する、
請求項7に記載の撮像装置。
【請求項9】
前記画像信号の増幅率が所定の値を超えた場合、
撮影状態をユーザーに通知する通知手段と、をさらに備える、
請求項7に記載の撮像装置。
【請求項10】
前記画像信号の増幅率が所定の値を超えた場合、
立体撮影可能な撮影条件をユーザーにガイドするガイド手段と、をさらに備える、
請求項7に記載の撮像装置。
【請求項11】
前記画像信号は、視差を有する3つ以上の画像信号からなる、
請求項7に記載の撮像装置。
【請求項12】
被写体の光学的な像を電気的な画像信号として出力する撮像装置であって、
立体視用の画像を示す右目用の画像データと左目用の画像データとを生成し、前記画像データを、電気的な画像信号に変換する撮像手段と、
前記画像信号を増幅する増幅手段と、
前記増幅された増幅率に応じて、前記右目用の画像データと前記左目用の画像データとの視差を調整する視差調整手段と、
を備える撮像装置。
【請求項13】
画像を合成する合成手段と、をさらに備え、
前記画像信号は、視差を有する第1及び第2画像信号を含み、
前記画像信号の増幅率が所定の値を超えた場合には、前記第1画像信号と前記第2画像信号とを前記合成手段により合成する、
請求項12に記載の撮像装置。
【請求項14】
前記画像信号の増幅率が所定の値を超えた場合、
撮影状態をユーザーに通知する通知手段と、をさらに備える、
請求項12に記載の撮像装置。
【請求項15】
前記画像信号の増幅率が所定の値を超えた場合、
立体撮影可能な撮影条件をユーザーにガイドするガイド手段と、をさらに備える、
請求項12に記載の撮像装置。
【請求項16】
前記画像信号は、視差を有する3つ以上の画像信号からなる、
請求項12に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−147369(P2012−147369A)
【公開日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願番号】特願2011−5800(P2011−5800)
【出願日】平成23年1月14日(2011.1.14)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】