電子カメラ
【構成】光学/撮像系12Lに設けられたCMOS型の撮像装置は、左側視野VF_Lを捉えるL側撮像面を有する。一方、光学/撮像系12Rに設けられたCCD型の撮像装置12Rは、左側視野F_Lと部分的に共通する右側視野VF_Rを捉えるR側撮像面を有する。L側撮像面上の複数の位置を互いに異なるタイミングで露光され、R側撮像面上の複数の位置は同時に露光される。CPU34は、光学/撮像系12Lから出力されたL側画像をL側撮像面の動きを参照して補正する。画像合成回路24は、CPU34によって補正されたL側画像を光学/撮像系12Rから出力されたR側画像を参照して補正する。
【効果】L側画像に現れた歪みを補正する性能が向上する。
【効果】L側画像に現れた歪みを補正する性能が向上する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、電子カメラに関し、特にフォーカルプレーン電子シャッタ方式を採用するイメージセンサによってシーンを捉える、電子カメラに関する。
【背景技術】
【0002】
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、画像信号は、CMOS型イメージセンサから出力される。補間処理部は、補正対象フレームの画像信号と補正対象フレームの前後の2フレームの画像信号とが供給される。補間処理部にはまた、走査線(画素行)の位置に対応した数値を示す補間係数が供給される。補間処理部は、補正対象フレームの基準時点(たとえばN本の走査線の略中心に位置する走査線nの露光タイミング)に対応した各画素位置の画素データを、線形補間によって生成する。補間処理部からは、フォーカルプレーン歪みを抑圧するように補正された画像信号が出力される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−284001号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、動きの速いオブジェクトが存在する場合に補間処理部の動作が停止される。このため、歪み補正性能に限界がある。
【0005】
それゆえに、この発明の主たる目的は、画像に現れた歪みを補正する性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、第1視野を捉える第1撮像面を有する第1撮像手段(123L)、第1視野と共通する第2視野を捉える第2撮像面を有する第2撮像手段(123R)、第1撮像面上の複数の位置を互いに異なるタイミングで露光する第1露光手段(126L)、第2撮像面上の複数の位置を同時に露光する第2露光手段(126R)、第1露光手段の露光に対応して第1撮像手段から出力された第1画像を第1撮像面の動きを参照して補正する第1補正手段(S29~S31, 20, 42)、および第1補正手段によって補正された第1画像を第2露光手段の露光に対応して第2撮像手段から出力された第2画像を参照して補正する第2補正手段(24)を備える。
【0007】
好ましくは、第1補正手段の補正のために第1露光手段の露光と並列して第1撮像面の動きを検出する検出手段(16L, S25)がさらに備えられる。
【0008】
好ましくは、第2補正手段は、共通視野に属する第1部分画像を第1画像から抽出する第1抽出手段(40L, 44)、共通視野に属する第2部分画像を第2画像から抽出する第2抽出手段(40R, 46)、および第1抽出手段によって抽出された第1部分画像と第2抽出手段によって抽出された第2部分画像とを合成する合成手段(48~58)を含む。
【0009】
さらに好ましくは、合成手段は、第2部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段(48)、およびフィルタ手段から出力された低周波画像と第1部分画像とを合成して第1合成画像を出力する第1合成画像出力手段(50~52)を含む。
【0010】
或る局面では、第1合成画像出力手段は、低周波画像と第1部分画像との差分を検出する差分検出手段(50)、および差分検出手段によって検出された差分が小さいほど第1部分画像に対する重み付けが増大する態様で低周波画像と第1部分画像とに加重加算を施す第1加重加算手段(52)を含む。
【0011】
他の局面では、合成手段は第1合成画像出力手段から出力された第1合成画像と第2部分画像とを合成して第2合成画像を出力する第2合成画像出力手段(54~56)をさらに含む。
【0012】
より好ましくは、第2合成処理手段は、低周波画像からエッジ成分を検出するエッジ成分検出手段(54)、およびエッジ成分検出手段によって検出されたエッジ成分が大きいほど第2部分画像に対する重み付けが増大する態様で第1合成画像と第2部分画像とに加重加算を施す第2加重加算手段(56)を含む。
【0013】
好ましくは、第1撮像面は第1数の画素を有し、第2撮像面は第1数よりも大きい第2数の画素を有し、第1抽出手段は画像サイズを拡大する拡大手段(44)を含む。
【0014】
好ましくは、第1撮像面は第1感度を有し、第2撮像面は第1感度よりも小さい第2感度を有し、第2抽出手段は画像の明るさを増幅する増幅手段(46)を含む。
【発明の効果】
【0015】
この発明によれば、第1撮像面上の複数の位置は互いに異なるタイミングで露光されるため、第1撮像面の動きに起因する歪みと第1視野に存在する物体の動きに起因する歪みとが第1画像に現れる。これに対して、第2撮像面上の複数の位置は同時に露光されるため、第1画像に現れた歪みに相当する歪みが第2画像に現れることはない。第1撮像面の動きに起因する歪みは第1撮像面の動きを参照して補正され、物体の動きに起因する歪みは第2画像を参照して補正される。これによって、第1画像に現れた歪みを補正する性能が向上する。
【0016】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0017】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】図2実施例の外観を示す斜視図である。
【図4】図2実施例によって捉えられるシーンの一例を示す図解図である。
【図5】(A)は図2実施例に適用されるSDRAMに割り当てられたL側抽出エリアの分布状態の一例を示す図解図であり、(B)は図2実施例に適用されるSDRAMに割り当てられたR側抽出エリアの分布状態の一例を示す図解図である。
【図6】図2実施例に適用される光学/撮像系の構成の一例を示す図解図である。
【図7】撮像面に割り当てられた評価エリアおよび動き検出ブロックの分布状態の一例を示す図解図である。
【図8】(A)はL側画像データに対する手振れ補正処理の一例を示す図解図であり、(B)はR側画像データに対する手振れ補正処理の一例を示す図解図である。
【図9】図2実施例における撮像動作の一例を示す図解図である。
【図10】(A)は水平方向におけるフォーカルプレーン歪みを補正する処理の一例を示す図解図であり、(B)は水平方向におけるフォーカルプレーン歪みを補正する処理の他の一例を示す図解図であり、(C)は水平方向におけるフォーカルプレーン歪みを補正する処理のその他の一例を示す図解図であり、(D)は水平方向におけるフォーカルプレーン歪みを補正する処理のさらにその他の一例を示す図解図である。
【図11】図2実施例における撮像動作の他の一例を示す図解図である。
【図12】(A)は垂直方向におけるフォーカルプレーン歪みを補正する処理の一例を示す図解図であり、(B)は垂直方向におけるフォーカルプレーン歪みを補正する処理の他の一例を示す図解図である。
【図13】図2実施例に適用される画像合成回路の構成の一例を示すブロック図である。
【図14】(A)はL側画像データの一例を示す図解図であり、(B)は拡大画像データの一例を示す図解図である。
【図15】(A)はR側画像データの一例を示す図解図であり、(B)は増幅画像データの一例を示す図解図である。
【図16】加重加算回路によって参照される重み付け量αの特性の一例を示すグラフである。
【図17】他の加重加算回路によって参照される重み付け量βの特性の一例を示すグラフである。
【図18】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図20】図2実施例に適用される画像合成回路の構成の他の一例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0019】
図1を参照して、この実施例の電子カメラは、基本的に次のように構成される。第1撮像手段1は、第1視野を捉える第1撮像面を有する。第2撮像手段2は、第1視野と共通する第2視野を捉える第2撮像面を有する。第1露光手段3は、第1撮像面上の複数の位置を互いに異なるタイミングで露光する。第2露光手段4は、第2撮像面上の複数の位置を同時に露光する。第1補正手段5は、第1露光手段3の露光に対応して第1撮像手段1から出力された第1画像を第1撮像面の動きを参照して補正する。第2補正手段6は、第1補正手段5によって補正された第1画像を第2露光手段4の露光に対応して第2撮像手段2から出力された第2画像を参照して補正する。
【0020】
第1撮像面上の複数の位置は互いに異なるタイミングで露光されるため、第1撮像面の動きに起因する歪みと第1視野に存在する物体の動きに起因する歪みとが第1画像に現れる。これに対して、第2撮像面上の複数の位置は同時に露光されるため、第1画像に現れた歪みに相当する歪みが第2画像に現れることはない。第1撮像面の動きに起因する歪みは第1撮像面の動きを参照して補正され、物体の動きに起因する歪みは第2画像を参照して補正される。これによって、第1画像に現れた歪みを補正する性能が向上する。
[実施例]
【0021】
図2を参照して、この実施例のディジタルビデオカメラ10は、光学/撮像系12Lおよび12Rを含む。電源が投入されると、CPU34によって実行される撮像タスクの下で、光学/撮像系12Lおよび12Rが起動される。光学/撮像系12Lおよび12Rは、SG(Signal Generator)18から周期的に出力される垂直同期信号Vsyncに応答して、生画像データを繰り返し出力する。以下では、光学/撮像系12Lから出力される生画像データを“L側生画像データ”と定義し、光学/撮像系12Rから出力される生画像データを“R側生画像データ”と定義する。
【0022】
図3に示すように、光学/撮像系12Lおよび12Rは、カメラ筐体CB1の前面に固定的に設けられる。光学/撮像系12Lはカメラ筐体CB1の前方に向かって左側に位置し、光学/撮像系12Rはカメラ筐体CB1の前方に向かって右側に位置する。
【0023】
光学/撮像系12Lおよび12Rはそれぞれ光軸AX_LおよびAX_Rを有し、カメラ筐体CB1の底面から光軸AX_Lまでの距離(=H_L)はカメラ筐体CB1の底面から光軸AX_Rまでの距離(=H_R)と一致する。また、水平方向における光軸AX_LおよびAX_Rの間隔(=W1)は、人間の両目の間隔を考慮して6cm程度に設定される。
【0024】
したがって、カメラ筐体CB1の前方に図4に示すシーンが広がっているとき、光学/撮像系12Lは左側視野VF_Lを捉える一方、光学/撮像系12Rは右側視野VF_Rを捉える。光学/撮像系12Lおよび12Rはカメラ筐体CB1において互いに同じ高さ位置に設けられるため、左側視野VF_Lおよび右側視野VF_Rの水平位置は僅かにずれるものの、左側視野VF_Lおよび右側視野VF_Rの垂直位置は互いに一致する。この結果、光学/撮像系12Lおよび12Rの両方で捉えられる共通視野VF_Cが、左側視野VF_Lおよび右側視野VF_Rの各々に部分的に出現する。
【0025】
図2に戻って、光学/撮像系12Lから出力されたL側生画像データは信号処理回路14Lに与えられ、光学/撮像系12Rから出力されたR側生画像データは信号処理回路14Rに与えられる。信号処理回路14Lおよび14Rはいずれも、与えられた生画像データに色分離,白バランス調整,YUV変換などの処理を施し、YUV形式の画像データをメモリ制御回路20を通してSDRAM22に書き込む。信号処理回路14Lから出力された画像データ(L側画像データ)はL側画像エリア22Lに格納され、信号処理回路14Rから出力された画像データ(R側画像データ)はR側画像エリア22Rに格納される。
【0026】
メモリ制御回路20は、L側抽出エリアEX_Lを図5(A)に示す要領でL側画像エリア22Lに割り当て、L側抽出エリアEX_Rを図5(B)に示す要領でR側画像エリア22Rに割り当てる。後段で詳述するように、L側抽出エリアEX_LおよびR側抽出エリアEX_Rはいずれも共通視野VF_Cに属し、L側抽出エリアEX_Lに相当する視野はR側抽出エリアEX_Rに相当する視野と一致する。
【0027】
画像合成回路24は、L側抽出エリアEX_Lに属する一部のL側画像データをメモリ制御回路20を通してL側画像エリア22Lから繰り返し読み出し、R側抽出エリアEX_Rに属する一部のR側画像データをメモリ制御回路20を通してR側画像エリア22Rから繰り返し読み出す。
【0028】
L側画像エリア22Lからの読み出し処理およびR側画像エリア22Rからの読み出し処理は並列的に実行され、これによって共通するフレームのL側画像データおよびR側画像データが同時に画像合成回路24に入力される。画像合成回路24は、こうして入力されたL側画像データおよびR側画像データを合成し、合成画像データを作成する。作成された各フレームの合成画像データは、メモリ制御回路20を通してSDRAM22の合成画像エリア22Cに書き込まれる。
【0029】
LCDドライバ26は、合成画像エリア22Cに格納された合成画像データをメモリ制御回路20を通して繰り返し読み出し、読み出された合成画像データに基づいてLCDモニタ28を駆動する。この結果、L側抽出エリアEX_LおよびR側抽出エリアEX_Rに相当する視野を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0030】
図6を参照して、光学/撮像系12Lは、ドライバ124L,125Lおよび126Lによってそれぞれ駆動されるフォーカスレンズ121L,絞り機構122Lおよび撮像装置123Lを備える。同様に、光学/撮像系12Rは、ドライバ124R,125Rおよび126Rによってそれぞれ駆動されるフォーカスレンズ121R,絞り機構122Rおよび撮像装置123Rを有する。
【0031】
左側視野VF_Lを表す光学像は、フォーカスレンズ121Lおよび絞り機構122Lを経由して撮像装置123Lの撮像面つまりL側撮像面に照射される。ドライバ126Lは、SG18から与えられた垂直同期信号Vsyncに応答してL側撮像面を露光し、L側撮像面に2次元に配列された複数の画素で生成された電荷をラスタ走査態様で読み出す。L側生画像データは、読み出された電荷に基づいて作成される。
【0032】
右側視野VF_Rを表す光学像は、フォーカスレンズ121Rおよび絞り機構122Rを経由して撮像装置123Rの撮像面つまりR側撮像面に照射される。ドライバ126Rもまた、SG18から与えられた垂直同期信号Vsyncに応答してR側撮像面を露光し、R側撮像面に2次元に配列された複数の画素で生成された電荷をラスタ走査態様で読み出す。R側生画像データは、読み出された電荷に基づいて作成される。
【0033】
ここで、撮像装置123LはCMOS型の撮像装置に相当し、ドライバ126LはL側撮像面の露光タイミングが水平画素列によって異なるように(フォーカルプレーン電子シャッタ方式で)L側撮像面を露光する。これに対して、撮像装置123RはCCD型の撮像装置に相当し、ドライバ126RはR側撮像面の露光タイミングが水平画素列間で一致するようにR側撮像面を露光する。
【0034】
また、R側撮像面に設けられた各画素のサイズは、L側撮像面に設けられた各画素のサイズよりも小さい。したがって、R側撮像面の感度はL側撮像面の感度よりも低く、R側生画像データのS/N比はL側生画像データのS/N比よりも低い。
【0035】
さらに、R側撮像面に設けられた画素の数は、L側撮像面に設けられた画素の数よりも大きい。したがって、R側生画像データの解像度は、L側生画像データの解像度よりも高い。また、共通視野VF_Cに注目したとき、R側生画像データのエッジ成分量は、L側生画像データのエッジ成分量よりも多い。
【0036】
L側撮像面およびR側撮像面の各々には、評価エリアEVAおよび動き検出ブロックMD_1〜MD_9が図7に示す要領で割り当てられる。評価エリアEVAは、各撮像面の中央に配置される。また、動き検出エリアMD1〜MD3は各撮像面の上段に水平方向に並ぶように配置され、動き検出エリアMD4〜MD6は各撮像面の中段に水平方向に並ぶように配置され、そして動き検出エリアMD7〜MD9は各撮像面の下段に水平方向に並ぶように配置される。
【0037】
図2に示すAE/AF/動き評価回路16Lは、左側視野VF_Lを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路14Lによって生成されたL側画像データのうち評価エリアEVAに属する一部のL側画像データに基づいて繰り返し作成する。
【0038】
同様に、AE/AF/動き評価回路16Rは、右側視野VF_Rを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路14Rによって生成されたR側画像データのうち評価エリアEVAに属する一部のR側画像データに基づいて繰り返し作成する。
【0039】
AE/AF/動き評価回路16Lはまた、動き検出ブロックMD1〜MD9の各々におけるシーンの動きを表す部分動きベクトルを、信号処理回路14Lによって生成されたL側画像データに基づいて繰り返し検出する。同様に、AE/AF/動き評価回路16Rは、動き検出ブロックMD1〜MD9の各々におけるシーンの動きを表す部分動きベクトルを、信号処理回路14Rによって生成されたR側画像データに基づいて繰り返し検出する。
【0040】
CPU34は、AE/AF/動き評価回路16Lおよび16Rの各々から出力された輝度評価値に基づくAE処理を撮像タスクの下で実行し、適正EV値を算出する。算出された適正EV値を定義する絞り量はドライバ125Lおよび125Rに設定され、算出された適正EV値を定義する露光時間はドライバ126Lおよび126Rに設定される。この結果、信号処理回路14Lおよび14Rからそれぞれ出力されるL側画像データおよびR側画像データの輝度が適正に調整される。
【0041】
CPU34はまた、AE/AF/動き評価回路16Lおよび16Rの各々から出力されたフォーカス評価値に基づくAF処理を撮像タスクの下で実行する。ドライバ124Lおよび124Rは、CPU34の制御の下でフォーカスレンズ121Lおよび121Rを合焦点が存在する方向に移動させる。この結果、信号処理回路14Lおよび14Rからそれぞれ出力されるL側画像データおよびR側画像データの鮮鋭度が適正に調整される。
【0042】
CPU34はさらに、カメラ筐体CB1の動きが手振れおよびパン/チルト動作のいずれに起因するかをAE/AF/動き評価回路16Lおよび16Rの各々から出力された部分動きベクトルに基づいて判別し、カメラ筐体CB1の動きが手振れに起因するときに全体動きベクトルに沿ってL側抽出エリアEX_LおよびR側抽出エリアEX_Rを移動させる。
【0043】
L側抽出エリアEX_LおよびR側抽出エリアEX_Rの各々の位置は、手振れに起因するカメラ筐体CB1の動きが補償(相殺)されるように変更される。カメラ筐体CB1に手振れが生じたとき、L側抽出エリアEX_Lは図8(A)の下側に示す要領でL側画像エリア22L上を移動し、R側抽出エリアEX_Rは図8(B)の下側に示す要領でR側画像エリア22R上を移動する。なお、このような手振れ補正は、撮像タスクと並列する補正タスクの下で実行される。
【0044】
キー入力装置36に設けられたムービボタン36mvが操作されると、CPU34は、動画記録処理の実行を撮像タスクの下でメモリI/F30に命令する。メモリI/F30は、新規の動画ファイルを記録媒体32に作成し(作成した動画ファイルはオープンされる)、SDRAM22の合成画像エリア22Cに格納された合成画像データをメモリ制御回路20を通して繰り返し読み出し、そして読み出された合成画像データをオープン状態の動画ファイルに収める。
【0045】
ムービボタン36mvが再度操作されると、CPU34は、動画記録処理の停止を撮像タスクの下でメモリI/F30に命令する。メモリI/F30は、合成画像エリア22Cからの合成画像データの読み出しを終了し、オープン状態の動画ファイルをクローズする。これによって、共通視野VF_Cを継続的に表す動画像がファイル形式で記録媒体32に記録される。
【0046】
上述のように、撮像装置123LはCMOS型を採用し、ドライバ126Lはフォーカルプレーン電子シャッタ方式でL側撮像面を露光する。このため、SDRAM34に格納されたL側画像データには、カメラ筐体CB1の水平移動に起因して水平方向のフォーカルプレーン歪が発生し(図9参照)、カメラ筐体CB1の垂直移動に起因して垂直方向のフォーカルプレーン歪が発生する(図11参照)。
【0047】
CPU34は、水平方向および/または垂直方向に発生したフォーカルプレーン歪みを補正タスクの下で補正するべく、AE/AF/動き検出回路16Lから出力された部分動きベクトルに基づいて以下の処理を実行する。
【0048】
水平方向のフォーカルプレーン歪が発生したときは、L側抽出エリアEX_Lを表す矩形の右辺および左辺の傾斜量が図10(A)〜図10(D)に示す要領で変更される。
【0049】
具体的には、カメラ筐体CB1が右方向に移動すると、L側撮像面の露光タイミングは図10(A)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて、図10(A)の右側に示す要領で傾斜される。カメラ筐体CB1が左方向に移動すると、L側撮像面の露光タイミングは図10(B)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図10(B)の右側に示す要領で傾斜される。
【0050】
カメラ筐体CB1の移動方向が右から左に反転すると、L側撮像面の露光タイミングは図10(C)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図10(C)の右側に示す要領で傾斜される。カメラ筐体CB1の移動方向が左から右に反転すると、撮像面の露光タイミングは図10(D)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図10(D)の右側に示す要領で傾斜される。
【0051】
垂直方向のフォーカルプレーン歪が発生したときは、L側抽出エリアEX_Lの垂直サイズが図12(A)〜図12(B)の左側に示す要領で縮小または拡大され、L側抽出エリアEX_Lに属するL側画像データの垂直サイズが図12(A)〜図12(B)の右側に示す要領で拡大または縮小される。
【0052】
カメラ筐体CB1が下方向に移動すると、L側画像データによって表現された画像が垂直方向に縮小される。L側抽出エリアEX_Lの垂直サイズは、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図12(A)の左側に示す要領で縮小される。また、抽出エリアEX_Lから切り出されたL側画像データの垂直サイズは、後述するVズーム回路42(図13参照)によって図12(A)の右側に示す要領で拡大される。
【0053】
カメラ筐体CB1が上方向に移動すると、L側画像データによって表現された画像が垂直方向に拡大される。L側抽出エリアEX_Lの垂直サイズは、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図12(B)の左側に示す要領で拡大される。また、抽出エリアEX_Lから切り出されたL側画像データの垂直サイズは、Vズーム回路42によって図12(B)の右側に示す要領で縮小される。
【0054】
なお、Vズーム回路42の倍率つまりVズーム係数は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて算出される。
【0055】
画像合成回路24は、図13に示すように構成される。バッファ回路40Lは、L側画像エリア22Lに割り当てられたL側抽出エリアEX_Lに属するL側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路20に向けて繰り返し発行する。同様に、バッファ回路40Rは、R側画像エリア22Rに割り当てられたR側抽出エリアEX_Rに属するR側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路20に向けて繰り返し発行する。
【0056】
メモリ制御回路20は、バッファ回路40Lから発行された読み出し要求に従う一部のL側画像データをL側画像エリア22Lから読み出し、読み出されたL側画像データをバッファ回路40Lに与える。メモリ制御回路20はまた、バッファ回路40Rから発行された読み出し要求に従う一部のR側画像データをR側画像エリア22Rから読み出し、読み出されたR側画像データをバッファ回路40Rに与える。
【0057】
こうして部分量ずつ与えられたL側画像データおよびR側画像データは、バッファ回路40Lおよび40Rから連続的に出力される。バッファ回路40Lから出力されたL側画像データはVズーム回路42に与えられ、Vズーム係数を参照した拡大/縮小処理を施される。
【0058】
L側撮像面およびR側撮像面の各々に設けられた画素の数および感度は、上述のように相違する。したがって、図4に示すシーンが捉えられたとき、Vズーム回路42から出力されたL側画像データは図14(A)に示すサイズおよび明るさを有し、バッファ回路40Rから出力されたR側画像データは図15(A)に示すサイズおよび明るさを有する。
【0059】
スケーラ44は、Vズーム回路42から出力されたL側画像データに拡大処理を施し、R側画像データのサイズと同じサイズを有する拡大画像データを作成する。拡大画像データは、図14(A)に示すL側画像データに基づいて図14(B)に示す要領で作成される。一方、増幅器46は、バッファ回路40Rから出力されたR側画像データを増幅し、L側画像データの明るさと同じ明るさを有する増幅画像データを作成する。増幅画像データは、図15(A)に示すR側画像データに基づいて図15(B)に示す要領で作成される。
【0060】
LPF48は、増幅器46から出力された増幅画像データから低域周波数成分を抽出し、抽出された低域周波数成分つまり低周波画像データを減算器50および加重加算回路52に与える。減算器50および加重加算回路52には、スケーラ44から出力された拡大画像データも与えられる。
【0061】
なお、増幅器46はノイズも増幅するため、低周波画像データのS/N比は拡大画像データのS/N比よりも低い。ただし、LPF48によって高域周波数成分が除去されるとは言え、低周波画像データが有するエッジ成分量は拡大画像データが有するエッジ成分量よりも多い。
【0062】
減算器50は、このような低周波画像データおよび拡大画像データの間の差分絶対値を画素毎に算出し、算出された差分絶対値を加重加算回路52に入力する。加重加算回路52は、入力された差分絶対値を図16に示すグラフに適用して重み付け量αを決定し、決定された重み付け量αに従う加重加算処理(合成処理)を数1に示す要領で実行する。
[数1]
Pcp1=Pscl*α+Plpf×(1−α)
α:重み付け量
Pscl:拡大画像データを形成する画素の値
Plpf:低周波画像データを形成する画素の値
Pcp1:中間合成画像データを形成する画素の値
【0063】
数1によれば、拡大画像データを形成する画素の値のα倍の値と低周波画像データを形成する画素の値の(1−α)倍の値とが互いに加算される。ここで、重み付け量αの値は、差分絶対値の増大に伴って減少するように“0”〜“1”の間で変化する(図16参照)。
【0064】
したがって、平坦部を形成する画素については、S/N比が高い拡大画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が大きい低周波画像データが重視されるように加重加算処理が実行される。
【0065】
カメラ筐体CB1の手振れに起因してL側画像データに現れたフォーカルプレーン歪みは、図10(A)〜図10(D)および図12(A)〜図12(B)に示すL側抽出エリアEX_Lの変形とVズーム回路42のズーム係数の調整とによって補正できる。しかし、共通視野VF_Cに属する物体自身の動きに起因するフォーカルプレーン歪み(たとえばボールの回転に起因するボールの模様の歪み)は、L側抽出エリアEX_Lの変形およびズーム係数の調整によっては補正できない。
【0066】
ただし、物体自身の動きに起因するフォーカルプレーン歪みはエッジ部分において目立つため、数2に従う加重加算処理を実行することで、物体自体の動きに起因するフォーカルプレーン歪みが抑制された中間合成画像データが得られる。つまり、中間合成画像データは、S/N比が改善され、エッジがある程度鮮明で、そしてフォーカルプレーン歪みが抑制された画像データとなる。
【0067】
増幅器46から出力された増幅画像データおよび加重加算回路52から出力された中間合成画像データは、加重加算回路56に与えられる。また、エッジ検出回路54は、LPF48から出力された低周波画像データのエッジ強度を検出し、検出されたエッジ強度を加重加算回路56に入力する。加重加算回路56は、エッジ検出回路54から入力されたエッジ強度を図17に示すグラフに適用して重み付け量βを決定し、決定された重み付け量βに従う加重加算処理(合成処理)を数2に示す要領で実行する。
[数2]
Pcp2=Pamp*β+Pcp1×(1−β)
β:重み付け量
Pamp:増幅画像データを形成する画素の値
Pcp2:最終合成画像データを形成する画素の値
【0068】
数2によれば、増幅画像データを形成する画素の値のβ倍の値と中間合成画像データを形成する画素の値の(1−β)倍の値とが互いに加算される。ここで、重み付け量βの値は、エッジ強度の増大に伴って増大するように“0”〜“1”の間で変化する(図17参照)。
【0069】
したがって、平坦部を形成する画素については、S/N比が高い中間合成画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が多い増幅画像データが重視されるように加重加算処理が実行される。上述のように、増幅画像データは、フォーカルプレーン歪みが発生し得ない画像データである。したがって、数2に従う加重加算処理を実行することで、S/N比が改善されかつエッジが鮮明で、さらに物体自身の動きに起因するフォーカルプレーン歪みが抑制された最終合成画像データが得られる。
【0070】
バッファ回路58は、こうして作成された合成画像データをSDRAM22の合成画像エリア22Cに部分量ずつ書き込むべく、部分量の合成画像データと書き込み要求とをメモリ制御回路20に向けて繰り返し出力する。合成画像データは、メモリ制御回路20によって合成画像エリア22Cに書き込まれる。
【0071】
CPU34は、図18に示す撮像タスクおよび図19に示す補正タスクを含む複数のタスクをマルチタスクOSの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ38に記憶される。
【0072】
図18を参照して、ステップS1では光学/撮像系12Lおよび12Rを起動する。この結果、L側画像データがSDRAM22のL側画像エリア22Lに書き込まれ、R側画像データがSDRAM22のR側画像エリア22Rに書き込まれ、そして合成画像データがSDRAM22の合成画像エリア22Cに書き込まれる。LCDモニタ28には、合成画像データに基づくスルー画像が表示される。
【0073】
ステップS3ではAE処理を実行し、ステップS5ではAF処理を実行する。この結果、L側画像データおよびR側画像データの輝度および鮮鋭度が適正に調整される。ステップS7ではムービボタン36mvが操作されたか否かを判別し、判別結果がNOであればステップS3に戻る一方、判別結果がYESであればステップS9に進む。
【0074】
ステップS9では動画記録処理が実行中であるか否かを判別し、判別結果がYESであればステップS11で動画記録処理を開始する一方、判別結果がNOであればステップS13で動画記録処理を中止する。ステップS11またはS13の処理が完了すると、ステップS3に戻る。ステップS11およびS13の処理の結果、ムービボタン36mvの1回目の操作から2回目の操作までの期間に作成された合成画像データが動画ファイル形式で記録媒体30に記録される。
【0075】
図19を参照して、ステップS21ではL側抽出エリアEX_LおよびR側抽出エリアEX_Rの配置を初期化する。ステップS23では、垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、AE/AF/動き評価回路16Lから出力された部分動きベクトルをステップS25で取得し、AE/AF/動き評価回路16Rから出力された部分動きベクトルをステップS27で取得する。
【0076】
ステップS29では、ステップS27で取得された部分動きベクトルを参照してL側抽出エリアEX_Lを変形する。ステップS31では、ステップS27で取得された部分動きベクトルの垂直成分を参照してズーム回路42のズーム係数を調整する。これによって、フォーカルプレーン歪みが補正される。
【0077】
ステップS33では、現時点のカメラ筐体CB1の動きがパン/チルト動作に起因するものであるか否かを、ステップS25〜S27で取得された部分動きベクトルに基づいて判別する。判別結果がYESであればそのままステップS23に戻り、判別結果がNOであればステップS35の処理を経てステップS23に戻る。ステップS35では、カメラ筐体CB1の動きが補償されるように、L側抽出エリアEX_LおよびR側抽出エリアEX_Rを移動させる。これによって、手振れが補正される。
【0078】
以上の説明から分かるように、CMOS型の撮像装置123Lは左側視野VF_Lを捉えるL側撮像面を有し、CCD型の撮像装置123Rは左側視野F_Lと部分的に共通する右側視野VF_Rを捉えるR側撮像面を有する。ドライバ126LはL側撮像面上の複数の位置を互いに異なるタイミングで露光し、ドライバ126RはR側撮像面上の複数の位置を同時に露光する。CPU34は、ドライバ126Lの露光に対応して撮像装置123Lから出力されたL側画像をL側撮像面の動きを参照して補正する(S29~S31)。画像合成回路24は、CPU34によって補正されたL側画像をドライバ126Rの露光に対応して撮像装置123Rから出力されたR側画像を参照して補正する。
【0079】
L側撮像面上の複数の位置は互いに異なるタイミングで露光されるため、L側撮像面の動きに起因する歪みと左側視野VF_Lに存在する物体の動きに起因する歪みとがL側画像に現れる。これに対して、R側撮像面上の複数の位置は同時に露光されるため、L側画像に現れた歪みに相当する歪みがR側画像に現れることはない。L側撮像面の動きに起因する歪みはL側撮像面の動きを参照して補正され、物体の動きに起因する歪みはR側画像を参照して補正される。これによって、L側画像に現れた歪みを補正する性能が向上する。
【0080】
なお、この実施例では、共通視野VF_Cに存在する物体の動きの起因するフォーカルプレーン歪みを画像合成回路24によって補正するようにしている。しかし、画像合成回路24を用いると、R側画像データに現れたスミアをL側画像データによって抑制することもできる。この場合、好ましくは、LPF48と同じ特性を示すLPF60がスケーラ44の後段に追加される(図20参照)。また、この実施例では、動画像を記録するビデオカメラを想定しているが、この発明はシャッタボタンの操作に応答して静止画像を記録するスチルカメラにも適用できる。
【符号の説明】
【0081】
10 …ディジタルビデオカメラ
12L,12R …光学/撮像系
14L,14R …信号処理回路
16L,16R …AE/AF/動き評価回路
24 …画像合成回路
34 …CPU
【技術分野】
【0001】
この発明は、電子カメラに関し、特にフォーカルプレーン電子シャッタ方式を採用するイメージセンサによってシーンを捉える、電子カメラに関する。
【背景技術】
【0002】
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、画像信号は、CMOS型イメージセンサから出力される。補間処理部は、補正対象フレームの画像信号と補正対象フレームの前後の2フレームの画像信号とが供給される。補間処理部にはまた、走査線(画素行)の位置に対応した数値を示す補間係数が供給される。補間処理部は、補正対象フレームの基準時点(たとえばN本の走査線の略中心に位置する走査線nの露光タイミング)に対応した各画素位置の画素データを、線形補間によって生成する。補間処理部からは、フォーカルプレーン歪みを抑圧するように補正された画像信号が出力される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−284001号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、動きの速いオブジェクトが存在する場合に補間処理部の動作が停止される。このため、歪み補正性能に限界がある。
【0005】
それゆえに、この発明の主たる目的は、画像に現れた歪みを補正する性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、第1視野を捉える第1撮像面を有する第1撮像手段(123L)、第1視野と共通する第2視野を捉える第2撮像面を有する第2撮像手段(123R)、第1撮像面上の複数の位置を互いに異なるタイミングで露光する第1露光手段(126L)、第2撮像面上の複数の位置を同時に露光する第2露光手段(126R)、第1露光手段の露光に対応して第1撮像手段から出力された第1画像を第1撮像面の動きを参照して補正する第1補正手段(S29~S31, 20, 42)、および第1補正手段によって補正された第1画像を第2露光手段の露光に対応して第2撮像手段から出力された第2画像を参照して補正する第2補正手段(24)を備える。
【0007】
好ましくは、第1補正手段の補正のために第1露光手段の露光と並列して第1撮像面の動きを検出する検出手段(16L, S25)がさらに備えられる。
【0008】
好ましくは、第2補正手段は、共通視野に属する第1部分画像を第1画像から抽出する第1抽出手段(40L, 44)、共通視野に属する第2部分画像を第2画像から抽出する第2抽出手段(40R, 46)、および第1抽出手段によって抽出された第1部分画像と第2抽出手段によって抽出された第2部分画像とを合成する合成手段(48~58)を含む。
【0009】
さらに好ましくは、合成手段は、第2部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段(48)、およびフィルタ手段から出力された低周波画像と第1部分画像とを合成して第1合成画像を出力する第1合成画像出力手段(50~52)を含む。
【0010】
或る局面では、第1合成画像出力手段は、低周波画像と第1部分画像との差分を検出する差分検出手段(50)、および差分検出手段によって検出された差分が小さいほど第1部分画像に対する重み付けが増大する態様で低周波画像と第1部分画像とに加重加算を施す第1加重加算手段(52)を含む。
【0011】
他の局面では、合成手段は第1合成画像出力手段から出力された第1合成画像と第2部分画像とを合成して第2合成画像を出力する第2合成画像出力手段(54~56)をさらに含む。
【0012】
より好ましくは、第2合成処理手段は、低周波画像からエッジ成分を検出するエッジ成分検出手段(54)、およびエッジ成分検出手段によって検出されたエッジ成分が大きいほど第2部分画像に対する重み付けが増大する態様で第1合成画像と第2部分画像とに加重加算を施す第2加重加算手段(56)を含む。
【0013】
好ましくは、第1撮像面は第1数の画素を有し、第2撮像面は第1数よりも大きい第2数の画素を有し、第1抽出手段は画像サイズを拡大する拡大手段(44)を含む。
【0014】
好ましくは、第1撮像面は第1感度を有し、第2撮像面は第1感度よりも小さい第2感度を有し、第2抽出手段は画像の明るさを増幅する増幅手段(46)を含む。
【発明の効果】
【0015】
この発明によれば、第1撮像面上の複数の位置は互いに異なるタイミングで露光されるため、第1撮像面の動きに起因する歪みと第1視野に存在する物体の動きに起因する歪みとが第1画像に現れる。これに対して、第2撮像面上の複数の位置は同時に露光されるため、第1画像に現れた歪みに相当する歪みが第2画像に現れることはない。第1撮像面の動きに起因する歪みは第1撮像面の動きを参照して補正され、物体の動きに起因する歪みは第2画像を参照して補正される。これによって、第1画像に現れた歪みを補正する性能が向上する。
【0016】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0017】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】図2実施例の外観を示す斜視図である。
【図4】図2実施例によって捉えられるシーンの一例を示す図解図である。
【図5】(A)は図2実施例に適用されるSDRAMに割り当てられたL側抽出エリアの分布状態の一例を示す図解図であり、(B)は図2実施例に適用されるSDRAMに割り当てられたR側抽出エリアの分布状態の一例を示す図解図である。
【図6】図2実施例に適用される光学/撮像系の構成の一例を示す図解図である。
【図7】撮像面に割り当てられた評価エリアおよび動き検出ブロックの分布状態の一例を示す図解図である。
【図8】(A)はL側画像データに対する手振れ補正処理の一例を示す図解図であり、(B)はR側画像データに対する手振れ補正処理の一例を示す図解図である。
【図9】図2実施例における撮像動作の一例を示す図解図である。
【図10】(A)は水平方向におけるフォーカルプレーン歪みを補正する処理の一例を示す図解図であり、(B)は水平方向におけるフォーカルプレーン歪みを補正する処理の他の一例を示す図解図であり、(C)は水平方向におけるフォーカルプレーン歪みを補正する処理のその他の一例を示す図解図であり、(D)は水平方向におけるフォーカルプレーン歪みを補正する処理のさらにその他の一例を示す図解図である。
【図11】図2実施例における撮像動作の他の一例を示す図解図である。
【図12】(A)は垂直方向におけるフォーカルプレーン歪みを補正する処理の一例を示す図解図であり、(B)は垂直方向におけるフォーカルプレーン歪みを補正する処理の他の一例を示す図解図である。
【図13】図2実施例に適用される画像合成回路の構成の一例を示すブロック図である。
【図14】(A)はL側画像データの一例を示す図解図であり、(B)は拡大画像データの一例を示す図解図である。
【図15】(A)はR側画像データの一例を示す図解図であり、(B)は増幅画像データの一例を示す図解図である。
【図16】加重加算回路によって参照される重み付け量αの特性の一例を示すグラフである。
【図17】他の加重加算回路によって参照される重み付け量βの特性の一例を示すグラフである。
【図18】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図20】図2実施例に適用される画像合成回路の構成の他の一例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0019】
図1を参照して、この実施例の電子カメラは、基本的に次のように構成される。第1撮像手段1は、第1視野を捉える第1撮像面を有する。第2撮像手段2は、第1視野と共通する第2視野を捉える第2撮像面を有する。第1露光手段3は、第1撮像面上の複数の位置を互いに異なるタイミングで露光する。第2露光手段4は、第2撮像面上の複数の位置を同時に露光する。第1補正手段5は、第1露光手段3の露光に対応して第1撮像手段1から出力された第1画像を第1撮像面の動きを参照して補正する。第2補正手段6は、第1補正手段5によって補正された第1画像を第2露光手段4の露光に対応して第2撮像手段2から出力された第2画像を参照して補正する。
【0020】
第1撮像面上の複数の位置は互いに異なるタイミングで露光されるため、第1撮像面の動きに起因する歪みと第1視野に存在する物体の動きに起因する歪みとが第1画像に現れる。これに対して、第2撮像面上の複数の位置は同時に露光されるため、第1画像に現れた歪みに相当する歪みが第2画像に現れることはない。第1撮像面の動きに起因する歪みは第1撮像面の動きを参照して補正され、物体の動きに起因する歪みは第2画像を参照して補正される。これによって、第1画像に現れた歪みを補正する性能が向上する。
[実施例]
【0021】
図2を参照して、この実施例のディジタルビデオカメラ10は、光学/撮像系12Lおよび12Rを含む。電源が投入されると、CPU34によって実行される撮像タスクの下で、光学/撮像系12Lおよび12Rが起動される。光学/撮像系12Lおよび12Rは、SG(Signal Generator)18から周期的に出力される垂直同期信号Vsyncに応答して、生画像データを繰り返し出力する。以下では、光学/撮像系12Lから出力される生画像データを“L側生画像データ”と定義し、光学/撮像系12Rから出力される生画像データを“R側生画像データ”と定義する。
【0022】
図3に示すように、光学/撮像系12Lおよび12Rは、カメラ筐体CB1の前面に固定的に設けられる。光学/撮像系12Lはカメラ筐体CB1の前方に向かって左側に位置し、光学/撮像系12Rはカメラ筐体CB1の前方に向かって右側に位置する。
【0023】
光学/撮像系12Lおよび12Rはそれぞれ光軸AX_LおよびAX_Rを有し、カメラ筐体CB1の底面から光軸AX_Lまでの距離(=H_L)はカメラ筐体CB1の底面から光軸AX_Rまでの距離(=H_R)と一致する。また、水平方向における光軸AX_LおよびAX_Rの間隔(=W1)は、人間の両目の間隔を考慮して6cm程度に設定される。
【0024】
したがって、カメラ筐体CB1の前方に図4に示すシーンが広がっているとき、光学/撮像系12Lは左側視野VF_Lを捉える一方、光学/撮像系12Rは右側視野VF_Rを捉える。光学/撮像系12Lおよび12Rはカメラ筐体CB1において互いに同じ高さ位置に設けられるため、左側視野VF_Lおよび右側視野VF_Rの水平位置は僅かにずれるものの、左側視野VF_Lおよび右側視野VF_Rの垂直位置は互いに一致する。この結果、光学/撮像系12Lおよび12Rの両方で捉えられる共通視野VF_Cが、左側視野VF_Lおよび右側視野VF_Rの各々に部分的に出現する。
【0025】
図2に戻って、光学/撮像系12Lから出力されたL側生画像データは信号処理回路14Lに与えられ、光学/撮像系12Rから出力されたR側生画像データは信号処理回路14Rに与えられる。信号処理回路14Lおよび14Rはいずれも、与えられた生画像データに色分離,白バランス調整,YUV変換などの処理を施し、YUV形式の画像データをメモリ制御回路20を通してSDRAM22に書き込む。信号処理回路14Lから出力された画像データ(L側画像データ)はL側画像エリア22Lに格納され、信号処理回路14Rから出力された画像データ(R側画像データ)はR側画像エリア22Rに格納される。
【0026】
メモリ制御回路20は、L側抽出エリアEX_Lを図5(A)に示す要領でL側画像エリア22Lに割り当て、L側抽出エリアEX_Rを図5(B)に示す要領でR側画像エリア22Rに割り当てる。後段で詳述するように、L側抽出エリアEX_LおよびR側抽出エリアEX_Rはいずれも共通視野VF_Cに属し、L側抽出エリアEX_Lに相当する視野はR側抽出エリアEX_Rに相当する視野と一致する。
【0027】
画像合成回路24は、L側抽出エリアEX_Lに属する一部のL側画像データをメモリ制御回路20を通してL側画像エリア22Lから繰り返し読み出し、R側抽出エリアEX_Rに属する一部のR側画像データをメモリ制御回路20を通してR側画像エリア22Rから繰り返し読み出す。
【0028】
L側画像エリア22Lからの読み出し処理およびR側画像エリア22Rからの読み出し処理は並列的に実行され、これによって共通するフレームのL側画像データおよびR側画像データが同時に画像合成回路24に入力される。画像合成回路24は、こうして入力されたL側画像データおよびR側画像データを合成し、合成画像データを作成する。作成された各フレームの合成画像データは、メモリ制御回路20を通してSDRAM22の合成画像エリア22Cに書き込まれる。
【0029】
LCDドライバ26は、合成画像エリア22Cに格納された合成画像データをメモリ制御回路20を通して繰り返し読み出し、読み出された合成画像データに基づいてLCDモニタ28を駆動する。この結果、L側抽出エリアEX_LおよびR側抽出エリアEX_Rに相当する視野を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0030】
図6を参照して、光学/撮像系12Lは、ドライバ124L,125Lおよび126Lによってそれぞれ駆動されるフォーカスレンズ121L,絞り機構122Lおよび撮像装置123Lを備える。同様に、光学/撮像系12Rは、ドライバ124R,125Rおよび126Rによってそれぞれ駆動されるフォーカスレンズ121R,絞り機構122Rおよび撮像装置123Rを有する。
【0031】
左側視野VF_Lを表す光学像は、フォーカスレンズ121Lおよび絞り機構122Lを経由して撮像装置123Lの撮像面つまりL側撮像面に照射される。ドライバ126Lは、SG18から与えられた垂直同期信号Vsyncに応答してL側撮像面を露光し、L側撮像面に2次元に配列された複数の画素で生成された電荷をラスタ走査態様で読み出す。L側生画像データは、読み出された電荷に基づいて作成される。
【0032】
右側視野VF_Rを表す光学像は、フォーカスレンズ121Rおよび絞り機構122Rを経由して撮像装置123Rの撮像面つまりR側撮像面に照射される。ドライバ126Rもまた、SG18から与えられた垂直同期信号Vsyncに応答してR側撮像面を露光し、R側撮像面に2次元に配列された複数の画素で生成された電荷をラスタ走査態様で読み出す。R側生画像データは、読み出された電荷に基づいて作成される。
【0033】
ここで、撮像装置123LはCMOS型の撮像装置に相当し、ドライバ126LはL側撮像面の露光タイミングが水平画素列によって異なるように(フォーカルプレーン電子シャッタ方式で)L側撮像面を露光する。これに対して、撮像装置123RはCCD型の撮像装置に相当し、ドライバ126RはR側撮像面の露光タイミングが水平画素列間で一致するようにR側撮像面を露光する。
【0034】
また、R側撮像面に設けられた各画素のサイズは、L側撮像面に設けられた各画素のサイズよりも小さい。したがって、R側撮像面の感度はL側撮像面の感度よりも低く、R側生画像データのS/N比はL側生画像データのS/N比よりも低い。
【0035】
さらに、R側撮像面に設けられた画素の数は、L側撮像面に設けられた画素の数よりも大きい。したがって、R側生画像データの解像度は、L側生画像データの解像度よりも高い。また、共通視野VF_Cに注目したとき、R側生画像データのエッジ成分量は、L側生画像データのエッジ成分量よりも多い。
【0036】
L側撮像面およびR側撮像面の各々には、評価エリアEVAおよび動き検出ブロックMD_1〜MD_9が図7に示す要領で割り当てられる。評価エリアEVAは、各撮像面の中央に配置される。また、動き検出エリアMD1〜MD3は各撮像面の上段に水平方向に並ぶように配置され、動き検出エリアMD4〜MD6は各撮像面の中段に水平方向に並ぶように配置され、そして動き検出エリアMD7〜MD9は各撮像面の下段に水平方向に並ぶように配置される。
【0037】
図2に示すAE/AF/動き評価回路16Lは、左側視野VF_Lを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路14Lによって生成されたL側画像データのうち評価エリアEVAに属する一部のL側画像データに基づいて繰り返し作成する。
【0038】
同様に、AE/AF/動き評価回路16Rは、右側視野VF_Rを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路14Rによって生成されたR側画像データのうち評価エリアEVAに属する一部のR側画像データに基づいて繰り返し作成する。
【0039】
AE/AF/動き評価回路16Lはまた、動き検出ブロックMD1〜MD9の各々におけるシーンの動きを表す部分動きベクトルを、信号処理回路14Lによって生成されたL側画像データに基づいて繰り返し検出する。同様に、AE/AF/動き評価回路16Rは、動き検出ブロックMD1〜MD9の各々におけるシーンの動きを表す部分動きベクトルを、信号処理回路14Rによって生成されたR側画像データに基づいて繰り返し検出する。
【0040】
CPU34は、AE/AF/動き評価回路16Lおよび16Rの各々から出力された輝度評価値に基づくAE処理を撮像タスクの下で実行し、適正EV値を算出する。算出された適正EV値を定義する絞り量はドライバ125Lおよび125Rに設定され、算出された適正EV値を定義する露光時間はドライバ126Lおよび126Rに設定される。この結果、信号処理回路14Lおよび14Rからそれぞれ出力されるL側画像データおよびR側画像データの輝度が適正に調整される。
【0041】
CPU34はまた、AE/AF/動き評価回路16Lおよび16Rの各々から出力されたフォーカス評価値に基づくAF処理を撮像タスクの下で実行する。ドライバ124Lおよび124Rは、CPU34の制御の下でフォーカスレンズ121Lおよび121Rを合焦点が存在する方向に移動させる。この結果、信号処理回路14Lおよび14Rからそれぞれ出力されるL側画像データおよびR側画像データの鮮鋭度が適正に調整される。
【0042】
CPU34はさらに、カメラ筐体CB1の動きが手振れおよびパン/チルト動作のいずれに起因するかをAE/AF/動き評価回路16Lおよび16Rの各々から出力された部分動きベクトルに基づいて判別し、カメラ筐体CB1の動きが手振れに起因するときに全体動きベクトルに沿ってL側抽出エリアEX_LおよびR側抽出エリアEX_Rを移動させる。
【0043】
L側抽出エリアEX_LおよびR側抽出エリアEX_Rの各々の位置は、手振れに起因するカメラ筐体CB1の動きが補償(相殺)されるように変更される。カメラ筐体CB1に手振れが生じたとき、L側抽出エリアEX_Lは図8(A)の下側に示す要領でL側画像エリア22L上を移動し、R側抽出エリアEX_Rは図8(B)の下側に示す要領でR側画像エリア22R上を移動する。なお、このような手振れ補正は、撮像タスクと並列する補正タスクの下で実行される。
【0044】
キー入力装置36に設けられたムービボタン36mvが操作されると、CPU34は、動画記録処理の実行を撮像タスクの下でメモリI/F30に命令する。メモリI/F30は、新規の動画ファイルを記録媒体32に作成し(作成した動画ファイルはオープンされる)、SDRAM22の合成画像エリア22Cに格納された合成画像データをメモリ制御回路20を通して繰り返し読み出し、そして読み出された合成画像データをオープン状態の動画ファイルに収める。
【0045】
ムービボタン36mvが再度操作されると、CPU34は、動画記録処理の停止を撮像タスクの下でメモリI/F30に命令する。メモリI/F30は、合成画像エリア22Cからの合成画像データの読み出しを終了し、オープン状態の動画ファイルをクローズする。これによって、共通視野VF_Cを継続的に表す動画像がファイル形式で記録媒体32に記録される。
【0046】
上述のように、撮像装置123LはCMOS型を採用し、ドライバ126Lはフォーカルプレーン電子シャッタ方式でL側撮像面を露光する。このため、SDRAM34に格納されたL側画像データには、カメラ筐体CB1の水平移動に起因して水平方向のフォーカルプレーン歪が発生し(図9参照)、カメラ筐体CB1の垂直移動に起因して垂直方向のフォーカルプレーン歪が発生する(図11参照)。
【0047】
CPU34は、水平方向および/または垂直方向に発生したフォーカルプレーン歪みを補正タスクの下で補正するべく、AE/AF/動き検出回路16Lから出力された部分動きベクトルに基づいて以下の処理を実行する。
【0048】
水平方向のフォーカルプレーン歪が発生したときは、L側抽出エリアEX_Lを表す矩形の右辺および左辺の傾斜量が図10(A)〜図10(D)に示す要領で変更される。
【0049】
具体的には、カメラ筐体CB1が右方向に移動すると、L側撮像面の露光タイミングは図10(A)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて、図10(A)の右側に示す要領で傾斜される。カメラ筐体CB1が左方向に移動すると、L側撮像面の露光タイミングは図10(B)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図10(B)の右側に示す要領で傾斜される。
【0050】
カメラ筐体CB1の移動方向が右から左に反転すると、L側撮像面の露光タイミングは図10(C)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図10(C)の右側に示す要領で傾斜される。カメラ筐体CB1の移動方向が左から右に反転すると、撮像面の露光タイミングは図10(D)の左側に示す要領で変化する。L側抽出エリアEX_Lの右辺および左辺は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図10(D)の右側に示す要領で傾斜される。
【0051】
垂直方向のフォーカルプレーン歪が発生したときは、L側抽出エリアEX_Lの垂直サイズが図12(A)〜図12(B)の左側に示す要領で縮小または拡大され、L側抽出エリアEX_Lに属するL側画像データの垂直サイズが図12(A)〜図12(B)の右側に示す要領で拡大または縮小される。
【0052】
カメラ筐体CB1が下方向に移動すると、L側画像データによって表現された画像が垂直方向に縮小される。L側抽出エリアEX_Lの垂直サイズは、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図12(A)の左側に示す要領で縮小される。また、抽出エリアEX_Lから切り出されたL側画像データの垂直サイズは、後述するVズーム回路42(図13参照)によって図12(A)の右側に示す要領で拡大される。
【0053】
カメラ筐体CB1が上方向に移動すると、L側画像データによって表現された画像が垂直方向に拡大される。L側抽出エリアEX_Lの垂直サイズは、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて図12(B)の左側に示す要領で拡大される。また、抽出エリアEX_Lから切り出されたL側画像データの垂直サイズは、Vズーム回路42によって図12(B)の右側に示す要領で縮小される。
【0054】
なお、Vズーム回路42の倍率つまりVズーム係数は、AE/AF/動き評価回路16Lから出力された部分動きベクトルに基づいて算出される。
【0055】
画像合成回路24は、図13に示すように構成される。バッファ回路40Lは、L側画像エリア22Lに割り当てられたL側抽出エリアEX_Lに属するL側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路20に向けて繰り返し発行する。同様に、バッファ回路40Rは、R側画像エリア22Rに割り当てられたR側抽出エリアEX_Rに属するR側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路20に向けて繰り返し発行する。
【0056】
メモリ制御回路20は、バッファ回路40Lから発行された読み出し要求に従う一部のL側画像データをL側画像エリア22Lから読み出し、読み出されたL側画像データをバッファ回路40Lに与える。メモリ制御回路20はまた、バッファ回路40Rから発行された読み出し要求に従う一部のR側画像データをR側画像エリア22Rから読み出し、読み出されたR側画像データをバッファ回路40Rに与える。
【0057】
こうして部分量ずつ与えられたL側画像データおよびR側画像データは、バッファ回路40Lおよび40Rから連続的に出力される。バッファ回路40Lから出力されたL側画像データはVズーム回路42に与えられ、Vズーム係数を参照した拡大/縮小処理を施される。
【0058】
L側撮像面およびR側撮像面の各々に設けられた画素の数および感度は、上述のように相違する。したがって、図4に示すシーンが捉えられたとき、Vズーム回路42から出力されたL側画像データは図14(A)に示すサイズおよび明るさを有し、バッファ回路40Rから出力されたR側画像データは図15(A)に示すサイズおよび明るさを有する。
【0059】
スケーラ44は、Vズーム回路42から出力されたL側画像データに拡大処理を施し、R側画像データのサイズと同じサイズを有する拡大画像データを作成する。拡大画像データは、図14(A)に示すL側画像データに基づいて図14(B)に示す要領で作成される。一方、増幅器46は、バッファ回路40Rから出力されたR側画像データを増幅し、L側画像データの明るさと同じ明るさを有する増幅画像データを作成する。増幅画像データは、図15(A)に示すR側画像データに基づいて図15(B)に示す要領で作成される。
【0060】
LPF48は、増幅器46から出力された増幅画像データから低域周波数成分を抽出し、抽出された低域周波数成分つまり低周波画像データを減算器50および加重加算回路52に与える。減算器50および加重加算回路52には、スケーラ44から出力された拡大画像データも与えられる。
【0061】
なお、増幅器46はノイズも増幅するため、低周波画像データのS/N比は拡大画像データのS/N比よりも低い。ただし、LPF48によって高域周波数成分が除去されるとは言え、低周波画像データが有するエッジ成分量は拡大画像データが有するエッジ成分量よりも多い。
【0062】
減算器50は、このような低周波画像データおよび拡大画像データの間の差分絶対値を画素毎に算出し、算出された差分絶対値を加重加算回路52に入力する。加重加算回路52は、入力された差分絶対値を図16に示すグラフに適用して重み付け量αを決定し、決定された重み付け量αに従う加重加算処理(合成処理)を数1に示す要領で実行する。
[数1]
Pcp1=Pscl*α+Plpf×(1−α)
α:重み付け量
Pscl:拡大画像データを形成する画素の値
Plpf:低周波画像データを形成する画素の値
Pcp1:中間合成画像データを形成する画素の値
【0063】
数1によれば、拡大画像データを形成する画素の値のα倍の値と低周波画像データを形成する画素の値の(1−α)倍の値とが互いに加算される。ここで、重み付け量αの値は、差分絶対値の増大に伴って減少するように“0”〜“1”の間で変化する(図16参照)。
【0064】
したがって、平坦部を形成する画素については、S/N比が高い拡大画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が大きい低周波画像データが重視されるように加重加算処理が実行される。
【0065】
カメラ筐体CB1の手振れに起因してL側画像データに現れたフォーカルプレーン歪みは、図10(A)〜図10(D)および図12(A)〜図12(B)に示すL側抽出エリアEX_Lの変形とVズーム回路42のズーム係数の調整とによって補正できる。しかし、共通視野VF_Cに属する物体自身の動きに起因するフォーカルプレーン歪み(たとえばボールの回転に起因するボールの模様の歪み)は、L側抽出エリアEX_Lの変形およびズーム係数の調整によっては補正できない。
【0066】
ただし、物体自身の動きに起因するフォーカルプレーン歪みはエッジ部分において目立つため、数2に従う加重加算処理を実行することで、物体自体の動きに起因するフォーカルプレーン歪みが抑制された中間合成画像データが得られる。つまり、中間合成画像データは、S/N比が改善され、エッジがある程度鮮明で、そしてフォーカルプレーン歪みが抑制された画像データとなる。
【0067】
増幅器46から出力された増幅画像データおよび加重加算回路52から出力された中間合成画像データは、加重加算回路56に与えられる。また、エッジ検出回路54は、LPF48から出力された低周波画像データのエッジ強度を検出し、検出されたエッジ強度を加重加算回路56に入力する。加重加算回路56は、エッジ検出回路54から入力されたエッジ強度を図17に示すグラフに適用して重み付け量βを決定し、決定された重み付け量βに従う加重加算処理(合成処理)を数2に示す要領で実行する。
[数2]
Pcp2=Pamp*β+Pcp1×(1−β)
β:重み付け量
Pamp:増幅画像データを形成する画素の値
Pcp2:最終合成画像データを形成する画素の値
【0068】
数2によれば、増幅画像データを形成する画素の値のβ倍の値と中間合成画像データを形成する画素の値の(1−β)倍の値とが互いに加算される。ここで、重み付け量βの値は、エッジ強度の増大に伴って増大するように“0”〜“1”の間で変化する(図17参照)。
【0069】
したがって、平坦部を形成する画素については、S/N比が高い中間合成画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が多い増幅画像データが重視されるように加重加算処理が実行される。上述のように、増幅画像データは、フォーカルプレーン歪みが発生し得ない画像データである。したがって、数2に従う加重加算処理を実行することで、S/N比が改善されかつエッジが鮮明で、さらに物体自身の動きに起因するフォーカルプレーン歪みが抑制された最終合成画像データが得られる。
【0070】
バッファ回路58は、こうして作成された合成画像データをSDRAM22の合成画像エリア22Cに部分量ずつ書き込むべく、部分量の合成画像データと書き込み要求とをメモリ制御回路20に向けて繰り返し出力する。合成画像データは、メモリ制御回路20によって合成画像エリア22Cに書き込まれる。
【0071】
CPU34は、図18に示す撮像タスクおよび図19に示す補正タスクを含む複数のタスクをマルチタスクOSの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ38に記憶される。
【0072】
図18を参照して、ステップS1では光学/撮像系12Lおよび12Rを起動する。この結果、L側画像データがSDRAM22のL側画像エリア22Lに書き込まれ、R側画像データがSDRAM22のR側画像エリア22Rに書き込まれ、そして合成画像データがSDRAM22の合成画像エリア22Cに書き込まれる。LCDモニタ28には、合成画像データに基づくスルー画像が表示される。
【0073】
ステップS3ではAE処理を実行し、ステップS5ではAF処理を実行する。この結果、L側画像データおよびR側画像データの輝度および鮮鋭度が適正に調整される。ステップS7ではムービボタン36mvが操作されたか否かを判別し、判別結果がNOであればステップS3に戻る一方、判別結果がYESであればステップS9に進む。
【0074】
ステップS9では動画記録処理が実行中であるか否かを判別し、判別結果がYESであればステップS11で動画記録処理を開始する一方、判別結果がNOであればステップS13で動画記録処理を中止する。ステップS11またはS13の処理が完了すると、ステップS3に戻る。ステップS11およびS13の処理の結果、ムービボタン36mvの1回目の操作から2回目の操作までの期間に作成された合成画像データが動画ファイル形式で記録媒体30に記録される。
【0075】
図19を参照して、ステップS21ではL側抽出エリアEX_LおよびR側抽出エリアEX_Rの配置を初期化する。ステップS23では、垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、AE/AF/動き評価回路16Lから出力された部分動きベクトルをステップS25で取得し、AE/AF/動き評価回路16Rから出力された部分動きベクトルをステップS27で取得する。
【0076】
ステップS29では、ステップS27で取得された部分動きベクトルを参照してL側抽出エリアEX_Lを変形する。ステップS31では、ステップS27で取得された部分動きベクトルの垂直成分を参照してズーム回路42のズーム係数を調整する。これによって、フォーカルプレーン歪みが補正される。
【0077】
ステップS33では、現時点のカメラ筐体CB1の動きがパン/チルト動作に起因するものであるか否かを、ステップS25〜S27で取得された部分動きベクトルに基づいて判別する。判別結果がYESであればそのままステップS23に戻り、判別結果がNOであればステップS35の処理を経てステップS23に戻る。ステップS35では、カメラ筐体CB1の動きが補償されるように、L側抽出エリアEX_LおよびR側抽出エリアEX_Rを移動させる。これによって、手振れが補正される。
【0078】
以上の説明から分かるように、CMOS型の撮像装置123Lは左側視野VF_Lを捉えるL側撮像面を有し、CCD型の撮像装置123Rは左側視野F_Lと部分的に共通する右側視野VF_Rを捉えるR側撮像面を有する。ドライバ126LはL側撮像面上の複数の位置を互いに異なるタイミングで露光し、ドライバ126RはR側撮像面上の複数の位置を同時に露光する。CPU34は、ドライバ126Lの露光に対応して撮像装置123Lから出力されたL側画像をL側撮像面の動きを参照して補正する(S29~S31)。画像合成回路24は、CPU34によって補正されたL側画像をドライバ126Rの露光に対応して撮像装置123Rから出力されたR側画像を参照して補正する。
【0079】
L側撮像面上の複数の位置は互いに異なるタイミングで露光されるため、L側撮像面の動きに起因する歪みと左側視野VF_Lに存在する物体の動きに起因する歪みとがL側画像に現れる。これに対して、R側撮像面上の複数の位置は同時に露光されるため、L側画像に現れた歪みに相当する歪みがR側画像に現れることはない。L側撮像面の動きに起因する歪みはL側撮像面の動きを参照して補正され、物体の動きに起因する歪みはR側画像を参照して補正される。これによって、L側画像に現れた歪みを補正する性能が向上する。
【0080】
なお、この実施例では、共通視野VF_Cに存在する物体の動きの起因するフォーカルプレーン歪みを画像合成回路24によって補正するようにしている。しかし、画像合成回路24を用いると、R側画像データに現れたスミアをL側画像データによって抑制することもできる。この場合、好ましくは、LPF48と同じ特性を示すLPF60がスケーラ44の後段に追加される(図20参照)。また、この実施例では、動画像を記録するビデオカメラを想定しているが、この発明はシャッタボタンの操作に応答して静止画像を記録するスチルカメラにも適用できる。
【符号の説明】
【0081】
10 …ディジタルビデオカメラ
12L,12R …光学/撮像系
14L,14R …信号処理回路
16L,16R …AE/AF/動き評価回路
24 …画像合成回路
34 …CPU
【特許請求の範囲】
【請求項1】
第1視野を捉える第1撮像面を有する第1撮像手段、
前記第1視野と共通する第2視野を捉える第2撮像面を有する第2撮像手段、
前記第1撮像面上の複数の位置を互いに異なるタイミングで露光する第1露光手段、
前記第2撮像面上の複数の位置を同時に露光する第2露光手段、
前記第1露光手段の露光に対応して前記第1撮像手段から出力された第1画像を前記第1撮像面の動きを参照して補正する第1補正手段、および
前記第1補正手段によって補正された第1画像を前記第2露光手段の露光に対応して前記第2撮像手段から出力された第2画像を参照して補正する第2補正手段を備える、電子カメラ。
【請求項2】
前記第1補正手段の補正のために前記第1露光手段の露光と並列して前記第1撮像面の動きを検出する検出手段をさらに備える、請求項1記載の電子カメラ。
【請求項3】
前記第2補正手段は、共通視野に属する第1部分画像を前記第1画像から抽出する第1抽出手段、前記共通視野に属する第2部分画像を前記第2画像から抽出する第2抽出手段、および前記第1抽出手段によって抽出された第1部分画像と前記第2抽出手段によって抽出された第2部分画像とを合成する合成手段を含む、請求項1または2記載の電子カメラ。
【請求項4】
前記合成手段は、前記第2部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段、および前記フィルタ手段から出力された低周波画像と前記第1部分画像とを合成して第1合成画像を出力する第1合成画像出力手段を含む、請求項3記載の電子カメラ。
【請求項5】
前記第1合成画像出力手段は、前記低周波画像と前記第1部分画像との差分を検出する差分検出手段、および前記差分検出手段によって検出された差分が小さいほど前記第1部分画像に対する重み付けが増大する態様で前記低周波画像と前記第1部分画像とに加重加算を施す第1加重加算手段を含む、請求項4記載の電子カメラ。
【請求項6】
前記合成手段は前記第1合成画像出力手段から出力された第1合成画像と前記第2部分画像とを合成して第2合成画像を出力する第2合成画像出力手段をさらに含む、請求項4または5記載の電子カメラ。
【請求項7】
前記第2合成処理手段は、前記低周波画像からエッジ成分を検出するエッジ成分検出手段、および前記エッジ成分検出手段によって検出されたエッジ成分が大きいほど前記第2部分画像に対する重み付けが増大する態様で前記第1合成画像と前記第2部分画像とに加重加算を施す第2加重加算手段を含む、請求項6記載の電子カメラ。
【請求項8】
前記第1撮像面は第1数の画素を有し、
前記第2撮像面は前記第1数よりも大きい第2数の画素を有し、
前記第1抽出手段は画像サイズを拡大する拡大手段を含む、請求項2ないし7のいずれかに記載の電子カメラ。
【請求項9】
前記第1撮像面は第1感度を有し、
前記第2撮像面は前記第1感度よりも小さい第2感度を有し、
前記第2抽出手段は画像の明るさを増幅する増幅手段を含む、請求項2ないし8のいずれかに記載の電子カメラ。
【請求項1】
第1視野を捉える第1撮像面を有する第1撮像手段、
前記第1視野と共通する第2視野を捉える第2撮像面を有する第2撮像手段、
前記第1撮像面上の複数の位置を互いに異なるタイミングで露光する第1露光手段、
前記第2撮像面上の複数の位置を同時に露光する第2露光手段、
前記第1露光手段の露光に対応して前記第1撮像手段から出力された第1画像を前記第1撮像面の動きを参照して補正する第1補正手段、および
前記第1補正手段によって補正された第1画像を前記第2露光手段の露光に対応して前記第2撮像手段から出力された第2画像を参照して補正する第2補正手段を備える、電子カメラ。
【請求項2】
前記第1補正手段の補正のために前記第1露光手段の露光と並列して前記第1撮像面の動きを検出する検出手段をさらに備える、請求項1記載の電子カメラ。
【請求項3】
前記第2補正手段は、共通視野に属する第1部分画像を前記第1画像から抽出する第1抽出手段、前記共通視野に属する第2部分画像を前記第2画像から抽出する第2抽出手段、および前記第1抽出手段によって抽出された第1部分画像と前記第2抽出手段によって抽出された第2部分画像とを合成する合成手段を含む、請求項1または2記載の電子カメラ。
【請求項4】
前記合成手段は、前記第2部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段、および前記フィルタ手段から出力された低周波画像と前記第1部分画像とを合成して第1合成画像を出力する第1合成画像出力手段を含む、請求項3記載の電子カメラ。
【請求項5】
前記第1合成画像出力手段は、前記低周波画像と前記第1部分画像との差分を検出する差分検出手段、および前記差分検出手段によって検出された差分が小さいほど前記第1部分画像に対する重み付けが増大する態様で前記低周波画像と前記第1部分画像とに加重加算を施す第1加重加算手段を含む、請求項4記載の電子カメラ。
【請求項6】
前記合成手段は前記第1合成画像出力手段から出力された第1合成画像と前記第2部分画像とを合成して第2合成画像を出力する第2合成画像出力手段をさらに含む、請求項4または5記載の電子カメラ。
【請求項7】
前記第2合成処理手段は、前記低周波画像からエッジ成分を検出するエッジ成分検出手段、および前記エッジ成分検出手段によって検出されたエッジ成分が大きいほど前記第2部分画像に対する重み付けが増大する態様で前記第1合成画像と前記第2部分画像とに加重加算を施す第2加重加算手段を含む、請求項6記載の電子カメラ。
【請求項8】
前記第1撮像面は第1数の画素を有し、
前記第2撮像面は前記第1数よりも大きい第2数の画素を有し、
前記第1抽出手段は画像サイズを拡大する拡大手段を含む、請求項2ないし7のいずれかに記載の電子カメラ。
【請求項9】
前記第1撮像面は第1感度を有し、
前記第2撮像面は前記第1感度よりも小さい第2感度を有し、
前記第2抽出手段は画像の明るさを増幅する増幅手段を含む、請求項2ないし8のいずれかに記載の電子カメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2012−227897(P2012−227897A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−96490(P2011−96490)
【出願日】平成23年4月22日(2011.4.22)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願日】平成23年4月22日(2011.4.22)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]